GPTは確率論に基づく次トークン予測技術

GPT（Generative Pre-trained Transformer）は、確率論に基づく次トークン予測技術である。入力されたトークン列に対して「次に来るトークンの確率分布」を計算し、そこからサンプリングすることでテキストを自己回帰的に生成する。この単純きわまりない原理が、膨大な学習データと大規模なニューラルネットワークによって、驚くほど知的に見える振る舞いを生み出している。しかし同時に、この原理はハルシネーション（もっともらしい虚偽の生成）と出力の非決定性（同じ入力でも結果が変わり得ること）という、規制対応業務にとって決定的な二つの制約をもたらす。本稿では技術の中身を正確に押さえたうえで、それが21 CFR Part 11やQMS省令、FDAのCSAガイダンスとどう衝突するのかを整理する。

GPTの基本原理――次トークン予測とは何か

トークンとは何か

トークンとは、トークナイザーによって分割されたテキストの最小単位である。GPT系のモデルが用いるのはBPE（Byte Pair Encoding）系のサブワード分割であり、頻出する文字列はひとかたまりのトークンに、まれな語は複数のトークンに分割される。サブワード分割を機械翻訳に導入した基礎論文は Sennrich, Haddow & Birch（2015）の “Neural Machine Translation of Rare Words with Subword Units” である。

重要なのは、トークンは「単語」でも「文字」でもないという点である。OpenAIの公式ヘルプでは、英語の場合の目安として「1トークンはおおむね4文字、約0.75語に相当し、100トークンで約75語」と説明されている。日本語は英語よりトークン効率が悪く、同じ内容でも消費トークン数が多くなる傾向がある。正確な数はモデルとエンコーディングによって異なるため、目安として扱うべきである。

次トークンの確率分布と自己回帰生成

モデルは、これまでのトークン列（プロンプト＋すでに生成したトークン）を入力として、語彙に含まれるすべてのトークンについてのスコアを出力する。このスコア（ロジット）をソフトマックス関数で正規化すると、合計が1になる確率分布が得られる。

たとえば「今日の天気は」というトークン列に対しては、「晴れ」「雨」「くもり」「どう」といった候補にそれぞれ確率が割り当てられる。モデルはそこから1トークンを選び、選んだトークンを入力の末尾に足して、また次のトークンの分布を計算する。これを終了条件に達するまで繰り返す。これが自己回帰的（autoregressive）生成である。長文の生成も、この1トークンずつの繰り返しの積み重ねにすぎない。

サンプリング――temperature と top-p の役割

ここが実務上もっとも見落とされる部分である。確率分布が計算されても、そこからどのトークンを取り出すかにはさらに選択の余地がある。

核サンプリング（nucleus sampling／top-p）は Holtzman ら（2019）の “The Curious Case of Neural Text Degeneration” で提案された手法で、貪欲法が陥る反復・退化を避けつつ、低確率トークンによる破綻も抑えることを狙ったものである。

Transformerと自己注意――概念としての理解

現在の大規模言語モデルの基盤となっているのは、Vaswani ら（2017）の “Attention Is All You Need” が提案したTransformerアーキテクチャである。その中核にある自己注意機構（self-attention）は、概念的にいえば「系列中の各位置が、系列中の他の位置の情報をどの程度参照するかを重み付けして混ぜ合わせる」仕組みである。この重みは学習によって決まり、明示的に文法規則や意味規則がプログラムされているわけではない。

学習データの規模

「単純な原理から知的に見える振る舞いが生まれる」背景には、学習データの圧倒的な規模がある。公開情報で規模が明示されている例として、Metaは Llama 3（2024年4月公開）について「公開されている情報源から収集した15兆トークン超で事前学習した」と公式ブログで述べている。

「理解」しているのか「予測」しているのか

人間が文章を読むとき、意味を理解し文脈を把握していると（少なくとも本人は）感じる。一方GPTが行っているのは、学習で獲得した統計的パターンにもとづいて、もっとも確からしい次トークンを選ぶことである。

「水は100度で沸騰する」という出力は、モデルが熱力学を理解した結果ではなく、学習データにおける語の共起パターンの再現である。これを「理解」と呼ぶかどうかは定義の問題であり、少なくとも工学的には「理解している」と断定する根拠はない。本稿では「モデルは○○を理解している」「モデルは○○と考えている」といった擬人的な表現を避け、観察される振る舞いとして記述する立場をとる。

それでもなお、確率的な予測が知的に見える振る舞いを生み出すのは、GPTが学習した膨大なテキストの中に、人類が書き残した知識・論証・手続きのパターンが凝縮されているためである。モデルは新たに知識を発明しているのではなく、テキストとして表現された既存の知識の分布を再現している――そう捉えるほうが、実務上の誤用を避けやすい。

なぜハルシネーションは原理的に起こるのか

ハルシネーション（幻覚）とは、モデルが事実と異なる内容を、もっともらしい文体で自信ありげに出力する現象である。これは実装のバグではなく、次トークン予測という原理から自然に導かれる帰結である。

「もっともらしさ」と「正しさ」は別の基準である

モデルが最適化しているのは「学習データにおいて、その系列がどれだけ出現しやすいか」であって、「その内容が事実として正しいか」ではない。したがって次のことが起こる。

• 学習データに存在しない事柄についても、周辺の言語パターンから「ありそうな文字列」を生成できてしまう。
• 規制文書のように形式が強く定型化されている領域では、この危険がとりわけ高い。「21 CFR §11.」に続くトークンとして「300」も「200」も「10」も、いずれも統計的にはきわめて自然だからである。
• モデルは生成した内容の真偽を検証する機構を持たないため、誤りを誤りとして自己申告しない。文体は正しい答えのときと変わらない。

この問題は学術的にも整理が進んでいる。Xu, Jain & Kankanhalli（2024）は “Hallucination is Inevitable: An Innate Limitation of Large Language Models” において、形式的な枠組みのもとでハルシネーションを完全に除去することはできないと論じている。またKalaiら（2025）の “Why Language Models Hallucinate” は、事前学習と評価の設計が「分からない」と答えるよりも当て推量を報酬づけてしまう構造を指摘している。

規制実務で最も危険なハルシネーション――存在しない条番号

当社の読者にとって、ハルシネーションがもっとも切実な害をもたらすのは条番号・ガイダンス名・通知番号の生成である。生成AIは、実在する規則の実在しない条項を、あるいは実在する条項を誤った内容で、平然と提示する。以下は実際に生じやすい取り違えの例であり、いずれも原典で確認した内容である。

なお、当社ブログでは「ハルシネーションが極めて少ない」という売り文句の読み方や、ハルシネーションの改善状況、長文生成の検証負荷についても取り上げている。あわせて参照されたい。

同じ入力でも出力が変わる――非決定性という決定的な問題

ハルシネーションと並んで、いや規制実務にとってはそれ以上に重い問題が、出力の非決定性である。

前述のとおり、生成はサンプリングを伴う確率的な操作である。加えて実務上は、次の要因が重なる。

1. サンプリングそのものtemperature や top-p の設定によって、同じ確率分布からでも異なるトークンが選ばれる。
2. 浮動小数点演算とバッチ処理GPU上の並列演算は加算順序によってごく小さな数値差を生み、それがロジットの順位を入れ替えることがある。temperature を0に設定しても完全な決定性は保証されない。
3. サービス側の変更クラウドAPIでは、モデルの重み・推論基盤・システムプロンプト・安全フィルタが利用者に通知されないまま更新され得る。昨日の出力を今日再現できる保証はない。
4. 文脈の持ち込み会話履歴、外部検索結果、ファイル添付などが入力に混ざれば、そもそも「同じ入力」ではなくなる。

この点はベンダー自身が明示している。OpenAIは seed パラメータについて、「同じシードとパラメータを用いた繰り返しのリクエストが同じ結果を返すようベストエフォートで決定論的にサンプリングするが、決定性は保証されない（determinism is not guaranteed）」と説明し、モデルの重み・インフラ・設定の組み合わせを示す system_fingerprint の確認を求めている。すなわち、再現性はベンダー側から「保証しない」と明言されているのである。

再現性の欠如は、CSVの前提と正面から衝突する

21 CFR Part 11 §11.10(a) が求めているもの

閉鎖系システムの管理措置を定める 21 CFR §11.10（Controls for closed systems）は、その柱書で「電子記録の真正性・完全性、および必要に応じて機密性を確保し、署名者が署名済み記録を容易に否認できないようにするための手順および管理措置を講じなければならない」と定め、具体的な措置の第一項目として次を挙げる。

ここで問題になるのが consistent intended performance（一貫した意図した動作）という語である。従来のコンピュータ化システムであれば、同じ入力に同じ出力が返ることを前提に、テストケースを設計し、期待結果と実測結果を突き合わせ、その記録をもってバリデーションの証跡としてきた。ところが生成AIは、その前提を満たさない。

QMS省令 第五条の六（ソフトウェアの使用）

日本の医療機器規制にも、同趣旨の要求がある。QMS省令（医療機器及び体外診断用医薬品の製造管理及び品質管理の基準に関する省令）第五条の六は、品質管理監督システムにソフトウェアを使用する場合のバリデーションを求めている。

注目すべきは第3項である。この条は「リスクに応じたバリデーション」を明文で求めている。ISO 13485:2016の4.1.6が対応する規定であり、後述するFDAのCSAの考え方とも整合する。すなわち、生成AIをQMS業務に使う場合であっても、「決定論的でないから検証できない」で終わらせることは許されず、用途ごとのリスクに応じた検証と、その記録が求められる。

FDA CSAガイダンス――リスクベースの再構成

FDAは、製造および品質マネジメントシステムに用いるソフトウェアの保証について、「Computer Software Assurance for Production and Quality Management System Software」（2026年2月3日発出）を最終ガイダンスとして公表している。同ガイダンスは、2025年9月24日に発出された最終ガイダンス「Computer Software Assurance for Production and Quality System Software」に取って代わる（supersedes）ものである。

CSAの中核は、ソフトウェアの機能・特性・操作ごとにプロセスリスクを評価し、リスクの高低に応じて保証活動の厳格さを変えるという考え方である。文書作成量を一律に積み上げるのではなく、リスクに見合った労力を投じる（least burdensome）。この発想は、生成AIのように出力が確定しないシステムを扱ううえで、実務的な突破口になり得る。

なお、CSV／CSAの実務論点については、当社ブログのER/ES実践講座（第7回）続報――2008年のCSV課題は解決したかでも詳しく扱っている。

人による検証をどう工程に組み込むか――Human in the Loop

非決定性とハルシネーションを前提とするなら、「AIの出力を人が検証する」ことを気構えではなく工程として設計するしかない。以下は、規制対象業務に生成AIを組み込む際の最小限の枠組みである。

1. 用途（intended use）を文書で限定する「何に使ってよいか」ではなく「何に使ってはならないか」まで明記する。禁止用途の例：規制要求事項の最終判断、出荷可否判断、不具合報告の該当性判断、個人情報・未公開情報の入力。
2. 用途ごとにプロセスリスクを評価する誤った出力がそのまま採用された場合に、製品品質・患者安全・法令遵守にどう波及するかで格付けする。格付けに応じて検証の厳格さを決める（CSAの考え方）。
3. 原典照合を独立した工程として置くAIが提示した条番号・規格番号・ガイダンス名・発出日・通知番号は、1件残らず一次情報源で確認する。確認先はeCFR、e-Gov法令検索、FDAガイダンス検索ページ、ISOのカタログなど。照合は生成した者以外が行うのが望ましい。
4. 検証の記録を残す誰が、いつ、どの出力を、どの一次情報源と照合し、どう修正したか。使用したモデル名・バージョン・日時・プロンプトも記録対象とする。「AIが出したから」は記録として成立しない。
5. 承認は人が行い、責任の所在を明示する最終文書の承認者は、AIの関与の有無にかかわらず内容に責任を負う。承認記録にAI利用の有無と検証の実施を記載する運用が望ましい。
6. 定期的に再評価するベンダーのモデル更新、利用範囲の拡大、インシデントの発生を契機に、リスク評価と管理措置を見直す。変更管理・逸脱管理の対象として扱う。
7. 教育訓練に組み込む「AIは確率的に次のトークンを選んでいるにすぎない」という原理を、利用者全員が理解している状態をつくる。QMS省令第二十三条・ISO 13485:2016の6.2が求める力量の一部として位置づけ、有効性を評価し記録する。

教育訓練の位置づけについては、当社ブログの「教育」と「訓練」の違いとは何かもあわせて参照されたい。

確率論的アプローチの利点と、もうひとつの限界

利点――タスク非依存の柔軟性

次トークン予測という単一の目的関数で学習したモデルが、翻訳・要約・質問応答・分類・コード生成といった多様なタスクを、タスク別の再学習なしにこなす。この性質は Brown ら（2020）の “Language Models are Few-Shot Learners” で体系的に示された。プロンプトに数例を示すだけで振る舞いが変わるため、業務側から見れば「専用システムを作らずに試せる」という大きな利点がある。

限界――長い文脈は均等には使われない

処理できる文脈の長さ（コンテキストウィンドウ）は年々拡大しているが、ウィンドウ全体が均等に活用されるわけではない。Liu ら（2023）の “Lost in the Middle: How Language Models Use Long Contexts” は、関連情報が入力の冒頭または末尾にあるときに性能が高く、中間に置かれると性能が低下する傾向を報告している。

実務への含意は明快である。数百ページのSOPや規制文書をまとめて投入し、「この中から該当箇所を探して」と指示する使い方は、中間部分の見落としを招きやすい。文書を分割して投入する、重要箇所を先頭か末尾に置く、複数回に分けて確認する、といった運用上の工夫が必要になる。

RAG（検索拡張生成）は万能薬ではない

ハルシネーション対策として広く用いられるのがRAG（Retrieval-Augmented Generation、検索拡張生成）である。Lewis ら（2020）の “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks” に始まるこの方式は、外部の文書集合から関連箇所を検索し、それを文脈としてモデルに与えることで、根拠のある回答を促す。

ただし、RAGを導入しても次の点は残る。

• 検索が関連文書を取り逃がせば、モデルは手元にない情報を補って生成してしまう。
• 検索対象の文書集合そのものが古ければ、古い規制内容を確信をもって提示する（旧版のCSAガイダンスを引くのはその典型である）。
• 提示された引用元が、生成された文の実際の根拠であるとは限らない。引用の妥当性も人が確認する必要がある。
• 生成そのものは依然として確率的であり、非決定性は解消されない。

RAGは「ハルシネーションを減らす手段」であって、「原典照合を省略してよい理由」ではない。

AIガバナンスの枠組み――国内外の動き

生成AIの規制対応上の位置づけを考えるうえで、押さえておくべき枠組みを整理する。

これらに共通するのは、「AIの出力を人が検証し、責任の所在を明確にする」ことを前提に置いている点である。技術がどれほど進歩しても、規制対応における最終責任が事業者にあるという構図は変わらない。

哲学的含意――「知性」とは何か

アラン・チューリングは1950年の論文 “Computing Machinery and Intelligence”（Mind 誌）において、「機械は考えることができるか」という問いをそのまま扱うのではなく、模倣ゲーム（imitation game）という操作的な代替問題に置き換えた。彼が提示したのは「機械は知的である」という断定ではなく、思考の定義そのものを問い直す枠組みだったといえる。

現代のGPTが多くの場面でこのテストを通過し得るかどうかは、なお議論の余地がある。しかし規制対応の実務者にとって、より重要なのは別の問いである。すなわち――「このシステムは、私が責任を負う判断の根拠として使えるか」という問いである。

その答えは、現時点では明確に「単独では使えない」である。GPTは万能ではない。しかし、原理を正しく理解し、用途を限定し、人による検証を工程として組み込むならば、人間の創造性と判断力を補完する強力な道具となり得る。技術の限界を理解している者だけが、その技術を安全に使える。これは、コンピュータ化システムバリデーションが半世紀にわたって説き続けてきたことと、何ひとつ変わらない。