
AIは膨大な記憶容量を持つが、個別企業情報は知らない
「AIなら何でも知っているはず」――多くの人がこう考えがちである。確かに、最新のAIシステムは膨大な知識を持ち、歴史的事実から専門的な技術知識まで、幅広い質問に答えることができる。しかし、ここに大きな誤解がある。AIが持つ「膨大な記憶」と、あなたの企業が持つ「固有の情報」は、全く別物なのである。そして製薬・医療機器のような規制産業では、この違いは単なる不便ではなく、逸脱につながり得るリスクである。
AIが「知っていること」と「知らないこと」
タイトルへの回答を先に示す。AIが持つ知識は「公開情報の統計的な要約」であって、「あなたの会社の事実の記録」ではない。この一点を表で対比する。
| 区分 | AIが知っていること | AIが知らないこと |
|---|---|---|
| 知識の源泉 | 公開されたテキストから学習した統計的パターン | 社内サーバー・文書管理システム・個人のPCにしかない情報 |
| 一般知識 | 歴史上の出来事、著名人に関する事実 | ― |
| 科学・技術 | 一般的な原理や理論、プログラミング言語の文法とコーディングパターン | 社内で使用している独自の業務システムの仕様 |
| ビジネス | 戦略の基本的なフレームワーク、公開企業の基本情報(プレスリリース等) | 今年度の売上目標、顧客との商談履歴、個別の要望事項 |
| 組織の暗黙知 | ― | 過去のプロジェクトで蓄積された失敗事例と学び、社内用語や略語の意味、人間関係と意思決定プロセス |
| 規制対応(GxP) | 21 CFR Part 11 や QMS省令の条文そのもの、規格の一般的な解釈 | あなたの会社のSOPが、その条文をどう実装しているか。承認済みの手順書の版数、逸脱の履歴、CAPAの状況 |
| 時間軸 | 訓練データのカットオフまでに公開された情報 | カットオフ以降の出来事。および、公開されていない現在の社内状況 |
つまり、AIは「世界中の誰もが知り得る一般知識」は豊富に持っているが、「あなたの会社だけが持つ固有の情報」については全く知らないのである。最終行の「規制対応」が本稿の核心である。AIは条文を知っているがゆえに、もっともらしい一般論を返す。そしてその一般論は、自社のSOPと一致しているとは限らない。
「カットオフ日」は、実は一つの日付ではない
各社は公式ドキュメントで公表している
AIの知識には「カットオフ」という明確な限界がある。これは各社が推測ではなく公式ドキュメントで公表している事項であり、自社で使うモデルについては、ベンダーの公式ページで確認するのが唯一正しい方法である。
- Anthropic ― Models overview(各モデルに「Reliable knowledge cutoff」「Training data cutoff」の2行がある)
- OpenAI ― Models(各モデルに「Knowledge cutoff」の欄がある)
「信頼できる知識」と「訓練データ」は別の日付である
ここに、実務上見落とされやすい論点がある。Anthropic は自社の公式ドキュメントで、カットオフを2種類に分けて公表している。同社の定義は次のとおりである。
出典:Anthropic「Models overview」の注記(筆者訳・要約、2026年8月18日閲覧)
両者が一致するモデルもあれば、ずれるモデルもある。同ドキュメントの一覧では、たとえば Claude Haiku 4.5 は Reliable knowledge cutoff が2025年2月、Training data cutoff が2025年7月と、5か月の差がある。この差は「訓練データには入っているが、知識として信頼できる水準には達していない期間」を意味する。
実務上の含意
「カットオフが〇年〇月だから、それ以前のことは正確に答えられる」という理解は誤りである。カットオフ直前の期間は、データが薄く、誤りやすい領域である。規制改正のように「いつ発効したか」が決定的に効く情報を、AIの記憶に頼って確認してはならない。原典に当たるか、AIに原典を読ませる(後述のRAG)かのいずれかである。
本稿で訂正した記述②:初出稿はモデル名を「Claude 4.5 Opus」と記載していたが、Anthropic の命名は「Claude Opus 4.5」の語順であり、モデルIDも
claude-opus-4-5 である。同社の公式一覧で確認した。なお同一覧における現行世代は Claude Fable 5 / Claude Opus 5 / Claude Sonnet 5 および Claude Haiku 4.5 であり、初出稿が挙げていた世代はいずれも旧世代である。
AIが「知らない」こと ― 自社固有情報の6類型
どれほど高性能なAIでも知り得ない情報を、あらためて類型化して示す。これは後述する「AIに何を渡すべきか」の設計図にもなる。
| 類型 | 具体例 | GxP文脈での例 |
|---|---|---|
| 1. 目標・計画 | 今年度の売上目標、現在の達成率 | 品質目標、年次照査の計画 |
| 2. システム仕様 | 社内で使用している独自の業務システムの仕様 | 自社LIMS/MESの構成、カテゴリ分類、バリデーション範囲 |
| 3. 経験知 | 過去のプロジェクトで蓄積された失敗事例と学び | 過去の逸脱・OOS・CAPAの履歴と、そこから得た教訓 |
| 4. 顧客・取引先の個別事情 | 商談履歴、個別の要望事項 | 供給者の適格性評価結果、監査所見 |
| 5. 社内用語 | 略語、通称、社内でしか通じない言い回し | 手順書の文書番号体系、部門コード |
| 6. 組織の力学 | 人間関係、意思決定プロセス | 誰が照査し誰が承認するかという責任分掌 |
ハルシネーション ― 「数学的に証明されている」とは、何が証明されたのか
AIは膨大な知識を持つ一方で、「ハルシネーション(幻覚)」と呼ばれる、誤った情報を事実であるかのように生成する問題を抱えている。この問題について「完全にゼロにできないことが数学的に証明されている」という言い方が広く流通している。この言い方は、そのままでは不正確である。何が、どのような前提の下で示されたのかを正確に押さえておく必要がある。
原論文が示したことの、正確な範囲
該当する研究は、Ziwei Xu・Sanjay Jain・Mohan Kankanhalli による “Hallucination is Inevitable: An Innate Limitation of Large Language Models”(arXiv:2401.11817、v1 2024年1月22日/v2 2025年2月13日)である。これは arXiv のプレプリントであり、査読誌への掲載は確認できていない。その上で、同論文が示したのは次の限定つきの主張である。
- 形式化「ハルシネーション」を、計算可能なLLMと、計算可能な「正解関数」との不一致として定義する。すなわち現実の事実誤認一般ではなく、数学的に扱える対象に絞り込んでいる。
- 証明学習理論の結果を用い、LLMは計算可能な関数のすべてを学習することはできないことを示す。したがって、任意の計算可能列挙可能なLLMの集合に対して、その集合のすべてのLLMがハルシネーションを起こすような正解関数が存在する。
- 射程この結論は、LLMを「万能の問題解決器(general problem solver)」として用いる場合についてのものである。「この形式的世界は、はるかに複雑な現実世界の一部である」という論法で現実への含意を述べている。
「数学的に証明された」を一般化して書いてはならない
上記が示しているのは、ある特定の形式化と前提の下では、ハルシネーションが原理的に不可避であるということである。「AIは必ず嘘をつくと数学的に証明された」ではない。また「だから対策しても無駄である」でもない。実務上意味があるのは「ゼロにできない前提で、検証の仕組みを設計する」という結論であり、それは規制対応における Human-in-the-Loop や照査の設計そのものである。
実測値 ― ベンダー自身が公表している数字
「推論モデルなら誤らない」という期待も、実測値と合わない。OpenAI は自社モデルのシステムカードで、ハルシネーション率の実測値を公表している。ベンダーの自社評価であり、特定のベンチマークに対する値であることを踏まえて読む必要があるため、条件を併記して示す。
| ベンチマーク | o1 | o3 | o4-mini | 調査主体・時点・母集団 |
|---|---|---|---|---|
| SimpleQA hallucination rate(低いほど良い) |
0.44 | 0.51 | 0.79 | 調査主体:OpenAI(自社評価)/時点:2025年4月16日公表「OpenAI o3 and o4-mini System Card」/母集団:SimpleQA は短答形式の事実質問4,000問、PersonQA は実在人物に関する公開事実の質問セット/測定条件:回答を試みた設問に対する正答率とハルシネーション率 |
| PersonQA hallucination rate(低いほど良い) |
0.16 | 0.33 | 0.48 |
注目すべきは、後発の推論モデル o3 が、PersonQA において先行モデル o1 より高いハルシネーション率を示している点である。OpenAI自身も同システムカードで、o3 はより多くの主張を行う傾向があり、その結果として正確な主張も不正確な主張も増えていると述べ、「この結果の原因を理解するにはさらなる研究が必要である」としている。「新しいモデルほど誤らない」という前提は、ベンダー自身の公表値によって否定されている。
なぜこのギャップが重要なのか ― 実務での失敗
実装の失敗率をどう読むか
エージェント型AIの導入が進むなかで、期待した成果が出ない事例が数多く報告されている。この種の「失敗率」の数字はSNSや記事で大量に流通しているが、調査主体・時点・母集団・そもそも何を「失敗」と定義したのかを確認せずに引用すると、容易に誤導になる。本稿では、公開情報で原典に当たれたものだけを、条件つきで示す。
| 主張 | 調査主体 | 時点 | 母集団・方法 | 数字の性質 |
|---|---|---|---|---|
| エージェント型AIプロジェクトの40%超が2027年末までにキャンセルされる | Gartner(民間調査会社) | 2025年6月25日 プレスリリース | 付随するポーリングは2025年1月、ウェビナー参加者3,412名(19%が本格投資、42%が限定的投資、8%が未投資、31%が様子見・不明) | 予測であって実測ではない。理由としてコスト増、価値の不明確さ、リスク統制の不備を挙げる |
| AIプロジェクト失敗の5つの根本原因 | RAND Corporation(非営利研究機関) | 2024年8月13日 報告書 RR-A2680-1 | 産業界・学界でAI/ML構築に5年以上の経験を持つデータサイエンティスト/エンジニア65名への面接 | 質的調査の結果。失敗率そのものの測定ではない |
RANDが挙げた5つの根本原因
RAND報告書は、65名への面接から次の5点を導いている(RAND, RR-A2680-1)。本稿の主題に直結するのは2番目である。
- 関係者が「AIで何を解決すべきか」を誤解している、あるいは伝達を誤っている。誤った指標に最適化されたモデルや、業務フローに合わないモデルが実装されてしまう
- 組織が、有効なモデルを訓練するのに十分なデータを持っていない
- 実際の利用者の課題解決より、最新技術の採用そのものに関心が向いている
- データ管理とモデル展開のためのインフラが不十分である
- そもそもAIには難しすぎる問題に適用している
2番目は、本稿の主題そのものである。AIは自社の情報を知らない。そして多くの組織は、その情報をAIに渡せる形で持っていない。これは技術の問題ではなく、文書管理とデータガバナンスの問題である。RANDは推奨事項としても「データガバナンスとモデル展開を支えるインフラへの先行投資は、AIプロジェクトに要する時間を大幅に短縮し、有効なモデルの訓練に使える高品質データの量を増やし得る」と述べている。
事例1:市場調査レポートの作成
ある企業がAIに「競合他社との比較分析レポートを作成してほしい」と依頼した。AIは一般的な市場動向や公開情報を基に立派なレポートを作成したが、肝心の「自社の強み」や「顧客からのフィードバック」といった情報は含まれていなかった。結果として、表面的な分析に終わり、実務で使えないレポートとなってしまった。
事例2:営業資料の準備
「来週の顧客向けプレゼン資料を作成してほしい」という依頼に対し、AIは業界の一般的なトレンドを盛り込んだ資料を作成した。しかし、その顧客が過去にどのような課題を抱えていたのか、どのような提案を好む傾向があるのかといった情報は反映されておらず、顧客に刺さらない内容となってしまった。
この2つの事例に共通するのは、成果物が「間違っている」のではなく「一般論である」という失敗の形である。一般論は、読めばそれらしく見える。だからこそ、次章で述べる規制産業では厄介なのである。
【GxP】AIが自社を知らないことは、規制対応では「逸脱リスク」になる
本章の主張
一般企業にとって「AIが自社を知らない」ことは、成果物の質が落ちるという不便である。しかし製薬・医療機器の品質保証/CSV担当者にとっては、それは逸脱を生み得るリスクである。理由は単純で、AIが返す「規制上の一般論」は、自社のSOPと一致しているとは限らないのに、一致しているように読めてしまうからである。
「条文は知っているがSOPは知らない」という危うさ
AIは 21 CFR Part 11 の条文も、QMS省令の条文も、ISO規格の一般的な解釈も知っている。したがって「電子署名にはどのような要素が必要か」と問えば、条文に沿った、それらしい回答が返ってくる。
問題は、規制が求めているのは「条文への適合」ではなく「自社が定めた手順への適合」でもあるという点である。査察で問われるのは「あなたの会社のSOPに何と書いてあるか」「そのとおりに実施したか」である。AIが返した一般論をそのまま作業に使えば、それはSOPに定めのない方法で実施したことになり得る。AIの回答が規制上「間違っていない」ことは、この種の逸脱を何ら防がない。
この構造は、Excelを規制対象業務で使う際の問題と同型である。ツール自体は正しく動いていても、統制の枠組みの外で使われれば逸脱になる(Excelを使用する場合の管理留意点を参照)。
RAGで社内文書を参照させる場合、その文書は「最新の承認版」か
後述するとおり、この問題への標準的な解が RAG(Retrieval-Augmented Generation)である。AIに社内文書を検索・参照させ、その内容に基づいて回答させる方式である。しかしGxP文脈では、ここで新たな問題が発生する。参照させた文書自体が、最新の承認版であるという保証はあるのか。
これはAIの問題ではなく、文書管理の問題である。医療機器及び体外診断用医薬品の製造管理及び品質管理の基準に関する省令(QMS省令)第八条第二項は、品質管理監督文書の管理方法を手順書に記載すべきものとして、次を挙げている。
二 品質管理監督文書について所要の照査を行い、更新を行うに当たり、その更新を承認すること。
三 品質管理監督文書の変更内容及び最新の改訂状況が識別できるようにすること。
出典:QMS省令(平成16年厚生労働省令第169号)第八条第二項第一号〜第三号
第三号の「最新の改訂状況が識別できるようにすること」は、紙のバインダーやファイルサーバーを想定して読まれてきた条項である。しかしAIの検索対象が社内ファイルサーバー全体に及ぶとき、この要求は一段重くなる。共有ドライブに残った旧版、個人フォルダの下書き、メール添付の写しがベクトル化されて検索対象に入れば、AIはそれを根拠として引用する。そしてAIは「これは旧版です」とは言わない。
RAG導入時に最初に決めるべきこと
「どのAIを使うか」ではなく、「AIに読ませてよい文書の集合を、誰がどう定義し、誰が承認し、どう最新性を担保するか」である。これは新しい要求ではなく、既存の文書管理規程の適用範囲を明示する作業である。旧版が検索対象に混入する経路(共有ドライブ、個人フォルダ、メール添付)を洗い出し、遮断するところから始める。
QMSにソフトウェアを使うなら、バリデーションの手順が要る
「社内文書を検索して回答するAI」は、品質管理監督システムに使用するソフトウェアに該当し得る。QMS省令第五条の六は、この場合の要求を明確に定めている。
2 製造販売業者等は、前項のソフトウェアを品質管理監督システムに初めて使用するとき及び当該ソフトウェア又はその適用を変更するときは、あらかじめ、バリデーションを行わなければならない。(後略)
3 前項に規定するバリデーションを行うときは、製造販売業者等は、品質管理監督システムへのソフトウェアの使用に伴うリスク(当該ソフトウェアの使用が製品に係る医療機器等の機能、性能及び安全性に及ぼす影響を含む。)に応じて、バリデーションを行わなければならない。
出典:QMS省令 第五条の六(ソフトウェアの使用)
第二項の「その適用を変更するとき」に注意されたい。AIシステムでは、モデルのバージョンアップ、システムプロンプトの変更、参照させる文書集合の変更のいずれもが「適用の変更」に当たり得る。従来のシステムと違い、これらはベンダー側の都合で予告なく起こり得る。変更管理の設計が、従来のCSVより難しくなる所以である。
▲【動画】医療機器企業向けeQMSアプリケーション「AI Compliance」(株式会社イーコンプライアンス)
再現性と §11.10(a) ― 「同じ入力で同じ出力」が返らないシステム
21 CFR §11.10(a) は、閉鎖系システムに対する統制の筆頭に次を挙げている。
(システムのバリデーション。正確性、信頼性、一貫した意図された性能、および無効な記録・改変された記録を識別する能力を確保するためのもの)
出典:21 CFR §11.10(a)(eCFR、筆者訳併記)
生成AIは、原理上、同じ入力に対して同じ出力を返すとは限らない。「一貫した意図された性能」をどう定義し、どう実証するかが、AIを規制対象業務に持ち込む際の中心的な論点になる。この問題は、Excel の COPILOT 関数についてマイクロソフト自身が「同じ引数でも結果が時間とともに変わり得る」「法的・規制上の意味を持つ用途に使わないよう」案内している事実と同じ構造である(Excelの10の問題点を参照)。
実務的な解は、「AIの出力そのものを記録にしない」ことである。AIを下書きの生成と候補の提示に限定し、記録として確定させる行為は人間の照査と承認を経る設計にすれば、再現性を要求される対象は「人間が承認したもの」に限定できる。これが Human-in-the-Loop の規制上の意味である。
データガバナンス ― GxPの言葉に引き直す
AIに社内情報へのアクセスを許可する際、適切なデータガバナンスの確立が不可欠である。ここで押さえるべき論点を、GxPの要求に引き直して整理する。
| 論点 | AI導入で何が起きるか | 対応する要求(一例) |
|---|---|---|
| データインテグリティ | AIが生成した内容と、原本のデータの区別が曖昧になる。要約・言い換えの過程で原本性が失われる | ALCOA+ の Original/Attributable。§11.10(a) の「無効な記録・改変された記録を識別する能力」 |
| アクセス制御 | AIは「与えられた文書」を読む。人ごとの権限設定を無視して横断検索すると、閲覧権限のない情報が回答に混入する | §11.10(d)(許可された者へのシステムアクセスの限定)、同(g)(権限チェック) |
| 監査証跡 | 「誰が・いつ・何をAIに尋ね・どの文書を根拠に・何を採用したか」が残らない。AIの回答をコピーして貼り付けた瞬間に、来歴が切れる | §11.10(e)(安全でコンピュータ生成の、タイムスタンプ付き監査証跡) |
| 文書の最新性 | 旧版・下書きが検索対象に混入し、根拠として引用される | QMS省令 第八条第二項第二号・第三号(更新の承認/最新の改訂状況の識別) |
| 力量・教育訓練 | AIの出力を評価できない担当者が、そのまま採用してしまう | QMS省令 第二十三条(能力の明確化、教育訓練、その実効性の評価)、§11.10(i) |
| 供給者管理 | モデルやサービスの提供者に依存する。予告なきモデル更改・提供終了のリスクがある | QMS省令 第三十七条〜第三十九条(購買工程・購買情報・購買物品等の検証)。関連論点は#QuitGPTを参照 |
規制側の現在地 ― AIをどう扱おうとしているか
FDA:CSAガイダンスが2026年2月に最終版となった
FDAは「Computer Software Assurance for Production and Quality Management System Software」(2026年2月、Final、Docket No. FDA-2022-D-0795、CDRH/CBER発行)を発出している。名称に「Quality Management System」が入っている点に注意されたい(旧版の名称は “Quality System Software” であった)。
このガイダンスは、製造または品質管理監督システムの一部として使用される自動化に対し、リスクに基づくアプローチを示すものである。すなわち、ソフトウェアの機能・処理ごとにプロセスリスクを判定し、高リスクのものに検証の労力を集中させる。AIを品質システムに組み込む場合も、この枠組みの外にはない。「AIだから特別」なのではなく、「その機能が失敗したとき、医療機器のリスクにつながるか」で検証の深さを決めるという考え方が適用される。
EU:GMP Annex 22(AI)のドラフトが意見募集にかけられた
欧州委員会は、EudraLex Volume 4(GMPガイドライン)について、Chapter 4(文書化)、Annex 11(コンピュータ化システム)の改訂案と、新設される Annex 22「Artificial Intelligence」を対象とするステークホルダー意見募集を実施した。募集期間は2025年7月7日から2025年10月7日23:59(CEST)までである。
Annex 22 は、原薬および医薬品の製造におけるAI・機械学習の使用に関する要求を定めるものである。本稿の主題と直結する点として、意図された使用の定義、性能指標の設定、モデル訓練データの品質、テストデータの管理・処理が挙げられている。加えて、変更管理、モデル性能のモニタリング、必要な場合の人によるレビューという継続的な監督が想定されている。「訓練データの品質」が明示的に要求に入っていることは、本稿の論点――AIに何を読ませるかがガバナンスの対象になる――が規制側の想定でもあることを示している。
EU AI Act:医療機器に組み込まれるAIの適用日は2028年8月2日に延期された
EU AI Act(規則 (EU) 2024/1689)第6条第1項は、ハイリスクAIシステムの分類規則を定めている。条文は次の2要件をともに満たす場合をハイリスクとする。
(b) (a)の安全構成要素が組み込まれる製品、または製品としてのAIシステム自体が、附属書Iに掲げるEU整合化法令に従い、上市または供用開始に際して第三者適合性評価を受けることを要求される。
出典:規則 (EU) 2024/1689 第6条第1項(筆者訳)
附属書I セクションAの第11号には医療機器規則(規則 (EU) 2017/745、MDR)が、第12号には体外診断用医療機器規則(規則 (EU) 2017/746、IVDR)が掲げられている。したがって、ノーティファイドボディの適合性評価を要する医療機器に組み込まれるAI、あるいはAI自体が医療機器である場合は、第6条第1項によりハイリスクに分類される。
適用日については、2026年に重要な変更があった。AI Act 第113条は、原則として2026年8月2日から適用、第6条第1項とそれに対応する義務は2027年8月2日から適用と定めていた。しかし規則 (EU) 2026/1744(2026年7月8日採択、通称「Digital Omnibus on AI」、OJ L, 2026/1744, 24.7.2026 掲載、施行済み)が AI Act を改正し、第III章第1節〜第3節(ハイリスクAIシステムに関する義務)の適用日を次のとおり後ろ倒しした。
| 対象 | 改正前 | 改正後 |
|---|---|---|
| 第6条第2項・附属書III に基づくハイリスクAI(単体で用いられるもの) | 2026年8月2日 | 2027年12月2日 |
| 第6条第1項に基づくハイリスクAI(医療機器等の製品に組み込まれるもの) | 2027年8月2日 | 2028年8月2日 |
延期の理由として、規則 (EU) 2026/1744 の前文は、規格・共通仕様・代替ガイダンスの提供の遅れと、各国所管当局の設置の遅れを挙げている。「延期されたので当面は関係ない」と読むのは危険である。延期の理由は「準備が整っていないこと」であって、要求そのものが緩和されたわけではない。
解決策:AIに「任せる」ための正しいアプローチ
1. コンテキストの明示的な提供
AIに業務を「任せる」際は、必要な企業固有の情報を明示的に提供する必要がある。これは人間の新入社員に業務を引き継ぐ際と同じである。
- 悪い例「先月の営業会議の資料を作成してほしい」
- 良い例「先月の営業会議の資料を作成してほしい。前提として、当社の今四半期の売上目標は5億円で、現在の達成率は65%である。主力商品Aの販売が低迷している一方、新商品Bは予想を上回る好調さである。これらの状況を踏まえた資料を作成してほしい」
2. 社内ナレッジベースとの統合(RAG技術)
より本格的なアプローチは、RAG(Retrieval-Augmented Generation、検索拡張生成)と呼ばれる技術を用いて、AIシステムに社内の情報源へのアクセスを与えることである。質問に対してまず社内文書を検索し、検索結果を根拠として回答を生成させる方式である。統合の対象としては次が挙げられる。
- 社内データベースとの連携
- 過去のプロジェクト資料の参照権限
- 顧客管理システム(CRM)との統合
- 社内チャットツールの履歴検索
このような統合により、AIは一般知識と社内固有情報を組み合わせて、より実用的な成果物を生み出すことができる。ただし前章で述べたとおり、GxP文脈では「何を検索対象に入れるか」の管理こそが本体である。RAGは文書管理の不備を解決しない。むしろ、不備をそのまま増幅する。
3. 段階的な情報提供と確認
複雑な業務をAIに任せる場合、一度に全てを依頼するのではなく、段階的に進めることが重要である。
- 初期の指示初期の指示を与え、AIに作業計画を立てさせる
- 不足の特定計画を確認し、不足している情報を特定する
- 情報の追加必要な社内情報を追加提供する
- 実行と確認AIに実行させ、成果物を確認する
- フィードバックフィードバックを与え、修正を依頼する
このプロセスを通じて、AIは徐々に社内の文脈を理解し、より適切な成果物を生み出せるようになる。規制対象業務では、ステップ4の「確認」が形式ではなく実質を伴う照査でなければならない点に注意が必要である。承認者と照査者の役割については承認者はレビューをしてはいけないも参照されたい。
「AIマネジメント」という新しいスキル
必要な情報を見極める力
AIに業務を任せる際、最も重要なスキルは「どの情報が必要か」を判断する能力である。これは、人間の部下にタスクを依頼する際のスキルと似ているが、いくつかの違いがある。
人間の部下であれば、「あの件」「例のやつ」といった暗黙の了解で通じることも多い。しかし、AIは社内の文脈や人間関係を理解していないため、より明示的な情報提供が必要である。加えて、人間の部下は「それは私の権限では分かりません」と言えるが、AIは言わない。知らないことについても、それらしい回答を返す。この非対称性が、AIマネジメントを人間のマネジメントより難しくしている。
AI対応人材の育成 ― 「実効性の評価」まで含めて
AI時代に必要なスキルを従業員に身につけさせることも重要である。ここで規制産業の担当者が押さえておくべきは、教育訓練は「実施すれば足りる」ものではないという点である。QMS省令第二十三条は次を求めている。
二 前号の能力を取得又は維持させるために教育訓練の実施その他の措置をとること。
三 前号の措置の実効性を評価すること。
四 全ての構成員が、自らの業務の意味及び重要性を認識するとともに、品質目標の達成に向けて自らの貢献の方途を認識しているようにすること。
出典:QMS省令 第二十三条(能力、認識及び教育訓練)第一項第一号〜第四号
AIリテラシー教育に引き直すと、「生成AIの使い方を説明した」だけでは第二号までしか満たしていない。第三号が求めるのは、その教育の結果として「AIの出力を鵜呑みにせず検証できるようになったか」を評価することである。そして第四号は、AIを使う担当者自身が、自分の業務が製品品質にどう効くかを認識していることを求めている。
実践的な導入アプローチ:5段階のロードマップ
Phase 1:評価とベースライン設定
まず社内情報を整理し、AI活用の準備を整える。本稿の主題に照らせば、これは「AIに何を渡すか/渡さないか」を決める作業であり、最も重要な工程である。
- 一般情報:AIが既に知っている可能性がある情報
- 社内固有情報:必ずAIに提供すべき情報
- 機密情報:AIに提供すべきでない情報
規制産業では、これに第4の区分を加える必要がある。「規制対象記録であり、最新の承認版であることが担保された文書だけを集めた集合」である。この集合の境界を定義し、承認し、維持する責任者を決めることが、Phase 1 の実質的な成果物になる。
Phase 2:戦略的パイロット
限定的な業務から始め、AIに必要な情報提供のパターンを学ぶ。定型的な報告書作成業務など、明確な成果が測定しやすい領域から着手する。規制対象業務ではなく、まず規制対象外の業務で経験を積むことを推奨する。失敗のコストが違いすぎるためである。
Phase 3:制御された拡大
パイロットで効果が確認できたら、その成功パターンを他部門に展開する。この際、単にツールを導入するだけでなく、業務プロセスの見直しも同時に行うことが重要である。RANDが挙げた根本原因の一つが「実際の利用者の課題解決より、最新技術の採用そのものに関心が向いている」ことであった点を思い出されたい。
Phase 4:インフラと統合の最適化
AIが参照できる社内情報のデータベースを継続的に改善する。新しいユースケースへの柔軟性を組み込みつつ、セキュリティとコンプライアンス基準を維持しながらスケーラビリティを確保する。ここでいうインフラには、アクセス制御と監査証跡の仕組みが含まれる。後付けは難しいので、Phase 4 ではなく Phase 1 の段階で設計に織り込んでおくのが望ましい。
Phase 5:企業変革
定期的に成果を評価し、フィードバックを与えることで、組織に最適化されたAI活用の形を育てる。部門横断的な連携を実現し、AI戦略と企業戦略を統合していく。
成功のための現実的な視点
現実を直視する重要性
ここまで読んで「簡単そうだ」と思った方は、もう一度考え直してほしい。エージェント型AI導入の成功率は決して高くない。Gartner は2025年6月の公開プレスリリースで、エージェント型AIプロジェクトの40%超が2027年末までにキャンセルされると予測している。同社はその理由として、コストの増大、事業価値の不明確さ、リスク統制の不備を挙げ、多くのプロジェクトが初期段階の実験や概念実証にとどまっていること、また「エージェント・ウォッシング」(実質を伴わない既存製品の再ブランディング)が広く行われていることを指摘している。
しかし同時に、適切なアプローチを取れば、大きな価値を創造できることも事実である。重要なのは、楽観的すぎる期待を持つのではなく、現実的な目標設定と段階的な実装を心がけることである。
これらはいずれも、調査主体・時点・母集団・測定条件のうち複数を特定できなかったため、採用していない。いわゆる「MIT 95%」については、MITの Project NANDA が2025年に公表した報告書 “The GenAI Divide: State of AI in Business 2025” が出所とされるが、(1) 査読を経た研究ではないこと、(2) 二次的な紹介記事の間で調査方法の記述(面接件数・回答者数)が食い違っていること、(3) 「95%」が指すのは「失敗」ではなく「測定可能な損益への影響が確認できない」ことであり、意味が広く誤読されていること、の3点から、本稿では使用していない。
数値を落としても論旨は変わらない。「失敗率は高い。だから慎重に計画する」という主旨は、RANDの質的調査とGartnerの予測で十分に支えられる。
今後の展望
マルチエージェントシステムの普及
複数のAIエージェントが協力して複雑なタスクを遂行するシステムが実用化されつつある。例えば、営業AI、マーケティングAI、カスタマーサポートAIが連携して、顧客体験全体を最適化する構成が登場している。規制対象業務にこれを持ち込む場合、「どのエージェントの判断が記録になるのか」「監査証跡はどの粒度で残すのか」が未解決の設計課題として残る。
AIガバナンスと規制の強化
AIに「任せる」範囲が広がるにつれ、その判断の透明性と説明責任がより重要になっている。前章で見たとおり、EUではAI Actが段階的に適用され、GMPの側でもAnnex 22の整備が進んでいる。FDAはCSAガイダンスを最終化し、リスクベースの検証という枠組みを示した。規制側は「AIを禁止する」方向ではなく、「既存の品質システムの枠組みでどう扱うか」を定義する方向に動いている。裏を返せば、既存の文書管理・変更管理・教育訓練の仕組みが弱い組織は、AIを入れた途端にその弱さが露呈する。
準備すべきこと
- 社内教育の実施全社員がAIリテラシーを身につける必要がある。役割別の学習パスを用意し、実効性の評価まで含めて設計する(QMS省令第二十三条第三号)
- データガバナンスの強化AIが適切に機能するための、質の高いデータ管理体制を構築する。「AIに読ませてよい文書の集合」を定義し、その最新性を担保する仕組みが出発点である
- 変化への柔軟な対応技術進化のスピードに合わせて、組織も柔軟に変化する文化を醸成する。AIは完璧ではないという前提で、継続的な改善サイクルを確立する
まとめ:知識と情報の橋渡し役としての人間
AIは確かに膨大な一般知識を持っているが、それだけでは実務で使えない。企業固有の情報という「最後のピース」を提供できるのは、人間だけである。
AIに業務を「任せる」時代において、人間の役割は「知識と情報の橋渡し役」へと変化しつつある。AIが持つ一般知識と、企業が持つ固有情報を適切に組み合わせることで、初めて実用的な成果が生まれる。この新しい働き方を成功させる鍵は、AIの能力を理解し、その限界を認識し、必要な情報を適切に提供できる能力である。
そして規制産業では、そこにもう一つの条件が加わる。渡す情報そのものが、統制された文書でなければならない。技術の進化を味方につけつつ、現実的な期待値を持ち、段階的に実装を進めることが、これからの時代を生き抜く鍵となるであろう。
本稿の要点
- AIは条文を知っているが、あなたの会社のSOPを知らない。一般論として正しい回答が、自社の手順に適合しているとは限らず、それを見分けられないまま使えば逸脱になり得る
- カットオフは一つの日付ではない。Anthropic は「信頼できる知識のカットオフ」と「訓練データのカットオフ」を分けて公表しており、両者がずれるモデルもある。カットオフ直前の期間はデータが薄く誤りやすい。使うモデルのカットオフは公式ドキュメントで確認すること
- 「ハルシネーションはゼロにできないと数学的に証明された」は、そのままでは不正確。arXiv のプレプリント(査読前)が示したのは、計算可能なLLMと計算可能な正解関数という特定の形式化の下で、万能の問題解決器として用いる限り不可避である、という限定つきの主張である
- 新しいモデルほど誤らない、とは限らない。OpenAI 自身のシステムカード(2025年4月16日)では、PersonQA において o3 のハルシネーション率 0.33 が o1 の 0.16 を上回っている
- RAGは文書管理の不備を解決しない。増幅する。旧版・下書きが検索対象に混入すれば、AIはそれを根拠として引用する。QMS省令第八条第二項第三号「最新の改訂状況が識別できるようにすること」が、AI時代に一段重くなる
- QMSにAIを使うならバリデーションの手順が要る。QMS省令第五条の六は、初回使用時および「適用を変更するとき」に、あらかじめリスクに応じたバリデーションを求める。モデル更改・プロンプト変更・参照文書の変更はいずれも「適用の変更」に当たり得る
- 再現性が §11.10(a) の壁になる。「一貫した意図された性能」を実証できない以上、AIの出力そのものを記録にせず、人間の照査・承認を経て確定させる設計にする
- 規制側は「禁止」ではなく「既存の枠組みでどう扱うか」に動いている。FDA CSAガイダンス(2026年2月最終版)はリスクベースの検証を示し、EU GMP Annex 22(AI)はドラフト段階、EU AI Act の医療機器組込みAIへの適用は2028年8月2日に延期された。延期の理由は準備不足であって、要求の緩和ではない
- 流通している「失敗率」の数字はほとんど裏が取れない。本稿では原典に当たれた Gartner の予測(2025年6月25日)と RAND の質的調査(2024年8月13日、65名への面接)のみを、条件を明示して用いた
出典・参考資料
- 21 CFR Part 11 §11.10「Controls for closed systems」― eCFR
- 医療機器及び体外診断用医薬品の製造管理及び品質管理の基準に関する省令(QMS省令、平成16年厚生労働省令第169号)第五条の六・第八条・第二十三条 ― e-Gov法令検索
- FDA「Computer Software Assurance for Production and Quality Management System Software ― Guidance for Industry and Food and Drug Administration Staff」(2026年2月、Final、Docket No. FDA-2022-D-0795)― fda.gov
- European Commission「Stakeholders’ Consultation on EudraLex Volume 4 ― GMP Guidelines: Chapter 4, Annex 11 and New Annex 22」(意見募集期間 2025年7月7日〜2025年10月7日)― health.ec.europa.eu
- EMA「Good manufacturing practice: Multistakeholder workshop on expert contributions to artificial intelligence guidance development (Annex 22)」― ema.europa.eu
- 規則 (EU) 2024/1689(EU AI Act)第6条・第113条・附属書I ― EUR-Lex
- 規則 (EU) 2026/1744(Digital Omnibus on AI、2026年7月8日、OJ L, 2026/1744, 24.7.2026)― EUR-Lex
- 規則 (EU) 2017/745(MDR)― EUR-Lex/規則 (EU) 2017/746(IVDR)― EUR-Lex
- Ziwei Xu, Sanjay Jain, Mohan Kankanhalli「Hallucination is Inevitable: An Innate Limitation of Large Language Models」(arXiv:2401.11817、v1 2024年1月22日/v2 2025年2月13日、査読前のプレプリント)― arXiv
- OpenAI「OpenAI o3 and o4-mini System Card」(2025年4月16日、Table 4: Hallucination evaluations、ベンダーによる自社評価)― cdn.openai.com(PDF)
- RAND Corporation, James Ryseff, Brandon F. De Bruhl, Sydne J. Newberry「The Root Causes of Failure for Artificial Intelligence Projects and How They Can Succeed: Avoiding the Anti-Patterns of AI」(RR-A2680-1、2024年8月13日、データサイエンティスト/エンジニア65名への面接に基づく質的調査)― rand.org
- Gartner「Gartner Predicts Over 40% of Agentic AI Projects Will Be Canceled by End of 2027」(2025年6月25日プレスリリース、予測)― gartner.com
- Anthropic「Models overview」(Reliable knowledge cutoff / Training data cutoff の定義と各モデルの値、ベンダー公式ドキュメント)― platform.claude.com/Transparency Hub
- OpenAI「Models」(Knowledge cutoff、ベンダー公式ドキュメント)― developers.openai.com
- 当社関連記事:GPTは確率論に基づく次トークン予測技術/ハルシネーション(幻覚)は大幅に改善されている/AIには感情と想像力がない(現時点)/#QuitGPT/27年間誰も見つけられなかったバグ/Excelの10の問題点/Excelを使用する場合の管理留意点/ER/ES実践講座 続報(CSV/GAMP5/CSA/データインテグリティ)/承認者はレビューをしてはいけない