AIには感情と想像力がない(現時点)

人工知能(AI)の進化は目覚ましく、2026年現在、AIは文章を書き、画像を生成し、複雑な業務を遂行できるようになった。しかし、どれほど高度な処理を行えるようになっても、AIには決定的に欠けているものがある。それが「感情」と「想像力」である。この点を正しく理解することは、AIを適切に活用し、人間の役割を再定義するうえで極めて重要である。とりわけ製薬・医療機器のように「誰が判断したのか」を記録し、説明しなければならない業界では、この理解が規制対応そのものに直結する。

本稿の立場について――断定ではなく論証として読まれたい。
「AIには感情がない」「AIには想像力がない」という命題は、実験で真偽を決着させられる種類の主張ではない。他者の内面に主観的体験があるかどうかを外から検証する方法が、そもそも確立していないからである。したがって本稿は、これらを証明済みの事実としてではなく、現時点で支持できる立場として提示する。
本稿の論旨は元の主張と変わらない。変えたのは根拠の示し方である。「〜である」と言い切っていた箇所は、「〜を示す証拠は現時点で確認できない」「〜という立場が有力である」「規制当局は〜という前提で制度を設計している」という形に書き改めた。タイトルに付した「(現時点)」という留保は、この記事の美点であると考えるため、そのまま維持する。

本稿の見取り図

先に、本稿が扱う論点と、それぞれの根拠の性質を一覧で示す。「根拠の性質」の欄が本稿の肝である。同じ「AIには〜がない」という文でも、哲学的な論点と、実験で確かめられた事実と、規制文書に書かれた要求とでは、読み手が負うべき態度がまったく異なる。

論点本稿の立場根拠の性質
AIは感情を「持つ」か持つことを示す証拠は確認できない。持たないという立場を採る哲学的論点。検証手段が確立していない
AIは感情を「認識・模倣」できるかできる。ただし精度・一般化可能性に強い疑義がある実証の対象。EU AI Act 前文(44)が疑義を明記
AIの創造は学習データの組み合わせにとどまるか「組み合わせを超えた」と外から判定する方法がない。断定はしない定義の問題。反証事例の解釈が分かれる
AIとの協働は創造性にどう効くか個人の評価は上がり、生成物どうしの類似度も上がった実験で観測。短編小説課題・被験者293名の1件の研究
AIは客観的か客観的ではない。訓練データの偏りを反映する公的機関が明記。NIST SP 1270
AIは責任主体になれるかなれない。規制はすべて自然人・法人に義務を課している法令・ガイダンスの明文。反論の余地がない

AIが「感情」を持たない本質的な理由

パターン認識と感情の違い

AIは膨大なデータから学習し、人間の感情表現を模倣することができる。励ましの言葉を生成したり、共感的な応答を返したりすることも可能である。しかし、これは感情を「持っている」のではなく、感情的な言葉のパターンを「再現している」と理解するのが妥当である。

たとえば、AIが「それは大変でしたね」と応答したとき、その出力の生成過程に同情という内的状態が介在したことを示す証拠はない。大規模言語モデルは、直前までの文脈のもとで次に来る語の確率分布を推定し、そこから語を選ぶ処理を繰り返している。この仕組みについては、自社記事GPTは確率論に基づく次トークン予測技術で詳述した。共感的な語が出てくるのは、そうした文脈で共感的な語が続く確率が高いという統計的性質の帰結であって、感じたことの表明ではない。

念のため補足すると、「内的状態が介在したことを示す証拠はない」は「介在していないことが証明された」とは異なる。前者は現時点で言えること、後者は言えないことである。本稿はこの区別を最後まで守る。

主観的体験の不在

人間の感情には、喜び、悲しみ、怒り、恐れといった主観的な体験が伴う。美しい夕焼けを見て心が動かされたり、大切な人との別れに涙を流したりする。これは単なる情報処理ではなく、意識を持つ存在としての内的体験である――と、少なくとも私たちは自分自身についてそう考えている。

現在のAIに、このような主観的体験が存在するという証拠はない。AIは夕焼けの画像を分析し、「美しい」というラベルを付けることはできるが、その美しさを「感じて」いるかどうかを外部から確かめる手段は存在しない。

ここで正直に述べておくべきことがある。この「確かめる手段が存在しない」という事情は、AIに不利にも有利にも働かない。私たちは他の人間についても、その内面を直接観測してはいない。にもかかわらず他人に主観的体験があると信じるのは、身体構造と行動の類似という間接的な根拠によっている。AIにはその類似がない。ゆえに「ある」と考える積極的な理由もない――というのが、本稿が採る立場である。これは証明ではなく、証拠がない側に立つという判断である。

「感情を持つ」と「感情を認識・模倣する」は、まったく別のことである

ここが本稿でもっとも重要な区別である。この二つを混同すると、「AIが感情を読み取れるようになった」という報道を「AIが感情を持ち始めた」と受け取ってしまう。両者は技術的にも規制上もまったく別物として扱われている。

観点感情を「持つ」感情を「認識・推定する」感情を「模倣・表出する」
中身内的・主観的な体験を伴う状態表情・声・生体情報などから感情を識別・推論する感情があるかのような文章・音声・表情を出力する
実現状況実現を示す証拠は確認できない製品として実在する製品として実在する
検証可能性外部からの検証手段が確立していない正解ラベルとの一致率で測定できる人による評価で測定できる
研究分野意識の哲学・認知科学(未解決)Affective Computing(感情コンピューティング)
EU AI Act の扱い規定なし(対象外)「感情認識システム」として定義・規制(第3条(39))透明性義務の対象(第50条)
規制上のリスク――職場・教育機関での使用は禁止行為(第5条第1項(f))。その他は原則ハイリスク(附属書III 1(c))AIとのやり取りである旨の告知義務

元記事は「研究者たちは『感情AI』の開発に取り組んでいる」と述べていた。この分野には確立した名称がある。Affective Computing(感情コンピューティング)である。マサチューセッツ工科大学(MIT)メディアラボの研究者が1995年のテクニカルレポートと1997年の同名書籍(MIT Press)で提唱し、以後30年にわたり学術分野として定着している。

ここで注意すべきは、この分野の実際の成果物が何かということである。MITメディアラボの Affective Computing グループが自ら掲げる目的は「感情を伝達し、理解し、感情に応答する新しい方法を開発すること」であり、すなわち人間の感情信号を機械が処理し、適切に反応することにある。機械に感情を宿らせることではない。

「感情AI」という言葉は、二つの全く違うものを指し得る

製品カタログや報道で「感情AI」「エモーションAI」と書かれているものは、ほぼ例外なく「感情を認識・推定する技術」である。「感情を持つAI」ではない。この二つを同じ言葉で呼んでいることが、本稿が扱う誤解の最大の供給源になっている。

そして重要なのは、認識の側についても、規制当局が科学的根拠に疑義を呈しているという事実である。

「感情を識別または推論することを目的とするAIシステムについては、その科学的根拠に重大な懸念がある。とりわけ、感情の表出は文化や状況によって、また一人の個人の中においてすら、大きく異なるためである。こうしたシステムの主要な欠点には、信頼性の限界、特異度の欠如、一般化可能性の限界がある。」(前文(44)、当社訳) 出典:Regulation (EU) 2024/1689(EU AI Act) 前文(44)

つまりEU の立法者は、「AIが人の感情を読み取れる」という主張そのものを慎重に扱っている。「感情を持つAI」が実現していないのはもちろん、「感情を確実に読み取るAI」も、規制文書の水準では未達と評価されているのである。

AIが「想像力」を持たない理由

学習データの範囲内での創造

AIの創造的な出力は、しばしば人間を驚かせる。新しいデザインを提案したり、独創的な文章を生成したりする。しかし、AIの創造性は本質的に「組み合わせ」の産物である――というのが、本稿が採る立場である。

AIは学習したデータの要素を新しい形で組み合わせることはできる。一方で、データに全く含まれていない概念を生み出せることを示す事例は、いまのところ確認されていない。たとえば、写真を一枚も見たことのない人物が想像だけで風景画を描くような創造は、現在のAIの動作原理からは説明がつかない。

「未知」への飛躍の欠如

人間の想像力の真髄は、既知の世界を超えて「まだ存在しないもの」を思い描く能力にある。かつて空を飛ぶことは不可能だと考えられていたが、人間は鳥を見て「もし人間も飛べたら」と想像し、やがて飛行機を発明した。

この種の想像力には、現状への不満、より良い未来への希望、実現への意志といった感情的な原動力が不可欠であると考えられる。AIはデータから最適解を導き出すことはできるが、「こうあるべきだ」という価値判断や、「こうなったら素晴らしい」という願望を、自ら発生させている証拠はない。AIが価値判断らしきものを出力するとき、その基準は設計者が与えた目的関数か、訓練データに含まれていた人間の価値判断の分布である。

この論点への反証はあるか――誠実に扱う

この立場に対しては、有力な反論がある。近年、AIは人間が長年見つけられなかった解を発見したと報じられる事例を積み上げてきた。当社も、AIが27年間誰にも発見されなかったソフトウェアのバグを検出した事例を記事にしている(27年間誰も見つけられなかったバグ)。「これは組み合わせの外に出たのではないか」という問いは、正当な問いである。

本稿の整理は次のとおりである。「組み合わせを超えた」のか「組み合わせの探索範囲が人間より圧倒的に広かった」だけなのかを、外から区別する方法がない。探索空間の中に答えがあり、それを人間が見つけられなかっただけであれば、それは網羅性の勝利であって想像力ではない。逆に、探索空間の外に出たことを示すには、「探索空間の境界」を定義できなければならないが、大規模モデルについてそれを定義する手段はない。

したがって、「AIには想像力がない」も「AIには想像力がある」も、現時点では証明できない。本稿は、動作原理から説明できる範囲にとどめる――すなわち「組み合わせで説明がつく」――という保守的な立場を採る。この態度は、規制対応の場面では実務的にも正しい。説明できない能力を前提に業務を設計してはならないからである。

書籍 [書籍] 医療機器設計管理入門

本記事の内容をより深く理解するための解説書である。

価格:55,000円(税込)

書籍の詳細を見る ▶

AIと人間の協働における実践的な意味

役割分担――AIが得意なこと/人間にしかできないこと

感情と想像力を持たないAIだからこそ優れた能力を発揮する領域があり、一方で感情と想像力を持つ人間にしか担えない役割もある。両者を対比して整理する。

観点AIが得意なこと人間にしかできないことGxP上の対応箇所
持続性疲労せず24時間稼働する。感情の浮き沈みに左右されない――(この点で人間はAIに及ばない)反復照合・データ抽出の一次処理
一貫性同一の基準を機械的に適用できる(決定論的なモデルの場合)――Annex 22 は決定論的出力のモデルのみを対象とする
処理量大量の情報を短時間で処理する――逸脱・苦情の初期スクリーニング
客観性得意ではない。訓練データの偏りを反映する偏りの存在を疑い、検証設計を組めるNIST SP 1270/EMA リフレクションペーパー
価値判断できない。目的関数の外に出られない「何を作るべきか」を決める是正措置の要否判断(QMS省令 第63条第2項第三号)
意味の付与できない「なぜそれが重要か」を説明する逸脱の重大性評価、リスクの受容判断
倫理的判断できない価値の衝突を引き受けて決める患者安全に関わる最終決定
責任負えない。法人格も自然人性もない負う。承認・照査・是正の名義人になるQMS省令 第8条第2項第一号・第15条第2項

一貫した処理能力

AIは疲れを知らず、休みなく作業を続けられる。感情の浮き沈みに左右されず、一貫した基準で処理を行うことができる。単調な反復作業や、大量の情報を短時間で処理する業務において、人間を遥かに凌駕する。

ただしこの「一貫性」には条件が付く。同じ入力に対して同じ出力を返すモデルであることが前提である。生成AIや大規模言語モデル(LLM)は、この前提を満たさない。同じ問いに二度答えさせれば、違う答えが返り得る。後述するとおり、EU GMP の Annex 22 ドラフトはまさにこの点を理由に、生成AI・LLM を重要な GMP 用途から外している。Excel の COPILOT 関数についても同じ問題が指摘されており、当社記事Excelの10の問題点で扱った。

客観性への注意点

「AIは偏見なく客観的である」は誤解である

AIは「疲れない処理者」ではあるが、「完全に公平な判断者」ではない。この点は、米国の標準化機関である NIST(国立標準技術研究所)が公式文書で明記している。

「バイアスは多くの形態で存在し、社会に遍在しており、私たちの生活に関する判断を助ける自動化されたシステムに定着し得る。バイアスが常に否定的な現象であるわけではないが、AIモデルおよびシステムに現れる一定のバイアスは、個人・組織・社会に対する負の影響を永続させ、増幅させ得る。」(当社訳) 出典:NIST Special Publication 1270「Towards a Standard for Identifying and Managing Bias in Artificial Intelligence」(2022年3月)

医療分野では、実際に検証された事例がある。米国で広く使われていた患者の追加ケア対象を選定するアルゴリズムについて、同じリスクスコアが付いた患者どうしを比べると、黒人患者のほうが白人患者より実際には病状が重かったことが査読付き論文で報告されている(Science 誌、2019年10月25日)。原因は、アルゴリズムが「病状の重さ」ではなく「医療費の発生額」を予測していたことにあった。医療へのアクセスに格差があるため、同じ病状でも黒人患者には少ない費用しか使われていなかったのである。バイアスを取り除いた場合、追加ケアを受ける黒人患者の割合は17.7%から46.5%に増えると試算された。

注目すべきは、このアルゴリズムに人種は入力されていなかった点である。差別的な意図も、差別的な変数も存在しなかった。にもかかわらず、代理変数(医療費)を通じて社会の格差がそのまま出力に流れ込んだ。「悪意がないこと」はバイアスがないことの保証にならない。

元記事には「2025年の最新研究により、AIは訓練データに含まれる偏見を反映し、時には増幅することが明らかになっている」「金融リスク評価AIが既存の社会的バイアスを継承したりする事例が報告されている」という記述があった。「2025年の」研究として特定できる文献は確認できなかったため、年次の記述は採用していない。代わりに、調査主体・時点・測定方法まで特定できる上記2件(NIST SP 1270、および Science 掲載の査読付き論文)に置き換えた。金融分野については、NIST SP 1270 が「誤った就職・融資の拒否」を harm の例として挙げている範囲にとどめ、個別事例の断定は行わない。

人間にしかできないこと

真に新しい価値の創造

前例のない課題に直面したとき、既存のデータやパターンを超えた発想が必要になる。これは感情を持ち、主観的な価値判断ができる人間の領域である――と考えられている。

ただしこの点については、興味深い実証研究がある。元記事は「2024年から2025年の研究により、AIとの協働が創造性に与える影響は複雑であることが明らかになっている」と述べていたが、「複雑である」では何も述べたことにならない。特定できた研究の知見に置き換える。

項目内容
研究Doshi AR, Hauser OP.「Generative AI enhances individual creativity but reduces the collective diversity of novel content」
掲載Science Advances 10(28): eadn5290(2024年7月12日、査読付き)
課題短編小説の執筆。オンライン実験
被験者執筆者293名を3群に無作為割付(AIの着想なし/AIの着想1件/AIの着想5件)
評価別途600名の評価者による延べ3,519件の評価
結果1AIの着想にアクセスできた作品は、より創造的・より良く書けている・より楽しいと評価された。効果はもともと創造性の低い書き手ほど大きかった
結果2一方で、AIを使った作品どうしは互いに似ていた(人間のみの作品群より類似度が高い)
著者の解釈「社会的ジレンマ」に似た構図。個々の書き手は得をするが、集団としては新規性の幅が狭まる
この研究から言えることと、言えないこと。言えるのは「短編小説の執筆というタスクで、AIの着想を与えられた群の作品は、個別評価が上がり、群内の類似度も上がった」ことである。言えないのは「社会全体で作品の多様性が減少している」ことである。これは1件の実験であり、観測されたのは実験内の類似度であって社会全体の傾向ではない。元記事の「社会全体としては似たような作品が増え、多様性が減少する傾向が観察されている」は、研究の射程を超えているため、上記の実験条件付きの記述に改めた。

人間の創造性の真価は、「何を創るべきか」という価値判断と、「なぜそれが重要か」という意味の付与にある。ここは、いまのところ人間しか担っていない役割である。

倫理的判断と共感

AIに業務を「任せる」時代においても、最終的な判断、とりわけ倫理的な問題については人間が責任を持つ必要がある。倫理的推論には、価値判断と感情的文脈の理解が不可欠であり、これはAIには欠けている能力である。また、顧客や同僚との深い信頼関係の構築には、本物の共感が不可欠である。

重要なのは、AIシステムがその人工的性質を明示し、透明性を保つことである。特に感情的な文脈では、AIは人間のサポートの代替ではなく、あくまで補助として位置づけられるべきである。この「明示せよ」という要請は、いまや倫理的な心得ではなく法的義務になっている。EU AI Act 第50条第3項は、感情認識システムの利用者に対し、そのシステムにさらされる自然人へ運用について通知する義務を課している。

■ 本記事に関連するおすすめ商品
書籍 【超入門】コンピュータ化システムバリデーション

「AIを業務に組み込むとき、どこまで検証すれば足りるのか」という本稿の中心的な疑問は、突き詰めればCSVの範囲の問題である。難解といわれるGAMP 5と厚生労働省のCSV指針を基礎から解説した入門書。リスクベースアプローチ、カテゴリ分類、V字モデル、ライフサイクル各段階の考え方を、はじめて担当する方にも分かるよう積み上げて説明している。A5判130ページ。

価格:44,000円(税込)

QMS手順書ひな形 【QMS省令対応】教育訓練規程・手順書・様式

AIの出力を「通す/通さない」と判断する人が、その判断を行う力量を持っていることを、記録で示さなければならない。QMS省令第23条および Annex 22 が求めるのはまさにこれである。規程・手順書・8様式の完全セット(Word/Excel編集可)。教育担当者の適格性認定、力量マトリクス、年間教育計画、受講記録、個人別教育履歴までを網羅する。

価格:99,000円(税込・ダウンロード版)/100,650円(税込・CD-R)

ビデオ・VOD 【ビデオ・VOD】生成AIシステムのCSV実施とAIリテラシー教育セミナー

本稿で扱った「AIに何を任せ、人が何を引き受けるか」を、CSVの実務手順に落とし込んだセミナーである。人(AIリテラシー教育)・プロセス(ルール整備)・技術(セキュリティ統制)の三層で、生成AIのバリデーションとリスク管理を解説する。2026年1月27日収録、収録時間220分。

価格:77,000円(税込・1日間VODレンタル)~/見放題・ダウンロード版 330,000円(税込)

ビデオ・VOD 【ビデオ・VOD】【第12回】AI Compliance研究会

規制業界におけるAI活用の最新動向を継続的に取り上げる研究会の第12回。EU AI Act、EU GMP Annex 22、FDAのAI関連ガイダンスといった、本稿で扱った規制の現在地を追いかけたい方に。2026年8月4日収録、収録時間120分。

価格:27,500円(税込・1日間VODレンタル)~/見放題・ダウンロード版 198,000円(税込)

QMS手順書ひな形 【QMS省令対応】品質管理監督システム基準書

本記事で触れた要求を自社の文書へ落とし込むためのひな形である。MS-Word形式で加筆・修正できる。

価格:99,000円(税込・ダウンロード版)

ひな形の詳細を見る ▶

GxPにおける意味――なぜ Human-in-the-Loop が要求されるのか

ここまでは一般論である。ここからが、製薬・医療機器の品質保証/CSV担当者にとって本題になる。

「AIには感情と想像力がない」という命題は、規制対応の文脈に置くと、たちまち具体的な設計要件に化ける。各国の規制当局は、この命題を哲学の問題としてではなく、制度設計の前提として扱っている。「AIは自分で価値判断をしないし、自分の出力に責任を負えない」――だからこそ、判断と責任を人に残す仕組みを明文で要求しているのである。

EU AI Act――「人間による監督」の明文要求

Regulation (EU) 2024/1689(EU AI Act)は2024年6月13日に署名され、本則の適用開始は2026年8月2日である。すなわち本稿執筆時点で、すでに適用段階に入っている。適用スケジュールは段階的で、次のとおりである(第113条)。

適用開始日対象医療機器・医薬品業界への意味
2025年2月2日第I章・第II章(総則、禁止されるAI慣行職場での感情推定の禁止(第5条第1項(f))は施行済み
2025年8月2日第III章第4節、第V章(汎用AIモデル)、第VII章、第XII章、第78条汎用AIモデル提供者の義務が発効
2026年8月2日本則(上記以外)。第14条「人間による監督」を含む附属書IIIのハイリスクAIに関する要求が発効
2027年8月2日第6条第1項および対応する義務MDR/IVDR 対象製品に組み込まれたAIの義務はこの日から

医療機器メーカーにとって重要なのは最後の行である。AI Act 第6条第1項は、附属書Iに掲げる EU 整合法令の対象製品の安全構成要素であるAI、またはそれ自体が当該製品であるAIで、かつ第三者適合性評価が要求されるものをハイリスクに分類する。附属書Iの第11号は Regulation (EU) 2017/745(MDR)、第12号は Regulation (EU) 2017/746(IVDR)である。前文(51)は、MDR/IVDR について「中リスクおよび高リスク製品には第三者適合性評価が設けられている」と明記している。つまり、Notified Body による適合性評価を要する医療機器(クラスIs/Im/Ir およびクラスIIa以上)に組み込まれたAI、またはそれ自体が当該機器であるAIは、原則としてハイリスクAIに該当する。その義務の適用開始は2027年8月2日である。

そのハイリスクAIに課される中核要求のひとつが、第14条「人間による監督(Human oversight)」である。

第14条第1項「ハイリスクAIシステムは、適切なヒューマン・マシン・インターフェースのツールを含め、使用期間中に自然人によって実効的に監督され得るように設計・開発されなければならない。」

第14条第4項「……人間による監督を割り当てられた自然人が、適切かつ比例的な範囲で、次のことを行えるように提供されなければならない。
(a) 当該システムの関連する能力と限界を適切に理解し、異常・機能不全・想定外の性能の検知および対処を含め、その動作を適切に監視できること。
(b) ハイリスクAIシステムの出力に自動的に依存し、または過度に依存する傾向(オートメーション・バイアス)があり得ることを認識し続けること。とりわけ、自然人が下す判断のための情報または推奨を提供するために用いられるハイリスクAIシステムについて。
(c) 利用可能な解釈ツールおよび手法を考慮して、出力を正しく解釈できること。
(d) 個別の状況において、当該システムを使用しないことを決定し、またはその出力を無視し、上書きし、もしくは覆すことを決定できること
(e) システムの動作に介入し、または『停止』ボタン等により、安全な状態で停止させられること。」(当社訳) 出典:Regulation (EU) 2024/1689 第14条

(b) と (d) を並べて読むことが肝要である。立法者は「人はAIの出力を鵜呑みにしがちである」という事実を前提に置いたうえで、それでもなお「無視し、上書きし、覆す」権限を人間に残せと要求している。これは、AIが価値判断も責任も引き受けられないという本稿の主張を、法の側から裏書きした条文である。

EU GMP Annex 22(AI)ドラフト――生成AIは重要なGMP用途に使うべきでない

EU GMP には、AIを正面から扱う新附属書のドラフトがある。EudraLex Volume 4 の Chapter 4(文書化)改訂、Annex 11(コンピュータ化システム)改訂とあわせ、Annex 22「Artificial Intelligence」が新設案として意見募集にかけられた。募集期間は2025年7月7日から2025年10月7日までである。

2026年8月時点で Annex 22 は最終化されていない。ドラフトである。以下の引用は確定した要求事項ではなく、規制当局の現在の考え方を示すものとして読まれたい。

このドラフトの「1. Scope」は、本稿の論旨ときわめて強く共鳴する。

「本附属書は、静的モデル、すなわち使用中に新しいデータを取り込んで性能を適応させないモデルに適用する。使用中に継続的かつ自動的に学習し性能を適応させる動的モデルは本書の対象外であり、重要なGMP用途に使用すべきではない。」

「本附属書は、決定論的な出力を持つモデル、すなわち同一の入力に対して同一の出力を提供するモデルに適用する。同一の入力に対して同一の出力を提供しないことがある確率的な出力を持つモデルは本書の対象外であり、重要なGMP用途に使用すべきではない。」

「以上より、本書は生成AIおよび大規模言語モデル(LLM)には適用されず、これらのモデルは重要なGMP用途に使用すべきではない。患者安全・製品品質・データインテグリティに直接の影響を及ぼさない非重要なGMP用途に使用する場合には、十分な適格性と教育訓練を有する要員が、当該モデルの出力が意図した用途に適しているかを確保する責任を常に負うべきである。すなわち human-in-the-loop(HITL)である。」(当社訳) 出典:EudraLex Volume 4 — Annex 22: Artificial Intelligence(意見募集用ドラフト、2025年7月7日) 第1章 Scope

この一文は、本稿が「一貫性」の節で述べた条件を、規制文書がそのまま採用したものである。「同じ入力に同じ出力を返さないモデルは、重要な用途に使うな」。そして、非重要用途に使うのであれば人が出力の妥当性に責任を負え、と書いてある。

Annex 22 ドラフトは、Human-in-the-Loop についてさらに二点を要求している。

要求の趣旨実務での意味
3.3 Human-in-the-loopモデルが人間の判断への入力を与える形で使われ、かつモデルの試験の労力が軽減されている場合、意図した用途の記述に「操作者の責任」を含めるべき。操作者の教育訓練と一貫した実施能力は、他の手作業工程と同様に監視すべき「誰が責任を負うか」を仕様書に書けということである。曖昧にしたまま導入することを許していない
10.5 Human review同上の場合、そのレビュー過程の記録を保持すべき。工程の重要度とモデルの試験水準によっては、手順に従いモデルの全出力を一貫してレビュー・試験することを要し得る「人が見た」という事実自体が記録対象になる。目視したが記録がない、は不適合である
6.5 Staff independency試験データにアクセスした要員が同じモデルの訓練・検証に関与することを防ぐ管理を実施すべき。独立性の維持が不可能な組織では、アクセスのない同僚と組んで作業すること(4-eyes principle判断の独立性の要求である。後述のQMS省令第15条第2項と同じ思想に立つ
8. Explainability重要なGMP用途では、分類・判断に寄与した特徴量を記録すべき。SHAP・LIME・ヒートマップ等の手法を用いる。その特徴量のレビューを、試験結果の承認プロセスの一部とすべき「なぜその出力になったか」を人が点検し、その点検を承認手続に組み込め、ということ
9.2 Threshold確信度スコアが著しく低い場合、信頼できない予測を行うより「判定不能」として旗を立てることを検討すべき「分からない」と言える設計にせよということ。AIは自発的に躊躇しないため、閾値で外挿的に実装するほかない

FDA――AI関連ガイダンスの現在地(2026年8月時点)

米国 FDA も複数の文書を出しているが、最終版とドラフトが混在している。「ガイダンスが出ている」と一括りにせず、状態を区別して扱う必要がある。

文書対象発出日状態(2026年8月時点)
Marketing Submission Recommendations for a Predetermined Change Control Plan for Artificial Intelligence-Enabled Device Software Functions(PCCP)医療機器2024年12月4日最終版
Artificial Intelligence-Enabled Device Software Functions: Lifecycle Management and Marketing Submission Recommendations医療機器2025年1月6日ドラフトのまま。意見募集は2025年4月7日締切。CDRH の FY2026 提案ガイダンス一覧では最終化候補(B-List)に掲載
Considerations for the Use of Artificial Intelligence To Support Regulatory Decision-Making for Drug and Biological Products医薬品・生物学的製剤2025年1月6日ドラフトのまま
Computer Software Assurance for Production and Quality Management System Software(CSA)製造・品質マネジメントシステムのソフトウェア2026年2月3日最終版。2025年9月24日版(”Quality System Software”)を差し替え。名称が “Quality Management System Software” に変わっている点に注意

EMA――責任は AI ではなく、申請者・製造業者にある

欧州医薬品庁(EMA)の CHMP・CVMP は、2024年9月に「医薬品ライフサイクルにおけるAIの利用に関するリフレクションペーパー」(EMA/CHMP/CVMP/83833/2023)を採択した。同文書は、責任の所在について明快である。

「重要な原則は、使用されるすべてのアルゴリズム、モデル、データセット、データ処理パイプラインが目的に適合し、EU法令・GxP基準・現行のEMAガイドラインに定められた法的・倫理的・技術的・科学的・規制上の基準に沿っていることを確保することが、治験依頼者、製造販売承認申請者・保有者、または製造業者の責任であるという点である。」

「医薬品ライフサイクルにおけるAI/MLの利用は、常に既存の法的要求に適合して行われるべきであり、倫理およびその基礎原則を考慮し、基本的権利を十分に尊重して行われるべきである。人間中心のアプローチが、AIおよびMLのすべての開発と展開を導くべきである。」(当社訳) 出典:EMA「Reflection paper on the use of Artificial Intelligence (AI) in the medicinal product lifecycle」EMA/CHMP/CVMP/83833/2023(2024年9月)

同文書は、透明でないモデル(いわゆるブラックボックス)の使用について、「透明な(解釈可能な)モデルでは性能または頑健性が不十分であることを開発者が実証できる場合には、許容され得る」としており、ブラックボックスの採用にも人間による立証責任を課している。

▲【動画】【ワンポイントAI】第1回 生成AI業務利用の重大注意点~「便利さ」より先に「確認」を~(株式会社イーコンプライアンス)

責任の所在――AIは責任主体になれない

ここまで見てきた各国の規制に共通する構造がある。どの文書も、義務の名宛人を自然人または法人にしている。「AIが責任を負う」と書いた規制文書は存在しない。これは規制側の怠慢ではなく、AIには価値判断も意志もないという理解の、法的な帰結である。

QMS省令における「人が行うこと」

日本の医療機器及び体外診断用医薬品の製造管理及び品質管理の基準に関する省令(QMS省令)を見ると、AIに委ねられない行為が条文に散在していることが分かる。

場面条番号条文が求めていることAIに委ねられるか
QMSでのソフトウェア使用第5条の6品質管理監督システムにソフトウェアを使用する場合、その適用に係るバリデーションの手順を文書化する。初めて使用するとき、および当該ソフトウェア又はその適用を変更するときは、あらかじめバリデーションを行う。使用に伴うリスクに応じて行い、記録を作成・保管するAIをQMSに使うなら、この条が直接効く。バリデーションの主体は製造販売業者等
文書の発行・更新第8条第2項第一号・第二号品質管理監督文書を発行するに当たり、妥当性を照査し、その発行を承認すること。所要の照査を行い更新するに当たり、その更新を承認すること否。承認は名義を伴う行為である
記録の管理第9条第2項記録の識別・保管・セキュリティ確保・完全性の確保(正確であり、作成時点から不適切な改変がない状態を保つこと)・検索・保管期間・廃棄の管理方法を文書化する処理は自動化可。完全性を保証する責任は人
判断の独立性第15条第2項品質に影響を及ぼす業務を管理監督し、実施し、又は検証する者の全てについて、相互の関係を定め、当該職務を行うために必要な独立性を確保するとともに、必要な責任及び権限が与えられているようにする否。独立性は人と人の関係の設計である
能力・教育訓練第23条品質に影響を及ぼす業務に従事する者に必要な能力を明確にし、教育訓練等の措置をとり、その措置の実効性を評価し、教育訓練・技能・経験の記録を作成・保管する否。力量は人に帰属する属性である
是正措置第63条第2項不適合の照査、原因の特定、再発しないことを確保するための措置の必要性の評価、計画の策定と実施、悪影響の検証、実効性についての照査否。「必要性の評価」は価値判断そのもの
工程バリデーション第45条第3項第一号当該工程の照査及び承認のための判定基準を定める基準の適用は自動化可。基準の設定と承認は人

AIが「逸脱です」と言っても、それは逸脱の判定ではない

AIが異常を検出したという出力は、QMS上は「情報」であって「判定」ではない。逸脱として起票するかどうか、原因は何か、是正措置が必要か、その措置は実効的だったか――QMS省令第63条第2項が列挙するこれらはすべて評価と照査であり、名義を持つ人が行う行為である。

逆に言えば、AIを導入してもこの部分の工数は減らない。減るのは「見つける」工数であって、「決める」工数ではない。AI導入の効果を見積もるときに、ここを混同すると計画が崩れる。

「判断の独立性」――承認者はレビューをしてはいけない、との接続

QMS省令第15条第2項の「必要な独立性を確保」という要求と、Annex 22 ドラフト 6.5 の 4-eyes principle は、同じ思想の別表現である。すなわち、一人の主体が「作る」と「点検する」を兼ねると、点検が機能しなくなるという経験則である。

当社は、この論点を人間どうしの役割分担として扱った記事を公開している(承認者はレビューをしてはいけない)。そこでの整理は、レビュアーは内容を確認し、承認者は「レビューが正しく行われたという事実」を確認する、というものであった。承認者に全文の読み直しを求めると、かえって承認が形骸化する(いわゆるラバースタンプ化する)。

AIを工程に入れると、この構図に新しい失敗様式が加わる。AIが下書きし、AIがレビューし、人が承認する――という運用にすると、独立性を担保しているのは「人が承認したこと」だけになる。しかもその人は、AIが作りAIが点検した成果物を渡されているため、点検が実質的に行われたのかを判定する材料を持たない。AI Act 第14条第4項(b) が名指ししたオートメーション・バイアスが、もっとも起きやすい配置である。

配置作成レビュー承認評価
従来型人A人B人C独立性は確保される
AI支援型(推奨)AI+人A人B人C可。Aの責任が仕様書に明記されていること(Annex 22 3.3)
AI二重型(要注意)AIAI人C独立性が崩れる。Cは判定材料を持たない
全自動型AIAIAI不可。承認の名義人が存在しない(QMS省令第8条第2項第一号)

教育訓練――AIを使う側の力量が要求される

Annex 22 ドラフト 3.3 は、Human-in-the-Loop の運用について「操作者の教育訓練と一貫した実施能力は、他の手作業工程と同様に監視すべき」と述べている。QMS省令第23条は、必要な能力の明確化、教育訓練の実施、その措置の実効性の評価、記録の作成・保管を求めている。

これを AI に当てはめると、次のような要求になる。「AIの出力を通してよいと判断する人」が、その判断を行う力量を持っていることを、記録で示さなければならない。ここでいう力量には、当該業務の専門知識に加え、AIの限界を理解していることが含まれる。AI Act 第14条第4項(a) が「関連する能力と限界を適切に理解し」と書いているのは、まさにこの点である。

ビデオ・VOD 【ビデオ・VOD】初心者のための医療機器規制入門

本記事の主題を映像で通して学べる。実務での勘所を押さえたい場合に適する。

価格:77,000円(税込)〜 ※視聴形態により異なります

ビデオの詳細を見る ▶

実務への落とし込み

以上を踏まえ、規制対象業務にAIを組み込む際の検討順序を整理する。

  1. 用途が「重要」か「非重要」かを先に決める患者安全・製品品質・データインテグリティに直接の影響を及ぼすか否かで区分する(Annex 22 ドラフト 1. Scope の切り口)。重要用途に生成AI・LLMを使う計画は、この段階で成立しない。
  2. 出力が決定論的かを確認する同一入力に同一出力を返すか。返さないのであれば、その事実を前提に工程を設計する。「たぶん同じ結果になる」は再現性の担保にならない。
  3. 責任者を仕様書に書くAnnex 22 ドラフト 3.3 は、意図した用途の記述に操作者の責任を含めることを求めている。「AIが出したので」という説明が成立しない体制を、文書で先に作る。
  4. レビューの記録を設計する同 10.5 は、人によるレビュー過程の記録の保持を求めている。工程の重要度によっては全出力のレビューが要る。「見た」ではなく「見たという記録」が要件である。
  5. 独立性の配置を確認する作成・レビュー・承認のどこにAIが入り、人の独立性が崩れていないかを点検する(QMS省令第15条第2項、Annex 22 ドラフト 6.5)。
  6. バリデーションと変更管理の対象に含めるQMS省令第5条の6は、QMSにソフトウェアを使用する場合の手順の文書化と、初回使用時・変更時の事前バリデーションを求めている。モデルの更新は「変更」である。Annex 22 ドラフト 10.1 も同旨(変更時の再試験、再試験しない場合は正当化)。
  7. 「判定不能」を返せるようにする確信度が低い場合に旗を立てる仕組みを組み込む(同 9.2)。AIは自発的に躊躇しない。躊躇は外から実装するしかない。
  8. 使う人の力量を記録するAIの限界を理解していることを含め、教育訓練と実効性評価の記録を残す(QMS省令第23条、Annex 22 ドラフト 3.3)。
  9. ドリフトを監視する入力データがモデルの想定範囲に留まっているかを定期的に監視する(同 10.4)。環境が変われば、変更していないモデルの性能も変わる。

最大のリスクは、AIの誤りではなく「人が確認をやめること」である

AI Act 第14条第4項(b) が、能力や精度の要求とは別に「オートメーション・バイアスを認識し続けること」を独立の項目として立てている意味を考えたい。立法者が想定している事故の形は、AIが間違えることそのものではない。AIが十分に高精度であるがゆえに、人が確認をやめ、稀な誤りが素通りするという形である。

精度が上がるほど、この危険は増す。「これまで一度も間違えなかった」は、確認を省く理由にならない――むしろ、確認が形骸化している兆候として扱うべきである。関連して、生成AIの業務利用にあたっての基本的な注意点は、上の動画と自社記事#QuitGPTでも扱っている。

未来への展望

感情AI(Affective Computing)の研究動向

研究者たちは、人間の表情や声のトーンから感情を認識し、適切に応答するシステムの開発に取り組んでいる。この分野は Affective Computing(感情コンピューティング)と呼ばれ、1995年のテクニカルレポートと1997年の同名書籍(MIT Press)を起点として、MITメディアラボを中心に発展してきた。

ただし、繰り返しになるが、これは感情を「理解する」のではなく、感情の表出パターンを「検出する」技術である。MITメディアラボの当該研究グループ自身、その目的を「感情を伝達し、理解し、感情に応答する新しい方法の開発」と掲げており、機械に感情を宿らせることを成果目標にはしていない。

さらに、検出の側についても評価は定まっていない。EU AI Act 前文(44)が「科学的根拠に重大な懸念がある」「信頼性の限界、特異度の欠如、一般化可能性の限界」と述べているとおりである。その帰結として、EU では職場および教育機関において感情を推定するAIの上市・利用が禁止され(第5条第1項(f)、2025年2月2日から適用)、それ以外の感情認識システムも原則としてハイリスクに分類されている(附属書III 1(c))。医療上または安全上の理由による利用は禁止の例外とされているが、その場合もハイリスクAIとしての要求は残る。

真の意味でAIが感情や想像力を持つようになるかどうかは、意識の本質という哲学的問題とも関連し、現時点では未解決の課題である。「未解決」であって「否定された」でも「時間の問題」でもない。この記事のタイトルに「(現時点)」と付されているのは、その状態を正確に表すためである。

共進化の道

重要なのは、AIに感情や想像力がないことを欠点として捉えるのではなく、人間とAIの特性の違いとして認識することである。AIは一貫した処理能力と高速な情報処理で貢献し、人間は感情と想像力を活かして新たな価値を創造する。

ただし、AIの「客観性」を過信してはならない。AIは訓練データのバイアスを反映するため、その判断には継続的な監視と人間による最終確認が必要である。この相補的な関係、そして互いの限界を理解したうえでの協働こそが、これからの時代の理想的な姿である。

そして規制業界においては、これは理想論ではなく要求事項である。EU AI Act 第14条、EU GMP Annex 22 ドラフトの Human-in-the-Loop、EMA リフレクションペーパーの「人間中心のアプローチ」、QMS省令の承認・照査・独立性の条文――いずれも、「AIに感情と想像力がない」という理解を制度に翻訳したものと読むことができる。

まとめ

現時点において、AIが感情と想像力を持つことを示す証拠は確認できない。これは技術的な限界というよりも、AIと人間の在り方の違いを示している。この点を正しく理解することで、AIに何を任せ、人間が何に注力すべきかが明確になる。

AIが「使う」ものから「任せる」ものへと進化するなかで、人間に求められるのは、感情と想像力を駆使した創造的な活動である。そして規制対象業務においては、それに加えて「通す/通さない」を自分の名義で決めるという、譲り渡せない役割がある。技術の進化を恐れるのではなく、人間とAIがそれぞれの強みを活かして共に成長していく未来を、私たちは築いていくべきである。

この記事の要点

  • 「AIには感情がない」は、実験で決着する種類の主張ではない。他者の内面を外から検証する手段が確立していないためである。本稿は証明ではなく、「持つことを示す証拠が確認できない側に立つ」という判断として提示した。タイトルの「(現時点)」はこの留保を表す
  • 「感情を持つ」と「感情を認識・推定する」はまったく別物である。製品や報道でいう「感情AI」はほぼ例外なく後者を指す。前者は実現を示す証拠がなく、後者は Affective Computing という30年の歴史を持つ確立した研究分野である
  • その「認識」の側についても、EU AI Act 前文(44)は「科学的根拠に重大な懸念がある」「信頼性の限界、特異度の欠如、一般化可能性の限界」と明記している。職場・教育機関での感情推定は第5条第1項(f)により禁止(2025年2月2日から適用)、それ以外も原則ハイリスク(附属書III 1(c))
  • 「AIは客観的」は誤解である。NIST SP 1270 は、AIのバイアスが負の影響を「永続させ、増幅させ得る」と明記している。米国の患者選定アルゴリズムでは、人種を入力していないにもかかわらず、代理変数(医療費)を通じて格差が出力に流れ込んだ(Science 2019年10月25日)
  • 創造性への影響は、条件付きで語る必要がある。短編小説の執筆課題(執筆者293名・評価者600名・延べ3,519評価)で、AIの着想を得た作品は個別評価が上がり、同時に作品どうしの類似度も上がった(Science Advances 2024年7月12日)。これは1件の実験であり、「社会全体で多様性が減っている」ことの証拠ではない
  • EU AI Act 第14条は「人間による監督」を明文で要求している。とりわけ第4項(b) の「オートメーション・バイアスを認識し続けること」と (d) の「出力を無視し、上書きし、覆すことを決定できること」が中核である。本則の適用は2026年8月2日から、MDR/IVDR 対象製品に組み込まれたAI(第6条第1項)は2027年8月2日から
  • EU GMP Annex 22 ドラフトは、同一入力に同一出力を返さないモデル――すなわち生成AI・LLM――を重要なGMP用途から明示的に除外している。非重要用途でも「十分な適格性と教育訓練を有する要員が出力の適合性を確保する責任を常に負う」= Human-in-the-Loop を求める。意見募集は2025年7月7日〜10月7日。2026年8月時点で未最終化
  • AIは責任主体になれない。QMS省令は、文書発行の承認(第8条第2項第一号)、判断の独立性の確保(第15条第2項)、是正措置の必要性の評価と実効性の照査(第63条第2項)を、いずれも人に課している。QMSにソフトウェアを使うなら第5条の6のバリデーションが直接効く
  • AIを入れても「決める」工数は減らない。減るのは「見つける」工数である。ここを混同すると導入計画が崩れる
  • 最大のリスクはAIの誤りではなく、人が確認をやめることである。精度が上がるほどこの危険は増す。「これまで一度も間違えなかった」は確認を省く理由にならない

出典・参考資料

  • Regulation (EU) 2024/1689(人工知能に関する整合的規則を定める規則/EU AI Act)― EUR-Lex(第3条(39) 感情認識システムの定義/第5条第1項(f) 禁止行為/第6条第1項 ハイリスク分類/第14条 人間による監督/第50条第3項 透明性義務/第113条 適用日/前文(44)/附属書I 第11号・第12号/附属書III 1(c))
  • Regulation (EU) 2017/745(MDR)― EUR-Lex
  • European Commission「Stakeholders’ Consultation on EudraLex Volume 4 — Good Manufacturing Practice Guidelines: Chapter 4, Annex 11 and New Annex 22」(意見募集:2025年7月7日〜10月7日)― health.ec.europa.eu
  • EudraLex Volume 4「Annex 22: Artificial Intelligence」(意見募集用ドラフト。最終版ではない)― PDF
  • EudraLex Volume 4「Annex 11: Computerised Systems」(改訂ドラフト)― PDF
  • EMA「Reflection paper on the use of Artificial Intelligence (AI) in the medicinal product lifecycle」EMA/CHMP/CVMP/83833/2023(2024年9月採択)― PDFガイドラインページ
  • FDA「Marketing Submission Recommendations for a Predetermined Change Control Plan for Artificial Intelligence-Enabled Device Software Functions」(最終版・2024年12月4日)― fda.gov
  • FDA「Artificial Intelligence-Enabled Device Software Functions: Lifecycle Management and Marketing Submission Recommendations」(ドラフト・2025年1月6日)― fda.gov
  • FDA「Considerations for the Use of Artificial Intelligence To Support Regulatory Decision-Making for Drug and Biological Products」(ドラフト・2025年1月6日)― fda.gov
  • FDA「Computer Software Assurance for Production and Quality Management System Software」(最終版・2026年2月3日)― fda.gov
  • FDA「Artificial Intelligence in Software as a Medical Device」― fda.gov
  • NIST Special Publication 1270「Towards a Standard for Identifying and Managing Bias in Artificial Intelligence」(2022年3月)― PDFnist.gov
  • 医療機器及び体外診断用医薬品の製造管理及び品質管理の基準に関する省令(平成16年厚生労働省令第169号/QMS省令)― e-Gov 法令検索(第5条の6・第8条・第9条・第15条・第23条・第45条・第63条)
  • Obermeyer Z, Powers B, Vogeli C, Mullainathan S.「Dissecting racial bias in an algorithm used to manage the health of populations」Science 366(6464): 447–453(2019年10月25日)― PubMed 31649194(DOI: 10.1126/science.aax2342)
  • Doshi AR, Hauser OP.「Generative AI enhances individual creativity but reduces the collective diversity of novel content」Science Advances 10(28): eadn5290(2024年7月12日)― DOI: 10.1126/sciadv.adn5290/データセット: Dryad
  • MIT Media Lab, Affective Computing Group(1995年のテクニカルレポートおよび1997年の書籍 Affective Computing, MIT Press を起点とする研究分野)― media.mit.edu

本稿で採用しなかった記述

  • 「2025年の最新研究により、AIは訓練データに含まれる偏見を反映し、時には増幅することが明らかになっている」― 該当する2025年の研究を特定できなかったため、年次の記述は採用していない。主張の内容自体は NIST SP 1270(2022年3月)で確認できるため、そちらに置き換えた
  • 「金融リスク評価AIが既存の社会的バイアスを継承したりする事例が報告されている」― 具体的な調査主体・対象システムを特定できなかったため、個別事例としては採用していない。NIST SP 1270 が harm の例として「誤った就職・融資の拒否」を挙げている範囲にとどめた
  • 「2024年から2025年の研究により、AIとの協働が創造性に与える影響は複雑であることが明らかになっている」― 「複雑である」は内容を持たない記述であるため、特定できた1件の査読付き研究(Science Advances 2024年7月12日)の知見と実験条件に置き換えた
  • 「社会全体としては似たような作品が増え、多様性が減少する傾向が観察されている」― 上記研究で観測されたのは、短編小説の執筆というオンライン実験内での作品間類似度である。社会全体の傾向を測定した研究ではないため、実験条件を明記した記述に改めた

関連記事

関連記事一覧