AIは副操縦士、あなたは機長

AIはよく「Co-Pilot（副操縦士）」と呼ばれる。ところが、この比喩は「副操縦士＝アマチュア」という誤解とともに流通している。副操縦士は訓練を受け、免許を持ち、何千時間もの飛行経験を積んだ立派な専門家である。それでもなお機長が必要なのは、最終決断権と責任を負う者が要るからである。本稿では「AIは副操縦士、あなたは機長」という比喩を、EU AI Act（Regulation (EU) 2024/1689）第14条「人間による監督」、そしてGxP実務における承認記録の設計にまで接続して整理する。

「副操縦士」という比喩を誤解していないか

副操縦士はアマチュアではない

AIはよく「Co-Pilot（副操縦士）」と呼ばれる。ところが、副操縦士＝アマチュアと誤解されがちである。

副操縦士は、訓練を受け、免許を持ち、何千時間もの飛行経験を積んだ立派な専門家である。機長が倒れたとしても、離陸から巡航、着陸、Go-Around（着陸復行）まで、すべてのオペレーションを単独でこなせる。

ではなぜ機長が必要なのか。

それは「最終決断権」と「責任」を負うためである

航空法上の用語で言えば、Pilot in Command（PIC）。離陸の可否、着陸復行の判断、緊急時の対応――これらの重大な決断を下し、結果に責任を負うのが機長の役割である。

皆様は機長である。AIは副操縦士である。ただし、この副操縦士は皆様よりIQが高いかもしれない――。

自分よりIQの高い専門家を使いこなすこと。これが今後求められる「AIリテラシー」の本質である、と筆者は申し上げたい。

これは、若手部下の方が新しい技術に詳しいベテラン上司の状況に似ている。違いは、相手が24時間疲れず、感情で動かないというだけである。関連して、AIの利用スキルそのものが個人差を生む構図については「万人に配られた道具が生む使い方の格差」でも論じている。

人間の関与には三つの水準がある

AIと人間の関係は「使う／使わない」の二値ではない。人間がどの位置に立つかによって、少なくとも次の三つの水準に分けて考えるべきである。

EU AI Act 第14条――「人間による監督」が求めるもの

「機長が最終責任を負う」という原則は、精神論ではない。EUのAI法（Regulation (EU) 2024/1689、通称EU AI Act）は、高リスクAIシステムについて、第14条で「人間による監督（Human oversight）」を明文で要求している。

そして第14条第4項は、監督を担う者に「与えられるべき能力」を具体的に列挙している。ここが実務上もっとも重要である。

さらに、AIシステムを業務に導入する側（deployer）については、必要な力量・訓練・権限を備えた自然人に監督を割り当てることが求められている。監督者を「名ばかりの担当者」に据えることは、法の趣旨に反する。

自動化バイアス――精度が上がるほどレビューは形骸化する

ここで、AI利用における最も逆説的な現象に触れておきたい。AIの精度が上がるほど、人間のレビューは形骸化するという逆説である。

これが自動化バイアス（automation bias）と呼ばれるものだ。人は、自分より有能だと見なした自動化システムの出力を無批判に受け入れ、それに反する情報を割り引いて評価する傾向を持つ。AI法における自動化バイアスを論じた研究や、人間による監督の実効性を検討した学際的研究でも、この点は繰り返し指摘されている。

皮肉なことに、100回中99回正しいAIのほうが、80回しか正しくないAIより危険になり得る。なぜなら、前者に対しては人間が「どうせ正しい」と学習してしまい、残る1回を見逃すからである。EU AI Actが第14条第4項(b)で自動化バイアスをわざわざ名指ししているのは、この構造への警戒にほかならない。

この論点は、AIの出力を誰がどこまで信用してよいのかという問題そのものである。当社では「誰が檻に入るのか」「AIベンダーリスク」でも、この責任の所在を扱っている。

GMP規制側の動き――Annex 22 と Annex 11 改訂は「まだ発効していない」

医薬品GMPの世界でも、AIの取扱いを定める動きが進んでいる。欧州委員会は2025年7月7日から10月7日まで、EudraLex Volume 4 の Chapter 4（文書化）、Annex 11（コンピュータ化システム）改訂案、および新設 Annex 22（人工知能）についてのパブリックコンサルテーションを実施した。

公開されたAnnex 22 のドラフトは、原薬および医薬品の製造におけるAI／機械学習の利用について、意図した使用（intended use）の定義、性能指標の設定、学習データの品質、テストデータの管理、そして継続的な監督（変更管理・モデル性能モニタリング・必要な場合の人間によるレビュー手順）を求める内容となっている。

規制当局の視点でも同じことが言える

AI出力の最終承認は、責任を負える人間がするしかない。決断と責任は、決して機長から離れない。AIに「丸投げ」することは、機長が席を立つに等しい行為なのである。

米国でも方向性は同じである。FDAは医薬品・生物学的製剤の規制判断を支える目的でAIを用いる場合について、「Considerations for the Use of Artificial Intelligence To Support Regulatory Decision-Making for Drug and Biological Products」（ドラフトガイダンス）において、使用文脈（context of use）に応じたリスクベースの信頼性（credibility）評価という枠組みを示している。「どのモデルが優秀か」ではなく、「この用途でこの出力をどこまで信用してよいか」を、使う側が示すという考え方である。これはまさに、機長が自機の副操縦士の力量を把握したうえで任務を割り振る行為に等しい。

実務――ALCOA＋の Attributable で「機長」を記録に残す

実務的には、AI出力に対する人間の承認記録を、ALCOA＋の Attributable（帰属性）の観点で残すこと。誰がレビューし、何を修正し、なぜ承認したかを、出力ペアと一緒に保管することが肝要である。

データインテグリティの要求事項については、PIC/S「Good Practices for Data Management and Integrity in Regulated GMP/GDP Environments」（PI 041-1、2021年7月1日発効）が体系的な整理を与えている。AI出力もまた、GxP判断の根拠となる限りにおいて、通常の記録と同じ規律に服する。

1. 入力と出力をペアで保管するどのプロンプト（入力）に対してどの出力が返ったかを、モデル名・バージョン・実行日時とともに記録する。出力だけを残しても再現性は担保されない。
2. レビュー痕跡を残す人間が何を修正し、何を削除し、何を追記したかを差分として保持する。無修正で承認した場合は「無修正で承認した」旨を明示的に記録する。
3. 承認理由を書かせる「確認しました」ではなく、どの観点で妥当と判断したかを書かせる。ここが自動化バイアスへの最大の防波堤となる。
4. PIC（承認責任者）を一意に特定する氏名・所属・日時を電子署名で確定させる。電子署名の意味づけについては「電子署名の意味の表示」も参照されたい。
5. 力量要件を定めるそのAI出力をレビューできる者の力量要件（教育・訓練・経験・技能）を、教育訓練の記録と紐付けて定義する。力量の4要素については「力量の4要素」で詳述している。