アンスクリプトテストという新発想

アンスクリプトテストという新発想

バリデーションの現場に長く身を置いた者なら、テストスクリプトの作成にどれほどの時間が吸い取られるかをよく知っているはずだ。FDAのCSAガイダンスは、従来のスクリプトテストと並べて「アンスクリプトテスト(unscripted testing、非スクリプト型テスト)」を正式に位置づけた。本稿では、それが何であり、なぜ品質に資するのか、そして何を削ってよく、何を削ってはならないのかを整理する。

ドライランに費やされた歳月

仕様書を読み込み、操作手順を一行ずつ書き起こし、期待結果を定義し、レビューを重ねる。そしていざ実行となる前に、ドライラン――スクリプトの予行演習――を繰り返す。

ここでつまずく。手順の記述が曖昧だったり、画面遷移が想定と違ったり、そもそもスクリプト自体に誤りがあったりする。そう、忘れられがちな事実だが、テストスクリプトそのものにもバグがあるのだ。

筆者は四十年近くCSVに携わってきたが、振り返れば膨大な時間をこのドライランの繰り返しに費やしてきた。テスト対象のソフトウェアではなく、テストの台本を直すことに労力を注いでいたのである。この本末転倒への違和感が、本稿で紹介する考え方の出発点だ。その問題意識の全体像は「なぜ「バリデーション」から「アシュアランス(保証)」へ変わったのか」で論じている。

アンスクリプトテストとは何か

FDAの「Computer Software Assurance」ガイダンス、いわゆるCSAガイダンスは、従来の「スクリプトテスト(scripted testing)」と並べて、「アンスクリプトテスト(unscripted testing、非スクリプト型テスト)」という概念を正式に導入した。

手法 内容 ねらい
アドホックテスト
(ad-hoc testing)
事前の計画・手順を定めず、その場の判断で操作しながら確認する 短時間で広く触れて、明らかな不具合を洗い出す
エラー推測
(error guessing)
経験に基づき「ここが壊れやすい」と推測した箇所を狙って試す 過去の不具合傾向を活かして欠陥を効率よく掘り当てる
探索的テスト
(exploratory testing)
テストの設計・実行・学習を同時並行で進め、得られた知見から次のテストを組み立てる 仕様書に書かれていない挙動・想定外の組合せを発見する

いずれも、詳細な手順をステップごとに書き起こす必要はなく、合否(pass/fail)という目的そのものに焦点を当てる。つまり、スクリプトを緻密に書く代わりに、テスターがシステムと向き合いながら検証を進めるアプローチである。なお、これらはソフトウェアテストの国際規格ISO/IEC/IEEE 29119でも用いられる用語である。

スクリプトテストとの使い分け

CSAの枠組みでは、プロセスリスクの高低に応じて保証活動を選ぶ。「高リスクなら必ずスクリプトのみ」という固定的な対応関係ではない点に注意したい。

保証活動 事前に手順を書くか 主に適用される場面
アンスクリプトテスト 書かない(目的と合否基準のみ定める) プロセスリスクが高くない機能。またはスクリプトテストを補完してカバレッジを広げる場面
限定的スクリプトテスト
(limited scripted testing)
重要部分のみ定める(ハイブリッド) ひとつの機能の中でリスクの高低が混在する場合
堅牢なスクリプトテスト
(robust scripted testing)
詳細な手順と期待結果を事前に定義する プロセスリスクが高く、追加の厳格度(additional rigor)が必要と判断される機能

この選択の全体像は「6つのステップとCSAのフレームワーク」で解説している。

ガイダンスの位置づけと発出経緯

CSAはFDAが2022年9月13日にドラフトを公表し、2025年9月24日に最終ガイダンスを発行した(連邦官報 90 FR 45945、Docket No. FDA-2022-D-0795)。さらに、QMSR(医療機器品質マネジメントシステム規則)が2026年2月2日に施行されたことを受け、2026年2月3日にはこれと整合する現行版が2025年版を置き換えた。

現行版の正式名称は「Computer Software Assurance for Production and Quality Management System Software」であり、医療機器の製造または品質マネジメントシステムの一部として用いられるコンピュータ・自動データ処理システムを対象とする。発出までの経緯は「CSAガイダンス発出までの長い道のり」に詳しい。

その骨子は、リスクに応じてスクリプトテストとアンスクリプトテスト(アドホック・探索的・エラー推測)を適切に使い分け、ドキュメント作成に費やしていた労力を、追加の厳格さが必要な箇所の品質保証へ振り向けるという考え方――いわゆるCSAアプローチだ。

補足:本ガイダンスは、2002年の「General Principles of Software Validation(GPSV)」を全面的に廃止するものではない。FDAの記述によれば、GPSVを補完し、その第6章(自動化された製造装置および品質システムソフトウェアのバリデーション)のみを置き換える位置づけである。バリデーションとベリフィケーションの区別については「バリデーションとベリフィケーションの違い」を参照されたい。

なぜ品質に資するのか

ここで多くの読者が抱くであろう疑問に答えておきたい。スクリプトを書かずにテストして、本当に品質は保てるのか、と。

むしろ逆になり得る。スクリプト作成に費やしていた時間を実際のテストに振り向ければ、仕様書ベースの確認だけでは見落としやすい挙動を発見しやすくなり、品質保証の実効性はかえって高まり得る。

理由は明快である

  • スクリプトテストは仕様書を起点とするため、「仕様どおりに動くか」を確認する肯定的テスト(positive testing)に偏りやすい
  • 一方アンスクリプトテストは、システムとユーザーの実際の挙動に焦点を当て、想定外の操作や予期せぬ振る舞いを能動的に探りにいく
  • いわばシステムに挑む(challenge the system)テストである。スクリプトどおりになぞるだけでは見つからなかった欠陥が、ここで浮かび上がる。

ただし、アンスクリプトテストはスクリプトテストを置き換える万能手段ではなく、それを補完するアプローチである。重要な機能には必要な厳格さを確保しつつ、探索的テストでカバレッジを補い、想定外の欠陥を拾い上げる――両者は対立するものではなく、リスクに応じて併用される関係にあるのだ。

削れるのはスクリプト、削れないのは記録

ここで誤解を断っておかねばならない。事前に詳細な手順を逐語的に書かないことと、事後の証拠記録を残さないことは、まったくの別物である。

アンスクリプトテストであっても、次の事項は記録しなければならない。

  • テストの目的
  • 実施者
  • 実施日
  • 試した内容
  • 観察結果
  • 合否判断
  • 必要に応じた不具合・逸脱の処理

該当する場合には、ALCOA+の原則や21 CFR Part 11/EU GMP Annex 11が求める記録の完全性・信頼性の要求も、台本の有無にかかわらず引き続き満たす必要がある。削れるのは事前のスクリプト作成の労力であって、証拠記録ではないのである。

Part 11の適用範囲は、まずpredicate rule(根拠規制)が要求する記録を電子で維持・提出するかを起点に判断する――これがFDAの「Scope and Application」ガイダンスが示す整理である。
――FDA「Part 11, Electronic Records; Electronic Signatures – Scope and Application」(趣旨)
関連記事:記録の真正性をめぐる論点は「「改ざん」の本当の定義」、紙と電子のどちらを正とするかは「紙の記録と電子記録はどちらが優先されるのか」で扱っている。

■ 本記事に関連するおすすめ商品
書籍
いまさら人に聞けない Part 11

21 CFR Part 11(電子記録・電子署名)の適用範囲、predicate ruleとの関係、監査証跡やALCOA+の実務までを、基礎から丁寧に解説した一冊です。アンスクリプトテストでも決して削れない「記録」の要求を正しく押さえたい方に最適です。

価格:55,000円(税込)/送料無料

書籍の詳細を見る ▶

QMS手順書ひな形
【QMS省令対応】教育訓練規程・手順書・様式

アンスクリプトテストは、力量ある担当者・SMEが担うべき手法です。教育訓練の計画・実施・有効性評価・記録までを規定した規程・手順書・様式をMS-Word形式で提供します。「誰がテストしてよいか」を手順として担保するために有用です。

価格:99,000円(税込・ダウンロード版)

ひな形の詳細を見る ▶

ビデオ・VOD
生成AIシステムのCSV実施とAIリテラシー教育

挙動が固定的でない生成AIシステムに対して、どのようなテストと記録が妥当なのかを実務目線で解説します。探索的テストの考え方を新しい技術領域へ応用する際の指針が得られます。VODレンタル(1日/5日/30日)もご用意しています。

価格:77,000円(税込)~

VODの詳細を見る ▶

▲【動画】株式会社イーコンプライアンス公式YouTubeチャンネルより

誰がやってもよいわけではない

さらに、ここは強調しておきたい。アンスクリプトテストは「台本がないのだから誰がやってもよい」ものではない。

スクリプトがないということは、テスターの判断にすべてが委ねられるということだ。何を試すべきか、どの挙動が異常なのか、どこにリスクが潜むのか――それを見抜くには、対象システムを高度に使いこなす熟練と、SOPおよび業務への深い理解が不可欠である。

GAMP 5 第2版(2022年)が、知識と経験を持つSME(Subject Matter Expert、業務精通者)によるクリティカルシンキングを重視するのは、まさにこのためだ。期待される挙動と予期せぬ挙動の双方を見抜くには、業務を深く理解した目が要る。

アンスクリプトテストの担い手に求められるもの

  • 対象業務とSOPを深く理解していること
  • ソフトウェアの意図した使用(intended use)を正確に把握していること
  • 教育訓練を受け、その記録が残っていること
  • 異常な挙動を「異常だ」と判断できる経験知を有すること

つまりアンスクリプトテストは、力量の低いテスターでも務まる楽な手法ではない。むしろ、対象業務・SOP・システムの意図した使用を理解した、教育訓練済みの担当者やSMEが関与すべき、相応の力量を要する手法なのである。

結び

これは「バリデーション不要論」ではない。ねらいはバリデーションを減らすことではなく、賢くする(smarter validation)ことにある。

リスクに応じて労力を正しく配分し、重要機能には厳格なテストを集中させながら、探索的なアンスクリプトテストでカバレッジと欠陥検出を補う。限られたリソースを最も効く場所へ振り向けるための発想なのだ。

新しい発想に聞こえるかもしれない。だがGAMP 5 第2版もFDAのCSAガイダンスも、すでにこの方向を明確に指し示している。スクリプトを書く時間を、システムと向き合う時間へ。その転換を、力量ある専門家の手で実現する時が来ている。

まとめ――3つのポイント

  1. アンスクリプトテストはCSAが認める保証活動の一つであるアドホックテスト、エラー推測、探索的テストを含み、逐語的な手順書ではなく目的と合否に焦点を当てる。ISO/IEC/IEEE 29119でも用いられる用語である。
  2. スクリプトテストの置き換えではなく、補完であるプロセスリスクに応じて、アンスクリプト/限定的スクリプト/堅牢なスクリプトを柔軟に組み合わせる。「高リスクならスクリプトのみ」ではない。
  3. 削れるのは事前の台本、削れないのは事後の記録と力量である目的・実施者・実施日・試した内容・観察結果・合否・逸脱処理は必ず記録する。担い手には業務とシステムを理解したSMEの力量が求められる。

関連記事一覧