データ分析と称して、グラフを持ってくる人へ

データ分析と称して、グラフを持ってくる人へ

~Why と So What がない資料は「分析」ではない~
監査の場で「データ分析の結果を見せてください」と頼むと、ほとんどの組織が綺麗なグラフを持ってくる。棒グラフ、折れ線グラフ、円グラフ――色とりどりに整っている。だが、それを見ても何も分からない。それは分析ではなく、可視化に過ぎないからである。本稿では、ISO 13485:2016 8.4(データの分析)とQMS省令第61条の条文に立ち返り、「分析」と呼べる資料の条件を整理する。

グラフを描いた時点では、まだ「見えるようになった」だけである

データを可視化する作業は、英語で言えば statistics、すなわち統計(記述統計)の段階である。グラフを描いて並べた時点では、データはまだ「見えるようになった」だけだ。

分析とは、その先に二つの問いを置く作業を指す。Why と So What である。

問い 問うている内容 具体例 成果物
Why
(なぜそうなったか)
グラフから読み取れる傾向の背後にある要因を特定する なぜ顧客苦情はこの月だけ増えているのか。なぜ修理件数が劣化傾向にあるのか データが「情報」になる
So What
(だから何をするのか)
問題の傾向が判明したならば、組織として何を変えるのか 仕組みを変えるのか、教育を強化するのか、リソースを追加投入するのか 次のアクション=改善のインプット

Why を問うて初めてデータは情報になる。そして So What で次のアクションを引き出してこそ、分析は完結する。

よくある誤解――「グラフを描くこと」が目的化している

  • グラフの種類を増やすこと、体裁を整えること自体は、分析の質を一切高めない。
  • 「前年比+12%」という数字を示すことと、「なぜ+12%なのか」を説明することは、まったく別の作業である。
  • Why と So What がない資料は、規格上の「データの分析」を満たしているとは言い難い。

ISO 13485 8.4 が要求する「データの分析」とは何か

「実証するため」に分析する

ISO 13485:2016 の 8.4(データの分析)は、組織に対し、品質マネジメントシステムの適切性(suitability)、妥当性(adequacy)および有効性(effectiveness)を実証するために、適切なデータを明確にし、収集し、分析する手順を文書化することを要求している。あわせて、統計的手法を含む適切な手法とその適用範囲を定めることも求めている。

日本のQMS省令(医療機器及び体外診断用医薬品の製造管理及び品質管理の基準に関する省令・平成16年厚生労働省令第169号)第61条は、この 8.4 に対応する条文であり、次のように規定する。

製造販売業者等は、品質管理監督システムの適切性、妥当性及び実効性を実証するため、データの収集及び分析を行うための手順を文書化しなければならない。
――QMS省令 第61条(データの分析)第1項

ここで見落とされがちなのが、「実証するため(to demonstrate)」という目的語である。データの分析は、資料を作るために行うのではない。QMSが適切で、妥当で、実効性があることを証明するために行う。グラフを並べただけの資料は、何も実証していない。

分析のインプットは条文で列挙されている

ISO 13485 8.4 は、分析に用いるべきデータのインプットを明示的に列挙している。QMS省令第61条第2項も、これに対応する六つの情報を掲げる。監査で「データ分析の結果を見せてください」と言われたときに求められているのは、まさにこの網羅性である。

ISO 13485:2016 8.4 QMS省令 第61条第2項 実務上の典型的なデータ源
a) フィードバック 一 製品受領者の意見 顧客苦情、顧客満足度調査、市販後の情報、営業・サービス部門からの声
b) 製品要求事項への適合性 二 製品要求事項への適合性 受入検査・工程内検査・最終検査の合否、不適合品の発生率
c) 工程および製品の特性と傾向
(改善の機会を含む)
三 工程及び製品の特性及び傾向 工程能力指数、歩留まり、故障率、修理件数の推移
d) 供給者 四 購買物品等の供給者等 供給者評価、受入不良率、納期遵守率
e) 監査 五 監査 内部監査、供給者監査、第三者認証機関の審査、当局査察の指摘
f) サービス報告(該当する場合) 六 附帯サービス業務の記録 設置・保守・修理の記録、フィールドサービスレポート
補足:ISO 13485 8.4 は、これらのインプットを「少なくとも(at a minimum)」含めることを求めている。すなわち列挙は下限であって上限ではない。自社のリスクに応じて、これ以外のデータ源を加えることは当然に想定されている。

統計的手法は「使ってもよい」ではなく「手法を定める」ことが要求である

ISO 13485 8.4 は、データの分析に用いる手法として統計的手法を挙げ、その適用の程度を明確にすることを求めている。ここで重要なのは、高度な統計手法を使うことが目的ではないという点である。

  • どのデータに、どの手法を、どの範囲で用いるのかをあらかじめ手順として定めておくこと
  • サンプルサイズや判定基準に、統計的な根拠を持たせること
  • 手法の選定理由を記録に残し、後から第三者が追跡できるようにすること

「毎回担当者の裁量でグラフの種類と期間を決めている」という運用は、この要求を満たさない。分析条件が変われば結論も変わり得るからである。

傾向分析(trending)が是正処置(CAPA)の入口になる

8.4 → 8.5 という橋渡しが本来のフローである

ISO 13485 8.4 は、データの分析の結果、QMSが適切・妥当・有効でないことが示された場合、その分析結果を 8.5(改善)のインプットとして用いることを要求している。つまり、データの分析は改善の前工程として位置付けられているのであって、独立した報告作業ではない。

QMS省令でいえば、第61条(データの分析)の結果が、第63条(是正措置)および第64条(予防措置)に接続する。ここで言う是正処置とは、発見された不適合による影響に応じて、その再発を防ぐために必要な処置を遅滞なくとることである(QMS省令第63条)。

  1. 収集する条文が列挙する六つのインプット(フィードバック、適合性、工程・製品の特性と傾向、供給者、監査、サービス報告)を、あらかじめ定めた手順に従って集める。
  2. 可視化するグラフ化・集計する。ここまでが「statistics」の段階であり、まだ分析ではない。
  3. Why を特定する傾向の背後にある要因を特定する。ここで初めてデータは情報になる。
  4. So What を決める組織として何を変えるのかを決める。仕組み、教育、リソース配分のいずれかに落とし込む。
  5. 改善へ橋渡しする是正処置・予防処置、あるいはプロセス変更として登録し、有効性の検証まで追跡する。

「傾向」は不適合が起きる前に見つけるためのものである

条文が「特性及び傾向」とわざわざ書いているのは、単発の不適合だけを見ていては手遅れになるからである。個々の検査結果はすべて規格内であっても、平均値が規格上限に向かって漸増していれば、それは是正処置を起動すべき兆候である。

監査で指摘されやすいパターン

  • グラフは毎月作成されているが、傾向を評価した記録(誰が、いつ、どう判断したか)が残っていない。
  • 「傾向あり」と判断する閾値・判定基準が手順に定められていない。担当者の主観で決まっている。
  • 傾向が悪化しているのに、CAPAシステムに登録された形跡がない。分析と改善が制度的につながっていない。
  • 分析の結果の記録が保管されていない(QMS省令第61条は分析結果の記録を要求している)。

▲【動画】【ワンポイント】第160回 「ヒューマンエラー」で終わらせない製造――製造販売業者が担うCAPA監督の実際(株式会社イーコンプライアンス)

■ 本記事に関連するおすすめ商品
書籍
【徹底解説】MDSAP

医療機器単一監査プログラム(MDSAP)の監査モデルと運用を体系的に解説した実務書です。MDSAPの監査モデルは「測定・分析・改善」を独立したプロセスとして扱っており、データの分析と改善のつながりがどのように監査されるのかを理解するのに適しています。

価格:55,000円(税込)/送料無料

書籍の詳細を見る ▶

QMS手順書ひな形
【QMS省令対応】管理監督者照査規程・手順書・様式

QMS省令第18条が求める管理監督者照査(マネジメントレビュー)の規程・手順書・様式一式のひな形です。MS-Word形式で提供され、データの分析結果をどのインプットとして、どの粒度で経営者に報告するかを設計する土台としてご利用いただけます。

価格:99,000円(税込)

ひな形の詳細を見る ▶

ビデオ・VOD
(全16講)医療機器QMS規制入門セミナー一括

医療機器QMS規制を全16講で体系的に学べるセミナーパッケージです。データの分析、是正処置・予防処置、管理監督者照査といった「測定・分析・改善」の各プロセスを、規制要求と実務の両面から押さえられます。

価格:77,000円(税込)~

VODの詳細を見る ▶

マネジメントレビューに提出する資料も、同じ原理が貫かれる

経営者は時間がない

マネジメントレビューに提出する資料も同じ原理が貫かれる。経営者は時間がない。膨大なデータの束を渡されても理解できるはずがない。

  1. まず三行にまとめる結論・要因・打つ手を三行で示す。
  2. 興味を示したらA4一枚を出す三行の根拠を一枚に凝縮する。
  3. それでも足りなければA4三枚を出す詳細データはここで初めて開示する。

この順序で結論から差し出す。三行にまとめられないということは、自分自身が分析できていない証である。

管理監督者照査は「品質方針・品質目標の見直し」まで含む

QMS省令第18条は、管理監督者照査を「品質管理監督システムについて、その適切性、妥当性及び実効性の維持を確認するための照査」と定義し、そこには品質方針及び品質目標を含む品質管理監督システムの改善又は変更の必要性の評価が含まれると明記している。

つまり、データの分析結果は最終的に品質方針・品質目標の妥当性判断にまで届くべき情報である。グラフの束を回覧して終わりでは、経営判断の材料にならない。この点は、「経営方針」と「品質方針」が乖離した会社の末路および品質目標と経営目標の違いで扱っている論点と直結する。経営者が品質に責任を持つ構造については、トップダウンの品質マネジメントも参照されたい。

監査・査察の場では「サマリー」だけでは通用しない

もう一点、実務上重要な事実がある。要約された資料だけを提示することの限界は、規制ガイダンス自身が明言している。PIC/SのPI 041-1「Good Practices for Data Management and Integrity in Regulated GMP/GDP Environments」(2021年7月1日発効)は、サマリーレポート(要約報告書)について次のように述べている。

サマリーレポートは、その性質上、本質的に限定されたものである。重要な裏付けデータやメタデータが含まれないことが多く、したがって原データをレビューすることができない。関係者および査察当局は、サマリーレポートのデータのみに依拠すべきではない。
――PIC/S PI 041-1 第7.8項(趣旨訳)

グラフはサマリーの一形態である。査察官・監査員が「その根拠データを見せてください」と踏み込んでくるのは、当然の職業的行動なのである。データとメタデータの関係については、メタデータとは何かで詳しく解説している。

なお、FDAは医療機器の査察において、コンプライアンスプログラムCP 7382.850「Inspection of Medical Device Manufacturers」に基づき、製品ライフサイクル全体を評価する運用をとっている(2026年2月2日以降、従来のQSITに代えて適用)。詳細はFDA CP 7382.850とQSIT・QMSRを参照されたい。監査という営みそのものの目的については、内部監査の目的もあわせてお読みいただきたい。

まとめ――3つのポイント

  1. 可視化は分析ではないグラフを描いた時点では、データは「見えるようになった」だけである。Why(なぜそうなったか)と So What(だから何をするのか)の二つの問いを置いて初めて、分析と呼べる。
  2. 条文は「実証するため」に分析せよと書いているISO 13485 8.4 およびQMS省令第61条は、QMSの適切性・妥当性・実効性を実証するために、フィードバック、製品要求事項への適合性、工程・製品の特性および傾向、供給者、監査、附帯サービス業務の記録を分析することを求めている。列挙は下限である。
  3. 傾向分析は是正処置の入口である分析結果は 8.5(改善)=QMS省令第63条・第64条のインプットとなる。判定基準を手順に定め、傾向の悪化をCAPAに接続する仕組みがなければ、分析は完結しない。

「データ分析やりました、グラフはこちらです」と差し出す前に、二行を必ず添えてほしい。「Why はこうである、So What はこうである」――この二行があって初めて、それは分析と呼ばれる。

関連記事一覧