第8章 有意水準とは

8.1 検定の基本概念

検定とは、仮説が成り立つのかどうかを確率を使って判断を下す行為のことである。目の前で起きた出来事が偶然に起きたのか、それとも偶然ではなく何らかの原因があって必然的に起こったのかを判定するための統計的手法である。

ジャンケンの例で検定の基本概念を説明する。ジャンケンで勝つか負けるかの勝率は2分の1、すなわち50%である。5回連続でジャンケンに勝つ確率は、(1/2)×(1/2)×(1/2)×(1/2)×(1/2)=1/32となり、これは約3.12%という極めて小さい確率となる。この3.12%という確率は確かに小さいものの、決してゼロではない。つまり、5回連続で勝つという事象は、稀ではあるが起こり得る事象なのである。

8.2 検定と仮説の関係

自分はジャンケンが強いと主張する人がいるとする場合を考えてみよう。この人が本当にジャンケンが強いのか、それとも通常の人と同じく勝率が2分の1なのかを検定によって判断することができる。このような検定を行う際の具体的な手順は以下のように進める。

まず、「ジャンケンの実力は等しく、勝率は1/2である」という仮説を立てる。その上で、実際のジャンケンの結果を観察し、それが起こる確率を計算する。その確率が30%や40%、あるいは50%といった値であれば、それはよく起こることだと言える。したがって、「両者のジャンケンの実力は等しい」という仮説は否定できず、観察された結果は偶然に起こったものだろうと判定することになる。

しかし、この確率が5%以下である場合は、「両者のジャンケンの実力は等しい」という仮説を捨て去り（棄却し）、両者のジャンケンの実力には差があると判定する。この5%という基準値を有意水準と呼ぶ。

8.3 有意水準の定義

有意水準は、検定において帰無仮説を設定したときに、その帰無仮説を棄却する基準となる確率として定義される。この有意水準は一般的にα（アルファ）で表され、通常5%（0.05）や1%（0.01）といった値が使用される。特に医療系の分野における仮説検定では、有意水準を5%に設定することが一般的である。

有意水準の設定に関して重要な点は、これを検定を行う前に設定しておかなければならないということである。有意水準を0.05（5%）に設定するということは、「5%以下の確率で起こる事象は、100回に5回以下しか起こらない事象であり、偶然起こったものではないとしてしまおう」という判断基準を定めることを意味する。

8.4 P値の概念と解釈

P値は、統計的仮説検定において極めて重要な概念である。これは、帰無仮説のもとで検定統計量がその値となる確率として定義される。より具体的には、「データから算出した統計量と同等以上に稀なことが、帰無仮説を前提としても起こりうる確率」と言い換えることができる。

P値の解釈において重要なのは、帰無仮説を誤って棄却する可能性があるということである。確率を使って判断を行うため、一定の間違いは避けられない。P値が小さいほど、検定統計量がその値となることはあまり起こりえないことを意味する。一般的な基準として、P値がα（通常5%または1%）以下の場合に帰無仮説を偽として棄却し、対立仮説を採択する。

8.5 P値と有意水準の実践的な関係

仮説検定の具体的な実施過程では、まず帰無仮説を前提として、データから算出した統計量（t値など）をもとにして外側確率（P値）を求める。そしてこのP値が事前に設定した有意水準を下回っているかどうかを確認し、下回っていれば帰無仮説を棄却するという判断を下す。

このP値が有意水準（5%）を下回った場合、そのP値は偶然とる値ではないと結論付けられる。言い換えると、「極めて珍しいことが起こった」あるいは「何かしら意味があることである（有意である）」ということを意味する。ただし、P値が5%以下となったとしても、本当に偶然まれな事象が起こった可能性も否定できない。

8.6 有意水準と第1種の過誤の関係

有意水準αは「本当は帰無仮説が正しいのに、誤って棄却してしまう確率」という意味も持つ。これは統計学では「第1種の過誤」と呼ばれ、αは「第1種の過誤を犯す確率」としても知られている。

有意水準として5%や1%という値が広く用いられている理由は、これらの確率で起きることは滅多に起きない、非常に珍しい事象と考えられるためである。5%という値は、その事象が100回に5回以下しか起こらないという意味であり、1%はさらに厳しい基準となる。

8.7 医療機器開発における有意水準の重要性

医療機器の開発や評価において、有意水準の設定は特に重要な意味を持つ。これは医療機器の安全性や有効性の評価に直接関わる問題であり、適切な有意水準の設定は信頼性の高い結果を得るための必須条件となる。

有意水準の設定は、その後の検証プロセス全体に影響を与える重要な判断基準である。医療機器の開発においては、通常5%の有意水準が採用されるが、これは長年の研究と実践から導き出された標準的な値である。この水準は、統計的な厳密性と実用的な実行可能性のバランスを考慮して設定されている。