23-3. 有意水準と検出力

■有意水準

有意水準は、検定において帰無仮説を設定したときにその帰無仮説を棄却する基準となる確率のことです。 $\alpha$ （アルファ）で表され、5%（0.05）や1%（0.01）といった値がよく使われます。有意水準は検定を行う前に設定しておきます。

有意水準を0.05に設定するということは、「5%以下の確率で起こる事象は、100回に5回以下しか起こらない事象だ。したがってこのようなまれな事象が起こった場合、偶然起こったものではないとしてしまおう」という意味です。したがって、P値が0.05（5%）を下回った場合、そのP値は偶然取る値ではないと結論付けられます。言い換えると、「極めて珍しいことが起こった」あるいは「何かしら意味があることである（＝”有意である”）」ということを表します。

しかし、P値が5%以下となったとしても本当に偶然まれな事象が起こった場合もあるので、有意水準 $\alpha$ は「本当は帰無仮説 $H_{0}$ が正しいのに、誤って $H_{0}$ を棄却してしまう確率」とも言えます。この「本当は帰無仮説 $H_{0}$ が正しいのに、誤って $H_{0}$ を棄却してしまうこと」を「第1種の過誤」といい、 $\alpha$ は「第1種の過誤を犯す確率」とも呼ばれます。

■検出力

有意水準と対するものとして、「検出力」があります。検出力は1- $\beta$ で表されるもので、「帰無仮説 $H_{0}$ が正しくないときに、正しく $H_{0}$ を棄却する確率」のことです。この $\beta$ は「第2種の過誤の確率」を表します。第2種の過誤の確率とは「対立仮説 $H_{1}$ が正しいときに、誤って帰無仮説 $H_{0}$ を棄却しない確率」のことです。