多重比較 ： Multiple Comparison
有意水準5％で2群の比較を独立して2回検定を行うと、2回とも有意にならない確率は0.952となり、少なくとも1回有意となる確率は1−0.952＝0.0975となります。同様に、10回検定を行うと、1−0.9510＝0.4013となります。このことは、多群のデータから2群の組み合わせ全てのt検定を繰り返すと、組み合わせの数が多くなるほどに、誤って有意な組み合わせが出現する確率が大きくなることを示しています。
そこで、どの群との間に有意な差があるのかは、2群のt検定を繰り返すのではなく、多重比較という方法を採用します。本製品に搭載されている多重比較は次の12手法です。
手法により検出力が異なります。検出力が優れているということは、僅かな差でも有意と判定されやすいということを意味しますが、検定方法の優劣を示すものではありません。検定方法はデータの性質や検定の目的により選択します。
正規分布を前提としたパラメトリック法
特徴
- 各群の母集団分布は正規分布と仮定します。
- すべての群を通して母分散は等しいと仮定します。
全ての対比較を行う手法
Tukey （テューキー）
- 検定に用いる分布スチューデント化された範囲のq分布
- 特徴最も一般的な多重比較法です。Scheffeよりも検出力は劣ります。エクセル統計では、各群の件数が等しい場合だけでなく、不揃いの場合にも第1種の過誤の確率の最大値が有意水準に等しくなるよう計算しています。
Tukey-Kramer （テューキー=クレーマー）
- 検定に用いる分布スチューデント化された範囲のq分布
- 特徴Tukey-KramerのことをTukeyと呼ぶこともあります。各群の件数が等しい場合は第1種の過誤の確率の最大値は有意水準に等しくなりますが、不揃いの場合は第1種の過誤の確率の最大値は有意水準以下となります。
Scheffe （シェッフェ）
- 検定に用いる分布F分布
- 特徴分散分析の結果が有意である場合のみ有効です。Tukeyよりも検出力が優れています。エクセル統計では、（a, b）VS（c, d, e）といった、多対多や1対多などの任意の群を組み合わせて比較する「対比」には対応していません。
Bonferroni （ボンフェローニ）
- 検定に用いる分布t分布
- 特徴エクセル統計では、各対比較のP値に対比較の数をかけた値をその対比較のP値として出力します（ \(p^{'}=kp\) ）。そのため、群数が増えるほど検出力が下がります。Tukeyに比べて検出力は劣ります。
Sidak （シダック）
- 検定に用いる分布t分布
- 特徴エクセル統計では、対比較の元のP値を \(p\) 、対比較の数を \(k\) とするとき、各対比較のP値を次の値で出力します。
\(p^{'}=1-(1-p)^k\)
Holm （ホルム）
- 検定に用いる分布t分布
- 特徴各対比較のP値を小さい順に並べたとき、対比較の数を \(k\) とすると、エクセル統計では \(i\) 番目に小さい対比較のP値を次の値で出力します。
\(p_{i}^{'}=(k-i+1)p_{i}\)
1番小さいP値に対する有意水準が最も厳しく、Bonferroniの有意水準に一致します。
Fisherの最小有意差法（Fisher's LSD）
- 検定に用いる分布t分布
- 特徴最も簡便な多重比較法で、検出力に優れています。ただし、分散分析の結果が有意であり、かつ各群の件数が等しく、かつ3群の場合にのみ利用できます。
対照群との対比較を行う手法
対照群として、最左列（最初の群）と最右列（最後の群）のいずれかを選択します。
Dunnett （ダネット）
- 検定に用いる分布ダネットの表
- 特徴対照群とその他の群とのすべての組み合わせの比較を行います。エクセル統計では、両側検定（対照群≠）と片側検定（対照群>、対照群<）のいずれも出力します。
Williams （ウィリアムズ）
- 検定に用いる分布ウィリアムズの表
- 特徴最左列（最初の群）から最右列（最後の群）に向かって母平均値に順序が想定できる場合に用います。対照群から最も離れた群との比較から行い、その検定が有意であった場合にのみ次の群との比較を行います。エクセル統計では、片側検定（対照群≥、対照群≤）のいずれも出力します。
上記のパラメトリックの9手法を搭載しているエクセル統計の機能
ノンパラメトリック法
特徴
- 順位を用いて検定を行います。
- 各群の母集団分布が正規分布である必要がなく、分布の形に依存しません。
- パラメトリック法に比較して頑健で、やや検出力が劣ることが多いです。
- 順位としてしかデータを得ることができない場合や順序カテゴリカルデータでも取り扱うことができます。
全ての対比較を行う手法
Steel-Dwass （スティール=ドゥワス）
- 検定に用いる分布スチューデント化された範囲のq分布
- 特徴全ての対比較を行います。Tukeyのノンパラメトリック版。
対照群との対比較を行う手法
対照群として、最左列（最初の群）と最右列（最後の群）のいずれかを選択します。
Steel （スティール）
- 検定に用いる分布ダネットの表
- 特徴対照群とその他の群とのすべての組み合わせの比較を行います。エクセル統計では、両側検定（対照群≠）と片側検定（対照群>、対照群<）のいずれも出力します。Dunnettのノンパラメトリック版。
Shirley-Williams （シャーリー=ウィリアムズ）
- 検定に用いる分布ウィリアムズの表
- 特徴最左列（最初の群）から最右列（最後の群）に向かって平均順位に順序が想定できる場合に用います。対照群から最も離れた群との比較から行い、その検定が有意であった場合にのみ次の群との比較を行います。エクセル統計では、片側検定（対照群≥、対照群≤）のいずれも出力します。Williamsのノンパラメトリック版。