サンプルサイズの設計および検出力分析とは、信頼性の高い実験を行うために実験の前後で行う分析のことです。「有意水準」と「検出力」と「サンプルサイズ」と「効果量」はサンプルサイズの設計や検出力分析を行うための4大因子で、このうち3つの因子の値が決まると、残りの1つの因子の値が決まります。

■事前分析（A priori）－サンプルサイズの設計

実験前に、検出したい差（＝効果量）から最適なサンプルサイズを算出することです。サンプルサイズが小さすぎると、得られた結果がサンプルサイズの小ささに起因するものか、実験そのものに起因するものなのかが分からなくなります。サンプルサイズが小さすぎると、本来は差が検出できるはずなのに、その差が検出できず実験自体に意味がなくなってしまうかもしれません。

また、サンプルサイズが大きすぎると、コストや安全性の問題が発生したり統計的に有意になりやすくなるという問題があります。したがって、実験は適切なサンプルサイズに対して行う必要があります。

サンプルサイズの設計には「有意水準」、「検出力」、「効果量」の値が必要です。有意水準は0.05もしくは0.01が用いられることが多く、検出力は通常0.8に設定されます。そのため、実際に算出する必要があるのは効果量だけになります。効果量は過去のデータや予備実験のデータ等から求めておきます。同じ検出力を得る場合、効果量が大きい場合には標本サイズは小さくてよく、一方で効果量が小さい場合には標本サイズは大きくなければなりません。

■事後分析（post hoc）－検出力分析

実験後は、その実験によってどの程度の効果があったのかを知るために検出力分析を行います。検出力分析には「有意水準」、「効果量」、「サンプルサイズ」の値が必要です。これによりP値が真に効果があったためのものなのか否かという本来のもつ意味を知ることができます。また、追加実験を行う際の参考にもなります。

■おすすめ書籍

サンプルサイズ算出の専門書としてきっちりまとまっている1冊です（難しいですが…）。