※コラム「統計備忘録」の記事一覧はこちら※

検定を行うと「＊（アスタリスク）」の有無だけをチェックして、p値を調べない人がいるようだ。

エクセル統計を含めて多くの統計ソフトでは、検定結果に、検定統計量のtやFなどの値と、統計量から導かれたp値を出力する。さらに、p値が0.05未満（p＜0.05,5%未満）になるとアスタリスクを1つ出力する。0.01未満になれば2つ出力する。

p値は「帰無仮説が正しいという前提において、それ以上、偏った検定統計量が得られる確率」を示している。

帰無仮説が「母集団Aと母集団Bの平均は等しい」とすると、p値は「2つの母集団AとBから、サンプリング可能なすべての組み合わせの総数を1として、その中で、今回の平均値の差以上に、平均値の差が生じるサンプルの組み合わせが占める比率」ということになる。

帰無仮説が正しいのに棄却してしまう誤りを「第1種の過誤（Type I error）」と呼び、統計的検定を行うときには、前もって棄却するときの基準（有意水準）を決めておく。有意水準をp値が下回ったときに、はじめて「統計的有意差があった」と言うことができる。

データを集めてから有意水準を決めてしまうと、自分の都合の良いように水準を上げたり下げたりしてしまいかねないので、禁じ手とされている。

p＜0.05は慣習的なものだ。p＜0.05を有意水準とする数学的な根拠は無くて、p＜0.1でもp＜0.03でも構わないが、p＜0.05以外を有意水準にするときは、根拠を問われることになる。

なお、論文に書くときは、P＜0.05を使っていても、有意水準を幾つに設定したのかを記述しなければいけない。英語の論文に記述するときは、次のように書く。
A p value less than 0.05 was considered statistically significant.
（p値が0.05未満を統計的に有意とみなした）
「considered」と表現をするのが重要なポイントのようだ。

また、個々の検定結果については、単に有意であったか否かだけでなく、「p=0.013」というようにp値も記載する。p値が0.001未満のときは「p＜0.001」と書いておくのがよい。

p値が0.05以上のとき（アスタリスクがないとき）は、帰無仮説が棄却されなかっただけで、帰無仮説が正しいということにはならない。「AとBは等しい」とは書かずに「AとBには有意差が認められなかった」というような表現を用いる。

期待している差があったのに、「p=0.056」のように僅かなところで有意にならなかったのは、サンプルサイズが小さくて検出力が弱かった、または、少数の特異なデータが発生してしまったという事もありうる。

前者なら観測数を増やして追試をする、先行研究の結果とあわせてメタ分析に掛けるという手段が考えられる。後者なら、特異値が発生した原因を検討してみる。発生が事故によるものであればデータを外すか採りなおす。通常起こりうる範囲内の値であれば、ノンパラメトリック検定をあてはめる、対数変換などにより正規分布に近似させてから検定することが考えられる。

アスタリスクが付いてないときこそ、p値は重要な情報となる。