タグ（ブログ）: 統計備忘録

※コラム「統計備忘録」の記事一覧はこちら※

統計用語というのは似たような言葉のオンパレードで、間違って覚えてしまうこともしばしばですが、「z 得点（z-score）」と「Z 得点（Z-score）」は音も同じ、綴りも同じ、紛らわしい事この上無しです。殆どの人は「ゼット得点」が2つあることを知らないのではないでしょうか。

新曜社の統計用語辞典では、この2つの用語は「標準得点(standard score)」の項で説明されていて、次の共通の式で求められます。

z 得点は、S=1、M=0とすることで、Z 得点は、S=10、M=50とすることで求められます。つまり、Z 得点は偏差値(deviation score)ということです。偏差値についてはT 得点という順位情報を使って求めるものもあるのですが、これ以上の混乱は避けたいので説明しません。

多くの場合、ゼットが小文字であっても大文字であっても「ゼット得点」は「z 得点」の意味で使われることが殆どです。「z 値」という書かれ方もします。どちらか分からなければ、得点の整数部の桁数を見ましょう。1桁ならz 得点、2桁ならZ 得点とみて間違いありません。

Excelではz 得点をSTANDARDIZE関数により求めます。関数のヘルプには「標準化変量」を求めるための関数と説明されていて、z 得点という表現はありませんが、ヘルプの計算式を見るとz 得点を求めるための関数です。関数の書式は次の通りです。

=STANDARDIZE(素得点,平均,標準偏差)

なお、Excelで平均を求めるにはAVERAGE関数、標準偏差を求めるにはSTDEVかSTDEVP関数を使います。Excelで偏差値を計算したいなら次のように入力してください。

=STANDARDIZE(素得点,AVERAGE(素得点の範囲),STDEVP(素得点の範囲))*10+50

エクセル統計なら、ユーティリティーのメニューから「基準値と偏差値*」を選択すれば複数の変数でもまとめて変換できます。ここでは、基準値がz 得点、偏差値がZ 得点です。

※コラム「統計備忘録」の記事一覧はこちら※

順列と組み合わせは高校の数学で学びますが、統計学を理解する上で必須の知識と言えます。Excelにも順列と組み合わせを求めるための関数が用意されています。

PERMUT：順列、permutation
COMBIN：組み合わせ、combination

Excelでは不思議なことに、PERMUTは統計関数、COMBINは数学／三角関数に分類されています。そのため、私もCOMBIN関数は以前から使っていましたが、PERMUT関数には、つい最近まで気がつきませんでした。分類の違いは引数の説明に影響していて、次のような奇妙なことになっています。

PERMUT(標本数,抜き取り数)
COMBIN(総数,抜き取り数)

統計学で標本とは母集団から抜き取ったものですから、「標本数、抜き取り数」と並べられると、いたずらに混乱を招くだけです。

さて、大きさが100個の集団から順番に5個を取り出す場合の並び、順列の数は、

5個をまとめて取り出す場合の組み合わせの数は、

となります。

！は階乗を意味しますが、階乗計算についてもExcelの関数があります。FACT関数です。したがって、Excelに次の2通りの入力した場合、どちらも同じ組み合わせの結果です。

　=COMBIN(100,5)
　=FACT(100)/(FACT(5)*FACT(100-5))

FACT関数があれば、PERMUもCOMBINも要らないように思えますが、試しに次の式を入力してみてください。

　=FACT(200)/(FACT(5)*FACT(200-5))

結果は「＃NUM!」になります。計算できない理由は、FACT関数で計算できるのは170の階乗までで、それより大きくなるとExcelの扱える数値の上限を超えて、桁あふれを起こしてしまうからです。COMBIN関数を使って計算すれば「2535650040」と正しい結果を得ることができます。

しかしながら、COMBIN関数にも上限はあります。これをクリアしていくために、統計学では、正規分布やカイ2乗分布などの確率分布を利用します。

※コラム「統計備忘録」の記事一覧はこちら※

統計用語の１つに標準誤差（standard error、SE）という概念があります。本によっては解説があったりなかったりしますが、覚えておくと便利ですから、簡単に触れておきます。

標準誤差は1種類ではなく幾つかの標準誤差がありますが、まず、特に何のことわりも無く標準誤差と書かれている場合、標本平均についての標準誤差（standard error of the mean、SEM*）を指しています。標準偏差（standard deviation、SD）とサンプルサイズ（n）から計算できます。

　SEM＝SD／√n

母集団から標本を抽出して求めた平均を標本平均といいます。サンプルサイズを一定にして何度も無作為抽出を繰り返し、得られた標本平均をヒストグラムに描くと、中心極限定理（the central limit theorem）によって、ヒストグラムは母集団の平均（母平均、真の平均）を中心とした釣鐘状の形になります。つまり、標本平均の分布は、ほぼ正規分布になります。標準誤差（SEM）とは、この標本平均の分布の標準偏差であり、標本平均のばらつき具合の指標になります。

標本平均が正規分布するということは、無作為抽出を繰り返したて得られた標本平均の95%は、「母平均±1.96×SEM」の区間に収まるということです。母平均の区間推定は、この原理を応用しています。実際に区間推定するときは、母平均も母標準偏差も分かっていないので、標本平均と標準偏差（不偏分散の二乗根による母標準偏差の推定量としての標準偏差）を使って計算します。

　標本平均±1.96×標準偏差／√n

ExcelのCONFIDENCE関数もこの式により標本平均からの区間の幅を計算しています。

　CONFIDENCE(α, 標準偏差, n)　　95%信頼区間ならαは1-0.95の0.05

標準偏差はSTDEV関数で、サンプルサイズはCOUNT関数で求められますから、例えば、Excelシートの「A1:A100」にデータがあるなら、具体的には次のように入力すればよいでしょう。

　=CONFIDENCE(0.05,STDEV(A1:A100),COUNT(A1:A100))

ただし、標本平均がきれいな正規分布になるのはｎが十分に大きなときですから、一般の統計テキストや統計ソフトでは、1.96ではなくt分布から得られた値を使用します。ExcelならTINV関数を組み合わせればよいでしょう。

　=TINV(0.05, COUNT(A1:A100)-1)*STDEV(A1:A100)/SQRT(COUNT(A1:A100))

さらに、この原理を逆用して、ある誤差の範囲に収まるようにサンプルサイズを計算することもできます。この場合、誤差というのは区間推定における平均からの区間の幅と同じと考えてください。誤差を少なくしようとするなら標準誤差を小さくする必要があります。

標準誤差はｎの二乗根に反比例することになりますから、サンプルサイズを４倍にすれば標準誤差は半分になります。統計Tipsの「必要なサンプルサイズの計算」で誤差を半分にすると、サンプルサイズが4倍になるのはこのためです。

*　SEMは構造方程式モデリング（Structural Equation Modeling、共分散構造分析ともいう）の略称としても使われている。

※コラム「統計備忘録」の記事一覧はこちら※

前回は、対応のあるデータの「ｔ検定」の例として、閉眼片足立ちの時間に対するバランスボールのトレーニング効果を取り上げました。バランスボールは、バランス能力を鍛えるだけでなく、ストレッチやダイエット、腰痛改善など幾つかの効果が期待されています。今回は、腰痛改善効果を検定する方法を考えてみましょう。

腰痛は、閉眼片足立ちの時間ように数値にして状態を把握することが困難です。そこで今回は、腰痛の「ある」、「なし」を自己評価してもらうことにします。実験参加者は、100人のオフィスワーカー。1ヶ月間、毎日1時間、バランスボールに指示された通りに座ってもらいます。

実験の結果をクロス集計表にまとめると、次のようになりました。

クロス集計表から検定するとなると、独立性の検定を思い浮かべるかもしれませんが、今回は、マクネマー検定という方法を用います。計算に用いるのは、前後で状態が変化した人達、「(b)腰痛あり→腰痛なし」と「(c)腰痛なし→腰痛あり」の人数です。

bとcが同数であれば改善効果無し、b＞cなら改善効果あり、b＜cなら逆効果ということになります。検定統計量（c²）は次の式で求めます。c²は自由度1のカイ二乗分布に従います。

＜前提＞
　帰無仮説：「トレーニング効果は無い（b=c）」
　対立仮説：「トレーニング効果がある（bとcは異なる）」
　有意水準α=0.05
＜計算＞
　c²=(|b-c|-1)²/(b+c)=(|5-16|-1)²/(5+16)= 4.762

c²≧4.762の上側累積確率は「0.029」となり、腰痛の改善効果はありそうです。 独立性の検定では「a x d」と「b x c」の差が重要で、「bとc」の差は有意性とは関係無かったのに対し、マクネマー検定では「bとc」に差が無ければ有意にならないという点に留意してください。

対応のあるデータの検定には、3群以上に対応したもの、ノンパラメトリック法によるものなど、他にも幾つか検定手法があります。エクセル統計では次のメニューから対応のあるデータの検定を行うことができます。

• ［2標本の比較］-［母平均の差の検定（対応あり）］
• ［分散分析・多重比較］-［一元配置分散分析（対応あり）］
• ［分散分析・多重比較］-［二元配置分散分析（対応あり）］
• ［分散分析・多重比較］-［多元配置分散分析（対応あり）］
• ［集計表の作成と分析］-［マクネマー検定］
• ［ノンパラメトリック検定］-［ウィルコクソンの符号付き順位検定］
• ［ノンパラメトリック検定］-［フリードマン検定］
• ［ノンパラメトリック検定］-［コクランのQ検定］

※コラム「統計備忘録」の記事一覧はこちら※

同じ人から条件を変えて複数回のデータをとるケースがあります。例えば、バランスボールでトレーニングする前と後の閉眼片足立ちの時間。降圧剤を飲んだ人の直後と2時間後、4時間後の血圧。選挙の前後の支持政党。このようにして得られたデータを「対応のある(一対の、paired)」、あるいは、「反復測定（重複測定、repeated measurement）による」データと言います。

対応のあるデータの場合、検定の対象となるのは状態の変化です。次の例を見てください。

　　

このデータはバランスボールによる１週間のトレーニングを行う前(a)と、行った後(b)の閉眼片足立ちの時間(秒)です。バランスボールは、腰掛けているだけでも体の左右の筋肉バランスを整えてくれるので、閉眼片足立ちにはもってこいのトレーニングです。8人中6人にトレーニングの効果（b-a）が現れています。8人を平均すると10秒記録が伸びています。これをグラフにすると次のようになります。

バランスボールによるトレーニング効果があった人は、前後を結ぶ線が右上がりに、効果が無ければ線は水平から右下がりになります。このように、線の傾き具合から変化の度合いを読み取ることができます。トレーニング効果による変化だけに注目したのが次のグラフです。

このグラフにすると、よりトレーニング効果が鮮明になります。この変化の度合いを検定する方法が「対応のあるスチューデントのｔ検定」です。計算の対象となるのはトレーニング効果（b-a）だけです。トレーニング効果の平均値と標準誤差

（標準偏差／√データの個数）

を求めさえすればt値が求まります。

＜前提＞
　帰無仮説：「トレーニング効果の母平均値はゼロである」
　対立仮説：「トレーニング効果はある（効果の母平均値はゼロより大きい）」
　有意水準α=0.05の片側検定
＜計算＞
　t=平均値/標準誤差 = 10.025/4.966=2.018
　v=計算に使ったデータの個数-1=8-1=7

私はバランスボールの効果で記録が伸びると信じていましたので、片側検定の結果を採用します。自由度が7のt分布で、t≧2.018の上側累積確率は「0.042」となり、私の仮説は支持されました。

対応のあるデータでは、有意になりやすいかどうかは、変化の量よりも、変化の向きがポイントになります。変化量が小さくとも、向きが揃っていれば有意になりやすい性質があります。グラフにした場合、次のように線と線がクロスすることなく、どの線も似たような傾きになっていれば（ほぼ並行になっていれば）、傾きが僅かでも、まず検定結果は有意になるでしょう。

逆に、有意にならないケースは、次のように線がクロスする頻度の高いときです。

このように対応のあるデータを分析するときは、対応のあるデータ同士を線で結んだ折れ線グラフを作ると、検定結果を容易に予測することができます。

※コラム「統計備忘録」の記事一覧はこちら※

カール･ピアソンまでを近代統計学とするなら、現代の統計学を拓いたのは、ゴセット、フィッシャー、ネイマン、そして、カールの息子、エゴン・ピアソンの4人といっていいでしょう。

ゴセット（William Sealy Gosset、1876-1937）が、後にスチューデントのｔ分布と呼ばれる分布曲線を発表したのが1908年のことです。ゴセットはギネスビールの技術者でしたが、1906年から1907年まで休暇をとって、ゴールトン生物測定研究所のピアソンのもとで論文をまとめました。ゴセットは論文発表の事実を会社に伏せておくために「スチューデント」というペンネームを使ったのです。ｔ分布の「ｔ」もゴセットによるものではなくフィッシャーに由来します。ゴセットは控えめな性格だったようで、自分の発見が、後年、これほど世に広まるとは考えてもいなかったでしょう。

現在の主なパラメトリック手法の殆どを考案したのがフィッシャー（Sir Ronald Aylmer Fisher, 1890-1962）です。コンピューターが使える時代に生まれていたら、多くのノンパラメトリック法がフィッシャーによって発表されていたでしょう。1925年に出版された『研究者のための統計的方法』は、日本語も含め各国語に翻訳され、世界中の研究者のバイブルになりました。この本には、実験結果を統計的に記述し、評価するためのテクニックが詰まっています。1935年には、『実験計画法』を出版していますが、この2冊が無ければ科学技術の進歩は数十年遅れていたかもしれません。

フィッシャーは何かとエピソードの多い人物です。カール・ピアソンとの対立はとりわけ有名です。ゴセットがフィッシャーとピアソンの仲をとりもとうとしたこともあったようですが、この対立は根深く、フィッシャーはカールの息子、エゴン（Egon Sharpe Pearson、1895-1980）にも冷たくあたっていました。1930年代に入りカールが事実上引退すると、彼が築き上げたロンドン大学の生物測定学科は２つに分割され、フィッシャーが新しくできた優生学科の学科長に就任します。同時期、縮小された生物測定学科にはエゴンが就任します。その後、優生学科はナチスに繋がるものとして、第2次世界大戦と同時に解体されてしまいます。1952年にはナイトの称号を受けますが、学者としてのピークは過ぎていました。また、フィッシャーは愛煙家としても知られています。そのことが関係しているのかどうか判りませんが、喫煙の危険性に反論する論文を1957年に発表しています。

さて、エゴンは1歳違いのポーランド人、イェジー･ネイマン（Jerzy Neyman、1984-1981）と親交を深めました。現在の統計的仮説検定の作法はこの2人が作り上げたものです。2人は、1928年から共同で幾つかの論文を発表しています。この論文の内容はネイマン･ピアソンの原理（Neyman-Pearson lemma、補題、公式ともいう）として知られ、帰無仮説（null hypothesis）を誤って棄却する確率（第1種の誤りの確率）と対立仮説（alternative hypothesis）を誤って棄却する確率（第２種の誤りの確率）、αとβを最小にする棄却域の設定の方法を述べたものです。有意水準や検出力（1－β）もここから生まれてきました。

このあたりの顛末について興味を持たれた方へは、サルツブルグが書いた『統計学を拓いた異才たち』をお薦めします。ゴセットやフィッシャーの書いた論文を読んでみたいという方は、ヨーク大学やアデレード大学にアーカイブがありますので、こちらからどうぞ。ヨーク大学のサイトには、全員のポートレートも公開されています。

※コラム「統計備忘録」の記事一覧はこちら※

統計学を始めるとき読む本について、私なりに選択のポイントを幾つか考えてみました。

1.「まえがき」を読んで自分向きだと思う

「まえがき」を読むと、本の内容や対象としている読者だけでなく、著者のキャリアやセンスもうかがうことができます。「まえがき」を、つまらない、分かりにくいと感じるようなら、買っても読み通すことはないでしょう。はじめての専門書を買う場合、外せないポイントです。

2.索引に「標準誤差」と「中心極限定理」が載っている

私は、「標準誤差」と「中心極限定理」が索引に載っているかどうかをチェックします。この2つは、推定や検定の原理を理解する上で役に立つキーワードです。あれば記述されている箇所もチェックします。記述の前後に、正規分布が幾つか重なったようなチャートがあるかも見ておきましょう。

3.英語表記が併記されている

統計用語はほとんどが訳語です。分野による方言や著者（や訳者）の好みで、同じ事に色々な名前が付けられています。英語表記は日本語ほどバリエーションがありませんから、他の本を読んだり、ネットで調べたりするときに知っていると便利です。

4.ノンパラメトリック検定や多変量解析の解説がある

統計学の初等講座で使われるような本を買うと、基礎理論ばかりで、検定についてほとんど解説が無いものもあります。本の内容を理解できたとしても、統計ソフトのメニューのどこをクリックしたらよいか分かりません。多変量解析については「一般線形モデル（GLM）」があるかどうかがポイントです。現在、高機能な統計ソフトでは、分散分析に一般線形モデルを使うのが主流です。概要だけでも押さえておきましょう。

5.改訂版である

奥付を調べて、初版か改訂版かを調べます。統計学は日々変化していますから、初版のまま10年を過ぎた本よりも、改訂版を選びます。翻訳ものであれば日本語の版ではなく原著の版をチェックします。

以上の5つのチェックポイントをクリアした本として、私が紹介したいのは、メディカル・サイエンス・インターナショナル社の「論文が読める！早わかり統計学」です。出版社から分かるとおり医学研究者向けの本ですが、医学研究は実験と調査の両方の要素を含んでいるため、扱われる統計手法は多岐に渡り、事例も分かりやすく、何よりも読み物として楽しめます。一度、手にとってみてください。

※コラム「統計備忘録」の記事一覧はこちら※

独立性の検定とは、いわゆるカイ二乗検定のことです。アンケートをする人にはお馴染みの、あのカイ二乗検定です。適合度の検定、母分散の検定など、カイ二乗分布を利用した統計的仮説検定のことをカイ二乗検定と呼ぶのですが、ただ単に「カイ二乗検定」とあれば、それは「独立性の検定」を指していると考えて間違いないでしょう。

さて、独立性の検定の「独立」とは一体どういうことなのでしょうか。新曜社の統計用語辞典では次のように書かれています。

「２つの事象AとBについて、その同時確率P（AB）がAの確率とBの確率との積となるならば、すなわち
　P(AB)=P(A)・P(B)
となるならば、AとBは独立であるという」

例えば、大学生を調査して、その中で、女性が60％、美容院で髪をカットする人が80%だったとします。

X.性別

Y.髪をカットする所

もし「女性である（A）」と「美容院で髪をカットする（B）」が完全に独立した事象であれば、「女性で、かつ、美容院で髪をカットする人」である確率P(AB)は、次の計算により48%となります。この確率は、独立を仮定した場合に期待される確率、すなわち期待確率です。
　P(AB)=0.6×0.8＝0.48

「女性、かつ、理容院」、「男性、かつ、美容院」、「男性、かつ、理容院」も同様に期待確率を求めると、次の表になります。

独立を仮定した場合の期待確率

次の表は、調査によって実際に観測された確率をまとめたものです。

調査で実際に観測された確率

実際に観測された確率と期待確率との乖離が大きいほど、独立していない（関連がある）ということになります。この乖離の程度を評価するのが独立性の検定です。それでは、独立性の検定の手順についてみていきましょう。

検定の手順

最初に、独立性の検定の仮説は次のように設定します。
・帰無仮説H0：2変数（性別、髪をカットする所）は独立である（関連がない）
・対立仮説H1：2変数は独立でない（関連がある）
実際に検定を行うには、確率に対象者の人数を掛けた、(1)実測度数と(2)期待度数の2つのクロス集計表を用います。仮に、この調査の対象者数が200人とすると2つの表は次のとおりです。

(1) 実測度数

(2) 期待度数

(1)(2)の集計表が用意できたら、次の計算を行います。

(3) (1)実測度数－(2)期待度数

(4) (3)の各セルを二乗する

(5) (4)の各セルを(2)期待度数で割る

(6) (5)の各セルの和（c²）を求める

c²=1.50+6.00+2.25+9.00＝18.75

(7) エクセルのCHIDIST関数を使って、クロス集計表の（行数-1）×（列数-1）の自由度のカイ二乗分布から、(6)のカイ二乗値（c²）のp値を求める

p=CHIDIST(18.75,1)=0.000014902

p値が0.01未満なので、有意水準1%で帰無仮説が棄却され、性別と髪をカットする所は関連があるということになります。

(3)から(7)についてはExcelのCHITEST関数を用いることで省略できます。次のようにワークシートに入力してください。
＝CHITEST(実測度数範囲、期待度数範囲)
この関数の結果はカイ二乗検定のp値です。前回書いたとおり、エクセル統計なら実測度数のクロス集計表だけで計算できます。

独立性の検定で注意すること

独立性の検定を行う際に注意しなければいけないことがあります。それは次の２つのケースです。

A.期待度数が１未満のセルがある
B.期待度数が５未満のセルが、全体のセルの20%以上ある

前述の例と同じ構成比で、調査対象者が50人であったとすると、各セルの構成比が変わらなくとも、期待度数は次の表のようになります。

(2)' 期待度数

「男性、かつ、理容院でカットする」の期待度数は4になり、Bのケースに該当します。このようなとき、2×2のクロス集計表であれば、イェーツの補正によってカイ二乗値を修正するか、フィッシャーの直接確率（正確確率）によりカイ二乗分布を使わずにｐ値を直接求める方法があります。

2×2より大きなクロス集計表であればカテゴリーの統合を行います。サンプルサイズが小さいときや、出現頻度が数％のカテゴリーが掛け合わさったとき、A,Bどちらの状況も容易に発生します。

出現頻度が0％のカテゴリーは統合するまでもなく集計表から除いてください。0％のカテゴリーがあると、期待度数も0ということになり検定不能に陥ります。

※コラム「統計備忘録」の記事一覧はこちら※

「比率の差の検定」をしようと思った場合、どの手法を使えばよいのでしょう。
統計ソフトの「分析メニューを開いてみたけど分からなかった」という経験をお持ちの方もいらっしゃるかと思います。

このようなときは、統計ソフトの「クロス集計」を選択すると、そのオプションの中に「独立性の検定」があるはずですから、こちらを利用してください。ソフトによっては「独立性の検定」ではなくて、「カイ二乗検定」となっているかもしれません。

2×2のクロス集計表を独立性の検定に掛けると、その検定結果は、2群の比率の差の検定と同じになります。エクセル統計を使い、次の例で確認してみましょう。

母比率の差の検定

エクセル統計で2群の比率の差の検定を行うときは、データを以下のようにまとめます。

続いて、エクセル統計のメニューから［2標本の比較］-［母比率の差の検定］を選択して、データ範囲を設定したら［OK］ボタンをクリックします。

結果は次の通りです。検定統計量（z）が「0.6356」で、両側P値は「0.5250」となり有意な差があるとは言えません。

独立性の検定

それでは、独立性の検定はどうでしょうか。分析用に、次のようなクロス集計表を用意します。

続いて、エクセル統計のメニューから［集計表の作成と分析］-［独立性の検定］を選択して、データ範囲を設定したら［OK］ボタンをクリックします。

結果は次の通りです。こちらの検定統計量はカイ二乗値で「0.4040」になります。P値は2群の比率の差の検定と同じ、「0.5250」です。

カイ二乗分布は、正規分布に従う幾つかの確率変数があるとき、それらの二乗和が従う分布です。確率変数が1つだけ（自由度が１）なら、「カイ二乗＝ｚの2乗」という関係が成り立ちます。したがって、例題の2群の比率の差の検定の検定結果のｚ値（0.6356）を2乗すると、独立性の検定のカイ二乗値（0.4040）と等しくなります。

このように、独立性の検定を備えたソフトであれば、2群の比率の差の検定を行うことができます。

次回は、独立性の検定の仕組みについて、少し掘り下げてみましょう。