タグ（ブログ）: 統計備忘録

※コラム「統計備忘録」の記事一覧はこちら※

量的データの度数分布をグラフにしたものをヒストグラムまたは柱状グラフと言います。Excelのグラフの種類にヒストグラムはないため、Excelで作るなら棒グラフを代用することになります。Excelの分析ツールにもヒストグラムのメニューがありますが、やはり棒グラフを代用してヒストグラムを書いています（分析ツールのヒストグラムは、コラムの最後に書いた理由によりお奨めできません）。

ヒストグラムの棒のことを英語ではbin（ビン）と言います。日本語版分析ツールのダイアログでは［データ区間］となっているところも、英語版では［bin range］となっています。ヒストグラムでは、このビンの数と幅をどう設定するかで見た目がずいぶん変わってしまいます。

Excelの分析ツール

まず、ビンの数（k）の決め方としては、スタージェスの公式を使ったものがよく知られています。Excelで求めるなら次の関数式を入力するだけです。n のところはデータの件数にしてください。

=LOG(n,2)+1

n が256なら k=9となります。端数がでたら切り上げてください。スタージェスの公式を使うと n が倍になるごとに１ずつ増えていくので n = 512 なら k = 10 です。スタージェスの公式以外にも n の平方根を使う方法もあります。ビンの幅( h )はデータの範囲（最大値－最小値）をビンの数で割った値です。

一方、ビンの幅( h )を決め、データの範囲をhで割ってビンの数( k )を求める方法もあります。スコットの選択（標準偏差の3.5倍を n の3乗根で割る）やフリードマン＝ダイアコニスの選択（四分位範囲の2倍を n の3乗根で割る）などが知られています。

ビンの数と幅の決め方について、どんな場合にも有効な方法はありません。多くの統計ソフトはビンの数や幅をしなくとも自動で設定する機能がついているので、まずは、ソフトまかせでヒストグラムを作成してみてください。Excelの分析ツールでも、［データ区間］を指定しなくともヒストグラムを作成できます。

分析ツールのヒストグラム作成ダイアログ
（ヒストグラムを出力するためには［グラフ作成］のチェックが必要）

分析ツールにより作成した度数分布表とヒストグラム（最初と最後の級の頻度に誤りがある）

ただし、Excel分析ツールのヒストグラムはデータ区間（階級の区切り）にはデータ区間の上限値が設定されており、各データ区間の頻度は「前のデータ区間の上限値より大きく、そのデータ区間の上限値以下」のデータの数となります。日本でよく使われている度数分布の階級は「その階級の下限値以上、次の階級のの下限値未満」なので、このようにしたいなら統計Tipsで紹介した方法を用いるか、エクセル統計など統計ソフトの利用すお奨めします。

エクセル統計により作成した度数分布表とヒストグラム

エクセル統計では、ビンの幅と数の設定において公式を用いた設定のオプションが搭載されており、スコットの選択、フリードマン＝ダイアコニスの選択、スタージェスの公式、平方根選択の４種から選べます。

※コラム「統計備忘録」の記事一覧はこちら※

「Excelの分析ツール (2)」の続き。残る５つの分析ツールですが、まずサンプリングからですね。

分析ツールのウィンドウ

サンプリング

入力済みの大量の数値データから標本抽出（サンプリング）を行うときに利用します。サンプリングの方法は「周期」と「ランダム」の2通りあります。「周期」は一定の間隔を空けてデータを取り出したいときに使用します。「ランダム」は無作為抽出（ランダムサンプリング）に利用します。
中心極限定理を実感してみたいなら、同じ分析ツールの中にある乱数発生の機能で大量のデータを作り、続いてこのサンプリング機能でランダムサンプリングを50回ほど繰り返し行ってみましょう。50個のサンプルの標本平均の分布は中心極限定理に従った正規分布を描くはずです。

t検定：一対の標本による平均の検定

1つの個体からAとBの2つの条件下でデータを採取します。これを標本内のすべての個体より行います。A、B、いずれかのみというケースは許されず、必ず対になっている必要があります。続いてAとBの差を求め、この差の平均が統計的に有意かどうかを検定します。対応のあるデータのt検定（paired t-test）と呼ばれている検定手法です。

「仮説平均との差異」には何も入力しません（まず使うことはありません。何も入力しなければ「0」の扱いになります）。「α」には有意水準を設定します。初期値として「0.05（有意水準が5%ということ）」が設定されています。有意水準 1% で検定したいからといってわざわざ「0.01」と入力する必要はありません。この値は有意水準におけるt値の境界値を求めるだけのものです。有意差があるかどうかは、出力されたP値（片側、両側、それぞれに出力されます）を見れば事足ります。P値が自分の定めた有意水準のαより小さい場合に有意差ありと判断します。

ExcelのTTEST関数、T.TEST関数を用いる場合はTTEST関数の4番目の引数「検定の種類」を「1」に設定します。両側検定、片側検定の区別は3番目の引数「検定の指定」で行います。関数が返す値はP値のみになります。上記をTTEST関数を用い、両側検定を行うならワークシートのセルに次のように入力します。関数のデータはラベルを含めることができないので注意しましょう。

=TEST(C22:C28,D22:D28,2,1)

なお、条件が3つ以上あるなら、同じ分析ツール内の繰り返しのない二元配置分散分析を用いましょう。

エクセル統計で「t検定：一対の標本による平均の検定」を行うなら、[平均の推定・検定]メニューから[2群の母平均の差の検定(対応あり)]を選択してください。条件が3つ以上あるなら、データの書式に合わせて、[一元配置分散分析(対応あり)]か[多元配置分散分析(対応あり)]のいずれかを利用してください。

t検定：等分散を仮定した2標本による検定

いわゆるt検定のことです。対応のない2つの標本間で平均値の差を検定する場合に用います。対応のない2標本のt検定は、2標本の分散が等しいことを前提としているか、2標本の分散が等しくないとしているかで計算方法に違いがあります。後者は、Welchの方法によってｔ検定を行います。次に説明する「t検定：分散が等しくないと仮定した2標本による検定」がWelchの方法によるものです。なお、2標本の等分散性を検定するなら、さきほどのF検定を用います。「仮説平均との差異」、「α」については設定を気にする必要はありません。

ExcelのTTEST関数、T.TEST関数を用いる場合はTTEST関数の4番目のパラメータ「検定の種類」を「2」に設定します。

=TEST(C29:C37,D29:D35,2,2)

なお、条件が3つ以上あるなら、同じ分析ツール内の繰り返しのない二元配置分散分析を用いましょう。

t検定：分散が等しくないと仮定した2標本による検定

Welchの方法によって2標本の平均の差のｔ検定を行います。先ほどのｔ検定は2標本が等分散であることを前提としています。しかしながら、片方の標本がもう片方の標本よりも平均も分散も大きくなるということがよくあります。また、等分散であるかどうか事前に想定できないこともよくあります。このような時は、Welchの方法によるｔ検定が適しています。

Welchの方法ではｔ分布の自由度に小数点以下の値が生じます。Excelの分析ツールでは、四捨五入後の自由度によるｔ分布を用いてP値を計算してしまいます。一方、ExcelのTTEST関数やT.TEST関数を使ってもWelchの方法によるｔ検定ができるのですが（関数の4番目の引数「検定の種類」を「3」に設定します）、関数から求められるP値は自由度を四捨五入しないで計算しています。より検定の精度を高めるなら、関数を使って検定を行った方が良いでしょう。

=TEST(C29:C37,D29:D35,2,3)

なお、エクセル統計で「F検定：2標本を使った分散の検定」と「t検定：等分散を仮定した2標本による検定」、「t検定：分散が等しくないと仮定した2標本による検定」を行う場合は、[平均の推定・検定]メニューから[2群の母平均の差の検定]を選択してください。1回の操作で3つの検定結果が同時に出力されます。

z検定：2標本による平均の検定

2標本の母分散が既知の場合や、大標本のデータで標本の分散と母分散が等しいと仮定できる場合は、正規分布を用いた平均の差の検定ができます。母分散が既知というと工場の品質管理データのように以前からの蓄積があったり、過去の大規模調査の結果を利用できたりという場面が考えられますが、このような既知の母分散を利用できる場合は、「変数1の分散（既知）」、「変数2の分散（既知）」に直接分散を入力します。分散が大きいと入力が大変ですから、できれば標準偏差の入力にしてほしいところです。

平均については「変数1の入力範囲」、「変数2の入力範囲」に指定したデータから計算します。分散の入力がなければ（母分散が未知の場合）、こちらも平均を求めるのに使ったデータから計算します。

ExcelにはZTEST関数やZ.TEST関数がありますが、1標本検定で、しかも、片側検定（標本平均が比較値より大きい場合のみ）のP値しか返してくれません。

エクセル統計では「z検定：2標本による平均の検定」も、[平均の推定・検定]メニューから[2群の母平均の差の検定]を利用します。1回の操作で3つの検定結果が同時に出力されます。「公式」のオプションを「正規分布」に変更するとz検定になります。ただし、母分散が未知の場合にのみ対応しています。母分散が既知の場合には分析ツールをご利用ください。

以上がExcelの分析ツールに搭載されている18種の統計解析手法です。

私がはじめてExcelの分析ツールを使ってみたのは1995年のことですが、その後、Excelのバージョンが変わってもExcelの分析ツールのメニューには一切変化がありませんでした。さすがに20年近く経つと統計解析のトレンドも随分と変わってしまいましたので、実用性という面では価値が薄くなってきています。せめて、独立性の検定（カイ二乗検定）や基本的なノンパラメトリック検定の幾つかは組み込んで欲しいところです。

それから、Excelの統計用語は一般的でないものが多く、また、ヘルプの説明が説明になっていない点も要注意です。統計学の知識が中途半端だとExcelの分析ツールも統計関数も使いこなすのが困難です。Excelを利用して統計学を学ぶ本は毎年のように出版されていますから、統計学の初心者は1冊持っていた方が安心でしょう。

※コラム「統計備忘録」の記事一覧はこちら※

今回のコラムを書いていて不思議に思ったのは分析ツールのリストの並びです。リストは分散分析に始まって ｔ検定、ｚ検定で終わります。「分散分析も、ｔ検定と ｚ検定も、平均が同じかどうかを検定するためにあるのに、何故、リストの両端に分かれているの？」、「時系列データの平滑化に使う指数平滑と移動平均の間にF検定やヒストグラムが入るのはどうして！」といったところです。英語版を見れば一目瞭然ですが、この並びは ANOVA から z test までと分析手法の英語名によるアルファベット順なのです。Descriptive Statistics が「記述統計量」でなく「基本統計量」と訳されているので、謎解きに手間取ってしまいました。

さて、「Excelの分析ツール (1)」の続きです。

分析ツールのウィンドウ

指数平滑

指数平滑という手法を使って、時系列データの平滑化を行います。ダイアログでは「減衰率」を設定するようになっていますが、この減衰率には（1-平滑化係数）の値を設定します。

F検定：2標本を使った分散の検定

2変数のデータ範囲を指定し、「変数1の分散＞変数2の分散（観測された分散比が 1 より大きい）」ならF分布の上側による片側検定を、「変数1の分散＜変数2の分散（観測された分散比が 1 より小さい）」なら下側による片側検定を行います。2変数のどちらの分散が大きいかによって対立仮説が変更されてしまうので注意が必要です。なお、ここで出力される P値を 2倍すると両側検定の P値となり、FTEST関数による P値と等しくなります。

フーリエ解析

高速フーリエ変換(FFT)と逆変換を行います。フーリエ解析については、ほとんど知識がありませんのでコメントは控えさせていただきます。

ヒストグラム

量的データを読み込んでヒストグラムを作るためにあるんですが、オプションの「グラフ」をチェックしないと度数分布表しか出力しないので要注意です。度数分布表の作り方も一般的じゃありません。度数分布表の各階級は「○○以上-◇◇未満」とするのが普通ですが、Excelの分析ツールは「○○より大きい-◇◇以下」となっています。それから、出力されるグラフはただの棒グラフですヒストグラムらしくするにはグラフの書式設定で「棒の間隔」に「0」を入力します。分析ツールによりヒストグラムの作成することはお奨めしません。COUNTIF関数やグラフの編集の仕方をマスターした方が良いでしょう。

移動平均定

移動平均という手法を使って、時系列データの平滑化を行います。分析ツールの移動平均は株価チャートで使われる移動平均と同じ計算原理です。「区間（N)」に5を指定した場合、ある時点tの移動平均は、t-4、t-3、t-2、t-1、t の5時点のデータの平均になります。本来の移動平均では、ある時点ｔの移動平均は、t-2、t-1、t、t+1、t+2 とその前後の時点のデータを使って求めます。そのため、区間が奇数か偶数かでも計算方法が異なります。

乱数発生

ExcelにはRAND関数とRANBETWEEN関数の2種類の乱数を発生させる関数がありますが、一様分布の乱数しか作れない、シードを設定できないので再現性が無いといった弱点があります。また、ワークシートに何か入力するたびに乱数の値が変わってしまうという点もやっかいです。分析ツールでは、均一、正規、ベルヌーイ、二項、ポワソン、離散の6種類の分布から乱数を選ぶことができます（分布のリストにはパターンというのがありますが、これは乱数ではありません）。

順位と百分位数

RANK関数とPERCENTRANK関数が使えれば必要ありません。

回帰分析

重回帰分析もできます。標準偏回帰係数が出力されない、説明変数が16個までしか分析できない、変数選択ができない、欠損値があると分析できない、用語が一般的ではないといった使用上の注意点が幾つかあります。

※コラム「統計備忘録」の記事一覧はこちら※

Microsoft Excelには、CORRELやTTESTといった様々な「関数」、「ピボットテーブル」、「分析ツール」や「ソルバー」などのアドインが用意されています。Excelだけでも、簡単な検定から、多大な手間は要するものの、かなり高度な多変量解析までこなせます。「相関係数を求めたい」とか「ｔ検定をしたい」ぐらいで、わざわざ統計ソフトを買う必要はありません。Excelを利用して統計学を学ぶテキストも毎年のように出版されていますから、統計ソフトを買う前に一度読んでみてください。

ソルバーと分析ツールを組み込んだExcel2010（データのリボンの右端にボタンが表示される）

さて、前置きが長くなりましたが、今回はExcelの分析ツールを取り上げたいと思います。Excelが初期設定のままでは、メニューにもリボンにも分析ツールが表示されないので、分析ツールの存在を知らない人がほとんどではないかと思います。以前に、コラム「Excelで重回帰分析(1)」で分析ツールを使用して重回帰分析を解いてみましたが、分析ツールには重回帰分析以外にも幾つかの統計解析機能が備わっています。

分析ツールのウィンドウと搭載されている解析手法

分散分析：一元配置
分散分析：繰り返しのある二元配置
分散分析：繰り返しのない二元配置
相関
共分散
基本統計量
指数平滑
F検定：2標本を使った分散の検定
フーリエ解析
ヒストグラム
移動平均
順位と百分位数
回帰分析
サンプリング
t検定：一対の標本による平均の検定
t検定：等分散を仮定した2標本による検定
t検定：分散が等しくないと仮定した2標本による検定
z検定：2標本による平均の検定

このリストを見て「エクセル統計買わずに済んだ」と後悔している方がいるかもしれませんね。そういった方のために、また、これから統計ソフトの購入を検討されている方のために、Excelの分析ツールの限界、統計ソフトとの違いなどについて書いておきます。

分散分析(3種)

まず、最初に並んでいる分散分析ですが、Excelの分散分析には多重比較の機能がありません。それから「繰り返しのある二元配置」の場合、繰り返しの数が不揃いな場合に対応していません。「エクセル統計の分散分析について」で書いたように要因計画の配置表に合わせた書式のデータしか分析できないため使い勝手を悪くしています。

相関、共分散

次に相関と共分散ですが、これは、共に複数の変数（複数列）のデータからすべての組み合わせで相関係数や共分散を求め、相関行列や分散共分散行列にまとめることができます。ただし、欠損値があるデータでは注意が必要です。分析ツールには欠損値を含むケースを行ごと分析対象から除く機能がありません。一般の統計ソフトの多くについている機能ですが、この機能が無いため、欠損値を含む場合は事前に分析対象からケースを除いておく必要があります。また、無相関の検定（相関係数の有意性の検定）もありません。

基本統計量

基本統計量は、複数の変数（複数列）のデータより、
平均、標準誤差、中央値、最頻値、分散、尖度、歪度、範囲、最小、最大、合計、標本数、
ｋ番目に大きな値、ｋ番目に小さな値、信頼区間
をまとめて計算できます。Excelには標準誤差を直接求める関数が無いので、計算式が分からない人は分析ツールを使用してください。
Excelの欠点として用語の間違いが多いということが挙げられます。それはここでも見られます。標本数に出力されているのはサンプルサイズ（データ数）です。また、「ｋ番目に大きな値」の出力の見出しは「最大値(k)」となり、何を意味するのか分からなくなっています（「ｋ番目に小さな値」は「最小値(k)」）。信頼区間の出力は平均から信頼限界までの幅を出力しているだけで、区間の上限や下限は出てきません。CONFIDENCE関数の値を貼り付けているだけです。