BellCurve 統計WEB

未経験からデータ分析が学べる
卒業後の追加講座も永年見放題
  • Step1. 基礎編
  • 27. 回帰分析

27-6. 回帰の有意性の検定


27-3章で、偏回帰係数の有意性の検定について学びました。回帰分析においてある説明変数の偏回帰係数が0である(目的変数に対して効果がある)かを検定する場合には、t分布を用いて偏回帰係数の有意性の検定を行います。一方、複数の説明変数における回帰係数の効果を同時に検定する(回帰式そのものが目的変数に対して効果があるかを検定する)場合にはF分布を用いて回帰の有意性の検定を行います。



■回帰の有意性の検定とは

複数の説明変数における回帰係数\beta_iの効果を同時に検定する場合、帰無仮説H_0と対立仮説H_1は次のように書けます。

 \displaystyle H_0 : \beta_1 = \beta_2 = \dots = \beta_n = 0
 \displaystyle H_1 : \beta_1 \neq 0 \quad or \quad \beta_2 \neq 0 \quad or \quad \beta_3 \neq 0 \quad or \quad \dots \quad or \quad \beta_n \neq 0

回帰式そのものの目的変数に対する効果の検定には、27-5章で学んだ「変動」を活用します。すなわち、「回帰変動の平方和(SSR: Sum of Squared Regression)」と「残差変動の平方和(SSE: Sum of Squared Error)」をそれぞれ自由度「k」と「n-k-1」で割った平均平方を用います。kは説明変数の数を、nはデータの数を表します。

「回帰変動の平均平方」と「残差変動の平均平方」をそれぞれMSR(mean squared regression)、MSE(mean squared error)とすると、

 \displaystyle MSR = \frac{SSR}{k} = \frac{\sum_{i=1}^{n}(\widehat{y}_{i}-\overline{y})^{2}}{k}
 \displaystyle MSE = \frac{SSE}{n-k-1} = \frac{\sum_{i=1}^{n}(y_{i}-\widehat{y}_{i})^{2}}{n-k-1}

となります。ただし、実際のデータをy_{i}、回帰式から推定された値を\widehat{y}_{i}、データ全体から求められる平均値を\overline{y}とします。

「回帰変動の平均平方」と「残差変動の平均平方」の比である \displaystyle \frac{MSR}{MSE} が自由度 (k, \ n-k-1) のF分布に従うことを利用して検定を行います。

 \displaystyle F = \frac{MSR}{MSE} = \frac{\sum_{i=1}^{n}(\widehat{y}_{i}-\overline{y})^{2}/k}{\sum_{i=1}^{n}(y_{i}-\widehat{y}_{i})^{2}/(n-k-1)} \sim F(k, \ n-k-1)

この検定では、残差変動の平均平方(残差変動のばらつき)に対する回帰変動の平均平方(回帰変動のばらつき)が相対的に大きいかどうかを検定します。大きい場合には回帰変動による効果は有意である(回帰式そのものが目的変数に対して効果がある=偏回帰係数のいずれかが0ではない)と判断できますが、小さい場合には回帰変動による効果は有意であるとはいえません。有意ではない場合には、得られた回帰式にはあまり意味がありません。

回帰変動のばらつきが相対的に大きいかどうかだけを見ればよいので、この検定では「片側検定」を行います。

※F分布を用いた検定の詳細については28章以降で詳しく触れます。


■分散分析表

回帰の有意性の検定を行う際には、次のような分散分析表を作成する場合があります。pは説明変数の数を、nはデータの数を表します。

要 因 平方和 自由度 平均平方 F 値
回帰変動 回帰変動の平方和 (SSR)
\displaystyle \sum_{i=1}^{n}(\widehat{y}_{i}-\overline{y})^{2}
p 回帰変動の平均平方 (MSR)
\displaystyle \frac{\sum_{i=1}^{n}(\widehat{y}_{i}-\overline{y})^{2}}{p}
\displaystyle \frac{MSR}{MSE}
残差変動 残差変動の平方和 (SSE)
\displaystyle \sum_{i=1}^{n}(y_{i}-\widehat{y}_{i})^{2}
n-p-1 残差変動の平均平方 (MSE)
\displaystyle \frac{\sum_{i=1}^{n}(y_{i}-\widehat{y}_{i})^{2}}{n-p-1}
-
全体変動 全変動の平方和 (SST)
\displaystyle \sum_{i=1}^{n}(y_{i}-\overline{y})^{2}
n-1 - -

※分散分析の詳細については28章以降で詳しく触れます。


27. 回帰分析


統計学やデータ分析を学ぶなら、大人のための統計教室 和(なごみ) [業務提携]


統計WEBを運営するBellCurveは、統計解析ソフト「エクセル統計」を開発・販売しています! 統計解析ソフト「エクセル統計」をインストール後のExcel上のタブとメニュー エクセル統計ジャケット画像


【エクセル統計/新規ユーザー】春の年度末SALE!
【エクセル統計/新規ユーザー】春の年度末SALE!

【BellCurve監修】統計検定®2級対策に最適な模擬問題集1~3を各500円(税込)にて販売中!

Kindleストアで配信中

統計検定®2級 模擬問題集1

500円(税込)

統計検定®2級 模擬問題集2

500円(税込)

統計検定®2級 模擬問題集3

500円(税込)