- Step1. 基礎編
- 27. 回帰分析
27-2. 最小二乗法
27-1章で学んだように、回帰分析では偏回帰係数を最小二乗法を用いて算出します。この章では偏回帰係数の実際の求め方について学びます。
最小二乗法を用いて回帰式の
と
を定める場合、次の式を
と
それぞれで偏微分した式を0とした2つの式を使います。
![Rendered by QuickLaTeX.com \displaystyle E =\sum_{i=1}^{n}\left\{y_{i}-\left(\beta_{0}+\beta_{1} x_{i} \right)\right\}^{2}](https://bellcurve.jp/statistics/wp-body/wp-content/ql-cache/quicklatex.com-4e868bbedae58c7f9efccd1887ff5d7f_l3.png)
で偏微分すると、
![Rendered by QuickLaTeX.com \displaystyle \frac{\delta E}{\delta \beta_{0}} = -2 \sum_{i=1}^{n}(y_{i}-\beta_{0}-\beta_{1} x_{i})](https://bellcurve.jp/statistics/wp-body/wp-content/ql-cache/quicklatex.com-7cb707d17326df8c5e7a6ba28b0d2d3b_l3.png)
となり、で偏微分すると、
![Rendered by QuickLaTeX.com \displaystyle \frac{\delta E}{\delta \beta_{1}} = -2 \sum_{i=1}^{n}(y_{i}-\beta_{0}-\beta_{1} x_{i})x_{i}](https://bellcurve.jp/statistics/wp-body/wp-content/ql-cache/quicklatex.com-2e1dd2e4c5f06f18aa39fd3c3d05c3cf_l3.png)
となります。これらの式を0とすると、次のような式が得られます。
![Rendered by QuickLaTeX.com \displaystyle -2 \sum_{i=1}^{n}(y_{i}-\beta_{0}-\beta_{1} x_{i}) = 0 \\ \Leftrightarrow \sum_{i=1}^{n}(y_{i}-\beta_{0}-\beta_{1} x_{i}) = 0 \\ \Leftrightarrow \sum_{i=1}^{n}y_{i} - \sum_{i=1}^{n}\beta_{0} - \sum_{i=1}^{n}\beta_{1} x_{i} = 0 \\ \Leftrightarrow \sum_{i=1}^{n}y_{i} - n\beta_{0} - \sum_{i=1}^{n}\beta_{1} x_{i} = 0 \\ \Leftrightarrow \sum_{i=1}^{n}y_{i} = n\beta_{0} + \sum_{i=1}^{n}\beta_{1} x_{i} \dots(1) \\](https://bellcurve.jp/statistics/wp-body/wp-content/ql-cache/quicklatex.com-70fb4340affafdd2df4c418556073cb0_l3.png)
![Rendered by QuickLaTeX.com \displaystyle -2 \sum_{i=1}^{n}(y_{i}-\beta_{0}-\beta_{1} x_{i})x_{i} = 0 \\ \Leftrightarrow \sum_{i=1}^{n}(y_{i}-\beta_{0}-\beta_{1} x_{i})x_{i} = 0 \\ \Leftrightarrow \sum_{i=1}^{n}(x_{i}y_{i} - x_{i}\beta_{0} - x_{i}^2\beta_{1}) = 0 \\ \Leftrightarrow \sum_{i=1}^{n}x_{i}y_{i} = \sum_{i=1}^{n}x_{i}\beta_{0} + \sum_{i=1}^{n}x_{i}^2\beta_{1} \dots(2) \\](https://bellcurve.jp/statistics/wp-body/wp-content/ql-cache/quicklatex.com-e5ca1363d4c668caf5df6bd92084a118_l3.png)
これら(1)(2)の式(正規方程式とよばれることがあります)を整理することで、と
の推定値である
と
を求める式を導くことができます。
(1)の式を変形すると
![Rendered by QuickLaTeX.com \displaystyle \sum_{i=1}^{n}y_{i} = n\beta_{0} + \sum_{i=1}^{n}\beta_{1} x_{i} \\ \Leftrightarrow \frac{1}{n} \sum_{i=1}^{n}y_{i} = \frac{1}{n}n\beta_{0} + \frac{1}{n}\sum_{i=1}^{n}\beta_{1} x_{i} \\ \Leftrightarrow \bar{y} = \beta_{0} + \beta_{1}\bar{x} \\ \Leftrightarrow \beta_{0} = \bar{y} - \beta_{1}\bar{x} \\](https://bellcurve.jp/statistics/wp-body/wp-content/ql-cache/quicklatex.com-ccf1d459ff9d7566fee8562af4d24981_l3.png)
となります。、
から
と
を得ます。
![Rendered by QuickLaTeX.com \displaystyle \sum_{i=1}^{n}x_{i}\sum_{i=1}^{n}y_{i} = \sum_{i=1}^{n}x_{i} \times n\beta_{0} + \sum_{i=1}^{n}x_{i}\sum_{i=1}^{n}\beta_{1} x_{i} \\ \Leftrightarrow \sum_{i=1}^{n}x_{i}\sum_{i=1}^{n}y_{i} = n\beta_{0}\sum_{i=1}^{n}x_{i} + \beta_{1} \left\{\sum_{i=1}^{n}x_{i}\right\}}^2 \dots(1') \\](https://bellcurve.jp/statistics/wp-body/wp-content/ql-cache/quicklatex.com-3f89679eeec8074f2336fdf48ed03ae2_l3.png)
![Rendered by QuickLaTeX.com \displaystyle n\sum_{i=1}^{n}x_{i}y_{i} = n\sum_{i=1}^{n}x_{i}\beta_{0} + n\sum_{i=1}^{n}x_{i}^2\beta_{1} \\ \Leftrightarrow n\sum_{i=1}^{n}x_{i}y_{i} = n\beta_{0}\sum_{i=1}^{n}x_{i} + \beta_{1} n\sum_{i=1}^{n}x_{i}^2 \dots(2') \\](https://bellcurve.jp/statistics/wp-body/wp-content/ql-cache/quicklatex.com-e94f6adb0cc25ca743d3ac7c4f2e832d_l3.png)
(2')-(1')を計算すると、
となります。したがって、と
を求める式は次のようになります。
![Rendered by QuickLaTeX.com \displaystyle \widehat{\beta}_{0}= \overline{y} - \widehat{\beta}_{1} \overline{x}](https://bellcurve.jp/statistics/wp-body/wp-content/ql-cache/quicklatex.com-d9922e6f30c5a21e68d45744cd0d4c37_l3.png)
![Rendered by QuickLaTeX.com \displaystyle \widehat{\beta}_{1}=\frac{\displaystyle \sum_{i=1}^{n} \left(x_{i}-\overline{x} \right)\left(y_{i}-\overline{y} \right)}{\displaystyle \sum_{i=1}^{n} \left(x_{i}-\overline{x} \right)^{2}}](https://bellcurve.jp/statistics/wp-body/wp-content/ql-cache/quicklatex.com-ab736886f2c598f2bb003cc2d34d6eb8_l3.png)
は次のように書くこともできます。
![Rendered by QuickLaTeX.com \displaystyle \widehat{\beta}_{1}=\frac{\displaystyle \sum_{i=1}^{n} \left(x_{i}-\overline{x} \right)\left(y_{i}-\overline{y} \right)}{\displaystyle \sum_{i=1}^{n} \left(x_{i}-\overline{x} \right)^{2}} = \frac{S_{xy}}{S_{x}^2} = \frac{S_{xy}S_{y}}{S_{x}S_{x}S_{y}} = \frac{S_{xy}}{S_{x}S_{y}} \times \frac{S_{y}}{S_{x}} = r_{xy}\frac{S_{y}}{S_{x}}](https://bellcurve.jp/statistics/wp-body/wp-content/ql-cache/quicklatex.com-37699485211937da8ef93f554f3e36ff_l3.png)
ただし、は
と
の共分散を、
は
の分散を、
は
の分散を、
は
と
の相関係数を表します。
■回帰式の特徴
- 推定値
の平均値は、実際の観測値
の平均と等しい
- 回帰直線は
を通る
(1)の両辺をで割ると
![Rendered by QuickLaTeX.com \displaystyle \frac{1}{n} \times \sum_{i=1}^{n}y_{i} = \frac{1}{n} \times n\beta_{0} + \frac{1}{n} \times \sum_{i=1}^{n}\beta_{1} x_{i} \\ \Leftrightarrow \frac{\sum_{i=1}^{n}y_{i}}{n} = \beta_{0} + \beta_{1}\frac{\sum_{i=1}^{n} x_{i}}{n} \\](https://bellcurve.jp/statistics/wp-body/wp-content/ql-cache/quicklatex.com-760f1dc82c2910b97bfbcad10f2b79f2_l3.png)
となり、観測値の平均値(左辺)と推定値
の平均値(右辺)が等しくなることが分かります。
(1)の式と回帰式
を使って
![Rendered by QuickLaTeX.com \displaystyle (y-\bar{y}) = {\beta}_{1}(x-\bar{x})](https://bellcurve.jp/statistics/wp-body/wp-content/ql-cache/quicklatex.com-d14aa6fe2486d4a4766ff4f5a1820fbb_l3.png)
を得ます。この式から、のとき、
となることが分かります。