重回帰分析による予測モデル
下表に示すような、ひとつの目的変数に対して2つの説明変数がある場合を考える。変数(、、)の値が 組あり、 の 番目の値は、 と表記する。
◎ の 、 に対する重回帰式
(1)
すなわち、を予測する計算式を求めてみよう。(1)式の中の は定数項、は の に対する偏回帰係数、は の に対する偏回帰係数という。この重回帰式(1)に実際のデータ( 組の 、、 )を代入して、最も残差(誤差)が少なくなるような係数 、、 の組み合わせを以下の手順(最小二乗法)で計算することにより、重回帰式(1)を求める。
◎まず、組の中の1番目のの値と予測計算式の値の差を「実測と予測の残差」として
(2)
とおく。同様に第 番目の残差は、
(3)
と書くことができる。このような残差の二乗和
(4)
を最小にする 、、 の組み合わせが最小二乗法で求める解となる。
◎(4)式を 、、 で偏微分してゼロとおく。すなわち、
(5)
を得る。これを整理して書き直すと、
(6)
となる。これは、未知数 、、 についての3元連立一次方程式であり、通常、正規方程式( normal equation )とよばれる。これを解くには、まず(6)式の第1式を で除し、各変数の平均を用いて を表す。
(7)
これを(6)式の第2式・第3式に代入して変形すると、
(8)
を得る。これは、未知数 、 についての2元連立一次方程式であり偏差平方和(変動)と偏差積和(共変動)の公式
(9)
を用いて変形すると、
(10)
と書くことができる。これより、最小二乗法により求められる重回帰式(1)の偏回帰係数は、
(11)
という形で計算することができる。