最小二乗法と、共分散/分散の関係をすっかり忘れていたので、振り返り

最小二乗法とは

回帰式を $\Large{ f(x) }$ 、実測値を $\Large{ y }$ とするとき

$\Large{ \sum \{ y_i - f(x_i) \}^2 }$ 　の残差平方和(誤差)が最小の $f(x)$ を求めること

回帰式と回帰係数

回帰式が $\Large{ y=ax+b }$ の一時式となる場合、 $\Large{ a 、b }$ は次のようになる

$\Large{ a ＝ \frac{ 共分散xy }{ 分散x } ＝ \frac{ \sum (x_i - \overline{x} ) (y_i - \overline{y} ) }{ \sum {(x_i - \overline{x})}^2 } }$

$\Large{ b ＝ \overline{y} - a \overline{x} }$

$\Large{ \sum {(y - ax - b)}^2 }$

$\Large{ = a^2 \sum{x^2} + n {b^2} + \sum {y^2} -2a \sum{xy} -2b \sum{y} +2ab \sum {x} }$

上記を $a 、b$ のそれぞれで偏微分すると以下

$\Large{ 2a \sum{x^2} -2 \sum{xy} +2b \sum {x} = 0 }$

$\Large{ 2nb -2 \sum{y} +2a \sum {x} = 0 }$

上記2式の連立方程式を解くと、先程の共分散、分散、平均による $\Large{ a 、b }$ となります