回帰

$y=b_0+b_1x$ を最小二乗で当てはめる。傾きは $S_{xy}/S_{xx}$。

残差平方和を最小化して回帰係数を求める方法。正規方程式の解。

回帰の説明力 $R^2$。単回帰では相関係数の二乗に等しい。

標本の線形関係の強さ $r$。 $[-1,1]$ をとり、$r^2$ が決定係数。

説明変数を2つ以上用いる線形回帰モデル $Y=\beta_0+\beta_1X_1+\cdots+\beta_pX_p+\varepsilon$（$\varepsilon\sim N(0,\sigma^2)$、独立）。単回帰と同様にOLS（最小二乗法）で係数を推定し、均一分散のときガウス・マルコフの定理よりOLS推定量はBLUE（最良線形不偏推定量）となる。説明変数間に完全な多重共線性があると $X^{\top}X$ が正則でなくなりOLS推定量が一意に定まらない点、決定係数 $R^2$ は変数追加で単調増加するため自由度調整済み決定係数（修正$R^2$）で比較する点が頻出。