重回帰

統計・用語・回帰

ひとことで言うと

1つの説明変数だけでは足りないとき、複数の要因を同時に使ってYを予測する回帰モデルです。単回帰の『直線を1本引く』話が、複数の説明変数を持つ空間での『平面（超平面）を当てはめる』話に拡張されます。

保険料を資本金と従業員数で説明する売上を広告費と店舗面積で説明する体重を身長と年齢で説明する保険金請求額を年齢と喫煙有無で説明する

説明変数を2つ以上使い、複数の要因を同時にコントロールしながらYを予測・説明するモデルです。

重回帰モデルのパス図。説明変数X₁, X₂がそれぞれ係数β₁, β₂でYを説明し、残差εが加わる。

\hat{\beta} = (X^{\top}X)^{-1}X^{\top}y

重回帰モデルは、説明変数を2つ以上用いる線形回帰モデルです。 $Y=\beta_0+\beta_1X_1+\cdots+\beta_pX_p+\varepsilon,\quad \varepsilon\sim N(0,\sigma^2)\ (\text{独立})$

モデル式

$Y=\beta_0+\beta_1X_1+\cdots+\beta_pX_p+\varepsilon$

重回帰モデル $Y=\beta_0+\beta_1X_1+\beta_2X_2+\varepsilon$

変数を追加するとR²が下がることもあると誤解する（正しくは単調増加、悪化しない）
多重共線性があっても推定できると思い込む（完全な多重共線性ではOLS推定量が一意に定まらない）
重回帰の係数を単回帰と同じ意味（他の変数を無視した影響）だと誤解する（正しくは他の説明変数を固定した上での限界効果）
説明変数は互いに異なる量である必要はない（ $x,x^2$ のように同じ変数の変換項を複数の説明変数として使う多項式回帰も重回帰の一種、2021年度問題1(10)の $y=\alpha+\beta_1x+\beta_2x^2$

重回帰モデル $Y=\beta_0+\beta_1X_1+\beta_2X_2+\varepsilon$ のOLS推定量の式は？

説明変数を追加すると、決定係数 $R^2$ はどうなるか？

説明変数 $X_1,X_2$ の間に完全な多重共線性（ $X_2=cX_1$ ）があるとき、何が起きるか？