acpass

バイアス補正

知識マップ

統計・用語

ひとことで言うと

バイアス補正とは、推定量がもつ系統的なズレ（バイアス）を、定数倍などの簡単な操作で取り除くことです。U(0,θ)U(0,\theta) のMLE X(n)X_{(n)} は必ず真値より小さめに出る『下方バイアス』をもちますが、n+1n\tfrac{n+1}{n} 倍すればちょうど不偏になります。しかもこの補正は誤差(MSE)まで小さくする一石二鳥の例です。

U(0,θ)のMLE X_(n)のバイアス補正を表す数直線図。真値θ=1（緑の縦線）に対しE[X_(5)]=5/6≈0.833は左に寄り下方バイアスをもつ。補正係数(n+1)/n=6/5を掛けた補正推定量は期待値がθに一致し不偏になる。MSEも縮小し一石二鳥E[X₍ₙ₎]=nθ/(n+1)は下方バイアス→×(n+1)/nで不偏真値 θ=1E[X₍₅₎]=0.833バイアス −1/6E[(6/5)X₍₅₎]=θ（不偏）θ̂MSE: 1/21≈0.048 → 1/35≈0.029（補正後も縮小）

U(0,θ)U(0,\theta) のMLE X(n)X_{(n)} は E[X(n)]=nn+1θE[X_{(n)}]=\tfrac{n}{n+1}\theta で下方バイアス −θ/(n+1)-\theta/(n+1) をもつ。補正係数 n+1n\tfrac{n+1}{n} を掛けた θ^=n+1nX(n)\hat\theta=\tfrac{n+1}{n}X_{(n)} は不偏になり、MSEも縮む。

数式で表すと

E[X(n)]=nn+1θ ⇒ θ^=n+1nX(n)E[X_{(n)}]=\tfrac{n}{n+1}\theta\ \Rightarrow\ \hat\theta=\tfrac{n+1}{n}X_{(n)}

推定量の系統的な偏り（バイアス）を定数倍などで取り除く操作。U(0,θ)U(0,\theta) のMLE X(n)X_{(n)} は下方バイアスをもち、n+1nX(n)\tfrac{n+1}{n}X_{(n)} とすると不偏になる。

バイアス補正は、推定量 θ^\hat\theta の系統的なずれ Bias(θ^)=E[θ^]−θ\mathrm{Bias}(\hat\theta)=E[\hat\theta]-\theta を、定数倍や定数加算で消す操作です。バイアスが θ\theta に比例する形で出るときは、定数倍するだけで不偏化できます。題材として、非正則モデルの U(0,θ)U(0,\theta) のMLE X(n)X_{(n)} を補正します。 まず X(n)X_{(n)} の期待値を求めます。U(0,θ)U(0,\theta) の最大値統計量は Beta(n,1)\mathrm{Beta}(n,1) をスケールした分布にしたがい、その期待値は E[X(n)]=nn+1 θE[X_{(n)}]=\frac{n}{n+1}\,\theta です。よってバイアスは −θ/(n+1)<0-\theta/(n+1)<0 で、つねに負（下方バイアス）です。これは X(n)≤θX_{(n)}\le\theta が構造的に成り立つことの当然の帰結です。補正は n+1n\tfrac{n+1}{n} を掛けるだけで、 θ^unbiased=n+1n X(n)\hat\theta_{\text{unbiased}}=\frac{n+1}{n}\,X_{(n)} とすると E[θ^unbiased]=θE[\hat\theta_{\text{unbiased}}]=\theta となり、ぴったり不偏になります。 ここで強調したいのは、この補正がバイアスを消すだけでなくMSEまで小さくすることです。n=5n=5、真値 θ=1\theta=1 で比較すると、補正前 MSE=2(n+1)(n+2)=242=121≈0.0476\mathrm{MSE}=\dfrac{2}{(n+1)(n+2)}=\dfrac{2}{42}=\dfrac{1}{21}\approx0.0476。補正後 MSE=1n(n+2)=135≈0.0286\mathrm{MSE}=\dfrac{1}{n(n+2)}=\dfrac{1}{35}\approx0.0286。補正後のほうが MSE が小さく、補正が純粋に推定を改善しています。補正係数 n+1n\tfrac{n+1}{n} は nn が大きいと 11 に近づくので、大標本ではバイアスも相対的に小さくなります。

試験に出る性質

バイアスの定義

Bias(θ^)=E[θ^]−θ\mathrm{Bias}(\hat\theta)=E[\hat\theta]-\theta。θ\theta に比例する形で出るなら定数倍で不偏化できる。

$X_{(n)}$ の期待値

U(0,θ)U(0,\theta) で E[X(n)]=nn+1θE[X_{(n)}]=\frac{n}{n+1}\theta。Beta(n,1)(n,1) をスケールした分布から。

下方バイアス

Bias=−θ/(n+1)<0\mathrm{Bias}=-\theta/(n+1)<0。X(n)≤θX_{(n)}\le\theta が構造的に成り立つため必ず真値より小さめ。

補正で不偏化

θ^unbiased=n+1nX(n)\hat\theta_{\text{unbiased}}=\frac{n+1}{n}X_{(n)} とすると E[θ^]=θE[\hat\theta]=\theta。逆数を掛けるだけ。

MSEも改善（一石二鳥）

この非正則ケースでは補正でMSEも縮む（121→135\frac{1}{21}\to\frac{1}{35}）。不偏化が悪化を伴わない好例。

例で見る

n=5n=5、比較のため真値 θ=1\theta=1 とする。E[X(5)]=56≈0.833E[X_{(5)}]=\frac{5}{6}\approx0.833、バイアス =−16=-\frac{1}{6}。 補正 θ^=65X(5)\hat\theta=\frac{6}{5}X_{(5)} は E[θ^]=θ=1E[\hat\theta]=\theta=1 で不偏。 MSE: MSE(X(5))=121≈0.0476\mathrm{MSE}(X_{(5)})=\frac{1}{21}\approx0.0476、補正後 135≈0.0286\frac{1}{35}\approx0.0286。不偏かつMSEも小さい。

つまずきポイント

  • バイアス補正をすると必ずMSEも下がると一般化する（一般にはバイアスを消すと分散が増えMSEが悪化することもある。U(0,θ)U(0,\theta) は両方改善する特別な例）
  • 補正係数を nn+1\frac{n}{n+1} と逆にする（E[X(n)]=nn+1θE[X_{(n)}]=\frac{n}{n+1}\theta を θ\theta に戻すには逆数 n+1n\frac{n+1}{n} を掛ける）
  • X(n)X_{(n)} を上方バイアスと誤る（最大値だから大きめに思えるが、X(n)≤θX_{(n)}\le\theta なので必ず真値以下＝下方バイアス）

定着クイズ

U(0,θ)U(0,\theta) の X(n)X_{(n)} の期待値は？

X(n)X_{(n)} を不偏にする補正は？

n=5,θ=1n=5,\theta=1 でこの補正がMSEに与える効果は？

関連：#不偏推定量#MLE#順序統計量#平均二乗誤差

この用語を扱う問題（1）

バイアス補正とは｜定義・公式とアクチュアリー試験の関連問題 | acpass