バイアス補正

推定量の系統的な偏り（バイアス）を定数倍などで取り除く操作。$U(0,\theta)$ のMLE $X_{(n)}$ は下方バイアスをもち、$\tfrac{n+1}{n}X_{(n)}$ とすると不偏になる。

まず $X_{(n)}$ の期待値を求めます。$U(0,\theta)$ の最大値統計量は ベータ分布 $\mathrm{Beta}(n,1)$ をスケールした分布にしたがい、その期待値は $E[X_{(n)}]=\frac{n}{n+1}\,\theta$ です。よってバイアスは $\mathrm{Bias}=E[X_{(n)}]-\theta=\dfrac{n}{n+1}\theta-\theta=-\dfrac{\theta}{n+1}<0$ で、つねに負＝下方バイアス（真値より小さめ）です。これは $X_{(n)}\le\theta$ が構造的に成り立つことの当然の帰結です。補正は簡単で、$E[X_{(n)}]=\tfrac{n}{n+1}\theta$ を $\theta$ に戻すために逆数 $\tfrac{n+1}{n}$ を掛ければよく、 $\hat\theta_{\text{unbiased}}=\frac{n+1}{n}\,X_{(n)}$ とすると $E[\hat\theta_{\text{unbiased}}]=\tfrac{n+1}{n}\cdot\tfrac{n}{n+1}\theta=\theta$ となり、ぴったり不偏になります。

ここで強調したいのは、この補正がバイアスを消すだけでなくMSE（平均二乗誤差、平均二乗誤差/concepts/%E5%B9%B3%E5%9D%87%E4%BA%8C%E4%B9%97%E8%AA%A4%E5%B7%AE）まで小さくすることです。一般にはバイアスを消すと分散が増えてMSEが悪化することもありますが、この非正則ケースでは『不偏になり、かつMSEも下がる』という一石二鳥が起きます。$n=5$、真値を比較のため $\theta=1$ とすると、補正前 $X_{(5)}$ の $\mathrm{MSE}=\dfrac{2\theta^2}{(n+1)(n+2)}=\dfrac{2}{6\times7}=\dfrac{\theta^2}{21}\approx0.0476$。補正後 $\tfrac{n+1}{n}X_{(5)}$ の $\mathrm{MSE}=\dfrac{\theta^2}{n(n+2)}=\dfrac{1}{5\times7}=\dfrac{\theta^2}{35}\approx0.0286$。補正後のほうが MSE が小さく、補正が純粋に推定を改善しています。なお補正係数 $\tfrac{n+1}{n}$ は $n$ が大きいと $1$ に近づくので、大標本ではバイアスは自然に小さくなり、補正の効果も相対的に小さくなります（バイアスのオーダーは $1/n$）。

補正 $\hat\theta=\frac{6}{5}X_{(5)}$ は $E[\hat\theta]=\frac{6}{5}\cdot\frac{5}{6}=1=\theta$ で不偏。

MSE比較: $\mathrm{MSE}(X_{(5)})=\frac{2}{6\times7}=\frac{1}{21}\approx0.0476$、$\mathrm{MSE}(\hat\theta)=\frac{1}{5\times7}=\frac{1}{35}\approx0.0286$。補正後は不偏かつMSEも小さい。