不偏推定量

代表例が不偏分散です。標本平均からの偏差の二乗和を単純に $n$ で割った標本分散 $s^2$ は母分散を少し過小評価してしまいます（標本平均自体がデータから推定された値であるため、自由度が1つ減るのが原因）。これを補正するため、$n-1$ で割った $u^2=\dfrac1{n-1}\sum_{i=1}^n(X_i-\bar X)^2$ が母分散σ²の不偏推定量として使われます。

不偏性は「良い推定量」の必要条件ではありません。実務では、不偏性に加えて分散の小ささ（有効性）や一致性（標本数を増やすと真の値に収束する性質）も合わせて評価します。最尤推定量（MLE）は不偏とは限りませんが、一致性をもち漸近的に効率的という別の強みがあります。

▶ バイアス補正について

バイアス補正は、推定量 $\hat\theta$ の系統的なずれ $\mathrm{Bias}(\hat\theta)=E[\hat\theta]-\theta$（不偏推定量 で定義）を、定数倍や定数加算で消す操作です。バイアスが $\theta$ に比例する形で出るときは、定数倍するだけで不偏化できるのがうれしい点です。題材として、非正則モデルで登場した $U(0,\theta)$ の最尤推定量 $X_{(n)}=\max X_i$ を補正します。

まず $X_{(n)}$ の期待値を求めます。$U(0,\theta)$ の最大値統計量は ベータ分布 $\mathrm{Beta}(n,1)$ をスケールした分布にしたがい、その期待値は $E[X_{(n)}]=\dfrac{n}{n+1}\,\theta$ です。よってバイアスは $\mathrm{Bias}=E[X_{(n)}]-\theta=\dfrac{n}{n+1}\theta-\theta=-\dfrac{\theta}{n+1}<0$ で、つねに負＝下方バイアス（真値より小さめ）です。これは $X_{(n)}\le\theta$ が構造的に成り立つことの当然の帰結です。補正は簡単で、$E[X_{(n)}]=\tfrac{n}{n+1}\theta$ を $\theta$ に戻すために逆数 $\tfrac{n+1}{n}$ を掛ければよく、 $\hat\theta_{\text{unbiased}}=\dfrac{n+1}{n}\,X_{(n)}$ とすると $E[\hat\theta_{\text{unbiased}}]=\tfrac{n+1}{n}\cdot\tfrac{n}{n+1}\theta=\theta$ となり、ぴったり不偏になります。

ここで強調したいのは、この補正がバイアスを消すだけでなくMSE（平均二乗誤差、平均二乗誤差/concepts/%E5%B9%B3%E5%9D%87%E4%BA%8C%E4%B9%97%E8%AA%A4%E5%B7%AE）まで小さくすることです。一般にはバイアスを消すと分散が増えてMSEが悪化することもありますが、この非正則ケースでは『不偏になり、かつMSEも下がる』という一石二鳥が起きます。$n=5$、真値を比較のため $\theta=1$ とすると、補正前 $X_{(5)}$ の $\mathrm{MSE}=\dfrac{2\theta^2}{(n+1)(n+2)}=\dfrac{2}{6\times7}=\dfrac{\theta^2}{21}\approx0.0476$。補正後 $\tfrac{n+1}{n}X_{(5)}$ の $\mathrm{MSE}=\dfrac{\theta^2}{n(n+2)}=\dfrac{1}{5\times7}=\dfrac{\theta^2}{35}\approx0.0286$。補正後のほうが MSE が小さく、補正が純粋に推定を改善しています。なお補正係数 $\tfrac{n+1}{n}$ は $n$ が大きいと $1$ に近づくので、大標本ではバイアスは自然に小さくなり、補正の効果も相対的に小さくなります（バイアスのオーダーは $1/n$）。

$n$ で割った標本分散 $s^2=80/5=16$ は過小評価になる。

▶ バイアス補正：$n=5$、比較のため真値 $\theta=1$ とする。$E[X_{(5)}]=\dfrac{5}{6}\approx0.833$、バイアス $=-\dfrac{1}{6}$。

補正 $\hat\theta=\dfrac{6}{5}X_{(5)}$ は $E[\hat\theta]=\dfrac{6}{5}\cdot\dfrac{5}{6}=1=\theta$ で不偏。

MSE比較: $\mathrm{MSE}(X_{(5)})=\dfrac{2}{6\times7}=\dfrac{1}{21}\approx0.0476$、$\mathrm{MSE}(\hat\theta)=\dfrac{1}{5\times7}=\dfrac{1}{35}\approx0.0286$。補正後は不偏かつMSEも小さい。