平均二乗誤差

推定量の総合的な誤差。分散とバイアスの二乗の和に分解できる（バイアス–分散分解）。推定量の優劣比較の基準。

この分解が効くのは偏りのある推定量と不偏推定量を同じ土俵で比べられるからです。有効性 では不偏推定量どうしを分散（このとき $\mathrm{Bias}=0$ なので $\mathrm{MSE}=V$）で比較しました。しかし片方が偏っていると分散だけでは公平に比べられません。そこでMSEを使うと、バイアスと分散を合算した総合誤差で順位がつけられます。とくに重要なのがバイアス–分散トレードオフで、『バイアスを少し受け入れるかわりに分散を大幅に下げると、MSEがむしろ小さくなる』ことがあります——多少ずれても安定している推定量のほうが、当たりはするが暴れる推定量より総合では勝つ、という状況です。

数値例で確かめます。真値を $\theta=3$ とします。推定量Aは少し偏っていて $E[\hat\theta_A]=3.2$、$V[\hat\theta_A]=0.5$。バイアス $=3.2-3=0.2$ なので $\mathrm{MSE}(A)=V+\mathrm{Bias}^2=0.5+0.2^2=0.5+0.04=0.54$。一方推定量Bは不偏で $E[\hat\theta_B]=3$、$V[\hat\theta_B]=0.6$。バイアス $0$ なので $\mathrm{MSE}(B)=0.6+0=0.60$。比べると $\mathrm{MSE}(A)=0.54<\mathrm{MSE}(B)=0.60$ で、偏っているAのほうが総合誤差は小さいのです。これは『より精度の高い（MSEの小さい）推定量が、必ずしも不偏とは限らない』という点推定の本質を示す典型例で、不偏性だけを金科玉条にしてはいけない理由になっています（不偏推定量 でも『不偏性は唯一の基準ではない』と述べた通り）。なお $\hat\theta$ が不偏 $\mathrm{Bias}=0$ なら $\mathrm{MSE}=V$ となり、有効性の分散比較と完全に一致します。

推定量B（不偏）: $E[\hat\theta_B]=3,\ V=0.6$。$\mathrm{Bias}=0$ なので $\mathrm{MSE}(B)=0.6$。

$\mathrm{MSE}(A)=0.54<\mathrm{MSE}(B)=0.60$。偏っているAのほうが総合誤差は小さい＝精度の高い推定量が不偏とは限らない。