十分統計量

実際に十分統計量を見つける道具がフィッシャー–ネイマンの因数分解定理です。同時密度（尤度）が $f(x;\theta)=g\big(T(x);\theta\big)\cdot h(x)$ と、$\theta$ と $T(x)$ だけに依存する部分 $g$ と、$\theta$ を含まずデータだけに依存する部分 $h(x)$ の積に因数分解できれば、その $T(X)$ は十分統計量です。逆も成り立ちます。ポイントは『$\theta$ が尤度に入ってくる経路が $T(x)$ を通してだけ』という構造で、だから $T$ さえ分かれば $\theta$ の手がかりは尽きるわけです。MLE では『最尤推定量は十分統計量の関数になる』ことに触れましたが、ここではその土台となる因数分解の構造そのものを扱います。

十分統計量がなぜ推定で重要かを示すのがラオ–ブラックウェルの定理です。これは『どんな不偏推定量 $\hat\theta$ をとってきても、それを十分統計量 $T$ で条件付き期待値をとった $\hat\theta^{*}=E[\hat\theta\mid T]$ は、やはり不偏でありながら分散が同じか小さくなる』という定理です。式で書くと $E[\hat\theta^{*}]=\theta$（不偏は保たれる）かつ $V[\hat\theta^{*}]\le V[\hat\theta]$。つまり十分統計量への条件付けは、情報を失わずに推定量を『磨いて』分散を下げる操作になっています。これは『最良の不偏推定量(UMVUE)は十分統計量の関数の中に探せばよい』という指針につながり（有効性）、十分統計量が点推定論の中心にある理由です。具体例として、ポアソン分布で $T=\sum X_i$ が十分統計量であることは、尤度 $L(\lambda;x)=e^{-n\lambda}\lambda^{\sum x_i}/\prod x_i!$ を $g(\sum x_i;\lambda)=e^{-n\lambda}\lambda^{\sum x_i}$ と $h(x)=1/\prod x_i!$ の積に分けられることから分かります——『データを $\sum x_i$ に要約しても $\lambda$ の情報は失われない』のです。

$g(\textstyle\sum x_i;\lambda)=e^{-n\lambda}\lambda^{\sum x_i}$、$h(x)=1/\prod x_i!$ と分けられる。$\theta=\lambda$ は $\sum x_i$ を通してのみ尤度に入る→$\sum X_i$ は十分。