最尤推定法（MLE）

最尤推定量。対数尤度を最大化して求める。ポアソンは $\bar X$、指数は $1/\bar X$。

最大値を求めるには、対数尤度をθで微分してゼロと置く（尤度方程式）のが基本手順です：$\dfrac{d}{d\theta}\ln L(\theta)=0$。たとえばポアソン分布(λ)ではこれを解くと $\hat\lambda=\bar X$、指数分布では $\hat\lambda=1/\bar X$ となり、直感的な推定量と一致します。

最尤推定量は一般に不偏とは限りませんが（不偏推定量）、標本数が大きくなると真の値に収束する一致性と、漸近的に分散が最小（フィッシャー情報量の逆数に近づく、フィッシャー情報量）という強力な性質をもち、実務で広く使われています。

▶ 非正則モデルについて

非正則モデルとは、最尤法の『正則条件』が崩れるモデルの総称です。正則条件の中でも特に重要なのが『分布の台（サポート、密度が正になる範囲）が母数 $\theta$ に依存しない』という条件で、これが破れると微分による標準的な最尤推定量の解法も、クラーメル・ラオ下限も、漸近正規性も成り立たなくなります。典型例が一様分布 $U(0,\theta)$ で、密度は $f(x;\theta)=1/\theta\ (0\le x\le\theta)$、台 $[0,\theta]$ の右端が $\theta$ そのものに依存しています。MLE は対数尤度を微分してゼロとおく正則な場合を、フィッシャー情報量 はクラーメル・ラオ下限が『正則条件下での』下限であることを扱いましたが、ここはその前提が崩れる世界です。

$U(0,\theta)$ の最尤推定量を求めてみます。尤度は各データが台に入る必要があるので $L(\theta)=\prod_{i}\dfrac{1}{\theta}\,\mathbf 1\{x_i\le\theta\}=\Big(\dfrac{1}{\theta}\Big)^{n}\ \ (\theta\ge X_{(n)})$ で、$\theta<X_{(n)}$（最大のデータより小さい $\theta$）では、はみ出すデータが台の外になり尤度がゼロになります。$\theta\ge X_{(n)}$ の範囲では $L(\theta)=(1/\theta)^n$ が $\theta$ の単調減少関数です。だから尤度を最大にするには、許される範囲でできるだけ小さい $\theta$ を選びたい——その最小値が『全データを覆える最小の $\theta$』、すなわち最大値統計量 $X_{(n)}$ です。よって $\hat\theta_{\mathrm{MLE}}=X_{(n)}=\max(X_1,\dots,X_n)$ ここで決定的なのは、最大値は尤度を微分してゼロになる内点ではなく、許容範囲の端にあるという点です。だから『$\partial\ln L/\partial\theta=0$』という正則な手続きは使えません。

正則条件が崩れる帰結は3つあります。第一にフィッシャー情報量に基づく議論が無効になり、クラーメル・ラオ下限が成り立ちません。第二に漸近正規性が崩れます——$X_{(n)}$ は正規分布ではなく、$n(\theta-X_{(n)})$ が指数分布に近づくといった別の極限分布をもちます。第三に収束が速い：$X_{(n)}$ の誤差は $O(1/n)$ のオーダーで真値に近づき、正則な場合の $O(1/\sqrt n)$ より速く収束します。さらに $X_{(n)}$ は構造上つねに真値 $\theta$ 以下なので下方バイアスをもちます（次の バイアス補正 で $\tfrac{n+1}{n}X_{(n)}$ として補正します）。これらはすべて『台が母数に依存する』という1点から派生する、非正則モデルの特徴です。

▶ 非正則モデル：$x=(0.3,0.7,0.4,0.9,0.6)$、$n=5$ の $U(0,\theta)$ 標本。最大値 $X_{(5)}=0.9$。

$L(\theta)=(1/\theta)^5$（$\theta\ge0.9$）、$\theta<0.9$ では $0.9$ が台からはみ出して尤度ゼロ。$(1/\theta)^5$ は減少関数なので最小の $\theta=0.9$ で最大。

よって $\hat\theta_{\mathrm{MLE}}=X_{(5)}=0.9$。真値を $\theta=1$ とすると $E[X_{(5)}]=5\times1/6\approx0.833$ で下方バイアスがある。