非正則モデル

分布のサポート（台）が母数に依存するなどで正則条件が崩れるモデル。$U(0,\theta)$ が典型。MLEは最大値統計量 $X_{(n)}$ となり、フィッシャー情報量に基づく漸近正規性・クラーメル・ラオ下限が成り立たない。

$U(0,\theta)$ の最尤推定量を求めてみます。尤度は各データが台に入る必要があるので $L(\theta)=\prod_{i}\frac{1}{\theta}\,\mathbf 1\{x_i\le\theta\}=\Big(\frac{1}{\theta}\Big)^{n}\ \ (\theta\ge X_{(n)})$ で、$\theta<X_{(n)}$（最大のデータより小さい $\theta$）では、はみ出すデータが台の外になり尤度がゼロになります。$\theta\ge X_{(n)}$ の範囲では $L(\theta)=(1/\theta)^n$ が $\theta$ の単調減少関数です。だから尤度を最大にするには、許される範囲でできるだけ小さい $\theta$ を選びたい——その最小値が『全データを覆える最小の $\theta$』、すなわち最大値統計量 $X_{(n)}$ です。よって $\hat\theta_{\mathrm{MLE}}=X_{(n)}=\max(X_1,\dots,X_n)$。 ここで決定的なのは、最大値は尤度を微分してゼロになる内点ではなく、許容範囲の端にあるという点です。だから『$\partial\ln L/\partial\theta=0$』という正則な手続きは使えません。

正則条件が崩れる帰結は3つあります。第一にフィッシャー情報量に基づく議論が無効になり、クラーメル・ラオ下限が成り立ちません。第二に漸近正規性が崩れます——$X_{(n)}$ は正規分布ではなく、$n(\theta-X_{(n)})$ が指数分布に近づくといった別の極限分布をもちます。第三に収束が速い：$X_{(n)}$ の誤差は $O(1/n)$ のオーダーで真値に近づき、正則な場合の $O(1/\sqrt n)$ より速く収束します。さらに $X_{(n)}$ は構造上つねに真値 $\theta$ 以下なので下方バイアスをもちます（次の バイアス補正 で $\tfrac{n+1}{n}X_{(n)}$ として補正します）。これらはすべて『台が母数に依存する』という1点から派生する、非正則モデルの特徴です。

$L(\theta)=(1/\theta)^5$（$\theta\ge0.9$）、$\theta<0.9$ では $0.9$ が台からはみ出して尤度ゼロ。$(1/\theta)^5$ は減少関数なので最小の $\theta=0.9$ で最大。

よって $\hat\theta_{\mathrm{MLE}}=X_{(5)}=0.9$。真値を $\theta=1$ とすると $E[X_{(5)}]=5\times1/6\approx0.833$ で下方バイアスがある。