acpass

非正則モデル

知識マップ

統計・用語

ひとことで言うと

非正則モデルとは、分布の『台（値を取りうる範囲）』が母数 θ\theta に依存するなどの理由で、いつもの『対数尤度を微分してゼロ』という解法が使えないモデルです。一様分布 U(0,θ)U(0,\theta) が代表例で、MLEは微分ではなく『データを全部覆う最小の θ\theta』＝最大値 X(n)X_{(n)} になります。

非正則モデルU(0,θ)の尤度関数L(θ)=(1/θ)^5。θ未満X_(n)=0.9ではデータをカバーできず尤度ゼロ、θ以上では1/θの単調減少。よって尤度はθ=X_(5)=0.9で最大となり、MLEは最大値統計量X_(n)になる。微分してゼロの正則な解法は使えず、頂点が台の端0.9にある。L(θ)=(1/θ)⁵（θ≥X₍ₙ₎）。微分=0ではなく端で最大→θ̂=X₍ₙ₎尤度=0θ̂=X₍₅₎=0.9L(θ)θ

非正則モデル U(0,θ)U(0,\theta) の尤度 L(θ)=(1/θ)nL(\theta)=(1/\theta)^n（θ≥X(n)\theta\ge X_{(n)}）。θ<X(n)\theta<X_{(n)} では尤度ゼロ、θ≥X(n)\theta\ge X_{(n)} では単調減少。よって尤度は端 θ=X(n)\theta=X_{(n)} で最大→θ^MLE=X(n)\hat\theta_{\mathrm{MLE}}=X_{(n)}。微分=0は使えない。

数式で表すと

U(0,θ): θ^MLE=X(n)U(0,\theta):\ \hat\theta_{\mathrm{MLE}}=X_{(n)}

分布のサポート（台）が母数に依存するなどで正則条件が崩れるモデル。U(0,θ)U(0,\theta) が典型。MLEは最大値統計量 X(n)X_{(n)} となり、フィッシャー情報量に基づく漸近正規性・クラメール–ラオ下限が成り立たない。

非正則モデルとは、最尤法の正則条件が崩れるモデルの総称です。正則条件の中でも特に重要なのが『分布の台が母数 θ\theta に依存しない』という条件で、これが破れると微分による標準的なMLE解法も、クラメール–ラオ下限も、漸近正規性も成り立たなくなります。典型例が一様分布 U(0,θ)U(0,\theta) で、密度は f(x;θ)=1/θ (0≤x≤θ)f(x;\theta)=1/\theta\ (0\le x\le\theta)、台 [0,θ][0,\theta] の右端が θ\theta そのものに依存しています。 U(0,θ)U(0,\theta) のMLEを求めてみます。尤度は各データが台に入る必要があるので L(θ)=(1θ)n  (θ≥X(n))L(\theta)=\Big(\frac{1}{\theta}\Big)^{n}\ \ (\theta\ge X_{(n)}) で、θ<X(n)\theta<X_{(n)} では最大のデータが台の外になり尤度がゼロになります。θ≥X(n)\theta\ge X_{(n)} の範囲では L(θ)=(1/θ)nL(\theta)=(1/\theta)^n が単調減少関数です。だから尤度を最大にするには、許される範囲でできるだけ小さい θ\theta を選びたい——その最小値が最大値統計量 X(n)X_{(n)} です。よって θ^MLE=X(n)=max⁡(X1,…,Xn)\hat\theta_{\mathrm{MLE}}=X_{(n)}=\max(X_1,\dots,X_n)。 ここで決定的なのは、最大値は尤度の内点（微分ゼロ点）でなく許容範囲の端にあるという点です。だから ∂ln⁡L/∂θ=0\partial\ln L/\partial\theta=0 という正則な手続きは使えません。 正則条件が崩れる帰結は3つあります。第一にフィッシャー情報量に基づく議論が無効になり、クラメール–ラオ下限が成り立ちません。第二に漸近正規性が崩れます——X(n)X_{(n)} は正規分布ではなく、n(θ−X(n))n(\theta-X_{(n)}) が指数分布に近づくといった別の極限分布をもちます。第三に収束が速い：X(n)X_{(n)} の誤差は O(1/n)O(1/n) で正則な場合の O(1/n)O(1/\sqrt n) より速く収束します。さらに X(n)≤θX_{(n)}\le\theta なので下方バイアスをもちます（次の概念: バイアス補正 で補正します）。

試験に出る性質

非正則の原因

分布の台が母数に依存する等で正則条件が崩れる。U(0,θ)U(0,\theta) は台 [0,θ][0,\theta] の右端が θ\theta に依存する典型例。

MLEは最大値統計量

U(0,θ)U(0,\theta) では L(θ)=(1/θ)nL(\theta)=(1/\theta)^n（θ≥X(n)\theta\ge X_{(n)}）が単調減少。尤度は端で最大→θ^MLE=X(n)\hat\theta_{\mathrm{MLE}}=X_{(n)}。

微分=0が使えない

最大値は尤度の内点でなく許容範囲の端。標準的な ∂ln⁡L/∂θ=0\partial\ln L/\partial\theta=0 の解法は適用不能。

CR下限・漸近正規が崩れる

フィッシャー情報量に基づくCR下限も漸近正規性も成り立たない。極限分布は正規でなく指数型。

収束が速い・下方バイアス

誤差は O(1/n)O(1/n) で正則な O(1/n)O(1/\sqrt n) より速い。X(n)≤θX_{(n)}\le\theta なので下方バイアスをもつ。

例で見る

x=(0.3,0.7,0.4,0.9,0.6)x=(0.3,0.7,0.4,0.9,0.6)、n=5n=5 の U(0,θ)U(0,\theta) 標本。最大値 X(5)=0.9X_{(5)}=0.9。 L(θ)=(1/θ)5L(\theta)=(1/\theta)^5（θ≥0.9\theta\ge0.9）、θ<0.9\theta<0.9 では尤度ゼロ。(1/θ)5(1/\theta)^5 は減少関数なので最小の θ=0.9\theta=0.9 で最大。 よって θ^MLE=0.9\hat\theta_{\mathrm{MLE}}=0.9。真値を θ=1\theta=1 とすると E[X(5)]=5/6≈0.833E[X_{(5)}]=5/6\approx0.833 で下方バイアスがある。

つまずきポイント

  • 対数尤度を微分してゼロでMLEを求めようとする（U(0,θ)U(0,\theta) では尤度が単調で内部に極値がない。MLEは端 X(n)X_{(n)} で、微分法は使えない）
  • クラメール–ラオ下限や漸近正規性を当てはめる（正則条件が崩れているので無効。X(n)X_{(n)} の極限分布は正規でなく指数型）
  • X(n)X_{(n)} をそのまま不偏と思う（X(n)≤θX_{(n)}\le\theta で必ず下方にずれる。E[X(n)]=nθ/(n+1)<θE[X_{(n)}]=n\theta/(n+1)<\theta の下方バイアスがある）

定着クイズ

非正則モデルの典型 U(0,θ)U(0,\theta) のMLEは？

U(0,θ)U(0,\theta) でMLEを微分=0で求められない理由は？

非正則モデルで成り立たなくなるのは？

関連：#MLE#順序統計量#一様分布#有効性

この用語を扱う問題（1）

非正則モデルとは｜定義・公式とアクチュアリー試験の関連問題 | acpass