漸近正規性

統計・定理

ひとことで言うと

漸近正規性とは、標本数 $n$ が大きくなると最尤推定量(MLE)の分布が正規分布に近づき、その分散がフィッシャー情報量の逆数になる、という極限定理です。これは強力で、真の分布の形が複雑でも、大標本では『MLEはほぼ正規』と分かるので、そこから信頼区間や検定が機械的に作れます。

MLEの漸近正規分布。ポアソン $n=100$ 、 $\bar X=2.5$ で $\hat\lambda=2.5$ 、 $\mathrm{SE}=\sqrt{2.5/100}=0.1581$ 。漸近正規性から95%信頼区間 $2.5\pm1.96\times0.1581=(2.19,2.81)$ が直接導かれる（塗り部分）。

数式で表すと

$\hat\theta\approx N\!\big(\theta,\,1/I(\theta)\big)$

MLEは大標本で正規分布に近づき、分散はフィッシャー情報量の逆数。

漸近正規性は、最尤推定量

\hat\theta_{\mathrm{MLE}}

が大標本でしたがう分布を述べた極限定理です。正則条件のもとで、標本サイズ

n

が大きくなると

\hat\theta_{\mathrm{MLE}}\ \xrightarrow{\ d\ }\ N\!\Big(\theta,\ \dfrac{1}{nI(\theta)}\Big)

が成り立ちます。ここで

I(\theta)

は1標本あたりのフィッシャー情報量で、

n

標本では情報量が

nI(\theta)

と足し上がるため、分散はその逆数

1/(nI(\theta))

になります。MLE自体は一致性をもつので中心は真値

\theta

に集まり、そのまわりのばらつきが正規分布の形に整う——これが『漸近正規』の意味です。この結果がなぜ実務で決定的かというと、信頼区間がそのまま作れるからです。

\mathrm{SE}=1/\sqrt{nI(\theta)}

で、真の

I(\theta)

は未知なので推定値

\hat\theta

を代入した

\hat I(\hat\theta)

を使い、

100(1-\alpha)\%

信頼区間は

\hat\theta\ \pm\ z_{\alpha/2}\,\dfrac{1}{\sqrt{n\,\hat I(\hat\theta)}}

で与えられます。正規分布の上側

\alpha/2

点

z_{\alpha/2}

（95%なら

1.96

）を使うだけで区間が出るのは、まさにMLEが漸近的に正規だからです。同じ近似からWald検定統計量も導かれます。帰無仮説

H_0:\theta=\theta_0

を検定したいとき、

\hat\theta

が漸近的に

N(\theta_0,1/(nI(\theta_0)))

にしたがうことを使い、標準化した

Z=(\hat\theta-\theta_0)\sqrt{n\hat I(\hat\theta)}

を検定統計量とします。

H_0

のもとで

Z

は近似的に標準正規

N(0,1)

にしたがうので、

|Z|>z_{\alpha/2}

なら棄却します。信頼区間とWald検定は表裏一体で、どちらも『MLEは大標本で正規・分散は情報量の逆数』という1つの定理から出てきます。注意点として、これは漸近的（大標本）の話であり、

n

が小さいときや正則条件が崩れるとき（概念: 非正則モデル）には成り立ちません。

試験に出る性質

極限定理の形

正則条件下で $\hat\theta_{\mathrm{MLE}}\xrightarrow{d}N(\theta,1/(nI(\theta)))$ 。中心は真値 $\theta$ 、分散はフィッシャー情報量の逆数。

標準誤差

$\mathrm{SE}=1/\sqrt{nI(\theta)}$ 。未知の $I(\theta)$ は推定値 $\hat I(\hat\theta)$ を代入して使う。

信頼区間が直接出る

$\hat\theta\pm z_{\alpha/2}/\sqrt{n\hat I(\hat\theta)}$ 。95%なら $z=1.96$ 。正規近似なので $z$ 点で区間が作れる。

Wald検定

$Z=(\hat\theta-\theta_0)\sqrt{n\hat I(\hat\theta)}$ が $H_0$ で近似的に $N(0,1)$ 。 $|Z|>z_{\alpha/2}$ で棄却。

大標本でのみ有効

漸近的な結果。 $n$ が小さい・正則条件が崩れる非正則モデルでは成り立たない。近似の質は $n$ に依存。

例で見る

$X\sim\mathrm{Poisson}(\lambda)$ から $n=100$ の標本で $\bar X=2.5$ 。MLEは $\hat\lambda=\bar X=2.5$ 。ポアソンの情報量は $I(\lambda)=1/\lambda$ 。 $\mathrm{SE}=\sqrt{\hat\lambda/n}=\sqrt{2.5/100}=0.1581$ 。95%CI $=2.5\pm1.96\times0.1581=(2.19,2.81)$ 。

つまずきポイント

小標本でも漸近正規が成り立つと思い込む（あくまで $n\to\infty$ の近似。 $n$ が小さいと信頼区間の被覆確率がずれる）
分散を $1/I(\theta)$ と書いて $n$ を落とす（ $n$ 標本では情報量が $nI(\theta)$ と足し上がる。分散は $1/(nI(\theta))$ 、SEは $1/\sqrt{nI(\theta)}$ ）
非正則モデルにも適用してしまう（台が母数に依存する $U(0,\theta)$ などでは漸近正規性もCR下限も成り立たない）

定着クイズ

MLEの漸近正規性の極限分布として正しいのは？

ポアソン $n=100,\bar X=2.5$ （ $I(\lambda)=1/\lambda$ ）のときMLEの標準誤差SEは？

漸近正規性から作る95%信頼区間の形は？

関連：#MLE #フィッシャー情報量 #CLT

この用語を扱う問題（1）

漸近分散統計・★★