フィッシャー情報行列

損保数理・公式・統計的推測

ひとことで言うと

対数尤度がパラメータの変化にどれだけ敏感か（尖っているか）を表す量。情報量が大きいほど推定量の分散は小さくなり、パラメータをより正確に推定できていることを意味する。

対数尤度が尖っているほどフィッシャー情報量が大きく、推定量の分散は小さくなる。

I(\theta)=-E\!\left[\dfrac{\partial^2 \log L}{\partial\theta\,\partial\theta^{\top}}\right],\qquad V[\hat\theta]\approx I(\theta)^{-1}

対数尤度の2階微分の期待値に符号を反転させて定義される情報量。最尤推定量の漸近共分散行列はフィッシャー情報行列の逆行列で近似され、これを用いてパラメータの信頼区間を構成する。互いに独立なパラメータでは行列が対角となる。

フィッシャー情報行列は、対数尤度の2階微分の期待値に符号を反転させて

$I(\theta)=-E\!\left[\dfrac{\partial^2 \log L}{\partial\theta\,\partial\theta^{\top}}\right]$

最尤推定量の漸近分散はフィッシャー情報行列の逆行列で近似される

最尤推定量の漸近共分散行列は、フィッシャー情報行列の逆行列 $I(\theta)^{-1}$ で近似できる（2020年度問題4）。

情報行列が対角なら各パラメータを独立に扱える

パラメータ間で情報行列が対角行列になる場合、各パラメータの推定量は漸近的に独立に扱うことができる（2020年度問題4）。

正規分布の $(\mu,\sigma)$ について、標本サイズ $n=50$ 、 $\sigma=2$ のとき情報行列は

$I=\mathrm{diag}(n/\sigma^2,\,2n/\sigma^2)=\mathrm{diag}(50/4,\,100/4)=\mathrm{diag}(12.5,\,25)$

情報量I(θ)=20のとき、最尤推定量の漸近分散の近似値として正しいものはどれか。

情報行列が対角行列であることが意味することとして正しいものはどれか。

フィッシャー情報量に関する記述として正しいものはどれか。