MLE

統計・用語

ひとことで言うと

観測されたデータが「最も起こりやすかった」と考えられるように、パラメータθを選ぶ方法です。尤度（観測データが起きる確率の大きさ）を最大にするθ̂を求めます。

ポアソン分布のλの推定はX̄指数分布のλの推定は1/X̄二項分布のpの推定は標本比率正規分布のμ,σ²の推定保険の事故発生率や死亡率のパラメータ推定

分布の形（モデル）を仮定したうえでパラメータを決める、実務で最も標準的な推定方法です。多くの分布で直感的な推定量（標本平均など）と一致します。

対数尤度ln L(θ)のグラフ。最大値を取るθの位置が最尤推定量θ̂になる。

$\hat\theta=\arg\max_\theta \sum_i \ln f(x_i;\theta)$

最尤推定量。対数尤度を最大化して求める。ポアソンは $\bar X$ 、指数は $1/\bar X$ 。

尤度関数

L(\theta)=\prod_{i=1}^n f(x_i;\theta)

は「パラメータθのもとで、観測データ

x_1,\dots,x_n

が同時に起きる確率（密度）の大きさ」を表します。最尤推定量は、この尤度を最大にするθを選ぶ方法で

\hat\theta=\arg\max_\theta L(\theta)

と書けます。積よりも対数尤度

\ln L(\theta)=\sum_i \ln f(x_i;\theta)

の方が微分しやすいため、実際は対数尤度を最大化します（対数は単調増加なので最大化する点は変わりません）。最大値を求めるには、対数尤度をθで微分してゼロと置く（尤度方程式）のが基本手順です：

\dfrac{d}{d\theta}\ln L(\theta)=0

。たとえばポアソン分布(λ)ではこれを解くと

\hat\lambda=\bar X

、指数分布では

\hat\lambda=1/\bar X

となり、直感的な推定量と一致します。 MLEは一般に不偏とは限りませんが（concept: 不偏推定量）、標本数が大きくなると真の値に収束する一致性と、漸近的に分散が最小（フィッシャー情報量の逆数に近づく、concept: フィッシャー情報量）という強力な性質をもち、実務で広く使われています。

尤度関数

$L(\theta)=\prod f(x_i;\theta)$ 。観測データが起きる「確率の大きさ」をθの関数として見る。

対数尤度で計算

$\ln L(\theta)$ を微分してゼロと置く（尤度方程式）。

代表例

ポアソンの $\hat\lambda=\bar X$ 、指数分布の $\hat\lambda=1/\bar X$ 、二項の $\hat p=\bar X/n$ 。

一致性

nが大きいと真の値に収束する（不偏性とは別の性質）。

漸近有効性

nが大きいとMLEの分散はフィッシャー情報量の逆数に近づき、最小に近い分散になる。

n=10件のポアソンデータで $\sum X_i=42$ のとき、 $\hat\lambda=\bar X=42/10=4.2$ が最尤推定量。

ポアソン分布(λ)のデータでΣXi=30, n=6のとき、λの最尤推定量は？

最尤法で使う対数尤度の操作は？

指数分布(λ)の最尤推定量は？

この用語を扱う問題（5）