極限分布

モデリング・用語

ひとことで言うと

マルコフ連鎖を長い時間動かしたとき、「いまどの状態にいるか」の分布が一定の形に落ち着くなら、その落ち着き先が極限分布です。ただし、定常分布が存在しても極限分布は存在するとは限りません。状態が規則正しく行き来する（周期がある）と、いつまでも収束せず振動し続けることがあるからです。

周期的な反例 $P=\begin{psmallmatrix}0&1\\1&0\end{psmallmatrix}$ 。状態0と1を確率1で交互に推移するため、 $P^n$ は $n$ が偶数で $I$ 、奇数で $P$ に戻り収束しない。定常分布 $\pi=(0.5,0.5)$ は存在するのに、極限分布 $\lim P^n_{ij}$ は存在しない。

数式で表すと

$\lim_{n\to\infty}P^n_{ij}=\pi_j$

$n\to\infty$ での状態分布。非周期・既約なら定常分布に一致。

極限分布とは、マルコフ連鎖のステップ数

n

を無限に大きくしたときの推移確率の極限

\lim_{n\to\infty}P^n_{ij}=\pi_j

が、出発状態

i

によらず存在する場合の、その極限の分布

\pi

のことです。concept: 定常分布では「

\pi P=\pi

を満たす分布」を求めましたが、ここで主軸に置くのは「その

\pi

へ実際に収束するか（極限が存在するか）」という別の問いです。定常分布の存在は極限分布の存在を保証しません。反例で確かめます。2状態で

P=\begin{pmatrix}0&1\\1&0\end{pmatrix}

、つまり状態0と1を確率1で交互に行き来する連鎖を考えます。定常分布は

\pi P=\pi

を解くと

\pi=(0.5,0.5)

で、ちゃんと存在します。ところが

P^n

を計算すると、

n

が偶数なら単位行列

I

、奇数なら

P

そのものに戻り、

I

と

P

の間を永遠に往復します。したがって

\lim_{n\to\infty}P^n_{00}

は存在しません。定常分布はあるのに極限分布は存在しない、という状況がはっきり起こるのです。原因は、この連鎖が周期2をもつことにあります（concept: 周期）。では極限分布が存在するのはどういうときか。比較例として

P=\begin{pmatrix}0.7&0.3\\0.4&0.6\end{pmatrix}

を見ます。状態0に自己ループ

P_{00}=0.7>0

があるので周期は1（非周期）です。定常分布は

\pi=(4/7,3/7)\approx(0.5714,0.4286)

。べき乗を追うと

P^2=\begin{pmatrix}0.61&0.39\\0.52&0.48\end{pmatrix}

、

P^4\approx\begin{pmatrix}0.5749&0.4251\\0.5668&0.4332\end{pmatrix}

と、どの行も

\pi

へ近づきます。一般に、既約かつ非周期（concept: 周期が1）なら極限分布が存在し、それは定常分布

\pi

に一致します。逆に周期があると、上の交互推移のように振動して極限が存在しません。なお、極限分布が存在しなくても「長期の時間平均」は

\pi

に一致しうる、という別の収束（concept: エルゴード性）があり、そちらと混同しないことが大切です。

試験に出る性質

定義

$\lim_{n\to\infty}P^n_{ij}=\pi_j$ が出発状態 $i$ によらず存在するときの極限分布 $\pi$ 。初期状態を忘れる。

存在条件

既約かつ非周期（concept: 周期が1）なら極限分布が存在し、定常分布 $\pi$ に一致する。

定常分布があっても不在のことがある

$\pi P=\pi$ を満たす $\pi$ が存在しても、周期があると $P^n$ が収束せず極限分布は存在しない。

周期2の反例

$P=\begin{psmallmatrix}0&1\\1&0\end{psmallmatrix}$ は $\pi=(0.5,0.5)$ をもつが $P^n$ は $I$ ↔ $P$ を往復し極限なし。

エルゴード性との区別

極限分布が無くても時間平均が $\pi$ に一致しうる（concept: エルゴード性）。直接の極限と時間平均は別の収束。

例で見る

非周期な例 $P=\begin{pmatrix}0.7&0.3\\0.4&0.6\end{pmatrix}$ （ $P_{00}=0.7>0$ で非周期）。定常分布は $\pi=(4/7,3/7)\approx(0.5714,0.4286)$ 。 $P^2=\begin{pmatrix}0.61&0.39\\0.52&0.48\end{pmatrix}$ 、 $P^4\approx\begin{pmatrix}0.5749&0.4251\\0.5668&0.4332\end{pmatrix}$ と両行が $\pi$ に収束＝極限分布が存在。対照的に周期例 $P=\begin{pmatrix}0&1\\1&0\end{pmatrix}$ は $\pi=(0.5,0.5)$ をもつのに $P^n$ が $I$ ↔ $P$ を往復し極限分布は存在しない。

つまずきポイント

定常分布があれば必ず極限分布も存在すると思う（周期があると $P^n$ が振動して極限が存在しない）
極限分布の不在とエルゴード性の不成立を同一視する（周期例でも時間平均は $\pi$ に一致しうる。concept: エルゴード性）
非周期性の確認を怠る（既約だけでは不十分。周期1（非周期）も極限分布の存在に必要）

定着クイズ

極限分布の定義 $\lim_{n\to\infty}P^n_{ij}=\pi_j$ が要求するのは？

定常分布が存在しても極限分布が存在しないのはどんなとき？

極限分布が存在する十分条件は？

関連：#定常分布 #エルゴード性 #周期

この用語を扱う問題（1）

極限分布モデリング・★★