極限分布

$n\to\infty$ での状態分布。非周期・既約なら定常分布に一致。

反例で確かめます。2状態で $P=\begin{pmatrix}0&1\\1&0\end{pmatrix}$、つまり状態0と1を確率1で交互に行き来する連鎖を考えます。定常分布は $\pi P=\pi$ を解くと $\pi=(0.5,0.5)$ で、これはちゃんと存在します（定常分布の解き方そのもの）。ところが $P^n$ を計算すると、$n$ が偶数なら単位行列 $I=\begin{pmatrix}1&0\\0&1\end{pmatrix}$、奇数なら $P$ そのものに戻り、$I$ と $P$ の間を永遠に往復します。したがって $\lim_{n\to\infty}P^n_{00}$ は（偶数では1、奇数では0と振動して）存在しません。定常分布はあるのに極限分布は存在しない、という状況がはっきり起こるのです。原因は、この連鎖が「2歩ごとにしか元の状態に戻れない」周期2をもつことにあります（周期）。

では極限分布が存在するのはどういうときか。比較例として $P=\begin{pmatrix}0.7&0.3\\0.4&0.6\end{pmatrix}$ を見ます。状態0に自己ループ $P_{00}=0.7>0$ があるので周期は1（非周期）です。定常分布は $\pi=(4/7,3/7)\approx(0.5714,0.4286)$。べき乗を追うと $P^2=\begin{pmatrix}0.61&0.39\\0.52&0.48\end{pmatrix}$、$P^4\approx\begin{pmatrix}0.5749&0.4251\\0.5668&0.4332\end{pmatrix}$ と、どの行も $\pi$ へ近づいていきます。出発状態が0でも1でも同じ $\pi$ に収束する、これが極限分布の存在です。一般に、既約（どの状態へも行ける）かつ非周期（周期が1）なら極限分布が存在し、それは定常分布 $\pi$ に一致します。逆に周期があると、上の交互推移のように振動して極限が存在しません。なお、極限分布が存在しなくても「長期の時間平均」は $\pi$ に一致しうる、という別の収束（エルゴード性）があり、そちらと混同しないことが大切です。

$P^2=\begin{pmatrix}0.61&0.39\\0.52&0.48\end{pmatrix}$、$P^4\approx\begin{pmatrix}0.5749&0.4251\\0.5668&0.4332\end{pmatrix}$ と両行が $\pi$ に収束＝極限分布が存在。

対照的に周期例 $P=\begin{pmatrix}0&1\\1&0\end{pmatrix}$ は $\pi=(0.5,0.5)$ をもつのに $P^n$ が $I$↔$P$ を往復し極限分布は存在しない。