読み込み中…
読み込み中…
モデリング・用語・吸収・ランダムウォーク
マルコフ連鎖で「一度入ったら二度と出られない状態」が吸収状態です。賭けで一文無しになる(破産)、目標額に到達して勝ち抜ける、といった『終わり』に対応します。推移行列を吸収状態を先にまとめて書くと、きれいな標準形になります。
状態 の3状態マルコフ連鎖。状態0と2は自己ループ確率1の吸収状態()、中央の1は遷移状態で確率0.3で0へ、0.3で2へ、0.4で自分に留まる。一度吸収状態に入ると出られない。
一度入ると出られない状態。賭けの破産・勝ち抜けの境界に対応。
吸収状態とは、マルコフ連鎖で「一度入るとそこから出られない状態」、すなわち を満たす状態 のことです。自分自身への遷移確率が1なので、入ったら確率1でずっとそこに留まります。吸収確率では「単純ランダムウォークで2つの吸収壁のどちらに先に到達するか」という具体的な確率計算を扱いましたが、このページではもっと一般に、ランダムウォークに限らないマルコフ連鎖における吸収状態の構造そのものを扱います。賭けの破産(資金0)や勝ち抜け(目標額)、ゲームの終了状態などが吸収状態の典型例です。
吸収状態をもつ連鎖の推移行列は、状態の順番を「吸収状態を先、遷移状態を後」に並べ替えると、見通しのよい標準形に書けます。
定義
を満たす状態。一度入ると確率1でそこに留まり、二度と出られない。
標準形
吸収状態を先に並べると
状態 、0と2が吸収、1が遷移状態で
吸収状態の定義は?
吸収状態を先に並べた推移行列の標準形は?
吸収状態をもつ連鎖の性質として正しいのは?
具体例で標準形を確認します。状態 で、0と2が吸収状態、1だけが遷移状態とし、状態1からは 、、 で動くとします。推移行列は、行0が 、行2が (どちらも の吸収状態)、行1が です。吸収状態を先に並べる標準形では、(遷移状態1から1へ)、(1から吸収0と2へ)という小さなブロックに整理されます。吸収状態の性質として、いったん吸収状態 に入れば任意の先 について が成り立ちます。また有限マルコフ連鎖で、すべての遷移状態からいずれかの吸収状態に到達可能なら、確率1でいつか必ず吸収されます。最後に位置づけとして、吸収状態をもつ連鎖は、定常分布やエルゴード性(マルコフ連鎖クラスターの概念)を論じる既約・再帰的な連鎖とは対照的です。吸収連鎖は一度吸収されると分布が動かなくなるため非エルゴードで、「長時間後に各状態を一定割合で訪れる」という定常分布の議論はそのままでは当てはまりません。
吸収後は不変
吸収状態 に入れば任意の で 。分布はそこで固定される。
いつか必ず吸収
有限連鎖で全遷移状態から吸収へ到達可能なら、確率1で有限時間内に吸収される。
非エルゴード
吸収連鎖は定常分布・エルゴード性をもつ既約連鎖とは対照的。吸収後に分布が動かず非エルゴード。
一般の吸収確率の求め方(基本行列)
吸収状態を先、遷移状態を後に並べる本ページの並べ方だと 、 で、基本行列 を使うと各遷移状態から各吸収状態への吸収確率が一括で求まる。過去問では2020年度が本ページと同じ並べ方(吸収が先)で 相当の式を、2023年度は逆に遷移状態を先にした並べ方で を、それぞれヒントとして与えたうえで出題している。
推移行列は行0、行2()、行1。
標準形では 、 と整理できる。