マルコフ連鎖

モデリング・用語・マルコフ連鎖

ひとことで言うと

次にどの状態に移るかが、現在の状態だけで決まり、過去の経路には依存しない確率過程です。「今」が分かれば「次」の確率分布が決まります。

保険契約の継続・解約状態の推移信用格付けの推移（マルコフ連鎖モデル）天気の推移（晴れ・雨）在庫管理の状態推移ウェブサイトのページ間の遷移

「将来は現在の状態だけで決まり、過去の履歴は関係ない」という単純化が成り立つ場面で使われるモデルです。

状態A・B・C間を一定の確率で行き来する図。次の状態は現在の状態だけで決まり、矢印の確率が推移行列Pの要素になる。

P^{(n)}=P^n

次状態が現在状態のみで決まる確率過程。 $n$ ステップ推移は推移行列のべき。

マルコフ連鎖は、次の状態が現在の状態だけで決まり、それ以前の状態の履歴には依存しないという性質（マルコフ性）をもつ確率過程です。状態iから状態jへの1ステップでの推移確率を $P_{ij}$ とし、これを並べたものが推移行列Pです。

nステップ後の推移確率は、推移行列のn乗 $P^{(n)}=P^n$

マルコフ性

次状態は現在の状態のみで決まる（過去の履歴に依存しない）。

推移行列P

$P_{ij}$ は状態iからjへの1ステップの推移確率。各行の合計は1。

nステップ推移

$P^{(n)}=P^n$

状態Aから1ステップでB,Cに行く確率がそれぞれ0.3,0.2（残り0.5はAに留まる）のとき、2ステップ後のAからの分布はP²の1行目を計算して求める。

マルコフ性が意味することは？

3ステップ後の推移確率を求める式は？

推移行列Pの各行の合計は？