ベイズ

確率・定理

ひとことで言うと

結果（データD）が観測された後で、その原因（仮説H）の確率を、検査前の予想（事前確率）から検査後の確率（事後確率）へ更新する手続きです。

こんなデータが従う

検査結果が陽性のときに実際に病気である確率迷惑メール判定でその単語を含むときに迷惑メールである確率契約者が事故を起こしたときにハイリスク層である確率品質検査で不良が出たときにどの工程が原因かの推定スパムフィルタや診断システムの判定確率の更新

「結果は観測できるが原因は直接観測できない」状況全般で使われます。事前確率（base rate）を無視すると、検査が高精度に見えても実際の事後確率は大きく異なることがあります（検査のパラドックス）。

事前確率P(H)から出発し、尤度P(D|H)を経て観測データDに到達する木構造。ベイズの定理は、この木をDから逆算してP(H|D)を求める操作。

数式で表すと

$P(H\mid D)=\dfrac{P(D\mid H)P(H)}{\sum_i P(D\mid H_i)P(H_i)}$

定義は

P(H\mid D)=\dfrac{P(D\mid H)P(H)}{P(D)}

ここで分母

P(D)=\sum_i P(D\mid H_i)P(H_i)

は全確率の公式（concept: 条件付き確率）そのもので、「Dが起きるすべての経路を足し合わせたもの」、つまり事後確率の合計を1にするための正規化定数です。流れは「事前確率 P(H) → 尤度 P(D|H) を掛ける → 全確率で割って正規化 → 事後確率 P(H|D)」の4段階。事前確率は検査前に持っていた予想、尤度は「もしHが正しいならDが起きる確率」、事後確率はDを見た後の更新された予想です。検査のパラドックスはこの典型例：病気がまれ（事前確率が低い）だと、検査の精度が高くても、陽性者の中で実際に病気である人の割合（事後確率）は意外と低くなります。事前確率（base rate）の影響を無視しがちなのが代表的な誤りです。

試験に出る性質

事後 ∝ 事前×尤度

$P(H\mid D)\propto P(D\mid H)P(H)$ 。分母（全確率）は正規化定数で、比だけ見ればこの関係で十分なことが多い。

分母は全確率

$P(D)=\sum_i P(D\mid H_i)P(H_i)$ 。すべての仮説からDが起きる確率の合計。

逐次更新

事後確率を次の事前確率として、新しいデータが来るたびに繰り返し更新できる。

base rate fallacy

事前確率（基礎率）が低いと、検査が高精度でも事後確率は大きく下がる。事前確率を無視するのが典型的な誤り。

2仮説の比の形

$\dfrac{P(H_1\mid D)}{P(H_2\mid D)}=\dfrac{P(D\mid H_1)}{P(D\mid H_2)}\times\dfrac{P(H_1)}{P(H_2)}$ （オッズの更新として書ける）。

例で見る

ある病気の罹患率は事前確率 $P(H)=0.01$ 。検査の感度は $P(D\mid H)=0.95$ 、偽陽性率は $P(D\mid H^c)=0.05$ とする。陽性と分かったときに実際に病気である確率は $P(H\mid D)=\dfrac{0.95\times0.01}{0.95\times0.01+0.05\times0.99}\approx 0.161$ 検査が95%の精度でも、事前確率が低いため事後確率は約16%にとどまる。

つまずきポイント

事前確率（base rate）を無視して、尤度だけで判断してしまう
$P(D\mid H)$ （尤度）と $P(H\mid D)$ （事後確率）を取り違える
分母の全確率 $P(D)$ の計算で、想定する仮説 $H_i$ を網羅し忘れる

定着クイズ

ベイズの定理の分母 $P(D)$ が表すものは？

ある病気の事前確率（罹患率）が非常に低いとき、検査が高精度でも陽性者の中で実際に病気である割合（事後確率）はどうなりやすい？

$P(D\mid H)$ と $P(H\mid D)$ の関係について正しいのは？

関連：#条件付き確率 #全確率 #ベータ分布

この用語を扱う問題（4）