acpass

周辺分布

知識マップ

確率用語

ひとことで言うと

2つ(以上)の変数の同時分布から、片方の変数だけに注目してその分布を取り出したものが周辺分布です。表なら「行ごと・列ごとの合計」、連続なら「一方の変数で積分」して得ます。注意したいのは逆方向:周辺分布が分かっても、元の同時分布は一意には決まりません。

2行2列の同時分布表。各セルにP(X,Y)の同時確率を書き、行方向に足すとXの周辺分布P(X=1)=0.3/P(X=2)=0.7、列方向に足すとYの周辺分布P(Y=1)=0.4/P(Y=2)=0.6が得られる。周辺化=一方の変数で足し合わせ(連続なら積分)する操作を表す図同時分布を行/列で足す=周辺化。逆向き(周辺→同時)は一意でない0.10.20.30.4Y=1Y=2X=1X=2→ P(X=1)=0.3→ P(X=2)=0.7↓0.4↓0.6P(Y=1)P(Y=2)合計1.0/周辺だけでは元の表は復元できない

2×22\times2 の同時分布表。各セルが同時確率 P(X,Y)P(X,Y)。行方向に足すと XX の周辺分布(P(X=1)=0.3P(X{=}1){=}0.3P(X=2)=0.7P(X{=}2){=}0.7)、列方向に足すと YY の周辺分布(P(Y=1)=0.4P(Y{=}1){=}0.4P(Y=2)=0.6P(Y{=}2){=}0.6)が得られる。逆向き(周辺→同時)は一意でない。

数式で表すと

fX(x)=fX,Y(x,y)dyf_X(x)=\int f_{X,Y}(x,y)\,dy

同時分布を一方の変数で積分(周辺化)して得る各変数単独の分布。

周辺分布とは、複数の変数の同時分布から、一方の変数を「足し合わせて消す」ことで得られる、各変数単独の分布です。連続なら同時密度 fX,Y(x,y)f_{X,Y}(x,y) を相手の変数で積分し fX(x)=fX,Y(x,y)dyf_X(x)=\int f_{X,Y}(x,y)\,dy、離散なら P(X=x)=yP(X=x,Y=y)P(X=x)=\sum_y P(X=x,Y=y) で求めます。この操作を周辺化と呼びます。 具体例:X{1,2}X\in\{1,2\}Y{1,2}Y\in\{1,2\} の同時確率が P(1,1)=0.1,P(1,2)=0.2,P(2,1)=0.3,P(2,2)=0.4P(1,1)=0.1,P(1,2)=0.2,P(2,1)=0.3,P(2,2)=0.4(合計1.0)のとき。XX の周辺は行ごとに足して P(X=1)=0.3, P(X=2)=0.7P(X{=}1)=0.3,\ P(X{=}2)=0.7YY の周辺は列ごとに足して P(Y=1)=0.4, P(Y=2)=0.6P(Y{=}1)=0.4,\ P(Y{=}2)=0.6。 最重要の注意:周辺分布が分かっても同時分布は一意に決まりません。同じ周辺を与える同時分布は無数にあるためです。また、もし X,YX,Y が独立(concept: 独立性)なら同時確率は周辺の積になり P(X=1,Y=1)=0.3×0.4=0.12P(X{=}1,Y{=}1)=0.3\times0.4=0.12 のはずですが、実際の値は 0.10.1 で不一致です。つまりこの X,YX,Y は独立ではありません。独立というのは「同時分布=周辺の積」が成り立つ特別な場合にすぎず、一般には変数同士の依存構造は周辺分布の外にあって同時分布を見ないと分かりません。

試験に出る性質

定義(連続)

fX(x)=fX,Y(x,y)dyf_X(x)=\int f_{X,Y}(x,y)\,dy。相手の変数 YY を積分で消して XX 単独の分布を得る。

定義(離散)

P(X=x)=yP(X=x,Y=y)P(X{=}x)=\sum_y P(X{=}x,Y{=}y)。表なら行(または列)ごとの合計が周辺分布。

周辺は同時から一意に出る

同時分布が与えられれば、足す/積分するだけで周辺分布は機械的に求まる。

逆は一意でない

周辺分布だけからは元の同時分布を復元できない。依存構造(結びつき)は周辺の外にある。

独立は特別な場合

P(X,Y)=P(X)P(Y)P(X,Y)=P(X)P(Y)(同時=周辺の積)が成り立つのが独立(concept: 独立性)。一般には成り立たない。

例で見る

同時確率表 P(1,1)=0.1, P(1,2)=0.2, P(2,1)=0.3, P(2,2)=0.4P(1,1){=}0.1,\ P(1,2){=}0.2,\ P(2,1){=}0.3,\ P(2,2){=}0.4。 周辺:P(X=1)=0.3, P(X=2)=0.7P(X{=}1){=}0.3,\ P(X{=}2){=}0.7P(Y=1)=0.4, P(Y=2)=0.6P(Y{=}1){=}0.4,\ P(Y{=}2){=}0.6。 独立性チェック:0.3×0.4=0.120.10.3\times0.4=0.12\ne0.1 なので独立でない。周辺だけから元の表は復元できない。

つまずきポイント

  • 周辺分布から同時分布を一意に復元できると思い込む(無数の同時分布が同じ周辺を与える。中身=依存構造は復元不能)
  • 周辺化のとき積分/合計する変数を取り違える(fXf_X を出すなら相手の YY で積分する。自分の xx で積分しない)
  • 「周辺分布の積=同時分布」が常に成り立つと誤解する(成り立つのは独立のときだけ。例の表では 0.120.10.12\ne0.1

定着クイズ

連続の場合、XX の周辺分布 fX(x)f_X(x) の求め方は?

同時確率 P(1,1)=0.1,P(1,2)=0.2,P(2,1)=0.3,P(2,2)=0.4P(1,1){=}0.1,P(1,2){=}0.2,P(2,1){=}0.3,P(2,2){=}0.4 のときの P(X=1)P(X{=}1) は?

周辺分布から元の同時分布を一意に復元できるか?

この用語を扱う問題(1