acpass

共分散

知識マップ

確率・用語

ひとことで言うと

共分散 Cov(X,Y)=E[XY]−E[X]E[Y]\mathrm{Cov}(X,Y)=E[XY]-E[X]E[Y] は2変数が同じ方向に動くかを測る量ですが、その真価は『双線形性』にあります。各引数について線形なので、どんな複雑な線形結合の分散でも、共分散を分配していけば機械的に計算できます。自分自身との共分散は分散そのものです。

共分散の双線形性を示す図。Cov(aX+bY, Z)が a·Cov(X,Z)+b·Cov(Y,Z) に分配される様子を矢印で表す。各引数について線形なため、一般の線形結合の分散はVar(Σai Xi)=ΣΣ ai aj Cov(Xi,Xj)と二重和で書ける。さらに自己共分散Cov(X,X)=E[X²]-(E[X])²=Var(X)が成り立ち、共分散は分散の自然な2変数への拡張になっている共分散は各引数について線形（双線形性）Cov(aX+bY, Z)a·Cov(X,Z)+b·Cov(Y,Z)一般化：Var(Σ aᵢXᵢ)=ΣᵢΣⱼ aᵢaⱼ Cov(Xᵢ,Xⱼ)自己共分散 Cov(X,X)=Var(X)例: X,Y∈{0,1} で Cov(X,Y)=0.5−0.6·0.6=0.14（正＝同方向）

共分散の双線形性：Cov(aX+bY,Z)=a Cov(X,Z)+b Cov(Y,Z)\mathrm{Cov}(aX+bY,Z)=a\,\mathrm{Cov}(X,Z)+b\,\mathrm{Cov}(Y,Z)。各引数について線形なので分配できる。自己共分散 Cov(X,X)=Var(X)\mathrm{Cov}(X,X)=\mathrm{Var}(X)。例の 2×22\times2 分布では Cov(X,Y)=0.5−0.6⋅0.6=0.14\mathrm{Cov}(X,Y)=0.5-0.6\cdot0.6=0.14（正＝同方向）。

数式で表すと

Cov(X,Y)=E[XY]−E[X]E[Y]\mathrm{Cov}(X,Y)=E[XY]-E[X]E[Y]

2変数の同時のばらつき Cov(X,Y)=E[XY]−E[X]E[Y]\mathrm{Cov}(X,Y)=E[XY]-E[X]E[Y]。和の分散に 2Cov2\mathrm{Cov} が現れる。

共分散は Cov(X,Y)=E[(X−E[X])(Y−E[Y])]=E[XY]−E[X]E[Y]\mathrm{Cov}(X,Y)=E[(X-E[X])(Y-E[Y])]=E[XY]-E[X]E[Y] で定義され、2つの変数が平均からどれだけ連動してずれるかを測ります（正なら同方向、負なら逆方向）。ここでは定義そのものよりも、共分散が計算道具として強力である理由——双線形性——を主軸に据えます。共分散は2つの引数のそれぞれについて線形です。すなわち、定数 a,ba,b と確率変数 X,Y,ZX,Y,Z に対して Cov(aX+bY, Z)=a Cov(X,Z)+b Cov(Y,Z)\mathrm{Cov}(aX+bY,\,Z)=a\,\mathrm{Cov}(X,Z)+b\,\mathrm{Cov}(Y,Z) が成り立ち、第2引数についても同様に展開できます（さらに Cov(X,c)=0\mathrm{Cov}(X,c)=0、定数は共分散に効かない）。この『各引数について線形＝双線形』という性質のおかげで、共分散は和や定数倍をまたいで自由に分配・展開できます。 双線形性を繰り返し使うと、一般の線形結合の分散公式が導けます。分散は自己共分散だという事実 Var(W)=Cov(W,W)\mathrm{Var}(W)=\mathrm{Cov}(W,W) から出発し、W=∑iaiXiW=\sum_i a_i X_i とおいて双線形性で両側を展開すると Var ⁣(∑iaiXi)=∑i∑jaiaj Cov(Xi,Xj)\mathrm{Var}\!\Big(\sum_i a_i X_i\Big)=\sum_i\sum_j a_i a_j\,\mathrm{Cov}(X_i,X_j) という二重和の汎用公式になります。対角項（i=ji=j）は ai2 Var(Xi)a_i^2\,\mathrm{Var}(X_i)、非対角項（i≠ji\neq j）は aiaj Cov(Xi,Xj)a_i a_j\,\mathrm{Cov}(X_i,X_j) で、対称性 Cov(Xi,Xj)=Cov(Xj,Xi)\mathrm{Cov}(X_i,X_j)=\mathrm{Cov}(X_j,X_i) から非対角は2倍にまとまります。2変数に落とすと Var(aX+bY)=a2VarX+b2VarY+2ab Cov(X,Y)\mathrm{Var}(aX+bY)=a^2\mathrm{Var}X+b^2\mathrm{Var}Y+2ab\,\mathrm{Cov}(X,Y) という見慣れた式になります。 もうひとつ強調したいのが、自己共分散は分散という自然な接続です。定義に Y=XY=X を代入すると Cov(X,X)=E[X2]−(E[X])2=Var(X)\mathrm{Cov}(X,X)=E[X^2]-(E[X])^2=\mathrm{Var}(X) となり、共分散は『分散を2変数に一般化したもの』だと分かります。数値例：X,Y∈{0,1}X,Y\in\{0,1\} で P(0,0)=0.3,P(0,1)=0.1,P(1,0)=0.1,P(1,1)=0.5P(0,0)=0.3,P(0,1)=0.1,P(1,0)=0.1,P(1,1)=0.5。E[X]=0.6,E[Y]=0.6,E[XY]=0.5E[X]=0.6,E[Y]=0.6,E[XY]=0.5。Cov(X,Y)=0.5−0.36=0.14>0\mathrm{Cov}(X,Y)=0.5-0.36=0.14>0（同方向）。Cov(X,X)=0.6−0.36=0.24=Var(X)\mathrm{Cov}(X,X)=0.6-0.36=0.24=\mathrm{Var}(X)。

試験に出る性質

定義

Cov(X,Y)=E[XY]−E[X]E[Y]\mathrm{Cov}(X,Y)=E[XY]-E[X]E[Y]。正なら同方向、負なら逆方向に連動。単位は X,YX,Y の積の次元をもつ。

双線形性

Cov(aX+bY,Z)=aCov(X,Z)+bCov(Y,Z)\mathrm{Cov}(aX+bY,Z)=a\mathrm{Cov}(X,Z)+b\mathrm{Cov}(Y,Z)。各引数について線形なので和・定数倍を自由に分配できる。

自己共分散＝分散

Cov(X,X)=E[X2]−(E[X])2=Var(X)\mathrm{Cov}(X,X)=E[X^2]-(E[X])^2=\mathrm{Var}(X)。共分散は分散の2変数への自然な拡張。

対称性・定数で0

Cov(X,Y)=Cov(Y,X)\mathrm{Cov}(X,Y)=\mathrm{Cov}(Y,X)、Cov(X,c)=0\mathrm{Cov}(X,c)=0（定数は連動しない）。

一般線形結合の分散

双線形性から Var(∑aiXi)=∑i∑jaiajCov(Xi,Xj)\mathrm{Var}(\sum a_iX_i)=\sum_i\sum_j a_ia_j\mathrm{Cov}(X_i,X_j)。和・差・線形結合の公式の母体。

例で見る

X,Y∈{0,1}X,Y\in\{0,1\}、P(0,0)=0.3,P(0,1)=0.1,P(1,0)=0.1,P(1,1)=0.5P(0,0)=0.3,P(0,1)=0.1,P(1,0)=0.1,P(1,1)=0.5。 E[X]=0.6,E[Y]=0.6,E[XY]=P(1,1)=0.5E[X]=0.6,E[Y]=0.6,E[XY]=P(1,1)=0.5。Cov(X,Y)=0.5−0.6⋅0.6=0.14>0\mathrm{Cov}(X,Y)=0.5-0.6\cdot0.6=0.14>0（同方向）。 自己共分散：E[X2]=0.6E[X^2]=0.6 より Cov(X,X)=0.6−0.36=0.24=Var(X)\mathrm{Cov}(X,X)=0.6-0.36=0.24=\mathrm{Var}(X)。

つまずきポイント

  • 双線形性で定数の扱いを誤る（Cov(aX+c,Y)=aCov(X,Y)\mathrm{Cov}(aX+c,Y)=a\mathrm{Cov}(X,Y)。加える定数 cc は共分散に効かず、係数 aa だけが前に出る）
  • Cov(X,X)\mathrm{Cov}(X,X) を 00 や 11 と思う（自分自身との共分散は分散 Var(X)\mathrm{Var}(X) になる。一般に非零）
  • 共分散の大きさで関係の強さを比べる（共分散は単位に依存。強さの比較は標準化した相関係数 ρ\rho で行う）

定着クイズ

共分散の双線形性 Cov(aX+bY,Z)\mathrm{Cov}(aX+bY,Z) は？

自己共分散 Cov(X,X)\mathrm{Cov}(X,X) は何に等しい？

X,Y∈{0,1}X,Y\in\{0,1\}、E[X]=E[Y]=0.6,E[XY]=0.5E[X]=E[Y]=0.6,E[XY]=0.5 のとき Cov(X,Y)\mathrm{Cov}(X,Y) は？

関連：#相関#相関係数#多項分布#無相関#和

この用語を扱う問題（2）