動機
兩項量度可以各有熟悉的分佈,但我們仍不清楚它們的關係。即使知道兩個邊際分佈,也不足以求 P(X<Y)。聯合分佈補充了這個關係。條件化則問另一個問題:其中一項量度揭示後,對另一項的預測應怎樣改變?
對連續觀測,事件 Y=y 通常有概率零,不能把 P(X∈A,Y=y) 除以 P(Y=y) 來定義條件分佈。密度和條件期望提供精確的替代方法。我們將推導這些法則,並把總變異分成組內波動與各組平均之間的波動。
定義
若對每個可測集合 A 都有 P((X,Y)∈A)=∬Af(x,y)dxdy,則 (X,Y) 有聯合密度 f。它非負,總積分為一。邊際密度為
fX(x)=∫Rf(x,y)dy,fY(y)=∫Rf(x,y)dx.把支撐集以外的密度設為零,就可一直在整條實線積分。兩變量獨立,當且僅當 f(x,y)=fX(x)fY(y) 幾乎處處成立。若支撐集不是直積區域,單看代數式像乘積並不足以判定獨立。
當 0<fY(y)<∞ 時,條件密度的一個版本為
fX∣Y(x∣y)=fY(y)f(x,y).「版本」一詞有實質意思:在一組 Y 概率為零的 y 值上改動條件密度,並不影響其定義所要求的概率等式。聯合分佈不會唯一決定這些例外值上的條件分佈。
對可積的 X,條件期望 E[X∣Y] 是一個可積函數 m(Y),使每個博雷爾(Borel)集合 B 都滿足
E[X1{Y∈B}]=E[m(Y)1{Y∈B}].它在幾乎必然相等的意義下唯一。有密度時,m(y)=∫xfX∣Y(x∣y)dx,限於絕對積分有限的值。更一般地,E[X∣G] 是一個可積、對 G 可測的變量,並對資訊集合 G 中每個事件滿足同類積分等式;G 是一個 σ 代數。這個定義超越密度情形;其一般存在定理在此使用而不證明。
主要結果
設 (X,Y) 在開區域 D⊂R2 有密度 f。若 T:D→E 是連續可微雙射,其反函數連續可微,且雅可比(Jacobi)行列式非零,則 (U,V)=T(X,Y) 的密度為
fU,V(u,v)=f(T−1(u,v))detDT−1(u,v)1E(u,v).從 D 或 E 省略的集合,只有在其概率為零時才無影響。有有限個互不重疊的光滑反函數分支時,須把分支貢獻相加。
證明是對概率積分使用二維變量代換定理。行列式量度局部面積縮放。直接使用正向行列式而不取倒數,是另一個運算,一般不會給出歸一化密度。
若 X 可積,且 H⊆G 是兩個 σ 代數,則
E[E[X∣G]∣H]=E[X∣H]幾乎必然成立.特別地,E[E[X∣Y]]=E[X]。若 E[X2]<∞,定義 Var(X∣Y)=E[(X−E[X∣Y])2∣Y],則
Var(X)=E[Var(X∣Y)]+Var(E[X∣Y]).
第一式必須有資訊包含關係。對兩個無關變量隨意先後取條件期望,不能憑塔式法則化簡。第二式中的條件方差是隨觀測組別改變的隨機變量,其期望才是一個數。
證明或證明思路
條件密度並沒有除以零
對有界可測函數 h 和事件 {Y∈B},富比尼(Fubini)定理給出
E[h(X)1{Y∈B}]=∫B(∫h(x)fX∣Y(x∣y)dx)fY(y)dy.
在比值未定義的例外 y 值,可任選一個概率密度,因為外層積分賦予它們的權重是零。這個積分等式才是條件公式的意思;整個推論不曾以單點概率除以零。若 h(X) 無界但可積,絕對可積性同樣保證計算合法。
條件期望是最佳均方預測
設 m=E[X∣Y]。定義中的平均等式推出:對有界可測 g,有 E[(X−m)g(Y)]=0;再以截斷可推廣至平方可積的 g(Y)。條件柯西–施瓦茨(Cauchy–Schwarz)不等式保證當 X 平方可積時,m 也平方可積。對任意平方可積預測 a(Y),展開可得
E[(X−a(Y))2]=E[(X−m)2]+E[(m−a(Y))2].交叉項由上述正交性消失。因此 m 使均方誤差最小,並在幾乎必然相等的意義下唯一。取 a(Y)=E[X] 就得到全方差公式。兩項分別量度:每組內圍繞條件平均的未解釋波動,以及各組平均本身的波動。
證明塔式法則時,令 Z=E[E[X∣G]∣H],則 Z 對 H 可測。每個 A∈H 也屬於 G,所以 E[Z1A]=E[E[X∣G]1A]=E[X1A]。定義及幾乎必然唯一性便把 Z 識別為 E[X∣H]。
證明透視
嵌套與正交在哪裏使用
證明靠兩個不同的事實。塔式法則只需要定義性質及一個包含關係:把 A∈H 當作 E[X∣G] 的檢驗事件,這是合法的,因為 A∈G。沒有 H⊆G,這一步便沒有根據。方差分解則建基於正交性 E[(X−m)g(Y)]=0:這正是定義等式,只是把指示函數 1{Y∈B} 換成有界函數,再以截斷換成平方可積函數。假設 E[X2]<∞ 使展開式中每個乘積都可積。關鍵一步是畢氏(Pythagoras)分解 X−a(Y)=(X−m)+(m−a(Y)),其中第二部分是 Y 的函數。取常數 a=E[X] 便完成論證:由塔式法則,第一個平方的平均是 E[Var(X∣Y)];又因 E[m]=E[X],第二個是 Var(m)。
總和與比例:伽馬及貝塔的關係
設 X,Y 是獨立伽馬變量,形狀為 a,b>0,共同速率為 λ>0。令 S=X+Y,R=X/(X+Y)。反函數為 x=sr,y=s(1−r),範圍是 s>0,0<r<1,雅可比行列式絕對值為 s。代入得到
fS,R(s,r)=Γ(a+b)λa+bsa+b−1e−λsΓ(a)Γ(b)Γ(a+b)ra−1(1−r)b−1.
第一因子積分為一。整個聯合密度也積分為一,所以第二因子同樣歸一化。故 S,R 獨立,S 有伽馬形狀 a+b,而 R 有參數 a,b 的貝塔分佈。這同時證明
B(a,b)=∫01ra−1(1−r)b−1dr=Γ(a+b)Γ(a)Γ(b).
以貝塔積分的比值計算,得到 E[R]=a/(a+b),E[R2]=a(a+1)/((a+b)(a+b+1))。再減去平均平方,方差為 ab/((a+b)2(a+b+1))。共同速率使指數部分只依賴 s;速率不同一般就失去這個獨立性。
對應的協方差恆等式
若 X,Z 均有有限二階矩,對 Y 條件化也有
Cov(X,Z)=E[Cov(X,Z∣Y)]+Cov(E[X∣Y],E[Z∣Y]).
條件協方差定義為 E[(X−E[X∣Y])(Z−E[Z∣Y])∣Y]。證明時,把兩個變量分別減去總平均,再把每個中心化變量分成殘差及條件平均減總平均。兩個混合項由條件正交性得到期望零;殘差乘積給出第一項,條件平均的乘積給出第二項。取 Z=X 就恢復全方差。與方差公式的兩個非負項不同,協方差項可以為負;此公式區分線性關聯的來源,並非說每個來源都增加關聯。
例題
設 f(x,y)=2 於 0<x<y<1,其餘為零。三角形面積為 1/2,所以密度歸一化。積分得到 fY(y)=2y,0<y<1,以及 fX(x)=2(1−x),0<x<1。當 0<y<1,X∣Y=y 在 (0,y) 均勻分佈,故 m(y)=y/2,條件方差為 y2/12。
現在 E[Y]=2/3,E[Y2]=1/2,因此 E[X]=1/3。全方差公式給出 E[Y2]/12+Var(Y)/4=1/24+1/72=1/18。直接積分也有 E[X2]=1/6,方差為 1/6−1/9=1/18。知道 Y 會改變 X 可取的範圍,所以兩者相依。
例題 5.1.7
(聯合高斯(Gauss)變量的條件分佈)
設 (X,Y) 聯合高斯(Gauss),平均為 μX,μY,正標準差為 σX,σY,相關係數滿足 ∣ρ∣<1。聯合密度的二次指數為
−2(1−ρ2)z2−2ρzw+w2,z=σXx−μX,w=σYy−μY.由 z2−2ρzw+w2=(z−ρw)2+(1−ρ2)w2,除以 Y 的正態邊際密度後,留下關於 x 的正態密度。因此
X∣Y=y∼N(μX+ρσYσX(y−μY), σX2(1−ρ2)).條件平均在此呈線性,是聯合高斯假設的結果。若 ρ=0,聯合密度分解,兩者獨立。若 ∣ρ∣=1,聯合分佈奇異,不能使用這個二維密度證明;此時有精確的仿射關係,而非正的條件方差。
反例模式
不相關的正態邊際仍可相依
令 X 為標準正態,R 為獨立的公平正負號,並設 Y=RX。對稱性使 Y 也是標準正態,且 E[XY]=E[R]E[X2]=0。然而 ∣Y∣=∣X∣ 必然成立。例如 ∣X∣≤1 與 ∣Y∣≤1 是相同事件,其概率嚴格介於零與一之間,故不獨立。這一對變量不是聯合高斯;正態邊際及零協方差並不符合上一例的全部假設。
設 Λ≥0 有有限二階矩,而且 N∣Λ 是參數 Λ 的泊松(Poisson)變量,參數零解讀為集中在零的點質量。則 E[N∣Λ]=Λ,Var(N∣Λ)=Λ,故
E[N]=E[Λ],Var(N)=E[Λ]+Var(Λ).非常數的隨機速率使方差超過平均數。邊際一般是混合分佈,而非參數為 E[Λ] 的泊松分佈。條件化使計算簡單,卻沒有丟掉速率變動的影響。
常見錯誤
若 X 在 (−1,1) 均勻分佈,Y=X2,則對稱性給出 E[X∣Y]=0 幾乎必然成立,但 Y 仍完全由 X 決定。零條件平均不代表獨立:Y 仍揭示 X 的大小。反方向則有非線性關係 E[Y∣X]=X2。
密度 f(x,y)=2(0<x<y<1)在支撐集上是常數,看起來像兩個常數的乘積。但獨立性是關於整個密度(包括支撐集)的陳述。邊際密度 fX(x)=2(1−x) 與 fY(y)=2y 的乘積是 4y(1−x),在三角形上並不恆等於 2,而且在正方形中 f=0 的那一半上仍為正。三角形上的常數密度,不是正方形上兩個均勻密度的乘積。
設 X,Y 獨立且都在 (0,1) 均勻分佈,(U,V)=(2X,2Y)。正向映射的雅可比行列式是 4,反映射 (x,y)=(u/2,v/2) 的行列式是 1/4,正確密度是 (0,2)2 上的 1/4。若乘上正向行列式,便得到 (0,2)2 上的 4,其積分為 16。公式使用反映射,既用來計算 f 的值,也用來縮放面積。先寫出反映射及變換後的區域:單憑行列式不能確定新的支撐集。
知道更多資訊後,某個結果上的條件平均可能向任何方向改變。均方誤差較小是整體平均意義的結論,並不保證每次觀測的誤差都較小。同樣,塔式法則是平均恆等式,不能把任意非線性函數中的觀測值直接換成平均數。
小結
聯合密度透過函數值及支撐集共同描述相依關係。雅可比負責面積變換,必須配合反函數。條件密度由積分恆等式支持,條件期望則把從資訊預測變量精確化。塔式法則與全方差來自定義及正交性;高斯及伽馬–貝塔例子展示簡單條件結構成立的實際假設。
快速檢查
(聯合密度在 0<x<y<1 為 6x。驗證歸一化,求 fY 及 E[X∣Y],再用塔式法則求 E[X]。)
解答 · 答案
積分為 ∫01∫0y6xdxdy=∫013y2dy=1。故 fY(y)=3y2,0<y<1,條件密度為 2x/y2,0<x<y。把 x 乘上條件密度再積分得 E[X∣Y=y]=2y/3。由 E[Y]=∫013y3dy=3/4,塔式法則給出 E[X]=(2/3)(3/4)=1/2。
快速檢查
(X,Y 是獨立標準正態。令 U=X+Y,V=X−Y。求反函數、雅可比及聯合密度,判斷 U,V 是否獨立。)
解答 · 答案
反函數為 x=(u+v)/2,y=(u−v)/2,雅可比絕對值為 1/2。又 x2+y2=(u2+v2)/2,所以整個 R2 上的密度為 (4π)−1e−(u2+v2)/4。它分解成兩個 N(0,2) 密度,因此兩者獨立。結論除了聯合高斯,還使用原來方差相等的條件。
快速檢查
(Λ 以相同概率取 1 或 3,且 N∣Λ 是參數 Λ 的泊松變量。求 E[N]、Var(N) 及 P(N=0),與平均相同的泊松變量比較。)
解答 · 答案
E[Λ]=2,Var(Λ)=1,所以 E[N]=2,Var(N)=3。全概率給出 P(N=0)=(e−1+e−3)/2。平均為二的泊松變量方差為二,零點概率為 e−2,兩者都與此混合分佈不同。
快速檢查
(聯合高斯對的平均為 2,5,標準差為 3,2,相關係數為 1/2。求 E[X∣Y=7] 及 Var(X∣Y),並驗證全方差。)
解答 · 答案
條件平均為 2+(1/2)(3/2)(7−5)=7/2,條件方差為 9(1−1/4)=27/4。條件平均作為隨機變量是 2+(3/4)(Y−5),其方差為 (9/16)4=9/4。相加 27/4+9/4=9,恢復 X 的方差。
快速檢查
(X,Y 是獨立單位速率指數變量。求 R=X/(X+Y) 的密度,不用二重積分計算 P(X>2Y)。)
解答 · 答案
兩個伽馬形狀都是一,所以 R 有貝塔 (1,1) 密度,即在 (0,1) 均勻分佈。由於 X+Y 幾乎必然為正,X>2Y 等價於 R>2/3,故概率為 1/3。