動機
實驗的結果可以十分複雜,但我們可能只關心計數或等待時間等數值摘要。分佈描述這個摘要,矩與極限定理則分別回答其平均、分散程度與大樣本行為。
定義
把結果轉化為數值
隨機變量 X X X 是概率空間上的實值可測函數,為每個結果指定一個數;可測性確保 { X ≤ x } \{X\leq x\} { X ≤ x } 等集合是事件。對實數 x x x ,X X X 的分佈函數是 F X ( x ) = P ( X ≤ x ) F_X(x)=P(X\leq x) F X ( x ) = P ( X ≤ x ) 。
分佈函數描述概率,不必逐一列出原始結果。它單調不減、右連續,在負無窮和正無窮的極限分別為零和一。
離散變量的概率質量函數 p ( x ) = P ( X = x ) p(x)=P(X=x) p ( x ) = P ( X = x ) 非負,所有可能值的概率之和為一。若連續變量有密度 f f f ,則 P ( a < X ≤ b ) = ∫ a b f ( x ) d x P(a<X\leq b)=\int_a^b f(x)\,dx P ( a < X ≤ b ) = ∫ a b f ( x ) d x 。密度可以大於一:概率由面積給出,不是單點的高度。有密度的變量在每個固定點的概率都是零。分佈亦可以同時有原子和連續部分,因此這兩種描述並未涵蓋所有情況。
以概率 1 / 2 1/2 1/2 令 X = 0 X=0 X = 0 ,否則在 ( 0 , 2 ) (0,2) ( 0 , 2 ) 均勻抽取 X X X 。則 P ( X = 0 ) = 1 / 2 P(X=0)=1/2 P ( X = 0 ) = 1/2 ,P ( 0 < X ≤ 1 ) = 1 / 4 P(0<X\leq1)=1/4 P ( 0 < X ≤ 1 ) = 1/4 ,故 F X ( 0 ) = 1 / 2 F_X(0)=1/2 F X ( 0 ) = 1/2 ,F X ( 1 ) = 3 / 4 F_X(1)=3/4 F X ( 1 ) = 3/4 。零點的跳躍是原子,整個分佈不能只用一個密度表示。
期望與方差
離散變量在和絕對收斂時有 E [ X ] = ∑ x x p ( x ) E[X]=\sum\limits_x xp(x) E [ X ] = x ∑ x p ( x ) ;有密度的變量在絕對積分有限時有 E [ X ] = ∫ x f ( x ) d x E[X]=\int x f(x)\,dx E [ X ] = ∫ x f ( x ) d x 。兩種情況下都稱 X X X 可積。
更一般地,只要 g ( X ) g(X) g ( X ) 可積,便可在相應的和或積分中把 x x x 換成 g ( x ) g(x) g ( x ) 求期望,而不必先求出 g ( X ) g(X) g ( X ) 的分佈。
若 X , Y X,Y X , Y 可積且 a , b a,b a , b 為常數,線性性給出 E [ a X + b Y ] = a E [ X ] + b E [ Y ] E[aX+bY]=aE[X]+bE[Y] E [ a X + bY ] = a E [ X ] + b E [ Y ] ,無須獨立。當 E [ X 2 ] < ∞ E[X^2]<\infty E [ X 2 ] < ∞ ,方差為
Var ( X ) = E [ ( X − E [ X ] ) 2 ] = E [ X 2 ] − ( E [ X ] ) 2 . \operatorname{Var}(X)=E[(X-E[X])^2]=E[X^2]-(E[X])^2. Var ( X ) = E [( X − E [ X ] ) 2 ] = E [ X 2 ] − ( E [ X ] ) 2 .
展開平方並用線性性可證第二個等式。第一個表達式顯示方差非負;算出負數表示計算或捨入有誤。若 X X X 和 Y Y Y 均有有限二階矩,則
Var ( X + Y ) = Var ( X ) + Var ( Y ) + 2 Cov ( X , Y ) , \operatorname{Var}(X+Y)=\operatorname{Var}(X)+\operatorname{Var}(Y)+2\operatorname{Cov}(X,Y), Var ( X + Y ) = Var ( X ) + Var ( Y ) + 2 Cov ( X , Y ) ,
其中協方差為 E [ ( X − E [ X ] ) ( Y − E [ Y ] ) ] E[(X-E[X])(Y-E[Y])] E [( X − E [ X ]) ( Y − E [ Y ])] 。獨立且二階矩有限可推出協方差為零,反之不一定。例:X X X 在 { − 1 , 0 , 1 } \{-1,0,1\} { − 1 , 0 , 1 } 均勻分佈,Y = X 2 Y=X^2 Y = X 2 。由對稱性 E [ X Y ] = E [ X 3 ] = 0 = E [ X ] E [ Y ] E[XY]=E[X^3]=0=E[X]E[Y] E [ X Y ] = E [ X 3 ] = 0 = E [ X ] E [ Y ] ,但 Y Y Y 完全由 X X X 決定。
四次獨立試驗各以 p = 1 / 4 p=1/4 p = 1/4 成功。以 I i I_i I i 表示第 i i i 次成功的指示變量,令 S = I 1 + ⋯ + I 4 S=I_1+\cdots+I_4 S = I 1 + ⋯ + I 4 。因 I i 2 = I i I_i^2=I_i I i 2 = I i ,有 E [ I i ] = p E[I_i]=p E [ I i ] = p 和 Var ( I i ) = p ( 1 − p ) \operatorname{Var}(I_i)=p(1-p) Var ( I i ) = p ( 1 − p ) 。線性性和獨立性給出 E [ S ] = 1 E[S]=1 E [ S ] = 1 、Var ( S ) = 4 ( 1 / 4 ) ( 3 / 4 ) = 3 / 4 \operatorname{Var}(S)=4(1/4)(3/4)=3/4 Var ( S ) = 4 ( 1/4 ) ( 3/4 ) = 3/4 。即使不獨立,期望公式仍成立;方差則須加入協方差項。
對方差有限的獨立 X , Y X,Y X , Y ,Var ( X − Y ) = Var ( X ) + Var ( − Y ) = Var ( X ) + Var ( Y ) \operatorname{Var}(X-Y)=\operatorname{Var}(X)+\operatorname{Var}(-Y)=\operatorname{Var}(X)+\operatorname{Var}(Y) Var ( X − Y ) = Var ( X ) + Var ( − Y ) = Var ( X ) + Var ( Y ) ,因為 Var ( c Y ) = c 2 Var ( Y ) \operatorname{Var}(cY)=c^2\operatorname{Var}(Y) Var ( c Y ) = c 2 Var ( Y ) 而 ( − 1 ) 2 = 1 (-1)^2=1 ( − 1 ) 2 = 1 。寫成 Var ( X ) − Var ( Y ) \operatorname{Var}(X)-\operatorname{Var}(Y) Var ( X ) − Var ( Y ) 甚至可能得到負數。兩個獨立公平二元變量之差以概率 1 / 4 , 1 / 2 , 1 / 4 1/4,1/2,1/4 1/4 , 1/2 , 1/4 取 − 1 , 0 , 1 -1,0,1 − 1 , 0 , 1 ,方差是 1 / 2 = 1 / 4 + 1 / 4 1/2=1/4+1/4 1/2 = 1/4 + 1/4 ,而不是 0 0 0 。
證明思路
以下用指示變量比較非負隨機變量,從而導出概率上界。這個簡單比較足以在有限方差及獨立假設下證明弱大數定律。
集中與平均
定理 2.1.5
(馬爾可夫(Markov)不等式)
對期望有限的非負隨機變量 Y Y Y 和 a > 0 a>0 a > 0 ,有 P ( Y ≥ a ) ≤ E [ Y ] / a P(Y\geq a)\leq E[Y]/a P ( Y ≥ a ) ≤ E [ Y ] / a 。
因 Y ≥ 0 Y\geq0 Y ≥ 0 ,不等式 Y ≥ a 1 { Y ≥ a } Y\geq a\mathbf1_{\{Y\geq a\}} Y ≥ a 1 { Y ≥ a } 在每個結果上成立:在 { Y ≥ a } \{Y\geq a\} { Y ≥ a } 上右邊等於 a ≤ Y a\leq Y a ≤ Y ,其餘情況右邊等於 0 ≤ Y 0\leq Y 0 ≤ Y 。期望保持不等式,所以 E [ Y ] ≥ a E [ 1 { Y ≥ a } ] = a P ( Y ≥ a ) E[Y]\geq aE[\mathbf1_{\{Y\geq a\}}]=aP(Y\geq a) E [ Y ] ≥ a E [ 1 { Y ≥ a } ] = a P ( Y ≥ a ) ,再除以 a > 0 a>0 a > 0 即可。
反例模式
馬爾可夫不等式需要非負變量 聲稱:對每個可積的 Y Y Y 和 a > 0 a>0 a > 0 ,都有 P ( Y ≥ a ) ≤ E [ Y ] / a P(Y\geq a)\leq E[Y]/a P ( Y ≥ a ) ≤ E [ Y ] / a 。設 Y Y Y 各以概率 1 / 2 1/2 1/2 取 1 1 1 和 − 1 -1 − 1 ,並取 a = 1 a=1 a = 1 。則 E [ Y ] = 0 E[Y]=0 E [ Y ] = 0 ,聲稱的上界給出 P ( Y ≥ 1 ) ≤ 0 P(Y\geq1)\leq0 P ( Y ≥ 1 ) ≤ 0 ,但實際上 P ( Y ≥ 1 ) = 1 / 2 P(Y\geq1)=1/2 P ( Y ≥ 1 ) = 1/2 。證明在 Y = − 1 Y=-1 Y = − 1 的結果上失效:Y ≥ a 1 { Y ≥ a } Y\geq a\mathbf1_{\{Y\geq a\}} Y ≥ a 1 { Y ≥ a } 會變成 − 1 ≥ 0 -1\geq0 − 1 ≥ 0 。修正方法是對 Y Y Y 的非負函數使用不等式:這裏 P ( ∣ Y ∣ ≥ 1 ) ≤ E ∣ Y ∣ = 1 P(|Y|\geq1)\leq E|Y|=1 P ( ∣ Y ∣ ≥ 1 ) ≤ E ∣ Y ∣ = 1 ,確實成立。
把馬爾可夫(Markov)不等式應用於非負變量 ( X − μ ) 2 (X-\mu)^2 ( X − μ ) 2 及門檻 ε 2 \varepsilon^2 ε 2 ,其中 μ = E [ X ] \mu=E[X] μ = E [ X ] 且 Var ( X ) = σ 2 < ∞ \operatorname{Var}(X)=\sigma^2<\infty Var ( X ) = σ 2 < ∞ ,便得切比雪夫(Chebyshev)不等式:
P ( ∣ X − μ ∣ ≥ ε ) ≤ σ 2 ε 2 ( ε > 0 ) . P(|X-\mu|\geq\varepsilon)\leq\frac{\sigma^2}{\varepsilon^2}\qquad(\varepsilon>0). P ( ∣ X − μ ∣ ≥ ε ) ≤ ε 2 σ 2 ( ε > 0 ) .
旁註 按下可固定此旁註,按 Escape 關閉。 旁註
尾部估計的一般方法
切比雪夫不等式就是把馬爾可夫不等式用在一個選得恰當的非負變量上。要記住的正是這個模式:要估計某事件的概率,就找一個在該事件上取值大、而期望又算得出的非負量。
關閉
設 X 1 , X 2 , … X_1,X_2,\ldots X 1 , X 2 , … 獨立同分佈,均值為 μ \mu μ 、方差 σ 2 \sigma^2 σ 2 有限,並令 X ‾ n = ( X 1 + ⋯ + X n ) / n \overline X_n=(X_1+\cdots+X_n)/n X n = ( X 1 + ⋯ + X n ) / n 。則對每個 ε > 0 \varepsilon>0 ε > 0 ,當 n → ∞ n\to\infty n → ∞ 時 P ( ∣ X ‾ n − μ ∣ ≥ ε ) → 0 P(|\overline X_n-\mu|\geq\varepsilon)\to0 P ( ∣ X n − μ ∣ ≥ ε ) → 0 。
由線性性,E [ X ‾ n ] = μ E[\overline X_n]=\mu E [ X n ] = μ 。展開中心化總和 ∑ i ( X i − μ ) \sum\limits_i(X_i-\mu) i ∑ ( X i − μ ) 的平方,由獨立性,每個交叉項的期望 Cov ( X i , X j ) \operatorname{Cov}(X_i,X_j) Cov ( X i , X j ) (i ≠ j i\ne j i = j )都是零,所以
Var ( X ‾ n ) = 1 n 2 ∑ i = 1 n Var ( X i ) = σ 2 n . \operatorname{Var}(\overline X_n)=\frac1{n^2}\sum_{i=1}^n\operatorname{Var}(X_i)=\frac{\sigma^2}{n}. Var ( X n ) = n 2 1 i = 1 ∑ n Var ( X i ) = n σ 2 . 對 X ‾ n \overline X_n X n 使用切比雪夫不等式,得
P ( ∣ X ‾ n − μ ∣ ≥ ε ) ≤ σ 2 n ε 2 ⟶ 0. P(|\overline X_n-\mu|\geq\varepsilon)\leq\frac{\sigma^2}{n\varepsilon^2}\longrightarrow0. P ( ∣ X n − μ ∣ ≥ ε ) ≤ n ε 2 σ 2 ⟶ 0.
證明透視
每個假設在哪裏起作用 有限方差使切比雪夫不等式可用:馬爾可夫不等式應用於非負變量 ( X ‾ n − μ ) 2 (\overline X_n-\mu)^2 ( X n − μ ) 2 ,其期望就是 Var ( X ‾ n ) \operatorname{Var}(\overline X_n) Var ( X n ) 。獨立性只用了一次,就是刪去 n ( n − 1 ) n(n-1) n ( n − 1 ) 個交叉項;兩兩不相關且均值、方差相同的變量給出同一上界。同分佈只提供共同的 μ \mu μ 與 σ 2 \sigma^2 σ 2 。關鍵一步是:ε \varepsilon ε 固定時,平均的方差以 1 / n 1/n 1/ n 的速度衰減。論證以明確的上界收結,因此亦給出樣本量:n ≥ σ 2 / ( ε 2 δ ) n\geq\sigma^2/(\varepsilon^2\delta) n ≥ σ 2 / ( ε 2 δ ) 保證偏離概率不超過 δ \delta δ 。若每個 X i X_i X i 都等於同一個非常數 X X X ,交叉項不會消失,對所有 n n n 都有 Var ( X ‾ n ) = Var ( X ) \operatorname{Var}(\overline X_n)=\operatorname{Var}(X) Var ( X n ) = Var ( X ) ,不會衰減。
所以樣本平均依概率收斂至均值。它不表示某個有限樣本平均必定等於均值,也不表示總和停留在均值附近。
中心極限定理
在相同的獨立同分佈及有限方差假設下,若 σ > 0 \sigma>0 σ > 0 ,對每個實數 z z z ,中心極限定理斷言
P ( n ( X ‾ n − μ ) σ ≤ z ) ⟶ Φ ( z ) , P\left(\frac{\sqrt n(\overline X_n-\mu)}{\sigma}\leq z\right)\longrightarrow\Phi(z), P ( σ n ( X n − μ ) ≤ z ) ⟶ Φ ( z ) ,
其中 Φ \Phi Φ 是標準正態分佈函數。這是依分佈收斂,有別於依概率收斂至常數。此處不證此定理;證明需要特徵函數等額外工具。它給出極限近似,並不斷言每個有限 n n n 都恰為正態,也不提供普遍的誤差界。
獨立伯努利(Bernoulli)試驗成功概率為 1 / 4 1/4 1/4 時,S n S_n S n 的均值為 n / 4 n/4 n /4 ,標準差為 3 n / 16 \sqrt{3n/16} 3 n /16 。當 n n n 趨大,定理以 1 / 2 1/2 1/2 近似 P ( S n ≤ n / 4 ) P(S_n\leq n/4) P ( S n ≤ n /4 ) 。有限樣本中門檻處的概率及離散性仍有影響;連續性修正可以改善近似,卻不是精確等式。
等待時間的分佈
一個常用離散模型記錄首次成功所需試驗次數。若試驗獨立且成功概率為 0 < p ≤ 1 0<p\leq1 0 < p ≤ 1 ,等待時間 T T T 取值 1 , 2 , … 1,2,\ldots 1 , 2 , … ,且
P ( T = k ) = ( 1 − p ) k − 1 p . P(T=k)=(1-p)^{k-1}p. P ( T = k ) = ( 1 − p ) k − 1 p .
前 k − 1 k-1 k − 1 次必須失敗,接著一次成功。由幾何級數,這些概率之和為一;p = 1 p=1 p = 1 時首次試驗必然成功。期望等待時間為 E [ T ] = 1 / p E[T]=1/p E [ T ] = 1/ p 。一種推導是對非負整數值 T T T 使用尾和公式 E [ T ] = ∑ k ≥ 0 P ( T > k ) E[T]=\sum\limits_{k\geq0}P(T>k) E [ T ] = k ≥ 0 ∑ P ( T > k ) ,再對 ( 1 − p ) k (1-p)^k ( 1 − p ) k 求和。
概念視角 分析
期望作為尾概率之和 設 T T T 取值於 { 0 , 1 , 2 , … } \{0,1,2,\ldots\} { 0 , 1 , 2 , … } 。把 j j j 寫成 ∑ k = 0 j − 1 1 \sum\limits_{k=0}^{j-1}1 k = 0 ∑ j − 1 1 ,再交換求和次序:
E [ T ] = ∑ j ≥ 1 j P ( T = j ) = ∑ j ≥ 1 ∑ k = 0 j − 1 P ( T = j ) = ∑ k ≥ 0 ∑ j > k P ( T = j ) = ∑ k ≥ 0 P ( T > k ) . E[T]=\sum_{j\geq1}jP(T=j)=\sum_{j\geq1}\sum_{k=0}^{j-1}P(T=j)=\sum_{k\geq0}\sum_{j>k}P(T=j)=\sum_{k\geq0}P(T>k). E [ T ] = j ≥ 1 ∑ j P ( T = j ) = j ≥ 1 ∑ k = 0 ∑ j − 1 P ( T = j ) = k ≥ 0 ∑ j > k ∑ P ( T = j ) = k ≥ 0 ∑ P ( T > k ) . 因為每一項非負,交換次序是合法的;兩邊可以同為 + ∞ +\infty + ∞ 。這個描述從尾部 1 − F T 1-F_T 1 − F T 讀出均值,而不是從概率質量函數。對幾何等待時間,前 k k k 次全部失敗的概率是 P ( T > k ) = ( 1 − p ) k P(T>k)=(1-p)^k P ( T > k ) = ( 1 − p ) k ,所以 E [ T ] = ∑ k ≥ 0 ( 1 − p ) k = 1 / p E[T]=\sum\limits_{k\geq0}(1-p)^k=1/p E [ T ] = k ≥ 0 ∑ ( 1 − p ) k = 1/ p ,不必對級數求導。
對非負整數 m , n m,n m , n 和 0 < p < 1 0<p<1 0 < p < 1 ,有 P ( T > m + n ∣ T > m ) = P ( T > n ) = ( 1 − p ) n P(T>m+n\mid T>m)=P(T>n)=(1-p)^n P ( T > m + n ∣ T > m ) = P ( T > n ) = ( 1 − p ) n 。
事件 { T > k } \{T>k\} { T > k } 表示前 k k k 次試驗都失敗,所以 P ( T > k ) = ( 1 − p ) k P(T>k)=(1-p)^k P ( T > k ) = ( 1 − p ) k ;當 0 < p < 1 0<p<1 0 < p < 1 時它是正數。由於 { T > m + n } ⊆ { T > m } \{T>m+n\}\subseteq\{T>m\} { T > m + n } ⊆ { T > m } ,
P ( T > m + n ∣ T > m ) = P ( T > m + n ) P ( T > m ) = ( 1 − p ) m + n ( 1 − p ) m = ( 1 − p ) n = P ( T > n ) . P(T>m+n\mid T>m)=\frac{P(T>m+n)}{P(T>m)}=\frac{(1-p)^{m+n}}{(1-p)^m}=(1-p)^n=P(T>n). P ( T > m + n ∣ T > m ) = P ( T > m ) P ( T > m + n ) = ( 1 − p ) m ( 1 − p ) m + n = ( 1 − p ) n = P ( T > n ) .
過去失敗不會改變接下來連續失敗的概率,原因是試驗獨立;若成功概率在每次失敗後改變,結論便可能不成立。
成功概率 p = 1 / 4 p=1/4 p = 1/4 時,首次成功在第三次試驗出現的概率為 ( 3 / 4 ) 2 ( 1 / 4 ) = 9 / 64 (3/4)^2(1/4)=9/64 ( 3/4 ) 2 ( 1/4 ) = 9/64 。期望等待四次。已知前兩次失敗,再失敗至少兩次的概率仍是 ( 3 / 4 ) 2 = 9 / 16 (3/4)^2=9/16 ( 3/4 ) 2 = 9/16 。期望是多次重複的平均,並不保證第四次成功。
完全相依的變量,其平均不一定集中:若每個 X i X_i X i 都等於同一個非常數 X X X ,那麼對每個 n n n 都有 X ‾ n = X \overline X_n=X X n = X 。只有相同邊際分佈不足以支持獨立樣本的計算。
聯合分佈與協方差
聯合分佈一併記錄多個隨機變量的概率。對離散 X , Y X,Y X , Y ,寫 p ( x , y ) = P ( X = x , Y = y ) p(x,y)=P(X=x,Y=y) p ( x , y ) = P ( X = x , Y = y ) 。對所有可能的 y y y 求和得到 X X X 的邊際質量 P ( X = x ) = ∑ y p ( x , y ) P(X=x)=\sum\limits_y p(x,y) P ( X = x ) = y ∑ p ( x , y ) ;對 x x x 求和則得到 Y Y Y 的邊際。兩個邊際分佈不能告訴我們變量如何結合。獨立性更強,要求所有值對都滿足 p ( x , y ) = P ( X = x ) P ( Y = y ) p(x,y)=P(X=x)P(Y=y) p ( x , y ) = P ( X = x ) P ( Y = y ) 。
設兩個變量各為公平二元變量。一個模型中兩者獨立,四個值對各有概率 1 / 4 1/4 1/4 ,故 P ( X = Y ) = 1 / 2 P(X=Y)=1/2 P ( X = Y ) = 1/2 。另一模型令 Y = X Y=X Y = X ,只有 ( 0 , 0 ) (0,0) ( 0 , 0 ) 和 ( 1 , 1 ) (1,1) ( 1 , 1 ) 出現,各有概率 1 / 2 1/2 1/2 ,故 P ( X = Y ) = 1 P(X=Y)=1 P ( X = Y ) = 1 。兩個模型中每個變量的邊際分佈相同。因此只知道邊際表並不能決定兩者相等的概率。
若二階矩有限,協方差量度某種線性關係。展開並用線性性得 Cov ( X , Y ) = E [ X Y ] − E [ X ] E [ Y ] \operatorname{Cov}(X,Y)=E[XY]-E[X]E[Y] Cov ( X , Y ) = E [ X Y ] − E [ X ] E [ Y ] 。若 X , Y X,Y X , Y 獨立,聯合分佈可分解,於乘積可積時給出 E [ X Y ] = E [ X ] E [ Y ] E[XY]=E[X]E[Y] E [ X Y ] = E [ X ] E [ Y ] 。有限離散情況可直接分解雙重和,一般情況則由相應積分定理得到。前面的平方例子顯示零協方差比獨立弱:非線性相依仍可能存在。
和的公式推廣至 n n n 個變量:
Var ( ∑ i = 1 n X i ) = ∑ i = 1 n Var ( X i ) + 2 ∑ i < j Cov ( X i , X j ) . \operatorname{Var}\left(\sum_{i=1}^nX_i\right)=\sum_{i=1}^n\operatorname{Var}(X_i)+2\sum_{i<j}\operatorname{Cov}(X_i,X_j). Var ( i = 1 ∑ n X i ) = i = 1 ∑ n Var ( X i ) + 2 i < j ∑ Cov ( X i , X j ) .
展開中心化和的平方即可。兩兩零協方差已足以消去交叉項;對這個計算來說,完全互相獨立比所需的更強。但單憑此觀察並不能證明中心極限定理;此處所述定理的假設包括獨立同分佈。
用條件化求平均
設 H 1 , … , H k H_1,\ldots,H_k H 1 , … , H k 是概率皆正的有限分割,且 X X X 可積。令 E [ X ∣ H i ] E[X\mid H_i] E [ X ∣ H i ] 為以 H i H_i H i 為條件的概率下的期望,則
E [ X ] = ∑ i = 1 k E [ X ∣ H i ] P ( H i ) . E[X]=\sum_{i=1}^k E[X\mid H_i]P(H_i). E [ X ] = i = 1 ∑ k E [ X ∣ H i ] P ( H i ) .
對有限取值的 X X X ,先把左邊寫成 ∑ x x P ( X = x ) \sum\limits_x xP(X=x) x ∑ x P ( X = x ) ,再對每個 P ( X = x ) P(X=x) P ( X = x ) 使用全概率公式,交換有限求和便得此式。一般可積情況由積分的相同分解得到。權重是分割事件的概率,不一定相等。
選兩條生產線的概率分別為 1 / 4 1/4 1/4 和 3 / 4 3/4 3/4 ,每批缺陷數的條件期望分別為二和六。總期望為 ( 1 / 4 ) 2 + ( 3 / 4 ) 6 = 5 (1/4)2+(3/4)6=5 ( 1/4 ) 2 + ( 3/4 ) 6 = 5 。只有兩線等可能時,才可使用 ( 2 + 6 ) / 2 (2+6)/2 ( 2 + 6 ) /2 。答案不需要完整的條件分佈。
條件分佈比無條件分佈簡單時,此方法特別有用。但 E [ X ∣ H i ] E[X\mid H_i] E [ X ∣ H i ] 並非 X X X 的觀察值,而是該事件內所有結果的平均;若事件內仍有變異,這個分別便很重要。
如何理解概率上界
切比雪夫不等式可能很鬆。練習中公平伯努利樣本為 100 時,上界 1 / 4 1/4 1/4 保證在模型下偏差事件的概率不超過 1 / 4 1/4 1/4 ,卻不表示實際等於該上界。精確概率可以通過加總二項分佈的質量計算。只知道少量數值時,上界能提供保證;中心極限定理的近似則使用另一種論證,意義不同。
此處證明的有限方差弱大數定律並不涵蓋所有大數定律。更強的結果可以放寬部分假設或加強收斂方式,但需要各自的假設與證明。同樣,不能僅憑本節定理,把正態近似機械地用於高度相依或方差無限的樣本。
變換與分佈函數
變換不一定保持數值次序。若 Y = X 2 Y=X^2 Y = X 2 ,不能直接寫 P ( Y ≤ y ) = P ( X ≤ y ) P(Y\leq y)=P(X\leq\sqrt y) P ( Y ≤ y ) = P ( X ≤ y ) :負的 X X X 也有貢獻,而小於 − y -\sqrt y − y 的值必須排除。對 y ≥ 0 y\geq0 y ≥ 0 ,應寫
P ( Y ≤ y ) = P ( − y ≤ X ≤ y ) . P(Y\leq y)=P(-\sqrt y\leq X\leq\sqrt y). P ( Y ≤ y ) = P ( − y ≤ X ≤ y ) .
y < 0 y<0 y < 0 時概率為零。若 X X X 在 [ − 1 , 1 ] [-1,1] [ − 1 , 1 ] 均勻分佈,區間長度除以二得到 0 ≤ y ≤ 1 0\leq y\leq1 0 ≤ y ≤ 1 時 F Y ( y ) = y F_Y(y)=\sqrt y F Y ( y ) = y ;y ≥ 1 y\geq1 y ≥ 1 時為一。在 ( 0 , 1 ) (0,1) ( 0 , 1 ) 微分得 f Y ( y ) = 1 / ( 2 y ) f_Y(y)=1/(2\sqrt y) f Y ( y ) = 1/ ( 2 y ) 。密度在零附近無界,但它在 ( 0 , 1 ) (0,1) ( 0 , 1 ) 上的積分為一,因此是有效密度;在單點零指定甚麼密度值都不改變概率。
若只求期望,有較短的方法:E [ Y ] = E [ X 2 ] = ∫ − 1 1 x 2 ( 1 / 2 ) d x = 1 / 3 E[Y]=E[X^2]=\int_{-1}^{1}x^2(1/2)\,dx=1/3 E [ Y ] = E [ X 2 ] = ∫ − 1 1 x 2 ( 1/2 ) d x = 1/3 。對 ( 0 , 1 ) (0,1) ( 0 , 1 ) 上的 y f Y ( y ) y f_Y(y) y f Y ( y ) 積分亦得同一答案。要回答關於 Y Y Y 的任意概率問題,須求完整的變換分佈;若只求期望則不必如此。
此例中 E [ X ] = 0 E[X]=0 E [ X ] = 0 ,所以 ( E [ X ] ) 2 = 0 (E[X])^2=0 ( E [ X ] ) 2 = 0 ,但 E [ X 2 ] = 1 / 3 E[X^2]=1/3 E [ X 2 ] = 1/3 。一般而言,對非線性的 g g g ,E [ g ( X ) ] ≠ g ( E [ X ] ) E[g(X)]\ne g(E[X]) E [ g ( X )] = g ( E [ X ]) ;期望法則是把 g g g 代入和或積分之內。對 g ( x ) = x 2 g(x)=x^2 g ( x ) = x 2 ,差距 E [ X 2 ] − ( E [ X ] ) 2 E[X^2]-(E[X])^2 E [ X 2 ] − ( E [ X ] ) 2 正好是方差,所以它永不為負。
分佈函數的跳躍亦記錄點質量。對實數 a a a ,有 P ( X = a ) = F X ( a ) − F X ( a − ) P(X=a)=F_X(a)-F_X(a-) P ( X = a ) = F X ( a ) − F X ( a − ) ,其中 F X ( a − ) F_X(a-) F X ( a − ) 是左極限。因為遞增事件 { X ≤ a − 1 / n } \{X\leq a-1/n\} { X ≤ a − 1/ n } 的聯集是 { X < a } \{X<a\} { X < a } ,概率的下連續性使其概率趨向 P ( X < a ) P(X<a) P ( X < a ) ;從 P ( X ≤ a ) P(X\leq a) P ( X ≤ a ) 減去便留下 { X = a } \{X=a\} { X = a } 。因此連續的分佈函數沒有原子,但未必有密度。這區分避免把密度例子過度推廣。
這個分別在端點也重要:更改密度在單點的值不改變任何積分,但更改原子的質量會改變分佈本身。微分或求和前,應先說明採用哪一種描述。
總結
分佈指定概率;期望和方差描述其中一些性質。期望的線性性需要可積性,但不需要獨立性。弱大數定律研究平均的集中,中心極限定理則描述經縮放的波動。
練習
快速檢查
(X X X 取值 − 1 , 0 , 2 -1,0,2 − 1 , 0 , 2 的概率依次為 1 / 4 , 1 / 2 , 1 / 4 1/4,1/2,1/4 1/4 , 1/2 , 1/4 。求均值和方差。)
解答 · 答案 E [ X ] = − 1 / 4 + 0 + 2 / 4 = 1 / 4 E[X]=-1/4+0+2/4=1/4 E [ X ] = − 1/4 + 0 + 2/4 = 1/4 ,E [ X 2 ] = 1 / 4 + 0 + 4 / 4 = 5 / 4 E[X^2]=1/4+0+4/4=5/4 E [ X 2 ] = 1/4 + 0 + 4/4 = 5/4 ,故方差為 5 / 4 − 1 / 16 = 19 / 16 5/4-1/16=19/16 5/4 − 1/16 = 19/16 。
快速檢查
(100 次獨立伯努利試驗成功概率均為 1 / 2 1/2 1/2 。用切比雪夫不等式估計樣本比例偏離 1 / 2 1/2 1/2 至少 0.1 0.1 0.1 的概率上界。)
解答 · 答案 每次試驗的方差是 ( 1 / 2 ) ( 1 / 2 ) = 1 / 4 (1/2)(1/2)=1/4 ( 1/2 ) ( 1/2 ) = 1/4 ,所以樣本比例的方差為 ( 1 / 4 ) / 100 = 1 / 400 (1/4)/100=1/400 ( 1/4 ) /100 = 1/400 。切比雪夫不等式給出上界 ( 1 / 400 ) / ( 0.1 ) 2 = 1 / 4 (1/400)/(0.1)^2=1/4 ( 1/400 ) / ( 0.1 ) 2 = 1/4 ;這不是精確概率。
快速檢查
(密度 f ( x ) = 2 x f(x)=2x f ( x ) = 2 x (0 < x < 1 0\lt x\lt 1 0 < x < 1 ),其餘為零。求 P ( X > 1 / 2 ) P(X>1/2) P ( X > 1/2 ) 和 E [ X ] E[X] E [ X ] 。)
解答 · 答案 積分得 P ( X > 1 / 2 ) = ∫ 1 / 2 1 2 x d x = 1 − 1 / 4 = 3 / 4 P(X>1/2)=\int_{1/2}^1 2x\,dx=1-1/4=3/4 P ( X > 1/2 ) = ∫ 1/2 1 2 x d x = 1 − 1/4 = 3/4 ,E [ X ] = ∫ 0 1 2 x 2 d x = 2 / 3 E[X]=\int_0^1 2x^2\,dx=2/3 E [ X ] = ∫ 0 1 2 x 2 d x = 2/3 。