動機
說隨機變量「趨向一個極限」並不完整,還須交代趨近的意思。樣本平均可以沿幾乎每條無限樣本路徑穩定下來。標準化後的波動卻可以繼續變動,同時其分佈趨向非常數的極限。這兩種敘述涉及不同尺度和不同收斂方式。
先前的弱大數定律只用到單一樣本平均的方差。強大數定律須控制整條無限序列。所需的新工具是最大不等式:它控制一段時間內任何部分和變大的概率。至於中心極限定理,特徵函數把獨立相加變成相乘,並說明為何標準化後只有首兩個矩留下影響。
定義
定義 6.1.1
(收斂模式)
設 為實隨機變量。幾乎必然收斂 是指:使數值序列真正收斂的結果集合,其概率為一。依概率收斂是指
均方收斂,即 收斂,是 。這三個定義都比較同一概率空間上的變量。依分佈收斂 則指在 的每個連續點都有 。它只涉及分佈,所以變量原先不必定義在同一空間。 的跳躍點不要求這個極限成立。
定義 6.1.2
(特徵函數)
實變量的特徵函數是 ,,其中 。由於 ,它總是存在,即使 沒有平均數也一樣。若 獨立,則 。縮放則給出 。
主要結果
定理 6.1.3
(收斂方式的若干推論及其範圍)
幾乎必然收斂推出依概率收斂, 收斂也推出依概率收斂。依概率收斂推出依分佈收斂。若分佈極限是常數 ,則依分佈收斂至 也推出依概率收斂至 。對一般非常數極限,逆向推論並不成立。
證明
(比較事件與分佈函數)
證明第一項時,事件 遞減;在幾乎必然收斂下,其交集概率為零。由概率的上連續性,,而每個較後偏差事件都被 包含。 的推論則是把馬爾可夫(Markov)不等式用於平方誤差。
對分佈收斂,任取 ,有
先讓 趨向無窮,再在 的連續點讓 遞減至零。若極限為常數, 兩點的分佈函數分別趨向零和一,因此 。
定理 6.1.4
(有限方差強大數定律)
設 獨立同分佈,,,則
以下證明使用有限方差。只要求獨立同分佈及可積性的較強版本確實存在,但不是以下論證所證明的結果。
定理 6.1.5
(獨立同分佈有限方差中心極限定理)
在上述假設下再要求 ,則
以下完整推導特徵函數極限,再明確引用萊維(Lévy)連續性定理,把特徵函數的收斂轉為分佈收斂。
證明或證明思路
用最大不等式控制整條路徑
引理 6.1.6
(柯爾莫哥洛夫(Kolmogorov)最大不等式)
設 獨立、平均為零且方差有限,令 。則對每個 ,
證明
(首次越界時刻)
設 獨立、平均為零且方差有限,令 。對 ,令 表示 是首個滿足 的指標。這些事件互斥。未來增量 獨立於 和 ,且平均為零。因此
對 相加。事件 互斥,聯集為 ,而在聯集之外 ,所以 。
證明
(二進分塊與博雷爾–康泰利(Borel–Cantelli)引理)
取 ,,。所得概率至多為 ,對 的總和有限。第一博雷爾–康泰利(Borel–Cantelli)引理指出,概率總和有限的一列事件幾乎必然只發生有限次。證明很短:指標 之後的事件聯集概率至多為尾和,而尾和趨於零。
故幾乎必然地,對充分大的 ,直到 的最大部分和絕對值小於 。若 ,便有 。把 各自的概率一事件取可數交集,得到 幾乎必然成立,強大數定律得證。在每個固定容差下各有一個概率一集合,還須經過這個可數交集步驟,才能同時令容差趨零。
證明透視
為何只檢查稀疏樣本量不夠
在單一指標 使用切比雪夫(Chebyshev)不等式得 ,對 的總和發散,所以不能逐個指標套用博雷爾–康泰利引理。只看二進指標 可使上界總和有限,但單是沿 收斂,對中間的指標毫無說明。關鍵一步是:最大不等式以同一代價 一次控制直到 的所有部分和,因此二進上界也填補了空隙,代價只是 中的因子 。獨立性只在最大不等式中使用:未來增量 必須與 不相關;有限方差使每個上界有限;同分佈提供共同的 。論證最後對 取可數交集,把「對每個固定 ,終究落在 之內」變成在同一個概率一集合上收斂。
特徵函數的局部展開
證明
(二階展開與乘積)
令 ,則 ,。寫成
其中 當 。可把 選成在整條實線有界: 時使用泰勒(Taylor)公式; 時,把各項除以 即有一致界。因此 被常數倍的 控制,並在 時逐點趨零。支配收斂定理給出
這裏只需要有限二階矩,不需三次矩,也沒有交換一個未經證明收斂的無窮泰勒級數與期望。對獨立副本 及固定實數 ,
因子是複數時,可在一附近使用對數:,所以對數乘以 後趨向 ,就得到此極限。
證明透視
中心極限論證中各假設的作用
有限方差只用了一次:以常數乘 控制 ,由此得到誤差為 的展開,別無其他。中心化與標準化消去一次項,並把二次項係數定為 。獨立同分佈把和的特徵函數化為同一函數的 次冪。關鍵一步是尺度 :它令二次項恰好是 的量級,所以 次冪有有限而非零的極限,而 的誤差乘以 後趨於零。最後由萊維連續性定理把這個逐點極限轉化為依分佈收斂。
完成中心極限定理的外部定理
標準正態的特徵函數是 。直接驗證時,可在積分內求導,因為 可積。再利用 分部積分,得到 ,且 ,解此微分方程便得所述函數。
現在使用萊維連續性定理:若特徵函數逐點收斂至一個在零點連續的函數,則該函數是某個概率分佈的特徵函數,原來各分佈依分佈收斂至該分佈。特別地,若極限是某個已知變量的特徵函數,就有依分佈收斂至該變量。此定理的證明涉及緊性及特徵函數唯一性,不包括在本節內。將它用於上述極限,才完成中心極限定理。這明確指出了從代數計算走到概率結論的橋樑。
趨零擾動保留分佈極限
設 ,而同一空間上的 依概率成立。對 , 的分佈函數下界為 ,上界為 。選取使 為連續點的 ,先讓 增大,再在極限分佈的連續點 讓 縮小,便證明 。這說明在最後使用的尺度上足夠小的近似誤差不影響分佈極限,也提醒我們不能未經檢查就用估計值取代真平均:中心化誤差雖然趨零,乘以 後仍未必可忽略。
例題
例題 6.1.7
(幾乎必然不推出均方收斂)
設 在 均勻分佈,令 。對每個 的結果,指示變量終究變成零,所以 幾乎必然成立。然而 趨於無窮。罕見值可以長得足夠快,使逐條路徑終究消失仍不足以得到均方收斂。
例題 6.1.8
(依概率收斂仍容許無窮次偏差)
取獨立事件 ,滿足 ,,並令 。則 依概率成立。對每個固定 ,
因此,從 開始再無成功的事件概率為零。對 取可數聯集,可知成功幾乎必然出現無窮次,故不會幾乎必然收斂至零。相乘步驟使用獨立性;單是概率和發散並不足夠。
反例模式
分佈相同不表示結果接近
設 是公平正負號,。每個 與 分佈完全相同,故 。但在奇數 ,,因此在同一空間上並不依概率收斂至 。分佈極限並沒有指定變量如何耦合。
例題 6.1.9
(平均穩定,標準化誤差仍有波動)
獨立同分佈伯努利(Bernoulli)試驗的參數為 時,強大數定律給出 幾乎必然成立;中心極限定理同時給出 。兩者沒有矛盾,因為正態尺度把縮小的誤差放大 倍。若 ,有限樣本的正態近似使用平均數的標準差 ,但中心極限定理本身不保證此樣本量的數值誤差。
常見錯誤
常見錯誤
(幾乎必然是關於無限路徑的敘述)
它不表示某個有限指標後平均數恰好等於期望,也不要求每個想像得到的結果都收斂。概率零的例外集合可以存在。依概率收斂容許每個指標有罕見偏差,而不排除同一路徑沿途出現無窮次偏差。
有限方差、獨立同分佈下的正態近似是漸近結論。單憑這些假設,沒有通用的收斂速率。無限方差、相依樣本及隨指標改變的分佈都需要另外的定理。若 ,各變量幾乎必然等於平均數,標準化式卻除以零;此時應使用常數的平凡結論。
常見錯誤
(依分佈收斂不帶來矩的收斂)
依分佈收斂一般不推出平均或方差收斂。上面的增長尖峰例子,其分佈趨向零點質量,但一階矩一直等於一。要把期望移入極限,需要額外的可積性控制。
小結
不同收斂方式分別回答路徑、誤差及分佈的問題。最大不等式配合可求和的二進上界,證明了控制整條路徑的有限方差強大數定律。中心極限定理則由二階特徵函數展開、獨立性及明示的外部連續性定理完成。兩個證明都不能自動推廣到欠缺假設的模型,也不提供未曾證明的有限樣本誤差界。
習題
快速檢查
(對同一個均勻變量 ,令 。證明幾乎必然及 收斂至零,並與獨立事件例子比較。)
解答 · 答案
每個 的結果都終究滿足 ,所以之後所有值為零,得到幾乎必然收斂。又 ,故均方收斂。這裏事件遞減而高度相依,即使個別概率與獨立例子相同,也不能套用獨立事件的乘積論證。
快速檢查
(獨立平均零變量的共同方差為四。用最大不等式估計 。)
解答 · 答案
,故上界為 。它控制整段時間內任何一次越界,並非只控制第 步的偏差。
快速檢查
(設 ,各變量在同一概率空間。證明依概率收斂,並解釋公平正負號反例為何不構成矛盾。)
解答 · 答案
對 , 都是零點質量分佈函數的連續點。因此 。公平正負號的極限非常數,所以不符合這個特殊推論的條件。
快速檢查
(獨立同分佈變量的平均為 、方差為 。把 寫成標準化概率,並求其極限。)
解答 · 答案
事件等價於 。標準正態分佈函數在二連續,因此其概率趨向 。沒有額外資訊時,不能得出某個具體 的近似準確度。
快速檢查
( 平均為零、有限方差為 。推導特徵函數展開,以及獨立副本之和 的特徵函數極限,包括 的情形。)
解答 · 答案
同樣的有界餘項論證給出 。獨立性給出在 的函數值之 次冪,極限為 。 時它是 ; 時,平均零且方差零的變量幾乎必然為零,特徵函數恆等於一,表示零點質量。