動機
把兩項量度相加,以及把一組樣本排序,都是多個隨機變量的變換。只知道各個邊際分佈,並不足以理解這些運算。和的分佈取決於兩項如何耦合;排序後的樣本則互相依賴,即使原來觀測彼此獨立也一樣。
統一的辦法是從聯合分佈出發,同時變換變量及其可行區域,再積掉不再需要的座標。卷積就是這個方法的一個例子。次序統計量也是如此:公式中的階乘,計算有標號的原觀測可以怎樣佔據排序位置。再改用間距座標,便會發現原分佈不同,所揭示的可能是相依,也可能是獨立。
定義
若實變量 分別有密度 ,獨立性表示聯合密度幾乎處處為 。令 ,兩密度的卷積為
實際積分區域是兩個因子都不為零的地方: 必須在 的支撐集,而 必須在 的支撐集。把積分寫在整條實線上,並沒有取消這些限制。
樣本 的次序統計量是排序值 。以下次序統計量的結果,一律假設樣本獨立同分佈,分佈函數 絕對連續,有密度 ,因此相等觀測值的概率為零。 是第 小的觀測,並非原來標號為 的 。
對排序均勻觀測 ,定義 個間距
它們均為正,總和為一。最後一項是到固定右端點的距離。若觀測是正值但無上界的指數變量,則改用從零到最大觀測之間的 個間距,沒有最後的固定端點間距。
主要結果
定理 8.1.1
(獨立變量的和、差與比值)
若獨立變量的密度為 ,則 的一個密度為 ; 的密度為 。由 ,比值 幾乎必然有定義,其密度為
每項都是幾乎處處成立的密度公式,積分內仍須保留原來的支撐集限制。密度在例外單點為無窮,不會單獨使它無效。
定理 8.1.2
(獨立同分佈排序樣本及其邊際)
整個排序向量的密度為
對 ,
對 , 在 的聯合密度為
而在 為零。任何因子的零次冪均解讀為一。
定理 8.1.3
(均勻間距與指數間距的不同結構)
對 個獨立同分佈的 均勻觀測,首 個間距在 、 上有常數聯合密度 ,而 。全部 個間距可交換,並且
對 個獨立同分佈、速率為 的指數觀測,從零開始的 個相鄰間距則是獨立指數變量,速率依次為 。
證明或證明思路
先變換,再求邊際
證明
(以變量代換求和、比值及乘積)
對和,使用座標 。反函數是 ,雅可比(Jacobian)絕對值為一,所以 的聯合密度為 。積掉 就證明卷積公式。整數值離散變量的推理相同,只需把互斥事件的概率相加:獨立時,。
對比值,在 使用 。反函數是 ,雅可比絕對值為 。分別在 和 區域應用變量代換,再積掉 ,便得到比值公式。若漏掉絕對值,密度可能變成負數。
同樣,對乘積 , 的反函數為 ,雅可比絕對值為 ,故
這些公式需要聯合密度。相依時,應把 換成真正聯合密度,前提是它存在;奇異耦合可能根本沒有二維密度。
排序計算排列數
證明
(以有標號位置計算排序密度)
除去概率零的相等值集合,每個排序向量恰有 個有標號的原像。每個排列的雅可比絕對值為一,而且乘積密度相同。把它們的貢獻相加,便證得完整排序密度。
只保留 時,在 以下的有序區域積分。在未排序區域 的積分是 ,對稱性把它平均分到 個排序區域,所以有序積分為 ;上方的有序區域則貢獻 。再乘 就得邊際公式。保留兩個座標時,剩餘值分成低於 、介於 、高於 三個有序區域,積分分別給出三個冪及三個階乘。因此這些常數是在計算有標號位置,而非事後猜測歸一化因子。
也可以用計數作獨立核對:事件 表示至少 個觀測不超過 ,所以分佈函數是相應的二項上尾和。在 的點求導,會得到相同邊際密度。
均勻化及間距幾何
證明
(均勻次序統計量及間距)
絕對連續時, 是獨立同分佈的 均勻變量,不需 嚴格遞增。對 ,考慮集合 的右端點。由連續性及 的兩端極限,此處分佈函數值為 ;平坦區間不帶概率。因此 。逐座標變換保留獨立性。故可在均勻概率尺度上研究排序,轉回原尺度時,可能需要廣義分位數而非普通反函數。
特別地, 有參數 的貝塔分佈。使用貝塔積分及其遞推關係可得
從 到首 個間距的映射是三角形線性映射,行列式為一。像集就是定理中的開單純形,所以密度為常數。排列全部 個間距座標,即使包括由其餘座標決定的最後一項,也會在首 個座標上誘導雅可比絕對值為一的仿射變換。因此單純形上的常數密度證明了可交換性。
由總和為一及可交換性,每個間距的平均相同。又 ,;其他間距也有相同尾概率。積分尾函數得到 ,從而有上述方差。所有非對角協方差都相同,展開固定總和的方差,得到 ,即證得協方差公式。
概念視角結構
均勻間距是正規化的指數間距
設 為具有同一速率的獨立同分佈指數變量,。則 與均勻間距 同分佈。把座標換成 及前 個比值,雅可比行列式為 ,密度便分解為 的伽馬密度乘以單純形上的常數 。因此均勻間距就是把獨立的指數間距縮放至總和為一,而正是這個縮放令它們互相牽連。
指數間距為何真正獨立
證明
(指數間距的分解)
對排序指數觀測,寫 ,故 ,。雅可比為一,排序聯合密度成為
此時支撐集是直積,而且每個因子都是歸一化的指數密度。這個分解證明獨立性,而不只是零協方差。把平均間距相加,也得到 。
證明透視
兩個間距證明在哪裏分道
兩個間距證明的第一步相同:轉到間距座標的三角形變換,雅可比為一,所以排序密度 可直接搬到間距上,不需修正因子。獨立同分佈及絕對連續的假設正是在這裏使用:每個排序向量恰有 個有標號原像。
之後兩個證明要回答兩個問題,而單看乘積形式的式子並不能回答。其一是變換後的支撐集。均勻情況是單純形 ,它把所有座標綁在一起,所以不可能獨立,只剩下可交換性;指數情況則是正象限 ,是一個直積。其二是密度本身。均勻密度是常數;指數情況的關鍵一步是恆等式 ,它把密度化成已歸一化的單變量因子之積。獨立性同時需要直積支撐集及這個分解。
均勻協方差最後只靠一個代數觀察完成: 個間距的總和是常數一,所以其方差為零。無上界的指數觀測沒有固定右端點,因此沒有最後一個間距,也沒有這種約束。
例題
例題 8.1.4
(三角形的和密度來自區間交疊)
設 獨立且均勻分佈於 。對 ,積分範圍是 。當 ,長度為 ;當 ,長度為 ;其餘為零。因此 。密度形狀來自交疊長度,並非因為兩個均勻變量的和也應均勻。
例題 8.1.5
(均勻比值與乘積可有很大的密度)
對同一組獨立樣本,比值被積函數在 為 ,而且只有 才有貢獻。因此當 ,;當 ,則為 。平均無窮,因為 發散。分子及分母有界,並不表示比值有界,因為分母可以任意接近零。
對 ,當 ,容許範圍為 ,所以 。密度在零附近無界,但積分為一。獨立性直接給出 ,與密度積分一致。
例題 8.1.6
(正態比值產生柯西(Cauchy)分佈)
若 是獨立標準正態,則比值公式給出
分佈雖然對稱,期望卻不存在:正負兩邊的一階矩積分均發散。不能因對稱就報告平均零,也不能在未檢查比值可積前,直接把條件平均再取平均。對稱主值積分並不是期望。
例題 8.1.7
(極值及全距共同受約束)
對 個均勻觀測,最小值 與最大值 在 有聯合密度 。設全距 。反函數座標 滿足 ,,雅可比為一。積掉 得 。三個觀測時,密度為 ,平均全距為 。若把最大最小值當成獨立,就會忽略有序支撐集,得到錯誤的全距分佈。
反例模式
邊際相同不足以使用卷積
令 在 均勻分佈,並設 。兩者邊際均勻,但 在 均勻分佈,並非三角形密度。而 幾乎必然成立,是點質量,不是以上比值密度。此耦合集中在對角線,沒有二維密度。欠缺的是獨立性,而非卷積公式中某個代數修正。
常見錯誤
常見錯誤
(可交換的間距並不獨立)
次序統計量並不是把獨立觀測無害地重新改名。排序施加共同約束,間距也可能有固定總和。可交換性指交換座標後分佈不變,不表示獨立。均勻間距的負協方差,反映固定總和帶來的一個影響。
常見錯誤
(均勻間距不描述非均勻數據)
概率積分變換是在概率尺度上均勻化觀測,並非把原量度尺度變均勻。因此,均勻間距公式不會自動描述指數或其他非均勻觀測之間的實際距離。另行證明的指數間距分解,是一個不同結果。
常見錯誤
(忽略絕對連續性或獨立性)
絕對連續性有實質作用。離散觀測可能以正概率相等,因此排序向量不必有以上密度,也不一定有 個不同原像。相依連續觀測在排列後的有標號密度,則可能並不相同。每項假設都在證明中負責一個具體步驟。
小結
卷積及比值公式來自帶支撐集的聯合變換及邊際化。排序引入排列因子和有序積分區域。均勻化給出貝塔次序統計量;均勻間距具有單純形上的常數密度和負協方差,指數間距卻分解成速率改變的獨立分佈。這些分別由模型及區域決定,不能把分佈公式互相替換。
習題
快速檢查
(對兩個獨立 均勻變量,推導 的密度,並求 。)
解答 · 答案
差的積分中,被積函數在 及 同時成立時為一。 時交疊長度為 ,其餘為零。故 。
快速檢查
(兩個獨立指數變量的速率為二及三。推導和的密度、平均及方差,並解釋密度在兩速率相同的極限。)
解答 · 答案
對 ,卷積為 , 時密度為零。獨立性給出平均 ,方差 。一般不同速率 給出 ;當 ,指數差商趨向 ,得到形狀二的伽馬密度 。
快速檢查
(四個獨立同分佈觀測在 均勻。求第二次序統計量的密度及平均,並以計數求 。)
解答 · 答案
公式給出 ,,平均為 。事件 表示四個觀測中至多一個不超過 ,概率為 。
快速檢查
(對四個均勻觀測,由最小值與最大值的聯合密度推導全距密度及期望。)
解答 · 答案
最小最大值的聯合密度為 ,。設 ,在 積分得 ,。所以 。
快速檢查
(四個均勻觀測形成五個間距,包括兩端空隙。求最大間距超過 的概率,以及兩個不同間距的協方差。)
解答 · 答案
每個間距超過 的概率為 。兩個間距不能同時超過 ,因為總和為一。因此五個事件互斥,所求概率為 ,完全不需獨立假設。 時協方差為 。
快速檢查
(三個獨立同分佈觀測有速率二的指數分佈。使用獨立間距求最大值的平均及方差。)
解答 · 答案
三個獨立間距的速率為 。最大值是它們的和,所以平均為 ,方差為 。可直接把方差相加,是因為已從完整變換密度證明了獨立性。