概率模型：隱藏條件、觀察機制與依賴性

樣本空間 $\Omega$ 列出模型實驗的可能結果。事件是其子集。概率賦值滿足 $P(E)\ge0$、$P(\Omega)=1$ 和互斥事件的可加性；一般概率模型中該性質擴展到可數個互斥事件的並。有限樣本空間只需為各結果賦非負概率且總和為一，再將事件內結果的概率相加。

因此 $P(E^c)=1-P(E)$，且

$$P(E\cup F)=P(E)+P(F)-P(E\cap F).$$

要推導第二個恆等式，將 $E\cup F$ 分成互斥部分 $E\setminus F$、$F\setminus E$ 和 $E\cap F$，使重疊部分只計一次。

等可能計數 $P(E)=|E|/|\Omega|$ 只有在有限基本結果等可能時才有效。只列出少數具名類別並不會使它們等可能。

乘法原理計算連續選擇：若第一階段有 $m$ 種選擇，且每種都有 $n$ 種第二階段選擇，則有 $mn$ 種有序選擇。從 $n$ 個對象中有序選擇 $k$ 個不同對象有 $n(n-1)\cdots(n-k+1)=n!/(n-k)!$ 種方法。忽略順序時除以 $k!$，因為每個所選的 $k$ 元子集恰有 $k!$ 種排列。因此

$$\binom nk=\frac{n!}{k!(n-k)!},\qquad0\le k\le n.$$

對 $P(B)>0$，定義 $P(A\mid B)=P(A\cap B)/P(B)$。它在限制到事件 $B$ 後重新歸一化可能結果。由此得到 $P(A\cap B)=P(A\mid B)P(B)$。

事件 $A,B$ 獨立是指 $P(A\cap B)=P(A)P(B)$。當 $P(B)>0$ 時，這等價於 $P(A\mid B)=P(A)$。概率均為正的互斥事件不獨立：其交集為空，而各自概率的乘積為正。

若 $B_1,\ldots,B_m$ 以正概率劃分樣本空間，則

$$P(A)=\sum_iP(A\mid B_i)P(B_i).$$

這是全概率公式，通過相加互斥部分 $A\cap B_i$ 得到。若 $P(A)>0$，Bayes 公式為

$$P(B_j\mid A)=\frac{P(A\mid B_j)P(B_j)}{\sum_iP(A\mid B_i)P(B_i)}.$$

隨機變量 $X$ 為每個結果指定一個實數。在本有限模型中，其分布為 $p_X(x)=P(X=x)$，且

$$E[X]=\sum_xxp_X(x)=\sum_{\omega\in\Omega}X(\omega)p(\omega),\qquad \operatorname{Var}(X)=E[(X-E[X])^2].$$

將具有相同 $X$ 值的結果歸組，即得期望的兩個表達式相等。對實常數 $a,b$，分配有限的結果求和得到

$$E[aX+bY]=\sum_{\omega}(aX(\omega)+bY(\omega))p(\omega)=aE[X]+bE[Y].$$

因此線性性不需要獨立性。令 $\mu=E[X]$，利用 $E[1]=1$ 展開平方，得

$$\operatorname{Var}(X)=E[X^2]-2\mu E[X]+\mu^2E[1]=E[X^2]-E[X]^2.$$

定義聯合分布 $p_{X,Y}(x,y)=P(X=x,Y=y)$，其中逗號表示兩個事件取交集。相應事件構成互斥劃分，因此邊緣和滿足 $\sum_yp_{X,Y}(x,y)=p_X(x)$ 和 $\sum_xp_{X,Y}(x,y)=p_Y(y)$。變量 $X,Y$ 獨立，當且僅當每對取值都滿足 $p_{X,Y}(x,y)=p_X(x)p_Y(y)$。此時

$$E[XY]=\sum_x\sum_yxy\,p_{X,Y}(x,y) =\left(\sum_xxp_X(x)\right)\left(\sum_yyp_Y(y)\right)=E[X]E[Y].$$

定義協方差 $\operatorname{Cov}(X,Y)=E[XY]-E[X]E[Y]$。展開平方並利用線性性，證明

$$\begin{aligned} \operatorname{Var}(X+Y) &=E[X^2]+2E[XY]+E[Y^2]-(E[X]+E[Y])^2\\ &=\operatorname{Var}(X)+\operatorname{Var}(Y)+2\operatorname{Cov}(X,Y). \end{aligned}$$

對具有有限二階矩的兩個隨機變量，獨立性足以保證方差相加；更一般地，它們的方差相加當且僅當協方差為零。展開和的方差會產生交叉項 $2(E[XY]-E[X]E[Y])$；變量獨立時該項為零。僅有相同邊緣分布並不能消去該項。這裏證明中的所有和均有限，重排不需要收斂假設。

Bernoulli 變量 $I$ 以概率 $p\in[0,1]$ 取一，以概率 $1-p$ 取零。因此 $E[I]=1p+0(1-p)=p$。由於 $I^2=I$，$\operatorname{Var}(I)=E[I^2]-E[I]^2=p-p^2=p(1-p)$。

設 $n$ 為非負整數，$I_1,\ldots,I_n$ 為成功概率同為 $p$ 的 Bernoulli 變量。當 $n\ge1$ 時，相互獨立的含義是：每個 $(a_1,\ldots,a_n)\in\{0,1\}^n$ 都滿足

$$P(I_1=a_1,\ldots,I_n=a_n)=\prod_{j=1}^nP(I_j=a_j).$$

這是聯合獨立，而不只是每一對獨立。令 $X=I_1+\cdots+I_n$。當 $n\ge1$ 且 $0<p<1$ 時，具有 $k$ 次成功的一個特定有序結果的概率為 $p^k(1-p)^{n-k}$。成功位置有 $\binom nk$ 種不同選擇，相應事件互斥。因此

$$P(X=k)=\binom nkp^k(1-p)^{n-k},\quad k=0,\ldots,n.$$

端點情況另行說明，不計算 $0^0$：當 $p=0$ 時，$P(X=0)=1$；當 $p=1$ 時，$P(X=n)=1$；其他取值的概率均為零。若 $n=0$，空和 $X=0$ 對每個 $p\in[0,1]$ 都以概率一成立。這些退化情況都屬於二項分布族。

當 $n\ge1$ 且 $0<p<1$ 時，由二項式定理，所示概率之和為 $(p+(1-p))^n=1$；每個退化情況的總概率也為一。由線性性，$E[X]=\sum_jE[I_j]=np$。在聯合概率分解式中對其他坐標求和，各邊緣概率之和均為一，故相互獨立蘊含兩兩獨立。因此對 $i\ne j$，$\operatorname{Cov}(I_i,I_j)=0$。展開中心化和的平方，得

$$\operatorname{Var}(X)=\sum_{j=1}^n\operatorname{Var}(I_j)+2\sum_{1\le i<j\le n}\operatorname{Cov}(I_i,I_j)=np(1-p).$$

端點及空和情況下 $X$ 為常數，期望與方差公式仍成立。不放回抽樣通常不滿足相互獨立的假設。

概率模型與信息

如果沒有說明實驗、觀察過程或獨立性假設，即使分數運算正確，也可能回答錯問題。下面用假設性有限模型研究隱藏條件、兩兩獨立與相互獨立，以及觀察機制的細節如何影響後驗概率。所需基礎包括有限樣本空間、條件概率、貝葉斯公式、期望與基本計數。

1. 樣本空間的描述

若 $P(B)=0$，這一有限條件概率比值無定義，而不是自動等於零。

實驗必須說明哪些結果等可能。均勻選出的無序子集與有序序列的樣本描述不同，但只要概率賦值一致，兩種描述都有效。分子按有序結果計數、分母按無序結果計數，便混用了兩個樣本空間；即使各自計數正確，這樣做也無效。

2. 條件獨立在混合後未必保留

以相等概率選擇隱藏的硬幣類型 $T$：H 型正面概率為 $3/4$，L 型為 $1/4$。選定類型後，將同一枚硬幣擲兩次；在給定類型的條件下，兩次投擲獨立。這是明確的條件假設，並不是忘記類型之後的獨立性。

令 $A$ 表示第一次為正面，$B$ 表示第二次為正面。由全概率公式，$P(A)=P(B)=1/2$。但是

$$P(A\cap B)=\frac12\left(\frac34\right)^2+\frac12\left(\frac14\right)^2=\frac5{16},$$

而不是 $1/4$。在混合模型中這兩個事件正相關。出現正面會使高正面概率的類型更可能：$P(T=H\mid A)=3/4$，所以

$$P(B\mid A)=\frac34\frac34+\frac14\frac14=\frac58>\frac12.$$

第一次投擲並未在物理上改變第二次投擲；改變的是關於共同隱藏類型的信息。

對於等可能的兩種類型，正面概率分別為 $p,q$，同樣推理得到

$$P(A\cap B)-P(A)P(B)=\frac{p^2+q^2}{2}-\left(\frac{p+q}{2}\right)^2=\frac{(p-q)^2}{4}.$$

因此，兩種類型的偏向相等時，這一依賴來源消失；不等時則產生依賴。若先把每個條件概率換成邊緣平均值，再相乘，就恰好抹去了這一項。

3. 兩兩獨立弱於相互獨立

事件 $A_1,\ldots,A_m$ 相互獨立，是指對每個非空指標集合 $S\subseteq\{1,\ldots,m\}$ 都有

$$P\left(\bigcap_{j\in S}A_j\right)=\prod_{j\in S}P(A_j).$$

兩兩獨立只要求這個條件對含兩個指標的集合 $S$ 成立。對三個事件，三個兩兩條件和三重交集條件都需要成立；單個事件的條件自動成立。

獨立地拋擲兩個公平比特 $X,Y$，四個結果等可能。令 $A=\{X=0\}$、$B=\{Y=0\}$、$C=\{X=Y\}$。每個事件的概率都是 $1/2$。每一對恰有一個共同結果，因此每對交集的概率都是 $1/4$，等於各自概率的乘積。然而

$$P(A\cap B\cap C)=P((X,Y)=(0,0))=\frac14\ne\frac18.$$

它們兩兩獨立，卻不相互獨立。相互獨立的定義包括三重交集條件，因此可據此將三個事件的概率相乘；僅有兩兩獨立卻不能保證該乘法成立。

以 $C$ 為條件後，只剩下 $(0,0)$ 和 $(1,1)$ 兩個結果，各自的條件概率為 $1/2$。在這一條件模型中，$A$ 與 $B$ 總是同時發生，因此 $P(A\cap B\mid C)=1/2$，而 $P(A\mid C)P(B\mid C)=1/4$。原本獨立的事件在選取共同條件後可以變得依賴。改變的是樣本空間，而不只是記號。

4. 觀察機制是似然的一部分

有三個關閉的箱子，獎品均勻隨機地放在其中一個。玩家先選一號箱。主持人知道獎品位置，總是打開一個未被選中且沒有獎品的箱子，然後讓玩家選擇是否換到另一個未打開的箱子。不以主持人打開的是哪一個箱子為條件時，換箱獲勝恰好對應玩家最初選錯，故概率為 $2/3$。這個論證不要求主持人在有兩個可選箱時均勻地打破平局，只要求其具有上述知識並始終按規則開箱、提供換箱。

現在假設玩家觀察到主持人打開三號箱。令 $J$ 表示獎品位置，並令 $\theta\in[0,1]$ 表示當 $J=1$ 時主持人打開三號箱的概率；此時兩個未選箱都可打開。於是

$$P(O_3\mid J=1)=\theta,\quad P(O_3\mid J=2)=1,\quad P(O_3\mid J=3)=0.$$

由貝葉斯公式，

$$P(J=2\mid O_3)=\frac{1/3}{\theta/3+1/3}=\frac1{1+\theta}.$$

均勻打破平局意味著 $\theta=1/2$，得到 $2/3$。總選編號較大的可開箱意味著 $\theta=1$，後驗概率為 $1/2$。兩個箱子均可選時從不打開三號箱意味著 $\theta=0$，觀察到三號箱打開後後驗概率為 1。不同機制下這一觀察的信息量不同，儘管不加條件的換箱勝率始終為 $2/3$。

這裡沒有矛盾：按照相應機制對條件結果取平均，便恢復同一個無條件概率。若有人說“打開了一個無獎品的箱子，所以剩下兩個箱子必定等可能”，這既沒有給出相關似然，也沒有給出有效的對稱性論證。主持人利用所知信息選擇觀察結果，破壞了這種簡單對稱性。

5. 賠率區分似然與先驗信念

令 $B$ 為假設，滿足 $0<P(B)<1$，並設觀察事件 $A$ 在 $B$ 和 $B^c$ 下的條件概率均為正。兩次應用條件概率定義得到

$$\frac{P(B\mid A)}{P(B^c\mid A)} =\frac{P(A\cap B)}{P(A\cap B^c)} =\frac{P(A\mid B)}{P(A\mid B^c)}\frac{P(B)}{P(B^c)}.$$

第一因子是似然比，第二因子是先驗賠率，乘積是後驗賠率。證據可以支持一個先前不太可能的假設，但不一定使它比其對立假設更可能。具體地，似然比大於 1 會提高該假設的概率，但後驗是否超過二分之一，還取決於先驗賠率。這是指定模型中的代數結論，並不保證現實中某個假設為真。

6. 不放回抽樣：期望不要求獨立

設 $N,K,n$ 為整數，滿足 $N\ge0$、$0\le K\le N$ 和 $0\le n\le N$。從 $N$ 個不同物體中依次不放回抽取 $n$ 個，其中 $K$ 個帶標記；每一步都在剩餘物體中等概率選擇。每個由不同物體組成的有序樣本因而等可能。忽略順序後，因每個 $n$ 元子集都有恰好 $n!$ 種順序，所得分布正是各 $n$ 元子集上的均勻分布。令 $X$ 為抽中帶標記物體的數量。對 $n$ 個抽取位置中的每一個，定義指示變量：帶標記時 $I_j=1$，否則為零。由對稱性，每個固定位置上各物體等可能出現，故當 $N>0$ 時，每個指示變量取一的邊緣概率為 $K/N$。這些指示變量不一定獨立；在 $K=0$ 或 $K=N$ 等退化情形，它們都是常量。當 $N>0$ 時，由線性性得到

$$E[X]=\sum_{j=1}^n E[I_j]=\frac{nK}{N}.$$

當 $N=0$ 時，必有 $K=n=0$ 且 $X=0$，因此 $E[X]=0$。當 $N=1$ 時，允許的抽樣給出確定的計數，因此 $\operatorname{Var}(X)=0$。這裡沒有使用聯合概率相乘，因此不需要獨立性。相比之下，除非已經證明獨立或其他協方差為零的條件，和的方差包含協方差項。不能直接把獨立有放回試驗的二項模型套用於這一實驗。

當 $N>1$ 且 $n\ge2$ 時，任意兩個不同抽取位置上的有序物體對均勻分布於 $N(N-1)$ 個不同物體的有序對中，其中恰有 $K(K-1)$ 對都帶標記。因此 $E[I_iI_j]=P(I_i=I_j=1)=K(K-1)/(N(N-1))$。若 $n<2$，則沒有這樣的指標對，協方差求和為空。減去 $(K/N)^2$ 得到協方差 $-p(1-p)/(N-1)$，其中 $p=K/N$。因此

$$\operatorname{Var}(X)=np(1-p)\frac{N-n}{N-1}.$$

抽取全部物體時，有限總體修正因子使方差為零，這也是必須的：此時 $X=K$ 是確定值。這在代數代入之外提供了模型一致性檢驗。

分層綜合與診斷

1. 邏輯區分。 證明兩個概率為正的互斥事件不獨立。給出一個交集非空而彼此獨立的事件的有限例子。
2. 隱藏混合。 對等可能的隱藏類型推導依賴差 $(p-q)^2/4$，並準確指出模型中兩次出現正面的事件何時獨立。
3. 條件選擇。 在雙比特例子中計算 $P(A\mid C)$、$P(B\mid C)$ 和 $P(A\cap B\mid C)$，並判斷“獨立性在條件化下總能保留”這一說法。
4. 主持人機制。 對一般的 $\theta$ 推導觀察到三號箱被打開時的換箱後驗概率。解釋它為何可變化而無條件換箱勝率仍為 $2/3$。
5. 證據。 在上述正概率假設下，證明似然比大於 1 會提高 $P(B)$。它是否必然使 $P(B\mid A)>1/2$？
6. 抽樣。 利用指示變量對的概率推導不放回抽樣的方差公式。對 $N=1$ 單獨處理，不要除以 $N-1$。

完整解答

1. 互斥使交集概率為零，而兩個正的邊緣概率之積為正；獨立性卻要求二者相等。交集非空的獨立例子：在四個公平雙比特結果上取 $A=\{X=0\}$ 和 $B=\{Y=0\}$。它們的邊緣概率均為 $1/2$，交集是唯一結果 $(0,0)$，概率為 $1/4$。
2. 條件獨立給出聯合概率 $(p^2+q^2)/2$，每個邊緣概率為 $(p+q)/2$，兩者之差為 $[2p^2+2q^2-(p+q)^2]/4=(p-q)^2/4$。兩事件獨立當且僅當此差為零，也就是 $p=q$，包括偏向處於邊界的情況。給定類型時的條件獨立始終成立；這裡的結論針對混合後的模型。
3. 給定 $C$ 後，剩下的兩個結果等可能。每個邊緣概率是 $1/2$，交集的條件概率為 $1/2$，而不是乘積 $1/4$。因此條件化一般不保留獨立性。在這個選取後的模型中，兩事件重合，樣本空間清楚解釋了依賴為何改變。
4. $O_3$ 與 $J=1,2,3$ 的三個聯合權重為 $\theta/3,1/3,0$。歸一化後，換箱成功的後驗概率為 $1/(1+\theta)$。無條件地，第一次選錯的概率為 $2/3$，此時機制必然將獎品留在換箱目標中；第一次選對時換箱會輸。以主持人的某一特定行為為條件，會隨著 $\theta$ 改變而選擇初始情形的不同比例，但不改變它們原來的概率。
5. 記先驗賠率為 $o=P(B)/(1-P(B))>0$，似然比為 $\ell>1$。後驗賠率是 $\ell o>o$。對於正的 $u$，映射 $u\mapsto u/(1+u)$ 嚴格遞增，因為交叉相乘保持不等號，故後驗概率大於先驗概率。它不一定超過二分之一：若 $o<1/\ell$，後驗賠率仍小於 1。例如對任意固定的有限似然比，充分小的正先驗滿足此不等式。
6. 每個指示變量的方差是 $p(1-p)$。不同位置的協方差為 $K(K-1)/(N(N-1))-K^2/N^2=-p(1-p)/(N-1)$。展開中心化和的平方，得到 $np(1-p)+n(n-1)[-p(1-p)/(N-1)]=np(1-p)(N-n)/(N-1)$。當 $N=1$ 時，允許的 $n$ 為零或一；$X$ 分別為零或確定的帶標記數量，因此方差直接為零。若 $N=0$，只允許空抽樣，且 $X=0$；不使用含 $K/N$ 的公式。

總結與術語

條件獨立討論固定信息後的模型；邊緣獨立討論對該信息取平均後的模型。相互獨立約束超出兩兩交集的聯合交集。機制規定觀察如何被選出，從而規定其似然。協方差記錄方差中的交叉項，而期望可加並不要求協方差為零。應用概率公式之前，必須說明實驗與信息流。