概率分類器不只是給特徵向量貼標籤,也描述觀察到的特徵有多支持各類別。當錯誤成本不同,或兩個預測概率相近,這個分別尤其重要。模型假設亦因此必須明確:只有在指定的聯合模型下,才可直接相乘特徵概率。
本節研究二元特徵,推導樸素貝葉斯(Naive Bayes)後驗,再把乘積轉成線性的對數概率比。精確計數例子會說明為何已觀察到的零值特徵仍提供證據。平滑防止零計數概率,但不能修復所有相依問題。
先分析條件風險,再決定分類規則
設 為類別, 為二元特徵。在觀察 後,寫 。
命題 3.3.1
(最小條件風險)
設 ,故 。設假陽性成本為 ,假陰性成本為 ,正確預測成本為零。預測一的條件風險是 ,預測零的條件風險是 。因此風險較小的預測恰在 時是一,即在
時是一。成本相等時,這就是最大後驗規則。風險相等時,依約定選類別零。
證明
(比較兩個條件風險)
預測一只在 時出錯,概率為 、成本為 ;預測零只在 時出錯,概率為 、成本為 。因此恰在 時選一。代入 得 ,再除以正數 ,便得所述閾值。若兩個成本都是一,預測 的風險為 ,所以最小化風險就是最大化後驗。
證明透視
閾值依賴甚麼
除了風險的定義外,唯一用到其他事實的一步是代入 ,這要求兩個類別窮盡所有結果。兩個成本為正這個條件用於除以 。二分之一只在兩個成本相等時出現:它來自成本假設,不能只由概率記號推出。相等時兩個風險一致,所以平手規則是一項選擇,而不是推論的結果。
這個命題是相對於所提供的概率而言的。若擬合模型的後驗不同於真實條件概率,這條規則對模型而言是最佳,對數據則未必。
這是相對於提供給規則的概率而言的最佳決策。若擬合模型與實際數據分布不同,模型後驗未必是真實條件概率。
明確寫出伯努利樸素貝葉斯模型
定義 3.3.2
(類別先驗與條件獨立)
設 ,,並令
伯努利(Bernoulli)樸素貝葉斯假設:給定類別後,各特徵獨立,即
使用 , 使用 。這描述二元出現或未出現觀察,不是出現次數。零是已觀察值,不代表數據遺漏。
對每個類別,把乘積對全部二元向量相加,得到 ,所以模型正規化。獨立性是聯合分布假設,分開擬合各概率並不能證明它。
條件獨立亦不同於不加條件的獨立。若類別是公平二元值,且 ,給定類別後兩特徵固定,因而獨立。但未給類別時,,兩個邊際概率之積卻為 。
貝葉斯公式給出未正規化分數
前提是 。相等成本下,直接比較 已足夠,因為兩者分母相同且為正。
從計數估計,再說清楚平滑改了甚麼
假設每類都有 個標記訓練例子, 是類別 中特徵 為一的次數。經驗先驗為 ,。
單一特徵與類別的獨立伯努利對數似然為
當 ,令導數為零得到 。二階導數 ,所以是唯一最大值。若 或 ,最大值則在零或一。
邊界估計可能令未曾觀察到的某個結果,把整個類別分數變零。若所有類別都給新向量零概率,後驗的正規化便無定義。
定義 3.3.3
(對稱偽計數平滑)
給定 ,分別為一與零的計數加上 :
二元特徵有兩個結果,所以分母是 。兩概率和為一,且嚴格介於零與一。單位偽計數 常稱 Laplace 平滑。
這定義的是平滑估計,不是只使用觀察數據的普通最大似然估計。配合正先驗,它令每個二元向量的兩個類別分數都正,但不會證明條件獨立,也不會修復模型設定錯誤。計數固定而 越大,各特徵概率越接近二分之一,類別特有的影響便減弱。
例題 3.3.4
(精確後驗同時使用一值與零值特徵)
使用以下合成計數,每類四個例子:
| 類別 | 特徵一的計數 | 特徵二的計數 | |
|---|---|---|---|
取 ,先驗均為 ,而
對 ,第二特徵未出現,但這是已觀察到的零結果。分數為
所以類別一的模型後驗為 ,相等成本下預測一。
若丟掉零值因子,兩分數變為 ,後驗成為 ,已是不同計算。伯努利模型也為未出現指定概率;多項分布的計數模型使用另一種似然,不能悄悄替換其規則。
若後驗 ,假陽性成本五、假陰性成本一,預測一的風險為 ,預測零則為 ,因此成本敏感規則選零。最可能的類別可以不同於成本最低的決策。
下面的互動圖由計數重新計算這個例題模型,可逐一檢查每個觀察到的缺席所貢獻的因子、改變偽計數,並看到改變錯誤成本只會改變決策,不會改變擬合後驗。
例題 3.3.5
(平滑修復零計數造成的後驗)
每類有四個例子,共兩個特徵。類別零中,特徵一出現 次,特徵二出現 次;類別一中,特徵一出現 次,特徵二出現 次。兩個先驗都是 ,向量為 。
未平滑的估計是 與 。類別零因特徵一出現而得 ,類別一因特徵二出現而得 ,所以 ,後驗沒有定義。
取 ,各特徵取一的概率為 、、、。於是
類別一的後驗為 ,相等成本下預測類別零。平滑令計算有定義,卻沒有令獨立假設成立。這是未平滑的分數全部消失的邊界情形。
常見錯誤
(只把偽計數加到分子)
對 、、,估計 (取一)與 (取零)並不是概率:兩者之和是 。兩個結果各得 ,所以分母必須是 ,得 與 。
把乘積轉成線性對數概率比
先驗為正、特徵概率嚴格介於 時,對數均有定義。
命題 3.3.6
(樸素貝葉斯的對數概率比對特徵是線性的)
設 ,且對每個 與 都有 。則對每個二元向量 都有
其中
證明
(取兩個分數的比)
後驗的正規化分母 對兩個類別相同,所以後驗之比是 。對兩個乘積取對數,得到
在第二行中,把 展開為 。乘以 的各項合起來是 ,其餘各項組成 。
因此,二元樸素貝葉斯雖由條件乘積建立,對數後驗比卻是線性的。相等成本時,分數正就選一;不同成本時,改與 比較。例子分數為 ,成本比五的閾值 更高。
由兩個對數分數 計算概率時,取 ,再正規化 。最大指數值為一,避免把許多小概率相乘後,兩分數都消失。共同因子在數學上相消,程式則計算模型概率的浮點近似。
例題 3.3.7
(對數概率比分數重現每個後驗,包括平手)
取第一個例題的計數與 ,平滑概率為 、,先驗相等。權重為
常數為 。因此類別一的對數概率比是 。
| 向量 | 對數概率比 | 類別一的後驗 | 相等成本下的預測 |
|---|---|---|---|
| (平手) | |||
| (平手) |
概率比 給出後驗 ,概率比 給出 ,概率比 給出 。直接計算分數結果一致:在 與 , 與 都等於 。兩個平手向量說明,分數為零就是精確平手,並由既定約定歸入類別零。兩個特徵的權重相反,因為特徵一偏向類別一,特徵二偏向類別零。
概念視角幾何
穿過二元立方體的超平面
從幾何看,擬合規則是半空間檢驗。設閾值為 (成本相等時 ,否則 ),則 是 中以 為法向量的超平面;在 的頂點中,嚴格位於其正側的預測類別一。改變成本只會平移超平面,不會使它轉向。在例子的模型中 、,所以成本相等時邊界是 ,平手向量 與 正好落在其上。成本比為五時邊界是 ,在頂點 之外,因此沒有任何頂點被歸入類別一。
常見錯誤
(對數概率比為零只是相等成本下的閾值)
上面向量 的對數概率比是 ,為正,所以成本相等時預測類別一。若 、,閾值是 ,同一向量便歸入類別零。分數屬於擬合模型,閾值則屬於決策問題。
相依可以扭曲信心,也可以丟失有效訊號
反例模式
複製特徵可能把同一證據算兩次
設真實分布的先驗相等,且 。假設 、。
對 ,真實類別條件概率為 ,第二特徵沒有新資訊,真實後驗為 。樸素分解卻把兩概率平方,得到
類別未改,信心卻被放大。平滑零計數不會消除這項重複證據。
另一種情況是 為獨立公平位元,而 。每類內各特徵為一的概率都為二分之一。使用這些精確邊際值的樸素模型,對每個向量都給二分之一後驗,但兩位元一起看卻完全決定標籤。這裏無條件獨立成立,條件獨立反而失敗;資訊藏在交互關係,不在單一頻率。
直接儲存對數概率的實作
以下使用單位偽計數及經驗類別先驗,要求訓練數據兩類都存在,且每列為同維度、非空二元向量。零結果的對數概率從平滑計數直接計算,不用一減已捨入的概率。
from math import exp, log
def fit_bernoulli_nb(rows, labels):
rows = [tuple(row) for row in rows]
labels = tuple(labels)
if not rows or len(rows) != len(labels):
raise ValueError("one label is required for every training row")
dimension = len(rows[0])
if not dimension or any(len(row) != dimension for row in rows):
raise ValueError("rows must have the same positive dimension")
if (any(value not in (0, 1) for row in rows for value in row)
or any(label not in (0, 1) for label in labels)):
raise ValueError("features and labels must be binary")
counts = [labels.count(y) for y in (0, 1)]
if 0 in counts:
raise ValueError("both classes must occur in the training data")
log_prior, log_one, log_zero, one_counts = [], [], [], []
for y in (0, 1):
ones = [sum(int(row[j]) for row, label in zip(rows, labels)
if label == y) for j in range(dimension)]
one_counts.append(ones)
denominator = log(counts[y] + 2)
log_prior.append(log(counts[y]) - log(len(rows)))
log_one.append([log(s + 1) - denominator for s in ones])
log_zero.append([log(counts[y] - s + 1) - denominator for s in ones])
return log_prior, log_one, log_zero, counts, one_counts
def predict_bernoulli_nb(features, model):
log_prior, log_one, log_zero, counts, one_counts = model
features = tuple(features)
if (len(features) != len(log_one[0])
or any(value not in (0, 1) for value in features)):
raise ValueError("features must be a binary row of the trained dimension")
scores = [log_prior[y] + sum(
log_one[y][j] if value else log_zero[y][j]
for j, value in enumerate(features)) for y in (0, 1)]
maximum = max(scores)
weights = [exp(score - maximum) for score in scores]
total = sum(weights)
posterior = [weight / total for weight in weights]
# Compare exact rational scores after canceling the common factor 1 / N.
numerators = []
for y in (0, 1):
numerator = counts[y]
for j, value in enumerate(features):
ones = one_counts[y][j]
numerator *= ones + 1 if value else counts[y] - ones + 1
numerators.append(numerator)
dimension = len(features)
prediction = int(
numerators[1] * (counts[0] + 2) ** dimension
> numerators[0] * (counts[1] + 2) ** dimension
)
return prediction, posterior
這個特定模型以精確整數運算決定類別:消去共同因子 後,類別 的分數是 乘各選取的平滑計數,再除以 。交叉相乘比較有理數分數,不依賴容差。直接比較浮點對數分數無法可靠識別數學上的平手。例如類別零有一行 (1,1),類別一有四行 (0,1), (0,1), (0,1), (0,0);在 (1,1) 處,,但捨入後的對數分數仍可能不同。回傳的後驗仍由浮點對數分數計算,是近似值,平手時亦然。
可重現例子計數的數據是:類別零的行 (0,1), (0,1), (1,1), (0,0);類別一的行 (1,0), (1,0), (1,1), (0,0)。對 (1,0),程式輸出類別一,以及約 [0.2, 0.8]。
對 行、 個特徵,擬合需要 次基本計數運算,模型儲存 個項目;這個教學實作亦會把輸入行全部存入記憶體。預測需要 次浮點運算及 次整數乘法,但精確整數乘積的位數會隨 和 增長,所以其位元成本並非常數。預測函數實現的是相等成本分類;近似後驗則可用於另行明確選定的成本敏感決策。
行、 個特徵的擬合使用 次基本計數運算,模型儲存 個項目;此教學實作也會把輸入行實體化。預測使用 次浮點運算及 次整數乘法,但精確整數乘積的位數會隨 和 增長,因此每次整數運算的位元成本並非常數。函數實作相等成本分類;近似後驗亦可另配明確指定的成本敏感決策。
練習與詳解
快速檢查
(1. 正規化平滑二元計數)
若單一特徵 ,求一及零的概率。為何分母六而不是五?
解答 · 解答 1
兩概率為 及 。兩種結果各加一個偽計數。若都用分母五,總和會變 ,不是概率分布。
快速檢查
(2. 保留零值特徵的證據)
例子的 有哪些類別分數及後驗?若錯誤省略第二個零值特徵,後驗是多少?
解答 · 解答 2
正確分數為 ,類別一後驗為 。丟掉零結果因子後,變成 ,後驗 。出現及未出現,都是模型中的已觀察伯努利結果。
快速檢查
(3. 改成本,不改後驗)
後驗 ,假陽性成本五、假陰性成本一,求兩個決策風險、最佳類別及 閾值。
解答 · 解答 3
預測一風險為 ,預測零為 ,故選零。閾值 高於 。概率沒有改,決策目標改了。
快速檢查
(4. 分清兩種獨立性)
公平類別滿足 時,給定 後兩特徵獨立嗎?不給定時呢?比較有關概率。
解答 · 解答 4
給定類別後兩者固定,條件聯合概率可分解,所以條件獨立。邊際的 (1,1) 概率為 ,但兩個一值概率之積為 ,所以無條件獨立失敗。
快速檢查
(5. 正確計算重複證據)
複製特徵反例在 (1,1) 的真實與樸素後驗是多少?為何高樸素後驗不能證明有兩項獨立證據?
解答 · 解答 5
真實後驗為 ,樸素後驗為 。第二特徵是第一個的完全複製,沒有額外條件資訊。相乘兩個因子,正好用了此例不成立的獨立假設。
快速檢查
(6. 解釋遺失的交互關係)
獨立公平輸入位元以 XOR 標記時,各類內的特徵一值概率是多少?樸素分解給甚麼後驗?原本兩位元為何仍可完美分類?
解答 · 解答 6
全部條件一值概率都是 ,先驗也都是 。每個向量的兩個分數都為 ,後驗是 [1/2, 1/2]。但直接檢查兩位元是否不同,就得到標籤。丟掉的是依類別改變的聯合模式,條件乘積模型沒有表示它。