動機
直方圖先選定區域的寬度,再數有多少觀測落在其中。近鄰估計把問題倒過來:要收集指定數量的觀測,需要多大的空間?數據密集時,所需半徑小,估計密度便高。當固定寬度把密集區抹得太平,卻又令稀疏區幾乎沒有觀測時,這種做法特別自然。不過,看似簡單的構造仍須指定距離、與距離相符的體積、近鄰數目及邊界處理方法。
密度是每單位體積的概率,只數近鄰並不足夠。若一個座標以米量度,另一個以毫米量度,普通歐幾里得(Euclid)球的實際意義便改變了。同樣地,邊界上的球可能伸入觀測根本不可能出現的區域。把這部分體積也放進分母,即使樣本很大,仍會造成系統誤差。
本節從上述問題構造估計量,證明一個範圍明確的一致性結果,並完整計算小樣本的帶寬比較。定理只涉及一個固定位置的密度,不是近鄰分類定理,也不是所有位置的一致誤差界或高維恢復保證。後三者需要各自的假設及論證。
定義
定義 24.1.1
(近鄰半徑與密度高度)
給定 、 及固定查詢點 。採用歐幾里得距離,令 為 中第 小的值。以 表示單位歐幾里得球的體積,例如 、。當 時,定義
若已知支撐集 ,可改用 ,在該體積為正時定義 。
這是局部的密度高度估計,整個函數不一定積分為一。例如在一維、所有觀測右方,半徑為 ,因此尾部與 成比例,其積分發散。逐點估計仍可有意義,但不能自動把這個原始函數當作已正規化的概率模型來計算似然。採用正規化核函數的核估計,具有另一種全域正規化性質。
概念視角分析
以半徑為帶寬的核估計
由於沒有距離相同的情況,恰有 個觀測值落在與 距離不超過 的範圍內。因此
這是以均勻球核為核函數的核估計,其帶寬 隨查詢點和數據而變。固定帶寬的核估計固定寬度,讓個數變動;近鄰規則則固定個數,讓寬度變動。
若觀測有 Lebesgue 密度,對固定查詢點,距離幾乎必然不為零,也沒有並列,因為球面具有零 Lebesgue 測度。重複或經四捨五入的讀數可能不符合這個理想化模型;應交代並列規則及量度模型,不能直接除以零。若改用另一個範數的距離,也須把 改為該範數單位球的體積。
定義 24.1.2
(多變量核帶寬)
對稱正定矩陣 定義高斯(Gauss)核
這裏 是協方差帶寬矩陣,其特徵值是平滑寬度的平方。若 ,平滑寬度是 ,不是 。非零的非對角項容許沿旋轉後的橢球平滑。
線性改變量度單位時,體積也要一同改變。若 ,其中 可逆,相應帶寬滿足 ,密度則滿足 。標準化座標中的密度圖有不同的數值高度;加入 Jacobian 因子後,所代表的概率質量才保持不變。
定理與命題
定理 24.1.3
(正連續密度位置的近鄰逐點一致性)
固定維數 ,設 獨立同分佈,在 上有共同 Lebesgue 密度 。固定一個 連續且 的位置 。整數序列 滿足 、 及 。則
支撐集版本可在固定 使用,但須明確假設:對所有充分小的正 ,,而且
此版本的觀測支撐於 , 表示上述局部密度極限,估計量改用 。它不要求把密度在支撐集外延為零後,仍在邊界連續。
定理 24.1.4
(反射構造正規化的半直線核估計)
設 , 是實直線上的非負對稱密度。對 及 ,定義
這個函數非負,在 上積分為一。若觀測均勻分佈於 ,且 ,則對 ,反射估計在零的期望等於一,普通未反射估計在零的期望則為 。這個精確結果消除了本例的主要邊界誤差,並不是一般無偏性宣稱。
定理 24.1.5
(把當前觀測留出的積分誤差分數)
固定正定矩陣 ,設 個獨立觀測來自 。令
則 ,並且
因此可用完全可計算的分數比較預先列明的有限帶寬網格。期望恆等式對每個固定矩陣成立;選出的最小分數不因此成為所選程序風險的無偏估計。
證明與思路
證明
(先控制概率質量,再把質量換成體積)
記 ,這是連續的距離分佈函數。概率積分變換給出獨立均勻變量 ,且幾乎必然有 。第 順序統計量的密度是
推導時,選出哪 個均勻變量在 下方、哪一個落在 附近的小區間、哪 個在上方,再除以區間寬度。對這個 beta 密度積分,得到
取 , 的均值趨於一,方差不超過 ,故 Chebyshev 不等式推出 依概率成立。又因 ,有 依概率成立。局部密度為正先保證充分小半徑的 ,再由單調性推得每個固定 都成立。事件 蘊含 ,從而 依概率成立。
由 在 連續,
因此
支撐集版本以 取代 ,並使用已明確假設的局部平均極限。該極限亦保證小 時 ,概率質量的計算則完全相同。本證明沒有給出均方速率,也沒有證明所有位置上的一致收斂。
證明透視
兩個近鄰條件各自負責不同工作
令鄰域縮小,使局部平均接近查詢點的密度; 則使隨機概率質量相對於 穩定。鄰域可以不斷縮小,卻始終只含太少觀測,因而密度高度仍很不穩定。下文「常見誤解」中固定一個近鄰的反例,正好把這種失敗單獨展示出來。
證明
(反射正規化與積分誤差分數)
對每個非負觀測,兩個反射項的總積分經換元後為
最後一步使用對稱性。取平均便證明正規化。在零點,箱形核的反射項令普通項加倍。均勻觀測在距離零不超過 的概率為 ,所以兩種期望分別為 與 。
對誤差分數, 與把它留出後的估計獨立,故
使用 個與 個觀測的估計有相同期望。展開積分平方誤差,即得期望恆等式。最後,對兩個高斯核的乘積配方,可得 ;加總便得到可計算公式。固定 時高斯核有界且可積,在 下所需積分及期望均有限。
算例
例題 24.1.6
(五個觀測與真正算出的邊界修正)
取 ,觀測為 。在 ,距離依次為 。若 ,半徑是 ,高度為 。若 ,半徑為 ,高度便是二。兩者都由同一樣本算出;高度較大不代表較小鄰域估計得較準。
若已知支撐為 ,在零點取 ,半徑為 。未修正高度是 ,但可用區間只有 ,因此支撐修正高度為 。加倍補回邊界上不可用的半個球,並沒有令有限隨機估計必然等於真實均勻密度一。
另用反射箱形核估計同一樣本,取 。剛好有兩個觀測在零點距離 內,普通 KDE 高度是 ,反射高度為一。整個反射函數在半直線正規化;若把普通 KDE 在所有位置直接加倍,整條實直線上的質量亦會加倍,並不是同一個構造。
例題 24.1.7
(正方形樣本的兩個完整矩陣帶寬分數)
取四點 ,令 。在 ,四個高斯項相同,所以
若 ,高度為 ;若 ,則為 。行列式降低高度,而第二座標寬度增大又改變了指數,兩項影響都不能省略。
積分平方項含四個自身配對、四個有序水平配對、四個有序垂直配對及四個有序對角配對。每個留出點的其他三點,則分別為一個水平、一個垂直及一個對角近鄰。因此
算得 、。這兩個預先指定的候選中,第二個分數較小。分數可以為負,因為其期望已減去未知常數 。四個觀測並不能證明這個帶寬在總體上最優。樣本在交換座標後不變,因此旋轉選擇 在此給出同分。
例題 24.1.8
(改變單位而保持估計概率質量)
設 座標的帶寬為 ,量度座標為 ,。則 。由於 ,相應位置的密度高度相同,但圓形平滑區域變成橢圓。若改用 ,則 ,高度除以 1000。數值下降反映座標體積變大,不是概率流失。
常見誤解
反例模式
只取一個最近鄰,高度可以永遠不穩定
人們很容易以為,既然半徑隨 增大而縮小,只取一個最近鄰就足夠。事實並非如此。設觀測均勻分佈於 ,固定 及 。對固定 ,當 大至 時,
因為高度大於 ,恰好等價於至少一個觀測落在半徑 內。取 ,極限概率為 ,但真實密度是一,所以估計不依概率收斂至一。僅有半徑縮小,不能取代 。
密度高度以樣本數及實際體積去除計數。 近鄰分類器則比較選定近鄰內的標籤比例:標籤 的後驗估計為 ,沒有球體積分母。本節密度定理既沒有證明分類一致性,也沒有證明把估計密度代入決策後達到最優風險。即使另一個近鄰方法採用看似相近的條件,仍須分清估計目標與證明。
常見錯誤
(自身計數與由數據選出的帶寬)
若把 改為 ,便加入隨帶寬縮小而增大的自身核值 ,可能獎勵過度集中的尖峰。留出估計的分母是 。若帶寬或縮放矩陣由同一批觀測選出,它就是隨機的,不能只把實現值稱為固定矩陣,便重用固定 的期望證明。
常見錯誤
(驗證數據滲漏)
評估完整擬合程序時,應先指定候選族與評分規則,保留獨立外層評估數據,並把均值、尺度、支撐估計及帶寬選擇全部放在開發數據內。若驗證程序會學習尺度,每折都須只以該折訓練部分重估尺度,再把儲存好的轉換用於驗證部分。選好程序後,在全部開發數據重擬合,最後只查看未接觸的測試數據一次。已知物理支撐可預先固定;若支撐由全部觀測的極值推斷,便已用了驗證觀測。以上精確分數是透明的固定帶寬比較,不是完整的選模後不確定性分析。
小結
近鄰密度構造先估計小區域的概率質量,再除以相應可用體積。逐點一致性證明同時需要近鄰數增加及質量比例縮小。反射給出正規化的半直線核估計,矩陣帶寬則以有意義的量度單位描述多變量平滑。留出積分誤差分數可以實算,但選出的最小值不是獨立風險證據。
練習
快速檢查
(對上述五個觀測,在查詢點一取兩個近鄰,已知支撐為 [0,1]。計算普通與支撐修正的密度高度。)
先找第二近觀測,再算實際可用區間長度。
解答 · 答案
至一的距離為 ,第二近半徑是 。普通高度為 ;可用區間為 ,長度 ,故修正高度是二。修正的是可用體積,不是樣本波動。
快速檢查
(觀測均勻分佈於 [0,1],查詢零點,固定 k 大於一。求支撐修正高度 k/(n R) 的精確期望,並解釋 k 等於一時的情況。)
半徑是 n 個獨立均勻變量的第 k 順序統計量;把 beta 密度除以其自變量後積分。
解答 · 答案
半徑的 beta 密度為 。當 ,beta 積分給出 ,故 。即使已修正邊界體積,有限樣本的均值仍向上偏。當 ,零附近的積分含 而發散。依概率收斂不能直接推出期望收斂;本節定理刻意沒有作出這種宣稱。
快速檢查
(若積分誤差分數改在每個觀測處使用完整估計,而非留出估計,自身計數項有何改變?所有帶寬寬度趨於零時,為何危險?)
把完整估計寫成自身項加上留出估計的 (n−1)/n 倍。
解答 · 答案
令 。則 ,所以錯誤分數減去正確分數為 。當 ,額外的負自身項發散。特別地,若固定觀測互異且 ,非對角核值趨於零,而積分平方的對角項為 。錯誤分數遂如 ,反而獎勵任意狹窄的尖峰。
快速檢查
(二維密度在 座標的帶寬為 ,改用 。求新帶寬與密度高度倍數,並指出逐點近鄰定理有否證明分類一致性。)
分別變換協方差帶寬及體積。
解答 · 答案
新矩陣為 。高度乘以 ,相應體積乘以六,故所表示的概率質量不變。定理只在列明的密度假設下,證明固定位置的密度一致性,沒有推導分類一致性。