你的進度
0/ 28 節已標記完成
下一節: 決策、估計與線性表示
完成記錄儲存在此瀏覽器中。
這門課在網上
CSCI3320 筆記裏的內容
- 定理卡
- 70
- 定義
- 53
- 反例
- 30
- 概念視角
- 21
- 思想史
- 6
- 證明透視
- 33
有思想史的節
- 因子模型的估計與概率主成分分析4.1
- 正規化割與多路譜聚類5.1
- NMF 求解:乘法下降與非負最小二乘6.1
- RPCL 與學習過程中的模型選擇7.1
- 樂觀偏差、有效維度與資訊準則26.1
- 概率校準:Brier 分解與決策成本28.1
這些思想史還沒有放上時間線。
這門課的概念視角還沒有記錄到網上。
數字只算這門課 28 節公開筆記裏寫了甚麼,不是網上已記錄的關係。目前其中 0 節已細緻地記錄到網上。
在網上定理卡 70 · 定義 53 · 反例 30 · 概念視角 21 · 思想史 6 · 證明透視 33
第 1 章 · 1 節
統計基礎與線性幾何
區分預測損失與似然,推導最小二乘,並比較奇異值分解及費歇判別的幾何目的。
- 1.1
決策、估計與線性表示
區分預測損失與似然,推導最小二乘,並比較奇異值分解及費歇判別的幾何目的。
第 2 章 · 1 節
潛在概率模型
推導 EM 下界,計算高斯混合更新,並分析協方差塌縮與潛在因子的不可識別性。
- 2.1
高斯混合、EM 與因子模型
推導 EM 下界,計算高斯混合更新,並分析協方差塌縮與潛在因子的不可識別性。
第 3 章 · 1 節
聚類、正則化與模型選擇
證明 k-means 下降與圖拉普拉斯恆等式,再推導嶺回歸及稀疏收縮,並審慎處理模型選擇。
- 3.1
聚類幾何、圖結構與小樣本控制
證明 k-means 下降與圖拉普拉斯恆等式,再推導嶺回歸及稀疏收縮,並審慎處理模型選擇。
第 4 章 · 1 節
因子模型的估計與概率主成分分析
推導高斯後驗充分統計量,完成因子分析的 EM 更新,並說明等方差噪音與主成分的關係。
- 4.1
因子模型的估計與概率主成分分析
推導高斯後驗充分統計量,完成因子分析的 EM 更新,並說明等方差噪音與主成分的關係。
第 5 章 · 1 節
正規化割與多路譜聚類
建立相似度圖,推導正規化割的跡鬆弛,並完成譜嵌入、行正規化及離散分組。
- 5.1
正規化割與多路譜聚類
建立相似度圖,推導正規化割的跡鬆弛,並完成譜嵌入、行正規化及離散分組。
第 6 章 · 1 節
NMF 求解:乘法下降與非負最小二乘
以有效輔助函數證明下降,分析零鎖定,並推導交替非負最小二乘方法。
- 6.1
NMF 求解:乘法下降與非負最小二乘
以有效輔助函數證明下降,分析零鎖定,並推導交替非負最小二乘方法。
第 7 章 · 1 節
RPCL 與學習過程中的模型選擇
精確指定頻率敏感的對手懲罰,分析局部作用與限制,並對照明確的懲罰式增刪程序。
- 7.1
RPCL 與學習過程中的模型選擇
精確指定頻率敏感的對手懲罰,分析局部作用與限制,並對照明確的懲罰式增刪程序。
第 8 章 · 1 節
相關預測變量的稀疏求解與誠實驗證
推導一般設計下的 lasso 坐標與近端更新,證明下降及擬合值唯一性,並區分調參與評估。
- 8.1
相關預測變量的稀疏求解與誠實驗證
推導一般設計下的 lasso 坐標與近端更新,證明下降及擬合值唯一性,並區分調參與評估。
第 9 章 · 2 節
資訊量度
有限交叉熵、相對熵與對數損失。
- 9.1
交叉熵與相對熵
證明有限分佈的非負性,並把對數損失連接到經驗頻率。
- 9.2
互資訊與數據處理不等式
推導有限互資訊、其鏈式法則及數據處理不等式。
第 10 章 · 2 節
風險與正則化
重複訓練下的期望平方損失與收縮。
- 10.1
平方損失下的偏差、方差與收縮
推導逐點預測風險,並以收縮例子量化偏差與方差的取捨。
- 10.2
以譜收縮理解嶺迴歸
利用奇異值分解推導嶺迴歸係數與擬合值,涵蓋秩不足的設計矩陣。
第 11 章 · 1 節
排序與評估
ROC 曲線、分數並列及排序概率。
- 11.1
ROC 曲線、並列分數與排序概率
構造經驗 ROC 曲線,並證明梯形 AUC 對並列分數作半分處理的配對解釋。
第 12 章 · 1 節
隨機優化
無偏隨機梯度與期望下降。
- 12.1
小批量隨機梯度與期望下降
在明確抽樣假設下,推導無偏小批量梯度及光滑有限和的下降界。
第 18 章 · 1 節
密度估計的不確定性
在指定網格上區分有限樣本抽樣誤差與平滑偏差。
- 18.1
有限網格上的密度不確定性
推導箱形核估計的有限網格同時置信帶,區分抽樣誤差與平滑偏差,並處理有限候選帶寬的自適應選擇。
第 19 章 · 1 節
線性判別
費歇方向、分類與奇異散佈。
- 19.1
Fisher 判別:散佈、投影方向與分類
推導 Fisher 方向,分清投影準則與決策規則,並處理奇異散佈矩陣及特徵單位改變。
第 20 章 · 1 節
多類決策與核估計的準確度
最小化完整條件成本矩陣,比較代入式估計,並證明一維核密度的偏差、方差及積分誤差率。
- 20.1
多類決策與核估計的準確度
最小化完整條件成本矩陣,比較代入式估計,並證明一維核密度的偏差、方差及積分誤差率。
第 21 章 · 1 節
計算與核對低秩表示
推導兩種有限近似界,以間隙控制載荷擾動,並執行中心化主成分擬合與冪次迭代。
- 21.1
計算主成分:奇異值、譜間隙與可靠重建
擬合中心化的低秩表示,證明譜近似與有限擾動界,並辨認冪次迭代所需的假設。
第 22 章 · 1 節
層次聚類
用連結法與門檻圖解讀凝聚式樹狀圖。
- 22.1
層次聚類:連結法與樹狀圖
建立並解讀凝聚式樹狀圖,證明單連結與圖的關係,並比較連結規則。
第 23 章 · 1 節
Ward 聚類
推導基於方差的合併代價並構造層次聚類。
- 23.1
Ward 聚類:方差與合併代價
推導合併兩組時組內平方誤差的增量,並用它構造層次聚類。
第 24 章 · 1 節
局部密度構造與多變量平滑
構造近鄰及反射核估計,證明逐點一致性,並完整計算矩陣帶寬比較。
- 24.1
構造局部密度估計:近鄰、邊界與帶寬
計算近鄰密度高度,證明逐點一致性,修正支撐邊界,並在避免自身計數下選擇多變量高斯帶寬。
第 25 章 · 1 節
近鄰分類
聯繫局部類別投票、貝葉斯決策與逐點一致性。
- 25.1
近鄰分類:局部投票與一致性
構造局部類別投票,聯繫貝葉斯決策,並在明確條件下證明逐點一致性。
第 26 章 · 1 節
樂觀偏差、有效維度與資訊準則
證明有限高斯預測修正,推導線性模型 AICc,並界定 AIC 的似然論證與 BIC 的 Laplace 條件。
- 26.1
樂觀偏差、有效維度與資訊準則
證明有限高斯預測修正,推導線性模型 AICc,並界定 AIC 的似然論證與 BIC 的 Laplace 條件。
第 27 章 · 1 節
巢狀選擇與程序評估
執行內層選擇與外層重新擬合,計算精確有限例子,區分較小樣本程序風險與最終預測器風險。
- 27.1
巢狀交叉驗證:內層選擇與外層評估
執行有限的巢狀選擇算法,推導精確的外層風險目標,重現六點精確計算,並辨認合併洩漏與相依的分摺誤差。
第 28 章 · 1 節
概率校準與決策成本
透過精確有限 Brier 恆等式,區分概率可靠性、保留的資訊與決策風險。
- 28.1
概率校準:Brier 分解與決策成本
證明有限二元 Brier 分解,完整計算人造校準表,並區分分數可靠性、保留的資訊與成本敏感決策。
第 29 章 · 1 節
線性分類器
透過間隔處理感知機、邏輯回歸與最大間隔分類。
- 29.1
線性分類器:感知機、邏輯回歸與最大間隔
定義線性分類器的間隔,證明感知機的錯誤次數上界,推導邏輯損失的梯度與凸性,並精確計算硬間隔分離超平面。
第 30 章 · 1 節
多層網絡
前饋網絡,以及梯度的精確反向傳播計算。
- 30.1
多層感知機與反向傳播
定義前饋網絡,證明為何需要非線性激活函數,推導並證明反向傳播遞推式,並以手算驗證精確梯度與異或網絡。
第 31 章 · 1 節
決策樹
貪心的分類樹與回歸樹,及代價複雜度剪枝。
- 31.1
決策樹:基尼不純度、回歸樹與代價複雜度剪枝
以貪心的軸向分割生長分類樹與回歸樹,證明分割準則背後的凹性與方差下降恆等式,並精確計算代價複雜度剪枝。