為何量度線性關係?
知道兩個量各自的方差,並不能告訴我們它們如何一起變動。協方差記錄它們的中心化數值是否傾向同號,但用厘米代替米量度身高會改變其單位。相關係數去掉了單位,適合描述線性關係,卻不能完整刻畫聯合分佈。
設實隨機變量 的二階矩有限。記 、、、,以及協方差 。由 Cauchy–Schwarz 不等式,乘積可積。當兩個方差均為正時,定義
常數隨機變量的方差為零,其相關係數沒有定義,不是零。把 乘以正常數不改變相關係數;乘以負常數則使其變號。加上常數也不改變相關係數。
定理 32.1.1
(相關係數的界及等號條件)
對二階矩有限的 ,有 。若兩個方差均為正,則 。此外, 當且僅當存在非零實數 ,使 幾乎必然成立; 的正負與 相同。
證明
(用非負平方同時證明不等式和等號條件)
令 、。若 ,則 幾乎必然成立,不等式立即成立。否則,對任意實數 ,
取 ,右邊是 ,所以 。兩方差均為正時,等號成立恰好表示非負平方的期望為零,故 幾乎必然成立。反過來,若存在所述非零斜率的關係,便可直接得到等號。「幾乎必然」容許概率為零的例外結果。
最佳仿射預測
觀察 後,我們用直線 預測 ,以均方誤差 衡量損失。這是總體問題:假設分佈及其矩已知,並不是關於用有限數據擬合直線的結論。
定理 32.1.2
(最小平方直線)
若 的二階矩有限且 ,使均方誤差最小的係數對唯一,為
最小誤差為 ;當 時可寫成 。若 幾乎必然為常數,所有滿足 的直線都給出同一個最佳常數預測,係數對並不唯一。
證明
(配方:不需要正態假設)
令 ,則 ,而 。展開得到
固定 時, 是唯一的最小值點。再配方,餘下的部分為
因為 ,最佳 唯一,即 ;再由 確定 。最小值就是前兩項;當 時它等於 。若 ,則 幾乎必然成立,對每個 誤差都是 ,而所有滿足 的係數對都是最佳的。
證明透視
兩個分開的平方,各管一個係數
關鍵一步是把變量由 換成 。在新座標下,誤差分拆為只受截距控制的 ,加上只含 的二次式。因此選截距等同於配對均值,而斜率問題正是相關係數之界中出現過的同一個二次式。
假設 只用了一次:令 的二次式嚴格凸,從而最小值點唯一。二階矩有限保證展開式中的每個期望都有限。證明完全沒有用到聯合分佈的形狀,所以不需要正態假設。最優條件表明殘差 的均值為零,且與 的協方差為零;這些是最優性的結果,並非獨立性的假設。
在所有 的平方可積函數中,最佳預測是 ,見條件期望一節。以上直線只在較小的類別中取最小值,因此其誤差不會更小。只有當條件均值幾乎必然是 的仿射函數時,兩種預測才相同。 是帶截距的最佳仿射預測所消除的 總體方差比例;它並不量度因果關係、每個觀察值的預測準確度或任意非線性函數的預測能力。
概念視角幾何
相關係數是餘弦,直線是投影
在平方可積隨機變量上,把幾乎必然相等的變量視為同一元素後, 是內積,範數為 。對中心化變量 和 ,各定義變成
所以 是 與 夾角的餘弦,相關係數之界就是 Cauchy–Schwarz 不等式,等號恰在兩向量平行時成立。最佳斜率 是 在 所張直線上正交投影的係數;殘差是垂直分量,而最小誤差 就是畢氏定理(Pythagoras' theorem)。不相關即中心化後正交,這只描述一個夾角,而非整個聯合分佈。
以下例題在三種不同情況下使用公式 及 。
例題 32.1.3
(含雜訊的測量)
設 、。令 與 獨立,均值為零、方差為一,並設 。那麼 、、。最佳直線是 ,誤差為 ,相關係數為 。雜訊的獨立性保證 ,所以本例中最佳直線亦是所有函數中的最佳預測。雜訊與 協方差為零足以計算直線,但單靠這點不能確立上述條件均值。
例題 32.1.4
(以標準單位看,預測向均值收縮)
設 、、、,故 。最佳直線為
觀察值 比均值高兩個標準差,預測值 卻只比 的均值高一個標準差。一般地,:以標準單位計,預測等於觀察到的偏差乘以 。最小誤差為 。
例題 32.1.5
(邊界情況:沒有變動的預測變量)
設 幾乎必然成立, 的均值為 、方差為 。此時 ,所以 沒有定義, 的公式亦不適用。對任何直線, 幾乎必然成立,而
恰在 時取最小值。係數對 與 都是最佳的,給出同一預測 ,誤差為 。常數預測變量不帶任何資訊,所以最好的做法就是預測 的均值。
反例模式
零相關可以隱藏完全的非線性相依
設 在 上均勻分佈,令 。則 、、、,且 。因此 ,最佳仿射預測是常數 ,誤差為 。可是 完全由 決定:非線性預測 的誤差為零。零相關只排除這個意義下的線性關係,並不代表獨立或無法預測。
常見錯誤
常見錯誤
(把直線反解,而不是反方向回歸)
在含雜訊測量的例子中,以 預測 的最佳直線斜率為 。以 預測 的最佳直線並不是由 解出 而得(那會給出斜率 ),其斜率是 。兩個斜率之積是 ,而不是一;只有當 時兩條直線才重合。
常見錯誤
(從斜率判斷關聯的強弱)
斜率的單位是每單位 對應的 單位;相關係數則沒有單位。把 改以百分之一為單位, 乘以 , 不變。在含雜訊測量的例子中,斜率為 ,;若把雜訊方差 換成 ,斜率仍是 , 卻降至 。
練習
快速檢查
(設 在 上均勻分佈,。求 和以 預測 的最小平方直線。)
使用相關係數之界的等號情況。
解答 · 答案
此處 ,。關係式 有負的非零斜率,所以 。事實上 ,,。直線正是 ,誤差為零。
快速檢查
(設 為 Bernoulli 變量,,而 ;其中 與 獨立,均值為零、方差為一。求 、最佳直線及其誤差。)
獨立性令 。
解答 · 答案
,獨立性給出 。斜率為 ,截距為 。殘差是 ,所以誤差為 ;亦即 。
快速檢查
(在上面的非線性反例中,求 ,並比較其誤差和最佳仿射直線的誤差。 能證明獨立嗎?)
是 的函數。
解答 · 答案
由 ,有 ,誤差為零。最佳仿射直線為常數 ,誤差為 。二者相依,例如 ,但 。所以 不能證明獨立。
快速檢查
(假設 、、。任何二階矩有限的變量對能有這些矩嗎?解釋原因。)
比較 與 。
解答 · 答案
不可能。協方差界要求 ,但 違反此界。換言之,所聲稱的相關係數會是 。