平均值的非線性函數一般不同於函數值的平均。對凸函數,先作用函數再平均所得的值至少是平均值的函數值。兩者之差可能很大:即使原隨機變量可積,前者也可能無窮大。支撐直線讓我們無需假設導數存在就能解釋這一不等式。
設 ( Ω , F , P ) (\Omega,\mathcal F,\mathbb P) ( Ω , F , P ) 為概率空間,I I I 為非空開區間。
有限值函數 Φ : I → R \Phi:I\to\mathbb R Φ : I → R 稱為凸函數 ,如果
Φ ( ( 1 − t ) u + t v ) ≤ ( 1 − t ) Φ ( u ) + t Φ ( v ) ( u , v ∈ I , 0 ≤ t ≤ 1 ) . \Phi((1-t)u+tv)\le(1-t)\Phi(u)+t\Phi(v)\qquad(u,v\in I,\ 0\le t\le1). Φ (( 1 − t ) u + t v ) ≤ ( 1 − t ) Φ ( u ) + t Φ ( v ) ( u , v ∈ I , 0 ≤ t ≤ 1 ) . 若每當 u ≠ v u\ne v u = v 且 0 < t < 1 0\lt t\lt1 0 < t < 1 時不等式都嚴格,則稱其嚴格凸 。
我們使用 Lebesgue 積分的單調性。開區間上的有限凸函數連續;下述斜率估計證明了此處所需的連續性。
從割線斜率得到支撐直線
設 Φ \Phi Φ 在 I I I 上凸,m ∈ I m\in I m ∈ I 。令 a = sup u < m Φ ( m ) − Φ ( u ) m − u a=\sup\limits_{u\lt m}\frac{\Phi(m)-\Phi(u)}{m-u} a = u < m sup m − u Φ ( m ) − Φ ( u ) 、b = inf v > m Φ ( v ) − Φ ( m ) v − m b=\inf\limits_{v>m}\frac{\Phi(v)-\Phi(m)}{v-m} b = v > m inf v − m Φ ( v ) − Φ ( m ) ,其中 u , v ∈ I u,v\in I u , v ∈ I 。則 a , b a,b a , b 有限、a ≤ b a\le b a ≤ b ,並且對每個 c ∈ [ a , b ] c\in[a,b] c ∈ [ a , b ] ,
Φ ( x ) ≥ Φ ( m ) + c ( x − m ) ( x ∈ I ) . (1) \Phi(x)\ge\Phi(m)+c(x-m)\qquad(x\in I). \tag{1} Φ ( x ) ≥ Φ ( m ) + c ( x − m ) ( x ∈ I ) . ( 1 )
對 I I I 內 u < m < v u\lt m\lt v u < m < v ,m m m 是 u , v u,v u , v 的凸組合;整理凸性不等式得
Φ ( m ) − Φ ( u ) m − u ≤ Φ ( v ) − Φ ( m ) v − m . (S) \frac{\Phi(m)-\Phi(u)}{m-u}
\le\frac{\Phi(v)-\Phi(m)}{v-m}. \tag{S} m − u Φ ( m ) − Φ ( u ) ≤ v − m Φ ( v ) − Φ ( m ) . ( S ) 因 I I I 是開區間,兩族斜率都非空;而 (S) 以任一固定的右側斜率為每個左側斜率的上界,以任一固定的左側斜率為每個右側斜率的下界。因此 a , b a,b a , b 有限,在 (S) 中先對 u u u 取上確界、再對 v v v 取下確界,得到 a ≤ b a\le b a ≤ b 。令 c ∈ [ a , b ] c\in[a,b] c ∈ [ a , b ] 。當 x > m x>m x > m 時,從 m m m 到 x x x 的斜率至少為 b ≥ c b\ge c b ≥ c ;當 x < m x\lt m x < m 時,從 x x x 到 m m m 的斜率至多為 a ≤ c a\le c a ≤ c 。兩種情形都給出 (1),而 x = m x=m x = m 時 (1) 顯然成立。□ \square □
(1) 中的仿射下界在 m m m 處與圖像相接。同樣的斜率比較也給出連續性。對 p < q < r p\lt q\lt r p < q < r ,記 s ( p , q ) = ( Φ ( q ) − Φ ( p ) ) / ( q − p ) s(p,q)=(\Phi(q)-\Phi(p))/(q-p) s ( p , q ) = ( Φ ( q ) − Φ ( p )) / ( q − p ) ,則凸性給出三弦不等式 s ( p , q ) ≤ s ( p , r ) ≤ s ( q , r ) s(p,q)\le s(p,r)\le s(q,r) s ( p , q ) ≤ s ( p , r ) ≤ s ( q , r ) :中間斜率是兩側斜率的加權平均,而 (S) 給出兩側的順序。在 z ∈ I z\in I z ∈ I 處,取 u < z < v u\lt z\lt v u < z < v 。這些不等式表明,當 u < x < z u\lt x\lt z u < x < z 時 s ( u , z ) ≤ s ( x , z ) ≤ s ( z , v ) s(u,z)\le s(x,z)\le s(z,v) s ( u , z ) ≤ s ( x , z ) ≤ s ( z , v ) ;當 z < x < v z\lt x\lt v z < x < v 時 s ( u , z ) ≤ s ( z , x ) ≤ s ( z , v ) s(u,z)\le s(z,x)\le s(z,v) s ( u , z ) ≤ s ( z , x ) ≤ s ( z , v ) 。所以在整個 ( u , v ) (u,v) ( u , v ) 上,∣ Φ ( x ) − Φ ( z ) ∣ ≤ C ∣ x − z ∣ |\Phi(x)-\Phi(z)|\le C|x-z| ∣Φ ( x ) − Φ ( z ) ∣ ≤ C ∣ x − z ∣ ,其中 C = max ( ∣ s ( u , z ) ∣ , ∣ s ( z , v ) ∣ ) C=\max(|s(u,z)|,|s(z,v)|) C = max ( ∣ s ( u , z ) ∣ , ∣ s ( z , v ) ∣ ) 。特別地,X X X 可測時 Φ ( X ) \Phi(X) Φ ( X ) 也可測。
對 R \mathbb R R 上的 Φ ( x ) = ∣ x ∣ \Phi(x)=|x| Φ ( x ) = ∣ x ∣ 及 m = 0 m=0 m = 0 ,每個左側斜率都是 0 − ∣ u ∣ 0 − u = − 1 \frac{0-|u|}{0-u}=-1 0 − u 0 − ∣ u ∣ = − 1 ,每個右側斜率都是 ∣ v ∣ v = 1 \frac{|v|}{v}=1 v ∣ v ∣ = 1 ,故 a = − 1 a=-1 a = − 1 、b = 1 b=1 b = 1 。每個 c ∈ [ − 1 , 1 ] c\in[-1,1] c ∈ [ − 1 , 1 ] 都給出支撐直線:因 c x ≤ ∣ c ∣ ∣ x ∣ ≤ ∣ x ∣ cx\le|c||x|\le|x| c x ≤ ∣ c ∣∣ x ∣ ≤ ∣ x ∣ ,對所有 x x x 有 ∣ x ∣ ≥ c x |x|\ge cx ∣ x ∣ ≥ c x 。在 m > 0 m>0 m > 0 處,每個右側斜率以及由 u ∈ [ 0 , m ) u\in[0,m) u ∈ [ 0 , m ) 得到的左側斜率都等於 1 1 1 ,而由 u < 0 u\lt0 u < 0 得到的左側斜率較小,所以 a = b = 1 a=b=1 a = b = 1 ,唯一的支撐直線就是 x x x 本身。因此並不需要導數;在折角處有許多可用的斜率。
Jensen 不等式與等號
設 Φ \Phi Φ 在 I I I 上凸,X X X 可積且幾乎處處取值於 I I I 。則 m = E X m=\mathbb EX m = E X 屬於 I I I ,並且
Φ ( E X ) ≤ E Φ ( X ) , (2) \Phi(\mathbb EX)\le\mathbb E\Phi(X), \tag{2} Φ ( E X ) ≤ E Φ ( X ) , ( 2 ) 其中右側可以是 + ∞ +\infty + ∞ 。若 Φ \Phi Φ 嚴格凸,則等號成立當且僅當 X = m X=m X = m 幾乎處處成立。
選取取值於 I I I 的 X X X 的版本。若 α \alpha α 是 I I I 的有限左端點,則 X − α > 0 X-\alpha>0 X − α > 0 幾乎處處成立,故 E ( X − α ) > 0 \mathbb E(X-\alpha)>0 E ( X − α ) > 0 ;同理,有限右端點嚴格大於 E X \mathbb EX E X 。因此 m ∈ I m\in I m ∈ I 。以某個 c ∈ [ a , b ] c\in[a,b] c ∈ [ a , b ] 在 m m m 處應用 (1)。仿射下界 Φ ( m ) + c ( X − m ) \Phi(m)+c(X-m) Φ ( m ) + c ( X − m ) 可積,所以 Φ ( X ) \Phi(X) Φ ( X ) 的負部可積,E Φ ( X ) \mathbb E\Phi(X) E Φ ( X ) 在 ( − ∞ , ∞ ] (-\infty,\infty] ( − ∞ , ∞ ] 中有定義。由於 E ( X − m ) = 0 \mathbb E(X-m)=0 E ( X − m ) = 0 ,對 (1) 積分即得 (2)。
對嚴格凸情形,假設該直線在另一點 x 0 ≠ m x_0\ne m x 0 = m 處也與圖像相接。在 y = ( x 0 + m ) / 2 y=(x_0+m)/2 y = ( x 0 + m ) /2 處,嚴格凸性給出 Φ ( y ) < [ Φ ( x 0 ) + Φ ( m ) ] / 2 = Φ ( m ) + c ( y − m ) \Phi(y)\lt[\Phi(x_0)+\Phi(m)]/2=\Phi(m)+c(y-m) Φ ( y ) < [ Φ ( x 0 ) + Φ ( m )] /2 = Φ ( m ) + c ( y − m ) ,與 (1) 矛盾。因此 g ( x ) = Φ ( x ) − Φ ( m ) − c ( x − m ) ≥ 0 g(x)=\Phi(x)-\Phi(m)-c(x-m)\ge0 g ( x ) = Φ ( x ) − Φ ( m ) − c ( x − m ) ≥ 0 只在 m m m 處為零。若 (2) 取等號,則 E g ( X ) = E Φ ( X ) − Φ ( m ) = 0 \mathbb Eg(X)=\mathbb E\Phi(X)-\Phi(m)=0 E g ( X ) = E Φ ( X ) − Φ ( m ) = 0 ,所以 g ( X ) = 0 g(X)=0 g ( X ) = 0 ,即 X = m X=m X = m 幾乎處處成立。反之,常值 X = m X=m X = m 給出等號。這也涵蓋右側為無窮的情形:它不能等於有限的左側。□ \square □
證明透視
為甚麼一條直線就足夠 I I I 為開區間這一點用了兩次:使平均值 m m m 嚴格位於 I I I 內,並在 m m m 兩側提供割線斜率,使有限的 c c c 存在。關鍵一步是只在平均值處選一次斜率 c c c ;它不必是導數。X X X 的可積性只用於仿射部分:它使 E [ c ( X − m ) ] = 0 \mathbb E[c(X-m)]=0 E [ c ( X − m )] = 0 ,並給出可積下界,從而即使 E Φ ( X ) \mathbb E\Phi(X) E Φ ( X ) 為無窮也有定義。之後證明由積分的單調性對非負間隙 g ( X ) g(X) g ( X ) 收結。嚴格凸性只在等號情形中出現,它迫使 g g g 只在單點 m m m 處為零;而期望為零的非負函數幾乎處處為零。
等號條件確實需要嚴格凸性。
反例模式
等號成立而隨機變量並非常值 斷言:對每個凸函數 Φ \Phi Φ ,(2) 取等號必迫使 X X X 幾乎處處為常值。取凸但不嚴格凸的 Φ ( x ) = ∣ x ∣ \Phi(x)=|x| Φ ( x ) = ∣ x ∣ ,並令 X X X 以各 1 2 \tfrac12 2 1 的概率取 0 0 0 或 1 1 1 。則 Φ ( E X ) = ∣ 1 2 ∣ = 1 2 \Phi(\mathbb EX)=|\tfrac12|=\tfrac12 Φ ( E X ) = ∣ 2 1 ∣ = 2 1 ,而 E Φ ( X ) = 1 2 ⋅ 0 + 1 2 ⋅ 1 = 1 2 \mathbb E\Phi(X)=\tfrac12\cdot0+\tfrac12\cdot1=\tfrac12 E Φ ( X ) = 2 1 ⋅ 0 + 2 1 ⋅ 1 = 2 1 :等號成立,但 X X X 不是常值。在 m = 1 2 m=\tfrac12 m = 2 1 處斜率 c = 1 c=1 c = 1 的支撐直線沿整段 [ 0 , ∞ ) [0,\infty) [ 0 , ∞ ) 與圖像重合。修正後的斷言假設嚴格凸,更準確地說是假設間隙 g g g 只在 m m m 處為零。
幾何平均與無窮期望
在 ( 0 , ∞ ) (0,\infty) ( 0 , ∞ ) 上,− log x -\log x − log x 嚴格凸。對正的可積隨機變量 X X X ,(2) 給出
exp ( E log X ) ≤ E X , (3) \exp(\mathbb E\log X)\le\mathbb EX, \tag{3} exp ( E log X ) ≤ E X , ( 3 )
其中 exp ( − ∞ ) = 0 \exp(-\infty)=0 exp ( − ∞ ) = 0 。由於 log + X ≤ X \log^+X\le X log + X ≤ X ,E log X \mathbb E\log X E log X 在 [ − ∞ , ∞ ) [-\infty,\infty) [ − ∞ , ∞ ) 中有定義;(3) 取等號當且僅當 X X X 幾乎處處為常值。若 X ≥ 0 X\ge0 X ≥ 0 且 P ( X = 0 ) > 0 \mathbb P(X=0)>0 P ( X = 0 ) > 0 ,令 log 0 = − ∞ \log0=-\infty log 0 = − ∞ :此時 exp ( E log X ) = 0 \exp(\mathbb E\log X)=0 exp ( E log X ) = 0 ,它與 E X \mathbb EX E X 相等當且僅當 X = 0 X=0 X = 0 幾乎處處成立。
對正數 x 1 , … , x n x_1,\ldots,x_n x 1 , … , x n 及總和為一的非負權重 w i w_i w i ,令 X X X 以概率 w i w_i w i 取 x i x_i x i 。則 E log X = ∑ i w i log x i \mathbb E\log X=\sum\limits_iw_i\log x_i E log X = i ∑ w i log x i ,而 (3) 給出 ∏ i x i w i ≤ ∑ i w i x i \prod\limits_i x_i^{w_i}\le\sum\limits_iw_ix_i i ∏ x i w i ≤ i ∑ w i x i ;等號成立當且僅當所有權重為正的取值相同。例如取 x 1 = 1 x_1=1 x 1 = 1 、x 2 = 8 x_2=8 x 2 = 8 、w 1 = 2 3 w_1=\tfrac23 w 1 = 3 2 、w 2 = 1 3 w_2=\tfrac13 w 2 = 3 1 :左側為 1 2 / 3 8 1 / 3 = 2 1^{2/3}8^{1/3}=2 1 2/3 8 1/3 = 2 ,右側為 2 3 + 8 3 = 10 3 \tfrac23+\tfrac83=\tfrac{10}3 3 2 + 3 8 = 3 10 ,不等式嚴格,這是因為 1 ≠ 8 1\ne8 1 = 8 。
即使 X X X 為正,E log X \mathbb E\log X E log X 也可以是 − ∞ -\infty − ∞ 。若 U U U 在 ( 0 , 1 ) (0,1) ( 0 , 1 ) 上均勻分布且 X = e − 1 / U X=e^{-1/U} X = e − 1/ U ,則 0 < X ≤ 1 0\lt X\le1 0 < X ≤ 1 ,且 E log X = − ∫ 0 1 d u / u = − ∞ \mathbb E\log X=-\int_0^1du/u=-\infty E log X = − ∫ 0 1 d u / u = − ∞ 。因此 exp ( E log X ) = 0 \exp(\mathbb E\log X)=0 exp ( E log X ) = 0 ,而 E X > 0 \mathbb EX>0 E X > 0 。在以 Φ = − log \Phi=-\log Φ = − log 代入的 (2) 中,這是右側為無窮的情形:E [ − log X ] = + ∞ \mathbb E[-\log X]=+\infty E [ − log X ] = + ∞ ,不等式顯然且嚴格地成立。
常見錯誤
(從 Jensen 不等式讀出 E Φ ( X ) \mathbb E\Phi(X) E Φ ( X ) 有限)
X X X 可積並不保證 Φ ( X ) \Phi(X) Φ ( X ) 可積。在帶密度 e − x e^{-x} e − x 的 ( 0 , ∞ ) (0,\infty) ( 0 , ∞ ) 上,X ( x ) = x X(x)=x X ( x ) = x 的平均值為一,但 E e X = ∫ 0 ∞ e x e − x d x = ∫ 0 ∞ 1 d x = ∞ \mathbb Ee^X=\int_0^\infty e^xe^{-x}\,dx=\int_0^\infty1\,dx=\infty E e X = ∫ 0 ∞ e x e − x d x = ∫ 0 ∞ 1 d x = ∞ 。Jensen 不等式仍說 e E X = e ≤ ∞ e^{\mathbb EX}=e\le\infty e E X = e ≤ ∞ ;它只給出 E Φ ( X ) \mathbb E\Phi(X) E Φ ( X ) 的下界,從不給出其有限性。
練習
快速檢查
(某隨機變量以各 1 / 2 1/2 1/2 的概率取 1 1 1 和 3 3 3 。比較 ( E X ) 2 (\mathbb EX)^2 ( E X ) 2 與 E X 2 \mathbb EX^2 E X 2 。)
解答 · 答案 E X = 2 \mathbb EX=2 E X = 2 ,故 ( E X ) 2 = 4 (\mathbb EX)^2=4 ( E X ) 2 = 4 ,而 E X 2 = 1 2 ( 1 + 9 ) = 5 \mathbb EX^2=\tfrac12(1+9)=5 E X 2 = 2 1 ( 1 + 9 ) = 5 。不等式嚴格,因為 x 2 x^2 x 2 嚴格凸而 X X X 不是常值。
快速檢查
(以相等權重把 (3) 應用於取值 1 , 4 1,4 1 , 4 。等號是否成立?)
解答 · 答案 幾何平均為 1 ⋅ 4 = 2 \sqrt{1\cdot4}=2 1 ⋅ 4 = 2 ,算術平均為 5 / 2 5/2 5/2 。由於 1 ≠ 4 1\ne4 1 = 4 ,− log -\log − log 的嚴格凸性說明不等式嚴格。
快速檢查
(設 X X X 可積且非負。當 X X X 不是常值時,∣ E X ∣ ≤ E ∣ X ∣ |\mathbb EX|\le\mathbb E|X| ∣ E X ∣ ≤ E ∣ X ∣ 能否取等號?)
利用 x ≥ 0 x\ge0 x ≥ 0 時 ∣ x ∣ = x |x|=x ∣ x ∣ = x 。
解答 · 答案 能,而且總是如此:X ≥ 0 X\ge0 X ≥ 0 時兩側都等於 E X \mathbb EX E X 。例如 X X X 以相等概率取 0 0 0 或 1 1 1 ,雖非常值卻取等號;∣ x ∣ |x| ∣ x ∣ 並非嚴格凸。
快速檢查
(對 Φ ( x ) = x 2 \Phi(x)=x^2 Φ ( x ) = x 2 及任意平方可積的 X X X ,明確寫出 Jensen 間隙。)
求 m = E X m=\mathbb EX m = E X 處的支撐直線。
解答 · 答案 令 m = E X m=\mathbb EX m = E X ,支撐直線斜率為 2 m 2m 2 m ,逐點間隙為 x 2 − m 2 − 2 m ( x − m ) = ( x − m ) 2 x^2-m^2-2m(x-m)=(x-m)^2 x 2 − m 2 − 2 m ( x − m ) = ( x − m ) 2 。因此間隙為 E X 2 − ( E X ) 2 = E ( X − m ) 2 = Var ( X ) \mathbb EX^2-(\mathbb EX)^2=\mathbb E(X-m)^2=\operatorname{Var}(X) E X 2 − ( E X ) 2 = E ( X − m ) 2 = Var ( X ) ,它為零當且僅當 X = m X=m X = m 幾乎處處成立。