無限維單位球有界,卻未必依範數緊緻。在 中,座標單位向量彼此保持固定距離,因而不存在範數收斂子列;但對任何固定的連續線性測量,這些向量的測量值都趨於零。弱收斂記錄的正是後一種要求較低的收斂方式。
這一區別在最小化中很有用。有界的極小化序列未必具有範數收斂子列。我們將提取弱收斂子列,證明閉凸約束在弱極限下仍被滿足,並找出保證極限能量不會增大的假設。每一步各有作用;單憑有界性,不能解決任意最小化問題。
數學前置條件與弱收斂
設 是實或複 Hilbert 空間,內積對第一個變量線性。本節使用以下數學事實:完備度量空間上的 Baire 定理;到閉子空間以及非空閉凸集的正交或最近點投影;有界線性泛函的 Riesz 表示;可分 Hilbert 空間中的標準正交座標展開。特別地,凸集投影 對每個 都滿足 。標準正交基指有限線性組合稠密的標準正交族。在子列提取中,只需在給定序列的可分閉生成空間中使用基的存在性與範數重建。這些是下列論證的明確數學輸入;新的緊緻性與最小化結論將在本節證明。
定義 2.5.1
(弱收斂)
若
就稱 弱收斂到 ,記作 。由 Riesz 表示,這等價於每個有界線性泛函的值都收斂。檢驗向量必須在取極限之前固定,不能讓它隨 改變。弱極限唯一:把兩個候選極限之差與自身作內積,便得範數為零。由 Cauchy–Schwarz,範數收斂蘊含弱收斂;反向結論將在第一個例子中失敗。
常見錯誤
(檢驗向量必須固定)
在 中,單位向量滿足 :對固定的 ,由於 ,有 。若用隨 移動的向量 檢驗,則對每個 都有 ,但這與弱收斂並不矛盾。弱收斂是對每個固定測量的陳述,測量必須在取極限之前選定。
定理 2.5.2
(有界性與座標判別)
弱收斂序列的範數有界。若 是標準正交基,則
基可以不可數,但統一範數上界不可省略。
證明
(以 Baire 定理得有界性,以有限逼近得收斂)
先設 。對每個 ,純量序列 有界。定義閉集
它們的並為 。由 Baire 定理,某個 包含開球 ,其中 。當 時, 與 都屬於該球。把兩個純量值相減,可得
對單位球中的向量取上確界,結果是 :上界來自 Cauchy–Schwarz,下界可沿該向量自身方向檢驗。因此 。座標收斂則直接來自弱收斂定義。
反過來,設範數統一不超過 ,且座標收斂到 的座標。固定 與 ,選有限基向量組合 ,使 。於是
第一項只涉及有限個座標,因而趨於零。令 就得弱收斂。這裏對每個檢驗向量作有限逼近,並沒有把一個可能不可數的基列舉成序列。
提取弱收斂子列
定理 2.5.3
(Hilbert 有界序列具有弱收斂子列)
Hilbert 空間中的每個有界序列,都有弱收斂子列。不需要假設整個空間可分。若 ,提取得到的弱極限範數也不超過 。
證明
(在序列生成的空間中作對角線選取)
令 為 的閉生成空間。這個空間可分:取這些向量的有限有理係數組合,複情形取實部、虛部均為有理數的係數,就得到可數稠密子集。為 選有限或可數標準正交基。零空間情形顯然;有限維情形只需有限次子列提取。可數無限情形則把基記為 。
每個座標 都位於有界純量圓盤中。逐次提取子列,再作對角選擇,得到子列 ,使每個座標都有極限,記為 。對每個有限的 ,由 Bessel 不等式及有限項取極限,
所以 ,標準正交重建給出具有這些座標的 ,且 。由有界座標判別,子列在 中弱收斂。對任意 ,作分解 。所有 與 都在 中,與第二項的內積為零。因此,對環境空間 中的每個檢驗向量,收斂也成立。
證明透視
序列生成自己的可分空間
不可分 Hilbert 空間可以具有不可數標準正交基,無法用一條對角子列逐一處理全部座標。證明改為進入給定序列的閉生成空間,而這個子空間總是可分的。在其中提取後,再用正交投影把每個環境檢驗向量帶回這個較小空間。這是針對序列的證明,並沒有把序列緊緻性與任意弱拓撲中的拓撲緊緻性悄悄等同起來。
哪些約束與能量在極限下保留?
定義 2.5.4
(下半連續性與凸性)
若 依範數成立時總有 ,就稱函數 範數下半連續。等價地,對每個實數 ,其次水平集 都範數閉。若
就稱它凸,右端採用通常的擴展實數解釋。若同樣的下半連續不等式對弱收斂序列成立,就稱其為弱序列下半連續。「序列」一詞明確限定了這裏所證明的結論。
定理 2.5.5
(弱極限保留閉凸約束與凸下界)
若 範數閉且凸, 弱收斂到 ,則 。此外,
若 凸且範數下半連續,則它弱序列下半連續。另一個獨立的範數結論是:若 並且 ,則 依範數成立。
證明
(以投影分離,再用下水平集)
空約束集的情形沒有需要證明的內容。若 非空,假設 ,令 、。投影不等式說明,對所有 ,有 。但是弱收斂會給出
矛盾。因此 。這正是投影幾何提供的、能夠把點與約束分開的測量。
為證明範數下界,當 時,用 檢驗,並利用 。左端純量趨於 ,所以得到所需下界;若 ,結論顯然。
對能量結論,每個次水平集 都閉且凸。記 。若 ,無需證明;若 有限,取函數值趨於 的子列。對每個 ,其尾部都屬於 ,並仍弱收斂到 ,所以 。令 即得結論。若 ,可選一條子列,使它對每個 都最終落入其中,從而對所有實數 都有 ,與所定值域矛盾。因此,沿弱收斂序列不可能出現這一情形。最後,在範數收斂時使用
就得到最後一個結論。
證明透視
閉凸集由固定的測量切出
決定性的一步,是用一個固定的檢驗向量 把 外的點分隔開:每個 都有 ,而 給出 。弱收斂所控制的恰好是這類固定檢驗,所以極限不能離開 。凸性只透過投影不等式進入,完備性只透過 的存在進入。能量部分不需要新想法:凸且下半連續的能量有閉凸的次水平集,沿著實現下極限的子列,對每個次水平集應用約束的結論即可。
常見錯誤
(範數閉性與範數連續性並不足夠)
只有範數閉性,並不足以控制約束:無限維 的單位球面包含每個座標單位向量,卻不包含它們的弱極限零。只有範數連續性,也不足以控制能量: 連續,但 。所以定理中的凸性具有實際作用。
最小點存在的直接證明
定義 2.5.6
(正常函數與有界下水平集)
若函數 在某處有限,且從不取 ,就稱其為正常函數。若每個實數 對應的 都有界,就稱其次水平集有界;當有效定義域無界時,這就是通常的強制性條件: 時 。
定理 2.5.7
(Hilbert 空間中的直接方法)
設 正常、凸且範數下半連續。假設 ,並且每個次水平集都有界,則 取到其下確界。若 在有效定義域 上嚴格凸,最小點唯一。
證明
(極小化序列及其弱極限)
正常性與下界保證 是有限實數。選取函數值有限的極小化序列,使 。一個尾部落在 中,所以有界。提取弱收斂子列 。由前一定理,,故 。若存在兩個不同最小點,嚴格凸性將使它們的中點具有更小值,矛盾。
對非空閉凸約束 ,設 凸且相對範數下半連續,在 上取 ,在 外取 。這個擴展函數凸且範數下半連續。若要使用存在性定理,還需 中有能量有限的點、,並且對每個實數 ,集合 都有界。約束本身的閉性與凸性不會自動提供這些附加條件。
概念視角結構
極限成為最小點的三個不同理由
有界次水平集提供弱收斂子列;閉凸次水平集保證取弱極限時能量不會增加;若另有嚴格凸性,它再排除第二個最小點。存在性、約束保留與唯一性因此來自不同假設。只檢查了有界性的證明,仍沒有回答核心的極限傳遞問題。
例題
例題 2.5.8
(單位向量在固定測量下趨於零)
在 中,令 為座標單位向量。固定 ,其座標趨於零,所以 。因此 。然而 ,且當 時 ,所以沒有任何子列依範數收斂。如果使用移動的檢驗向量 ,內積會等於一;這不與弱收斂矛盾,因為檢驗向量沒有固定。
例題 2.5.9
(未取到的最小二乘下確界與正則化)
在 上令 ,並取 。能量 連續、凸且非負。其下確界為零:取 的前 個座標為一,其餘為零即可。但零不可能取到,因為 會迫使每個 ,這不平方可和。極小化序列的範數為 ,次水平集有界性失效。
對 ,定義 。其次水平集有界,函數連續且嚴格凸,直接方法因而給出唯一最小點。事實上,
該向量屬於 ,因為座標平方不超過 。它滿足座標方程 。展開能量並消去交叉項,得到對任意 都成立的恆等式
交叉項為 ,等於零來自所示座標方程;其級數收斂由 Cauchy–Schwarz 保證。這個恆等式直接驗證最小點並量化穩定性。新增項提供了原來缺少的有界性,而沒有聲稱未正則化方程因此獲得了精確解。
例題 2.5.10
(範數閉且有界的約束仍可能丟失極限)
在單位球面 上,最小化
這個能量在環境空間上範數連續、非負且凸,因為它是有界對角映射 的範數平方。由 ,它在 上的下確界為零。但每個 都滿足 ,所以下確界不能取到。該序列有界且弱極限為零,零卻不滿足約束。球面範數閉,但不凸,也不弱序列閉;有界性不能代替約束假設。若改成閉單位球,零點便可行,並取到最小值零。
反例模式
在任意 Banach 空間中,有界並不保證弱子列
在 中,座標單位向量的範數都是一。任取候選子列 ,定義有界純量序列 :令 ,其餘取零。泛函 在 上有界,且 。它在所選子列上的值交替變化,因此該子列不可能弱收斂。對每條子列都能這樣構造,故整個序列沒有弱收斂子列。Hilbert 提取定理不是適用於所有 Banach 空間的定理。
練習
快速檢查
(在 中,令 。證明每個固定座標都趨於零,但序列不弱收斂。找出一個固定的平方可和檢驗向量來顯示失敗。)
解答 · 答案
的每個座標最終都為零。但對固定向量 ,每個 都有 。若存在弱極限,它的所有座標必須為零,因而等於零,與這個檢驗矛盾。序列範數也等於 ,違反弱收斂所必需的有界性。
快速檢查
(若 ,且 為有限維子空間,證明 依範數成立。對任意閉無限維 ,是否仍有同樣結論?)
解答 · 答案
取 的標準正交基 。 的範數平方為 ;有限項中的每一項都趨於零,所以其和也趨於零。對任意閉無限維子空間 ,可逐次選擇位於先前有限生成空間之外的向量,把其垂直餘項歸一化,得到 中的標準正交列 。由 Bessel,對每個 都有 ,所以 。但 的範數為一,並不依範數趨於零。該結論依賴檢驗數目有限,而不僅僅依賴閉性。
快速檢查
(設 是 Hilbert 空間之間的有界線性映射。證明弱收斂蘊含 。若 緊緻,證明 蘊含 依範數成立。)
解答 · 答案
對 ,泛函 在 上有界且線性。由 Riesz,它是一個內積檢驗,所以 ,即得到弱連續性。若 緊緻,由弱收斂序列有界可知 依範數相對緊緻。若它不依範數收斂到 ,就有某個子列與 的距離始終至少為某個 。由緊緻性,該子列又有範數收斂子列,設極限為 。範數收斂蘊含弱收斂,而已經證明的弱連續性迫使 ,矛盾。因此整個像序列依範數收斂。
快速檢查
(對最小二乘例子,證明未正則化能量雖然沒有最小點,卻仍弱序列下半連續。精確指出直接方法的哪個假設缺失,並證明當 時 。)
解答 · 答案
因為 有界、範數平方連續且凸,未正則化能量處處有限、凸且範數連續。因此它正常、以零為下界,並且弱序列下半連續。存在性缺少的假設是次水平集有界;存在性本身不要求嚴格凸。截斷向量 的範數無界,能量卻趨於零,所以某個固定的正次水平集包含無界尾部。對任意固定正整數 ,當 時, 的前 個座標都趨於一,故 。由於 任意,範數趨於無窮。這不與每個固定正則化參數下所得到的有界性矛盾。
快速檢查
(設 在 處取到有限最小值,且存在 ,使對 與能量有限的 ,都有 。證明:對能量有限的 ,有 。由此推出每條能量趨於最小值的序列都依範數收斂。上述 可以使用哪個常數 ?)
解答 · 答案
取 、,由最小性,左端不小於 。整理並除以 ,得到 。令 即得結論。因此,有限能量趨於最小值的序列必依範數收斂到 。同一估計也保證最小點唯一,因為第二個最小點到 的距離只能為零。對 ,展開範數平方可得凸性差為 ,所以可以取 。所得距離估計與例題中的明確能量差一致。
精確邊界
本節證明的緊緻性結果,是 Hilbert 有界序列的弱子列提取。我們沒有證明一般弱拓撲緊緻性、任意自反 Banach 空間中的對應理論、弱星緊緻性或譜定理。最小化結果要求所列凸性、下半連續性與次水平集有界性;它不保證數值算法收斂,也不保證非凸約束下最小點存在。這些限制已在反例中具體顯示,而不是被一句緊緻性口號掩蓋。