最優化理論

在實際應用中，人們總是想要一個最優的結果：最小的成本，最大的利益。自然界的運行規則也是如此：以最小的能量，占據最大的空間；或者以最短的時間，走過最遠的路程。這是天命使然。微積分的出發點就是Fermat的極值原理，整個高等數學的終止點便是變分法；中間引進了各種關係（運算的、順序的、幾何的），最終目的都是最優化。我以為微分法解決了所有的優化問題，近日卻遇到了例外。

在微積分中，條件極值問題的提法是：給定一組等式限製條件gi(x1, …, xn) = 0, i = 1, …, m， (x1, …, xn） 屬於n維歐氏空間中的某個區域D，要求目標函數f(x1, …, xn)的極值。拉格郎日（Lagrange）乘子法，可以不必顯式解出一些限製變量，而求出一些可能的駐點（各個一階偏導數為0的點）；對於區域D內部的駐點，可以把拉格郎日函數L = f + sigma(tigi: i = 1, .,.., m)在此點作Taylor展開，然後判定二階微分式的正定性，可知駐點是否為極值點。如果各二階偏導全為零，而某些三階偏導數不為零，那就肯定不是極值點。如果三階偏導還是0，那就要看四階偏導和四階微分式的正定性。遺憾的是，我們並沒有所謂的四次型的正定性的判定方法，隻是在《線性代數》中有二次型的正定性判定；以後的六次型、八次型呢，提都沒人提起。

Fermat的極值原理隻能用於 “內點” ，邊界點還要單獨考慮。可以把區域D的邊界參數方程化，從而變成等式限製條件。我們看一個最簡當的例子：x1 + … + xn = a, 0 ≤xi ≤ b, 0 < a ≤nb，n > 1, 求y = (x1)^2 + … + (xn)^2 的最大值和最小值。根據Cauchy不等式可知y的最小值為a^2/n（無需乘子法）；用乘子法求出的也正是極小值。區域的邊界是一些xi = b，一些Xi = 0 或者≤ b, 還得滿足x1 + … + xn = a;這裏，微分法用不上了，對n用數學歸納法，可以證明y的最大值為kb^2 + (a – kb)^2，其中k是【a/b】（向下取整）。

其它一些著名的不等式也可以用來求最大/最小值，而不需要求微分。如算術—幾何平均值不等式，可以用來求一組正數的和式的最小值，如果其乘積給定的話；或者一組正數的乘積的最大值如果其和固定的話。AM-GM不等式可以歸納法證明，也可以用對數函數的凸性去證明。凸函數本身就是用不等式定義的，加上歸納法，可以用到數列上；更可以積分化，導出相應的不等式。Jenson不等式說，一組正數的r (> 0) 次冪之和再開r次方，對r是單調不增的。Holder不等式推廣了Cauchy不等式，給出正數冪的乘積的加權平均不等式：（xi）^y1* … (xn)^yn ≤ {(sigmaxiyi)/sigma(yi)}^(sig,a(yi))；Minkowski不等式則給出了兩組正數的和的r次冪不等式：當r > 1時，（sigma(xi + yi)^r）^1/r ≤ (sigma(xi)^r)^1/r + (sigma(yi)^r)^1/r；當0 < r < 1時，不等式反號。

在《線性規劃》中，限製條件都是一些線性不等式：sigma(aij*xi) ≤ bj, j = 1, …, k。如果目標函數f也是線性的，那麽，它的最大/最小值必定在邊界上：sigma(aij*xi) = bj, 取得；這很容易理解：這些線性表達式其實是一些 “超平麵” ，目標平麵沿著各個方向運動，最高/最低點隻能是各個超平麵的交點。如果目標函數是非線性的，我們可以引進一些非負變量yj，把不等式限製變為等式條件，然後用拉格郎日乘子法求解。

在賦範線性空間中，可以依照範數定義距離（反之不然）；一個向量到一個子流形（子空間的平移）的最短距離，可以用平移的向量往子空間上作正交投影，這個正交分量的範數就是所求的最短距離。純幾何的方法，無需微分。

在《變分法》中，研究的是一些積分式，其中含有未知函數y(x)及其導數，要求找出一個函數，使得積分值最小；比如最快滑行曲線（在重力作用下）、麵積最小的旋轉曲麵、變形薄膜的平衡。解決方法是，給未知函數一個小的“擾動”，即加上一項tg(x)，t充分小；如果y是最佳選項，那麽變化了那個積分在t = 0取極值，它對t的導數必定為零；由此便可推出歐拉方程。如果有多個未知函數，就給每個函數加上一個擾動項。

最一般的情況是，目標函數是一個連續和：被加項遍布於n維空間裏的某個區域D中的每一個點，並且不能積分化，和式的收斂性都不能保證；基於極限概念的微分法顯然無能為力了。用離散抽樣的方法或可一試，還得定義一些統計量，以及一個“最佳逼近”的標準；即所謂的數值解法。如果沒有高速的計算機，靠人力是無法完成的。