擬牛頓法與非線性共軛梯度法的優劣

程江麗

(河南師范大學數學與信息科學學院，河南 新鄉 453000)

假設最優化問題的模型是：

minf(x),

s.t.x∈

一、基本思想

(一)擬牛頓法的基本思想

在求解n維無約束優化問題時，用迭代點的梯度和Hesse陣Gk的某個近似矩陣Bk對目標函數進行二次函數近似，然后把二次函數的極小點作為新的迭代點[1]。

(二)非線性共軛梯度法的基本思想

在求解n維非線性問題時，用當前點的負梯度方向與算法的前一個方向的線性組合作為當前的搜索方向，在非精確線搜索條件下經過有限步終止[2]。

二、數值計算

(一)小型優化問題

對于小型無約束優化問題，比如：

minf(x)=4(x12-x2)2+3(x1-1)2,x∈R2

表1 擬牛頓法的數值結果

表2 非線性共軛梯度法的數值結果

通過表1和表2可以看出，擬牛頓法的迭代次數和運行時間都少于非線性共軛梯度法的迭代次數和運行時間，而目標函數值方面，擬牛頓法精確度更高一些。

(二)大規模優化問題

對于大規模的無約束優化問題，比如：

其中，n取1000.同樣選取相同的初始點，編程計算得出擬牛頓法和非線性共軛梯度法的數值計算結果，如表3和表4所示：

表3 擬牛頓法的數值計算結果

buzy表示計算器繁忙，一直不顯示結果。

表4 非線性共軛梯度法的數值結果

通過上面的結果比較可以發現，在大規模無約束優化問題中，非線性共軛梯度法的迭代次數和運行時間明顯少于擬牛頓法的迭代次數，并且擬牛頓法中對于某些與精確解較遠的點無法計算出數值解，所以，非線性共軛梯度法明顯優于擬牛頓法。

三、總結

在實際科學計算中，往往遇到的更多的是大規模計算問題，而此時的非線性共軛梯度法比擬牛頓法的效率更高一些，當然，在小規模的計算問題中，也可以采用擬牛頓法，因為它具有二階收斂速度，收斂性更好。在以后的學習和工作中，我們也應不斷地觀察發現新問題，以不斷探索新的知識。