一種三項CD共軛梯度法及其全局收斂性

李 燦，湯玲霞

(紅河學院數學學院，云南蒙自661199)

考慮無約束優化問題［1］

其中f:Rn→R是連續可微函數，▽f(x)表示函數的梯度.經典的共軛梯度法［2］求解問題(1)所產生的點列{xk}滿足如下的迭代格式

其中αk表示由線性搜索確定的步長，dk表示第k次迭代的搜索方向且迭代格式如下

其中βk為參數.

2006年，Zhang等［3］對BFGS算法的搜索方向進行了深入分析，并與經典共軛梯度法的搜索方向進行了對比分析，由此提出了一種下降型PRP共軛梯度法，其搜索方向的迭代格式如下

1 算法

下面提出三項CD共軛梯度法，其搜索方向dk表示如下

其中

將 βk，ηk代入上式，便有 ▽f(xk)Τdk=－2‖▽f(xk)‖2.綜上所述，

因此該搜索方向dk具有充分下降性.

在上面的基礎上，我們提出求解(1)的一種三項CD共軛梯度法，其步驟如下:

步驟3.由強Wolfe型線性搜索

確定步長αk;

步驟4.令xk+1=xk+αkdk;

步驟5.由(4)確定dk+1，令k:=k+1，轉步驟2.

2 算法的全局收斂性

本節證明三項CD共軛梯度法在下列假設下具有全局收斂性.

假設1

(b)在Ε的領域Β內，目標函數f連續可微有下界，且其梯度▽f是Lipschitz連續的，即存在常數L＞0，使得

引理1若假設1成立，點列{xk}由三項CD共軛梯度法產生，則

另一方面，由Lipschitz條件(7)有

則有‖▽f(xk+1)－▽f(xk)‖·‖dk‖≤Lαk‖dk‖2，于是

由(9)，(10)可得

即

進一步，綜合強Wolfe線性搜索條件(6)和(11)有

上述不等式兩邊對k求和，并注意f(xk)有界，則有

從而

結合(5)，不難推出下面的引理:

引理2若假設1成立，點列{xk}由三項CD共軛梯度法產生，則

定理1若假設1成立，點列{xk}由三項CD共軛梯度法產生，則

證明 由搜索方向dk的迭代格式(4)有

將ηk代入，可以推出ηkyk－1的表達式

然后再將(15)代入(14)，進一步得到‖dk‖2的表達式

化簡后

將βk代入，可以得到

即有

［1］陳寶林.最優化理論與算法［M］.北京:清華大學出版社，2004.

［2］李董輝，童小嬌，萬中.數值最優化［M］.北京:科學出版社，2005.

［3］Zhang L，Zhou W，Li D.A descent modified Polak－Ribiere－Polyak conjugate gradient method and its global convergence［J］.IMA Journal of Numerical Analysis，2006，(4):629－640.

［4］Andrei N.On three－term conjugate gradient algorithms for unconstrained optimization［J］.Applied Mathematics and Computation，2013，(11):6316－6327.

［5］Al－Bayati A Y，Sharif W H.A new three－term conjugate gradient method for unconstrained optimization［J］.Canadian Journal on Science and Engineering Mathematics，2010，(5):108－124.

［6］Narushima Y，Yabe H，Ford J A.A three－term conjugate gradient method with sufficient descent property for unconstrained optimization［J］.SIAM Journal on Optimization，2011，(1):212–230.

［7］Zhang L，Zhou W，Li D.Some descent three－term conjugate gradient methods and their global convergence［J］.Optimization Methods and Software，2007，(4):697–711.