一個帶有干擾因子修正PRP共軛梯度法的全局收斂性*

陳洪敏(重慶師范大學數學學院，重慶401331)

一個帶有干擾因子修正PRP共軛梯度法的全局收斂性*

陳洪敏
(重慶師范大學數學學院，重慶401331)

非線性共軛梯度法是解決大規模優化問題的一種非常有效的方法，提出了一個修正的PRP方法，該參數帶有干擾因子，并證明了這一新的參數具有非負性，且在適當條件下，采用Wolfe線搜索，證明該算法具有全局收斂性.

共軛梯度法;強Wolfe條件;Wolfe條件;干擾因子;全局收斂性

1　基礎知識

考慮如下的無約束極小化問題:

其中，f:Rn→R是連續可微函數，且其梯度可獲得.

非線性共軛梯度法是求解此類問題的一種常用的有效方法，具有算法簡便、存儲需求小等優點，適用于求解大規模無約束優化問題.共軛梯度法的迭代格式為

其中dk為搜索方向，▽f(xk)簡記為gk，βk是一個參數，不同的βk對應著不同的共軛梯度法，αk是通過適當的線搜索獲得的步長，通常使用Wolfe線搜索、強Wolfe線搜索.

Wolfe線搜索條件為

強Wolfe線搜索條件為

其中0＜δ＜σ＜1.

傳統共軛梯度法的參數公式βk的計算公式有Hestenes-Stiefel(HS)［1］，Fletcher-Reeves(FR)［2］，Polak-Ribiere(PRP)［3］，Dai-Yuan(DY)［4］，它們的表達式分別為

這種方法在適當條件下，分別證明算法在Wolfe和Grippo-Lucidi線搜索下是全局收斂的.文獻［6］通過對參數βk加入干擾因子得到兩個新的βk，公式如式(8):

文獻［7］分析了PRP方法，認為限制其參數βk的非負性不僅對方法的全局收斂性起到至關重要的作用，而且能夠很容易地保證算法的下降性;文獻［8］證明了在充分下降條件被滿足，且步長αk滿足Wolfe線搜索條件的前提下，算法具有全局收斂性.在接下來的引理中證明了的非負性.

假設目標函數滿足下面的假設:

2)目標函數f在Ω的某個領域N是連續可微的，且梯度函數是Lipschitz連續的，即存在常數L＞0使得

對任意的x∈N.

證明記θk為gk和gk－1的夾角，即

因為ν≥1，故

引理2(性質*)考慮形如式(2)(3)的方法，并且假設對任意的，則存在常數b＞1，λ＞0，使得對任意的k≥1都有

在共軛梯度法中，充分下降條件非常重要，其中假設new算法滿足式(12).

引理3［8］(zoutendijik條件)若假設1)2)成立，考慮形如式(2)(3)的方法，dk是下降方向，αk滿足式(5)(6)，則

引理4［8］若假設1)2)成立，考慮形如式(2)(3)的方法，αk滿足式(5)(6)，且滿足充分下降條件式(12)，若βk滿足性質(*)且成立，則存在λ1＞0，使得對任意的Δ∈N*和下標k0，都存在指，則

因為ν≥1，故標k≥k0，滿足，其中表示的個數.

引理5［8］若假設1)2)成立，考慮形如式(2)(3)的方法，滿足下面3個條件:(i)對任意的k≥1，都有βk≥0;(ii)算法采用Wolfe-power線搜索，滿足zoutendijik條件，滿足充分下降條件式(12);(iii)滿足性質

定理1若假設1)2)成立，考慮形如式(2)(3)的方法，充分下降條件式(12)成立，αk滿足式(5)(6)，βk取.即new算法具有全局收斂性.

［1］HESTENESM R，STIEFEL E L.Method of Conjugate Gradient for Solving Linear Systems［J］.Res Natl Bur Stand，1952(49): 409-436

［2］FLETCHER R，REEVESC.Function Minimization by Conjugate Gradients［J］.Comput，1964(7):149-154

［3］POLAK B，RIBIEREG.Note Surla Convergence Des Meethodes de Directions Conjugees［J］.Rev Fr Inf Rech Oper，1964，3(1): 35-43

［4］DAIY H，YUAN Y X.A Nonlinear Conjugate GradientMethod with a Strong Global Convergence Property［J］.SIAM Optim，1999 (10):177-182

［5］黎勇.一類修正PRP共軛梯度法的全局收斂性及其數值試驗結果［J］.西南大學學報:自然科學版，2011，33(11):23-28

［6］JIANG X Z，JIAN J B.Two Modified Nonlinear Conjugate Gradient Methods with Disturbance Factors for Unconstrained Optimization［J］.Nonlinear Dynamics，2014，77(1-2):387-394

［7］POWELLM JD.NonconVex Minimization Calculations and the Conjugate Method［J］.Lecture Notes in Mathematics，1984，10 (66):122-141

［8］GLIBERT JC，NOCEDAL J.Global Convergence Properties of Conjugate GradientMethod for Optimization［J］.SIAM Optim，1992 (2):21-42

Global Convergence Property of a Modified PRP Conjugate Gradient Method with Disturbance Factor

CHEN Hong-m in
(School of Mathematical Sciences，Chongqing Normal University，Chongqing 401331，China)

The nonlinear conjugate gradientmethod is a very effective iterativemethod for solving large-scale optimal problems.In this paper，amodified PRP conjugate gradientmethod with disturbance factor is proposed and non-negative property of the formula is proved.Under suitable conditions，the global convergence of the algorithm with theWolfe line search is discussed.

conjugate gradient method;strong Wolfe condition;Wolfe condition;disturbance factor; global convergence

O224

A

1672－058X(2015)09－0001－04

10.16055/j.issn.1672－058X.2015.0009.001

2014－12－11;

2015－02－24.

國家自然科學基金(10771003).

陳洪敏(1988-)，女，安徽阜陽人，碩士研究生，從事最優化理論與算法研究.