求解非線性方程組的非單調自適應加速Levenberg-Marquardt算法

摘要： 提出一種新的求解非線性方程組的非單調自適應加速Levenberg-Marquardt算法， 該算法使用一種新的自適應函數更新Levenberg-Marquardt參數， 這種Levenberg-Marquardt

參數的更新方式可提高過于成功的迭代中模型與目標函數的一致性， 從而加快算法的收斂速度. 數值實驗結果表明， 該算法具有良好的數值計算性能.

關鍵詞： 自適應函數; 非單調技術; 加速Levenberg-Marquardt算法

中圖分類號： O221.2" 文獻標志碼： A" 文章編號： 1671-5489（2024）03-0538-09

Nonmonotonic Adaptive Accelerated Levenberg-MarquardtAlgorithm for Solving Nonlinear Equations

CAO Mingyuan1， LI Rong1， YAN Xueli1， HUANG Qingdao2

（1. School of Mathematics and Statistics， Beihua University， Jilin 132013， Jilin Province， China;

2. College of Mathematics， Jilin University， Changchun 130012， China）

Abstract： We proposed a new nonmonotonic adaptive accelerated Levenberg-Marquardt algorithm for solving nonlinear equat

ions. The algorithm used a new adaptive function to update the Levenberg-Marquardt parameter， which could enhance the consistency between the model and objective fu

nction during too-successful iterations， thereby accelerating the convergence rate of the algorithm. Numerical experimental results show that the proposed algorithm has good

numerical computational performance.

Keywords： adaptive function; nonmonotonic technique; accelerated Levenberg-Marquardt algorithm

收稿日期： 2023-08-20.

第一作者簡介： 曹名圓（1986—）， 女， 滿族， 博士， 副教授， 從事最優化理論及其應用的研究， E-mail： cmy0918@beihua.edu.cn.

通信作者簡介： 黃慶道（1968—）， 男， 漢族， 博士， 教授， 從事最優化理論及其應用的研究， E-mail： huangqd@jlu.edu.cn.

基金項目： 吉林省自然科學基金重點項目（批準號： YDZJ202101ZYTS167; YDZJ202201ZYTS303）和北華大學研究生創新項目（批準號： 2022033）.

0" 引" 言

考慮非線性方程組

F（x）=0，（1）

其中F（x）：

瘙 綆 n→

瘙 綆 m是一個連續可微函數. Levenberg-Marquar

dt（LM）方法［1-2］是求解方程組（1）常用的迭代方法， 該方法在第k次迭代中計算試探步為

dk=-（JTkJk+λkI）-1（JTkFk），（2）

其中Fk=F（xk）， Jk=J（xk）是F（x）在xk處

的Jacobi矩陣， I是一個單位矩陣， λkgt;0是LM參數. LM參數的選擇對LM方法的數值性能至關重要， 目前已經有許多有效的LM參數［3-4］.

為克服單調LM算法的局限性， 許多研究者將非單調技術引入到LM方法中. Chamberlain等［5］首先提出約束優化的Watchdog技術， 放寬了標準線搜索條件， 以克服約束優化的m

arotos效應； Grippo等［6］提出了應用于牛頓方法的非單調線搜索技術， 并將該技術應用于截斷牛頓方法［7］中； Amini等［8］提出了針對LM方法的非單調線

搜索技術; Kimiaei［9］對文獻［8］中的非單調技術進行了改進， 將新的非單調技術應用于LM方法中; Huang等［10］將提出的非單調的LM方法與文獻［11］中的單調LM方

法進行了比較， 數值實驗結果表明， 帶有非單調技術的算法比沒有非單調技術的算法更有效. 因此， 本文將在LM方法中引入非單調技術， 在保證全局收斂性的前提下減少總迭代次數和運行時間.

除上述非單調技術的引入外， 自適應技術的引入也能減少算法迭代次數， 加快算法的收斂速度. Hei［12］在信賴域方法中提出了一個R函數， 使用自適應更新技術

更新信賴域半徑Δk， 即Δk+1=R（rk）Δk. 此外， Walmag等［13］提出了一個Λ函數更新信賴域半徑， 即Δk+1=

Λ（rk）Δk， 其中Λ是一個關于rk的非負有界函數. 在此基礎上， Lu等［14］研究表明， 在過于成功的迭代中， 模型與目標函數之間的一致性欠佳， 因此提出了一

個L函數更新信賴域半徑. 結果表明， L函數包含了R函數和Λ函數的一些有利特征， 并且該方法在過于成功的迭代中更有效.

本文將構造一個新的自適應更新函數更新LM參數以提高算法的效率. 首先將一種有效的非單調技術應用于LM方法， 該方法在不影響算法全局收斂性的情況下允許函數值有所增長; 然

后選擇一種有效的LM參數更新試探步， 當迭代序列遠離最優解集時， 接受大量次不成功的迭代， 避免迭代點在局部區域來回跳躍的情況; 最后構造一種自適應函數更新參數μ

k， 充分利用實際下降量與預測下降量的比值信息判斷是否接受試探步， 提高了過于成功的迭代中模型與目標函數的一致性. 此外， 證明了本文的非單調自適應加速

LM算法在適當條件下具有全局收斂性， 并在局部誤差界條件下保持二階收斂速率. 數值計算結果表明， 該方法具有較好的數值性能.

1" 算法設計

定義價值函數‖Fk‖2在第k次迭代的實際下降量與預測下降量之間的比值為rk=AredkPredk， 該比值決定了是否接受試探步dk， 其中實際下降量和預測下降量分別為

Aredk=‖Fk‖2-‖F（xk+dk）‖2，（3）

Predk=‖Fk‖2-‖Fk+Jkdk‖2.（4）

本文將非單調技術應用于LM方法， 使用實際下降量

Aredk=Λk-‖F（xk+dk）‖2，（5）

這里

Λk=‖Fk‖2，k=0，

∑m（k）-1i=0ηm（k）-iFk（i）+‖Fk

‖2∑m（k）-1i=0ηm（k）-i+1，kgt;0，（6）

其中： m（0）=0， 0≤m（k）≤min{m（k-1）+1，N}， N∈

瘙 綃 ; η∈［ηmin，ηmax］，" ηmin∈［0，1）， ηmax∈［ηmin，1］;

Fk={‖Fk-j‖2}0≤j≤m（k），" k∈

瘙 綃 ；

Fk（i）=‖Fk‖2，klt;N，

‖Fk-N+i+1‖2，k≥N，

式中

i∈［0，k］，klt;N，［0，N-1］，k≥N.

為存儲新的信息并去除舊信息， 非單調技術利用序列{Fk}確定阻尼參數. 本文所用的比值為

rk=AredkPredk=Λk-‖F（xk+dk）‖

2‖Fk‖2-‖Fk+Jkdk‖2.（7）

在LM方法中使用非單調線搜索技術， 可以在連續迭代時不強制執行目標函數值的嚴格單調性， 即函數值不需要在每次迭代中嚴格減少， 并且允許較大的步長， 因此它可能是整個優化

過程的一個更好選擇. 特別是當所求問題存在彎曲狹谷的情況下， 非單調技術可增加算法尋找到全局最優值的可能性并提高算法的收斂速度.

本文選擇LM參數

λk+1=μk+1‖Fk+1‖21+‖Fk+1‖2.（8）

顯然， 當{xk}遠離解集，‖Fk‖非常大時， ‖Fk+1‖21+‖Fk+1‖2接近于1， λk接近于μk， 選擇這個LM參數能提高算法的效率.

在過于成功的迭代中， 目標函數的實際下降量明顯大于預測下降量. 雖然目前的迭代允許算法向最優方向發展， 但模型函數對目標函數的近似并不準確. 所以為克服迭代在過于

成功時的缺陷， 本文構造了更新參數μk+1的自適應函數：

K（rk）=β1+（β2-β1）exp--rk+p1p12，rk≤p1，

β2，p1lt;rklt;p2，1-β3exp{p2}1-exp{p2}-（1-β3）exp{p2}1-exp{p2}exp{

-rk+p2}-12，rk≥p2，（9）

其中β1，β2，β3，p1，p2是常數， 并且0lt;β2lt;1lt;β1≤β3， 0lt;p1lt;p2lt;1. 因此， K（rk）滿足以下性質：

1） limrk→∞K（rk）=β1;

2） limrk→p1 K（rk）=β2;

3） limrk→p2 K（rk）=12;

4） limrk→+∞ K（rk）=1-β3exp{p2}1-exp{p2}-12.

本文參數μk+1的更新方式為

μk+1=max{m，K（rk）μk}.（10）

當比值rk接近于1， 即模型函數提供了目標函數的精確局部近似時， 接受試探步dk并減小μk; 否則， 拒絕試探步dk并增大

μk. 在這種參數μk+1的更新方式中， 當比值rk充分大于1， 即迭代過于成功時， 選擇增大μk

可提高在過于成功的迭代中模型與目標函數的一致性， 避免迭代點在局部跳躍， 加快算法的收斂速度， 增強算法的有效性和穩定性.

由式（2）可知試探步dk是凸優化問題：

mind∈

瘙 綆 n{‖Fk+Jkd‖2+λk‖

d‖2}φk（d）

的解， 如果Δk=‖-（JTkJk+λkI）-1（JTk

Fk）‖， 則dk也是信賴域子問題

mind∈

瘙 綆 n‖Fk+Jkd‖2，

s.t. ‖d‖≤Δk

的解. 根據文獻［15］的結論， 有

Predk≥‖JTkFk‖min‖dk‖，‖JTkFk‖‖JTkJk‖.（11）

在上述分析的基礎上， 本文提出一種新的非單調自適應加速LM（nonmonotone adaptive accelerated Levenberg-Marquardt， NALM）算法.

算法1" NALM算法.

初始點選取： 給定x0∈

瘙 綆 n， μ0gt;mgt;0， 0≤p0lt;p1lt;p2lt;1， 0lt;β2lt;1lt;β1≤β3， εgt;0. 令 k∶=0.

步驟1） 計算Fk和Jk. 如果‖JTkFk‖≤ε， 則停止計算; 否則， 通過式（8）求自適應LM參數λk.

步驟2） 求解

（JTkJk+λkI）d=-JTkFk（12）

得到dk.

步驟3） 利用式（4），（5），（7）分別計算Predk，Aredk和rk.

步驟4） 設

xk+1=xk+dk，rk≥p0，

xk，rklt;p0.（13）

步驟5） 利用式（9）計算K（rk）， 并利用式（10）更新參數μk+1.

令k∶=k+1， 返回步驟1）.

2" 收斂性分析

2.1" 全局收斂性

假設1"nbsp; （i） 對任意給定的x0∈

瘙 綆 n， 水平集L（x0）∶={x

∈

瘙 綆 n‖F（x）‖≤‖F（x0）‖}是有界的.

（ii） F（x）是連續可微函數， F（x

）和Jacobi矩陣J（x）是Lipschitz連續的， 即存在正常數L1和L2， 滿足

‖J（x）-J（y）

‖≤L1‖x-y‖，" x，y∈

瘙 綆 n，（14）

‖F（x）-F（y）‖≤L2‖x-y‖，" x，y∈

瘙 綆 n.（15）

由式（14），（15）， 可得

‖F（y）-F（x）-J（x）（y-x）‖≤L1‖y-x‖2，" x，y∈

瘙 綆 n，（16）

‖J（x）‖≤L2，" x∈

瘙 綆 n.（17）

記NFl（k）∶=max{Fk}， k∈

瘙 綃 .

引理1" 若序列{xk}由NALM算法產生， 則：

1） 對所有的k∈

瘙 綃 ， 有xk∈L（x0）;

2） {NFl（k）}k≥0是一個收斂序列.

證明： 1） 首先證明

Λk≤NFl（k）.（18）

由定義， 有

Λk=∑m（k）-1i=0ηm（k）-iFk（i）+‖Fk‖2∑

m（k-1）i=0ηm（k）-i+1≤∑m（k）-1i=0ηm（k）-iNFl（k）+NFl（k）∑m（k-1）i=0ηm（k）-i+1=NFl（k），

即式（18）成立. 另一方面， 由于xk+1被算法接受， 故

Λk-‖Fk+1‖2≥‖Fk‖2-‖Fk+1‖2=Aredk≥p0Predkgt;0，

即

‖Fk+1‖2≤Λk.（19）

下面使用數學歸納法證明. 當k=0時， 有Λ0=‖F0‖2， 所以‖F1‖2≤‖F0‖2成立. 假設對所有的i=1，2，…，k， 都有xk∈L（x0）， 即對所有的i=1，2，…，k， 都有‖Fi‖2≤‖F0‖2

成立， 則NFl（k）≤‖F0‖2. 結合式（18），（19）， 可得

‖Fk+1‖2≤Λk≤NFl（k）≤‖F0‖2.

因此xk+1∈L（x0）， 所以有{xk}k≥0包含在L（x0）中.

2） 由式（18），（19）， 有

NFl（k+1）=" max{Fk+1}=max0≤j≤N{‖Fk+1-j‖2}

≤max{max0≤j≤N{‖Fk-j‖2}，‖Fk+1‖2}=" max{NFl（k），Λk}=NFl（k），

所以{NFl（k）}k≥0是一個遞減序列， 由假設1中（i）和xk∈L（x0）可得{NFl（k）}k≥0是一個收斂序列.

定理1" 在假設1的條件下， 由NALM算法生成序列{xk}， 則

limk→∞‖JTkFk‖=0.（20）

證明： 反證法. 假設存在一個正常數εgt;0和無窮多個k， 使得

‖JTkFk‖≥ε.（21）

首先證明

limk→∞ Λk=limk→∞‖Fk‖2.（22）

由引理1中2）以及Λk≤NFl（k）可知Λk存在極限. 對不等式（18），（19）兩邊取極限可得

limk→∞‖Fk‖2=limk→∞‖Fk+1‖2≤limk→∞ Λk，

limk→∞ Λk≤limk→∞ NFl（k）≤limk→∞‖Fk‖2.

結合上述兩個不等式可知式（22）成立.

由于dk被算法接受， 所以

Λk-‖Fk+1‖2≥p0Predk.

根據式（11），（17），（21）， 可知

Λk-‖Fk+1‖2≥p0‖JTkFk‖min

‖dk‖，‖JTkFk‖‖J

TkJk‖≥p0εmin‖dk‖，εL22.（23）

結合不等式（23），（22）， 可得

limk→∞ dk=0.（24）

從而由式（2），（8），（17），（21）， 有

limk→∞ μk=+∞.（25）

另一方面， 由式（3），（11），（17），（21），（24）， 有

rk-1=" AredkPredk-1=‖Fk+Jkdk

‖2-‖Fk+1‖2Predk=" ‖Fk+Jkdk‖O（‖dk

‖2）+ O（‖dk‖4）Predk≤" ‖Fk+Jkdk‖O（‖dk‖2）+O（‖dk‖4）‖JTkFk‖min‖dk‖，

‖JTkFk‖‖JTkJk‖≤O（‖dk‖2）‖dk‖→0.

再結合式（5）～（7）， 可得

rk=AredkPredk=Λk-‖Fk+1‖2Predk

≥‖Fk‖2-‖Fk+1‖2Predk=rk→1.

根據μk的更新規則， 可知存在一個正常數μgt;m， 使得對所有足夠大的k， μklt;μ都成立， 這與式（25）矛盾， 從而式（20）成立.

2.2" 局部收斂性

下面利用奇異值分解技術研究算法的局部收斂性. 假設由算法生成的序列xk收斂于非空解集X*， 并且位于x*∈X*的某個鄰域內.

假設2" （i） F（x）是連續可微函數， J（x）

在N（x*，b1）上Lipschitz連續， b1lt;1， 即存在一個正常數L1， 滿足

‖J（y）-J（x）‖≤L1‖y-x‖，"

x，y∈N（x*，b1）={x‖x-x*‖≤b1}.（26）

（ii） ‖F（x）‖在x*∈X*的某鄰域內提供了一個方程組（1）的局部誤差界， 即存在一個正常數c1gt;0， 滿足

‖F（x）‖≥c1dist（x，X*），" x∈N（x*，b1），（27）

其中dist（x，X*）是x到X*的距離.

根據式（26）， 有

‖F（y）-F（x）-J（

x）（y-x）‖≤L1‖y-x‖2，（28）

‖F（y）-F（x）‖≤L2‖y-x‖，" x，y∈N（x*，b1），（29）

其中L2是一個正常數. 下面使用xk∈X*表示滿足

‖xk-xk‖=dist（xk，X*）（30）

的向量. 為得到序列{xk}的局部收斂速度， 提出以下引理.

引理2" 在假設2的條件下， 對所有足夠大的k， 存在一個常數c2gt;0， 滿足

‖dk‖≤c2‖xk-xk‖.

證明： 由xk的定義式（30）可知

‖xk-x*‖≤‖xk-xk‖+‖xk-x*‖≤2‖xk-x*‖≤b1，

即x∈N（x*，b1）. 根據式（13）， 有

λk=μk‖Fk‖21+‖Fk‖2=μk1-11

+‖Fk‖2≥m1-11+c21‖xk-xk‖2

=mc21‖xk-xk‖21+c21‖xk-xk‖2.

根據不等式（28）， 得

‖Fk+Jk（xk-xk）‖2=‖F（xk）-F

k-Jk（xk-xk）‖2≤L21‖xk-xk‖4.

由于dk是φk（d）的最小點， 因此

‖dk‖2≤" 1λkφk（dk）

≤1λkφk（xk-xk）=1λk（‖Fk+Jk（x

k-xk）‖2+λk‖xk-xk‖2）≤

1+c21‖xk-xk‖2mc21‖xk-xk‖2

（L21‖xk-xk‖4）+‖xk-xk‖2=O（‖xk-xk‖2）.

所以存在一個常數c2gt;0， 使得‖dk‖≤c2‖xk-xk‖.

引理3" 在假設2的條件下， 對所有足夠大的k， 存在一個正常數Mgt;m， 滿足μk≤M.

證明： 首先證明對足夠大的k， 下面的不等式成立：

Predk=‖Fk‖2-‖Fk+Jkdk‖2≥minc12c2，c12‖Fk‖‖dk‖.（31）

考慮如下兩種情形.

情形1） 如果‖xk-xk‖≤‖dk‖， 則根據dk的定義和假設2， 有

‖Fk‖-‖Fk+Jkdk‖≥‖Fk‖-‖Fk+Jk（xk-xk）‖≥c1‖xk-

xk‖-L1‖xk-xk‖2≥c12c2‖dk‖.（32）

情形2） 如果‖xk-xk‖gt;‖dk‖， 則有

‖Fk‖-‖Fk+Jkdk‖≥" ‖

Fk‖-Fk+‖dk‖

‖xk-xk‖Jk（xk-xk）

≥" ‖dk‖‖ xk-xk‖（‖Fk‖-‖Fk+Jk（xk-xk）‖）≥" ‖dk‖‖xk-xk‖（c1‖xk-xk‖-L1‖xk-xk‖2）≥c12‖dk‖.（33）

結合不等式（32），（33）以及引理2可知

Predk=" （‖Fk‖+‖Fk+Jkdk‖）（‖Fk‖-‖Fk+Jkdk‖）≥" ‖Fk‖（‖Fk‖-‖Fk+Jkdk‖）≥minc12c2，c12‖Fk‖‖dk‖，（34）

即式（31）成立. 因此， 由式（31）、 假設2和引理2， 有

rk-1=" AredkPredk-1=‖Fk+Jkdk‖O（‖dk‖2）+O（‖dk‖4）Predk≤" ‖Fk‖O（‖dk‖2）+O（‖dk‖4）O（‖Fk‖‖dk‖）=O（‖dk‖）→0.

再結合式（5）～（7）可得

rk=AredkPredk=Λk-‖Fk+1‖2Predk≥‖

Fk‖2-‖Fk+1‖2Predk=rk→1.

所以rk→1， 從而存在一個常數Mgt;m， 使得對所有足夠大的k， 都有μk≤M.

根據文獻［16］中定理1的證明結果， 在不失一般性的情況下， 假設對所有x∈N（x*，b1）∩X*都有秩ran

k（J（x*））=r， 假設J（x）的奇異值分解為

J（x）=（1，2）Σ1000

T1T2

=1Σ1T1，（35）

其中Σ1=diag（σ1，σ2，…，σr）， σ1≥σ2≥…≥σrgt;0， 并且U=（1，2）， V=（1，2）是正交矩陣.

相應地， 考慮J（xk）的奇異值分解為

J（xk）=（U1，U2，U3）Σ1000Σ20000

VT1VT2VT3=U1Σ1

VT1+U2Σ2VT2，（36）

其中U=（U1，U2，U3）， V=（V1，V2，V3）是正交矩陣， Σ1=diag（σ1，σ2，…，σr）， σ1≥σ2≥…≥

σrgt;0， 并且 Σ2=diag（σr+1，σr+2，…，σr+q）， σr+1≥σr+2≥…≥σr+qgt;0.

引理4" 在假設2的條件下， 對所有足夠大的k， 有：

1） ‖U1UT1Fk‖≤O（‖xk-xk‖）;

2） ‖U2UT2Fk‖≤O（‖xk-xk‖2）;

3） ‖U3UT3Fk‖≤O（‖xk-xk‖2）;

4） ‖Fk+Jkdk‖≤O（‖xk-xk‖2）.

證明： 結論1）～3）的證明可參照文獻［17］中引理4.1的證明得到， 故略. 為證明結論4）， 由式（14）和矩陣攝動理論［18］， 得

‖diag（Σ1-Σ1，Σ2，0）‖≤‖J

k-J（xk）‖≤L1‖xk-xk‖，

即

‖Σ1-Σ1‖≤L1‖xk-xk‖，

‖Σ2‖≤L1‖xk-xk‖.（37）

因為{xk}收斂于解集X*， 假設L1‖xk-xk‖≤σr2對所有足夠大的k都成立， 則由式（37）， 有

‖Σ-11‖≤1σr-L1‖xk-xk‖≤2σr.（38）

再結合式（29）、 引理3以及F（xk）=0， 可知LM參數滿足

λk=μk‖Fk‖21+‖Fk‖2≤μk‖Fk‖2≤ML22‖xk-x

k‖2.（39）

由式（12）和式（36）， 可得

dk=-V1（Σ21+λkI）-1Σ1UT1

Fk-V2（Σ22+λkI）-1Σ2UT2Fk，

Fk+Jkdk=" Fk-U1Σ1（Σ21+λkI）-1Σ1UT1Fk-U2Σ2（Σ22+λkI）-1Σ2UT2Fk=" λkU1（Σ21+λkI

）-1UT1Fk+λkU2（Σ22+λkI）-1UT2Fk+U3UT3Fk.

再結合式（38）和式（39）， 有

‖Fk+Jkdk‖≤" λk‖Σ-21‖‖UT1Fk‖+‖U

T2Fk‖+‖U3UT3Fk‖≤

4L22M‖xk-xk‖3σ2r

+O（‖xk-xk‖2）+O（‖xk-xk‖2）= O（‖xk-xk‖2）.

定理2" 假設序列{xk}由NALM算法生成， 則在假設2的條件下， 序列{xk}二次收斂到問題（1）的解.

證明： 由假設2、 引理2和引理4中4）， 有

c1‖xk+1-xk+1‖≤‖F（xk+1）‖

=‖F（xk+dk）‖≤‖Fk+Jkdk‖+O（‖dk‖2）

=O（‖xk-xk‖2）.（40）

另一方面， 有

‖xk-xk‖=dist（xk，X*）

≤‖xk+1-xk‖≤‖xk+1-xk+1‖+‖dk‖.

由引理2， 對足夠大的k有

‖xk-xk‖≤2‖dk‖≤O（‖xk-xk‖）.

因此， ‖dk‖=O（‖xk-xk‖）. 結合式（40）， 可推出

‖dk+1‖≤O（‖dk‖2），

表明{xk}二次收斂到集合X*的一個解.

3" 數值實驗

下面將本文提出的NALM算法與非單調LM（nonmonotone Levenberg-Marquardt， NLM）算法［8］、 自適應LM（adaptive Levenberg-Marquardt， ALM）算法［19

］的數值性能進行比較， 以驗證本文算法的有效性. 數值實驗的測試函數集是通過修改文獻［20］中給出的非奇異問題得到的， 其形式與Schnabel等［21］構造的奇異測試問題形式相同.

所有算法程序均由MATLAB軟件實現. 通過選擇不同的LM參數考慮兩種ALM算法： 當選擇LM參數中的δ=1時將算法記為ALM

1； 當選擇δ=2時將算法記為ALM2. 在所有算法中， 使用的參數為： p0=10-4， p1=0.25， p2=0.75， N0=5， μ0=0.01， m=10-8， σ1=0.25，

σ2=0.5， β1=1.01， β2=0.5， β3=2. 當滿足‖JTkFk‖≤10

-6或者迭代次數超過100（n+1）時算法停止迭代. 分別從-10x0，-x0，x0，10x0和1

00x0五個起始點運行測試問題， 其中 x0由文獻［21］給出.

本文利用Dolan等［22］提出的數值性能比較方法給出不同算法數值性能比較結果. 以迭代次數為例， 在性能圖中橫坐標τ表示最佳比值

因子， 縱坐標P（τ）表示測試算法s在最少迭代次數集的τ倍內所能解的問題個數占總問題個數的比率， 它反映了測試算法迭代次數的數值性能.

圖中最高曲線表示該測試算法在最少迭代次數集的τ倍內能求解的問題最多， 因此性能圖中位于右上角的算法數值性能更好. 不同算法的數值性能比較結果如圖1～圖4所示.

由圖1～圖3可見： 當τ=5時， NALM算法和ALM2算法可成功求解所選的所有測試問題， 而NLM算法只能成功求解約96%的問題， ALM1算法只能成功求

解約95%的問題; NALM算法迭代次數、 函數計算次數和梯度計算次數最少的問題約占總問題的92%， 而ALM2算法迭代次數、 函數計算次數和梯度計算次數最少的問題約

占總問題的32%. 表明NALM算法比ALM2算法更有優勢. 由圖4可見， 在解決本文所給的測試問題時， NALM算法所用的運行時間相比其他算法更少. 實驗結果表明， 本文

算法具有良好的數值性能， 在求解非線性方程組問題方面性能更優.

綜上所述， 本文提出了一種新的非單調自適應加速LM算法， 該算法基于一個有效的LM參數， 利用非單調技術避免了迭代在局部跳躍， 通過構造自適應函數提高了模型與目標函數的一致

性. 數值實驗結果表明， 本文所提算法不僅能快速收斂到解集， 還能減少Jacobi矩陣計算次數， 具有良好的發展前景.

參考文獻

［1］" CHEN L， MA Y F. A New Modified Levenberg-Marquardt Method for Systems of Nonl

inear Equations ［J/OL］. J Math， （2023-02-10）［2023＼|06＼|16］. https：//doi.org/10.1155/2023/6043780.

［2］" SETYAWAN A， AQSA M K， SUSENO J E， et al. Gravity Inversion Modelling Using Simulated Annealing and the Levenberg-Marquard

t Algorithm ［J］. Inter J Geomate， 2022， 23（98）： 109-116.

［3］" HE X R， TANG J Y. A Smooth Levenberg-Marquardt Met

hod without Nonsingularity Condition for wLCP ［J］. AIMS Math， 2022， 7（5）： 8914-8932.

［4］" ZHAO J Y， ZHANG X J， ZHAO J L. A Levenberg-Marquardt Method for Tensor Approximation ［J］. Symmetry， 2023， 15（3）： 694-707.

［5］" CHAMBERLAIN R M， POWELL M J D， LEMARECHAL C， et al.

The Watchdog Technique for Forcing Convergence in Algorithm for Constrained Optimization ［J］. Math Program Stud， 1982， 16（4）： 1-17.

［6］" GRIPPO L， LAMPARIELLO F， LUCIDI S. A Nonmonotone Lin

e Search Technique for Newton’s Method ［J］. SIAM J Numer Anal， 1986， 23（4）： 707-716.

［7］" GRIPPO L， LAMPARIELLO F， LUCIDI S. A Truncated Newto

n Method with Nonmonotone Line Search for Unconstrained Optimization ［J］. J Optim Theory Appl， 1989， 60（3）： 401-419.

［8］" AMINI K， ROSTAMI F， CARISTI G. An Efficient Levenber

g-Marquardt Method with a New LM Parameter for Systems of Nonlinear Equations ［J］. Optimization， 2018， 67（5）： 637-650.

［9］" KIMIAEI M. Nonmonotone Self-adaptive Levenberg-Mar

quardt Approach for Solving Systems of Nonlinear Equations ［J］. Numer Func Anal Opt， 2017， 39（1）： 47-66.

［10］" HUANG B H， MA C F. A Shamanskii-Like Self-adaptiv

e Levenberg-Marquardt Method for Nonlinear Equations ［J］. Comput Math Appl， 2019， 77（2）： 357-373.

［11］" AMINI K， ROSTAMI F. A Modified Two Steps Levenberg

-Marquardt Method for Nonlinear Equations ［J］. J Comput Appl Math， 2015， 288： 341-350.

［12］" HEI L. A Self-adaptive Trust Region Algorithm ［J］. J Comput Math， 2003， 21（1）： 229-236.

［13］" WALMAG J M B， DELHEZ E J M. A Note on Trust-Region Radius Update ［J］. SIAM J Optim， 2005， 16（2）： 548-562.

［14］" LU Y L， LI W Y， CAO M Y， et al. A Novel Self-adaptive Trust Region Algorithm for Unconstrained

Optimization ［J/OL］. J Appl Math， （2014-04-15）［2023＼|06＼|20］. https：//doi.org/10.1155/2014/610612.

［15］" POWELL M J D. Convergence Properties of a Class of Minimization Algorithms ［J］. Nonlinear Program， 1975， 2（1）： 1-27.

［16］" BEHLING R， IUSEM A. The Effect of Calmness on the S

olution Set of Systems of Nonlinear Equations ［J］. Math Program， 2013， 137（1/2）： 155-165.

［17］" FAN J Y. A Modified Levenberg-Marquardt Algorithm

for Singular System of Nonlinear Equations ［J］. J Comput Math， 2003， 21（5）： 625-636.

［18］" STEWART G W， SUN J G. Matrix Perturbation Theory ［J］. Appl Math Sci， 1991， 88（1）： 1-15.

［19］" ZHENG L， CHEN L， MA Y F. A Variant of the Levenberg

-Marquardt Method with Adaptive Parameters for Systems of Nonlinear Equations ［J］. AIMS Math， 2022， 7（1）： 1241-1256.

［20］" MOR J J， GARBOW B S， HILLSTROM K E. Testing Uncon

strained Optimization Software ［J］. ACM T Math Software， 1981， 7（1）： 17-41.

［21］" SCHNABEL R B， FRANK P D. Tensor Methods for Nonlinear Equations ［J］. SIAM J Numer Anal， 1984， 21（5）： 815-843.

［22］" DOLAN E D， MOR J J. Benchmarking Optimization S

oftware with Performance Profiles ［J］. Math Program， 2002， 91（2）： 201-213.

（責任編輯： 趙立芹）