一種求解非線性方程組的修正Levenberg-Marquardt算法

韓揚　芮紹平

摘要：通過修改Levenberg-Marquardt （LM）參數，結合信賴域方法給出一種新的求解方程組的LM算法。在局部誤差界條件下，證明了該算法具有局部快速收斂性。數值實驗結果表明，此算法穩定、有效。

關鍵詞：Levenberg-Marquardt算法；方程組；LM參數；局部快速收斂性

中圖分類號：O221.1 文獻標志碼：A

從表1中的數值實驗結果可以看出，ALLM算法相對穩定，對于大部分測試的實驗結果，ALLM算法的計算時間小于AELM算法的計算時間，并且當選取的初始點遠離解集時，算例3在參數θ=05及δ=2、算例5在參數θ=05及δ=15，2和算例9在參數θ=05及δ=1，15，2時，ALLM算法的計算量和計算時間均小于AELM算法。

4 結論

本文結合信賴域方法提出了一種求解非線性方程組的修正的LM算法（ALLM算法），在不必假設雅可比矩陣非奇異的局部誤差界條件下，證明了該算法具有局部快速收斂性。可根據實際應用的需要，通過改變θ和δ值以優化λk的選取，數值實驗結果表明，ALLM算法穩定有效。然而雅可比矩陣的計算量和收斂速度還需繼續改善，如何節約雅可比矩陣的計算量和提升收斂速度是今后有待解決的問題。

參考文獻

［1］LEONOV E A，POLBIN A V. Numerical search for a global solution in a two-mode economy model with an exhaustible resource of hydrocarbons［J］. Mathematical Models an Computer Simulations，2022，14（2）： 213-223.

［2］NOROUZI N，FANI M，TALEBI S. Green tax as a path to greener economy： A game theory approach on energy and final goods in Iran［J］. Renewable and Sustainable Energy Reviews，2022，156：111968.

［3］VU D T S，BEN GHARBIA I，HADDOU M，et al. A new approach for solving nonlinear algebraic systems with complementarity conditions. Application to compositional multiphase equilibrium problems［J］. Mathematics and Computers in Simulation，2021，190：1243-1274.

［4］LUO X L，XIAO H，L J H. Continuation Newton methods with the residual trust-region time-stepping scheme for nonlinear equations［J］. Numerical Algorithms，2022，89（1）：223-247.

［5］WAZIRI M Y，AHMED K. Two descent Dai-Yuan conjugate gradient methods for systems of monotone nonlinear equations［J］. Journal of Scientific Computing，2022，90（1）：36.

［6］PES F，RODRIGUEZ G. A doubly relaxed minimal-norm Gauss-Newton method for underdetermined nonlinear least-squares problems［J］. Applied Numerical Mathematics，2022，171：233-248.

［7］LEVENBERG K. A method for the solution of certain non-linear problems in least squares［J］. Quarterly of Applied Mathematics，1944，2（2）：164-168.

［8］MARQUARDT D W. An algorithm for least-squares estimation of nonlinear parameters［J］ Journal of the Society for Industrial and Applied Mathematics，1963，11（2）：431-441.

［9］YAMASHITA N，FUKUSHIMA M. On the rate of convergence of the Levenberg-Marquardt method［J］. Computing，2001，15：239-249.

［10］ FAN J Y，YUAN Y X. On the convergence of a new Levenberg-Marquardt method＼[DB/OL＼]. ＼[2022-09-09＼]. https：//citeseerx.ist.psu.edu/document？repid=rep1&type=pdf&doi=dc7c189e9fdec273b26f3abcc292ee81d237c301.

［11］ FISCHER A. Local behavior of an iterative framework for generalized equations with nonisolated solutions［J］. Mathematical Programming，2002，94（1）：91-124.

［12］ MA C F，JIANG L H. Some research on Levenberg-Marquardt method for the nonlinear equations［J］. Applied Mathematics and Computation，2007，184（2）：1032-1040.

［13］ FAN J Y. A modified Levenberg-Marquardt algorithm for singular system of nonlinear equations［J］. Journal of Computational Mathematics，2003，21（5）：625-636.

［14］ AMINI K，ROSTAMI F，CARISYI G. An efficient Levenberg-Marquardt method with a new LM parameter for systems of nonlinear equations［J］. Optimization，2018，67（5）： 637-650.

［15］ AHOOKHOSH M，AMINI K. A nonmonotone trust region method with adaptive radius for unconstrained optimization problems［J］. Computers & Mathematics with Applications，2010，60（3）： 411-422.

［16］ AHOOKHOSH M，AMINI K. An efficient nonmonotone trust-region method for unconstrained optimization［J］. Numerical Algorithms，2012，59（4）：523-540.

［17］ WANG P，ZHU D T. A derivative-free affine scaling trust region methods based on probabilistic models with new nonmonotone line search technique for linear inequality constrained minimization without strict complementarity［J］. International Journal of Computer Mathematics，2019，96（4）：663-691.

［18］ STEWART G W，SUN J G. Matrix perturbation theory［M］. Boston：Academic Press，1990.

［19］ MORE J J，GARBOW B S，HILLSTROM K E. Testing unconstrained optimization software［J］. ACM Transactions on Mathematical Software （TOMS），1981，7（1）：17-41.

［20］ SCHNABEL R B，FRANK P D. Tensor methods for nonlinear equations［J］. SIAM Journal on Numerical Analysis，1984，21（5）：815-843.

Modified Levenberg-Marquardt Algorithm for Solving Systems of Nonlinear Equations

HAN Yang，RUI Shao-ping

（School of Mathematical Sciences， Huaibei Normal University， Huaibei 235000， China）

Abstract： A new modified Levenberg-Marquardt （LM） algorithm for solving systems of equations was presented by modifying Levenberg-Marquardt （LM） parameters and combining trust region method. Under the local error bound condition， it was proved that the algorithm has local fast convergence. Numerical results show that this algorithm is stable and effective.

Keywords： Levenberg-Marquardt algorithm； systems of equations； LM parameter； local fast convergence

收稿日期：2022-09-24

基金項目：安徽省高等學校自然科學研究項目（批準號：KJ2020A0024）資助；淮北師范大學實驗室開放項目（批準號：2022sykf016）資助。

通信作者：芮紹平，男，博士，教授，主要研究方向為最優化理論與算法。E-mail：rsp9999@163.com