基于LS-SVM求解非線性常微分方程組的近似解*

趙 毅， 張國山

(天津大學 電氣與自動化工程學院，天津 300072)

0 引 言

非線性微分方程一直以來都是備受關注的研究對象，近代物理和科學工程計算中的一些關鍵問題歸根結底均依賴于某些特定的非線性微分方程的求解。因此，對非線性微分方程解法的研究具有重要的理論和應用價值。

文獻[1]介紹了利用神經網絡算法求解微分方程的方法，將近似解的形式用神經網絡模型代替，通過調整權值函數對神經網絡的權值進行優化，使得計算的誤差函數最小化，從而獲得方程滿足特定條件的近似解。文獻[2]討論了徑向基函數網絡(radial basis function networks,RBFN)求微分方程數值解的計算過程，優點在于僅依賴于域和邊界，不需要大量的數據即可獲得方程的解。文獻[3，4]利用模糊神經網絡模型可以逼近任意非線性連續函數的能力，通過優化算法獲得模型的最優可調參數，獲得微分方程滿足求解精度的近似解。文獻[5]提出了一種基于遺傳算法的常微分方程求解方法，實現簡單，快速收斂。

此外，運用最小二乘支持向量機(least square support vector machine,LS-SVM)方法求解微分方程也得到了重視。Mehrkanoon S等人在文獻[6～8]中提出了運用LS-SVM求解線性常微分方程以及廣義系統的近似解的問題，并取得了比較好的效果。文獻[9]改進LS-SVM模型，得到了一類部分未知仿射非線性系統在有限區間上的近似解。文獻[10]在文獻[9]的LS-SVM模型中加入滾動時間窗，同時消除偏置項，提出了在線無偏LS-SVM模型求解一類部分未知仿射非線性系統的實時近似解，由于系統部分未知，需要利用方程的真實解對模型進行訓練。

本文以LS-SVM模型處理函數回歸估計問題為參考，對LS-SVM模型進行改進，利用徑向基核函數可導的特點，通過含核函數導數形式的LS-SVM模型求解非線性常微分方程組的初值問題，不僅適用于求解一階非線性常微分方程，同時可將高階微分方程轉化為一階方程進行求解。在保證精度的前提下，利用本文所提方法可以得到非線性常微分方程組封閉形式(連續可微)的近似解。

1 LS-SVM

作為機器學習的研究熱點，已在模式識別[11，12]，回歸預測[13]等領域取得成功運用。在回歸問題中，對于給定的訓練樣本集{(xi,yi)},i=1,…,N，xi∈Rm為樣本輸入，yi∈R為輸出。LS-SVM利用非線性映射函數φ(x)將樣本映射到高維特征空間，從而將原樣本空間中的非線性函數估計問題轉化為高維特征空間中線性函數估計問題[14]。回歸函數一般用y(x)=wTφ(x)+b表示。

基于結構風險最小化原則[14]，得到LS-SVM 約束優化模型如下

s.t.yi=wTφ(xi)+b+ei

(1)

式中w∈Rh為權向量；φ(·):Rm→Rh為非線性特征映射函數；h為特征空間的維數，可以是有限維或無限維的；γ∈R+為懲罰因子，用于控制訓練誤差和模型復雜度之間的平衡，避免出現過擬合或欠擬合的情況，使所求得的目標函數有較好的泛化能力；偏置項b∈R,誤差ei∈R。

為了求解上述優化問題，可引入Lagrange函數，將約束優化問題轉化為無約束優化問題，最終通過求解式(2)獲得參數的最優值

(2)

式中1N=[1,1,…,1]T∈RN;α=[α1,α2,…，αN]T∈RN;y=[y1,y2,…，yN]T∈RN;Ω∈RN×N，其第ij個元素可表示為Ωij=K(xi,xj)=φT(xi)φ(xj)，K(xi,xj)為滿足Mercer定理[15]的核函數。最終，回歸函數的表達形式為

(3)

2 非線性微分方程組的求解

考慮式(4)非線性常微分方程組

(4)

式中f1,f2為已知的非線性函數；t∈[tin,tf]且式(4)滿足初始條件x(tin)=p1,y(tin)=p2。

本文的目標是求解此類非線性微分方程在已知區間上滿足一定初始條件的近似解。

當利用LS-SVM模型處理非線性微分方程求解問題時，目標值yi無法直接使用，因此，LS-SVM回歸模型無法直接應用。為解決此問題，將非線性微分方程所包含的信息加入到學習過程中并對核函數的導數進行定義。由Mercer定理可知，特征映射函數的導數可以用核函數的形式表示(假如核函數充分可微)，例如，如下關系式成立

x(t1)=p1

y(t1)=p2

(5)

(6)

根據KKT條件(karush-kuhn-Tucker conditions)[16]，對式(6)中各變量求偏導數并令其等于零，將所得結果化簡整理可得式(7)非線性方程組

(7)

1=[1,…,1]T∈RN-1；0=[0,…,0]T∈RN-1

式中I為N-1階單位陣；O為N-1階零矩陣；D(·)為將矩陣對角化。

非線性方程組(7)可通過牛頓法進行求解，最終所得微分方程組的近似解為

(8)

3 參數整定

由于高斯RBF具有良好泛化能力且適用范圍廣，因此，選取RBF作為仿真實驗的核函數，即

(9)

式中σ為核函數的帶寬。

此外，與LS-SVM回歸過程不同的是本文未設目標值，因此,求解過程不會產生噪聲，不必考慮噪聲對結果的影響。

4 數值仿真

為了更好地評價所用方法的性能，采用均方根誤差(mean square error, MSE)表示所求得數值解的精確度

(10)

(11)

圖1 N=100時真實解與近似解比較

圖2 N=100時真實解與近似解誤差

從圖中可以看出，非線性微分方程組近似解的變化與真實解的變化基本保持一致，兩者之間存在較小的誤差，因此，利用LS-SVM方法求解非線性微分方程組所得近似解具有較高的精度。

通過增大訓練樣本點的個數，模型的均方差不斷減小，因此，適當地增大訓練樣本，可以提高求解的精度。但超出一定范圍后，再增大訓練樣本，模型的求解精度不會再發生顯著變化，反而會增加求解的時間。

表1 不同訓練樣本下求解精度(MSE)

通過數值仿真可以看出，本文所提方法也適用于高階非線性微分方程的求解。通過引入中間變量，將高階微分方程轉化為一階微分方程，利用LS-SVM方法求解。

5 結 論

討論了非線性微分方程組的求解問題，提出了一種基于LS-SVM的具有優化和學習能力的求解方法，在求解高階微分方程時，可將其轉化為一階方程進行求解，擴大了方法的適用范圍。本文僅針對含有2個未知函數的非線性微分方程求解進行了研究，未來可將該方法擴展到混沌系統或者非線性微分方程的在線求解過程中。

[1] Mall S,Chakraverty S.Numerical solution of nonlinear singular initial value problems of Emden-Fowler type using Chebyshev Neural Network method[J].Neurocomputing,2015,149:975-982.

[2] Mai-Duy N,Tran-Cong T.Numerical solution of differential equations using multiquadric radial basis function networks[J].Neural Networks,2001,14(2):185-199.

[3] Leephakpreeda T.Novel determination of differential-equation solutions:Universal approximation method[J].Journal of Computational and Applied Mathematics,2002,146(2):443-457.

[4] Yazdi H S,Pourreza R.Unsupervised adaptive neural-fuzzy infe-rence system for solving differential equations[J].Applied Soft Computing,2010,10(1):267-275.

[5] Tsoulos I G,Lagaris I E.Solving differential equations with gene-tic programming[J].Genetic Programming and Evolvable Machines,2006,7(1):33-54.

[6] Mehrkanoon S,Falck T,Suykens J A K.Approximate solutions to ordinary differential equations using least squares support vector machines[J].IEEE Transactions on Neural Networks and Lear-ning Systems,2012,23(9):1356-1367.

[7] Mehrkanoon S,Suykens J A K.LS-SVM approximate solution to linear time varying descriptor systems[J].Automatica,2012,48(10):2502-2511.

[8] Mehrkanoon S,Suykens J A K.LS-SVM based solution for delay differential equations[C]∥Proc of the International Conference on Mathematical Modelling in Physical Sciences,2012:1-4.

[9] Zhang G,Wang S,Wang Y,et al.LS-SVM Approximate solution for affine nonlinear systems with partially unknown functions[J].Journal of Industrial and Management Optimization,2014,10(2):621-636.

[10] 張國山,王巖浩.基于數據的一類部分未知仿射非線性系統近似解[J].自動化學報,2015,41(10):1745-1753.

[11] 陳 曦,陳冠雄,沈海斌.基于SVM的ECG傳感器信號身份識別方法[J].傳感器與微系統,2014,33(10):40-42.

[12] 伍吉瑤,王 璐,程正南，等.基于LLE和SVM的手部動作識別方法[J].傳感器與微系統,2016,35(8):4-7.

[13] 李文江,陳 陽.基于改進ABC與LS-SVM算法的電力負荷預測的研究[J].傳感器與微系統,2013,32(5):57-59.

[14] Vapnik V.Principles of risk minimization for learning theory[C]∥Advances in Neural Information Processing Systems,1992:831-838.

[15] Vapnik V N.The nature of statistical learning theory[M].Berlin:Springer Science & Business Media,2013.

[16] Kincaid D R,Cheney E W.Numerical analysis:Mathematics of scientific computing[M].American Mathematical Soc,2002.