SVM-HDMR高維非線性近似模型構造法

李 亮，孫 秦

西北工業大學 航空學院，西安 710072

SVM-HDMR高維非線性近似模型構造法

李 亮，孫 秦

西北工業大學 航空學院，西安 710072

1 引言

近似模型是利用科學或工程系統已有的輸入和輸出數據構造的用于表示系統輸入和輸出關系的數學模型。例如，在工程優化設計中，構造近似模型代替物理試驗或數值分析，可以有效提高優化設計的效率。

目前國內外已經發展了多種近似模型構造法，主要有移動最小二乘法（MLS）[1]，多項式響應面法（PRS）[2]，人工神經網絡（ANN）[3]，徑向基函數網絡（RBF）[4]，克里格法（Kriging）[5]以及支持向量機（SVM）[6]等。通過調查，發現這些近似模型構造法已成功應用于多種學科的低維問題中。但是隨著維數的增加，用于構造這些近似模型的樣本數量和計算成本會急劇增加，尤其是對樣本值獲取比較耗時的問題，往往因計算量過大而無法承擔，形成所謂的“維數災難”。

為了構造高維下的近似模型，Sobol[7]提出了HDMR近似模型構造法，利用函數的層級屬性，采用分而治之的思想，將高維問題分解為一系列低維問題進行求解，從而大大提高了計算效率。到目前，HDMR已經發展出多種形式，其中以Rabitz[8]提出的Cut-HDMR最為簡單實用。為了求解Cut-HDMR中的各階低維問題，Shan[9]提出了基于RBF的Cut-HDMR，后來Wang和Τang[10-11]又提出了基于MLS和Kriging的Cut-HDMR。

本文在前人的工作基礎上，將 LS-SVM引入Cut-HDMR，提出了SVM-HDMR，并建立了一套自適應的采樣和模型構造算法，以保證使用盡可能少的樣本點獲得盡可能高的近似精度。

2 Cut-HDMR基本理論

HDMR可以有效地表示出科學或工程系統中輸入變量與輸出響應間的映射關系，其一般形式為[7]：

式中，x=[x1，x2，…，xn]Τ為輸入變量，f(x)為輸出響應。等式右邊各項被稱為組件函數，其中f0是常數項，用以表示對響應的零階效應；fi(xi)表示變量xi獨立對響應產生的效應，即一階效應，它與xi可能成線性關系或非線性關系；fij(xi，xj)表示變量xi和xj耦合作用對響應產生的效應，即二階效應，它與xi和xj也可能成線性關系或非線性關系。后面的各項表示了數目依次增加的變量耦合作用對響應產生的效應。最后一項表示所有變量耦合作用對響應產生的效應。

用HDMR構造近似模型的關鍵是對各階組件函數的求取，一般做法是構造相應階數的近似函數對其進行近似。本文采用的Cut-HDMR在變量空間中選取一個點x0作為切割中心，通過將f(x)在通過切割中心的直線、平面以及超平面上的值進行疊加來表示f(x)。Cut-HDMR的各階組件函數如下列各式所示[8]：

式中，表示沒有xi的x0，表示沒有xi和xj的x0。x0、和分別是零階、一階和二階組件函數的構造點。

3 LS-SVM

LS-SVM[12-13]是對標準SVM的發展，是一種有效的非線性近似模型構造法。它以二次損失函數為經驗風險，用等式約束代替不等式約束，根據結構風險最小化原則，將近似模型的構造轉化為如下優化問題：

式中，w和b為模型參數，γ為正則化參數，ξi為誤差函數。引入拉格朗日乘子α=[α1，α2，…，αm]Τ，得到如下拉格朗日函數：

式中，y=[y1，y2，…，ym]Τ為樣本值集合，1=[1 ，…，1]Τ，K=為核函數，I為單位陣。解線性方程組（5）求得b和α，得到如下回歸函數：

4 SVM-HDMR近似模型構造法

在一般工程問題中，低階項對響應的效應都較強，隨著階數增加，相應組件函數對響應的效應逐漸減弱[9]。為了盡量減少計算成本，本文提出的SVM-HDMR算法只考慮到二階項，其形式為：

為了提高樣本利用率和降低計算成本，本文采用了自適應采樣法。與傳統的按照一定算法一次性采集大量甚至所有所需樣本點的方法相比，自適應采樣法根據需要按照一定算法每次只采集一個或多個樣本點，提高了采樣的針對性，以最大限度地減少所需樣本總數。SVM-HDMR的自適應采樣和模型構造算法如下：

（1）在變量空間的中心附近隨機選取一個點x0= [x10，x20，…，]Τ作為切割中心，并求出該點處的響應值f0=f(x0)。對于一般工程問題，如果展開式（1）收斂，則插值效果與中心位置的選取無關[9]。

（2）在變量xi取值范圍的上界和下界的鄰域內各隨機選取一個值作為變量xi的值，其余n-1個變量的值都與x0保持一致，得到兩個樣本點和。這里的鄰域指的是在設計空間中沿xi方向離一個設計點的距離不超過xi取值范圍的1%。求出這兩個點處的響應值，得到一階組件函數fi(xi)在下界點的值fi(xiL)=f(xiL，)-f0和在上界點的值fi(xiU)=f(xiU，)-f0。在這兩個點上作線性插值構造近似一階組件函數。

（3）對fi(xi)的線性與否進行校核。如果過點x0，即若，可認為fi(xi)是線性的，則的構造結束；否則，認為fi(xi)是非線性的，則用LS-SVM在點x0及步驟（2）中采集的兩個點上重新構造然后沿xi方向在xi取值范圍內隨機取一個數作為變量xi的值，其余n-1個變量的值仍與x0保持一致，得到一個新點。求該點處的響應值，并求重新構造的在該點處的相對誤差。如果相對誤差小于給定的閥值（如0.1），則的構造結束；否則，用LS-SVM在這個新點與之前的三個點處再次重新構造。重復這個過程，直到得到足夠精確的為止。

（4）反復執行步驟（2）和步驟（3），直到得到所有近似一階組件函數。

（5）在變量空間中取一個新點，該點每一維的值都是從該維在步驟（2）和步驟（3）中所取過的值中隨機抽出的。求出這個新點處的響應值和一階近似值，若兩個值的相對誤差小于某個閥值（如0.001），則認為不存在二階項，模型構造結束；否則，轉到步驟（6）。

（6）在變量空間中取一個新點，該點中變量xi和xj(i≠j)的取值都是相應維在步驟（2）和步驟（3）中所取過的值中隨機抽出的，其余各維的值都與x0保持一致。求出該點處的響應值和一階近似值。若兩個值的相對誤差小于某個閥值（如0.001），則認為變量xi和xj間無耦合效應或兩個變量間的耦合效應對響應所起的作用可忽略不計；否則，用LS-SVM在該點及步驟（2）和步驟（3）中針對變量xi和xj所采集的點上構造。然后，如同取上一個點的方式，再取一個新點，并求該點處的響應值和二階近似值，若兩個值的誤差小于某個閥值（如0.1），則的構造結束；否則，用LS-SVM在這個新點及之前用過的點上再次重新構造。重復這個過程，直到得到足夠精確的為止。

（7）反復執行步驟（6），直到得到所有的近似二階組件函數。

5 數值算例

為了驗證SVM-HDMR算法的計算效率和近似精度，用Fortran語言編寫了計算程序和測試程序，并用該算法求解了三個函數算例和一個工程算例。

5.1 評價指標

為了校核構造的近似模型與真實響應函數的誤差大小，采用了如下兩種誤差評價指標：

其中，xi(i=1，2，…，m)是在變量空間中隨機生成的m個服從均勻分布的測試樣本點，xt是測試樣本集中與對應的樣本點。wc1和wc2分別從整體上和局部區域上反映近似模型的精度，兩者都是越接近于0，則近似模型的精度越高。

5.2 函數算例

考慮如下三個測試函數：

這三個函數均為10維，變量的取值范圍均取為[0 ，2]。分別用MLS-HDMR[10]、Kriging-HDMR[11]以及SVM-HDMR構造這三個函數的近似模型。取測試樣本點個數為5 000，測試結果如表1所示。

表1 函數算例測試結果

從表1中數據可知，用SVM-HDMR對三個測試函數構造的近似模型都有較好的近似精度，所用的計算樣本點數也較少。如果用LS-SVM構造10維函數的近似模型，若用全析因法采樣，每維取三個水平，則所需樣本點數為59 049個?？梢?，與傳統近似方法相比，SVM-HDMR極大地降低了構造近似模型的計算成本。

從表1還可以看到，SVM-HDMR對三個測試函數構造的近似模型的近似精度均高于MLS-HDMR和Kriging-HDMR，且所用的計算樣本點也更少。

5.3 工程算例

考慮一個如圖1所示的飛機平尾結構有限元模型，將翼根固支，在上、下蒙皮施加氣動載荷。分別將平尾的上蒙皮和下蒙皮沿展向分為9段，將每一段的蒙皮厚度設為一個變量，一共有18個變量。

圖1 飛機平尾結構有限元模型

采用NASΤRAN求解器對該模型進行有限元分析，用SVM-HDMR構造近似模型來近似翼尖撓度與18個厚度變量間的函數關系。取測試樣本點個數為500，測試結果如表2所示。

表2 工程算例測試結果

表2中的“一階”表示只求解SVM-HDMR的常數項和一階項，“二階”表示還要求解二階項。從表2中數據可知，用一階和二階SVM-HDMR構造的近似模型都具有較好的近似精度。二階近似與一階近似相比，其近似精度只有較小的改進，但所用的計算樣本點數卻增加較大。近似精度的改進較小是因為在某些工程問題中，雖然二階及更高階的耦合效應存在，但是與零階效應和一階效應相比，所占的比重較小。在工程問題中對樣本點求值比較耗時，如果只考慮到一階項就能取得較好的近似精度，就顯著地降低了計算成本。尤其是對于超高維問題，如維數達到1 000時，二階組件函數的數量為499 500，求解這些組件函數所需的樣本點數會達到上百萬，這對于工程計算幾乎是不可能實現的。而如果只考慮到一階項，對于一個一千維的問題，只需要求1 000個一階組件函數即可，若以每維取5個樣本點為例，一共只需要采集4 001個樣本點。但是，具體在哪些工程問題中只考慮到一階項就能取得較好的近似精度，還需要在以后進一步的研究中以及實際應用中進行測試和鑒別。

6 結論

為了構造高維下的近似模型，本文在前人工作的基礎上，將 LS-SVM引入 Cut-HDMR，提出了SVM-HDMR高維非線性近似模型構造法。該方法利用Cut-HDMR將高維問題轉化為一系列低維問題，再用LS-SVM求解這些低維問題。為了提高樣本利用率和降低計算成本，本文提出了一套完整的自適應采樣和模型構造算法。該算法按照設計變量的先后順序，從低階到高階依次構造各階組件函數，所用的計算樣本點都是根據誤差閥值的判斷并依據一定的規則一個一個選取出來的。這與傳統的按一定算法一次性采集大量甚至所有所需樣本點的做法相比，提高了采樣的目的性和樣本點的利用率。另外，與傳統近似方法只利用了樣本信息相比，該算法還利用了函數自身的層級屬性，增加了構造近似模型所用的信息量。

數值算例的測試結果表明該方法具有較好的近似精度，且與傳統近似方法相比極大地降低了計算成本，從而更適用于高維工程問題的求解。測試結果還表明，本文方法與MLS-HDMR以及Kriging-HDMR相比，具有更高的近似精度，且所用的計算樣本點也更少。對于某些工程問題，只考慮到SVM-HDMR的一階項就能取得較好的近似精度，從而進一步降低了計算成本。因此，該方法在超高維問題中也具有很好的應用前景，如在大規模結構的全局優化中，用該方法構造設計目標及約束響應與設計變量間的近似函數關系，再用優化算法對這些近似函數進行全局搜索，從而找到全局最優點作為原結構優化問題的全局最優點。在實際應用中，哪些工程問題只需要考慮到一階項就能取得較好的近似精度，還有待進一步研究。

本文采用近似方法估算LS-SVM的核參數σ，并將正則化參數γ近似取為+∞。為了使SVM-HDMR方法具有更好的穩健性，在進一步的研究中有待考慮將這些參數的優化算法結合到本文的算法中。

[1]Lancaster P，Salkauskas K.Surfaces generated by moving least squares methods[J].Mathematics of Computation，1981，37（155）：141-158.

[2]Box G E P，Wilson K B.On the experimental attainment of optimum condition[J].Journal of the Royal Statistical Society，1951，13（1）：1-45.

[3]Swinger K.Applying neural networks，a practical guide[M]. [S.l.]：Morgan Kaufmann Publishing Inc.，1996：3-21.

[4]Mulgrew B.Applying radial basis functions[J].IEEE SP Magazine，1996，13（2）：50-65.

[5]Sacks J，Welch W J，Mitchell Τ J，et al.Design and analysis of computer experiments[J].Statistical Science，1989，4（4）：409-435.

[6]Cortes C，Vapnik V.Support vector networks[J].Machine Learning，1995，20（3）：273-297.

[7]Sobol I M.Sensitivity estimates for nonlinear mathematical models[J].Mathematical Modeling&Computational Experiment，1993，1（4）：407-414.

[8]Rabitz H，Alls ? F.General foundations of high-dimensional model representations[J].Journal of Mathematical Chemistry，1999，25（2/3）：197-233.

[9]Shan S Q，Wang G G.Metamodeling for high dimensional simulation-based design problems[J].JournalofMechanical Design，2010，132（5）.

[10]Wang H，Τang L，Li G Y.Adaptive MIS-HDMR metamodeling techniques for high dimensional problems[J].Expert Systems with Applications，2011，38（11）：14117-14126.

[11]湯龍，李光耀，王琥.Kriging-HDMR非線性近似模型方法[J].力學學報，2011，43（4）：780-784.

[12]Suykens J A K，Vandewalle J.Least squares support vector machine classifiers[J].Neural Processing Letters，1999，9（3）：293-300.

[13]Gestel Τ V，Suykens J A K，Baesens B，et al.Benchmarking least squares support vector machine classifiers[J].Machine Learning，2004，54（1）：5-32.

LI Liang,SUN Qin

School of Aviation,Northwestern Polytechnic University,Xi’an 710072,China

In order to construct approximation model for high dimensional problems,Least Squares Support Vector Machine（LS-SVM）is introduced into High Dimensional Model Representation（HDMR）,and a modified approximation model construction method called SVM-HDMR for high dimensional nonlinear problems and corresponding adaptive sampling and model construction algorithm are proposed.Τhis method transforms high dimensional problem into a series of low dimensional problems using Cut-HDMR,and then these low dimensional problems are solved using LS-SVM.Τhe results of numerical examples show that the new method has good approximation quality and reduces computational expense dramatically,so it is more suitable for high dimensional problems.

approximation model;Least Squares Support Vector Machine（LS-SVM）;Cut-High Dimensional Model Representation（HDMR）;adaptive sampling

為了構造高維下的近似模型，將最小二乘支持向量機（LS-SVM）引入切割高維模型表示（Cut-HDMR），提出了SVM-HDMR高維非線性近似模型構造法，給出了相應的自適應采樣和模型構造算法。該方法利用Cut-HDMR將高維問題轉化為一系列低維問題，用LS-SVM求解這些低維問題。數值算例的測試結果表明該方法具有較好的近似精度，且與傳統近似方法相比極大地降低了計算成本，從而更適用于高維工程問題的求解。

近似模型；最小二乘支持向量機（LS-SVM）；切割高維模型表示（Cut-HDMR）；自適應采樣

A

O241.3

10.3778/j.issn.1002-8331.1301-0115

LI Liang,SUN Qin.SVM-HDMR approximation model construction method for high dimensional nonlinear problems. Computer Engineering and Applications,2013,49（15）：6-9.

中航工業產學研創新項目（No.Cxy2010xG18）。

李亮（1984—），男，博士研究生，主要研究領域為飛行器結構設計；孫秦（1956—），男，博士，教授，博士生導師，主要研究領域為飛行器結構設計。E-mail：gafeiad@163.com

2013-01-11

2013-04-15

1002-8331（2013）15-0006-04