基于BP神經網絡的無約束優化方法

董志貴，王福林，宋慶鳳，吳志輝

（1.東北農業大學 工程學院，哈爾濱 150030；2.遼寧何氏醫學院 臨床學院，沈陽 110027）

0 引言

黑箱問題是一個內部結構及相互作用關系未知的復雜系統，具有函數關系表達式不明確、高維、非凸性或目標函數不可導等特性。因此，黑箱問題的優化成為科學研究和工程應用領域的一類數學難題。對該類問題進行優化研究的傳統方法是利用試驗設計方法制定合理的試驗方案進行試驗，獲得輸入與輸出之間的對應數據關系后進行回歸擬合，得出輸入與輸出的回歸模型，最后通過對各因素間變化規律的分析或模型的優化找出一種最優組合。隨著BP（Back Propagation）神經網絡算法的發展和成熟，BP神經網絡模型成為黑箱問題函數關系擬合的主要方法，且理論證明三層BP神經網絡結構可以任意精度逼近復雜的非線性函數關系[1-3]。BP神經網絡擬合后，人們通常采用數值模擬法[4-7]、正交試驗設計[8]、遺傳算法[9]等方法獲取黑箱問題的一種最優組合。但是，這些方法存在計算過程復雜或收斂過快的缺點，有時無法獲得問題的全局最優解。

近幾年，人們在BP神經網絡擬合的基礎上，開始研究基于BP神經網絡的優化方法[10-12]。基于BP神經網絡的優化方法是文獻[10]提出的一種全局搜索優化方法，但該文理論研究不夠系統，且求解有約束優化問題時不能保證解在可行域內。文獻[11]和文獻[12]以單級Sigmoid傳遞函數構建BP神經網絡模型進行優化方法研究，搜索方向選取網絡輸出對輸入的梯度方向；搜索步長的初始值為常數，并在迭代過程中通過比較新舊迭代點網絡輸出值的優劣進行步長變換，下一次迭代的搜索步長繼承上次迭代的搜索步長。該方法將BP神經網絡的擬合與優化相結合，具有模型結構簡單，收斂速度快，參數調整方便的優點，同時不依賴于目標函數的數學性質，可有效求解復雜的優化問題，特別是黑箱優化問題。

本文在前面研究的基礎上，對基于BP神經網絡的無約束優化方法的理論進行深入探討和改進，研究提出以雙曲正切傳遞函數構造BP神經網絡模型的優化方法，推導雙曲正切傳遞函數為BP神經網絡輸出對輸入的偏導數，并對迭代的搜索步長進行改進，給出一種試驗步長法確定每次迭代的初始試驗步長。該方法的提出，完善了BP神經網絡無約束優化方法的理論與應用，為以后研究基于BP神經網絡的有約束優化方法奠定堅實的理論基礎。

1 BP神經網絡的結構及算法

1.1 BP神經網絡的結構

本文采用應用最為廣泛的三層BP神經網絡作為網絡結構模型，其結構如圖1所示。網絡的輸入層節點數根據輸入變量的數量確定，隱含層節點數根據經驗公式確定[13]，輸出層節點數根據輸出變量的數量確定。

圖1三層BP神經網絡結構圖

1.2 BP神經網絡算法

BP神經網絡算法的學習過程分為輸入信號的正向傳播和誤差信號的反向傳播，傳播過程遵循鏈式求導法則。正向傳播過程，即訓練樣本作為輸入信號從輸入層開始逐層計算各層神經元的凈輸入和輸出直到輸出層為止。若輸出層的實際輸出與期望輸出的誤差不能滿足期望精度，則轉入誤差的反向傳播過程。誤差信號的反向傳播則是由輸出層開始逐層計算各層神經元的輸出誤差，并根據誤差梯度下降原則調節各層的權重和閾值，使修正后的網絡輸出和期望輸出的誤差逐步減小。這種信號正向傳播與誤差反向傳播的學習訓練過程周而復始地進行，直到網絡的實際輸出與期望輸出的誤差小于期望精度或達到預先設定的學習次數為止[13]。

2 基于BP神經網絡的無約束優化方法

2.1 數學模型

為確保問題的一般性，以BP神經網絡的輸出極小化為例進行優化方法闡述，設輸入向量與輸出向量之間的關系為F(X)，基于BP神經網絡的無約束優化問題的一般數學模型為：

式中，X為輸入向量，X=(x1,x2,…,xn)T，Rn為可行域，Y為BP神經網絡的輸出向量。若問題為求BP神經網絡的極大值，可通過maxF(X)=min[-F(X)]完成目標函數的轉換。

2.2 基本思路

基于BP神經網絡的優化方法的基本思路是先人為或隨機選定一個初始點X(t)(t=0)，計算X(t)點的梯度，若X(t)點的梯度不滿足終止準則，則沿X(t)點的負梯度方向搜索獲得優于X(t)的新點X(t+1)，然后再計算點X(t+1)的梯度，若X(t+1)點的梯度不滿足終止準則，則進行下一次迭代。如此繼續下去，直到求得的X(t+1)點滿足終止原則或無法求到更好的點為止。此時X(t+1)點的數值為最優解，對應的網絡輸出為最優值。

2.3 網絡輸出對輸入的一階偏導數

由于函數F(X)的梯度向量為：

所以只要求出函數F(X)的一階偏導數，就能求出函數F(X)的梯度。下面以雙曲正切傳遞函數推導BP神經網絡輸出對輸入的一階偏導數。記xi(i=1,2,…,n)為網絡的第i輸入變量，yk(k=1,2,…,q)為網絡的第k個輸出。雙曲正切函數的一般形式為：

式中，a為常數項。

雙曲正切函數的一階導數為：

則：

所以：

2.4 終止準則

按無約束優化的基本原理，每次迭代后需要判斷迭代點X(t)是否收斂，即判斷迭代點X(t)是否為最優點。若迭代點X(t)的梯度滿足：

步驟3：利用步驟1中保存的網絡權值和閾值進行正向傳播計算，得出X(t)點的網絡輸出F(X(t))，按式（10）計算X(t)點的梯度 ?F(X(t))。

步驟4：判斷X(t)點的梯度模是否滿足式（11），若滿足，迭代終止，X(t)為最優解，其對應的網絡輸出Y為最優值；否則，轉步驟5。

步驟5：選取X(t)點的負梯度-?F(X(t) ) 為搜索方向，按計算公式[14]：計算試驗步長λ。

步驟6：以X(t)迭代點進行迭代，獲得新的迭代點X(t+1)：步驟7：正向傳播計算X(t+1)點的網絡輸出F(X(t+1))，判斷F(X(t+1))是否滿足：若滿足，轉步驟8；否則，轉步驟9。

條件時迭代收斂，X(t)為最優解，其對應的網絡輸出Y為最優值。式中，ε為預先設定的收斂精度。

2.5 優化方法及實現流程

基于BP神經網絡的無約束優化方法及其實現流程如下：

步驟1：根據已知輸入輸出數據創建BP神經網絡模型，初始化網絡的權值和閾值，預設網絡期望誤差精度后進行學習訓練，滿足期望誤差精度要求后結束訓練，保存網絡的權值、閾值。

步驟2：人為或隨機產生一個初始迭代點X(t)(t=0)，給定收斂精度ε。

步驟8：令：

按照式（13）重新計算產生新的迭代點X(t+1)，正向傳播計算X(t+1)點的網絡輸出F(X(t+1))，并判斷F(X(t+1))是否滿足式（14）。若滿足，轉步驟8；否則，令X(t+1)=X0，轉步驟10。

步驟9：令：按照式（13）重新計算產生新的迭代點X(t+1)，重新進行正向傳播計算X(t+1)點的網絡輸出F(X(t+1))，并判斷F(X(t+1))是否滿足式（14）。若不滿足，轉步驟9；否則，轉步驟10。

步驟10：判斷X(t+1)點的梯度模是否滿足式（11），若滿足，迭代終止，X(t+1)為最優解，其對應的網絡輸出Y為最優值；否則，令t=t+1，轉步驟4。

3 示例計算及結果分析

基于BP神經網絡的無約束優化方法主要應用于黑箱問題的優化，而黑箱問題最優解的不確定性又導致無法檢驗優化方法的精度和穩定性。為解決這一突出矛盾，本文選取兩個已知函數進行離散化，利用離散化的數據作為訓練樣本完成對BP神經網絡的擬合訓練；然后運用本文中提出的優化方法求解網絡輸出的極值，將優化得出的最優值與理論最優值進行對比分析，進而檢驗基于BP神經網絡無約束優化方法的精度和穩定性。

3.1 示例一

設無約束優化問題[15]：

該函數為典型的二維單峰函數，其理論最優解為X=(2，1)，最小值為F(X)=2。試用BP神經網絡對函數進行擬合，并求擬合后網絡輸出的最小值。首先對變量X進行離散化處理，離散區間為[-8,8]，離散水平為等距的9水平，產生離散樣本81個；然后按式（18）計算離散樣本對應的F(X)值。根據輸入輸出變量數量和網絡性能測試結果，選取2-10-1的網絡結構對離散樣本進行擬合訓練，歸一化區間為[-0.6,0.6]，擬合誤差精度設定為10-6。訓練后輸入層至隱含層的權值矩陣W、隱含層閾值θ1，隱含層至輸出層的權值矩陣V、輸出層閾值θ2分別為：

此時網絡擬合的平均相對誤差為0.0517%，選取8個不同的隨機初始點，按本文中給出的優化方法求minF(X)。當ε=10-4、φ=1.1、μ=0.5時求取函數的最小值，優化計算結果見表1所示。Fˉ為8次優化結果的平均值。

表1 示例一優化計算結果

該函數又稱Rosenbrock函數，其全局最優點位于一個平滑、狹長的拋物線形山谷內，由于函數為優化算法提供的信息比較有限，許多算法很難辨別搜索方向[17]。無約束優化問題的理論最優解為X=(1,1)，最優值為F(X)=2。試用BP神經網絡對函數進行擬合，并求擬合后網絡輸出的最小值。首先對自變量X進行離散化處理，離散區間為[-5,5]，離散水平為等距的11水平，產生離散樣本121個，然后按式（19）計算離散樣本對應的F(X)值。根據輸入輸出變量的數量和網絡性能測試結果，選取2-15-1的網絡結構對離散樣本進行擬合訓練，歸一化區間為[-0.6,0.6]，擬合誤差精度設定為10-6。訓練后輸入層至隱含層的權值矩陣W、隱含層閾值θ1，隱含層至輸出層的權值矩陣V、輸出閾值θ2分別為：

此時網絡擬合的平均相對誤差為0.0433%，選取8個不同的隨機初始點，按本文中給出的優化方法求minF(X)。當ε=10-4、φ=1.1、μ=0.5時求取函數的最小值，優化計算結果見表2所示。Fˉ為8次優化結果的平均值。

3.2 示例二

設無約束優化問題[16]：

表2 示例二優化計算結果

3.3 結果分析

由表1可知，示例一中近似最優解x1的平均相對誤差為0.0250%，x2的平均相對誤差為0.0200%，最優值的相對誤差為0.0250%。由表2可知，示例二中近似最優解x1的平均相對誤差為0.0800%，x2的平均相對誤差為0.0200%，最優值的相對誤差為0.0550%。示例驗證表明：（1）該方法優化結果穩定，從不同的初始點進行優化搜索均能獲得相同的優化結果；（2）優化結果的實際值逼近理論值的精度較高，相對平均誤差較小，且誤差中包含了擬合誤差引起的優化誤差；（3）BP神經網絡擬合與優化過程中，數據的歸一化與反歸一化引起的誤差對優化結果影響可忽略不計。

4 結論

（1）本文提出一種基于雙曲正切傳遞函數BP神經網絡的無約束優化方法，使BP神經網絡的擬合與優化聯系起來，在BP神經網絡實現函數關系擬合的基礎上，通過對網絡輸入的迭代搜索獲得網絡輸出的極值。該方法的提出，進一步完善了BP神經網絡的無約束優化方法的理論，擴大了BP神經網絡的應用范圍。

（2）本文結合BP神經網絡輸出最小化數學模型，給出了基于BP神經網絡的無約束優化問題的基本思路，推導給出了網絡輸出對輸入的偏導數（梯度），在此基礎上，給出了基于BP神經網絡的無約束優化方法的終止準則，及優化方法及實現流程。

（3）本文給出了每次迭代初始試驗步長的計算公式和試驗步長的調整原則，確保每次搜索均獲得該搜索方向的最優值，加快了優化速度。

（4）示例驗證表明，本文給出的優化方法是解決黑箱優化問題的一種穩定可行算法。