一種新型單層遞歸神經(jīng)網(wǎng)絡解決非光滑偽凸優(yōu)化問題

喻 昕 盧惠霞 伍靈貞 徐柳明

①(廣西大學計算機與電子信息學院 南寧 530004)

②(桂林航天工業(yè)學院計算機科學與工程學院 桂林 541004)

③(廣西多媒體通信與網(wǎng)絡技術重點實驗室 南寧 530004)

1 引言

優(yōu)化問題常出現(xiàn)在機器學習、圖像識別等各類科學和工程應用中。研究學者在非線性規(guī)劃、微分包含等理論的基礎上，提出了較多用于解決優(yōu)化問題的神經(jīng)網(wǎng)絡模型。1986年，Tank和Hopfield[1]將Hopfield神經(jīng)網(wǎng)絡運用到解決線性規(guī)劃問題中，研究學者由此得到啟發(fā)，相繼提出各種用于解決優(yōu)化問題的神經(jīng)網(wǎng)絡模型。1988年，Kennedy和Chua[2]提出了一種包含罰參數(shù)的動態(tài)非線性規(guī)劃電路(Nonlinear Programming Circuit,NPC)用于解決非線性規(guī)劃問題的神經(jīng)網(wǎng)絡模型，該模型中含有罰參數(shù)，且要求目標函數(shù)和約束函數(shù)都是光滑的。隨著NPC的引入，優(yōu)化問題的研究得到更進一步的發(fā)展，由此之后，研究學者提出了大量的神經(jīng)網(wǎng)絡模型用于解決優(yōu)化問題。Xue等人[3]基于次梯度方法，提出了一種用于解決非光滑凸優(yōu)化問題的單層遞歸神經(jīng)網(wǎng)絡模型，該模型需要計算精確的罰參數(shù)，但精確罰參數(shù)的計算與選取，有時候非常困難，且計算量會很大。同樣是解決文獻[3]中的非光滑凸優(yōu)化問題，Qin等人[4]基于Tikhonov正則化方法，提出了一種動態(tài)神經(jīng)網(wǎng)絡模型，該模型不要求可行域是有界的或者目標函數(shù)是強制的。后來，Qin等人[5]基于微分包含理論，提出了一種用于解決這類非光滑凸優(yōu)化問題的雙層神經(jīng)網(wǎng)絡模型，該模型不需要計算精確的罰參數(shù)，且適當放寬假設條件，遺憾的是，網(wǎng)絡結構為雙層，相對其他單層神經(jīng)網(wǎng)絡增加了模型復雜度。

隨著凸優(yōu)化問題研究越來越成熟，研究學者發(fā)現(xiàn)不能利用上述的神經(jīng)網(wǎng)絡解決科學和工程應用中常見的非凸優(yōu)化問題。又因為偽凸優(yōu)化問題是一類比較特殊的非凸優(yōu)化問題，所以，研究偽凸優(yōu)化問題具有很大的理論指導意義。于是，Li等人[6]基于正則化方法，提出一種用于解決偽凸優(yōu)化問題的神經(jīng)網(wǎng)絡模型。但它要求可行域有界，且初始點必須在可行域中。文獻[7]基于懲罰函數(shù)思想，提出了一種用于解決包含等式約束和方體約束的非光滑偽凸優(yōu)化問題的神經(jīng)網(wǎng)絡模型，但該模型要求計算罰參數(shù)。為避免罰參數(shù)的計算，Hosseini[8]基于微分包含理論，提出了一種神經(jīng)網(wǎng)絡模型，可是它只能解決包含不等式約束的非凸優(yōu)化問題，因此該模型的應用范圍受到限制。為更好地解決偽凸優(yōu)化問題，Qin等人[9]提出了一種單層神經(jīng)網(wǎng)絡模型，該模型結構簡單，不需要罰參數(shù)，并且能解決包含等式約束和不等式約束的非光滑偽凸優(yōu)化問題。Bian等人[10]基于光滑思想理論，提出了一種用于解決非光滑偽凸優(yōu)化問題的神經(jīng)網(wǎng)絡模型，但要求初始點的選取必須在等式可行域內(nèi)，由此可知，該模型在實際應用的范圍會受到限制。近年來，也有研究者運用神經(jīng)網(wǎng)絡解決各類具體的優(yōu)化問題，如高鑫等人[11]基于端到端的神經(jīng)網(wǎng)絡模型以提高車輛密集區(qū)域的檢測精度。

根據(jù)上述已有的神經(jīng)網(wǎng)絡模型以及前人的工作[12–16]，本文提出了一種新型單層遞歸神經(jīng)網(wǎng)絡模型，用于解決包含等式約束和不等式約束的非光滑偽凸優(yōu)化問題。與現(xiàn)有的神經(jīng)網(wǎng)絡相比，本文所提出的神經(jīng)網(wǎng)絡其優(yōu)勢有：(1)不同于文獻[5,17]，本文的神經(jīng)網(wǎng)絡結構簡單僅為單層；(2)與文獻[3,18,19]不同，本文的神經(jīng)網(wǎng)絡不需要計算精確罰參數(shù)；(3)與文獻[5–7,10,17,18,20]不同，本文的神經(jīng)網(wǎng)絡在初始點的選取上，沒有任何特殊要求；(4)能解決更一般的優(yōu)化問題；(5)與其他論文不同，本文直接證明神經(jīng)網(wǎng)絡狀態(tài)解進入可行域，而大多數(shù)的神經(jīng)網(wǎng)絡會先證明進入等式約束集，再證明進入不等式約束集。

本文組織結構如下：第2節(jié)介紹研究內(nèi)容和相關定義；第3節(jié)介紹神經(jīng)網(wǎng)絡模型；第4節(jié)對該神經(jīng)網(wǎng)絡模型進行理論分析；第5節(jié)通過仿真實驗驗證理論結論的正確性；第6節(jié)總結全文。

2 研究內(nèi)容和相關定義

2.1 主要研究內(nèi)容

本文主要研究非光滑偽凸優(yōu)化問題，具體描述為

2.2 相關定義

接下來，列出與本文相關的部分必要的定義，使讀者更好地理解本文研究內(nèi)容。

定義1[10]如果對于集合E ?Rn上的任意x，都存在一個對應的非空集合F(x)?Rn，那么稱x→F(x)是E→Rn上的集值映射。如果對于任意的開集V ?F(x0)，對每個點x0，都存在相應的鄰域U，使得F(U)?V，那么稱集值映射F:E →Rn在點x0∈E處是上半連續(xù)的。

3 定義神經(jīng)網(wǎng)絡模型

本節(jié)提出一種單層神經(jīng)網(wǎng)絡模型解決非光滑偽凸優(yōu)化問題式(1)。本文中，需要給出下面的假設。

由表1可知：(1)本文所提神經(jīng)網(wǎng)絡模型，結構為單層，而文獻[5,17]的結構分別是2層、3層；(2)本文不需要提前計算精確的罰參數(shù)，而文獻[3,18,19]需要；(3)本文在選取初始點時可任意選取，而文獻[5,6,10,17–19]中初始點的選取受約束。因此，本文的模型在解決偽凸優(yōu)化問題方面具有一定的優(yōu)越性。

表1 與現(xiàn)有神經(jīng)網(wǎng)絡對比

4 主要定理

本節(jié)使用理論分析的方法對神經(jīng)網(wǎng)絡式(4)的有效性進行驗證。在理論分析過程中，證明了一些必要的定理。首先證明了本文所提神經(jīng)網(wǎng)絡式(4)存在局部解，其次證明了全局解存在性，然后證明了神經(jīng)網(wǎng)絡式(4)的狀態(tài)解可在有限時間內(nèi)到達可行域S，且一直駐留其中。最后，在前面分析的基礎上，討論了神經(jīng)網(wǎng)絡式(4)的收斂性，且證明了神經(jīng)網(wǎng)絡式(4)收斂于偽凸優(yōu)化問題式(1)的最優(yōu)解。

則可得

圖1 神經(jīng)網(wǎng)絡式(4)的電路實現(xiàn)圖

4.1 神經(jīng)網(wǎng)絡存在局部解

4.2 全局解存在性

由于局部解存在局限性，為了更好地說明本文提出的神經(jīng)網(wǎng)絡具有良好的性質(zhì)，下面將求證神經(jīng)網(wǎng)絡式(4)全局解的存在性。

證明 如果假設1成立，可知對于任取的初始點x0∈Rn，S2有界。那么根據(jù)類似于引理3的證明，可證明x(t)有界。則根據(jù)定理1和解的可擴展性理論，可知神經(jīng)網(wǎng)絡式(4)至少存在一個全局解x(t)，其中t∈[0,+∞)。 證畢

引理4[22]設x(t)是神經(jīng)網(wǎng)絡式(4)的一個全局解。如果存在一個函數(shù)V(x(t)):Rn →R，且在時間t∈[0,+∞)上是絕對連續(xù)的，那么對于幾乎所有的時間t∈[0,+∞)， 如果能滿足x(t)∈{x:V(x)>0}，那么必定會存在常量ε>0，使得(d/dt)V(x(t))≤?ε，則神經(jīng)網(wǎng)絡(4)的狀態(tài)解x(t)，可在有限時間進到{x:V(x)≤0}的范圍里，且一直駐留其中。

4.3 有限時間內(nèi)收斂到S

這里求證神經(jīng)網(wǎng)絡式(4)的狀態(tài)解x(t)有限時間內(nèi)收斂到可行域S。本文是直接求證神經(jīng)網(wǎng)絡式(4)的狀態(tài)解x(t)在 有限時間內(nèi)進入可行域S，且一直駐留其中，而不是按照以往的思維，先求證神經(jīng)網(wǎng)絡式(4)的狀態(tài)解x(t)在有限時間內(nèi)進入等式約束集S1，且一直駐留其中，然后，求證神經(jīng)網(wǎng)絡式(4)的狀態(tài)解x(t)在 有限時間內(nèi)進入不等式約束集S2，且一直駐留其中。

定理3如果假設1成立，則對于任取的初始點x0∈Rn，神經(jīng)網(wǎng)絡式(4)的狀態(tài)解x(t)可在有限時間內(nèi)進到可行域S，且一直駐留其中。

情形1{x(t)∈RnS2}對于幾乎所有的時間t∈[0,+∞)，存在可測函數(shù)η(t)∈?G(x(t)),l(t)∈?L(x(t))，根據(jù)引理1和引理2，則有<η(t)+l(t),x(t)?x?>≥<η(t),x(t)?x?>≥g?。由此可知<η(t)+l(t),x(t)?x?>≥g? ，即‖η(t)+l(t)‖‖x(t)?x?‖≥g? ，再 結 合 引 理3中 的‖x(t)?x?‖≤R，可 得‖η(t)+l(t)‖≥g?/‖x(t)?x?‖≥g?/R，由前文知g?/R>0 ,(1?α)<0，所以‖η(t)+l(t)‖(1?α)<0。對于幾乎所有的時間t∈[0,+∞)，存在可測函數(shù)η(t)∈?G(x(t)),l(t)∈?L(x(t)),γ(t)∈?f(x(t))，根據(jù)鏈式法則可知

其中，δ2>0是 一個正數(shù)。這里令δ=min{δ1,δ2}，顯然對于所有的x(t)∈RnS，有(d/dt)D(x(t))≤?δ。結合引理4，可知，神經(jīng)網(wǎng)絡式(4)的狀態(tài)解x(t)可在有限時間內(nèi)進到可行域S，且一直駐留其中。證畢

4.4 神經(jīng)網(wǎng)絡收斂到最優(yōu)解

證明 根據(jù)定理3可知，神經(jīng)網(wǎng)絡式(4)的狀態(tài)解x(t)能 夠在有限時間內(nèi)進到可行域S，且一直駐留其中。假設任取的x0∈S且x(t)∈S，記P M(x)為x(t)由 Rn到M的投影算子。對于幾乎所有的時間t∈[0,+∞)，存在η(t)∈?G(x(t)),l(t)∈?L(x(t)),γ(t)∈?f(x(t))，根據(jù)鏈式法則，可知

5 仿真實驗

在本節(jié)中，為了能夠有效驗證所提出神經(jīng)網(wǎng)絡式(4)的有效性，通過兩個仿真實驗模擬神經(jīng)網(wǎng)絡式(4)解決最優(yōu)化問題。仿真實驗在MATLAB 2012a平臺進行。

實驗1目標函數(shù)為2次函數(shù)的偽凸優(yōu)化問題

圖2 實驗1中10個隨機初始點的收斂軌跡

圖3 實驗1中10個隨機初始點的目標函數(shù)值

圖4 實驗2中10個隨機初始點的收斂軌跡

圖5 文獻[10]中初始點為(2,3,1,0)T的收斂軌跡

圖6 實驗2中初始點為( 2,3,1,0)T的收斂軌跡

6 結束語

本文提出一種新型單層遞歸神經(jīng)網(wǎng)絡模型以解決包含等式和不等式約束的非光滑偽凸優(yōu)化問題。本文通過理論分析，首先證明了神經(jīng)網(wǎng)絡存在局部解。其次證明了神經(jīng)網(wǎng)絡具有全局解。在此分析的基礎上，然后證明了神經(jīng)網(wǎng)絡狀態(tài)解會在有限的時間內(nèi)進到可行域中，且駐留其中。最后證明了神經(jīng)網(wǎng)絡最終收斂于原優(yōu)化問題的最優(yōu)解。此外，通過兩個數(shù)值仿真實驗，驗證了理論結論的正確性，實驗結果充分表明，本文提出的神經(jīng)網(wǎng)絡求解非光滑偽凸優(yōu)化問題是有效的。與現(xiàn)有的神經(jīng)網(wǎng)絡模型相比，本文模型可以解決非光滑偽凸優(yōu)化問題，具有結構簡單、不需要計算罰參數(shù)，對初始點的選取沒有任何特殊的要求等優(yōu)點。