自增長混合神經網絡及其在燃料電池建模中的應用

李大字，劉方，靳其兵

（北京化工大學信息科學與技術學院，北京 100029）

引 言

生物的神經系統是自然進化的結果，作為對神經系統生物學規律模擬的人工神經網絡，預先設計好的結構往往使其功能存在一定的局限性。研究人工神經網絡的拓撲結構自動生成，不僅可以精簡神經網絡的結構和提高泛化性，也是對智能本源的探索。自增長神經網絡已經在很多領域取得了進展[1-3]。然而，大部分的自增長神經網絡存在著網絡結構過于復雜、計算量大以及不能很好地利用自增長的優勢的缺陷。

Fanlman 等[4]提出了 Cascade-Correlation(CC)算法，不僅實現了神經網絡結構自增長而且還具有算法收斂快的優點。CC神經網絡已經廣泛地應用于不同的領域[5-7]，其激勵函數依然局限于普通基函數類型，如Sigmoid、Radias、Hyperbollc函數等。所有這些函數的輸入都是輸入向量的加權和。

乘算子[8]作為一種基于乘法的神經元模型，在非線性逼近方面展現出了自身的優越性。通過使用乘算子與常見的加算子共同構造神經網絡，可以提高CC神經網絡的表達特性（即混合神經網絡）[4,8-9]。本文提出了一種新的引導型粒子群算法來實現網絡的結構自增長以及權值和閾值的求取。通過對一些經典函數[10]以及對燃料電池電壓特性的建模的比較分析，證明了該神經網絡的有效性。

1 CC神經網絡及乘算子介紹

CC神經網絡的網絡結構如圖1所示，即每次只添加一個隱節點，且該隱節點與以前的隱節點在位置上是級聯的。隱節點一旦添加后其位置和輸入權值將不再變化，只對其輸出權值進行調節以逼近訓練輸出。這種隱含層的訓練方式使得權值的更新更加快捷與精確。

圖1 CC神經網絡Fig. 1 CC neural network

網絡通過隱含層的候選節點輸出up與整個網絡的輸出節點o的現有殘差Ep,o(網絡輸出與期望輸出的差)之間相關性s來選擇添加的隱節點以最大程度地縮減誤差。相關性s的數學表達如下

式中，o為輸出節點，p為訓練樣本，為候選節點輸出對所有樣本的均值，為上次添加隱節點后輸出節點o的殘差對所有樣本的均值。

一般的神經元模型都通過基函數和激活函數來模擬神經元的傳遞，而主要的基函數都是輸入向量的權值和函數[圖 2(a)]。乘算子則計算輸入向量的權值積，乘算子模型如圖2(b)所示。

其數學表達式為

式中，u為神經元的輸出，z和ωi為神經元的權值，θ為其閾值。

圖2 和算子與乘算子模型Fig.2 Summation neuron and multiplication neuron

2 混合神經網絡

2.1 混合神經網絡的結構

本文提出的混合神經網絡是在CC神經網絡的基礎上，在隱含層的生成中增加了乘算子的部分以提高神經網絡非線性辨識能力。 乘算子和加算子結構上的自增長基本相互獨立，既保留了原CC神經網絡的優點，同時也使得乘算子的特點得到發揮。

混合神經網絡的結構如圖3所示，網絡的隱含層由兩種不同類型的算子(乘算子和加算子)共同構成。 這種混合隱含層根據構成的算子類型分為加法部分和乘法部分。通過相關性s來確定其中一個隱含層部分增加節點，加法部分采用級聯結構與原CC神經網絡相同，乘法部分采用單層結構避免其階數過高，最后兩個隱含層的輸出同時作為輸出節點的輸入進行輸出。

2.2 引導型粒子群算法

圖3 混合神經網絡Fig.3 Hybrid neural network

針對混合隱含層的結構、權值和閾值的求取,本文提出了一種新的引導型粒子群算法（GQPSOI）。

GQPSOI通過控制粒子i和j之間的距離來保證粒子不會收斂得太快從而陷入局部極小值，同時根據各粒子p(i,:)和p(j,:)之間的距離D(i,j)以及粒子間平均距離來計算淘汰度Ew決定淘汰粒子并對其進行量子化更新。其數學表達如

式中，m和n分別表示粒子的個數和維度。

式中，Sr和Ss分別表示粒子間的抑制度和刺激度，f(j)表示粒子的適應度，zbest為全局最優的粒子。具體量子化方法見文獻[11]。

為了算法能更好地跳出局部極小值，引入引導粒子GP

2.3 混合神經網絡算法流程

混合神經網絡的自增長過程如圖4所示。

圖4 混合神經網絡的自增長過程Fig.4 Self-growing of hybrid neural network

網絡增長的具體步驟如下。

（1）網絡結構初始化。網絡中只有輸入層和輸出層，無隱含層，如圖4(a)所示。

（2）使用GQPSOI算法訓練輸出權值。

（3）對網絡性能進行判斷，如滿足要求，則算法結束，網絡停止增長，如圖4(d)所示，否則轉到下一步。

（4）建立隱含層節點候選池(內含一個乘算子和一個加算子)，分別將候選隱含層節點代入網絡結構并使用GQPSOI算法以最大相關性原理訓練兩個候選節點，分別計算兩個候選節點與現有殘差Ep,o的相關性s。

（5）選擇相關性s最大的候選節點，作為新的隱節點加入網絡結構，如圖4(b)、(c)所示，并固定新隱節點的輸入權值。轉移到步驟（2），對整個網絡的輸出權值進行調整。

3 混合神經網絡網絡性能測試

3.1 GQPSOI算法性能測試

首先應用幾個經典函數[9]對GQPSOI算法的性能進行了評價，并將實驗結果與幾種常見的算法進行了對比。這些函數包括：F1（Sphere函數）、F2(Rosenbrock 函數)、F3(Rastrigin 函數)、F4(Griewank函數)、F5(Ackley函數)，評價函數的維數為10。

經過 30次獨立運行實驗，每次的函數評價次數（FEs）[12]為100000。表1給出了GQPSOI算法與離子群算法（PSO），遺傳算法（GA）以及差分進化法（DE）在30次獨立運行評價試驗中得到最優值的平均值和標準差。

表1 經典函數的尋優結果比較Table 1 Optimization results on five benchmark functions

從表1中可以看出，在F2的實驗中GQPSOI算法在30次獨立運行中的平均值為7.746×10?12，這一結果明顯優于PSO算法的29.55和GA算法的 97.19，略優于 DE 的 2.541×10?11。從 F1、F3、F4、F5的實驗結果也都可以看出GQPSOI算法明顯優于其他算法。實驗證明了GQPSOI算法的有效性和適用性，能夠應用于神經網絡的參數和結構調整。

3.2 燃料電池的建模實驗

3.2.1 基于燃料電池輸出電壓的模型 質子交換膜燃料電池[13-15]作為一種高效的清潔能源，在過去的幾十年里取得了巨大的進展。在正常操作條件下，一片單電池可以輸出大約0.5～0.9 V電壓。為了應用于實際能源供應，有可能需要將多片單電池串聯在一起。具有級聯結構的質子交換膜燃料電池實驗裝置如圖5所示。從圖5可以看出，電池引出電流I，電池溫度T，H2和 O2壓力PH2和PO2會影響電池電壓。將混合神經網絡用于質子交換膜燃料電池的軟測量建模，選用電池引出電流I，電池溫度T，H2和O2壓力PH2和PO2會影響電池電壓的變量作為輸入變量。將56片單電池的串聯輸出電壓作為其輸出，模型的目標函數取實際輸出值與模型輸出值得均方根誤差(使其最小)。混合神經網絡中加法部分以及輸出層的神經元傳遞函數采用 S型函數，GQPSOI算法中設置種群數 30，最大迭代步長為1000，引導粒子起作用的概率設置為2%。

圖6為5 kW質子交換膜燃料電池堆的實驗裝置。該實驗系統采用增濕器與電池堆分體設置，參數檢測采用傳感器-直讀式儀表方式，氣體和水的流量測量采用轉子流量計，電堆采用電阻負載，可直接測量電堆的輸出電流、電壓或功率。電池堆參數見表2。

圖5 質子交換膜燃料電池原理圖Fig.5 Schematic diagram of proton exchange membrane fuel cell

表2 電池堆參數Table 1 Battery parameters

圖6 質子交換膜燃料電池Fig.6 Proton exchange membrane fuel cell

3.2.2 結果與分析 實驗條件如表3所示。取燃料電池裝置輸出的前100個值作為訓練樣本，后100個值作為測試樣本。分別用 CC神經網絡，CC-GQPSOI和混合神經網絡進行訓練，當訓練目標函數小于0.1或最大隱含層節點數達到30時網絡停止增長，訓練結束。表4給出了其最大相對誤差和均方根誤差的對比。圖7顯示了最終訓練預測數據與輸出數據之間的對比。

表3 實驗條件Table 3 Experimental conditions

表4 3種神經網絡的結果比較Table 4 Three kinds of test error of neural network results compared

從表4可以看出CC-GQPSOI和混合神經網絡分別在隱含層節點數為4和6時達到訓練要求，相較于CC神經網絡的30個隱含層節點具有較小的網絡結構。同時CC-GQPSOI和混合神經網絡的均方根誤差(3.0723×10?2和 3.8606×10?2)也相較于 CC神經網絡的均方根誤差(1.0354)具有更高的精度。

從圖8和圖9的泛化結果來看，混合神經網絡的預測誤差保持在0.7以內，相對誤差(絕對誤差與被測量真值之比)保持在1.25%以內。CC-GQPSOI的誤差在1以內。相對誤差保持在3%以內。從實驗結果可以看出，混合神經網絡可以精確地預測出燃料電池裝置的輸出，反映了實際工況，具有良好的應用前景。

圖7 3種網絡的預測與輸出結果比較Fig.7 Three kinds of prediction results of neural network results compared（a—CC-GQPSOI；b—hybrid NN; c—CC NN）

圖8 3種網絡的輸出誤差比較Fig.8 Three kinds of test errors of neural network results compared（a—CC-GQPSOI；b—hybrid NN; c—CC NN）

圖9 3種網絡的相對誤差比較Fig.9 Relative test errors of different neural network results compared（a—CC-GQPSOI；b—hybrid NN; c—CC NN）

4 結 論

本文提出了一種新的自增長混合神經網絡的建模方法。利用該方法對燃料電池進行了建模，結果證明了該方法的有效性。混合神經網絡充分的利用了乘算子的優勢，提高了神經網絡的精確度并精簡了網絡結構。GQPSOI算法也體現了自身在尋找全局最優值方面的價值。隱節點的選取及GQPSOI算法的簡化是下一步努力的目標。

[1]Ban Xiaojuan (班曉娟), Liu Hao (劉浩), Xu Zhuoran (徐卓然). An energy artificial neuron model based self-growing and self-organizing neural network [J].Acta Automatica Sinica(自動化學報), 2011, 37(5):615-622

[2]Li Mantian (李滿天), Wang Chunlin (王春林), Wang Pengfei (王鵬飛),et al. An algorithm of self-growing neural network based on gravitation [J].Machinery & Electronics(機械與電子), 2013, 10: 3-5

[3]Qiao Junfei (喬俊飛), Han Honggui (韓紅桂). Optimal structure design for RBFNN structure [J].Acta Automatica Sinica(自動化學報), 2010, 36(6): 865-872

[4]Fahlman S E, Lebiere C. The cascade-correlation learning architecture// Advances in Neural Information Processing Systems[M]. Los Altos, CA: Morgan Kaufmann, 1990∶ 524-532

[5]Tun H M. Analysis of neural network based photo to caricature transformation using MATLAB [J].Bahria University Journal of Information & Communication Technology, 2009, 2(1): 1-5

[6]Lee S W, Song H S. Emulation of spline networks through approximation of polynomials and step function of neural networks with cosine modulated symmetric exponential function[J].Wireless Personal Communications, 2014, 2(1): 1-16

[7]Chandra B, Paul Varghese P. Applications of cascade correlation neural networks for cipher system identification [J].Information Science and Engineering, 2007, 26∶ 210-213

[8]Li Dazi, Hirasawa Kotaro, Hu Jinglu, Murata Junichi. Universal learning networks with multiplication neurons and its representation ability //Proc. of International Joint Conference on Neural Networks[C]. 2001: 150-155

[9]Gao X Z, Wang X, Ovaska S J. Fusion of clonal selection algorithm and differential evolution method in training cascade-correlation neural network [J].Neurocomputing，2009, 72(10)：2483-2490

[10]Janson S, Middendorf M. A hierarchical partical swarm optimizer and its adaptive variant [J].IEEE Transactions on Systems, Man, and Cybernetics, 2005, 35(6)：1272-1282

[11]Luitel Bipul, Venayagamoorthy Ganesh Kumar.Quantum inspired PSO for the optimization of simultaneous recurrent neural networks as MIMO learning systems[J].Neural Networks，2010, 23(5)：583-586

[12]Dasgupta D, Yu S, Nino F. Recent advances in artificial immune systems: models and applications [J].Applied Soft Computing, 2011,11(2): 1574-1587

[13]Chen Yuehua (陳躍華), Cao Guangyi(曹廣益), Zhu Xinjian(朱新堅).ELMAN neural network modeling and adaptive fuzzy control of PEMFC [J].Energy Technology(能源技術)，2005，26(4)：146-149

[14]Tian Yudong (田玉冬), Zhu Xinjian (朱新堅), Cao Guangyi (曹廣益).Artificial neural networks based fuzzy control of proton exchange membrane fuel cells//Proceedings of 2005 Chinese Control and Decision Conference [C]. 2005: 1116-1120

[15]Khan M J, Iqbal M T.Dynamic modeling and simulation of a small wind–fuel cell hybrid energy system [J].Renewable Energy，2005,30(3)：421-439