采用限定記憶極限學習機的過熱汽溫逆建模研究

王萬召，王杰

（鄭州大學電氣工程學院，450001，鄭州）

自適應逆控制是由美國斯坦福大學Widrow教授于1986年首次提出來的，現已成為解決參數時變、非線性的熱工對象控制問題的一個研究熱點［1-3］。如何利用生產現場采樣數據來實時在線辨識被控熱工對象的逆模型，成為實現自適應逆控制方案的關鍵問題［4-7］。

針對神經網絡傳統梯度學習算法存在的訓練速度慢，容易陷入局部極小點等問題，Huang等提出了一種新學習算法——極限學習機 （Extreme Learning Machine，ELM）［8-9］，憑借其卓越的學習能力，受到國內外研究者的廣泛重視，并已在模式識別和函數估計領域得到了廣泛應用［10-12］。近年來一些學者又提出了極限學習機在線學習算法［13-14］，但隨著學習時間的推移，這些在線算法的增益矩陣將漸漸趨于零，導致在線學習算法慢慢失去權值修正能力，并最終出現“數據飽和”現象。

本文提出一種新的極限學習機在線學習算法，該算法中神經網絡權值僅依賴于有限個新采樣數據，每增加一個新采樣數據，就去掉一個舊采樣數據，學習數據長度始終保持不變，因此該算法可稱為限定記憶法在線學習算法。隨后，將該算法應用于參數時變的過熱汽溫對象的逆模型建模過程，仿真結果表明，該算法能有效地克服 “數據飽和”現象，提高學習精度，是一種先進的過熱汽溫對象在線逆建模方法。

1 極限學習機批量式學習算法

典型的具有N個隱含層節點的單隱層前饋神經網絡的輸出可以表示為

式中：ai為輸入層對隱含層第i個神經元的連接權值；bi為隱含層第i個神經元的閾值；βi為隱含層第i個神經元到輸出的連接權值；G（ai，bi，x）為隱含層的激活函數；x為輸入向量。

假設從k時刻到k+L-1時刻的時間段內具有L個樣本的訓練集輸入矩陣X0和輸出向量Y0分別為

當激活函數G（ai，bi，x）無限可微時，SFLN 的參數不需要全部進行調整，ai和bi可以在學習前隨機選擇，且在訓練過程中保持恒定，而隱含層與輸出的連接權值β（0）可通過求解以下方程的最小二乘解［12］得到

式中：H0是包含k至k+L-1時刻間共L個采樣數據的隱含層數據矩陣

其解為

其中

顯然，批量式學習算法的特點是一次注入所有的訓練樣本進行學習，因此只能離線應用，如果學習樣本是在線采集的話，就必須使用在線學習算法。

2 極限學習機限定記憶學習算法

2.1 增長記憶極限學習機算法

假設隨著采樣過程的進行，增加一組新的采樣數據（xk+L，yk+L），這時包含k至k+L時刻共L+1個采樣數據的隱含層數據矩陣為

采用批量學習算法，則包含k至k+L時刻共L+1個采樣數據信息的隱含層與輸出連接權值向量β（1）可通過求解以下方程的最小化獲得

由式（12），利用矩陣反演公式得

由式（13）、（14），基于第一步的辨識結果β（0）、加上第k+L+1時刻的采樣信息（xk+L，yk+L），可以通過遞推運算，獲得包含k至k+L時刻共k+L+1個采樣數據信息的隱含層與輸出連接權值向量β（1）。這樣能夠充分利用以前的辨識結果，避免重復計算［15］。但是，如果僅采用上述增加新采樣數據信息的方法進行迭代運算，就會帶來“數據飽和”問題。

由式 （7）、（12）可知，K0、K1均是正定的，則

可見，增量記憶極限學習機中的增益矩陣是隨著采樣時間k的增加而遞減的正定陣。令K-1表示增量記憶極限學習機的增益矩陣，則當k→∞時，K-1→0。當增益矩陣K-1趨近于零矩陣，由式（13）可知修正項不再起作用，遞推算法失去修正能力，并最終出現“數據飽和”問題。

2.2 限定記憶極限學習機算法

產生“數據飽和”的原因是學習算法對新、老采樣數據給予相同的信任度，這樣隨著從新采樣數據中獲得的信息量相對下降，學習算法就會漸漸失去修正能力。克服“數據飽和”最有效的方法是確保權值β始終只依賴于有限個最新采樣數據所提供的信息，每增加一個新采樣數據，就去掉一個最舊的采樣數據，學習數據長度始終保持不變。因此，每當增加一組新的k+L時刻采樣數據（xk+L，yk+L），為保持辨識信息數據長度L不變，就需要去掉k時刻信息（xk，yk）的影響。僅考慮包含k+1至k+L時刻共L個采樣數據信息，與此對應的隱含層數據矩陣為

采用批量學習算法，則包含k+1至k+L時刻共L個采樣數據信息的隱含層與輸出連接權值向量

式中

由式（18），利用矩陣反演公式可得由式（21），基于第二步的辨識結果β（1）、消去第k時刻的采樣信息（xk，yk），可以通過遞推運算獲得包含k+1至k+L時刻共L個采樣數據信息的隱含層與輸出連接權值向量β（2）。

根據以上的推導過程，限定記憶極限學習機算法主要包括以下幾個具體學習步驟。

步驟1 確定隱含層神經元的數目，隨機選擇輸入層與隱含層的連接權值ai和隱含層神經元的閾值bi。

步驟2 選擇一個無限可微的函數作為隱含層神經元的激活函數G（ai，bi，x），并計算隱含層輸出矩陣。

步驟3 根據一批采樣數據，利用極限學習機批量算法，預先求得β（0）、，為了減少計算量，數據長度L不宜取太大。

步驟4 每獲得一組新的采樣數據（ak+L，yk+L），先利用式（13）、（14）計算β（1）、，增加新數據的信息；再利用式（20）、（21）計算β（2）、，去掉老數據的信息。

不斷迭代，始終保持著固定不變的數據長度，可以防止出現“數據飽和”現象，最終獲得隱含層與輸出層連接權值的理想值。

3 仿真實驗及分析

為比較驗證本文所提限定記憶極限學習機算法與文獻［15］中的數據長度隨采樣進行不斷增長的增長記憶極限學習機算法的性能，將這兩種算法同時應用于參數時變的過熱汽溫對象逆模型的學習過程。文獻［2，16］給出了某臺超臨界壓力鍋爐在不同負荷時的傳遞函數，如表1所示。

過熱汽溫對象的輸入u為減溫水流量的變化，單位為kg／s，輸出y為鍋爐過熱汽溫的變化，單位為℃。取逆動力學模型的輸入向量為

表1 過熱汽溫的動態特性（傳遞函數）

為了檢驗所提算法對于時變對象逆模型的學習能力，這里以輸入函數

在大負荷變化范圍內驅動過熱汽溫對象，對象在0～500s位于100%負荷，500～1 000s位于75%負荷，1 000～1 500s位于50%負荷。采樣時間取1s，獲得1 500組采樣數據［u（k），y（k）］。利用這些采樣數據，根據式（22）獲得辨識逆模型所需的輸入向量。采用單隱含層前饋神經網絡來逼近逆模型，網絡結構為4-5-1，隱含層的激活函數選用Sigmoid函數，輸出層為純線性函數，網絡的輸入為x（k），輸出為u（k）。在仿真中比較本文所提出的限定記憶ELM學習算法與文獻［15］所提到的增長記憶ELM學習算法，初始值β（0）、K-10使用批量極限學習機離線事先求得，增長記憶ELM學習算法的仿真結果分別如圖1、圖2所示，限定記憶ELM學習算法的仿真結果分別如圖3、圖4所示。

圖1、圖3上面子圖中的虛線表示過熱汽溫對象的輸入u（k）（逆模型學習網絡的期望輸出），實線表示逆模型學習網絡的實際輸出um（k）；下面的子圖表示逆模型實際輸出與期望輸出的誤差曲線。圖2、圖4中曲線表示神經網絡隱含層與輸出連接權值向量β的5個分量（隱含層有5個節點）的學習過程。

為比較精度，本文采用式（24）的性能指標來衡量所建逆模型的精度

式中：l為總的采樣點數；u（k）為過熱汽溫對象的實際輸入；um（k）為過熱汽溫對象逆模型的輸出；e（k）為過熱汽溫對象逆模型的輸出與對象實際輸入的差值，即逆模型建模誤差。

圖1 增長記憶在線極限學習機的仿真結果（RMSE=0.001 0）

圖2 增長記憶在線極限學習機權值學習過程

圖3 限定記憶在線極限學習機的仿真結果（RMSE=4.176×10-6）

由圖1、圖3比較可以看出，相比于增長記憶學習算法，限定記憶學習算法的學習精度有了很大的提高。由圖2、圖4比較可以看出，當時間t＞500s以后，常規增長記憶學習算法就喪失了權值修正能力，繼續遞推下去也不會改善學習結果，即出現了“數據飽和”現象。而限定記憶極限學習機隨著時間的增長權值會不斷改善，說明它具有克服“數據飽和”的能力，這也說明了為何限定記憶極限學習機具有更高的學習精度。

圖4 限定記憶在線極限學習機權值學習過程

4 結 論

本文提出的限定記憶極限學習機在線學習算法能有效克服“數據飽和”現象，可以在遞推計算中不斷改善權值學習結果。尤其對于時變對象逆建模來說，可以保證權值學習，及時跟蹤對象特性參數的變化，相對于常規的增量記憶學習算法具有更高的學習精度。利用本文所提出的學習算法對過熱汽溫對象在線逆建模，結果顯示了該方法的有效性和優越性，是一種實用的參數時變對象在線逆建模技術。

［1］ 韓璞，張海琳，張麗靜.神經網絡自適應逆控制的仿真研究 ［J］.華北電力大學學報，2001，28（3）：26-30.HAN Pu，ZHANG Hailin，ZHANG Lijing.Simulation study of neural network based adaptive inverse control［J］.Journal of North China Electric Power University，2001，28（3）：26-30.

［2］ 黨映農，韓崇昭.基于Volterra基函數網絡的自適應逆控制方法 ［J］.西安交通大學學報，2000，34（9）：8-12.DANG Yingnong，HAN Chongzhao.Adaptive inverse control based on Volterra polynomial basis function neural networks［J］.Journal of Xi’an Jiaotong University，2000，34（9）：8-12.

［3］ 王廣軍，鄧良才，陳紅.鍋爐汽溫對象逆動力學過程模糊辨識 ［J］.中國電機工程學報，2007，27（20）：76-80.WANG Guangjun，DENG Liangcai，CHEN Hong.Fuzzy identification on inverse dynamic process of steam temperature object of boiler［J］.Proceedings of the Chinese Society for Electrical Engineering，2007，27（20）：76-80.

［4］ GELFAND S B，GMEIER J V.The stability of varia-ble step-size LMS algorithms ［J］.IEEE Transactions on Signal Processing，1999，47（12）：3277-3288.

［5］ 羅小東，賈振紅，王強.一種新的變步長LMS自適應濾波算法 ［J］.電子學報，2006，6（6）：1123-1126.LUO Xiaodong，JIA Zhenhong，WANG Qiang.A new variable step size LMS adaptive filtering algorithm［J］.Acta Electronica Sinica，2006，6（6）：1123-1126.

［6］ 劉亞秋，馬廣富，石忠.NARX網絡在自適應逆控制動態系統辨識中的應用 ［J］.哈爾濱工業大學學報，2005，37（2）：173-176.LIU Yaqiu，MA Guangfu，SHI Zhong.NARX network for dynamic system identification in adaptive inverse control［J］.Journal of Harbin Institute of Technology，2005，37（2）：173-176.

［7］ 鐘偉民，皮道映，孫優賢.基于支持向量機的直接逆模型辨識 ［J］.控制理論與應用，2005，22（2）：307-310.ZHONG Weimin，PI Daoying，SUN Youxian.Support vector machine based direct inverse-model identification［J］.Control Theory and Application，2005，22（2）：307-310.

［8］ HUANG Guangbin，SIEW C K.Extreme learning machine：RBF network case［C］∥Proceedings of the 8th International Conference on Control，Automation，Robotics and Vision.Piscataway，NJ，USA：IEEE，2004：1029-1036.

［9］ HUANG Guangbin，SIEW C K.Extreme learning machine with randomly assigned RBF kernels［J］.International Journal of Information Technology，2005，11（1）：16-25.

［10］HANDOKO S D，KEONG K C，SOON O Y，et al.Extreme learning machine for predicting HLA-peptide binding［C］∥Proceedings of the Advances in Neural Networks.Berlin，Germany：Springer-Verlag，2006：716-721.

［11］LIANG Nanying，SARATCHANDRAN P，HUANG Guangbin.Classification of mental tasks from EEG signals using extreme learning machine ［J］.International Journal of Neural Systems，2006，16（1）：29-38.

［12］HUANG Guangbin，ZHU Qinyu，SIEW C K.Extreme learning machine：theory and applications ［J］.Neurocomputing，2006，70（1）：489-501.

［13］LIANG Nanying，HUANG Guangbin，SARATCHANDRAN P，et al.A fast and accurate online sequential learning algorithms for feedforward networks ［J］.IEEE Transactions on Neural Networks，2006，17（6）：1411-1423.

［14］HUANG Guangbin，SARATCHANDRAN P，SUN-DARAAJAN N.An efficient sequential learning algorithm for growing and pruning RBF （GAP-RBF）networks［J］.IEEE Transactions on System，Man，and Cybernetics，2004，34（6）：2284-2292.

［15］FENG Guorui，HUANG Guangbin，LIN Qingping，et al.Error minimized extreme learning machine with growth of hidden nodes and incremental learning ［J］.IEEE Transactions on Neural Networks，2009，20（8）：1352-1357.

［16］范永勝，徐治皋，陳來久.基于動態特性機理分析的鍋爐過熱汽溫自適應模糊控制系統研究 ［J］.中國電機工程學報，1997，7（1）：23-28.FAN Yongsheng，XU Zhigao，CHEN Laijiu.Study of adaptive fuzzy control of boiler superheated steam temperature based on dynamic mechanism analysis ［J］.Proceedings of the Chinese Society for Electrical Engineering，1997，7（1）：23-28.