基于回聲狀態網絡的柴油性質近紅外光譜測量模型

薄迎春 趙逸博 夏伯鍇

(中國石油大學信息與控制工程學院，山東 青島 266580)

近紅外光譜(Near Infrared Spectroscopy，NIRS)測量技術是20世紀90年代產生的一種新型的光譜測量方法，具有快速、綠色環保、操作方便及可同時測量多種理化性質等特點[1，2]。目前，NIRS測量技術已經在石油石化[3，4]、食品工業[5]及生物制藥[6]等多個產品質量檢測和質量控制領域得到了廣泛的應用。NIRS分析方法是一種間接測定方法，其利用氫基團化學鍵伸縮振動的倍頻和合頻在近紅外區形成吸收光譜，并通過適當的化學計量學校正方法將吸收光譜信息與被測樣品的性質數據進行關聯，進而建立吸收光譜與被測樣品性質之間的關系模型。

柴油性質測量對于保證柴油煉制過程的產品質量以及降低柴油燃燒過程的污染等方面均具有重要意義[7]。由于C-H基團對NIRS具有較強的吸收作用，因此NIRS非常適合于柴油性質的測量。

用化學計量學方法建立NIRS分析模型是NIRS測量的核心技術之一[8]。目前，常用的化學計量學方法主要有多元線性回歸(Multiple Linear Regression，MLR)、主成分回歸(Principal Components Regression，PCR)、偏最小二乘(Partial Least Squares，PLS)及人工神經網絡(Artificial Neural Network，ANN)等[9]。與其他方法相比，ANN具有更強的非線性逼近能力，近年來，ANN已成為NIRS分析模型的研究熱點之一[10，11]。然而，常規ANN學習速度緩慢，并且學習過程易陷入局部極小，同時由于初始參數選取的隨機性，使得ANN的模型魯棒性較弱，這極大地限制了ANN在NIRS測量中的應用。

筆者針對ANN在NIRS建模中的問題，提出了一種基于回聲狀態網絡(Echo State Network，ESN)的NIRS分析模型建立方法，ESN是一種新型的ANN，是池計算的典型代表[12]。

1 方法原理①

1.1 ESN原理

ESN由輸入、輸出和動態神經元池(Dynamical Reservoir，DR)組成，其結構如圖1所示。DR由大量的隨機稀疏連接的神經元組成，DR內部神經元數量可以為幾十、成百乃至上千個，這使得ESN可逼近復雜的非線性映射和非線性動力學系統。

圖1 ESN結構

ESN的信息傳遞公式可表示為：

s(n)=σ(WINz(n)+WRs(n-1))

(1)

y(n)=WT(n)s(n)

(2)

其中σ是池內神經元的激活函數(一般選擇為Sigmoid類型函數)，n表示樣本輸入的順序，s為池內神經元輸出向量(或稱ESN的內部狀態向量)，z為ESN輸入向量，y為ESN輸出向量,WIN、WR、W分別是輸入到DR、DR內部和DR與輸出之間的連接權值矩陣。在ESN中，WIN和WR在ESN生成時隨機給定并在學習過程中保持不變，所以，ESN的學習過程只需訓練W。

根據式(2)，W的計算方法如下：

WT=YS*

(3)

其中，Y=[y(1)，…，y(P)]為ESN的期望輸出，P為樣本個數，S*=(STS)-1，ST為S的Moore-Penrose逆，這里：

(4)

由式(3)可見，ESN的權值訓練過程實質上是一個線性方程組的求解過程。與常規的ANN相比，ESN學習更為簡單，并且，這個求解過程可直接獲得權值的最優解，有效避免了常規ANN迭代學習過程易陷入局部極小的弊端。ESN本身是一種遞歸神經網絡，但從其結構可以看出，若令WR=0，則ESN將會退化為常規的三層前饋網絡。所以，可以根據樣本的特點選擇合適的譜半徑(矩陣WR的最大奇異值)，當樣本間存在較強的時間關系時，可以適當地加大ESN的譜半徑，反之可以適當減小譜半徑以消弱樣本間的時間關系。

1.2ESN的集成學習

由于ESN的WIN、WR在網絡建立時隨機生成，這使得ESN的性能不夠穩定，即使在神經元個數、譜半徑[12]及稀疏度等宏觀參數相同的情況下，其性能也會產生較大的波動[13]，在此情況下，為獲得高性能的ESN，不得不進行大量的測試。根據ESN的生成和學習過程可知，ESN的性能波動是由于WIN、WR選取和DR連接方式存在隨機性引起的，因此，這種性能波動可視為一種隨機干擾。為提高ESN的性能穩定性，這里采用了一種集成學習的方式，即采用多個ESN對柴油性質的近紅外光譜數據進行建模，建模過程采用Bagging技術中的簡單自舉方法，即每次在原始樣本中隨機抽取與樣本集相同數量的樣本進行建模。并將各ESN模型的輸出經過平均得到模型的最終輸出結果。即：

(5)

其中M為模型個數，y表示集成模型的輸出，yi表示第i個ESN模型的輸出。ESN的集成學習過程如圖2所示。

圖2 ESN的集成學習過程

2 實驗研究

2.1實驗數據

實驗采取Eigenvector研究所的柴油性質近紅外光譜數據集[14]。其光譜的采集范圍為750～1 550nm，采樣間隔為2nm。數據集中共包含255條光譜線(即255個樣本)，每條近紅外光譜包含401個數據點，這些數據點已經過異常值處理及數據平滑去噪等措施。數據集中柴油性質的近紅外測量譜線如圖3所示。

圖3 柴油性質近紅外測量譜線

由于十六烷值和密度是衡量柴油質量的兩個重要的指標，所以，這里選取數據集中的十六烷值和密度參量進行NIRS分析模型的測試。測試過程采用MLR、PCR、PLS和ESN 4種方法。

首先對數據集中的十六烷值和密度值數據進行正規化處理：

(6)

其中，y′為正規化后的值，y為原始值，ymax、ymin分別表示向量y的最大值和最小值。

2.2ESN的初始參數選擇及設置

ESN的輸入神經元個數為17(采用主元分析和交叉驗證方法確定)，DR內部神經元個數選為30，輸出神經元數為2，ESN模型個數M=7。ESN中，WIN各元素在[-0.5,0.5]范圍內隨機取值。WR的取值方法如下：

(7)

其中η為稀疏度。通過改變η、a的值，可以改變WR矩陣的稀疏程度和譜半徑。實驗中，由于樣本采樣間隔較大，其時間關系較弱，取η=0.1，a=0.005(譜半徑約為0.009)。

2.3實驗結果及分析

圖4、5分別為十六烷值模型和密度模型的測試結果，分析圖4、5，在表1中列出了采用4種分析模型的各項誤差指標。其中Emax為絕對誤差最大值，EA為誤差均值，ER為均方根誤差，EV為誤差的方差。

圖4 十六烷值模型測試結果

圖5 密度模型測試結果

項目十六烷值模型密度模型EmaxEAEREVEmaxEAEREVMLR72.31400.47999.190085.05900.00788.35×10-51.72×10-32.81×10-6PCR5.88810.44062.29995.14580.00287.55×10-57.91×10-46.25×10-7PLS5.77410.46882.14194.41100.00476.73×10-58.39×10-47.06×10-7ESN5.94620.27091.93963.72530.00212.03×10-57.31×10-45.39×10-7

從表1可見，MLR方法對于柴油十六烷值的建模效果較差，這主要是由于柴油十六烷值與光譜信息之間的非線性較強，而MLR更適合解決具有線性關系的建模問題。從衡量模型整體精度的指標(ER)來看，ESN對于柴油十六烷值的建模精度較PCR、PLS分別提高了15.67%、9.40%。從EV來看，ESN的模型誤差的平穩性較好，這說明集成的ESN模型具有較好的魯棒性。ESN模型的平均誤差EA更接近于0，這說明ESN的建模誤差分布更為均勻。對于柴油密度分析模型而言，ESN方法在各個指標上均優于其他方法所建立的模型。值得指出的是，由于柴油密度與NIRS測量數據間存在較強的線性關系，所以，MLR也取得了較好的效果。從結果來看，ESN的建模精度(以ER為指標)較PCA、PLS分別提高了7.59%、12.87%，較MLR提高了57.50%。從EA、EV來看，ESN模型誤差波動較小，誤差分布更為均勻。從表1可見，對于柴油性質的NIRS數據，無論是對于線性關系模型還是非線性關系模型，集成ESN方法均取得了較高的建模精度。

3 結論

3.1采用ESN建立了柴油性質NIRS分析模型，其精度優于常規化學計量學方法建立的模型。

3.2集成的ESN學習方法能夠在較大程度上消除ESN初始結構設計隨機性對模型性能的影響，從而提高模型的魯棒性。

3.3ESN對線性、非線性模型均有較強的模型適應能力。

3.4實驗中對ESN的參數主要采取經驗方法選取。若能對ESN的參數(如DR內部神經元數量，譜半徑及稀疏度等)進行優化，則ESN的建模能力會得到進一步增強，而池計算網絡的結構優化問題也是ANN領域研究的熱點之一。

[1] Syunyaev R Z，Balabin R M，Akhatov I S.Adsorption of Petroleum Asphaltents onto Reservoir Rock Sand Studied by Near-Infrared Spectroscopy[J].Energy & Fuels，2009，23(2)：1230～1236.

[2] 徐廣通，劉澤龍，楊玉蕊，等.近紅外光譜法測定柴油組成及其應用[J].石油學報，2002，18(4)：65～77.

[3] 郝勇，孫旭東，蔡麗君，等.基于互信息方法的燃油品質光譜分析模型構建與簡化[J].光譜學與光譜分析，2012，32(1)：175～178.

[4] 樊澤霞，郭緒強，王杰祥.原油乳狀液穩定性光學評價方法研究[J].中國石油大學學報(自然科學版)，2007，31(4)：130～138.

[5] 林濤，于海燕，應義斌.可見/近紅外光譜技術在液態食品檢測中的應用研究進展[J].光譜學與光譜分析，2008，28(2)：285～290.

[6] Garrido P，Paula M，Marques M，et al.Spectroscopic and Electrochemical Studies of Cocaine-Pioid Interactions[J]. Anal Bioanal Chem，2007，388(8)：1799～1808.

[7] 王志芳，夏伯鍇.用基團法預測柴油密度值[J].化工自動化及儀表，2009，36(1)：67～70.

[8] 袁天軍，王家俊.近紅外光譜法的應用及相關標準綜述[J].中國農學通報，2013，29(20)：190～196.

[9] 褚小立，許育鵬，陸婉珍.用于近紅外光譜分析的化學計量學方法研究與應用進展[J].分析化學評述與進展，2008，36(5)：702～709.

[10] Kim S C，Herlina A R，Ruzairi A R.Artificial Neural Network Coupled with Robust Principal Components in Near Infrared Spectroscopic Analysis[C].IEEE 8th International Colloquium on Signal Processing and Its Applications.Melaka:IEEE,2012：19～22.

[11] 雷萌，李明，吳楠.基于神經網絡集成的揮發分近紅外回歸模型[J].中國礦業大學學報，2013，42(2)：291～295.

[12] Herbert J.Harnessing Nonlinearity: Predicting Chaotic Systems and Saving Energy in Wireless Communication[J]. Science，2004，304(5667)：78～80.

[13] 薄迎春，喬俊飛，張昭昭.一種具有small world 特性的ESN 結構分析與設計[J].控制與決策，2012，27(3)： 383～388.

[14] Soutwest Research Institute(SWRI).Near Infrared Spectra of Diesel Fuels [EB/OL].http://software.Eigen- vector.com/Data/index. Html，2005.