基于改進極限學習機的軟測量建模

周 馨，王國胤，于 洪

(重慶郵電大學 計算智能重慶市重點實驗室, 重慶 400065) (*通信作者電子郵箱zhouxin_1121@qq.com)

基于改進極限學習機的軟測量建模

周 馨*，王國胤，于 洪

(重慶郵電大學 計算智能重慶市重點實驗室, 重慶 400065) (*通信作者電子郵箱zhouxin_1121@qq.com)

極限學習機(ELM)因其泛化能力好和學習速度快而成為軟測量的新方法，但當應用到鋁電解工藝參數建模時，ELM通常需要較多隱層節點并且泛化能力較低。針對這一問題，提出一種基于改進極限學習機(IELM)的軟測量模型。首先,利用粗糙集中的約簡理論剔除輸入變量中的冗余或不相關屬性，以降低ELM的輸入復雜性;然后,利用偏相關系數對輸入變量和輸出變量間的相關性進行分析，將輸入數據分為正輸入和負輸入兩部分，分別對這兩部分建立輸入單元，重新構建ELM網絡;最后，建立了基于改進極限學習機的鋁電解分子比軟測量模型。仿真實驗結果表明，基于改進極限學習機的軟測量模型具有較好的泛化能力和穩定性。

極限學習機；軟測量；粗糙集；偏相關系數

鋁電解生產是一系列復雜的電化學反應過程，且具有高溫、強輻射、強腐蝕等特點，因此過程參數的在線測量一直是鋁電解生產中的一個重要問題[1]。為了解決這一時滯問題，一種方法是采用軟測量技術。軟測量是通過在可測參數與不可測參數間構建非線性數學模型，以可測數據為基礎實現對不可測參數的估計。隨著鋁電解生產與檢測裝備的自動化與信息化水平的不斷提升，鋁電解廠中累積了大量的生產數據，這為軟測量建模提供了數據基礎，因此，軟測量方法[2]中基于數據驅動的建模方法在鋁電解中取得了巨大成功，其中應用較為廣泛的是反向傳播網絡(Back-Propagation Network, BP Network)[3-4]和支持向量機(Support Vector Machine, SVM)[5-6]。極限學習機(Extreme Learning Machine, ELM)是近年來由Huang等[7]提出的一種針對單隱層前饋神經網絡的新算法。由于ELM只需要設定隱層節點的個數，無需調整輸入權值和隱含層偏置，從而大幅度縮短了網絡的訓練時間[8]。Han等[9]通過大量實驗表明ELM比BP神經網絡和SVM具有更快的訓練速度和更好的泛化能力，因此，極限學習機近年來在軟測量領域開始得到大量的應用[10-12]。

雖然ELM是一種非常簡單且快速的神經網絡算法，但若直接將ELM應用于鋁電解工藝參數建模中，仍存在一些問題：首先，采集的鋁電解數據具有高維、非線性和冗余信息多等特點[13]，因此需要較多的隱層節點，不利于ELM的H矩陣滿足列滿秩，從而降低ELM的建模精度；其次，由于鋁電解生產中電解槽的狀態不斷變化，可能導致各種過程參數大幅度地波動，使得ELM網絡的泛化能力和穩定性降低。

由此，本文提出一種基于改進極限學習機(ImprovedExtremeLearningMachine,IELM)的軟測量建模方法。為了解決ELM在處理高維數據存在的問題，利用粗糙集屬性約簡理論刪除輸入變量中的冗余屬性和不相關的屬性，得到對分子比重要的輔助變量，從而降低ELM網絡的輸入復雜性；同時，為了提高ELM網絡的泛化能力，利用偏相關系數對ELM網絡的輸入部分進行分塊處理，將對輸出作用相同的數據放在一起重新建立ELM網絡結構，提高ELM網絡的學習性能。最后利用改進的ELM方法對鋁電解中的分子比建立了軟測量模型。實驗表明，本文提出的建模方法具有較高的預測精度和泛化能力。為了驗證本文方法的有效性和魯棒性，本文在4個UCI標準數據集上進行了測試。

1 改進的極限學習機方法

1.1 傳統ELM算法

對于N個不同的樣本(xi,ti)∈[Rm×Rn]，具有K個隱含層節點的ELM輸出可以表示為：

(1)

xi=[xi1,xi2,…,xim]T∈Rm(i=1,2,…,N)，ti=[ti1,ti2,…,tin]T∈Rn，aj=(aj1,aj2,…,ajm)T是輸入節點與第j個隱含層節點的連接權值，bj是第j個隱含層節點的閾值，βj=(βj1,βj2,…,βjm)T是第j個隱含層節點與輸出層節點的連接權值，g(·)是隱含層的激活函數。

對于給定的K個隱含層節點和激活函數，若存在βj，aj和bj使得該單隱層神經網絡能以接近0的誤差逼近樣本的期望值tn，由式(1)可得一個線性的方程組：

Hβ=T

(2)

其中:

H叫作網絡的隱含層輸出矩陣，輸出權值β則可以由式(3)得到：

(3)

其中H+表示H的Moore-Penrose廣義逆[14]。

因此，傳統ELM算法的步驟可以概括為：

1)隨機設定輸入層的連接權值aj和bj，其中j=1,2,…,K；

2)計算網絡隱含層的輸出矩陣H；

3)根據式(3)計算網絡輸出層的權值。

圖1 原始ELM網絡結構

1.2ELM網絡結構的改進

傳統的ELM算法沒有對輸入數據與輸出數據之間的關系進行分析，輸入數據之間是雜亂無章的，這樣不利于網絡的訓練。文獻[15]提出利用簡單相關系數將輸入變量與輸出變量之間的關系分為正關系和負關系，根據正、負關系將輸入數據分為兩部分，并分別對這兩部分輸入建立局部的輸入單元，以此建立的ELM網絡的性能得到了一定的提高。然而，當輸入變量是多個的時候，簡單相關系數會受其他變量的影響，這時它反映的僅是兩個變量之間表面的非本質的聯系。此時根據簡單相關系數會對ELM網絡的輸入數據進行錯誤的劃分，因此，本文提出利用偏相關系數來表征輸入數據與輸出數據之間的關系。

偏相關系數是在控制其他變量影響的情況下計算多個變量中某兩個變量之間線性相關的程度，它反映了兩個變量之間的本質線性關系[16]。利用偏相關系數可以對ELM網絡的輸入、輸出變量之間的正負關系進行精準的判斷，從而對輸入數據進行正確地劃分。偏相關系數的定義[17]如下：

對于給定的變量組{X1,X2,…,Xp}，它們之間的相關系數矩陣表示為：

(4)

其中rij表示變量Xi與Xj的簡單相關系數，則對于任意i和j(i,j=1,2,…,p)，變量Xi與Xj在控制其他變量的條件下的偏相關系數表示為：

(5)

其中：Δij、Δii、Δjj分別為|Re|中元素rij、rii、rjj的代數余子式。

利用式(5)可以分別計算軟測量模型中各個輸入屬性與輸出屬性之間的偏相關系數。若ρ>0，則表示輸入屬性與輸出屬性之間呈現正相關，稱為正輸入屬性，說明輸入屬性對輸出屬性的作用是正向的：如果輸入屬性的值增大，則輸出屬性的值也會相應地增大。若ρ<0，則表示輸入屬性與輸出屬性之間呈現負相關，稱為負輸入屬性，說明輸入屬性對輸出屬性的作用是反向的：如果輸入屬性的值增大，則輸出屬性的值會相應地減??；如果輸入屬性的值減小，則輸出屬性的值會相應地增大。以此可以將輸入數據分為正輸入和負輸入兩部分。

通過對輸入數據進行分塊處理，將對輸出變量作用相同的數據放在一起，分別對各自的輸入模塊設置隱含層節點，可以有效減少ELM網絡輸入權值的連接個數，從而解決傳統ELM因隱含層節點過多而不能保證ELM的H矩陣列滿秩的問題。此外，分開對正、負輸入模塊進行訓練，可以進一步提高網絡的學習性能。改進后的ELM網絡結構如圖2所示。

圖2 改進ELM網絡結構

2 基于改進極限學習機的軟測量模型

由于采集的鋁電解數據具有高維、非線性和冗余信息多等特點，為了降低輸入數據的維數和剔除不重要的變量，本文利用粗糙集屬性約簡算法對輸入數據進行預處理。

粗糙集理論是1982年由波蘭科學家Pawlak等[18]提出的，它是處理不精確或不完全信息分類問題的一種重要方法。它的突出優點是具有很強的定性分析能力，即通過依賴于集合的上下近似的概念來發現數據集合中數據之間的依賴關系。目前粗糙集在基于數據的決策與分析、機器學習、模式識別等計算機領域取得了大量的成功，而利用粗糙集模型進行各項應用研究也已正成為粗糙集的一個研究熱點[19]。

屬性約簡是粗糙集理論中的一個重要研究內容，它定義為在保持決策表決策屬性和條件屬性之間的依賴關系不發生變化的前提下消除冗余的關系。屬性約簡的意義在于將信息系統中與知識分類不相關或不重要的屬性刪除掉，從而降低信息系統的復雜性。經過屬性約簡后，得到的則是與決策屬性依賴性高的條件屬性。

因此，在構建ELM網絡之前，本文采用粗糙集的一般屬性約簡算法[20]對輸入數據進行處理，其目的是為了得到合理的輸入變量并且降低ELM網絡的輸入復雜性。由此，本文建立軟測量模型的整體過程如圖3所示。

圖3 建模過程

由圖3可知，建模過程可分為以下幾個步驟：

1)輸入樣本數據集預處理。按照具體的需求，對樣本數據的屬性進行處理將之轉換成粗糙集的數據格式，如歸一化或連續值離散化處理等。

2)利用粗糙集屬性約簡算法對樣本數據集進行屬性約簡處理，得到軟測量模型的輔助變量。

3)利用式(5)對輸入變量與輸出變量進行偏相關性分析，從而確定正相關輸入變量和負相關輸入變量，分別記為：xp∈RN×m1和xo∈RN×m2。m1表示正輸入變量的個數，m2表示負輸入變量的個數，則m1+m2=m。

4)將得到的正相關輸入變量放到ELM網絡的正輸入部分，同樣地將負相關輸入變量放到ELM網絡的負輸入部分。

6)計算正輸入模塊隱含層的輸出矩陣H1和負輸入模塊隱含層的輸出矩陣H2，其中:

最后將它們合并為一個矩陣，即為網絡隱含層最終的輸出矩陣H=[H1H2]。

7)根據式(3)計算得到隱含層與輸出層的權值。

8)計算得到軟測量模型的輸出結果。

3 實驗仿真

為了驗證本文方法的有效性和合理性，本文對鋁電解分子比建立了軟測量模型，同時選取UCI數據庫中的4個數據集進行了測試。

為了定量對所建模型的訓練效果和預測精度進行評價，本文采用均方根誤差(RootMeanSquareError,RMSE)作為性能指標。計算公式如下:

(6)

3.1 分子比軟測量結果

在鋁電解生產過程中，電解質的組成對鋁電解生產的經濟指標具有重要影響，降低電解質分子比是提高鋁電解電流效率的有效途徑[21]。目前，在鋁廠中分子比的測定主要還是采用人工取樣分析，取樣周期一般是3d，因此，分子比的測量具有滯后性。在電解槽運行過程中，工人通常是憑自己的經驗來對分子比的高低情況進行判斷，顯然容易出現誤差，因此，對分子比建立軟測量模型具有重要的現實意義。本文選取某鋁廠某電解槽165d的歷史數據，其中135組作為訓練數據，30組作為測試數據。由于鋁電解數據具有多變量、非線性的特點，因此影響分子比的變量具有不確定性，因此本文將采集數據中的變量都作為候選輔助變量，包括工作電壓、電壓差、下料量、氟鹽量、電解質水平、鋁水平、出鋁量、硅含量、槽溫等18個變量，輸出變量則是分子比。

首先利用粗糙集一般屬性約簡算法進行處理，得到分子比軟測量模型最終的輔助變量，包括電壓差、下料量、氟鹽量、電解質水平、出鋁量、硅含量、釩含量、氟化鉀和鋰鹽，并對它們進行標號為1,2,…,9。這里利用粗糙集約簡理論不僅對輔助變量中冗余信息進行了剔除，而且還對影響分子比的變量進行了選取。然后利用偏相關系數對這9個輸入屬性與分子比的正負關系進行分析，得到2個正輸入屬性，它們的標號為：1和8，剩余的7個即為負輸入屬性。而利用文獻[15]提出的劃分方式則得到3個正輸入屬性，它們的標號為：4,5,8，剩余的6個為負輸入屬性。由此可以看出利用偏相關系數和簡單相關系數對輸入屬性的劃分結果不相同。最后，分別與BP神經網絡、SVM、傳統ELM和文獻[15]提出的方法(C-ELM)進行對比，實驗結果如表1和表2所示。

本文方法與BP神經網絡、SVM和ELM的對比結果如表1所示。從表1可以看出：BP神經網絡不僅訓練時間最長，而且還出現了嚴重的過擬合問題；而SVM雖然泛化能力較好，但是訓練時間也較長；ELM的訓練速度快、泛化誤差小，說明ELM是一種有效的軟測量建模方法；而改進后的ELM相比傳統的ELM，在相似的建模精度下能夠有效地減少了隱層節點數。

表1 分子比仿真結果對比1

本文方法與文獻[15]方法和傳統ELM在相同隱層節點數下的對比結果如表2和圖4所示。從表2可以看出，本文方法和文獻[15]方法通過對ELM的輸入模塊進行劃分重新構建ELM網絡均提高了ELM的泛化能力。相比于文獻[15]方法，本文方法具有更小的泛化誤差。由此驗證了在多個輸入變量的情況下，利用偏相關系數來表征兩個變量之間的正負關系更合理。實驗總體結果表明了本文方法的有效性和合理性。

表2 分子比仿真結果對比2

圖4 分子比測試結果對比

3.2UCI數據集仿真結果

為了進一步驗證本文建模方法的有效性和魯棒性，本文從UCI公共數據集中選取了4組數據集進行了測試。對每個數據集隨機選取其中的2/3作為訓練集，剩余1/3作為測試集，數據描述如表3所示，實驗仿真結果如表4所示。

表3 數據描述

表4 UCI數據仿真結果

從表4可以看出，在處理公共數據集時，本文提出的方法較之文獻[15]提出的方法和傳統的ELM方法也具有更小的泛化誤差，而文獻[15]方法則出現了降低原始ELM泛化能力的問題，由此驗證了本文方法的有效性和魯棒性。

從上面兩組對比實驗可以看出，本文利用粗糙集屬性約簡算法對輸入變量中的冗余屬性進行剔除，降低了ELM網絡的輸入復雜性；同時，利用偏相關系數對輸入屬性與輸出屬性的正負關系進行正確的判斷，克服了文獻[15]利用簡單相關系數對輸入數據進行錯誤劃分而導致ELM泛化能力下降的問題。在處理鋁電解數據和UCI公共數據集上，本文方法均取得了較好的效果。

4 結語

針對ELM在鋁電解工藝參數軟測量建模中存在的問題，本文提出了一種改進的極限學習機的軟測量建模新方法。首先將粗糙集運用到ELM中，通過對輸入變量進行屬性約簡，降低了ELM的輸入量。再者，利用偏相關系數對ELM的輸入模塊進行了劃分，將對輸出作用相同的數據放在一起，提高了ELM的學習性能。通過與BP神經網絡、SVM、傳統ELM和文獻[15]方法的對比，實驗仿真證明本文提出的方法具有更好的泛化能力和穩定性，證實了該方法的有效性。這為鋁電解過程參數的軟測量提供了一種有效、可靠的新方法。在此基礎上，未來的研究方向是建立針對不同槽況的軟測量模型以及完善鋁電解數據降維的相關工作。

)

[1] 劉業翔,李劼.現代鋁電解[M].北京:冶金工業出版社,2008:192-214.(LIUYX,LIJ.ModernAluminumElectrolysis[M].Beijing:MetallurgicalIndustryPress, 2008: 192-214.)

[2]SLISKOVICD,GRBICR,HOCENSKIZ.Methodsforplantdata-basedprocessmodelinginsoft-sensordevelopment[J].Automatika, 2012, 52(4): 306-318.

[3]ZHANGH,KUANGY,WANGG,etal.Softsensormodelforcoalslurryashcontentbasedonimagegraycharacteristics[J].InternationalJournalofCoalPreparationandUtilization, 2014, 34(1): 24-37.

[4]YANX,YANGW,MAH,etal.SoftsensorforammoniaconcentrationattheammoniaconverteroutletbasedonanimprovedgroupsearchoptimizationandBPneuralnetwork[J].ChineseJournalofChemicalEngineering, 2012, 20(6): 1184-1190.

[5]KANEKOH,FUNATSUK.Applicationofonlinesupportvectorregressionforsoftsensors[J].AICHEJournal, 2014, 60(2): 600-612.

[6]YUJ.ABayesianinferencebasedtwo-stagesupportvectorregressionframeworkforsoftsensordevelopmentinbatchbioprocesses[J].ComputersandChemicalEngineering, 2012, 41(12): 134-144.

[7]HUANGGB,ZHUQY,SIEWCK.Extremelearningmachine:theoryandapplications[J].Neurocomputing, 2006, 70 (1/2/3): 489-501.

[8]DINGS,ZHAOH,ZHANGY,etal.Extremelearningmachine:algorithm,theoryandapplications[J].ArtificialIntelligenceReview, 2015, 44(1): 103-115.

[9]HANF,HUANGDS.Improvedextremelearningmachineforfunctionapproximationbyencodingaprioriinformation[J].Neurocomputing, 2006, 69(16/17/18): 2369-2373.

[10]ZHANGH,YINY,ZHANGS.AnimprovedELMalgorithmforthemeasurementofhotmetaltemperatureinblastfurnace[J].Neurocomputing, 2016, 174: 232-237.

[11]YANGY,ZHANGS,YINY.AmodifiedELMalgorithmforthepredictionofsiliconcontentinhotmetal[J].NeuralComputingandApplications, 2016, 27(1): 241-247.

[12] 常玉清,李玉朝,王福利,等.基于極限學習機的生化過程軟測量建模[J].系統仿真學報,2007,19(23): 5587-5590.(CHANGYQ,LIYC,WANGFL,etal.Softsensingmodelingbasedonextremelearningmachineforbiochemicalprocesses[J].JournalofSystemSimulation, 2007, 19(23): 5587-5590.)

[13] 張旖芮,陽春華,朱紅求.基于數據的鋁電解槽況分類[J].計算機工程與應用,2015,51(11):233-237.(ZHANGYR,YANGCH,ZHUHQ.Classificationofcellstatesforaluminumelectrolysisbasedondata[J].ComputerEngineeringandApplications, 2015, 51(11): 233-237.)

[14]SERRED.Matrices[M].NewYork:Springer, 2002: 35.

[15] 賀彥林,王曉,朱群雄.基于主成分分析-改進的極限學習機方法的精對苯二甲酸醋酸含量軟測量[J].控制理論與應用,2015,32(1):80-85.(HEYL,WANGX,ZHUQX.Modelingofaceticacidcontentinpurifiedterephthalicacidsolventcolumnusingprincipalcomponentanalysisbasedimprovedextremelearningmachine[J].ControlTheoryandApplications, 2015, 32(1): 80-85.)

[16] 王海燕,楊方廷,劉魯.標準化系數與偏相關系數的比較與應用[J].數量經濟技術經濟研究,2006,23(9):150-155.(WANGHY,YANGFT,LIUL.Comparisonandapplicationofstandardizedregressivecoefficientandpartialcorrelationcoefficient[J].TheJournalofQuantitativeandTechnicalEconomics, 2006, 23(9): 50-155.)

[17] 郝黎仁,樊元,郝哲歐.SPSS實用統計分析[M].北京:中國水利水電出版社,2007:184.(HAONR,FANY,HAOZO.PracticalStatisticalAnalysisofSPSS[M].Beijing:ChinaWaterandPowerPress, 2007: 184.)

[18]PAWLAKZ,SKOWRONA.Rudimentsofroughsets[J].InformationSciences, 2007, 177(1): 3-27.

[19] 王國胤,姚一豫,于洪.粗糙集理論與應用研究綜述[J].計算機學報,2009,32(7):1229-1246.(WANGGY,YAOYY,YUH.Asurveyonroughsettheoryandapplications[J].ChineseJournalofComputers, 2009, 32(7): 1229-1246.)

[20] 王國胤.Rough集理論與知識獲取[M].西安:西安交通大學出版社,2001:133-134.(WANGGY.RoughSetTheoryandKnowledgeAcquisition[M].Xi’an:Xi’anJiaotongUniversityPress, 2001: 133-134.)

[21] 劉詠,任鳳蓮.BP神經網絡在鋁電解質分子比預報中的應用[J].冶金分析,2006,26(4):28-31.(LIUY,RENFL.ApplicationofBPneuralnetworkinpredictionofmolecularratioofaluminumelectrolyte[J].MetallurgicalAnalysis, 2006, 26(4): 28-31.)

ThisworkissupportedbytheNationalNaturalScienceFoundationofChina(61533020).

ZHOU Xin, born in 1990, M. S. candidate. Her research interests include intelligent information processing, data mining.

WANG Guoyin, born in 1970, Ph. D., professor. His research interests include rough set, granular computing, neural network, machine learning, data mining, uncertainty in artificial intelligence.

YU Hong, born in 1972, Ph. D., professor. Her research interests include rough set, three-way decisions, intelligent information processing.

Soft-sensing modeling based on improved extreme learning machine

ZHOU Xin*, WANG Guoyin, YU Hong

(ChongqingKeyLaboratoryofComputationalIntelligence,ChongqingUniversityofPostsandTelecommunications,Chongqing400065,China)

Extreme Learning Machine (ELM) has become a new method in soft-sensing due to its good generalization and fast training speed. However, ELM often needs more hidden layer nodes and its generalization is reduced in the parameter modeling for aluminum electrolysis production process. To solve the problem, a soft-sensing model based on Improved Extreme Learning Machine (IELM) was proposed. Firstly, rough set theory was applied to reduce the unnecessary, unrelated or reductant input variables, reducing the complexity of ELM input. After analyzing the relationship between the input variables and output variables by partial correlation coefficient, the input data was divided into two parts, namely the positive part and the negative part. Then, the corresponding ELM model was built according to the two parts. Finally, the soft-sensing model of molecular ratio based on the improved ELM was built. The simulation experimental results show that the soft-sensing model based on the IELM has better generalization and stability.

Extreme Learning Machine (ELM); soft-sensing; rough set; partial correlation coefficient

2016- 09- 23;

2016- 10- 10。

國家自然科學基金資助項目(61533020)。

周馨(1990—)，女，四川武勝人，碩士研究生，CCF會員，主要研究方向：智能信息處理、數據挖掘； 王國胤(1970—)，男，重慶人，教授，博士， CCF會員，主要研究方向：粗糙集、粒計算、神經網絡、機器學習、數據挖掘、人工智能不確定性； 于洪(1972—)，女，重慶人，教授，博士， CCF會員，主要研究方向：粗糙集、三支決策、智能信息處理。

1001- 9081(2017)03- 0668- 05

10.11772/j.issn.1001- 9081.2017.03.668

TP391.6

A