基于角度優化的魯棒極端學習機算法

魏 迪,劉德山,楚永賀，閆德勤

(遼寧師范大學 計算機與信息技術學院,遼寧 大連 116081)

基于角度優化的魯棒極端學習機算法

魏 迪,劉德山,楚永賀，閆德勤

(遼寧師范大學 計算機與信息技術學院,遼寧 大連 116081)

極端學習機因其學習速度快、泛化性能強等優點，在當今模式識別領域中已經成為了主流的研究方向;但是，由于該算法穩定性差，往往易受數據集中噪聲的干擾，在實際應用中導致得到的分類效果不是很顯著;因此，為了提高極端學習機分類的準確性，針對數據集樣本中帶有噪聲和離群點問題，提出了一種基于角度優化的魯棒極端學習機算法;該方法利用魯棒激活函數角度優化的原則，首先降低了離群點對分類算法的影響，從而保持數據樣本的全局結構信息，達到更好的去噪效果;其次，有效的避免隱層節點輸出矩陣求解不準的問題，進一步增強極端學習機的泛化性能;通過應用在普遍圖像數據庫上的實驗結果表明，這種提出的算法與其他算法相比具有更強的魯棒性和較高的識別率。

極端學習機；魯棒激活函數；角度優化

0 引言

極端學習機(extreme learning machine, ELM)是由Huang等人[1-5]在人工神經網絡結構模型的基礎上，提出的一種機器學習算法。該算法的特點是網絡結構模型中的輸入權值和隱層的偏置不需迭代，都是隨機產生進行賦值，然后通過合適的激活函數就可以得到輸出權值。極端學習機算法的出現，解決了傳統的單隱層前饋神經網絡計算速度緩慢的問題，且大大提高了網絡訓練過程的效率。近幾年，極端學習機算法受到許多研究學者的不斷關注，已經成為了一個熱點的研究方向并在許多領域得到了廣泛的的應用[6-7]。比如基于Fisher準則的ELM算法[8]，Zong等人利用ELM解決不平衡數據的分類問題[9],ELM和傳統的核方法相結合[10],張弦等人提出了限定記憶的極端學習機[11]以及改進的極端學習機[12]，文獻[13-14]提出將流行正則化和ELM結合解決半監督學習或無監督學習的問題。

雖然ELM在很多領域取得了成功的應用，然而并沒有考慮到數據樣本中包含的噪聲和離群點對ELM算法學習能力和泛化能力的影響。因此，在ELM中如何消除數據集樣本中噪聲等冗余屬性的干擾，是目前模式識別領域中至關重要的研究課題。為了解決此類問題的不足，文獻[15]提出了一種模糊極限學習機算法(New fuzzy extreme learning machine, NFELM)。該算法采用隸屬度的思想，認為每個數據樣本對于ELM模型都有不同的重要程度，即相應地分配不同影響的隸屬度。NFELM算法降低了ELM的經驗風險，加強了ELM對數據集中離群點的魯棒性，然而NFELM算法存在一定的缺陷，忽略了ELM特征映射空間對數據樣本的影響，由此得到的隸屬度不能完全反應出數據和類中心之間的關系。文獻[16]利用主成分分析(principal component analysis,PCA)[17]，線性判別分析(linear discriminant analysis, LDA)[17]，判別局部排列(discriminative locality alignment, DLA)[18]方法對數據樣本進行預處理，然后通過ELM模型進行分類，取得了顯著的效果。文獻[15]和文獻[16]分別從模型和降維的角度來解決數據集中噪聲和離群點的問題，經過對不同激活函數的深入研究，發現激活函數如果選取不當會導致輸出矩陣的病態問題,因此，本文從激活函數的角度，提出了一種基于角度優化的魯棒極端學習機算法，該算法完整的保持了數據樣本的流行結構，避免數據集中離群點帶來的廣義擾動所產生的誤差，同時進一步降低由噪聲造成的過擬合現象，從而優化了魯棒極端學習機的分類性能。通過不同人臉數據庫的實驗結果證明，本文提出的方法能有效的降低噪聲和離群點的影響，與其他算法相比具有更強的抗噪能力，更能提高分類的準確率。

1 ELM

對于訓練數據集的總樣本數N,每個數據的樣本都可用(xj,tj)這種形式表示，X=(x1,x2,…,xN)T∈RD×N, tj=(tj1,tj2,…,tjm)T∈Rm。通過構建L個隱含層節點數目和一組函數參數βi、ai和bi，其對應的隱含層函數的表達式為:

(1)

在(1)式中，g(ai·xj+bi)是激活函數，ai和bi分別是連接輸入層和隱含層之間第i個節點的權重向量和偏置,βi表示隱含層與輸出層之間第i個節點的權值向量。對(1)式中的所有數據樣本進行整理，可以改寫為如下形式：

(2)

(3)

(4)

其中：H是該神經網絡的隱層輸出矩陣，β是輸出權值矩陣，T是目標輸出矩陣。

在式(2)方程中，若隱層節點個數和訓練樣本個數相同時，即L=N，可以直接求解矩陣H的逆矩陣來得出輸出權值矩陣β。若隱層節點個數遠遠小于互異的訓練樣本個數，即L<

(5)

為了減小結構化風險所帶來的訓練誤差，使ELM具有更好的泛化性能，式(5)經過改進得到的優化方程為：

(6)

式(6)中β是輸出權值矩陣，C為正則化參數，ξi=(ξi1,…,ξ1m)T為相對應的樣本xi的訓練誤差向量。優化的方程通過拉格朗日方法進行求解[19]，可以寫成：

(7)

通過KKT優化約束條件對式(7)進行求解：

(8)

(9)

(10)

當訓練樣本數目遠大于隱層節點數目，將(8)式代入(10)式得到的輸出權值β形式如下：

(11)

由(11)式得ELM的輸出函數如下形式：

(12)

當訓練樣本數目小于隱層節點數目，將(8)和(9)式代入(10)式可得如下式子：

(13)

將式(8)代入式(13)可以得到：

(14)

由式(14)得到的ELM輸出函數為：

(15)

2 魯棒激活函數

文獻[20]指出一個確定的激活函數一定要遵循以下3個性質：

1)g(·)必須是非線性的，如果g(·)是線性的，則3層網絡相當于2層網絡，會導致3層網絡不具有高于2層網絡的學習能力；

2)g(·)具備連續性和光滑性，即和g′(·)在其自變量范圍內有定義；

3)g(·)存在最大值和最小值，由此來限定激活函數和權重的范圍；

1)Sigmoid函數：

(16)

2)Hard-limit函數：

(17)

3)Gaussian函數：

(18)

4)Fourier函數：

(19)

5)Multiquadrics函數：

(20)

在極端學習機算法中，選取合適的激活函數起到了關鍵性的作用，因為連續、有界的激活函數更能逼近連續的目標函數。本文提出的基于角度優化的魯棒激活函數(robustactivationfunction，RAF)，有效避免了噪聲及離群點對激活函數的影響，防止了ELM隱層輸出矩陣求值不準確的問題，因其激活函數的魯棒性可以更好的保持原始數據的結構信息，進而降低了冗余屬性對ELM算法分類性能的影響，算法如下：

temph=ax+b

LIU Yun, QIAN Ying, HUANG Xiao-chun, WAN Yu-xiang, MA Wei, LI Ya-zhou, ZHU Rong-rong, QIN Qin

(21)

(其中a為輸入層的權重向量,x為輸入樣本，b為隱層節點的偏置)

(22)

此時，對于訓練數據總樣本數N中每個輸入樣本(xi,ti)，在含有N個隱層節點的網絡結構中，激活函數是g(x)的模型可以表示為:

(23)

上述式(23)可以寫成矩陣形式：

(24)

(25)

(26)

為了進一步降低由噪聲擾動造成的過擬合現象的出現，此時的ELM可以優化表示為

(27)

直接通過拉格朗日方法對式(27)的優化模型進行求解，因此基于角度優化的魯棒極端學習機算法可總結為如下4個步驟：

1)隨機輸入隱層節點的權值ai和偏置bi；

2)對式(21)樣本進行操作得到temph，然后對進行中心化和單位化, 最后得到式(22)魯棒激活函數；

3)通過得到的魯棒激活函數來計算ELM中隱層輸出矩陣H；

4)計算得出輸出權值β=H+Z,其中Z= (z1,z2,…,zN)T∈RN×M。

3 實驗結果及分析

為了證明本文提出的算法能進一步提高ELM分類性能的能力，將這種基于角度優化的魯棒極端學習機算法分別在Yale和ORL等8個不同的人臉識別數據集上進行測試，并與之相對應的在ELM中應用Sigmoid函數，Hard-limit函數，Gaussian函數進行比較，各個數據庫的識別率曲線如圖2～9所示，不同人臉數據集上的最大和平均識別率如表2所示，本次實驗過程中均設置ELM的隱層節點為200，懲罰參數為C=28。同時，為了更全面的說明本文提出的方法在分類性能上的優越性，以增加該算法性能的說服力，利用PCA降維技術對八個不同人臉數據集進行降維，然后分別作用于Sigmoid函數，Hard-limit函數，Gaussian函數和魯棒激活函數(RAF)上，在PCA降維算法下各個數據庫識別率曲線如圖10～17所示，不同人臉數據集經過PCA算法降維后在ELM上識別率的比較結果如表3所示，本次實驗過程中均設置ELM的隱層節點為200，懲罰參數為C=28，訓練集和測試集分別為總數據樣本的一半。所有實驗都是在Matlab(R2013a)編程環境下執行的，其工作站處理器：Intel(R)Xeon(R)CPUE5-16030 @2.80GHz，安裝內存：8.00GB，系統類型：64位操作系統，版本：win7。八個不同人臉數據集屬性設置如表1所示，不同人臉庫圖像如圖1所示。

表1 數據集描

圖1 不同人臉圖像的訓練集(a) Yale database,(b) Yale B database, (c) ORL database,(d) UMIST database, (e) COIL database,(f) MINST database, (g) USPS database.

從圖2～9的實驗結果中可以看出，相比于Sigmoid函數，

圖2 Yale人臉庫識別率曲線 圖3 ORL人臉庫識別率曲線

圖4 YaleB人臉庫識別率曲線 圖5 UMIST人臉庫識別率曲線

圖6 COIL人臉庫識別率曲線 圖7 USPS人臉庫識別率曲線

圖8 MINST人臉庫識別率曲線 圖9 ISOLET數據庫識別率曲線

圖10 Yale人臉庫在PCA降維 圖11 ORL人臉庫在PCA降維算法下的識別率曲線 算法下的識別率曲線

圖12 YaleB人臉庫在PCA降 圖13 UMIST人臉庫在PCA降 維算法下的識別率曲線 維算法下的識別率曲線

圖14 COIL人臉庫在PCA降 圖15 USPS人臉庫在PCA降 維算法下的識別率曲線 維算法下的識別率曲線

圖16 MINST人臉庫在PCA降 圖17 ISOLET數據庫在PCA降 維算法下的識別率曲線 維算法下的識別率曲線

Hard-limit函數和Gaussian函數在不同的數據集上的測試，本文提出的魯棒激活函數具有較高的識別率，尤其在ORL人臉庫上這種優勢效果更為明顯。從圖3～9可以看出，實驗過程中隨著訓練樣本的不斷增加，Sigmoid函數，Hard-limit函數和RAF函數的識別率都有所增加，但Gaussian函數的識別率相較于其它3個激活函數保持在很低的水平且基本波動不大，由此可以得出在ELM中不適合應用Gaussian激活函數的結論，出現這種現象的原因是當數據的維數較高時，Gaussian函數的隱層節點輸出矩陣會出現等于0的情況，造成分類的準確率急劇下降。而本文提出的算法有效的避免了隱層輸出矩陣病態輸出的問題，抑制了這種現象的發生，從而增強了極端學習機的泛化性能。

表2 不同人臉數據集上的最大和平均識別率(%)比較

表3 不同人臉數據集在PCA降維算法上的最大和平均識別率(%)比較

圖10～17從激活函數角度可以看出，八個不同人臉數據集在在ELM中應用PCA降維算法后，本文提出的魯棒激活函數的識別率曲線明顯高于其他激活函數，從而進一步證明了這種魯棒極端學習機算法具有更強的去噪能力和更強的魯棒性。

由表2～3可以看出，本文提出的算法應用在8個不同數據集上的最大識別率和平均識別率遠高于其他激活函數的識別率，再次驗證了這種魯棒極端學習機算法的有效性。

4 結論

本文基于激活函數角度優化的原則，提出了一種魯棒極端學習機算法，該算法能夠很好的解決傳統ELM方法中數據集易受隱層節點個數，數據的噪聲以及離群點等問題的影響，在一定程度上克服了傳統ELM方法中去噪能力的不足，從而進一步提高了ELM方法性能的穩定性。同時，通過不同的人臉數據集實驗證實了這種算法的有效性，同其他同類算法相比，本文提出的算法具有更強的分類性能，更能提高數據集的準確率。因此，說明本文提出的魯棒極端學習機算法，不但減弱了噪聲等冗余屬性的干擾，有效的避免了隱層輸出矩陣求解不準的問題，而且該算法還具有很強的魯棒性，在很大程度上提高了識別率。

[1]HuangGuangbin,ZhuQinyu,CheeKheongSiew.ExtremeLearningMachine:ANewLearningSchemeofFeedforwardNeuralNetworks[A].InternationalJointConferenceonNeuralNetworks[C].2004,2:985-990.

[2]WangDianhui,HuangGuangbin.ProteinSequenceClassificationUsingExtremeLearningMachine[A].ProceedingsofInternationalJointConferenceonNeuralNetworks[C].2005,3:1406- 1411.

[3]HuangGuangbin,ZhuQiny，CheeKheongSiew,ExtremeLearningMachine:TheoryandApplications[J].Neurocomputing,2006,70:489-501.

[4]HuangGuangbin,ChenLei，CheeKheongSiew,UniversalApproximationUsingIncrementalConstructiveFeedforwardNetworkswithRandomHiddenNodes[J].IEEETransactionsonNeuralNetworks,2006,17(4): 879-892,

[5]TangJ,DengC,HuangG-B.Extremelearningmachineformultilayerperceptron[J].IEEETransNeuralNetwLearnSyst.2015;.doi:10.1109/TNNLS.2015.2424995.

[6]XuJT,ZhouHM,HuangGB.Extremelearningmachinebasedfastobjectrecognition[A].Proceedingsofthe15thIEEEInternationalConferenceonInformationFusion[C].Singapore:IEEE, 2012. 1490-1496.

[7]SoleMM,TsoeuMS.Signlanguagerecognitionusingtheextremelearningmachine[A].Proceedingsofthe2011IEEEAFRICONConference[C].Livingstone,Zambia:IEEE, 2011.1-6.

[8]IosifidisA,TefasA,PitasI.Minimumclassvarianceextremelearningmachineforhumanactionrecognition[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology, 2013,23(11): 1968-1979.

[9]ZongWW,HuangGB,ChenYQ.Weightedextremelearningmachineforimbalancelearning[J].Neurocomputing,2013,101: 229-242.

[10]HuangGB,ZhouHM,DingXJ,ZhangR.Extremelearningmachineforregressionandmulticlassclassification[J].IEEETransactionsonSystems,Man,andCybernetics,PartB:Cybernetics, 2012, 42(2): 513-529.

[11]ZhangX,WangHL.Fixed-memoryextremelearningmachineanditsapplications[J].ControlandDecision, 2012, 27(8): 1206-1210.

[12]LiG，NiuP.Anenhancedextremelearningmachinebasedonridgeregressionforregression[J].NeuralComputingandApplications,2013,22(3 /4): 803-810.

[13]HuangG,SongSJ,GuptaJND,WuC.Semi-supervisedandunsupervisedextremelearningmachines[J].IEEETransactionsonCybernetics, 2014, 44(12): 2405-2417.

[14]LiuB,XiaSX,MengFR,ZhouY.Manifoldregularizedextremelearningmachine[J].NeuralComputingandApplications, 2015,DOI: 10.1007/s00521-014-1777-8.

[15]E.-H.Zheng,J.-Y.Liu,ANewFuzzyExtremeLearningMachineforRegressionProblemswithOutliersorNoises[A]. 9thInternationalConference,ADMA[C].2013,524-534.

[16]W.-W.Zong,G.-B.Huang,Facerecognitionbasedonextremelearningmachine[J].Neurocomputing,2011, 2541-2551.

[17]W.Zhao,R.Chellappa,P.J.Phillips,A.Rosenfeld,Facerecognition:aliteraturesurvey[J].ACMComputingSurveys35 (4) (2003) 399-458.

[18]T.Zhang,D.Tao,J.Yang,Discriminativelocalityalignment[A].ProceedingsoftheTenthEuropeanConferenceonComputerVision(ECCV08)[C].2008: 725-738.

[19]G.-B.Huang,Aninsightintoextremelearningmachines:randomneurons,randomfeaturesandkernels[J].CognComput, 2014, 6: 376-390.

[20]FengLin,LiuShenglan,ZhangJing.Robustactivationfunctionofextremelearningmachineandlineardimensionalityreductioninhigh-dimensionaldata[J].JournalofComputerResearchandDevelopment,2014,51(6):1131-1140.

[21]G.-B.Huang,Aninsightintoextremelearningmachines:randomneurons,randomfeaturesandkernels[J].CognComput, 2014, 6: 376-390.

Algorithm of Robust Extreme Learning Machine Based on Angle Optimization

Wei Di, Liu Deshan, Chu Yonghe, Yan Deqin

(School of Computer and Information Technology, Liaoning Normal University, Dalian 116081, China)

Due to its fast learning and generalization performance, etc, extreme learning machine has become the mainstream of research in today's field of pattern recognition. However, owing to the poor stability of the algorithm, the data set often vulnerable to noise, causing the classification results are not very significant in the practical application. Therefore, in order to improve the accuracy of classification of extreme learning machine, aiming at to solve the problem of noise and outliers in the data set samples, a robust extreme learning machine algorithm is presented based on angle optimization. This method using the principle of the robust activation function of angle optimization, firstly, reduces the impact of outliers on the classification algorithm to maintain the overall structure information of data set samples to achieve better denoising effect. Secondly, it can also effectively avoid the question which is the inaccurate solving of hidden nodes output matrix, and further enhance the generalization performance of extreme learning machine. The experimental results of the application of universal image database show that the proposed algorithm compared with other algorithms has better robustness and higher recognition rate.

extreme learning machine; robust activation function; angle optimization

2016-07-29；

2016-09-13。

國家自然基金(61105085; 61373127)。

魏 迪 (1993-)，女，碩士研究生，主要從事模式識別、機器學習方向的研究。

1671-4598(2017)01-0198-06

10.16526/j.cnki.11-4762/tp.2017.01.056

TP18

A

劉德山 (1970-)，男，副教授，碩士生導師，主要從事數據挖掘、智能信息處理的研究。

閆德勤 (1962-)，男，教授，碩士生導師，主要從事模式識別、機器學習方向的研究。