基于微分同胚優化極端學習機的人臉識別

李麗娜 閆德勤 楚永賀

(遼寧師范大學計算機與信息技術學院 遼寧 大連 116081)

基于微分同胚優化極端學習機的人臉識別

李麗娜 閆德勤 楚永賀

(遼寧師范大學計算機與信息技術學院 遼寧 大連 116081)

極端學習機(ELM)以其快速高效和良好的泛化能力在模式識別領域得到了廣泛應用。然而當前的ELM及其改進算法并沒有充分考慮到隱層節點輸出矩陣對極端學習機泛化能力的影響。通過實驗發現激活函數選取不當及數據維數過高將導致隱層節點輸出值趨于零，使得輸出權值矩陣求解不準，降低ELM的分類性能。為此，提出一種微分同胚優化的極端學習機算法。該算法結合降維和微分同胚技術提高激活函數的魯棒性，克服隱層節點輸出值趨于零的問題。為驗證所提算法的有效性使用人臉數據進行實驗。實驗結果表明所提算法具有良好的泛化性能。

極端學習機 激活函數 微分同胚

0 引 言

近來Huang等人[1-3]基于單隱層前饋神經網絡SLFNs結構提出了一種極端學習機ELM算法[4]。與現有的神經網絡算法相比，ELM隨機產生隱層節點的輸入權值和偏置值，在所有的參數中僅有輸出權值是經過分析確定，通過平方損失誤差函數將求解輸出權值轉化為最小二乘解問題。文獻[5-7]通過分析指出ELM在隨機產生隱層節點的輸入權值和偏置值，分析確定輸出權值保持了SLFNs的通用逼近能力。與基于梯度思想的方法相比，ELM具有更高的效率和更好的泛化能力[8-10]，與支持向量機SVM的二次規劃問題相比ELM采用最小二乘解具有非常快的求解速度。實際的研究中已經證實ELM與SVM及其改進相比具有更好的泛化能力[11-12]。在過去的十幾年里ELM在理論和應用方面都得到了長足的發展，文獻[13]進一步證實了ELM的通用逼近能力。文獻[14]在統計學習理論框架下進一步探究了ELM的泛化能力，對于具體問題的特殊需求已在ELM算法的基礎上提出了各種改進，例如將ELM應用于在線連續數據學習[15-17]、不平衡數據學習[18]、噪音及缺失數據[19-20]和人臉識別[21]問題等。除了ELM可以應用到傳統的回歸和分類問題中，近年來研究者已將ELM應用于聚類[22]、特征提取[23]和表征學習中[24]。

雖然ELM在模式識別和機器學習領域得到了廣泛的應用，但該算法并沒有充分考慮到隱層節點輸出矩陣對極端學習機分類性能和泛化能力的影響，文獻[25]通過分析指出，當隱層節點輸出矩陣存在不適定問題時(隱層節點輸出值包含非常多的零元素)，將導致輸出權值矩陣求解不準，造成過擬合的現象，從而影響ELM的分類性能和泛化能力。隱層節點輸出矩陣存在不適定問題的主要原因是由于激活函數選取不當及數據樣本維數過高。通過實驗發現數據樣本維數較高時，若利用Sigmoid函數和高斯函數作為激活函數處理人臉數據，隱層節點輸出矩陣將會包含非常多接近零的元素，導致輸出權值矩陣求解不準，降低ELM的分類性能和泛化能力。為了解決激活函數導致隱層節點輸出矩陣的病態問題，本文在Sigmoid函數的基礎上提出一種微分同胚優化及魯棒激活函數DRAF(Diffeomorphic optimized robust activation function)的極端學習機算法(簡稱為DRAFELM)。該算法結合微分同胚技術提高激活函數的魯棒性，利用降維技術消除數據樣本包含的冗余屬性對激活函數的影響，同時利用微分同胚優化激活函數有效避免隱層節點輸出矩陣存在不適定問題；利用改進的降維方法獲取數據的局部和全局信息，進而提高ELM的泛化能力。

本文所提的算法改進包括：

(1) 所提出的激活函數(DRAF)將Sigmoid激活函數中的輸入權值及隱層節點偏置值與數據樣本間的計算關系轉化為余弦度量，進而將這種余弦度量關系映射到微分同胚空間。微分同胚空間能夠很好地保持數據樣本之間的內在流形特征，有效避免數據樣本維數過高以及數據樣本含有的噪音和離群點對Sigmoid激活函數的影響，提高ELM的泛化性能。

(2) 提出一種有監督稀疏排列的局部保持投影降維算法SSLPP(surprised sparse locality preserving projections)。SSLPP通過計算數據的鄰域信息動態確定數據局部線性化鄰域范圍，準確獲取數據的全局和局部的判別信息。該方法克服了傳統降維算法對數據樣本學習不充分的問題，能有效消除數據樣本包含的冗余屬性對激活函數的影響，進而可以有效避免隱層節點輸出矩陣的不適定問題。

為驗證所提算法的有效性，實驗使用Yale、Yale B、ORL、UMIST人臉數據，結果表明本文的改進算法能夠顯著提高ELM的分類性能和泛化能力。

1 激活函數相關問題分析

文獻[26]指出非線性分段連續函數作為激活函數常用的有以下幾種。

(1) Sigmoid函數：

(1)

(2) Hard-limit函數：

(2)

(3) Gaussian函數：

G(a,b,x)=exp(-b‖x-a‖2)

(3)

由式(1)-式(3)可知，上述三種激活函數的界為[0,1]，對于任意數據樣本x不可避免地出現隱層節點輸出值為零的情況，只有當數據分布近似滿足所選定的激活函數分布時，ELM應用相應的激活函數才能夠取得良好的效果；反之，激活函數的輸出值會非常小，即隱層節點輸出矩陣含有很多接近零的元素，當數據樣本維數過高時上述情況將會更加嚴重。

由以上分析可知Sigmoid函數、Hard-limit函數、Gaussian函數都有可能使隱層矩陣輸出值為零，下面通過例子說明上述情況。

圖1 樣本A在激活函數下的輸出值分布

圖2 樣本B在激活函數下的輸出值分布

由圖1和圖2可以看出對于均勻分布的數據樣本A和B，Sigmoid函數、Hard-limit函數、Gaussian函數都在不同程度上出現了激活函數輸出值為零的情況，由圖中(b)可以看出上述情況更加嚴重，這將會導致隱層節點輸出矩陣出現病態問題，從而使輸出權值過大，出現過擬合學習。DRAF的值維持在(0.2,0.75)，很好地避免了隱層節點輸出矩陣出現病態問題。

2 ELM及微分同胚優化及魯棒激活函數的極端學習機(DRAFELM)

2.1ELM基本概念

對于N個不同的樣本(xj,tj)，可表示為X=(x1,x2,…,xN)T∈RD×N，其中tj=(tj1,tj2,…,tjm)T∈Rm，具有L個隱層節點激活函數為g(x)的ELM模型如下形式:

(4)

其中j=1,2,…,N，ai=(ai1,ai2,…,ain)為連接第i個隱層節點與輸入節點的輸入權值向量，βi=(βi1,βi2,…,βim)為連接第i個隱層節點與輸出節點的輸出權值向量，bi為第i個隱層節點的偏置值，ai·xj表示ai和xj的內積，tj=(tj1,tj2,…,tjm)T∈Rm為對應于樣本xj的期望輸出向量，對所有數據樣本進行整合，式(4)可以改寫為如下形式：

Hβ=T

(5)

其中H是網絡隱層節點輸出矩陣，β為輸出權值矩陣，T為期望輸出矩陣：

(6)

(7)

當隱層節點個數和訓練樣本個數相同時(即L=N)我們可以通過式(5)直接求矩陣H的逆矩陣得到最優的輸出權值矩陣β，但大多情況下隱層節點的個數遠小于訓練樣本的個數，此時矩陣H為奇異矩陣，我們利用最小二乘解的方法對式(5)進行求解：

(8)

其中H+為矩陣H的廣義逆。

(9)

式中，ξi=(ξi1,…,ξ1m)T為對應于樣本xi的訓練誤差向量，C為懲罰參數。式(9)的求解可通過拉格朗日方法轉化為無條件最優化問題進行求解。因此ELM算法求解過程可總結步驟如下：

(1) 初始化訓練樣本集；

(2) 隨機指定網絡輸入權值a和偏置值b；

(3) 通過激活函數計算隱層節點輸出矩陣H；

2.2 微分同胚優化及魯棒激活函數的極端學習機(DRAFELM)

及時清除溫室內病蟲害的葉片、果實，減少病蟲害發生的污染源，并將之深埋或燒毀。同時對相應區域及時滅菌與消毒，主要包含棚架、栽培器材以及土壤等。

2.2.1DRAF的提出

為了使激活函數對數據樣本維數過高及噪音具有更強的抗干擾能力，避免隱層節點輸出矩陣輸出值為零，提高ELM的泛化性能，本文在Sigmoid的基礎上提出一種基于微分同胚思想的魯棒激活函數(DRAF)。

微分同胚[27]是建立在李群上的一個空間。李群空間具有光滑流形和群的特點。李群與李代數具有對應關系。李代數是一種代數結構，李群在單位元e處的切空間是李代數的向量空間。李群在單位元附近的局部性狀由李代數刻畫，在指數映射作用下可以將李代數的性質提升到李群的層次。指數映射exp(·)是一個從李代數g中0的鄰域到李群G中單位元e的鄰域的微分同胚。設e1,e2,…,en是單位元e處切空間D(G)的一組基在局部坐標系中對t∈G鄰域中的任意元素x，存在一個切空間的向量μ=∑iμiei∈De(G)，使得x=t·exp(μ)。于是李群G上某一光滑函數在x處的泰勒展開式為：

(10)

微分同胚將隱層節點輸出矩陣映射到同胚空間能夠很好地保持數據的流形信息，因此基于微分同胚思想的魯棒激活函數形式如下：

temph=ax+b

(11)

(a為輸入權值,b為隱層節點偏置值,x為輸入樣本)

(12)

將I代入式(10)可得：

f(I) =f[t·exp(u)]

2.2.2 構造新的降維算法

現實中很多數據樣本具有較高的維數，高維數據包含的冗余屬性減弱了激活函數的魯棒性，從而導致隱層節點輸出矩陣的不適定問題。為此，本文提出一種有監督稀疏排列的局部保持投影降維算法。

對于稀疏的人臉圖像數據樣本集，樣本間重疊的信息量非常少，若利用傳統降維算法學習稀疏樣本集，則會導致欠學習的現象。為此，通過擴大k鄰域為k-N(i)區域對原始數據集進行區域信息加強，如圖3所示，k-N(xi)區域為N(xi)及其對應的k近鄰點構成，這使得在數據樣本集較少的情況下，同樣能夠實現重疊信息量非常充分的流形學習效果，進而實現流形學習算法對人臉圖像數據判別信息的有效提取。通過全局優化的方法對N(xi)及其對應的k近鄰點構成的信息域進行優化。

圖3 以xi為中心的k-N(i)域

希望k-N(i)鄰域降維后樣本的鄰域關系盡可能保持不變，則第i個樣本鄰域最小化目標函數為：

(13)

(14)

式中，c為所有樣本的類別總數，uT為投影變換矩陣。依據文獻[28]對局部保持投影算法LPP(localitypreservingprojection)推導過程，對式(14)進行整理得：

(15)

其中Yi=[yi1,…,yik]，el=[1,…,1]T,Il∈Rl×l的單位矩陣，L為拉普拉斯矩陣。有監督稀疏排列的局部保持投影降維算法SSLPP(surprisedsparselocalitypreservingprojections)保持了LPP[29]算法原有的框架，因此優化條件可寫為：

minε(u)=tr(uTXLXTu)s.t. uTXDXTu=I

(16)

其中Dii=∑jwij利用拉格朗日乘子法對式(16)進行求解可得：

XLXTu=λXDXTu

(17)

對矩陣XLXT和XDXT進行特征值分解，得到特征向量矩陣為U=[u1,u2,…,uN]。從特征向量矩陣中選取的第2到第d+1個最小特征值對應的特征向量，即：[u2,u3,…,ud+1]T，則由y=uTx得到SSLPP算法。

2.2.3DRAFELM算法

微分同胚優化及魯棒激活函數的極端學習機DRAFELM算法的步驟如下：

(1) 初始化訓練樣本集，利用式(17)對數據集進行降維，得到數據集的低維表示Y；

(2) 隨機指定網絡輸入權值a和偏置值b；

(3) 利用DRAF計算ELM的隱層輸出矩陣H；

(4) 計算輸出權值β。

3 實驗結果及分析

為了驗證本文方法的有效性，本文從兩方面進行實驗，一方面采用激活函數Gaussian，Sigmoid，Hard-limit，DRAF與三種降維算法SSLPP、PCA[30]、LPP[29]和LPANMM[31]結合在人臉數據集上進行對比實驗，將本文提出的魯棒激活函數DRAF與Gaussian、Sigmoid和Hard-limit函數進行對比，其次將本文提出的降維算法SSLPP與PCA、LPP和LPANMM進行對比。另一方面從ELM算法的角度，將本文提出的DRAFELM算法與ELM、MCVELM[32]、GELM[21](均采用激活函數Sigmoid)進行對比實驗。為了實驗的公平性，本次實驗中四種不同ELM算法的隱層節點均設置為200，懲罰參數設置為C=25。所用電腦為惠普工作站，處理器：Intel(R)Xeon(R)CPUE5-1603 0 @2.80GHz，內存：8.00GB，操作系統：MicrosoftWindows7(64位)。所使用的不同人臉庫圖像如圖4所示，4個不同人臉數據庫在人臉識別實驗中的參數設置如表1所示。

圖4 不同人臉圖像的訓練集

DatasetsDimSamplessamples/subjectClassesYale10241651115YaleB102424145538ORL10244001040UMIST103045791820

3.1 不同激活函數及不同降維算法的比較

本節中分別采用Sigmoid，Hard-limit，Gaussian，DRAF激活函數函數應用于3個不同人臉數據庫，并且進一步對比了LPP，PCA及LPANMM與SSLPP降維算法降至不同維度的識別率，識別率曲線如圖5-圖7所示及識別率如表2所示。(實驗中ELM算法的隱層節點個數設置為200，懲罰參數設置為C=25。訓練集和測試集分別為總數據樣本的1/2)。

圖5 ORL人臉數據識別率曲線

圖6 UMIST人臉數據識別率曲線

圖7 Yale人臉數據識別率曲線

DatasetActivationFunctionLPPPCALPANMMSSLPPORLGaussian35.40±7.2043.30±9.5426.65±6.2691.65±4.37Sigmoid35.60±11.0353.30±4.7546.20±8.5297.25±1.06Hard-limit22.60±4.0552.00±4.0748.85±7.6097.30±1.06DRAF36.95±11.9285.00±4.6974.40±13.35100.00±0.00UMISTGaussian64.34±9.1851.44±10.7845.67±15.3885.33±3.51Sigmoid58.94±11.8282.61±2.8376.33±4.8693.39±1.95Hard-limit58.17±11.1279.67±3.3376.33±5.1292.94±1.78DRAF63.28±14.7184.66±2.3479.72±3.7097.89±0.94YaleGaussian27.60±5.3040.27±6.9432.93±7.7598.40±1.05Sigmoid19.60±7.0844.53±5.1939.87±6.5597.07±1.23Hard-limit18.00±2.9743.47±6.7840.53±3.9996.27±1.05DRAF29.07±6.1855.60±6.4151.73±5.2598.80±1.17

圖5-圖7給出了分別采用Gaussian、Sigmoid、Hard-limit和DRAF激活函數，與SSLPP、LPP、PCA和LPANMM三種降維算法結合在ORL、UMIST和Yale人臉數據集的識別率曲線。從激活函數角度由圖5-圖7可以看出DRAF的識別率曲線顯著高于其他激活函數的識別率曲線，從而可以證實DRAF的魯棒性。由圖5-圖7還可以看出Sigmoid和Hard-limit激活函數的識別率曲線比較接近，在PCA和LPANMM降維識別率曲線中可以看出隨著數據維數的增大，Gaussian函數的識別率曲線出現下降的趨勢，這也驗證了對于維數過高的數據樣本在激活函數選取不當的情況下導致隱層節點輸出矩陣出現病態問題。從降維的角度，圖5-圖7可以看出本文所提降維算法的識別率曲線遠高于LPP、PCA和LPANMM降維算法的識別率曲線。這主要是由于SSLPP通過計算人臉圖像數據的鄰域信息動態確定人臉圖像數據局部線性化鄰域范圍，準確獲取人臉圖像數據的全局和局部的判別信息。因此，克服了傳統降維算法對數據樣本學習不充分的問題，有效消除數據樣本包含的冗余屬性對激活函數的影響，避免了隱層節點輸出矩陣的不適定問題，從而提高了ELM的分類性能和泛化性能。表2給出了ORL、UMIST和Yale人臉數據集的識別率，從表2可以看出DRAF的識別率普遍高于其他激活函數的識別率并且SSLPP的識別率高于PCA和LPANMM降維算法的識別率。

3.2 DRAFELM與ELM及其改進算法比較

實驗將DRAFELM與ELM、MCVELM[32]和GELM[21]進行對比。ELM、MCVELM和GELM均采用Sigmoid函數作為激活函數，實驗使用Yale、Yale B、ORL和UMIST人臉數據，實驗結果如圖8及表3所示(為了實驗的公平性，實驗中不同ELM算法的隱層節點個數設置為200，懲罰參數設置為C=25，圖8中TrainNum表示訓練樣本個數)。

圖8 ELM,MCVELM,GELM, DRAFELM識別率曲線

DatasetELMMCVELMGELMDRAFELMMaxAverageMaxAverageMaxAverageMaxAverageORL65.0042.8987.5066.5787.5071.4499.1793.54UMIST85.0073.0790.0078.7790.0077.5693.5787.79Yale40.0029.2566.6754.2664.0046.2486.6771.22YaleB74.7453.8896.8483.5396.3285.4196.3288.78

圖8和表3給出了ELM及其改進算法在ORL、UMIST、Yale和Yale B人臉數據集的識別率曲線及識別率，從圖8和表3可以看出DRAFELM的識別率顯著高于其他算法的識別率，進一步驗證了本文算法DRAFELM的魯棒性。

4 結 語

為了有效避免隱層節點輸出矩陣的病態問題，本文提出一種微分同胚優化的魯棒激活函數的極端學習機算法。本文的創新是考慮到當激活函數選取不當及數據樣本維數過高將導致隱層節點輸出值趨于零，使得輸出權值矩陣求解不準，造成過擬合的現象，因此在Sigmoid函數的基礎上提出一種微分同胚優化的魯棒激活函數。DRAF將Sigmoid激活函數中的輸入權值及隱層節點偏置值與數據樣本間的計算關系轉化為余弦度量，進而將這種余弦度量關系映射到微分同胚空間。為了解決數據樣本維數過高將導致隱層節點輸出值趨于零的問題，提出一種有監督稀疏排列的局部保持投影降維算法。通過計算數據的鄰域信息動態確定數據局部線性化鄰域范圍，準確獲取人臉圖像數據的全局和局部的判別信息。通過實驗結果表明，本文所提出的方法顯著提高了極端學習機的分類性能和泛化能力并且優于其他算法。

[1] Feng G,Huang G B,Lin Q.Error minimized extreme learning machine with growth of hidden nodes and incremental learning[J].IEEE Transactions on Neural Networks,2009,20(8):1352-1357.

[2] Tang J,Deng C,Huang G B.Extreme learning machine for multilayer perceptron[J].IEEE Transactions on Neural Networks and Learning Systems,2015(99):1-13.

[3] Huang G B,Zhou H M,Ding X J,et al.Extreme learning machine for regression and multiclass classification[J].IEEE Transactions on Systems,Man,and Cybernetics,Part B:Cybernetics,2012,42(2):513-529.

[4] Rajesh R,Prakash J S.Extreme learning machines-A Review and State-of-the-art[J].International Journal of Wisdom based Computing,2011,1:35-49.

[5] Huang G B,Chen L,Siew C K.Universal approximation using incremental constructive feedforward networks with random hidden nodes[J].IEEE Trans.Neural Netw.,2006,17(4):879-892.

[6] Huang G B,Chen Y Q,Babri H A.Classification ability of single hidden layer feedforward neural networks[J].IEEE Trans.Neural Netw.,2000,11(3):799-801.

[7] Zhang R,Lan Y,Huang G B,et al.Universal approximation of extreme learning machine with adaptive growth of hidden nodes[J].IEEE Trans.Neural Netw.Learn.Syst.,2012,23(2):365-371.

[8] Wang Y,Cao F,Yuan Y.A study on effectiveness of extreme learning machine[J].Neurocomputing,2011,74(16):2483-2490.

[9] Wang X,Chen A,Feng H.Upper integral network with extreme learning mechanism[J].Neurocomputing,2011,74(16):2520-2525.

[10] Shi L C,Lu B L.EEG-based vigilance estimation using extreme learning machines[J].Neurocomputing,2013,102:135-143.

[11] FernándezDelgado M,Cernadas E,Barro S,et al.Direct kernel perceptron (DKP):Ultra-fast kernel ELM-based classification with noniterative closed-form weight calculation[J].Neural Networks,2014,50:60-71.

[12] Huang G,Song S J.Semi-supervised and unsupervised extreme learning machines[J].IEEE Transactions on Cybernetics,2014,44(12):2405-2417.

[13] Huang G B,Zhou H M,Ding X J,et al.Extreme learning machine for regression and multiclass classification[J].IEEE Transactions on Systems,Man,and Cybernetics,Part B:Cybernetics,2012,42(2):513-529.

[14] Liu X Y,Gao C H,Li P.A comparative analysis of support vector machines and extreme learning machines[J].Neural Netw.,2012,33:58-66.

[15] Zhao J W,Wang Z H,Park D S.Online sequential extreme learning machine with forgetting mechanism[J].Neurocomputing,2012,87:79-89.

[16] Rong H J,Huang G B,Sundararajan N,et al.Online sequential fuzzy extreme learning machine for function approximation and classification problems[J].IEEE Transactions on Systems, Man, and Cybernetics, Part B: Cybernetics,2009,39(4):1067-1072.

[17] Liang N Y,Huang G B,Saratchandran P,et al.A fast and accurate online sequential learning algorithm for feedforward networks[J].IEEE Transactions on Neural Networks,2006,17(6):1411-1423.

[18] Zong W W,Huang G B,Chen Y.Weighted extreme learning machine for imbalance learning[J].Neurocomputing,2013,101:229-242.

[19] Yu Q,Miche Y,Eirola E,et al.Regularized extreme learning machine for regression with missing data[J].Neurocomputing,2013,102:45-51.

[20] Man Z H,Wang D H,Cao Z W,et al.Robust single-hidden layer feedforward network-based pattern classifier[J].IEEE Transactions on Neural Networks and Learning Systems,2012,23(12):1974-1986.

[21] Peng Y,Lu B L.Discriminative graph regularized extreme learning machine and its application to face recognition[J].Neurocomputing,2015,149:340-353.

[22] Huang G,Song S J.Semi-supervised and unsupervised extreme learning machines[J].IEEE Transactions on Cybernetics,2014,44(12):2405-2417.

[23] Benoit F,van Heeswijk M,Miche Y,et al.Feature selection for nonlinear models with extreme learning machines[J].Neurocomputing,2013,102:111-124.

[24] Kasun L L C,Huang G B,Zhou H M.Representational learning with ELMs for big data[J].IEEE Intelligent Systems,2013,28(5):31-34.

[25] 韓敏,李德才.基于替代函數及貝葉斯框架的1范數ELM算法[J].自動化學報,2011,37(11):1345-1350.

[26] Huang G B.An insight into extreme learning machines:random neurons,random features and kernels[J].Cogn Comput,2014,6:376-390.

[27] 徐挺,劉偉,李傳富,等.基于Demons的微分同胚非剛性配準研究[J].北京生物醫學工程,2009,29(1):50-52.

[28] Zhang T H,Tao D H.Patch Alignment for Dimensionality Reduction[J].IEEE Transactions On Knowledge and Data Engineering,2009,21(9):1299-1313.

[29] He X F,Niyogi P.Locality preserving projections[C].Advances in neural information processing systems,2004:153-160.

[30] Zong W W,Huang G B.Face recognition based on extreme learning machine[J].Neurocomputing,2011,74:2541-2551.

[31] Chen X M,Liu W Q,Lai J H.Face recognition via local preserving average neighborhood margin maximization and extreme learning machine[J].Soft Comput,2012,16:1515-1523.

[32] Iosifidis A,Tefas A.Minimum Class Variance Extreme learning machine for Human Action Recognition[J].IEEE Transactions on Circuits and Systems for Video Technology,2013,23(11):1968-1979.

FACE RECOGNITION USING OPTIMIZED EXTREME LEARNING MACHINE BASED ON DIFFEOMORPHISM

Li Li’na Yan Deqin Chu Yonghe

(SchoolofComputerandInformationTechnology,LiaoningNormalUniversity,Dalian116081,Liaoning,China)

Extreme learning machine (ELM) has been widely applied in the field of pattern recognition for its efficient and good generalization ability. However, the current ELM and its improved algorithm have not considered the effect of hidden layer nodes’ output matrix on the generalization ability of extreme learning machine. Through experiments we find that when the activation function is improperly selected and the data sample dimension is too high, it will result in output value of hidden layer node tending to zero. It comes to make the solution of output weight matrix inaccurate and reduce the classification performance of ELM. In order to solve these problems, an optimized extreme learning machine algorithm based on diffeomorphism is proposed. The algorithm combines techniques of diffeomorphism and dimensionality reduction to improve the robustness of activation functions and overcome the problem that the output value of hidden layer nodes tends to zero. In order to evaluate the validity of the proposed algorithm, face data is used to implement experiments. Experimental results show that the proposed algorithm has a good generalization performance.

Extreme learning machine Activation function Diffeomorphism

2016-03-22。國家自然科學基金項目(61105085，61373127)。李麗娜，碩士生，主研領域：數據降維，機器學習。閆德勤，教授。楚永賀，碩士生。

TP18

A

10.3969/j.issn.1000-386x.2017.04.029