基于隱藏層輸出矩陣的極限學習機算法優化

孫浩藝，王傳美，丁義明

（武漢理工大學理學院，武漢 430070）

（*通信作者電子郵箱wchuanmei@163.com）

0 引言

極限學習機（Extreme Learning Machine，ELM）是在2004年由新加坡南洋理工大學教授黃廣斌提出的一種全新單隱藏層前饋神經網（Single-hidden Layer Feedforward Neural Network，SLFN）［1］，極限學習機的網絡模型分為三層，即輸入層、隱藏層和輸出層。輸入層實現了接收外部環境的輸入變量的功能；隱藏層內有激活函數主要用于實現計算、識別等功能；輸出層則用于輸出結果。ELM 從理論上證明了當SLFN的隱藏層激活函數無限可微時，其學習能力與輸入權重和偏置等參數選取無關，即可以隨機選擇輸入層權重和偏置［2］，無需反向調節參數。極限學習機屬于一次完成型算法，能夠以極快的學習速度達到較好的泛化性能，從而解決了傳統神經網絡學習速度緩慢的限制，拓寬了極限學習機的應用范圍［3］。

ELM 算法自提出就以結構簡單、學習速度快和具有良好的泛化性能著稱。對ELM 算法的改進研究，主要圍繞超限學習機的誤差、泛化性和穩定性，包括對訓練數據進行預處理，輸入層權重與偏置的確定，隱藏層神經元的個數及顯隱性表達，激活函數的選擇等。

在數據預處理方面，對于有噪聲的或丟失的數據，Man等［4］提出了對噪聲數據性能的極限學習機FIR-ELM（Finite Impulse Response ELM）模型，其中輸入權值是基于有限脈沖響應濾波器分配的，將隱藏層作為預處理層，增強了模型的魯棒性。Yu 等［5］研究了缺失數據的ELM 回歸問題，提出了一種Tikhonov 正則化最優剪枝極限學習機TROP-ELM（Tikhonov Regularization Optimally Pruned ELM），缺失值由傳統均值替換，再采用高斯函數從輸入的數據中隨機選取中心，計算距離矩陣來得到隱藏層輸出矩陣，從而處理缺失數據問題。

為了提高ELM 的網絡結構的緊湊性，其中一種想法是以動態方式訓練ELM，即在訓練過程中生長、修剪或替換隱藏的神經元。Huang等［6］提出的增量ELM（Incremental ELM，I-ELM），可以從候選池中選擇新添加的隱藏神經元，并且僅添加適當的神經元。Yang 等［7］提出了雙向ELM（Bidirectional ELM，B-ELM）的快速增量ELM，以降低傳統ELM 的網絡規模。Zhang 等［8］提出了自適應ELM（Adaptive Growth ELM，AG-ELM）中，隱藏層的大小可能會在訓練過程的任何步驟中增加、減少或保持不變。隨后Deng 等［9］提出的兩階段ELM 算法即將ELM 和留一法（Leave-One-Out，LOO）交叉驗證與逐步構建過程集成在一起，該過程可以自動確定網絡的大小，并提高了由ELM構建的模型的緊湊性。

為了提高ELM 中輸出權值的穩定性。Wang 等［10］證明，對于某些激活函數（如徑向基函數（Radial Basis Function，RBF）），總會存在輸入權重，使得映射矩陣H屬于全列秩或全行秩，于是提出了一種有效的輸入權重選擇算法來代替ELM中的隨機特征映射，從而提高了輸出權重求解的穩定性。Yuan 等［11］基于H的條件以不同的方式求解輸出權重：列滿秩、行滿秩、列和行都不是滿秩的。這樣與傳統的ELM 相比，以更穩定的方式計算輸出權重。綜上對ELM 的改進，都與輸出矩陣H相關，數據預處理相關的輸入X、輸入權重wi和偏置bi，在經過隱藏層后為H的列，神經元節點數即為H的行，輸出權重的求解也與H相關，說明了挑選和改進輸出矩陣H的必要性。

本文基于ELM 算法中隱藏層到輸出層存在的誤差，細致地分析了ELM 誤差，發現誤差來源于隱藏層輸出矩陣求解廣義逆矩陣的過程。為了進一步縮小算法誤差，探尋與算法誤差相關的合適目標矩陣和穩定指標，通過實驗確定了目標矩陣H?H的L21 范數與ELM 的誤差呈線性相關，根據此現象引入Gaussian濾波對目標矩陣進行降噪處理，使目標矩陣的L21范數改變，來達到優化ELM算法的目的。

1 相關工作

1.1 極限學習機

極限學習機是一種單隱藏層前饋神經網絡（SLFN），由輸入層、隱藏層和輸出層組成，且由于輸入權重和偏差的隨機性，隱藏層到輸出層為線性輸出，相較于SLFN 不存在輸出偏置，故極限學習機的結構如圖1所示。

圖1 極限學習機網絡結構Fig.1 Structure of ELM network

對于N個任意不同的樣本(xi，ti)∈Rn× Rm，具有L個隱藏節點和激活函數g(x)的SLFN在數學上模型為：

其中：wi=[wi1，wi2，…，win]T是連接第i個隱藏節點和輸入節點的輸入權值；βi=[βi1，βi2，…，βim]是連接第i個隱藏節點與輸出節點的輸出權值；bi為第i個隱藏節點的偏置。

當β=[β1，β2，…，βL]T，T=[t1，t2，…，tN]T和

則式（2）可以簡化為：

其中：H稱為神經網絡的隱藏層輸出矩陣。因為在ELM中，當激活函數g(x)無限可微時，輸入權重wi和偏置bi可以被隨機確定［1］。此時ELM的優化模型如下：

1.2 Moore-Penrose廣義逆矩陣

對于任意一個m×n矩陣A，若存在n×m矩陣G滿足下列Moore-Penrose方程：

則稱G為A的Moore-Penrose 廣義逆矩陣，記為A?。其中A*表示A的轉置共軛矩陣。

1.3 矩陣的范數

矩陣的范數，是將一定的矩陣空間建立為賦范向量空間時為矩陣裝備的范數。矩陣的范數能反映矩陣的某一種數值特征，故根據定義的不同，存在L1 范數、F 范數（L2 范數）、列和范數、核范數、L21范數、L12范數等［12］。

L1 范數為矩陣所有元素的絕對值之和，能夠描述該矩陣的稀疏性，定義為：

F 范數（L2 范數）為矩陣的歐氏范數，即矩陣所有元素的平方和的算術平方根，定義為：

列和范數（1-范數）是將矩陣每列取絕對值求和，然后選出數值最大的那個值，定義為：

核范數是矩陣奇異值的和，定義為：

L21 范數定義為，對于矩陣W，先求每一行向量的2-范數（即每個元素的平方和再開平方根），再對生成的列向量求其1-范數（即各元素的絕對值之和），故公式為：

L12 范數同L21 范數的思想，對于矩陣W，先求每一列向量的1-范數，再對生成的行向量求其2-范數，故公式為：

1.4 Gaussian濾波

Gaussian 濾波是一種線性平滑濾波，適用于消除高斯噪聲，廣泛應用于圖像處理的減噪過程。Gaussian 濾波就是對數據矩陣整體進行加權平均的過程，每一個元素，都由其本身和鄰域內的其他元素值經過加權平均后得到［13］下面的二維高斯分布：

2 基于隱藏層輸出矩陣的ELM優化

2.1 算法優化流程

ELM 算法流程是訓練集輸入為X和輸出為T時，在激活函數g(x)無限可微的前提下，可隨機地確定輸入權重w和偏置b，產生相對應的隱藏層輸出矩陣H，經過輸出權重β得到對應輸出值，故在訓練集中，每完成一次ELM 算法，就會產生一組參數X、T、w、b、H、β和ε，且一一對應，故進行N次ELM訓練后，可由誤差這一指標得到N次實驗中最優的一組ELM參數。

在分析ELM 算法誤差ε時，發現式（4）可以進一步簡化為：

其中：E為單位矩陣。由式（16）知ELM 算法的誤差來源于輸出矩陣H及廣義逆矩陣Η?，而且在ELM中訓練集的大小遠大于隱藏層神經元節點數，故H為奇異矩陣，只存在廣義逆。故推斷ELM 算法的誤差來源于生成隱藏層輸出矩陣的廣義逆矩陣Η?的過程。式（16）也表明在同一個訓練集時，誤差即為矩陣H?H到單位矩陣的距離。根據此距離的大小可挑選出對應訓練誤差小的輸出矩陣H，需要一個指標來衡量矩陣H?H到單位矩陣的距離，即需確定一個目標矩陣和指標來建立與ELM 誤差的關系。根據此發現，設計了如圖2 所示的ELM算法優化流程。

圖2 ELM算法優化流程Fig.2 Optimization flowchart of ELM algorithm

2.2 算法步驟

基于ELM算法的優化流程，設計實驗步驟如下：

步驟1 分析誤差與輸出矩陣H的關系。如式（16）所示，ε誤差和輔助矩陣H?H與單位矩陣的距離大小相關。

步驟2 探尋合適的目標矩陣。在觀察輔助矩陣H?H到單位矩陣的距離時，由Moore-Penrose 廣義逆矩陣的定義［13］得H?H=H?HH?H=H?HH?HH?H=…，目標矩陣可能為H?H，H?H的平方或者H?H的開方。選擇和(H?H)2、(H?H)3、(H?H)5、(H?H)7共9個備選目標矩陣。

步驟3 確定穩定的指標。在觀察目標矩陣到單位矩陣的距離時，即要求目標矩陣的對角線元素接近于1，其他元素接近0，故引入范數這一指標來探尋與誤差的存在的關系，包括L1范數、F范數（L2范數）、列和范數、核范數、L21范數、L12范數等。

步驟4 應用Gaussian 濾波進行降噪處理。針對目標矩陣進行降噪處理，因目標矩陣的指標與算法誤差存在相關性，故通過改進目標矩陣的方式來降低算法誤差。

3 實驗與結果分析

3.1 實驗環境

實驗平臺為Intel i7-8550U 1.8 GHz，16 GB 內存和1 TB 硬盤的筆記本，實驗在Windows 10 系統上用Matlab2017（b）實現［14］。

3.2 實驗設計與結果

基于隱藏層輸出矩陣的ELM 算法優化旨在展現算法運算過程中所發現的隱藏層輸出矩陣生成其廣義逆矩陣H?的過程，擬通過實驗確定目標矩陣和穩定指標與誤差是否存在線性關系。設計如下4步實驗：

實驗1 分析誤差與輸出矩陣H的關系；

實驗2 探尋合適的目標矩陣；

實驗3 確定穩定的指標；

實驗4 應用Gaussian濾波進行算法優化。

本文的訓練集為服從均勻分布下隨機產生500 組數據，包括輸入X、輸入噪聲σ、輸出T，如表1所示。

表1 訓練集生成Tab.1 Training set generation

因ELM 在激活函數g(x)無限可微的前提下，可隨機地確定輸入權重w和偏置b，產生相對應的隱藏層輸出矩陣H。故其中激活函數g(x)的選擇也是算法重要的一步，常用的有如表2所示的三種激活函數［1］。

表2 激活函數列表Tab.2 List of activation functions

3.2.1 分析誤差的來源及結果

ELM 誤差存在于隱藏層到輸出層的過程，其中由輸出矩陣H與輸出T求輸出權重時，需計算廣義逆矩陣Η?，誤差就此產生。引入ELM 運算過程中產生的H?H為輔助矩陣，若輸出矩陣為非奇異矩陣，H-1Η=E，推測輔助矩陣應更接近單位陣，產生的ELM 算法誤差較小。輸出矩陣H的行和列分別對應神經元節點數和訓練集大小。

設計實驗如下，在確定H?H的列（訓練集大小）為1×500（以表1 中第1 組為例），調節H?H的行（神經元節點數）的大小來記錄對應的ELM 算法誤差，選用Sin激活函數，以50次實驗為一組，循環100次取均值，得到數據如表3所示。

表3 神經元節點數與誤差關系Tab.3 Relation between neuron node number and error

從表3 可看出，最小誤差和平均誤差都是隨神經元節點個數的增加而減小，故輸出矩陣H的變化影響著誤差的變化。

進一步實驗，選擇最小誤差對應的參數組，同時調節神經元節點數大小，觀察輔助矩陣H?H到單位矩陣的距離，得到圖3所示的不同節點對應的H?H矩陣數值三維圖。

從圖3 可看出，當節點數分別為50、100、200 和499 時，對應矩陣的對角線元素值在0.1、0.2、0.4和1.0上下浮動，相對應的誤差也減小。這說明誤差的大小與輔助矩陣H?H與單位矩陣的距離相關，可根據矩陣H?H到單位矩陣距離的大小來挑選訓練誤差小的輸出矩陣H。根據實驗1中發現的現象，下一步就需要引入指標來衡量矩陣H?H到單位矩陣的距離，通過實驗確定與單位矩的距離更小的目標矩陣，進一步分析與誤差的關系。

圖3 不同節點數（50、100、200、499）對應的H?H矩陣數值三維圖Fig.3 Numerical three-dimensional diagram of H?H matrix corresponding to different node numbers（50，100，200，499）

3.2.2 探尋合適的目標矩陣及結果分析

為了探尋合適的目標矩陣，由輔助矩陣H?H和Moore-Penrose 廣義逆矩陣的定義，發現目標矩陣可能為H?H，和(H?H)2、(H?H)3、(H?H)5、(H?H)7等。可能的指標有L1 范數、F 范數、1 范數（列和范數）、2 范數（譜范數）和核范數等，并進行關聯分析，多個目標矩陣和多個指標的關聯如圖4所示。

圖4 多個目標矩陣與多個指標的關聯圖Fig.4 Correlation diagram of multiple target matrices and multiple indices

研究的對象是目標矩陣到單位矩陣的距離，暫選定能較好表示矩陣數值特征的L1范數為指標，通過實驗初選目標矩陣。進行如下實驗，在同一個輸入X為1×500 的訓練集（以表1 中組別1～4 為例），訓練集生成函數為T=+e，以50次實驗為一組，循環100次取均值，實驗結果見表4與圖5。

在表4 的12 組對比實驗中，采用控制變量法來初選目標矩陣，其中自變量有訓練集的噪聲區間、訓練集的生成函數、激活函數等，因變量為算法的誤差和備選目標矩陣H?H，和(H?H)2、(H?H)3、(H?H)5、(H?H)7的L1 范數。圖5 中誤差與備選目標矩陣的L1 范數存在線性關系，即為后續實驗確定了方向。

表4 誤差與備選目標矩陣的L1范數的相關性分析Tab.4 Correlation analysis of error and L1-norm of alternative target matrices

圖5 一次實驗中備選的9個目標矩陣的L1范數與算法誤差的相關性Fig.5 L1-norm of 9 alternative target matrices and algorithm error

根據相關系數的絕對值大于0.600 000 和每組實驗中的相關系數絕對值最大這兩個原則，計數投票出了排序前三的初選目標矩陣H?H、(H?H)3和(H?H)7，擬引入與目標矩陣相關的更多指標來進一步實驗，包括L1 范數、F 范數（L2 范數）、列和范數、核范數、L21范數、L12范數這6個指標。

3.2.3 確定穩定的指標及結果分析

根據實驗2 的結果，擬采用與誤差的相關系數最佳的穩定指標來反向確定3 個備選目標矩陣中的最優目標矩陣，為了說明誤差與目標矩陣范數指標的線性相關這一現象的穩定性，增加對比實驗到48 組，表5 為3 個備選矩陣中H?H的6 種范數與算法誤差的相關分析結果。

上述實驗中，對3 個備選目標矩陣中H?H的6 個范數指標進行了對比實驗，為了得到一個穩定的指標，對每一個目標矩陣進行48組實驗并記錄數據。表5中誤差與L21范數的相關系數絕對值大于0.600 000 的在48 組中有29 組，大于0.800 000 的14 組。3 個備選矩陣中(H?H)3和(H?H)7同樣進行48組實驗，得到數據計算其6個范數指標數據（取絕對值后再平均），如表6所示。在18個指標中發現H?H的L21范數為最穩定的指標，其48 組實驗的絕對數均值為0.613 300 的最佳相關系數。

表5 目標矩陣為H?H的6個范數指標的48組對比實驗數據Tab.5 Forty-eight sets of comparative experimental data for six norm indices and target matrix H?H

表6 三個備選目標矩陣與指標絕對值的均值的關系表Tab.6 Correlation table of 3 alternative target matrices and absolute average indices

3.2.4 應用Gaussian濾波進行算法優化及結果分析

確定了與ELM 算法誤差呈線性相關的是目標矩陣H?H的L21范數后，根據線性相關性和矩陣范數的性質，提出采用Gaussian 濾波對目標矩陣進行降噪處理［15］，通過降低H?H的L21 范數，從而達到降低ELM 算法誤差的目的。具體應用Gaussian 濾波的步驟是：①將目標矩陣H?HN×N（N為樣本數）的對角線元素提出得到矩陣DN×N，再將余下的目標矩陣非對角線元素按序拉伸為行矩陣；②應用一維Gaussian 濾波優化行矩陣后，重新排列得到優化矩陣GN×N；③將優化矩陣GN×N的對角線元素替換為原對角線元素矩陣DN×N，得到優化后的目標矩陣。聯系算法實驗1 分析誤差的來源及結果，設計如上的優化步驟，是為了在保持目標矩陣H?H的對角元素值不變，優化非對角元素值，此時降低了H?H的L21范數，達到縮小目標矩陣H?H與單位矩陣的偏差的目的。

圖6 和圖7 分別為目標矩陣H?H的L21 范數與算法誤差呈負相關和正相關時的變化曲線，曲線表示初始數據，散點圖表示濾波后的數據。圖7 中正相關時，通過采用Gaussian 濾波優化了目標矩陣H?H使其L21 范數降低，從而達到了減小算法誤差的目的。

圖6 濾波前后誤差對比圖、濾波前后L21范數對比圖和濾波后誤差與矩陣L21范數的關系圖（負相關）Fig.6 Diagrams of error comparison before and after filtering，L21-norm comparison before and after filtering and error and matrix L21-norm correlation after filtering（negative correlation）

圖7 濾波前后誤差對比圖、濾波前后L21范數對比圖和濾波后誤差與矩陣L21范數的關系圖（正相關）Fig.7 Diagrams of error comparison before and after filtering，L21-norm comparison before and after filtering and error and matrix L21-norm correlation after filtering（positive correlation）

4 結語

本文是基于ELM 的隱藏層輸出矩陣H對算法誤差進行優化。在ELM 的中，訓練集的大小遠大于隱藏層神經元節點數，故其對應行列產生的輸出矩陣H為奇異矩陣，需生成對應的Moore-Penrose 廣義逆矩陣Η?來求解輸出權重β，分析得出廣義逆矩陣Η?的誤差造成了ELM 算法的誤差。根據廣義逆的定義和輔助矩陣推測目標矩陣為H?H，H?H的平方或者H?H的開方和誤差指標為目標矩陣的范數，設計實驗得出目標矩陣H?H的L21 范數與ELM 誤差呈線性相關，最后通過應用Gaussian 濾波優化目標矩陣H?H使其L21 范數改變，達到減小算法誤差的目的。

ELM 作為一次完成型算法，需要多次訓練后來挑選出好的輸出矩陣H，每個輸出矩陣H對應的訓練誤差都存在改進的空間［16］。實驗選用了輔助矩陣H?H，在考慮優化矩陣H?H到單位矩陣的距離時，應用了Gaussian濾波對H?H進行優化，能較好地降低誤差。還可以研究基于Lasso回歸、演化算法等其他方法進行矩陣優化。本文研究表明對于ELM 算法，通過對目標矩陣H?H等與輸出矩陣H相關的優化，或者直接對輸出矩陣H的優化實驗，均存在進一步降低訓練誤差的可能。