子空間結構保持的多層極限學習機自編碼器

陳曉云 陳 媛

自編碼器(Autoencoder,AE)[1]是一種非線性無監督神經網絡,也是一種無監督特征提取與降維方法,通過非線性變換將輸入數據投影到潛在特征空間中.AE 由編碼器和解碼器組成,可將輸入數據編碼為有意義的壓縮表示,然后對該表示進行解碼使得解碼輸出與原始輸入相同,即解碼器輸出和輸入數據間的重構誤差最小.當投影的潛在特征空間維數低于原始空間時,AE 可視為非線性主成分分析的一種表示形式[1].隨著深度學習的成功,其在多個領域取得了重要突破[2],而深度自編碼器作為一種無監督深度神經網絡被用于數據降維[3-4]、圖像降噪[5]和信號處理[6-7]以提取數據的深層表示特征.例如深度子空間聚類(Deep subspace clustering,DSL-l1)[8]通過深度自編碼器對稀疏子空間聚類進行擴展,在深度自編碼器的編碼器和解碼器間引入自表達層,用反向傳播算法對編碼器的輸出進行自表示系數矩陣的學習,以該自表示系數矩陣作為原始樣本的相似度矩陣.DSL-l1模型是全連接卷積神經網絡并使用l1范數,求解模型的反向傳播算法時間及空間復雜度較高.為提高計算效率,需先執行主成分分析法對數據降維.

無監督的極限學習機自編碼器(Extreme learning machine autoencoder,ELM-AE)[9]是一種單隱層前饋神經網絡,其輸入層到隱層的權值和偏置值隨機給定,學習過程只需通過優化最小二乘誤差損失函數即可確定隱層到輸出層的權值.最小二乘損失函數的優化問題有解析解,可轉化為Moore-Penrose 廣義逆問題求解[10].因此本質上相當于直接計算網絡權值而無需迭代求解,相比反向傳播和迭代求解的神經網絡學習方法,學習速度快、泛化性能好,因此本文以ELM-AE 作為基礎自編碼器.

極限學習機自編碼器與極限學習機(Extreme learning machine,ELM)[11]類似,主要不同之處在于ELM-AE 的網絡輸出為輸入樣本的近似估計,ELM 的網絡輸出為輸入樣本的類標簽.極限學習機自編碼器雖然學習速度快,但僅考慮數據全局非線性特征而未考慮面向聚類任務時數據本身固有的多子空間結構.

除極限學習機自編碼器以外,無監督極限學習機(Unsupervised extreme learning machine,USELM)[12]也是一種重要的無監督ELM 模型,它采用無類別信息的流形正則項替代ELM 模型中含類標簽的網絡誤差函數,經US-ELM 投影后保持樣本間的近鄰關系不變.US-ELM 雖考慮了樣本分布的流形結構,但其流形正則項在高維空間中易出現測度 “集中現象”且未考慮不同聚簇樣本間的結構差異.在US-ELM 模型基礎上,稀疏和近鄰保持的極限學習機降維方法(Extreme learning machine based on sparsity and neighborhood preserving,SNP-ELM)[13]引入全局稀疏表示及局部近鄰保持模型,可以自適應地學習樣本集的相似矩陣及不同簇樣本集的子空間結構,其不足之處在于需迭代求解稀疏優化問題,運行時間較長.

綜合上述分析,本文以ELM-AE 為基礎自編碼器,引入最小二乘回歸子空間模型(Least square regression,LSR)[14]對編碼器的輸出樣本進行多子空間結構約束,提出子空間結構保持的極限學習機自編碼器(Extreme learning machine autoencoder based on subspace structure preserving,SELM-AE)及其多層版本(Multilayer SELM-AE,ML-SELM-AE),使面向聚類任務的高維數據經過ML-SELM-AE 降維后仍能保持原樣本數據的多子空間結構,并可獲取數據的更深層特征.

1 極限學習機自編碼器

極限學習機自編碼器降維方法通過將輸入作為網絡輸出學習極限學習機網絡,其學習過程分為編碼和解碼過程,學習目標是最小化重構誤差.圖1給出ELM-AE 模型網絡結構.對于由n個樣本組成的聚類數據集xi是網絡輸入變量,網絡輸出為xi的近似估計.

ELM-AE 網絡的目標是計算最優的隱節點到輸出節點的權值矩陣β,使得在該權值下的網絡輸出與期望輸出xi間的誤差最小.對n個樣本xi(i=1,2,···,n)組成的數據集X,ELM-AE 網絡的優化模型定義為:

h(xi)=(g(w1,b1,xi),···,g(wnh,bnh,xi))為隱層關于xi的輸出向量,nh為隱節點個數;wj為第j個隱節點的輸入權值,bj為第j個隱節點的偏差,輸入權值wj和隱節點偏差bj均隨機產生,其取值區間為[-1,1];g(wj,bj,xi)為第j個隱節點的激勵函數,本文采用Sigmoid 函數:

模型(1)第1 項與ELM 模型相同,最小化隱層到輸出層的權值矩陣β的l2范數,以控制模型的復雜度;模型第2 項為重構誤差,表示ELM-AE網絡的輸出H(X)β與原始輸入數據X的誤差,重構誤差越小,β越優.c為平衡模型復雜度和誤差項的參數.理想情況下,ELM-AE 網絡的輸出H(X)β與真實值X相等,即X=H(X)β,此時誤差為零.

ELM-AE 模型與ELM 模型不同之處在于ELM 隱層到輸出層的最優權矩陣β通過最小化網絡輸出H(X)β與真實類標簽Y的誤差得到;而ELM-AE 隱層到輸出層的最優權矩陣β通過最小化網絡輸出H(X)β與輸入數據矩陣X的誤差得到,因此ELM-AE 可以看成是對數據矩陣X的非線性特征表示.為實現數據降維,增加對輸入權向量w及偏置b的正交約束.當樣本xi原始維數m大于隱節點個數nh時,輸入樣本可被投影到較低維特征空間,其對應的隱含層輸出向量h(xi)為:

式(1)描述的ELM-AE 模型是凸優化問題且該問題僅含單變量β,對其目標函數關于β求導并令導數等于0,即可得到該問題的解析解如下:

其中,β*是nh×m矩陣.據文獻[9],ELM-AE 通過對原始高維數據X乘以隱含層與輸出層間的權值矩陣β實現降維,即X'=X(β*)T就是所需的降維后樣本.

2 子空間結構保持多層極限學習機自編碼器

極限學習機自編碼器ELM-AE 雖然實現了無監督非線性降維,但未考慮面向聚類任務的高維數據所蘊含的多子空間結構,難以保證降維結果與聚類目標相匹配.因此,本文提出子空間結構保持極限學習機自編碼器SELM-AE,該模型在ELM-AE輸出層之后增加自表示層,使ELM-AE 輸出H(X)β保持輸入數據X的多子空間結構不變.

2.1 子空間結構的獲取

為獲取數據的子空間結構,通常采用樣本矩陣作為字典,得到數據自表示模型X=XZ(Z∈Rn×n),即每一樣本用所有其他樣本的線性組合表示,所有樣本的組合系數構成自表示系數矩陣.由此學習到的自表示系數矩陣Z隱含了樣本間的相似關系與子空間結構,理想情況下多簇數據的自表示系數矩陣具有塊對角性.

文獻[15]已證明,在假設子空間獨立情況下,通過最小化Z的F范數,可以保證Z具有塊對角結構,即當樣本點xi和xj位于同一子空間時Zij≠0,位于不同子空間時Zij=0.關于Z的自表示優化模型可采用最小二乘回歸(LSR)模型,即

在實際應用中,觀測數據通常包含噪聲,噪聲情況下該模型可擴展為:

2.2 子空間結構保持極限學習機自編碼器(SELMAE)

由式(7)學習得到的自表示系數矩陣Z=[Z1,···,Zn] (Zi∈Rn為xi的表示系數),包含數據的子空間結構信息.為使極限學習機自編碼器的網絡輸出=H(X)β仍保持這種子空間結構,在極限學習機自編碼器的輸出層之后增加自表示層,使得網絡輸出與輸入的自表示系數相同,即(H(X)β)T=(H(X)β)TZ.SELM-AE 的網絡結構如圖2 所示,其中圖2(a)用于根據式(7)學習X的自表示系數矩陣Z;圖2(b)在 ELM-AE 網絡的輸出層之后增加網絡輸出H(X)β的自表示層,使網絡輸出H(X)β與輸入X有相同的子空間結構.

圖2 SELM-AE 網絡結構Fig.2 Network structure of SELM-AE

圖2(b)將輸入數據X的自表示系數矩陣Z引入子空間結構保持的極限學習機自編碼器（SELAAE）的自表示層,其優化模型如下:

模型前兩項與式(1)描述的 ELM-AE 模型相同,第3 項則為自表示誤差項,也稱子空間結構保持項,用以使SELM-AE 的網絡輸出H(X)β保持原始數據的子空間結構,c是自編碼重構誤差項的平衡參數,λ是自表示誤差項的平衡參數.

2.3 模型求解

為求解SELM-AE 模型即式(9),可令A=(IZ)(I-Z)T,則式(9)等價表示為

式(10)是凸優化問題,對其目標函數f(β)關于β求導并令導數為0 得到

最優權值矩陣β*與隱層輸出H(X)相乘既可得到網絡的輸出H(X)β,該輸出是網絡對輸入X的最佳估計.網絡權值矩陣β是隱含層到網絡輸出層即輸入數據的線性變換,可通過最優權值矩陣β*進行降維,降維后樣本為X'=X(β*)T.

2.4 多層極限學習機自編碼器(ML-SELM-AE)

由第2.3 節討論可知,通過SELM-AE 模型可以直接計算隱含層到輸出層的最優權值矩陣β*,計算速度快,泛化性好.SELM-AE 網絡以數據降維表示為目標,其降維后樣本維數與隱層節點數相等,因此隱層節點數量通常遠小于原始維數和樣本數.但作為單層神經網絡,較少的隱層節點會降低其對非線性投影函數的逼近能力.受文獻[16]的深度有監督極限學習機方法啟發,本文擴展單層子空間結構保持極限學習機自編碼器SELM-AE 為多層子空間結構保持極限學習機自編碼器ML-SELMAE (如圖3),以獲取數據的深層特征.

圖3 所示的多層子空間結構保持極限學習機自編碼器相當于多個SELM-AE 自編碼器的堆疊,利用上述式(11)計算每一層最優權值矩陣β(l)(l=1,2,···,L),將上一層輸出X(l)(β(l))T作為下一層輸入.ML-SELM-AE 網絡第l層（l=1,2,...,L)隨機產生正交輸入權矩陣W(l)和偏置向量b(l);第1 層初始輸入為原始數據X(1)=X,第l層(l=1,2,···,L)的權值矩陣β(l)根據式(11)改寫為:

圖3 ML-SELM-AE 網絡結構Fig.3 Network structure of ML-SELM-AE

第l+1 層輸入X(l+1)可通過下式計算:

其中,β(l)為第l層解碼器的輸出權矩陣.若自編碼器有L層,則第L層的輸出X(L+1)=X(L)(β(L))T,即為降維后數據,對降維后數據X(L+1)使用k-means算法完成聚類.

多層子空間結構保持極限學習自編碼器MLSELM-AE 求解算法歸納如下:

算法1.ML-SELM-AE 算法

ML-SELM-AE 算法中步驟 1)的時間開銷主要用于矩陣乘法與n階矩陣逆的計算,時間復雜度分別為O(n2m)和O(n3);若多層極限學習機網絡層數為L,則步驟3)需循環L次計算每一層SELMAE 的輸出權值β(l)及輸出X(l),每次循環的時間開銷主要用于權值β(l)的計算,包括計算矩陣乘法與nh階矩陣的逆,矩陣乘法計算時間復雜度分別為O(nh2m)和O(nhnm),矩陣逆的計算時間復雜度為O(nh3).對于高維小樣本數據集,樣本數n遠小于樣本維數m,故而當樣本維數m小于隱層節點數nh時,算法總時間復雜度為O(Lnh3);當樣本維數m大于隱層節點數nh時,算法總時間復雜度為O(Lnh2m).

3 實驗

3.1 實驗對比方法及參數設置

為驗證本文所提的子空間結構保持單層極限學習機降維自編碼器SELM-AE 和多層極限學習機自編碼器ML-SELM-AE 的降維效果和有效性,本文對兩種方法進行數據可視化及高維數據降維聚類實驗.

實驗對比的其他降維方法有以下幾種:

1)線性無監督降維

主成分分析法(Principal component analysis,PCA)[17]:以最大化投影方差為目標,方差雖可以刻畫全局分布散度,但無法描述樣本間的近鄰關系.

局部保持投影法(Locality preserving projections,LPP)[18]:以保持降維前后樣本間的近鄰關系不變為目標.

近鄰保持嵌入法(Neighborhood preserving embedding,NPE)[19]:以最小化k近鄰重構誤差為目標,旨在保持降維前后樣本間的局部近鄰結構.

2)傳統無監督ELM

US-ELM:無監督極限學習機,利用無類別信息的流形正則項代替含類標簽的誤差函數,將有監督極限學習機轉化為無監督極限學習機,實現原始數據向低維空間的非線性映射,并能夠得到顯式的非線性映射函數.但該方法預定義的近鄰矩陣不具有數據自適應性.

ELM-AE:極限學習機自編碼器,用原始數據替代誤差函數中的類標簽,將有監督極限學習機轉化為無監督式的極限學習機自編碼器,實現原始數據向低維空間的非線性映射.但該方法僅考慮數據全局非線性特征.

ELM-AE 的多層版本(Multilayer ELM-AE,ML-ELM-AE):其多層擴展的思想與本文提出的ML-SELM-AE 相同.目的在于和ML-SELM-AE(子空間結構保持的多層極限學習機自編碼器)進行對比.

3)面向聚類的子空間結構保持無監督ELM

SNP-ELM:基于稀疏和近鄰保持的極限學習機降維算法,該方法引入稀疏及近鄰保持模型學習US-ELM 模型流形正則項所需的近鄰矩陣,具有較好的數據自適應性.但需迭代求解稀疏優化問題,運行時間較長.

SELM-AE:本文提出的子空間結構保持極限學習機自編碼器.該模型在ELM-AE 模型基礎上,采用樣本自表示模型刻畫樣本數據的子空間結構和樣本間近鄰關系,使網絡輸出數據保持子空間結構不變,具有較好的數據自適應性.

ML-SELM-AE:本文提出的SELM-AE 模型多層版本.

3.2 實驗數據集

實驗采用2 個腦電數據集、3 個高維基因表達譜數據及UCI 中的IRIS 數據集[20]進行測試,腦電數據集包括BCI 競賽II 數據集IIb 中的Session 10 和Session 11、BCI 競賽III 數據集II 中的Subject A 訓練集[21],基因表達數據集包括DLBCL、Prostate0 和Colon[22].

研究表明,腦電數據中C3、Cz、C4、Fz、P3、Pz、P4、PO7、PO8 和Oz 這10 個電極的可分性更好[23],因此選取BCI 競賽II 數據集Data set IIb 的該10個電極通道每輪行或列刺激后600 ms 的腦電數據作為實驗數據并進行0.5～30 Hz 的巴特沃斯濾波;對BCI 競賽III 數據集Data set II 選取相同10 個電極通道每輪行或列刺激后1 s 的腦電數據作為實驗數據并進行0.1～20 Hz 的巴特沃斯濾波.數據集具體描述如表1 所示.

表1 數據集描述Table 1 The data set description

3.3 可視化實驗

本實驗分別用PCA、LPP、NPE、US-ELM、ELM-AE、SNP-ELM 和SELM-AE 七種方法將一個人造數據集和一個真實UCI 數據集投影到一維和二維空間,并選取每種降維方法的最優結果進行展示.

數據可視化及數據降維聚類實驗采用相同的參數設置.LPP、NPE 和US-ELM 的近鄰數k均取5.ELM-AE、SNP-ELM 和SELM-AE 的平衡參數c和λ均采用網格搜索策略設置,統一參數搜索范圍為{10-3,10-2,···,103}.所有極限學習機算法的激勵函數均采用Sigmoid 函數,含流形正則項的極限學習機降維方法US-ELM 和SNP-ELM 降維后樣本維數由特征方程的特征向量個數決定,其隱層節點數設為1000.極限學習機自編碼器降維方法ELM-AE 和SELM-AE 隱層節點數與降維后樣本維數相同.多層算法 ML-ELM-AE 和 ML-SELMAE 中每一層的隱節點數均與第1 層相同,隱含層層數為 3.

3.3.1 一維可視化

本實驗使用的二維人造雙月數據集如圖4 所示,該數據包含2 類,每類有150 個樣本.該實驗將雙月數據用7 種不同降維方法降至一維后的結果如圖5 所示.

圖4 人造雙月數據集Fig.4 Artificial double moon data set

從圖5 可以看出,PCA 以投影后的樣本方差最大為目標,其降維結果近似于把該數據投影到雙月數據方差最大的X軸方向,投影后2 類樣本交疊明顯、可分性差;基于流形思想的LPP、NPE 和USELM 均以降維后樣本保持原樣本的近鄰結構為目的,但US-ELM 投影到 1 維后的可分性明顯優于LPP 和NPE,其降維后不同類樣本的交疊程度較LPP 和NPE 更低.原因在于雙月數據是非線性數據,而US-ELM 包含非線性神經網絡結構,其對非線性特征的表示能力比僅采用流形思想的LPP 和NPE 更強.ELM-AE 也是基于極限學習機的非線性降維方法,其通過自編碼網絡刻畫數據全局非線性特征,較之基于數據局部流形結構的US-ELM 方法,其降維后樣本的可分性進一步改善.

圖5 人造雙月數據集一維可視化Fig.5 The 1D visualization of artificial double moon data set

SNP-ELM 和SELM-AE 也是非線性降維方法,均在極限學習機降維基礎上引入子空間結構保持特性,SNP-ELM 使降維后樣本同時保持數據的近鄰結構和稀疏結構,SELM-AE 使自編碼網絡輸出數據保持子空間結構不變,這兩種方法盡可能保持原樣本的潛在結構使該數據投影到1 維后2 類樣本完全分離,不同類樣本間沒有交疊,且本文提出的 SELM-AE 方法投影后樣本的內聚度較之SNPELM 更佳,類間可分性最優.

3.3.2 二維可視化

本實驗使用的IRIS 數據包含3 類150 個樣本,每個樣本有4 個特征.分別采用PCA、LPP、NPE、US-ELM、ELM-AE、SNP-ELM 和SELM-AE 七種降維方法將IRIS 數據投影至2 維后如圖6 所示.從圖6 可以看出,二維可視化與一維可視化實驗結論類似,即在七種降維方法中,SELM-AE 降維后樣本同類聚集性最好,不同類樣本交疊程度最低、可分性最優.

圖6 IRIS 數據集的二維可視化Fig.6 The 2D visualization of IRIS data set

3.4 降維聚類對比實驗

在6 個實驗數據集上分別采用本文方法SELMAE、ML-SELM-AE 與對比方法PCA、LPP、NPE、US-ELM、ELM-AE、ML-ELM-AE、SNP-ELM 進行降維.其中多層極限學習機自編碼器ML-ELMAE 和ML-SELM-AE 的層數L設為3,每層極限學習機的隱層節點數固定為降維維數.所有模型的最優參數均通過網格搜索得到,降維維數的搜索范圍為{21,22,23,···,210};參數c和λ的搜索范圍為{10-3,10-2,···,103};模型SNP-ELM 參數η和δ的搜索范圍為[-1,1],搜索步長為0.2.

3.4.1 k-means 聚類

對降維后樣本進行k-means 聚類,為避免kmeans 隨機選取初始中心導致聚類結果的隨機性,以10 次聚類的平均準確率為最終準確率[24].3 種傳統降維方法PCA、LPP 和NPE 的聚類準確率(方差,維數)如表2 所示,6 種ELM 降維方法的聚類準確率(方差,維數)如表3 所示.表2 和表3 是網格搜索最優參數得到的最佳平均聚類準確率、方差及對應維數.

表3 中粗體值代表9 種降維方法中聚類準確率最高者,下劃線值代表第2 高者,第3 高者采用粗體加下劃線標記.由記.由表2～ 3 可以看出:

表2 傳統降維方法的聚類準確率(%)(方差,維數)Table 2 Comparison of clustering accuracy of traditional methods (%)(variance,dimension)

表3 ELM 降維方法聚類準確率(%)(方差,維數)(參數)Table 3 Comparison of clustering accuracy of ELM methods (%)(variance,dimension)(parameters)

1)經3 種傳統方法降維后的聚類準確率明顯低于6 種 ELM 降維方法.原因在于PCA、LPP 和NPE 是全局線性降維模型,其對非線性數據特征的描述能力低于非線性極限學習機降維方法.

2)本文提出的ML-SELM-AE 在5 個數據集上取得最高的聚類準確率,在IRIS 數據集的準確率也接近最高值.主要原因在于子空間結構保持項和多層編碼器結構分別揭示了原始數據的子空間結構和非線性特征.ML-SELM-AE 對應的單層方法SELM-AE 和未引入子空間結構保持項的多層自編碼器ML-ELM-AE 聚類準確率均低于ML-SELMAE,SELM-AE 低0.3%～ 3.1%,ML-ELM-AE 低1.6%～ 5.6%,說明在準確率提升方面子空間結構保持項的作用優于編碼器層數的增加.多層MLSELM-AE 與單層SELM-AE 在多數數據集上的聚類準確率不相上下,且單層SELM-AE 的計算速度更快.

3)對比方法SNP-ELM 的聚類準確率略低于ML-SELM-AE,與SELM-AE 相當,但優于未考慮子空間結構保持項的其他降維方法,且優勢明顯.進一步說明子空間結構保持的重要性.

SNP-ELM 模型的局限在學習樣本的近鄰表示和稀疏表示存在迭代求解過程,耗時較長.而本文的SELM-AE 模型有解析解,計算效率明顯高于SNP-ELM,即使在多層情況下也快于SNP-ELM.從表4 給出的SNP-ELM、SELM-AE 和ML-SELMAE 運行時間便可以看出,SNP-ELM 的運行時間明顯高于SELM-AE 和ML-SELM-AE,是二者的100 倍～1 000 倍.因此,綜合考慮準確率和效率,本文提出的SELM-AE 和ML-SELM-AE 較之SNPELM 更有優勢.

表4 運行時間對比(s)Table 4 Comparison of running time (s)

4)對比ELM-AE、SELM-AE 和相應的多層版本ML-ELM-AE、ML-SELM-AE,多層版本聚類準確率均高于對應的單層版本,差距普遍在0.2%～4.0%之間,說明增加網絡層數可以提取更豐富的非線性特征,提高降維樣本的聚類準確率.

3.4.2 多種聚類方法對比實驗

為觀察不同聚類方法的影響,進一步對降維前后數據應用三種子空間聚類方法進行聚類,包括最小二乘回歸子空間聚類(LSR)[14]、低秩表示子空間聚類(L R R)[25]和潛在低秩表示子空間聚類(LatLRR)[26].為取得最優結果,3 種聚類模型的最優參數λ均通過網格搜索得到,LSR 和LRR 的參數搜索范圍為{10-3,10-2,···,103},LatLRR 的參數搜索范圍為{10-5,10-4,···,1}.

在6 個實驗數據集上對未降維數據和采用MLSELM-AE 降至2 維后數據進行聚類實驗,不同聚類方法的聚類準確率及方差如表5 所示.

從表5 可以看出,對于未降維高維數據,子空間聚類方法 LSR 和 LRR 均優于k-means 聚類.但經過ML-SELM-AE 降維后,k-means 聚類的準確率明顯高于三種子空間聚類方法,且比未降維時的聚類準確率有顯著提高.該實驗結果進一步說明采用多層極限學習機和子空間結構保持可使降維數據蘊含更豐富的聚簇信息,聚類劃分更容易.

3.4.3 多層極限學習機隱層節點數對聚類結果的影響

為觀察多層極限學習機隱層節點數的不同設置對聚類結果的影響,將ML-ELM-AE 和ML-SELMAE 兩種三層極限學習機自編碼器的隱層節點數分別設為500-100-2、500-100-10、500-100-100 及2-2-2、10-10-10、100-100-100,并對高維數據集Data set IIb、Data set II、DLBCL、Colon 和Prostate0 進行降維和聚類,取得的k-means 聚類準確率如表6所示.

從表6 可以看出,在5 個實驗數據集上,無論是ML-ELM-AE 還是ML-SELM-AE,三層隱層節點數均取2 時的聚類準確率最優.且隱層節點數取固定值與非固定值的聚類準確率差別不明顯,固定隱層節點數的聚類準確率總體略好于不固定隱層節點數.

表6 三層極限學習機自編碼器隱層節點數與聚類準確率(%)(方差)Table 6 The number of hidden layer nodes and clustering accuracy for three-layer extreme learning machine autoencoder (%)(variance)

3.5 SELM-AE 模型參數分析

由表5 的實驗結果可知,本文提的SELM-AE模型將數據投影到2 維時便能取得較高的k-means聚類準確率,因此取固定維數2 情況下進行參數分析.SELM-AE 模型的參數c和λ,分別是目標函數中自編碼重構誤差項和子空間結構保持項的平衡參數.

表5 ML-SELM-AE 降維前后數據的聚類準確率(%)(方差)Table 5 Clustering accuracy before and after ML-SELM-AE dimensionality reduction (%)(variance)

3.5.1 目標函數值隨參數c 與λ 的變化情況

SELM-AE 模型以最小化目標函數值為目標.本實驗目的在于觀察模型的目標函數值隨參數c和λ變化情況(如圖7),c和λ的取值范圍均為{10-3,10-2,···,103}.

由圖7 可以看出,參數λ的變化對目標函數值的影響較小,而參數c的變化對目標函數值的影響較大.總體來看,參數c和λ在區間[0.001,10]內取值時,目標函數值最小.

圖7 不同c 和λ 下的目標函數值Fig.7 Objective function value under different c and λ

3.5.2 聚類準確率隨參數c 與λ 的變化情況

為進一步觀察SELM-AE 模型聚類準確率隨參數c和λ的變化情況,圖8 給出參數c和λ取不同值時的k-means 聚類準確率,其中c和λ的變化范圍為{10-3,10-2,···,103}.由圖8 可以看出,參數c和λ在區間[0.001,10]內取值時,能取得最高的聚類準確率,該參數的最佳取值區間與圖7 的分析結論一致.

圖8 不同c 和λ 取值下的聚類準確率Fig.8 Clustering accuracy under different values of c and λ

4 結束語

在極限學習機自編碼器ELM-AE 基礎上,本文提出子空間結構保持的極限學習機自編碼器SELM-AE 及其多層版本ML-SELM-AE.SELMAE 在極限學習機自編碼器的輸出層增加自表示層,引入最小二乘回歸子空間結構模型,使自編碼器輸出與輸入的自表示系數相同.多層子空間結構保持極限學習自編碼器ML-SELM-AE 通過增加 SELMAE 自編碼器層數獲取數據的深層特征,提高網絡的特征提取能力.在6 個數據集上的實驗結果表明,經SELM-AE 和ML-SELM-AE 降維后的聚類準確率普遍優于經典降維方法和傳統的ELM 降維方法.同時多層ML-SELM-AE 因對非線性投影函數的逼近能力優于單層的SELM-AE 模型,其降維后數據的聚類準確率更高.