自編碼器理論與方法綜述①

賈文娟,張煜東

(南京師范大學 計算機科學與技術學院,南京 210023)

1 引言

自編碼器是一種無監督學習算法,其輸出能夠實現對輸入數據的復現.自編碼器的概念是Rumelhart等[1]最早提出的,自編碼器是一種數據壓縮算法,它使用編碼器實現數據壓縮,使用解碼器實現解壓縮.編碼階段將高維數據映射成低維數據,減少數據量; 而解碼階段正好相反,從而實現對輸入數據的復現.

2006年,Hinton等[2]將其作為一種降維方法發表在Science上.文章通過使用“互補先驗”的方法推導出一個快速貪婪算法,逐層學習深度定向網絡,然后對整個網絡的參數進行優化,改善了傳統方法易陷入局部極小的情況,由此產生了深度自編碼器.Bengio 等[3]在深度自編碼器的研究過程中,加入了稀疏性的限制,使用盡可能少的神經元學習提取有用的數據特征,進而產生了稀疏自編碼器.Vincent等[4]為了提高算法的健壯性,在輸入數據中加入了噪聲,形成了去噪自編碼器.2010 年,Rifai等[5]在維度處理的過程中加以限制,提出了收縮自編碼器.次年,Masci等[6]提出卷積自編碼器用于構建卷積神經網絡.

自編碼器在其優化發展過程中,被應用到很多領域,比如圖像分類、人臉識別、自然語言處理以及其他領域,并取得了較好的成績.本文也將從這些方面著重介紹自編碼器的特點及性能,并對這些方法進行分析和比較.

2 基礎介紹

自編碼器通過對輸入數據進行壓縮,將其映射到低維空間中,從而避免了“維度災難”; 在解碼階段實現對輸入數據的還原,從而實現非監督的特征學習.

2.1 模型介紹

一個自編碼器有編碼器和解碼器兩部分組成(如圖1所示),對于輸入x,通過編碼函數:

得到編碼h,實現數據壓縮.其中sf為編碼器的激活函數,通常取為 sigmoid 函數,即:

W表示輸入層和隱層之間的權值矩陣.在解碼階段使用解碼函數:

圖1 自編碼器的基本結構

將編碼h映射到原始高維空間,從而達到對輸入的復現.其中WT為隱層和輸出層之間的權值矩陣(為簡單起見,這里的權值矩陣取為W的轉置),sg為解碼器的激活函數,通常取為sigmoid函數或恒等函數,即:

或:

根據解碼器激活函數的不同,L(x,y)通常有以下兩種取法:

1) 當sg為恒等函數時,取平方誤差函數,即:

2) 當sg為 sigmoid 函數 (xi∈[0,1])時,取交叉熵(cross-entropy)函數,即:

在重構誤差的基礎上,本文針對訓練數據集S設置整體的損失函數(loss function)為:

基本的自編碼器可以看作一個三層的神經網絡結構: 輸入層、隱層、輸出層,其網絡結構如圖2所示.圖中xi表示輸入節點,xi'表示輸出節點,“+1”表示偏置項,hW,b(x)表示經過三層網絡結構之后對輸入數據的近似輸出.

圖2 自編碼器網絡結構

2.2 自編碼器算法流程

2.2.1 算法思路

自編碼器算法的設計思路如下:

(1) 對于給定的無標簽數據,本文使用無監督學習方法學習特征.對于無類標簽的數據,文中通過編碼器將輸入數據進行編碼,然后使用解碼器得到一個輸出信息,如果輸出近似等于輸入數據,則可以通過調整編碼和解碼階段的參數,使得重構誤差最小.

(2) 將編碼器產生的特征作為輸入,逐層訓練下面層的網絡.由于第一個訓練層得到的編碼可以看作是輸入數據的復現,所以下面層的訓練過程類似第一層.

有監督地微調整個神經網絡.在訓練完所有層網絡之后,自編碼器學習獲得了可以較好地代表輸入的特征,并且這些特征可以最優地表示原始輸入信號.因此,本文就可以在自編碼器之后加入一個分類器(如SVM等),然后通過有監督訓練的方法實現對整個網絡進行微調.

2.2.2 算法步驟

(1) 求各層激活值.

通過前向傳播的方法,對每一層的神經元進行前向傳導計算,利用前向傳播公式,得到各層的激活值.

(2) 計算W和b的殘差,利用梯度下降法更新W和b,使得輸出更好的表示輸入.

使用反向傳播的方法,求出最后輸出層與個層神經元的殘差,利用梯度下降法不斷更新W和b,使得輸出更接近輸入.

自編碼器的基本流程如圖3所示.

圖3 自編碼器算法基本流程圖

2.3 自編碼器算法實現

這里本文使用Matlab代碼來實現自編碼器算法.首先,本文將訓練數據加載到內存,定義并訓練自編碼器神經網絡,設置各參數初始值,在訓練過程中,本文可以得到特征權重的可視化結果.對于分類問題而言,文中使用softmax分類器對樣本進行分類.表1中定義了算法中使用的函數及其功能.

表1 自編碼器算法 Matlab 實現基本語句

在表1中的第一條Matlab語句中,本文需要設置自編碼器神經網絡中參數的初始值,并定義隱層神經元的數量.通過上述方法,文中使用一幅磁共振病理腦圖像進行訓練,設置隱層神經元個數為100,則可以得到病腦圖像的可視化權值如圖4所示.

圖4 第一層自編碼器訓練得到的可視化權重

3 實際應用

在實際生活中,自編碼器已經應用到了很多方面,如自然語言處理、圖像分類、人臉識別等,這些應用使得自編碼器擁有了更廣闊的發展前景.

3.1 自然語言處理

張開旭等[7]利用自編碼器能夠實現無監督學習的特點,從大量無標注語料中提取詞匯的高維分布信息,使用自編碼器學習得到的低維特征來提升中文分詞詞性標注任務的效果.文中還將自編碼器方法與主成分分析和k均值聚類的方法進行了比較.在賓州中文樹庫5.0數據集上的實驗表明,自編碼器能夠顯著提高從大規模無標注語料中學習詞匯特征的效果.

劉勘等[8]使用微博數據作為分析對象,利用基于深層噪音稀疏自編碼器的短文本聚類算法進行無監督學習.文章數據來源于大數據共享平臺,可分為IT、財經、健康三大類,每一類取1500條微博.通過Entropy和Precision兩種方法衡量聚類效果,最終得到深層噪音稀疏自編碼器(DSAE)+ k-means的方法效果最好,綜合信息熵為0.207,綜合準確度為87.8%.

胡慶輝等[9]基于遞歸自編碼器(RAE)方法,使用真實的搜索引擎廣告系統中的檢索詞-拍賣詞對(共11 205例),并在其中隨機選取詞對進行人工標注.實驗結果表明,RAE方法取得的實驗準確率為85.12%,高于傳統的LDA和BM25方法.

王貴新等[10]采用稀疏自編碼器和支持向量機(SVM)相結合的方法進行學習和分類仿真實驗.42 560條垃圾短信和70 000條正常短信作為測試樣本,采用深度學習理論,考慮詞語在短信中的權重,在文本分類中取得了較好的分類效果,但是使用該方法的訓練時間較長.

秦勝君等[11]利用稀疏自編碼器算法自動提取文本特征,結合深度置信網絡形成SD算法進行文本分類.實驗數據集來源于搜狗全網的新聞語料庫,可分為20個欄目的新聞數據,從中隨機抽取樣本,訓練集數目分為 300,800 和 1300.實驗結果表明,文中使用的SD算法在3個訓練集上的準確率分別為: 78.6%,88.0%,92.3%.在同一數據集上,與 SVM 方法進行比較得出,當樣本數量較少時,SD算法容易出現過擬合現象,準確率不如 SVM,但是當數據集較大時,SD 算法的優勢漸漸體現,準確率和召回率都有所提升.

李翰清等[12]采用6000余條家庭服務語料庫(包含60個意圖)進行實驗,利用深度去噪自編碼器方法提取指令的高階特征、高斯核支持向量機進行訓練和預測,在所建語料庫上進行多折交叉驗證,結果表明指令意圖理解的平均準確率達到了96%以上.

魏揚威等[13]首先根據英語作文寫作技巧提取了大量語言學特征,再使用自編碼器、特征離散化方法對特征進行重構,然后用分層多項模型來輸出文章的最終得分.實驗表明,在使用自編碼器將特征壓縮到100維時,相關系數達到0.787,與直接使用支持向量機進行回歸的實驗相比,準確率提升了3.4%.

劉廣秀等[14]通過自編碼器模型網絡建造Adaboost框架下的弱分類器,并在自編碼器神經網絡部分引入噪聲,更改不同參數以及層數構造弱分類器,利用稀疏性來提高分類器的泛化能力.實驗使用NLPIR分詞系統提取文本特征、TFIDF作為詞語的權值,根據權值來選擇特征詞,并統計詞頻作為文本特征訓練集.以調節自編碼器參數等方式實現每個分類器的結構互異性,提高各分類器的分類各異性,從而實現網絡的結構設計使得不同弱預測器具有不同的預測傾向性,提高系統泛化能力,提高分類器分類效果.

李陽輝等[15]使用改進的降噪自編碼器(IDAE)對微博情感進行分析,模型的訓練集和測試集通過COAE2014的微博評測數據集獲取,為檢驗模型的抗干擾能力,作者采用Python方法從微博網頁上直接爬取實時數據,并將其作為樣本集特意加入實驗當中.結果表明該方法聚類效果較好,且準確度和穩定性與DAE相比有所提升.

劉紅光等[16]在對中文新聞文本進行分類時,采用降噪自編碼器實現對文本的壓縮及分布式的表示,并使用SVM算法進行分類.實驗結果證明,隨著樣本數目的增大,分類準確率、召回率等都在提高,平均分類準確率達到了95%以上,但數據量依然較小,并不能完全發揮該方法并行處理大容量數據的優勢.

表2 列出了自編碼器在自然語言處理中的應用以及其優化后的方法,方法的特點中也介紹了該方法應用于該領域的優勢及不足.

3.2 圖像分類

林少飛等[17]將稀疏自編碼器方法應用到數字識別中,通過多個系數自編碼器的堆疊構建成的深度網絡學習數字圖像的特征,最后使用softmax分類器進行數字分類.實驗通過matlab平臺實現,使用MNIST數據庫 (訓練集 60 000 張手寫數字圖像,測試集 10 000 張圖像),設置softmax層回歸迭代100次,第一層稀疏自編碼器迭代100次,第二層迭代100次,微調部分迭代達到100次之后,實驗準確流暢高達98.00%.

尹征等[18]采用標準卷積自編碼器方法,選取MINIS和CIFAR-10數據集進行訓練,實驗表明將卷積層相關理論運用到自編碼器中能提高網絡的識別性能,并且實驗識別率提高了2%,識別錯誤率降低了近6%,并且該方法對于加入了噪聲的數據具有較強的魯棒性.

表2 自然語言處理中自編碼器的應用

樊養余等[19]使用一種基于卷積稀疏自編碼器的方法,對少量有標記抽象圖像進行自適應的學習,并使用平均梯度準則對所學到的權重進行排序,用于對基于不同領域的特征學習結果進行比較.實驗使用Abstract100、Abstract280數據庫中的數據進行分類,結果表明,該方法學習到的特征不僅能被用于認知層面的圖像識別,還能夠被用于情緒語義層面的圖像辨識,這些結論也給深度學習在其他有限樣本集合中的應用帶來啟發.

戴曉愛等[20]引用棧式稀疏自編碼器自學習原始數據的特征表達,然后將其連接到支持向量機分類器,完成微調過程.實驗采用挪威NEO公司Hyspex成像光譜儀以地面成像方式在選定試驗區獲取的數據進行模擬性能測試,選取全部7類108個波段數據,實驗精度達到87.82%.但是該方法模型參數調整復雜,易陷入局部最小或過擬合狀態,從而影響分類結果.

王杰等[21]使用稀疏自編碼器的方法來對煙葉成熟度進行分類,降低了人工成本.實驗樣本采自河南農業大學科教實驗園區的煙葉試驗田.該算法直接從像素層面提取所需特征,減少了人為選定特征的時間,并且避免了某些重要特征的丟失,分類精確度高達98.63%.

張一飛等[22]為了提高傳統遙感圖像分類準確率較低的問題,使用一種基于棧式去噪自編碼器的分類方法,采用無監督逐層分類的方法獲得更具魯棒性的特征表達,然后通過誤差反向傳播方法對整個網絡參數進行微調.實驗采用國產高分一號遙感數據,分類精度高達95.7%,高于傳統的支持向量機和BP神經網絡方法,但是該方法時間消耗很大,因此可能限制其大規模、深層次模型的應用.

劉洋洋等[23]提出將多尺度單層自編碼器的方法應用到醫學圖像自動分類中,選擇ImageCLEFMed 2009數據集中20類共4780幅圖像,其中3350幅作為訓練集,選擇原測試數據集中的1430幅作為本實驗測試樣本,實驗學習到的特征表示和總體準確率明顯由于傳統方法.

徐守晶等[24]基于Matlab平臺,使用CIFAR-10數據庫中的STL-10數據集,利用棧式去噪自編碼器(SDA)的方法,對包括飛機、鳥、小汽車、貓、狗、輪船、卡車、馬、猴子、鹿等10類圖像進行分類,結合SIFT和ISDA特征檢索查準率為91.3%.

Zeng等[25]開發了一種將單一圖像SR耦合到深度自動編碼器的數據傳輸模型,通過探索廣泛的數據自動學習LR/HR圖像補丁的內在表示及其關系,將LR表示精確地映射到其對應的HR表示的大數據傳輸函數.與Set5和Set14數據集上的其他先進的算法相比較,實驗證明了文中提出方法具有卓越的有效性和效率.

表3列出了自編碼器在圖像分類中的應用以及其優化后的方法,方法的特點中介紹了該方法應用于該領域的優勢及不足.

表3 圖像分類中自編碼器的優化與應用

3.3 目標識別

張寧等[26]基于深度自編碼器設計了機場安檢中的人臉識別系統,使用Gabor小波函數作為卷積核函數,在對原始圖像分塊的基礎上進行卷積運算,采用多個RBM堆疊組成的自編碼器,通過比較差異算法訓練RBM,實現自動提取人臉特征,最后構建一個三層的BP神經網絡,將自動提取的人臉特征特作為輸入,將圖像標簽作為輸出層,通過反向傳播算法訓練網絡進行人臉識別.實驗使用YALE數據庫中的圖片進行訓練,算法的平局正確率高達99.08%.

趙飛翔等[27]提出了一種基于棧式降噪稀疏自編碼器的雷達目標識別方法,通過設置不同隱層數量和迭代次數,從雷達數據中高效地提取出各層次特征.實驗采用暗室仿真數據,通過多次實驗,設置隱層數為4層,隱層單元數分別為150-100-50-10,訓練迭代次數依次為10、30、50,實驗結果均高于90%.

康妙等[28]提出基于棧式自編碼器(SAE)特征融合的合成孔徑雷達(SAR)圖像車輛目標識別算法,然后利用softmax分類器微調網絡,提高了網絡的融合性能.實驗基于MSTAR數據集的10類目標分類精度達95.88%.

張彥等[29]使用所有已知樣本訓練深度自編碼器,得到廣義深度自編碼器,然后使用但樣本目標的單個樣本微調廣義深度自編碼器,得到特定類別的深度自編碼器,識別時,將識別圖像輸入每個特定類別的深度自編碼器,得到包含與測試圖像相同類內變化的該類別的重構圖像,并用其訓練softmax回歸模型,分類測試圖像.實驗在公共測試庫 Extended Yale Face Database B及 AR Database 上進行,在相同環境下,比其他算法獲得了更高的識別率,并且識別一幅圖像的所需平均時間更少.

李江等[30]針對傳統方法識別人臉表情具有較差的魯棒性的問題,提出了一種基于降噪自編碼器的方法,同時為了避免由于樣本不足造成的過擬合現象,在全連接層采用了Dropout技術.實驗數據集采用CK+、JAFFE和Yale,每個數據集的平均準確率分別為99.65%、98.92%、99.67%,該方法也表明了該方法較強的魯棒性和抗身份信息干擾的能力.

冉鵬等[31]在處理人臉識別問題時,采用了棧式降噪自編碼器的方法.該方法可分為無監督的預訓練和有監督的訓練兩個階段.無監督預訓練階段能夠自動學習人臉的一般特性,有監督訓練階段進行人臉識別的測試.實驗使用YALE、AR、FERE三個人臉數據庫進行實驗,實驗表明,在不同數據庫中,文中提出的方法得到的測試準確率均由于其他方法.

于萬鈞等[32]為了提高氣體識別的準確率,提出了一種基于棧式降噪自編碼器的方法,并與千層機器學習算法的氣體定性識別方法進行比較.實驗使用UCI機器學習氣體數據集進行訓練,測試準確率達到82.2%,高于傳統手工提取特征的方法,并且過程簡單,改善了傳統方法的復雜過程.

表4列出了自編碼器在目標識別中的應用以及其優化后的方法,方法的特點中也介紹了該方法應用于該領域的優勢及不足.

表4 目標識別中自編碼器的優化與應用

3.4 其他領域

陳國定等[33]將堆棧式稀疏自編碼器應用到評估尾礦庫的安全狀況中,實驗數據采自于淳安某尾礦庫,該算法解決了多層網絡結構權值易陷入局部最小的問題,采用微調技術之后,該方法的準確率高達99.27%,但該方法作為深度神經網絡的一種,仍處于學術界的廣泛討論中,將其應用于尾礦庫安全評價仍需進一步的研究和實驗,以獲取更優的效果.

李榮雨等[34]將平行堆棧式自編碼器應用于過程工業預測建模中,首先通過聚類算法對輸入數據的屬性進行聚類,然后按結果將數據分類后輸入并行的稀疏自編碼器中進行特征的模塊式提取,聯合學習得到的特征再進行逐層學習得到擬合結果.在對加氫裂化的預測建模研究過程中,本方法獲得的平均預測準確率在95%以上,在預測能力和穩定性能方面高于棧式自編碼器和多層感知器.

李遠豪[35]提出基于深度自編碼器的人臉美麗吸引力預測模型,利用深度自編碼器網絡提取人臉圖像美麗特征,然后用支持向量機分類器來預測人臉美麗.在中國科學院CAS-PEAL-R1共享人臉庫和互聯網手機的人臉圖像中,得到該模型的預測性能達到了77.3%.但是所學到的特征魯棒性較低,沒有達到理想的預測效果,這有待于后續深入研究.

于乃功等[36]基于深度自編碼器與Q學習,提出了移動機器人路徑規劃方法,利用深度自編碼器學習機器人所處環境特征,Q學習根據環境信息選擇機器人要執行的動作,從而讓機器人通過與環境的交互,實現自主學習.機器人仿真實驗證明了該方法的有效性.

寇茜茜等[37]將自編碼器應用于金融領域,提出了匯率時間序列預測的方法.首先通過自編碼器對時間序列進行無監督的特征識別與學習,然后利用有監督微調的方法調整權值.實驗使用來源于真實金融市場的 Time Series Data Library 數據庫,文中使用的方法的預測效果優于傳統的BP神經網絡方法和SVR方法.但是反向傳導算法在網絡層次過深時,會出現梯度擴散的現象,因此更適合網絡層次不是特別深的預測.

王憲保等[38]利用堆棧式降噪自編碼器的方法進行膠囊缺陷檢測,首先對樣本進行降噪訓練,獲取網絡初始權值,之后通過BP算法進行微調,得到樣本與無缺陷模版之間的映射關系,通過對比實現測試樣本的缺陷檢測.訓練樣本為包括裂紋、空洞和膠囊帽缺失的數據,實驗取得了100%的缺陷膠囊檢出率,但是該方法只能處理64×64維的圖像,處理高精度的缺陷圖像將是今后研究主要工作.

SUN等[39]為了實現感應電動機的故障診斷,提出了一種將去噪自編碼融入稀疏自編碼器的深度神經網絡的方法,提出了算法的魯棒性,結合反向傳播算法對網絡進行微調,提高了分類的準確度,通過引入“Dropout”訓練方法,降低了由過擬合帶來的預測誤差.實驗選用了50 Hz供電頻率下的電動機,以Y軸方向的振動信號作為試驗處理信號,信號采樣頻率為20 kHz.實驗得到的不同故障的平均識別正確率為97.61%.

表5列出了自編碼器在其他領域中的應用以及其優化后的方法,方法的特點中也介紹了該方法應用于該領域的優勢及不足.

表5 自編碼器在其他領域的應用

4 總結與展望

目前,自編碼器在圖像分類、自然語言處理等多個方面都有了廣泛的應用,并且取得了不錯的成果,這也促進了自編碼器的發展,使其更有效地為人類服務.

(1) 自編碼器能夠自動提取特征,這有效降低了傳統手動提取特征的不足;

(2) 對于大數據訓練問題,自編碼器能有效地避免過擬合情況的發生;

(3) 在各文獻中的實驗中,與傳統的神經網絡相比,自編碼器方法取得的準確率都較高;

(4) 通過總結各文獻的應用領域,我們發現自編碼器方法的應用范圍較為廣泛.

我們希望通過日后的研究工作,自編碼器能夠更有效、更廣泛地應用于我們的日常生活需要當中.因此,針對自編碼器存在的以下不足:

(1) 深度自編碼器需要逐層訓練每一隱層,然后才能使用某種算法對整個網絡進行優化調整,學習時間較長;

(2) 自編碼器無監督學習的特性使得其學習獲得的特征表示的物理意義并不明確;

(3) 深度自編碼器處理的數據規模大,結構較為復雜,現有的軟硬件設備均難以滿足用戶需求.

我們日后的研究重點將放在如何解決上述問題當中,使自編碼器更有效地發揮其優勢,為人類社會服務.

參考文獻

1Rumelhart DE,Hinton GE,Williams RJ.Learning representations by back-propagating errors.Nature,1986,323(6088): 533–536.[doi: 10.1038/323533a0]

2Hinton GE,Osindero S,Teh YW.A fast learning algorithm for deep belief nets.Neural Computation,2006,18(7):1527–1554.[doi: 10.1162/neco.2006.18.7.1527]

3Bengio Y,Lamblin P,Popovici D,et al.Greedy layer-wise training of deep networks.Proceedings of the 19th International Conference on Neural Information Processing System.Canada.2006.153–160.

4Vincent P,Larochelle H,Bengio Y,et al.Extracting and composing robust features with denoising autoencoders.Proceedings of the 25th International Conference on Machine Learning.Helsinki,Finland.2008.1096–1103.

5Rifai S,Vincent P,Muller X,et al.Contractive autoencoders: Explicit invariance during feature extraction.Proceedings of the 28th International Conference on Machine Learning.Bellevue,WA,USA.2011.833–840.

6Masci J,Meier U,Ciresan D,et al.Stacked convolutional auto-encoders for hierarchical feature extraction.Proceedings of the 21st International Conference on Artificial Neural Networks.Espoo,Finland.2011.52–59.

7張開旭,周昌樂.基于自動編碼器的中文詞匯特征無監督學習.中文信息學報,2013,27(5): 1–7,92.

8劉勘,袁蘊英.基于自動編碼器的短文本特征提取及聚類研究.北京大學學報 (自然科學版),2015,51(2): 282–288.

9胡慶輝,魏士偉,解忠乾,等.基于遞歸自編碼器的廣告短語相關性.計算機應用,2016,36(1): 154–157,187.[doi: 10.11772/j.issn.1001-9081.2016.01.0154]

10王貴新,彭娟,鄭孝宗,等.基于稀疏自編碼器和 SVM 的垃圾短信過濾.現代電子技術,2016,39(17): 145–148.

11秦勝君,盧志平.稀疏自動編碼器在文本分類中的應用研究.科學技術與工程,2013,13(31): 9422–9426.[doi: 10.3969/j.issn.1671-1815.2013.31.051]

12李瀚清,房寧,趙群飛,等.利用深度去噪自編碼器深度學習的指令意圖理解方法.上海交通大學學報,2016,50(7):1102–1107.

13魏揚威,黃萱菁.結合語言學特征和自編碼器的英語作文自動評分.計算機系統應用,2017,26(1): 1–8.[doi: 10.15888/j.cnki.csa.005535]

14劉廣秀,宋單單.基于Adaboost框架下自動編碼器提升方法的文本分類.電子世界,2016,(11): 195,197.

15李陽輝,謝明,易陽.基于降噪自動編碼器及其改進模型的微博情感分析.計算機應用研究,2017,34(2): 373–377.

16劉紅光,馬雙剛,劉桂鋒.基于降噪自動編碼器的中文新聞文本分類方法研究.現代圖書情報技術,2016,32(6):12–19.[doi: 10.11925/infotech.1003-3513.2016.06.02]

17林少飛,盛惠興,李慶武.基于堆疊稀疏自動編碼器的手寫數字分類.微處理機,2015,(1): 47–51.

18尹征,唐春暉,張軒雄.基于改進型稀疏自動編碼器的圖像識別.電子科技,2016,29(1): 124–127.

19樊養余,李祖賀,王鳳琴,等.基于跨領域卷積稀疏自動編碼器的抽象圖像情緒性分類.電子與信息學報,2017,39(1): 167–175.

20戴曉愛,郭守恒,任淯,等.基于堆棧式稀疏自編碼器的高光譜影像分類.電子科技大學學報,2016,45(3): 382–386.

21王杰,賈育衡,趙昕.基于稀疏自編碼器的煙葉成熟度分類.煙草科技,2014,(9): 18–22.

22張一飛,陳忠,張峰,等.基于棧式去噪自編碼器的遙感圖像分類.計算機應用,2016,36(S2): 171–174,188.

23劉洋洋,唐奇伶.基于多尺度單層自編碼器的醫學圖像分類.科教導刊,2017,(15): 20–21,192.

24徐守晶,韓立新,曾曉勤.基于改進型 SDA的自然圖像分類與檢索.模式識別與人工智能,2014,27(8): 750–757.

25Zeng K,Yu J,Wang RX,et al.Coupled deep autoencoder for single image super-resolution.IEEE Transactions on Cybernetics,2017,47(1): 27–37.[doi: 10.1109/TCYB.2015.2501373]

26張寧,朱金福.基于深度自動編碼器的機場安檢人臉識別系統設計.計算機測量與控制,2015,23(2): 644–647.

27趙飛翔,劉永祥,霍凱.基于棧式降噪稀疏自動編碼器的雷達目標識別方法.雷達學報,2017,6(2): 149–156.

28康妙,計科峰,冷祥光,等.基于棧式自編碼器特征融合的SAR 圖像車輛目標識別.雷達學報,2017,6(2): 167–176.

29張彥,彭華.基于深度自編碼器的單樣本人臉識別.模式識別與人工智能,2017,30(4): 343–352.

30李江,冉君軍,張克非.一種基于降噪自編碼器的人臉表情識別方法.計算機應用研究,2016,33(12): 3843–3846.[doi:10.3969/j.issn.1001-3695.2016.12.072]

31冉鵬,王靈,李昕.一種基于棧式降噪自編碼器的人臉識別方法.工業控制計算機,2016,29(9): 100–101,104.

32于萬鈞,安改換,鹿文靜,等.基于棧式降噪自動編碼器的氣體識別.計算機工程與設計,2017,38(3): 814–818,836.

33陳國定,姚景新,洑佳紅.基于堆棧式自編碼器的尾礦庫安全評價.浙江工業大學學報,2015,43(3): 326–331.

34李榮雨,徐宏宇.平行堆棧式自編碼器及其在過程建模中的應用.電子測量與儀器學報,2017,31(2): 264–271.

35李遠豪.基于深度自編碼器的人臉美麗吸引力預測研究[碩士學位論文].江門: 五邑大學,2014

36于乃功,默凡凡.基于深度自動編碼器與Q學習的移動機器人路徑規劃方法.北京工業大學學報,2016,42(5): 668–673.[doi: 10.11936/bjutxb2015100028]

37寇茜茜,何希平.基于棧式自編碼器模型的匯率時間序列預測.計算機應用與軟件,2017,34(3): 218–221,247.

38王憲保,何文秀,王辛剛,等.基于堆疊降噪自動編碼器的膠囊缺陷檢測方法.計算機科學,2016,43(2): 64–67.[doi:10.11896/j.issn.1002-137X.2016.02.014]

39Sun WJ,Shao SY,Yan RQ.Induction motor fault diagnosis based on deep neural network of sparse auto-encoder.Journal of Mechanical Engineering,2016,52(9): 65–71.[doi: 10.3901/JME.2016.09.065]