基于改進型稀疏自動編碼器的圖像識別

尹　征,唐春暉,張軒雄

(上海理工大學 光電信息與計算機工程學院,上海　200093)

基于改進型稀疏自動編碼器的圖像識別

尹征,唐春暉,張軒雄

(上海理工大學 光電信息與計算機工程學院,上海200093)

摘要傳統的稀疏自動編碼器不具備平移不變性,同時對非高斯噪聲較為敏感。為增加網絡平移不變的特性,借鑒卷積神經網絡的相關理論,通過對原始的像素塊進行卷積運算以達到上述目的;而為了提高對非高斯噪聲的魯棒性,自動編碼器的代價函數由均方誤差改為了最大相關熵準則。通過在MNIST和CIFAR-10數據集上進行試驗,結果證明,改進后的方法較傳統的自動編碼器具有更好地識別效果,識別率提高了2%～6%。

關鍵詞深度學習;自動編碼器;卷積神經網絡;最大相關熵

Image Recognition Based on Improved Sparse Auto-encoder

YIN Zheng,TANG Chunhui,ZHANG Xuanxiong

(School of Optical-Electrical and Computer Engineering,University of Shanghai for

Science and Technology,Shanghai 200093,China)

AbstractThe traditional sparse auto-encoder lacks invariant translation and is sensitive to non-Gauss noise.A method convolving the original pixel block is proposed to increase the network invariance with the mean square error (MSE) replaced by the maximum correntropy criterion (MCC) in cost function to improve the anti-noise ability.The proposed method is evaluated using the MINIST and CIFAR-10 datasets.Experimental results show that the proposed approach improves the recognition rate by 2% in the condition of non-noise and by 6% in the noise condition.

Keywordsdeep learning;auto-encoder;convolutional neural network;maximum correntropy criterion

由于深度學習能夠具有模擬人類大腦結構的功能,通過組合底層特征形成更加抽象有效的特征表達來完成對圖像的整體描述[1]。深度學習可看成是神經網絡發展的產物,傳統的多層神經網絡在采用深度架構時,因采用BP訓練算法,系統容易陷入局部最優。而深度學習有效地克服了這種弊端,已成功應用于圖像識別、語音識別、人臉識別等領域。

自動編碼器(Auto-Encoder)是典型的深度學習框架之一,由Bourlard在文獻[2]中被提出,但主要的應用和發展是在2006年Hinton在文獻[3]中提出了一種解決深度信念網(Deep Belief Network,DBN)不易訓練問題的方法--貪婪逐層訓練算法,該種算法通過無監督學習對網絡進行逐層訓練,與傳統的BP算法訓練多……