基于學(xué)習(xí)率自增強(qiáng)的圖像識(shí)別深度學(xué)習(xí)算法

呂 伏 劉 鐵

1(遼寧工程技術(shù)大學(xué)基礎(chǔ)教學(xué)部 遼寧 葫蘆島 125105)2(遼寧工程技術(shù)大學(xué)軟件學(xué)院 遼寧 葫蘆島 125105)

0 引 言

深度學(xué)習(xí)(Deep Learning)[1]作為統(tǒng)計(jì)機(jī)器學(xué)習(xí)(Statistical Machine Learning)的重要分支，是目前人工智能領(lǐng)域備受關(guān)注的研究熱點(diǎn)。卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的重要推動(dòng)力，近年來取得了重大的突破，在計(jì)算機(jī)視覺、自然語言處理和遙感圖像理解等領(lǐng)域有出色的表現(xiàn)，被廣泛地應(yīng)用。

Hinton等[2]提出深度置信網(wǎng)絡(luò)(DBN)，它是含多隱藏層、多感知器的一種網(wǎng)絡(luò)結(jié)構(gòu)，DBN強(qiáng)大的特征提取能力和“逐層初始化”特有的訓(xùn)練模式，有效地降低了Deep Learning模型的訓(xùn)練難度。與淺層學(xué)習(xí)模型相比，Deep Learning模型有更深的網(wǎng)絡(luò)層次，通過構(gòu)建復(fù)雜的非線性網(wǎng)絡(luò)模型，對(duì)輸入數(shù)據(jù)的特征進(jìn)行分層學(xué)習(xí)，實(shí)現(xiàn)圖像特征的有效提取，最后把低層學(xué)習(xí)到的特征組合為高層抽象的圖像特征，完成對(duì)輸入數(shù)據(jù)的分類識(shí)別。

深度置信網(wǎng)絡(luò)的提出是深度學(xué)習(xí)發(fā)展史上的一個(gè)里程碑，從此，深度學(xué)習(xí)快速發(fā)展，并被應(yīng)用到眾多領(lǐng)域中。在圖像識(shí)別過程中，為了解決特征提取困難、無法滿足實(shí)時(shí)性要求等問題，Liu等[3]通過構(gòu)建自適應(yīng)增強(qiáng)模型，針對(duì)分類誤差進(jìn)行有目的的訓(xùn)練，實(shí)現(xiàn)了卷積神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化調(diào)整和分類特征的自適應(yīng)增強(qiáng)，并且網(wǎng)絡(luò)的收斂性能和識(shí)別精度有較大的提高。Liu等[4]提出一種結(jié)合無監(jiān)督和有監(jiān)督學(xué)習(xí)的網(wǎng)絡(luò)權(quán)值預(yù)訓(xùn)練方法，實(shí)驗(yàn)驗(yàn)證該算法在解決訓(xùn)練過程中易收斂于局部最優(yōu)值的問題上優(yōu)于現(xiàn)有算法。Gao等[5]在卷積神經(jīng)網(wǎng)絡(luò)模型AlexNet[6]的基礎(chǔ)上，提出了對(duì)數(shù)據(jù)集采用數(shù)據(jù)增強(qiáng)等預(yù)處理方法。實(shí)驗(yàn)結(jié)果表明，識(shí)別準(zhǔn)確率和識(shí)別速度有一定的提升。Song等[7]提出基于深度神經(jīng)網(wǎng)絡(luò)模型的手寫體圖像識(shí)別方法，讓機(jī)器自動(dòng)學(xué)習(xí)特征，并在此基礎(chǔ)之上改進(jìn)成本函數(shù)，加入Dropout[8]防止過擬合，實(shí)驗(yàn)結(jié)果表明，該方法對(duì)手寫體數(shù)字的識(shí)別有更加快速準(zhǔn)確的識(shí)別效果，在識(shí)別準(zhǔn)確率和實(shí)時(shí)性方面均有提高。He等[9]在漢字識(shí)別過程中結(jié)合卷積神經(jīng)網(wǎng)絡(luò)，取得了較好的識(shí)別效果并降低了訓(xùn)練時(shí)間。Chen等[10]提出的手寫體數(shù)字識(shí)別模型，有較好的識(shí)別精度，模型的識(shí)別能力甚至超過了人類的識(shí)別能力。但是目前深度學(xué)習(xí)模型仍然具有收斂速度慢、識(shí)別精度不高、泛化性不足等問題。

學(xué)習(xí)率是一個(gè)非常重要的模型訓(xùn)練超參數(shù)，決定了迭代的步長。學(xué)習(xí)率過大會(huì)使代價(jià)函數(shù)直接越過全局最優(yōu)點(diǎn)，使最優(yōu)解在極值點(diǎn)附近來回震蕩；學(xué)習(xí)率過小會(huì)使代價(jià)函數(shù)的變化速度很慢，增加網(wǎng)絡(luò)模型收斂的復(fù)雜度，并很容易使最優(yōu)解收斂于局部最小值。現(xiàn)有的神經(jīng)網(wǎng)絡(luò)模型，學(xué)習(xí)率一般是隨著迭代次數(shù)進(jìn)行衰減，這對(duì)神經(jīng)網(wǎng)絡(luò)模型的收斂速度和識(shí)別精度有很大的影響。因此在網(wǎng)絡(luò)模型的訓(xùn)練過程中動(dòng)態(tài)調(diào)整學(xué)習(xí)率就顯得非常重要。

受文獻(xiàn)[11]的啟發(fā)，為了進(jìn)一步提高深度卷積神經(jīng)網(wǎng)絡(luò)的收斂速度、識(shí)別精度以及網(wǎng)絡(luò)模型的泛化能力，本文通過研究深度卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中學(xué)習(xí)率的變化情況，提出一種學(xué)習(xí)率自增強(qiáng)算法，在網(wǎng)絡(luò)訓(xùn)練初期，用大于1的常數(shù)自增強(qiáng)學(xué)習(xí)率，加快網(wǎng)絡(luò)模型向極值點(diǎn)的逼近速度。隨著訓(xùn)練的進(jìn)行，根據(jù)網(wǎng)絡(luò)模型代價(jià)函數(shù)的相對(duì)變化率，調(diào)整網(wǎng)絡(luò)模型的學(xué)習(xí)率。實(shí)驗(yàn)表明，該方法可以有效地提高網(wǎng)絡(luò)模型的收斂速度，并使最優(yōu)解在極值點(diǎn)附近的震蕩程度得到極大緩解。

1 相關(guān)工作

深度卷積神經(jīng)網(wǎng)絡(luò)是一種特殊的多層神經(jīng)網(wǎng)絡(luò)模型，在圖像處理領(lǐng)域有著廣泛的應(yīng)用，深度卷積神經(jīng)網(wǎng)絡(luò)是受動(dòng)物視覺神經(jīng)系統(tǒng)的啟發(fā)，用卷積層模擬對(duì)特定圖案的響應(yīng)，池化層用來模擬動(dòng)物視覺皮層的感受野，一般由輸入層、隱藏層和輸出層組成，如圖1所示。輸入層是未經(jīng)任何處理的二維原始圖像，隱藏層通常為卷積層和池化層的重復(fù)結(jié)構(gòu)，輸出層是對(duì)特征進(jìn)行分類和識(shí)別的結(jié)果，其中特征提取和分類是在隱層中進(jìn)行的。深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像的分類識(shí)別主要包括兩個(gè)過程，即前向過程和反向過程。前向過程包括特征提取和分類，計(jì)算各個(gè)神經(jīng)元的激勵(lì)值和損失值，而反向傳播主要是權(quán)值更新的過程。前向傳播過程會(huì)產(chǎn)生分類誤差，反向過程通過把前向傳播產(chǎn)生的誤差反饋到網(wǎng)絡(luò)模型中從而實(shí)現(xiàn)對(duì)權(quán)值和偏置的更新。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

設(shè)卷積層的第i個(gè)輸入數(shù)據(jù)為Ii，卷積核為Wi，各有n個(gè)，偏置為Bi，激活函數(shù)為f，則卷積層輸出特征的計(jì)算表達(dá)式為：

(1)

式中：con為卷積函數(shù)；Fc為卷積層輸出的特征。

下采樣操作是對(duì)卷積輸出的特征做進(jìn)一步的降維處理，并把對(duì)應(yīng)輸出輸入到全連接層，全連接層經(jīng)過權(quán)值變換和激活后得到本輪的分類結(jié)果，通過與分類真值比較，得到對(duì)應(yīng)的分類誤差。設(shè)全連接層的輸入特征為T，對(duì)應(yīng)的權(quán)值為W，偏置為B，激活函數(shù)為f，則全連接層進(jìn)行分類的表達(dá)式為：

F0=f(W*T+B)

(2)

式中：F0為分類結(jié)果矩陣。

2 學(xué)習(xí)率自增強(qiáng)算法

2.1 代價(jià)函數(shù)

在機(jī)器學(xué)習(xí)中，經(jīng)常選擇代價(jià)函數(shù)作為優(yōu)化的目標(biāo)函數(shù)。代價(jià)函數(shù)指的是深度卷積神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)值和真實(shí)值之間的誤差。樣本數(shù)據(jù)集的代價(jià)函數(shù)定義為：

(3)

圖2 ReLU函數(shù)圖像

(4)

(5)

深度神經(jīng)網(wǎng)絡(luò)通過反向傳播，將分類誤差反饋到隱層中，使每層中的權(quán)值和偏置得到更新，進(jìn)行下一次循環(huán)迭代時(shí)，使用最近更新后的各項(xiàng)參數(shù)進(jìn)行網(wǎng)絡(luò)模型的訓(xùn)練，通過不斷的更新迭代，使網(wǎng)絡(luò)模型中的識(shí)別率不斷提高，損失函數(shù)降至最小。設(shè)l為學(xué)習(xí)率，則網(wǎng)絡(luò)模型中的權(quán)值w和偏置b由w1和b1更新為w2和b2的表達(dá)式為：

(6)

(7)

由圖2可知，ReLU激活函數(shù)是分段線性函數(shù)，自變量為負(fù)值或0時(shí)，函數(shù)值為0，自變量為正值時(shí)，函數(shù)值保持不變，這種操作被稱為單側(cè)抑制。在深度卷積神經(jīng)網(wǎng)絡(luò)模型中，由于梯度下降算法鏈?zhǔn)角髮?dǎo)法則的乘法特性，存在梯度消失現(xiàn)象，通過使用ReLU激活函數(shù)，可有效地解決因?yàn)檫B乘而導(dǎo)致的梯度消失問題，整個(gè)過程的計(jì)算量較小，并且ReLU激活函數(shù)會(huì)使一部分神經(jīng)元的輸出為0，從而獲得網(wǎng)絡(luò)的稀疏性，減少了參數(shù)間相互依存關(guān)系，有效緩解過擬合問題的發(fā)生。但是ReLU激活函數(shù)的輸出不是以0為中心，會(huì)使一部分神經(jīng)元的輸出為0，故隨著訓(xùn)練的進(jìn)行，有可能出現(xiàn)神經(jīng)元“死亡”、權(quán)重?zé)o法更新的情況。因此，考慮到以上因素，本文提出學(xué)習(xí)率自增強(qiáng)算法，用大于1的常數(shù)自增強(qiáng)學(xué)習(xí)率，加快網(wǎng)絡(luò)向極值點(diǎn)附近的逼近速度，隨著訓(xùn)練的進(jìn)行，根據(jù)模型代價(jià)函數(shù)的變化情況調(diào)整學(xué)習(xí)率，使得學(xué)習(xí)率的變化對(duì)于未知的數(shù)據(jù)更加敏感，提高了模型分類識(shí)別的性能。

2.2 基于代價(jià)函數(shù)變化率的學(xué)習(xí)率自增強(qiáng)算法

學(xué)習(xí)率是深度卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練過程中一個(gè)非常重要的超參數(shù)，它是梯度下降算法搜索過程的步長，對(duì)網(wǎng)絡(luò)模型的性能有著非常重要的作用。學(xué)習(xí)率過大，將導(dǎo)致最優(yōu)解在極值點(diǎn)附近來回震蕩；學(xué)習(xí)率過小，將導(dǎo)致模型很難收斂或使得最優(yōu)解收斂于局部最小值。因此，學(xué)習(xí)率對(duì)網(wǎng)絡(luò)模型的收斂效果有極大的影響。而在以往的實(shí)驗(yàn)中，網(wǎng)絡(luò)模型的學(xué)習(xí)率大多是根據(jù)經(jīng)驗(yàn)來設(shè)定，在模型訓(xùn)練的整個(gè)周期中保持恒定或根據(jù)迭代次數(shù)進(jìn)行衰減。在實(shí)際實(shí)驗(yàn)過程中，隨著時(shí)間的推移，網(wǎng)絡(luò)模型的學(xué)習(xí)情況復(fù)雜，在各個(gè)時(shí)期有很大的差異，因此，將模型的學(xué)習(xí)率設(shè)置為單一的不變量對(duì)模型的學(xué)習(xí)性能有重要的影響。本文提出的學(xué)習(xí)率自增強(qiáng)算法是受自適應(yīng)調(diào)整學(xué)習(xí)率算法[11-12]啟發(fā)，根據(jù)模型訓(xùn)練過程中各個(gè)階段代價(jià)函數(shù)的變化情況調(diào)整學(xué)習(xí)率，相比于恒定的學(xué)習(xí)率，使用學(xué)習(xí)率自增強(qiáng)算法可以提升模型的性能，縮短訓(xùn)練的時(shí)間。在模型訓(xùn)練初期，為了加快網(wǎng)絡(luò)的收斂速度，用大于1的因子自增強(qiáng)學(xué)習(xí)率，加快網(wǎng)絡(luò)向極值點(diǎn)附近逼近的速度。隨著訓(xùn)練的進(jìn)行，由于模型接近收斂，因此在該階段根據(jù)代價(jià)函數(shù)的相對(duì)變化率適當(dāng)?shù)脑黾踊驕p小學(xué)習(xí)率，直至網(wǎng)絡(luò)收斂或是達(dá)到設(shè)定的迭代次數(shù)。

第n個(gè)世代的學(xué)習(xí)率ln可以表示為：

(8)

(9)

式中：l0為初始學(xué)習(xí)率；α(x)為代價(jià)函數(shù)的相對(duì)變化率；J(x)、J(x-1)分別為x輪和x-1輪的代價(jià)函數(shù)；本文設(shè)置閾值0

本文提出的學(xué)習(xí)率自增強(qiáng)算法，根據(jù)當(dāng)前網(wǎng)絡(luò)模型的訓(xùn)練世代數(shù)(epoch)和代價(jià)函數(shù)的相對(duì)變化率進(jìn)行適當(dāng)?shù)母拢襟E如下：

Step1判斷當(dāng)前訓(xùn)練的世代數(shù)，若小于等于b，執(zhí)行Step 2；若大于b，則執(zhí)行Step 3。

Step2用大于1的常數(shù)自增強(qiáng)學(xué)習(xí)率。

Step3按式(3)計(jì)算代價(jià)函數(shù)的值，求出代價(jià)函數(shù)的相對(duì)變化率。

Step4若代價(jià)函數(shù)變化率小于0，則按ln=ln-1(1-aα(x))調(diào)整學(xué)習(xí)率;否則，按ln=ln-1(1-α(x))調(diào)整學(xué)習(xí)率。

Step5按式(6)和式(7)更新權(quán)值和偏置。

Step6當(dāng)未達(dá)到設(shè)定的迭代次數(shù)時(shí)，返回Step 1繼續(xù)執(zhí)行;否則停止迭代，訓(xùn)練完成。

在網(wǎng)絡(luò)訓(xùn)練的前b個(gè)世代，通過大于1的常數(shù)λ自增強(qiáng)學(xué)習(xí)率，從b+1世代以后，判斷當(dāng)前代價(jià)函數(shù)的相對(duì)變化率，如果代價(jià)函數(shù)的變化率大于0時(shí)，則根據(jù)代價(jià)函數(shù)的變化率適當(dāng)?shù)臏p小學(xué)習(xí)率，當(dāng)代價(jià)函數(shù)變化率小于0時(shí)，則根據(jù)初始學(xué)習(xí)率和迭代次數(shù)適當(dāng)?shù)脑龃髮W(xué)習(xí)率。經(jīng)過多次參數(shù)訓(xùn)練，得到公式中較優(yōu)的參數(shù)取值為λ=1.05、b=4，即在模型訓(xùn)練的前4個(gè)世代用1.05的倍數(shù)自增強(qiáng)學(xué)習(xí)率。

3 實(shí)驗(yàn)與結(jié)果分析

本文實(shí)驗(yàn)是在Python環(huán)境下，采用Pytorch框架，基于AlexNet深度卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)圖像分類識(shí)別[13]，網(wǎng)絡(luò)設(shè)計(jì)5個(gè)卷積層，5個(gè)池化層，采用固定卷積核，使用最大值池化方法，所使用計(jì)算機(jī)的CPU型號(hào)為Intel(R)Core(TM)i7- 4700MQ，內(nèi)存為16 GB。實(shí)驗(yàn)共分為兩個(gè)部分，第一部分是在MNIST數(shù)據(jù)集[14]上對(duì)手寫數(shù)字進(jìn)行識(shí)別，驗(yàn)證本文算法對(duì)圖像識(shí)別能力的優(yōu)化效果；第二部分是在CIFAR-10數(shù)據(jù)集[15]上對(duì)圖像進(jìn)行分類識(shí)別，驗(yàn)證本文算法對(duì)一般圖像的普適性。MNIST、CIFAR-10數(shù)據(jù)集中的部分樣本如圖3所示。

(a) MNIST手寫數(shù)據(jù)集

(b) CIFAR-10數(shù)據(jù)集圖3 數(shù)據(jù)集部分樣本

根據(jù)式(8)和式(9)得到本文網(wǎng)絡(luò)模型訓(xùn)練過程中代價(jià)函數(shù)和學(xué)習(xí)率的變化情況如圖4所示。

(a) 代價(jià)函數(shù)

(b) 學(xué)習(xí)率圖4 實(shí)驗(yàn)結(jié)果

3.1 手寫數(shù)字?jǐn)?shù)據(jù)集實(shí)驗(yàn)與分析

實(shí)驗(yàn)使用MNIST手寫數(shù)字?jǐn)?shù)據(jù)集，對(duì)學(xué)習(xí)率自增強(qiáng)的AlexNet[16]神經(jīng)網(wǎng)絡(luò)模型的性能進(jìn)行測(cè)試和驗(yàn)證，MNIST數(shù)據(jù)集中共有7萬條數(shù)據(jù)，其中6萬條作為模型的訓(xùn)練數(shù)據(jù)，1萬條作為驗(yàn)證模型識(shí)別準(zhǔn)確率的測(cè)試數(shù)據(jù)，每個(gè)樣本為28×28的灰度圖像，0到9共10類的手寫數(shù)字，在輸入神經(jīng)網(wǎng)絡(luò)模型前，將樣本進(jìn)行歸一化處理。使用本文中的學(xué)習(xí)率自增強(qiáng)算法作為網(wǎng)絡(luò)模型的優(yōu)化算法，每批次樣本大小為256，共訓(xùn)練30代。在模型訓(xùn)練階段，在全連接層引入Dropout，有效地避免過擬合問題，可消除全連接層對(duì)實(shí)驗(yàn)結(jié)果的影響。對(duì)結(jié)合本文算法的AlexNet網(wǎng)絡(luò)模型在MNIST數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，記錄圖像分類結(jié)果的準(zhǔn)確率情況，并繪制相應(yīng)的曲線圖。隨著迭代的進(jìn)行，準(zhǔn)確率情況如圖5所示。

圖5 學(xué)習(xí)率自增強(qiáng)算法的識(shí)別準(zhǔn)確率

可以看出，隨著迭代的不斷進(jìn)行，學(xué)習(xí)率自增強(qiáng)算法的識(shí)別準(zhǔn)確率不斷上升，到達(dá)一定程度后，準(zhǔn)確率不在變化，網(wǎng)絡(luò)模型收斂，所以本文算法能夠更好地反映學(xué)習(xí)率自增強(qiáng)的網(wǎng)絡(luò)模型學(xué)習(xí)效果。

3.2 CIFAR-10數(shù)據(jù)集實(shí)驗(yàn)與分析

CIFAR-10數(shù)據(jù)集是由10類32×32的彩色圖片組成，共6萬幅圖片，每一類包含6 000幅圖片。CIFAR-10數(shù)據(jù)集被劃分為5個(gè)訓(xùn)練的batch，每個(gè)batch包含1萬幅圖片，測(cè)試集batch的圖片是由從每個(gè)類別中隨機(jī)挑選1 000幅圖片組成。在進(jìn)行模型訓(xùn)練之前，同樣需要將樣本進(jìn)行歸一化處理。

相比于MNIST數(shù)據(jù)集，CIFAR-10數(shù)據(jù)集在每個(gè)類別中的差異相對(duì)較大，同時(shí)受姿態(tài)、顏色、背景等影響，在CIFAR-10數(shù)據(jù)集上的實(shí)驗(yàn)難度相對(duì)較大。在CIFAR-10數(shù)據(jù)集上，K-means+SVM[17]的識(shí)別準(zhǔn)確率達(dá)到了79.60%。各種網(wǎng)絡(luò)模型的識(shí)別準(zhǔn)確率如表1所示。

表1 CIFAR-10數(shù)據(jù)集上各方法的識(shí)別準(zhǔn)確率(%)

在CIFAR-10數(shù)據(jù)集上本文算法的實(shí)驗(yàn)結(jié)果如圖6所示。

圖6 CIFAR-10數(shù)據(jù)集誤識(shí)率

由上述兩個(gè)實(shí)驗(yàn)結(jié)果可以看出，結(jié)合本文算法的網(wǎng)絡(luò)模型在一定程度上優(yōu)于傳統(tǒng)方法，但是在CIFAR-10數(shù)據(jù)集上的效果不如更深層次的網(wǎng)絡(luò)，相比于Highway、ResNet等深層網(wǎng)絡(luò)，本文算法的識(shí)別能力有限，存在一定的差距。

4 結(jié) 語

本文提出的學(xué)習(xí)率自增強(qiáng)圖像識(shí)別算法，在網(wǎng)絡(luò)模型訓(xùn)練階段提高了調(diào)整學(xué)習(xí)率的靈活性，在迭代初期，能加大網(wǎng)絡(luò)模型學(xué)習(xí)的步長，加快模型的收斂速度，當(dāng)逼近最優(yōu)解附近時(shí)，能根據(jù)代價(jià)函數(shù)的變化動(dòng)態(tài)的調(diào)整學(xué)習(xí)率，避免出現(xiàn)震蕩的情況。實(shí)驗(yàn)結(jié)果表明，該方法能在更小的迭代次數(shù)下接近最優(yōu)解，有較好的收斂性，在一定程度上提高了圖像識(shí)別的準(zhǔn)確率。

由于本文實(shí)驗(yàn)的數(shù)據(jù)集為隨機(jī)選取的圖像數(shù)據(jù)，因此下一步研究工作將是如何設(shè)計(jì)更加有效的優(yōu)化方法和正則化約束，進(jìn)一步提高算法的識(shí)別準(zhǔn)確率。另外，隨著網(wǎng)絡(luò)層數(shù)的增多，模型的學(xué)習(xí)能力越強(qiáng)，但耗時(shí)也相對(duì)增多，因此，如何兼顧效率和時(shí)間也是未來的一個(gè)研究方向。