基于AlexNet的Oxford花卉識別方法

王麗雯

【摘 要】介紹了對AlexNet深度卷積神經網絡進行優化的一種方法，該方法能夠更好的實現非剛性物體的識別，并以Oxford的102種花卉用于訓練和測試，構建了一個新的卷積神經網絡模型，后對測試結果進行逐步優化。原AlexNet網絡測試識別精度為61.2%，優化網絡結構及網絡順序后精度提高到66.3%，解決類間不平衡問題后測試精度提高為71%。結果表明，本文提到的算法可以提升大約10%的精度。

【關鍵詞】深度學習；AlexNet；花卉分類

0 引言

人工智能即為機器賦予人的智能。而機器學習是一種實現人工智能的一種方法。為了實現這種方法，一種新的技術——深度學習誕生了。最早的卷積學習網絡LeNet由LeCun在1998年提出，深度學習的概念則由Geoffrey Hinton在2006年提出，而2012年ImageNet競賽冠軍獲得者Alex Krizhevsky設計的AlexNet將深度卷積神經網絡帶入了人們的視野。伴隨著GPU的廣泛應用和并行計算的更有效、更便宜，深度學習自2015年以來實現了大爆發式的增長，它也是目前最熱的研究方向之一。

目前為止，基于PRML的圖像識別與分類問題非常多。其本質為從眾多圖像中學習特征并給出相應標簽進行分類。但到目前為止，國內外對于此問題的研究多基于幾何相關性較高，識別較容易的剛性物體的識別，如人臉等。對于非剛性物體研究則較少，如花卉等。因為不同種類的花卉在正常情況下會呈現出不同種類的形態，無固定模式，所以花卉識別較為困難。

本文主要針對花卉這一類非剛性物體的識別進行研究，基于AlexNet網絡并在其基礎上進行了改進，并探討了類間不平衡對于實驗結果的影響。

1 深度學習模型

誕生于1998年的經典網絡LeNet包含了卷積層、池化層和全聯接層，是現代CNN網絡的基本組件。而隨著ReLU和Dropout的提出，以及GPU和大數據帶來的歷史機遇，CNN網絡在2012年迎來了歷史突破——AlexNet。

從兩者對比中可以看出，相比于LeNet，首先AlexNet的網絡結構變得更深，由原來增加到了8層。其次卷積功能變的更強大，訓練時隨機crop到224*224并允許水平翻轉，測試時做了5次crop并翻轉后對結果求平均，使數據得到了大幅度增強從而減少過擬合現象的產生。再次，該網絡不僅僅可以進行分類，還可以進行數據檢測。最后AlexNet新增了模塊功能，如LRN、Dropout、ReLU、softmax等等。

2 花卉模型的配置

2.1 學習率

如果學習率過大，可能會越過最優值；反之如果學習率最小，優化的效率可能過低，長時間無法收斂。解決方法是依據如下公式更新：ωj=ωj-（λ/N）*？鄣F（ωj）/？鄣ωj。經過測試，本實驗的學習率為0.001測試結果最好。

2.2 動量因子

為解決學習率的問題，引入了動量因子這一參數。這一參數使本次的更改方向不完全由當前樣本的梯度方向決定，而采用前參數方向與本次梯度方向相結合作為結果，從而避免過早收斂與局部最優點。本實驗的動量因子momentum設置為0.9。

2.3 Dropout參數

在訓練中，如果用于訓練樣本過少，則模型容易產生過擬合的現象，為解決該問題，引入Dropout這一參數，使隱層中的部分節點失去作用，但訓練時間有所延長。本實驗設置Dropout的值為0.5。

3 實驗設計與結果

本實驗是在Windows 10操作系統下基于Caffe平臺進行的。實驗設計主要包括測試原AlexNet模型在Oxford Flower上的識別結果，修改Alexnet網絡順序及solver.prototxt的結構后觀察測試精度是否增加，以及解決Oxford Flower本身的類間不平衡問題是否能夠優化測試精度。測試結果陳述如下。

在利用Caffe自帶的AlexNet模型在Oxford Flower上進行測試時，可以按照caffe的教程來進行實驗。首先進行數據準備，將用于train和test的數據標簽寫入txt文件中，并將兩個txt文件導入指定目錄文件的數據庫中。之后計算數據的均值，以方便接下來的訓練能減去均值，從而得到更好的訓練結果。最后即定義網絡結構并開始訓練，迭代2000次需花費半個小時左右的時間。初步得到的測試精度為61.2%，相比較Alex在2012年的論文中提到的精度57.2%提升了大約4個百分點。

之后對網絡結構進行了一些優化，調整了一下網絡參數及順序，如batchsize的大小、pooling與norm層的順序、濾波器的偏差值等等，將測試精度提高到了66.3%。

最后嘗試能否將結果再進一步優化時，考慮到Oxford Flower存在類間不平衡的問題，最大類樣本標簽數量為258個，最小類樣本標簽數量為40個，對102類樣本標簽取中值操作得到結果為66，則按照一定標準，將大類圖片隨機抽取減少一部分，小類圖片隨機旋轉或加噪聲增加一部分。結果表明測試精度提高到了71%。

4 結束語

通過本次試驗，筆者加深了對于深度學習以及卷積神經網絡的理解，明白了數據準備對于實驗的重要性以及網絡對于訓練的巨大影響。如何應用更深的網絡去解決更多的問題以及減少訓練時間是筆者今后進一步的研究方向。

【參考文獻】

[1]Y.LeCun， L. Bottou，Y.Bengio， and P. Haffner. Gradient-based learning applied to document recognition. Proceedings of the IEEE，86（11）：2278-2324，1998.

[2]A. Krizhevsky， I. Sutskever， and G. Hinton. Imagenet classification with deep convolutional neural networks. In Advances in Neural Information Processing Systems 25，2012.

[3]D.Masko，P.Hensman. The Impact of Imbalanced Training Data for Convolutional Neural Networks.

[責任編輯：朱麗娜]endprint