基于AlexNet的小樣本水面漂浮物識別

李 寧 王雨萱 徐守坤 石 林

1(常州大學 信息科學與工程學院 數理學院 江蘇 常州 213164)2(福建省信息處理與智能控制重點實驗室(閩江學院) 福建 福州 350108)

0 引 言

隨著經濟生活的快速發展，水面漂浮物識別在水體污染監控以及水面智能清理機器人等方面扮演著更為重要的角色。然而，目前國內外對水面漂浮物識別的研究比較少，大部分是采用遙感圖像或信號傳播等技術，實現水體或水上目標識別[1-3]。由于水面環境的復雜性和特殊性，水面圖像具有光照影響大、容易被噪聲污染等特點，使得水面圖像識別具有了其自身的特殊性。而在傳統的目標識別中，常用的解決方案是使用各類特征提取方法結合分類器實現[1,3]，雖然這些特征提取方式確實能夠在某些特定的數據和任務中得到良好的識別效果。但這些特征在受到大量噪聲或其他因素干擾等情況下，很難被較好地提取，這樣就會影響到分類器的實現效果，從而無法很好地分類、識別目標。

近年來，深度學習成為模式識別領域的新熱點，它允許由多個處理層組成的模型來學習具有多個抽象層次的數據表示。其概念由Hinton等于2006年提出，現在被廣泛應用于計算機視覺、語音識別以及自然語言處理等其他領域[4-6]。自21世紀初以來，卷積神經網絡(ConvNets)[7]已被應用于空中物體的圖像識別[8]。基于深度學習的水面圖像識別研究較少，其中主要原因可能是深度學習在圖像分類中的成功，就在于使用了大量的訓練數據，而水面漂浮物圖像的獲取總是需要大量的人力和成本，這使得獲取大量的樣本圖像變得困難。但不可否認的是，深度學習相較于傳統的特征提取方式，可以實現更好的分類、識別效果，也是未來圖像識別領域的發展方向。

因此，在深度學習的基礎上，本文研究了小樣本容量下，水面圖像中漂浮物識別的解決方案，旨在針對水面污染提出一種更有效的污染物識別策略。更具體地說，在攝像機捕捉到的包含漂浮類污染物的普通水面圖像中(主要包括塑料袋與塑料瓶兩種常見污染物)，嘗試找到一個有效的簡單框架，來解決水面污染物識別問題。本文提出以現有的AlexNet網絡[9]為基礎，利用公開數據集ImageNet[10]以及COCO[11]等收集大量普通塑料袋、塑料瓶圖像進行網絡預訓練，然后利用梯度下降法進行網絡微調，最后將訓練好的網絡用于實際采集到的水面污染物圖像識別中。同時，對于待識別的水面圖像，采用直方圖均衡化與對數變換相結合的方式，對圖像進行光照不均勻的矯正，在增強圖像整體對比度的同時，提高陰影處的亮度。由于本文目標的紋理特征較為明顯，因此在傳統特征提取方法中，采用HOG特征[12-13]提取方法與本文方法進行對比。實驗結果表明，網絡微調的方法可以有效提高傳統網絡對小樣本水面漂浮物的識別效果，相較于傳統的特征提取方式具有更高的識別率。另外，光照矯正有效地均勻了圖像亮度，削弱了光照影響。

1 深度學習與AlexNet網絡

1.1 深度學習

深度學習的概念由Hinton等在2006年提出，源于對人工神經網絡的研究，包含多隱藏層的多層感知器就是一種深度學習結構。深度學習通過組合低層特征實現更加抽象的高層表示屬性類別或特征，以此發現數據的分布式特征表示。它是機器學習研究中的一個嶄新的領域，在于建立、模擬人腦進行分析學習的神經網絡，模仿人腦的機制來解釋數據，例如圖像、聲音和文本。

深度學習是基于大量數據訓練實現的，一般情況下，訓練數據越多，實現效果越好。但是在實際應用中，許多特殊領域的圖像采集并不是那么簡單，或者采集過程需要耗費大量的人力物力。因此在這些領域中，基于深度學習的研究非常少，通常采用傳統的特征提取方式實現目標分類或識別。然而，隨著深度學習在機器視覺中逐漸表現出更多的優勢，深度學習在這些領域中的應用也是一種趨勢。

1.2 AlexNet網絡體系結構

AlexNet是Alex Krizhevsky在2012年提出的，此后更深的神經網絡被提出，例如vgg，GoogleLeNet以及ResNet[14]等更為復雜的網絡結構。相比傳統的卷積神經網絡例如LetNet來說，AlexNet增添了數據增強、Dropout和Relu激活函數，在很大程度上提高了傳統網絡的分類效果，到目前為止也是比較經典且實用的網絡之一。而相較于更為復雜的網絡結構例如ResNet，AlexNet具有更簡單短小的網絡層次，網絡結構如圖1所示。

圖1 AlexNet網絡結構

網絡中包含了8個有權重的層，其中前5個是卷積層，剩下的3個是全連接層，最后一個全連接層的輸出給到一個1 000維的softmax，最終給出在1 000個類標簽上的分布。在這種簡單的網絡架構下，AlexNet在一般的分類識別任務中都有良好的表現，且這樣的網絡結構更適用于小平臺搭載，可以滿足水面清理任務的分類需求，不需要再采用更加復雜的網絡來實現。否則不僅會增加運行的成本，也可能會造成大量過擬合。因此本文以AlexNet為基礎實現對小樣本水面圖像的漂浮污染物識別。

2 圖像光照矯正算法

相較于普通圖像，水面圖像具有更易受光照影響的特點，例如水面反射造成部分區域亮度過高，從而影響識別效果。因此本文采用直方圖均衡化與對數變換相融合的方法，對水面圖像進行光照不均勻的矯正，然后將矯正后的圖像放入訓練好的網絡中進行識別，在一定程度上提高了對水面漂浮物的識別率。

常用的圖像光照不均勻矯正算法有很多，例如頂(底)帽變換、直方圖均衡化、拉普拉斯算子增強、對數變換等。其中，頂(底)帽變換通常用于分割算法中的光照矯正，而直方圖均衡化以及對數變換屬于光照補償算法，可以有效提高圖像的整體亮度和對比度，更適用于本文提出的神經網絡識別方法。

2.1 直方圖均衡化

直方圖均衡化是一種常用的光照補償方法，目的是將原始圖像的直方圖轉換為均勻分布的形式，以此增加像素灰度值的動態范圍，從而增強圖像的整體對比度。對于一幅大小為的M×N圖像，假設該圖像的像素值取值范圍為{0,1,2,…,L-1}，圖像中灰度值r出現的概率，即為該圖像的直方圖，計算公式如下：

(1)

式中：M×N為圖像中像素的總數，nr表示該圖像中灰度值為r的像素點個數。

然后通過變換函數，將原始輸入圖像中灰度值為r的像素映射到輸出圖像中灰度值為S的對應像素，變換函數的計算公式如下：

(2)

直方圖均衡化利用圖像直方圖對對比度進行調整，提高了圖像中陰暗部分的亮度，但在某些光照惡劣的圖像中表現不佳，容易出現對比度過于強烈的情況。

2.2 對數變換

對數變換也是圖像增強的一種常見方法，目的在于將輸入圖像中較窄的低灰度值映射到輸出圖像較寬的灰度值，對輸入圖像中灰度值的對數變換公式如下：

Gr=c×log(r+1)

(3)

式中：c是常數，通常取值為c=255/log(256)，且底數通常默認為e，對數變換公式即為：

Gr=c×ln(r+1)

(4)

由于對數曲線在像素值較低的區域斜率較大，在像素值較高的區域斜率較小，因此圖像經過對數變換后，較暗區域的對比度將有所提升，以此增強圖像的暗部細節，但也存在處理后的圖像邊緣模糊的問題。

2.3 矯正后圖像融合

將圖像進行直方圖均衡化可以有效減弱光照影響，此時圖像整體對比度明顯增強，整體亮度提高，但在光照惡劣的情況下，其實現效果并不理想。而對數變換處理后的圖像較為柔和，但其缺點在于容易出現邊緣不清晰的問題。針對兩種算法的優缺點，本文提出將直方圖均衡化與對數變換處理后的圖像，以加權融合的方式進行合并處理，變換如下：

f′(x,y)=m×S(x,y)+(1-m)×G(x,y)

(5)

式中：S(x,y)與G(x,y)分別為直方圖均衡化以及對數變換處理后的圖像，m(0≤m≤1)為比例權值，通過m調整融合效果。

對于權值m的選擇，采用類似大律法中的最大(小)類間方差法，計算圖像的整體灰度方差，取使得灰度方差最小的m為最終權值選擇。首先取權值為m，然后對兩種方法的處理圖像進行加權融合，計算融合后圖像的整體平均灰度μ，公式如下：

(6)

則圖像的整體灰度方差g的計算公式如下：

(7)

當方差g最小時，即可認為此時圖像的平均差異最小，即最佳權值m2的判別式為：

m*=Argmin(g) 0≤m≤1

(8)

3 小樣本水面圖像識別方法

一個卷積神經網絡通常有數百萬的連接和權重，盡管可以利用現有的連接和共享的權重，仍有大量的權重需要訓練。當將卷積神經網絡應用于一個大型數據集時，它們通常會取得很好的效果，然而在實際應用中發現，在小樣本容量的情況下，網絡對于訓練集的精度高，對測試集的效果不佳。對水面圖像中的漂浮物識別任務來說，一個實際的問題是如何獲得足夠的樣本圖像來訓練卷積神經網絡。在深度信念網絡(DBN)[14-15]的訓練過程的啟發下，本文提出了一種在小樣本容量情況下，基于深度學習的水面圖像中漂浮污染物識別的解決方案，具體來說是利用一組較少的水面漂浮物圖像解決水面污染物的識別分類問題。

3.1 小樣本學習策略

本文提出在小樣本容量的情況下，水面漂浮污染物的識別過程主要分為三個階段：

1) 第一個階段是用一個比較大的圖像數據集來預訓練一個卷積神經網絡(CNN)。卷積神經網絡不僅是一個分類器，而且是一個特征提取器，網絡的隱藏層會以一種便于預測目標輸出的方式來表示網絡的輸入。當一個卷積神經網絡的訓練階段完成后，預訓練的卷積神經網絡將對圖像的顏色、紋理和邊緣等信息敏感。同時自然圖像具有一定的共性，因此用不同于與我們期望識別的圖像預先訓練一個卷積神經網絡是合理的。ImageNet數據集為我們提供了這樣一個可供選擇的大型圖像數據集，它有超過1 500萬的高分辨率圖像，這些圖像屬于大約22 000個類別，同時網絡爬蟲技術也同樣可以提供大量高質量圖像，這為卷積神經網絡的預訓練提供了數據支持。

2) 第二階段是用我們所擁有的小樣本圖像對預訓練的卷積神經網絡進行微調。多層次的網絡結構可以通過隨機梯度下降法進行進一步訓練，而圖像標簽中非常有限的信息將會被用來微調預訓練中得到的權重。

3) 最后一個階段是測試訓練好的卷積神經網絡的性能。如果卷積網絡的精度滿足應用要求，則可用于圖像識別。

3.2 梯度下降法微調網絡

微調網絡階段，本文采用隨機梯度下降SGD(Stochastic gradient descent)法進行參數更新。傳統的批量梯度下降，將計算整個數據集梯度，但僅進行一次更新，因此處理速度很慢且容易導致內存溢出。而隨機梯度下降算法每次只隨機選擇一個樣本來更新模型參數，因此學習速度很快且可以進行在線更新。

對于包含N個訓練樣本的樣本集，采用梯度下降法更新網絡參數，每層的參數w(i)和b(i)的計算公式分別如下：

(9)

(10)

式中：N代表輸入的樣本容量，ρ為學習率，o(i)表示輸入x(i)對應的實際輸出，y(i)代表第i組數據對應的類別標記，y(i)∈{1,2,…,k}，k是樣本的類別數目。

通過梯度下降法更新網絡參數，使得網絡的輸出層誤差函數值達到最小，從而對網絡實現微調，使網絡適用于小樣本容量情況下的目標識別。

4 實驗與分析

4.1 實驗數據來源

本文所用的實驗數據來源于網絡的公開數據集ImageNet、COCO數據集以及利用網絡爬蟲技術從網上得到的實驗圖像。所收集的圖像數據包括普通的塑料袋、塑料瓶圖像以及水面漂浮物圖像，在網絡訓練之前先對圖像做歸一化處理，圖像數據類型包括4種，如圖2所示，數據集統計如表1所示。

(a) 普通塑料瓶 (b) 普通塑料袋 (c) 水面塑料袋 (d) 水面塑料瓶圖2 圖像數據類型

4.2 光照矯正實驗

在實驗中，本文利用VS 2015軟件進行圖像的光照矯正，在OpenCV環境中分別采用直方圖均衡化與對數變換對輸入圖像進行處理，并將矯正結果與融合圖像進行對比，對比結果如圖3、圖4所示。圖3、圖4中的原圖均為包含水面漂浮物的圖像，圖3中原圖像在光照較好時，受水面反射的影響，包含一部分亮度較高的區域以及一部分亮度較低的區域，而圖4中原圖則由于光照不佳，整體較暗。

(a) 原圖 (b) 直方圖均衡化

(c) 對數變換 (d) 融合圖像圖3 光照矯正1

(a) 原圖 (b) 直方圖均衡化

(c) 對數變換 (d) 融合圖像圖4 光照矯正2

從圖3中可以看出，對于包含部分高亮度區域的圖像，融合后的圖像對暗部區域進行了亮度提高，同時也保留了高亮度區域的目標細節。相較于對數變換融合后圖像的物體輪廓更清晰，而對比直方圖均衡化的實現結果，融合圖像的暗部區域具有更高的亮度和清晰度。

對整體較暗的圖4，融合后的圖像提高了圖像的整體亮度，使得圖像細節更加清晰。對比直方圖均衡化的結果，暗區域細節更加明顯，對比對數變換保留了更多邊緣信息。

從兩種實驗圖像的對比結果來看，融合圖像在均勻圖像亮度的同時，也提高了圖像對比度，同時相較于兩種常用的光照矯正算法，保留了更多的細節信息，實現了更接近于真實圖像的光照矯正結果。將融合后的圖像放入訓練好的網絡中進行識別，可以有效去除水面反射造成的光照影響。

4.3 網絡訓練與測試

利用自然信號的特性，卷積網絡中有四個關鍵的概念：局部連接、共享權重、池化和多層網絡。本文在實驗中采用了經典的AlexNet網絡，每個卷積層的權值都由一個零均值高斯分布初始化，其標準差是0.01，網絡訓練參數見表2。

表2 網絡訓練參數

4.3.1 樣本量與迭代次數

實驗中對網絡的訓練分為兩個階段，第一個階段分批量測試，檢驗訓練樣本數量對網絡識別率的影響，選擇最佳樣本量。網絡采用不同樣本量的數據集進行訓練，根據已有訓練集的數據量取670為基數，其中按普通圖像：水面圖像=60∶7的比例，取其5、10、15、20倍的樣本量分別進行網絡訓練，不同樣本量下的識別率如圖5所示。

圖5 不同訓練樣本量的識別率

從實驗結果中可以看出，隨著樣本容量的增加，網絡的識別率逐漸上升，并且當樣本容量達到10 050時已基本趨于平穩，此時網絡達到收斂狀態。另外，網絡在最大樣本量情況下識別率略有提高，達到96.66%，因此之后的對比實驗均選擇采用已有的樣本量進行網絡訓練，并且對樣本量不必要再做增加。

網絡訓練的第二個階段，采用第一階段中的樣本容量，并分別采用不同的迭代次數進行網絡訓練，分別取Epochs為5、10、15、20、25、30，識別結果如圖6所示。

從圖中可以看出，隨著迭代次數的增加，識別率顯著提高，當迭代次數達到20個Epochs(大約2 000次迭代)時基本穩定，在25個Epochs時略有提高，因此在之后的對比實驗中選擇迭代次數為25個Epochs。

網絡訓練階段對應的損失函數的輸出值(Loss)和預測值(Accurcay) 變化分別如圖7和圖8所示。

圖8 網絡的訓練精度

從圖中可以看出，訓練損失急劇下降，在第25個Epochs(大約2 500次迭代)后趨向于0。而訓練精度在最初的20個Epochs中，驗證集的準確性迅速上升，并且在大約2 500次迭代后趨向于平穩。

4.3.2 對比實驗

在第一組對比實驗中，采用沒有微調的傳統網絡分別對測試集中的普通圖像與水面圖像進行測試，判斷傳統方法是否適用于此類小樣本水面圖像的識別。測試中發現，傳統網絡對普通圖像達到了98.75%的識別率，而對水面塑料瓶的識別效果最差僅為46.67%，統計結果如表3所示。

表3 對不同類別圖像的識別率 %

分析原因可能是由于普通圖像中的塑料瓶均為垂直方向，而水面圖像中大部分為水平或傾斜角度，因此接下來分別采用單垂直方向、單水平方向以及兩者結合的三種普通塑料瓶數據集重新進行網絡預訓練。

另外，從統計表3中傳統網絡對水面圖像的識別率也可以看出，傳統方法的確不太適用于小樣本的識別。同時考慮到水面圖像可能存在的噪聲影響，在測試中對兩個方向相結合的實驗組，采用中值濾波去噪后的水面圖像進行識別測試，對比測試結果判斷是否需要對待識別圖像進行去噪處理。

第二組對比實驗中，采用不同方向的圖像訓練傳統網絡并進行對比，同時將濾波處理后的識別結果與未處理的識別結果進行對比，判斷是否需要對待識別圖像進行去噪處理，統計實驗中的測試結果如表4所示。

表4 傳統網絡識別效果 %

從測試結果中可以看出，對于水面塑料瓶的識別，將兩個方向的圖像相結合進行訓練效果更好，因此對于微調網絡選擇采用兩個方向結合的方式進行訓練。另外可以看出，加入濾波去噪對水面塑料袋的識別有略微提高，但同時也降低了對塑料瓶的識別率。因此，濾波去噪對提高網絡的識別精度并沒有太大的幫助，反而有可能會影響識別效果，因此在后面的實驗中不再對待識別圖像進行濾波處理。

在第三組對比實驗中，采用兩個方向相結合的圖像分別訓練傳統網絡與微調網絡，分別采用普通圖像和水面圖像對兩種方法訓練的網絡進行測試，統計并記錄實驗結果進行對比，見表5。

表5 不同網絡的識別率對比 %

從表5的對比結果中可以看出，在對水面漂浮物的識別中，本文提出的小樣本訓練策略得到了更好的識別效果。同時在實驗中發現，網絡在第25次迭代時已經得到了較好的效果，在更多次數的迭代時，出現了驗證集精度高于測試集精度的現象，符合網絡訓練時的收斂特性?？傮w來說，通過多次的對比實驗證明了本文提出的訓練策略對小樣本容量情況下的圖像識別是有效的。

第四組對比實驗中，首先采用前述的光照矯正方法處理待識別圖像，再將矯正后的圖像放入訓練好的微調網絡進行識別，并將識別結果與未矯正實驗以及傳統的特征提取方法進行對比。由于塑料袋與塑料瓶的邊緣特征更為明顯，因此實驗中參考文獻中采用的傳統HOG特征提取分類與本文方法進行對比，實驗的對比結果如表6所示。

表6 光照矯正算法及識別率對比 %

從統計表6中可以看出，光照矯正對于水面圖像的識別有一定的積極作用，在一定程度上提高了網絡對水面圖像的識別率。另外，普通圖像不需要光照矯正，因此未做光照矯正的對比實驗。同時，將矯正后的微調網絡法與傳統的HOG特征提取方法對比，可以看到微調網絡提高了近15%的識別率，表明本文的網絡微調方法適用于小樣本情況下的水面漂浮物識別。

5 結 語

本文針對水面漂浮污染物的識別問題，提出了基于深度學習的小樣本學習策略，首先用大量相關樣本預訓練網絡，然后對小樣本利用梯度下降法微調網絡，同時將直方圖均衡化法以及對數變換法兩種傳統的光照矯正算法相結合，對兩者的處理圖像進行加權融合，減弱待識別圖像中的光照影響。通過多組對比實驗表明，該學習策略在水面漂浮物污染物識別問題上取得了較好的效果，其識別準確率明顯優于傳統的HOG特征提取分類方法。然而水面污染物種類很多，而本文僅以兩種常見的水面污染物為例實現小樣本學習策略的對比實驗。因此在以后的研究中，將對更多類型的污染物進行分類識別研究，以便于部署到水面清理機器人中，為水面環境的智能監控清理提供一種便捷有效的方法。