基于多尺度特征融合的水果圖像識別算法研究

黃玉富，樸燕，張漢輝

（長春理工大學 電子信息工程學院，長春 130022）

伴隨著以互聯網技術為核心的大量高科技產品的普及，人工智能［1-3］在現實生活中發揮著越來越重要的作用。作為一個農業大國，農業生產成本不斷提高，大面積的水果種植使得水果自動采摘技術［4-5］應運而生。得益于深度學習技術的大力發展，使得水果自動采摘技術得到了快速發展。水果圖像識別作為水果自動采摘技術的核心，其識別精度的好壞直接影響著水果自動采摘技術能否順利準確的進行采摘。傳統的水果圖像識別技術已經無法滿足現代農業大規模生產的需求，水果圖像識別技術還需進一步研究。因此，研究基于深度學習的水果圖像識別算法對水果的自動采摘具有重要意義。

傳統的水果識別多利用特征描述方法獲取其顏色、紋理等信息完成識別。例如Ji等人［6］針對上述特征，提出了一種基于區域生長和顏色特征的分割方法，并通過向量機的方法進行識別，但是在遮擋的情況下識別率較低；陶偉華等人［7］研究了一種顏色完全局部二值模式（CCLBP）和HSV顏色空間相結合的特征提取方法，該方法通過將提取出的顏色和紋理特征相結合，從而實現對水果圖像的識別。Lu等人［8］通過分析色差信息和對RGB歸一化的水果分割技術，提出了一種基于顏色信息和輪廓信息的水果識別方法，可實現自然光照下的水果識別，但是模型起初在水果分割階段受光照影響較大；鄒謎等人［9］利用水果的顏色信息，經過特征匹配實現對水果圖像的識別，也取得了較好的效果。

深度學習［10］作為人工智能的一個分支，在圖像識別方面獲得了大量的運用。自然環境下水果類別之間具有很大的差異性，基于傳統方法構建的圖像識別系統找不到通用的特征提取方式，泛化能力較差。而深度學習方法大大減少人工規則的繁瑣過程，特征提取表達能力強、泛化能力好，大量基于深度學習的水果圖像識別方法被提出。例如Li等人［11］利用Otsu對草莓圖像進行分割，并利用CaffeNet進行訓練，完成對草莓的識別，取得了95%的識別率。Liu等人［12］提出基于CNN的SSD物體檢測算法。

本文以蘋果、香蕉、檸檬等34種水果為研究對象，針對現階段水果圖像識別過程中存在的漏檢和誤檢問題，研究了以ResNet-50為骨干網絡的一種多尺度特征融合水果識別算法，可有效解決在部分特征丟失、語義信息不完整導致的漏檢和誤檢，從而進一步提高識別準確率。為防止訓練時隨著網絡深度的加深而出現梯度消失或梯度爆炸現象，將ResNet-50作為骨干網絡，并去掉ResNet-50末端的池化層和全連接層。同時采用多尺度卷積，增加網絡寬度的同時采用不同尺度進行特征提取，全局特征與局部特征相融合有利于提升語義信息的多元化，增加多尺度的feature map輸出，從而提升檢測的準確性。

1 基礎網絡介紹

1.1 ResNet-50網絡介紹

目前，為了提高在圖像識別分類中的準確率，大量的卷積神經網絡被提出。經過研究表明，網絡深度將直接影響識別準確度，但一味簡單粗暴的增加網絡深度只會使梯度消失，或使梯度爆炸現象更加嚴重，龐大的權值參數對網絡訓練是一大難題。針對上述問題，2015年何凱明等人［13］提出了基于殘差單元的網絡結構，整個網絡通過殘差單元的堆疊，使得網絡模型在加深的同時依舊能夠保持較高的特征表達能力，成功解決梯度退化問題，殘差單元如圖1所示。

圖1 殘差單元結構

與傳統的神經網絡不同的是，殘差單元采用跨層鏈接方式，通過shortcut connections（捷徑連接）添加了輸入到輸出的連接，創建了輸入的恒等映射，在不增加權值參數和計算難度的情況下，有效抑制了梯度消失問題，殘差單元每層輸出可以表示為：

其中，X為輸入信息；W為需要學習的參數；σ（?）為激活函數；F（·）表示卷積層對X的計算結果。在殘差單元中，輸入X通過捷徑將會被直接輸出，作為輸出值的一部分，這將有效抑制深層網絡中出現的梯度消失問題。當F(X) =0時，H(X) =X，即所謂的恒等映射。于是，在整個網絡訓練過程中，殘差網絡巧妙地將學習目標進行變化，不再是傳統網絡訓練過程中的完整輸出，而是殘差單元的目標值為F(X)和輸入值X的差值，也就是所謂的殘差：F(X) =H(X)-X，因此，每一層的輸入可以歸結為：

通過梯度下降法對網絡進行訓練的最好目的便是將殘差F(X)結果逼近于0，從而使網絡加深，準確率也不會下降。設網絡的損失函數為E，則在訓練過程中反向傳播可以表示為：

其中，ε表示網絡經過前向傳播之后得到的總的損失，即網絡預測值與真實值經過對比之后得到的差距大小。小括號中的1表明采用捷徑連接可以使高層的損失無損的傳播梯度，從而解決梯度消失問題，增加網絡可訓練的層數。

1.2 Inception網絡介紹

提升卷積神經網絡學習性能的最直接方法就是增加它的深度，這也是大多數研究員為提升網絡準確率而不斷改進的方向。更大的深度意味著更大數目的參數量，會帶來更大的資源耗損和訓練過擬合等問題。解決上述兩個問題的一個簡單方式是引入稀疏性，用稀疏的全連接層替換一般的全連接層，或者是在卷積的內部使用稀疏，然而現在的運算基礎架構在處理非均勻稀疏結構的數值時效率低下，并且非均勻的稀疏模型需要更加復雜的工程和計算基礎架構。所以Inception［14］采用了相應的方法來實現密集成分近似最優的局部稀疏結構。Inception擴充了模型的寬度，主要方法是采用多個卷積和池化對輸入信息進行表征，然后再拼接起來作為輸出，這樣的方法相比單獨一個卷積可以對輸入進行更好地表征。不同目標尺度不一樣，有的在圖像中占據的位置較多，有的占據的位置較少，如果只使用單一的卷積核進行卷積操作，就會使得某些目標出現漏檢的現象。畢竟大目標適合用大的卷積核進行檢測，小目標適合用小的卷積核進行檢測。為了防止漏檢現象，采用多個尺度的卷積核進行卷積，網絡越深，提取的特征越抽象，語義信息越豐富。同時采用多尺度卷積核并聯可以提取不同尺度的特征，分別代表不同的局部特征，提取到的信息更加豐富。為了降低網絡運算量，Inception采用1×1卷積來縮減通道數，具體做法為：在每個3×3和5×5的卷積層前，加上1×1的卷積層，在減少運算量的同時，還為網絡引入了非線性，進一步增加了網絡的表達能力。這種計算方式的改善，使得在不增加計算量的同時，拓寬每一層的寬度，同時可以加深網絡深度。Inception結構如圖2所示。

圖2 Inception網絡結構

本文在學習以上網絡基礎上，為了避免在檢測過程中出現的漏檢和誤檢現象，提升網絡識別精度，提出基于多尺度特征融合的水果圖像識別算法，與以前所提出的算法不同，不是僅僅通過增加網絡深度來提升識別精度，而是在借鑒以上網絡優勢的基礎上，采用ResNet-50作為骨干網絡，多個尺度并行提取水果圖像特征，在增加網絡深度的同時也拓寬網絡的寬度，從而進一步提高網絡的識別精度。

2 水果圖像識別模型構建

2.1 網絡結構

如圖3所示，本文提出的網絡結構主要由骨干網絡層、多尺度卷積層和分類層構成。采用殘差卷積神經網絡ResNet-50作為骨干網絡，它前面有一個7×7卷積層（名為conv1），后面是四個殘差block（名為conv2x到conv5x），每個block包含3、4、6、3個殘差單元。將ResNet-50作為骨干網絡，并對其做以下修改：去掉ResNet-50的第四個殘差block后的全連接層和平均池化層。給定輸入圖像時，骨干網絡將產生2 048個通道的特征圖。將由骨干網絡輸出的原始特征圖經過三個3×3的卷積核進一步進行特征提取，每一個卷積層后通過批量歸一化函數BN使數據歸一化，并采用ReLU作為激活函數，增加網絡非線性表達能力。在多尺度卷積層，采用兩個分支分別進行3×3和5×5的多尺度卷積，以提取語義信息更加豐富的全局信息和局部信息。每個分支首先通過1×1的卷積核進行空間維度的降維，減小后續運算量。兩個分支聯合優化既能優勢互補，又能防止本文所提出的模型在訓練過程中信息丟失。最后將兩條支路提取的特征信息通過通道進行拼接，拼接起來的特征信息更有利于水果圖像識別分類。在分類層，因為全連接層中的偏置項會影響網絡的分類結果，故把全連接層中的全部偏置項都去除，并設置使全連接層輸出一維數據個數為34，采取Softmax層實現最后的水果圖像識別分類。

圖3 模型結構

2.2 損失函數

Softmax多用于利用深度學習進行分類識別的過程，它將一個具有k維的向量映射到（0，1）區間，從而轉化為概率的形式。通過比較概率的大小，從而來進行多分類。同時其計算過程簡單，對類間間隔優化效果顯著。但是少數情況下會出現同一類間的距離大于不同類間的距離，致使Softmax函數判斷錯誤。針對此問題，采用在Softmax層前增加BN層，對Softmax層所有輸入進行歸一化處理，同時根據文獻［15］研究表明，去掉偏置項，使得特征點映射到單位超球面上，可以從方向上區分不同類。不同類位于單位超球表面的不同區域，在訓練過程中，同一類的輸出映射到表面上會慢慢地向中心點聚集，不同類的中心點會慢慢地分散開來，從而控制了不同類之間的距離，這將有助于提高識別效果。Softmax損失函數定義為：

其中，n為批量的大小；C為類別數量；f(bi)∈Rd表示第i個樣本的深度特征，其真實類別為yi，特征信息維度為d；W為該層的權重。

3 實驗與分析

3.1 實驗環境與參數設置

本實驗基于python進行編程，所有實驗是在Windows10系統，PC的內存為8 GB，CPU主頻為2.59 GHz的電腦上完成。采用TensorFlow搭建本文提出的多尺度卷積神經網絡模型。在將訓練集中的數據投入模型訓練之前，通過程序隨機選取訓練集中20%的圖片作為驗證集。同時為了加快通過梯度下降法更新網絡參數的速度，又能確保網絡獲得最優值，這里選用小批量梯度下降法，訓練集中的所有圖片都是分批投入模型用于訓練，批量大小為32，學習率為0.01，采用Adam優化網絡。

3.2 數據集準備與預處理

實驗采用Fruits-360作為數據集，在其基礎上開展算法設計。Fruits-360是專門用于基于深度學習的水果識別算法研究工作的數據集，如圖4所示，整個數據集由訓練集和測試集組成，每部分都包含103類不同的水果，每類水果具有不同拍攝角度的圖片，可以從不同角度反映水果特征，本文從中選取34類水果進行實驗。由于數據集中存在水果數據分布不均衡的現象，為了使網絡學習到更好的特征，提高最后的識別效率，對樣本進行多種預處理：（1）首先對數據集中部分水果圖像通過鏡像翻轉、角度旋轉等操作進行數據擴充，使數據集中的各類水果圖像數量相近，經過數據擴充之后，訓練集與測試集的比例為3∶1，訓練數據為53 177，測試數據為17 845；（2）為了降低網絡計算量，提高訓練和識別速率，將樣本大小調為100×100，同時將RGB圖像進行灰度化處理轉換為灰度圖像，灰度化后的樣本數據如圖5所示。

圖4 實驗數據

圖5 數據灰度化

3.3 深度卷積神經網絡結果分析

為了驗證所提方法的有效性，在fruits-360數據集上進行多組對比實驗，并對實驗結果進行分析。對比實驗結果如表1所示。將Resnet-50作為 Baseline（骨干網絡），分別對Baseline、Base?line+3×3Conv、Baseline+5×5 Conv以及 Baseline+3×3 Conv+5×5 Conv（兩個尺度并行）進行實驗，其中除Baseline單獨進行實驗外，其余均在Baseline后拓寬網絡寬度，采用兩個并行的支路分別對由Baseline產生的原始特征進一步特征提取，以提取語義更加豐富的信息。由表1可知，Base?line+3×3Conv+5×5 Conv 兩個 不同 尺 度并 行組 合實現的效果最好，準確率高達99.4%。與上述三組實驗相比，最后一組采用不同尺度組合的卷積核識別精度提升了將近2%，說明在原始特征相同的情況下，不同尺度的卷積核相互組合可以在深層網絡中提取到更加豐富的語義信息，可以進一步提升網絡識別精度。部分測試實驗結果如圖6所示，可以看出同類水果在不同拍攝角度以及不同類水果外表相似度較高的情況下仍能以100%的準確度識別。充分證明了本文設計的多尺度的卷積神經網絡能有效縮短類內間距，擴大類間間距，具有出色的性能表現。

表1 對比實驗結果

圖6 實驗效果

直觀的觀察模型在整個訓練過程中識別精度和損失值的變化情況，可以更好地改進模型。當模型訓練完成之后對其訓練日志進行解析，得到模型的識別精度和損失曲線分別如圖7和圖8所示。實驗總的訓練迭代次數為2 000次，由訓練集和驗證集的準確率（accuracy）、損失率（loss）隨迭代步數的增加變化曲線（截取了前120次）可知，隨著迭代次數增加，訓練集的準確率局部雖然有所起伏，但總體處于一個不斷上升的趨勢。驗證集準確率變化和訓練集準確率變化相似；同時訓練集和驗證集的損失率隨著迭代次數的增加也在不斷降低，最后趨近于0。說明本文提出的多尺度卷積神經網絡結構在沒有發生過擬合和欠擬合的現象下，模型收斂效果良好。當訓練迭代次數到達150次時，準確率和損失率基本趨于穩定，但仍然存在微小浮動。隨著訓練迭代次數遞增，浮動程度逐漸微弱。并且訓練集和驗證集最終分別得到的accuracy為99.96%和99.99%，loss值都趨于0。這充分證明所提出的多尺度卷積神經網絡結構用于水果種類識別上的有效性。

圖7 精度變化曲線

圖8 誤差變化曲線

模型訓練完成之后，采用測試集數據進一步檢測模型準確性，隨機選取測試集數據輸入模型，檢測模型準確性，測試集混淆矩陣如圖9所示，橫坐標代表真實類別，縱坐標代表預測類別。只有當該點的橫坐標和縱坐標一致時（即混淆方陣對角線上的點），則說明分類正確；反之，分類錯誤。由此可知，本文所提出的卷積神經網絡結構是有效的。為了避免水果名稱在坐標軸一側擁擠重疊，采用數字（1，2，3，...，34）來代替相應水果類別名稱，每類水果具體識別準確度如圖10所示。經過計算，本文所提出的網絡模型達到了99.4%的準確度。

圖9 測試的混淆矩陣

圖10 測試時各類水果識別準確度

3.4 實驗結果與主流算法比較

為了比較本文所提水果圖像識別算法與現階段主流最優算法在性能上的差異，表2給出了幾種具有代表性的水果識別方法的對比結果。

表2 實驗方法對比

經過與上述四種典型的水果識別方法進行對比，本文的多尺度卷積神經網絡識別精度最高。分析原因，主要在于本文在避免發生過擬合和梯度消失的情況下，采用在加深網絡深度的同時適當拓寬網絡的寬度。增加網絡深度將會使模型提取到信息更加豐富的特征，適當增加網絡寬度，采用多尺度卷積核并行卷積，可以提取更全面的信息，既有全局的整體信息，又有局部的詳細特征。兩者相結合使模型可以更有效地對水果圖像進行特征提取，從而即使Resnet-50提取出來的原始特征存在部分信息丟失，經過多尺度卷積之后進行特征信息融合，可有效解決漏檢和誤檢，提高識別準確率。

4 結論

以深度學習為基礎，結合圖像預處理方法，研究了基于多尺度卷積神經網絡的水果識別算法。首先針對樣本數據不均衡現象，對樣本數據進行擴充，避免模型訓練過程中出現欠擬合和過擬合現象，影響模型性能；其次對擴充后的樣本數據進行預處理，提高樣本數據的質量，方便模型在訓練過程中可以提取到更好的特征；最后通過搭建好的多尺度卷積神經網絡進行訓練，從而得到最佳的水果圖像識別模型。通過實驗證明，本文所提算法可以快速準確地進行水果圖形識別，優于其他主流算法，可為果園智能水果采摘提供幫助。