基于深度學習的蘋果圖像語義分割方法研究

摘" 要：針對現有語義分割方法存在分割速度慢、精度低等不足，通過結合MobileNet模塊、深度可分離卷積DSC以及CBAM注意力機制，提出一種基于改進的DeepLabv3+網絡的蘋果圖像分割方法，可用于蘋果自動化采摘工作中蘋果果實的定位。通過實驗探究腐壞程度、腐壞位置、蘋果品種以及復雜背景等因素對蘋果圖像語義分割性能的影響，同時驗證該方法的魯棒性。

關鍵詞：蘋果圖像；農作物語義分割；自動采摘；果實定位；注意力機制

中圖分類號：TP391.41" " " 文獻標志碼：A" " " " " 文章編號：2096-9902（2023）16-0005-07

Abstract： In response to the shortcomings of existing semantic segmentation methods such as slow segmentation speed and low accuracy， an apple image segmentation method based on an improved DeepLabv3plus network is proposed by combining the MobileNet module， deep separable convolutional DSC， and CBAM attention mechanism， which can be used for apple fruit positioning in automated apple picking work. Through experiments， the effects of factors such as degree of decay， location of decay， apple variety， and complex background on the semantic segmentation performance of apple images were explored， and the robustness of this method was verified.

Keywords： apple image; crop semantic segmentation; automatic picking; fruit positioning; attention mechanism

語義分割技術在數字農業中有著廣泛的應用。語義分割被應用在農業自動化各個環節中，例如在土地農作物覆蓋信息檢測中，語義分割為農業區域的識別和劃分提供了便捷；精準農業機器人的工作也離不開語義分割技術，有了語義分割技術強力的技術支撐，在自動采摘中，采摘機器人檢測定位果實位置就可以通過語義分割技術來實現，從而降低農業中的人工參與程度。

傳統的農作物圖像分類分割方法主要依賴圖像中的光譜特征信息，在農作物提取時，提取程序大多較為繁瑣。并且由于受到不同因素的影響，農作物的語義分割難度也在逐步地提升。本文旨在探究不同因素對蘋果圖像的影響，并從DeepLabV3+模型本身的不足出發，對其進行改進，從而有效地減少各種因素的影響，這對于深度學習的發展具有重要的意義。

1" 研究意義

蘋果成熟后要及時采摘，否則極易出現蟲蛀腐壞自動脫落的情況，給種植者帶來嚴重的經濟損失。人工采摘是蘋果采摘的主要方式，需要耗費巨大的勞動力。近年來鄉村種植業出現嚴重的勞動力短缺的情況，而蘋果自動采摘機器的大規模應用有效地解決了勞動力短缺、蘋果大規模采摘等問題。計算機視覺是采摘機器的一個重要部分[1]，為蘋果果實檢測定位提供了有力的技術支撐。其中，圖像分割技術對于準確識別蘋果果實十分重要，并且其在保險公司對腐壞落果地面數量計算賠付中也有所應用。

在農業領域中，深度學習語義分割技術被大量地運用。Wang等[2]采用全卷積神經網絡（FCN）框架，完成了對麥穗的識別，這是常規和傳統方法很難完成的。PSPNet網絡提出了池化金字塔（PPM）模塊，提高了分類結果的精度和效率。Deng等[3]基于獼猴桃果園圖像，采用PSPNet網絡對獼猴桃藤蔓范圍進行分割。雖然這些算法對于農作物圖像的分割有一些幫助，但是在圖像的分割精度和邊緣特征的提取效率上還有待進一步提高，尤其是在復雜背景下和帶有腐壞的水果圖像的分割中的應用[4]。

2" 方法和網絡

2.1" Deeplabv3+語義分割算法

DeepLabV3+網絡是在DeepLabV3的基礎上進行的一種改良，用一個殘差網絡代替了底層的網絡，并增加了一個編碼-解碼結構[5]，用其來還原目標的空間信息，從而得到一個明確的目標邊界，實現了邊界的最優劃分，使網絡劃分的準確度得到提升。其網絡結構如圖1所示。

2.2" 改進的Deeplabv3+語義分割算法

雖然DeepLabV3+模型擁有諸多優點，但DeepLabV3+模型還是存在一些不足。DeepLabV3+的特征提取網絡參數太多，容易發生過擬合，而且在空洞空間卷積池化金字塔（ASPP）模塊中，采用的是普通卷積，這大大增加了參數數量，使得建模的復雜度大大提升，硬件要求也更高，并使得在解碼時的細節無法得到有效恢復[6]；最后是識別物體的邊界準確率不高。雖然ASPP技術可以提高模型對目標的邊緣提取能力，但是其無法充分反映目標各部分特征間的相互聯系，導致圖像在分割時出現誤差，進而影響到圖像的分割，使得圖像的識別準確率和圖像的邊緣識別率降低。

為了改善以上問題，本文通過對模型改進提出了一種基于深度學習的輕量級改進DeepLabv3+分割模型，網絡結構如圖2所示。

本文方法的主要思想如下。

1）用MobileNet替換Xception。采用MobileNet替代原有的主干網絡Xception。采用深度學習框架，可以大大減少建模參數的運算量，節省內存，并且加快模型速度效率。

2）替換普通卷積為深度可分離卷積（DSC）可以顯著提升模型的效率，因為其可以將空間維度和通道維數的相關分離，從而減小參數的數量，使得ASPP模塊中的卷積計算更加高效。

3）添加卷積注意力機制模塊（CBAM）注意力機制。通過引入CBAM注意力機制，原有的DeepLabV3+的特征提取模塊可以更有效地提取出待識別物體的更多特征，從而大大提升蘋果圖像的分割精度。

2.2.1" 用MobileNet替換Xception

在DeepLabV3+的神經網絡中，Xception模塊主要是通過卷積來完成分類任務，通過不同的卷積可以獲得不同類別的圖像。

但是與Xception網絡相比，MobileNetV2具有更淺的網絡層數、更少的參數量、更小的模型復雜性與更快速的學習和收斂性等優點。本文采用MobileNet代替Xception神經網絡，從而有效地克服了傳統的圖像建模方法中存在的問題，如卷積神經網絡規模較大，硬件訓練難度較大等。詳細的網絡架構見表1。

2.2.2" 用深度可分離卷積（DSC）替換普通卷積

與普通卷積相比，深度可分卷積能顯著減少參數量，同時又能保持較高的精度[7]。將一個尺度為DK×DK×M×N的卷積核與一個尺度為DK×DK×M×N的特性圖通過折積操作，將每一張特性圖與一個N類中的M個DK×DK卷積核予以相加，然后通過偏置計算得到最終的輸出，最終的輸出尺度為DF×DF×N，如圖3（a）所示。

輸出大小為DF×DF×M，通過卷積，最后輸出特征圖大小為DF×DF×N。

標準卷積過程計算如下

DF×DF×M×N×DK×DK 。 （1）

深度可分離卷積中，深度卷積過程計算如下

DF×DF×M×DK×DK 。" " " （2）

逐點卷積過程計算如下

DF×DF×M×N 。" " " " " " " " nbsp; （3）

深度卷積可以被視為標準卷積的n倍，其數值表達式如下

2.2.3 加入CBAM注意力機制

將注意機制引入到卷積神經網絡中，可以提高其識別率[8]。本文將CBAM引入到圖像的特征提取模塊中。首先，從特征的空間和通道中提取出特征之間的整體相關性，使得模型能夠更加準確地獲得上下文的信息，進而使模型的特征提取能力得到提高。最后，將2種注意模式的結果進行疊加，從而得到更好的特征表達，最終得到了更準確的劃分結果。CBAM注意力模塊的結構如圖4所示。

（a）" 標準卷積操作示意圖

（b）" 深度卷積過程

（c）" 逐點卷積過程

通道注意力機制（Channel Method）是一種基于通道圖中的有關特征的選擇性通道圖[9]。根據輸入特性F∈RC×W×H，可以根據特性圖的寬W、高H實現全局平均值池化，從而得出通道的注意力權值，并利用多層感知機構成的共享網絡，將這些權值疊加，最終利用Sigmoid函數實現歸一化注意力權值，從而實現對原始特性的重新標識，得出相應的背景信息MC∈RC×1×1。經過將輸入特征圖從原始值轉換為FCout∈RC×W×H，并將其大小轉換為C×W×H，可以利用乘法逐信道加權來得到通道注意力加權圖。下面是詳細的計算步驟

空間注意力機制主要基于多個區域特征權重之和，類似的特點彼此相關，而不管它們之間的距離有多遠?？臻g注意力機制可以提升圖像中局部特征之間的聯系，利用Sigmoid函數，將圖像映射為特征圖MS∈R1×W×H；最后將每個元素逐個相乘，得出空間注意力權重圖FSout∈RC×W×H，計算流程如下

式中；σ為Sigmoid激活參數；f 7×7為卷積運算，卷積核的尺寸為7×7；為計算因子間的乘法；FS為將MS按照通道方式拷貝，從而獲得C×W×H的特征矢量。

3" 數據集制作和劃分

用于實驗的數據集中的圖像主要來自互聯網圖片和自主拍攝，以及圖像合成，數據集根據不同的蘋果品種和背景復雜性進行了分類。通過引入隨機旋轉、噪聲和鏡像等操作，以及增加取樣量，成功地創建了一個具備優秀多樣性的數據集。增加樣本容量，使之擴容到2 300張，提高泛化能力。之后，對得到的數據集按照90%、10%的比例隨機劃分訓練集、測試集。

3.1" 不同品種的蘋果圖像數據集

本數據集為不同品種的蘋果。本文研究了4種不同品種的蘋果，其分別是金冠、紅富士、印度蜜和蛇果，以探究其對分割結果的影響。部分數據如圖5所示。

3.2" 復雜背景的蘋果圖像數據集

本數據集主要是由自然狀態下的多個蘋果果實圖像構成，圖像為樹枝樹葉復雜背景下的蘋果果實，用以探究本文方法在復雜背景下的蘋果圖像語義分割的效果。部分數據如圖6所示。

4" 實驗與分析

4.1" 語義分割評價指標

本文將平均交并比（Mean Intersection over Union，MIoU）和像素準確率（Pixel Accuracy，PA）當作評估蘋果圖像分割性能的重要指標，以此來深入探究語義分割的性能和效率。

4.1.1" 像素準確率PA

PA代表正確類型的圖像總量與所有圖像總量的比值，具體公式如下

4.1.2" 平均交并比MIoU

在語義分割實驗中，MIoU為真實值和預測值交集與并集的比值，然后進行計算取平均值，具體的計算公式如下

式中：k代表總類別數；Pij代表原來處于i類但被估計為j類的像素總量；Pii代表估計正確的比例；Pij和Pji則分別被稱為假正和假負。

4.2" 分割性能測試

將本文方法與FCN、SegNet、PSPNet、UNet和Deep LabV3+等經典的語義分割算法進行比較實驗，以驗證其在蘋果圖像中的分割性能。最后，本文選擇了平均交并比MIoU、像素準確率PA等作為指標，來測試本文算法的分割性能，選擇了訓練時間、單圖預測時間等作為指標，來對本文算法的分割效率進行檢驗。另外，還在構建劃分的蘋果腐壞程度數據集、蘋果腐壞位置數據集、蘋果品種數據集和復雜背景數據集上進行分割對比實驗，并對本文方法的魯棒性進行驗證，部分分割結果如圖7所示。

從圖7可以看出，本文方法相較于其他5種方法來說，對各種蘋果腐壞部分、復雜背景蘋果圖像邊緣的識別程度更高，存在的漏分和錯分現象更少，尤其是在果實邊緣部分，本文方法的分割效果要優于其他算法，從而證明了本文方法具有較高的分割性能。

使用平均交并比MIoU、像素準確率PA作為指標，分析了本文方法和其他五種方法對蘋果圖像分割性能實驗，結果見表2。

表2 不同方法蘋果圖像分割性能對比" %

從表2可以看出，本文方法的平均交并比MIoU為86.1%，分別比FCN、SegNet、PSPNet、UNet和DeepLabV3+高出4.6%、2.7%、3.0%、3.5%和2.9%。本文方法的像素準確率PA為94.3%，分別比FCN、SegNet、PSPNet、UNet和DeepLabV3+高出5.2%、3.0%、3.5%、4.1%和2.9%。實驗結果表明，在本文方法中采用CBAM提高了圖像測試集中各種蘋果的特征提取能力和分割精度，進一步證明了該方法的性能。

使用訓練時間、單圖預測時間、內存占用和參數量作為指標，分析了本文方法和其他5種方法對蘋果圖像分割性能實驗，結果見表3。

從表3中可以看出，本文方法的訓練時間為3.42 h，時間要少于FCN、PSPNet、UNet和DeepLabV3+。本文方法的單圖像預測時間為31 ms，時間同樣少于FCN、PSPNet、UNet和DeepLabV3+。本文方法占用7.0 GB內存，分別比FCN、SegNet、PSPNet、UNet和DeepLabV3+少20%、10%、12%、18%和8%。從參數量來看，本文方法的參數量為21.6 MB，分別比FCN、SegNet、PSPNet、UNet和DeepLabV3+低89%、23%、49%、76%和84%。與SegNet方法相比，本文方法的訓練時間增加了5%，單圖像預測時間增加了6.3%。這是由于與本文方法相比，SegNet方法具有更簡單的模型結構以及更少的參數量。但是，由圖7及表3可見，SegNet的分割準確度低于本文方法。實驗結果說明，本文方法可以有效地加快模型的運算速度。

5" 結論

針對傳統語義分割方法對蘋果圖像存在的提取精度較差和分割效率較低的問題，本文提出了一種新的方法，將DeepLabV3+和MobileNetV2結合在一起，在ASPP中使用深度可分離卷積來取代傳統的卷積，這樣可以減少算法的參數量，提高了模型分割效率。在特征提取模塊中增加了CBAM，可以更好地還原對象的邊緣信息，提高方法的特征提取能力，減少遺漏和誤分類。本文提出的方法可以更有效地提取圖像中的蘋果區域。蘋果圖像數據集的PA提升至94.3%，MIoU提升至86.1%，實現了對蘋果圖像更高效、更精準地分割，即使是對腐爛蘋果和背景復雜的蘋果影像也是如此。但是在蘋果表皮有褶皺的情況下，圖像的分割精度會受到一定影響，需要之后進行相關數據集的構建，并做進一步的實驗。

參考文獻：

[1] 王耀文，程軍圣，楊宇.改進的語義分割模型及其應用[J/OL].計算機工程與應用：1-9[2023-08-17].http：//kns.cnki.net/kcms/detail/11.2127.TP.20221209.1359.004.html.

[2] WANG D Y， FU Y Y， YANG G J， et al. D. Combined use of FCN and harris corner detection for counting wheat ears in field conditions.[J].IEEE Access，2019（7）：178930-178941.

[3] DENG" J，NIU Z ，XU Z，et al. Kiwifruit vine extraction based on low altitude UAV remote sensing and deep semantic segmentation[C]//2021 IEEE International Conference on Artificial Intelligence and Computer Applications（ICAICA）.IEEE，2021.

[4] 張曉倫.基于卷積神經網絡的電網備品備件分類方法研究[D].北京：華北電力大學，2022.

[5] 郭文娟，馮全，李相周.基于農作物病害檢測與識別的卷積神經網絡模型研究進展[J].中國農機化學報，2022，43（10）：157-166.

[6] 林朋雨，郭杰.基于FPGA的卷積神經網絡加速優化方法[J].計算機仿真，2022，39（7）：371-374，450.

[7] 朱健.基于遷移學習的小型卷積神經網絡的圖像分類研究[J].電子技術與軟件工程，2022（6）：178-181.

[8] 何雨巖.基于深度學習的圖像語義分割綜述[J].長江信息通信，2023，36（1）：77-79.

[9] 王霄，朱恩照，艾自勝.卷積神經網絡的原理及其在醫學影像診斷中的應用[J].中國醫學物理學雜志，2022，39（12）：1485-1489.