Mask R-CNN模型在茄花花期識別中的應用研究

鄭 凱，方 春，袁思邈，馮 創，李國坤

山東理工大學 計算機科學與技術學院，山東 淄博255049

21 世紀以來，我國經濟高速發展，從溫飽堪憂到現在豐年有余，農業的發展實現了重大飛躍。北方地區因光照充足、四季分明等優越的地理因素，溫室種植技術得以廣泛推廣。通過調查發現，一方面當前的溫室種植管理中瓜果自然授粉已經行不通，大部分采用涂抹激素的方式實現坐果、膨果。另一方面溫室種植管理仍采用人力為主的種植方式，在摘果、摸茬、驅蟲、授粉等精細工作中一直采用人的視覺。長時間的用眼工作容易形成視覺疲勞，對農民的身體也會造成巨大傷害。在茄子溫室種植過程中，常常因種植數量大、天氣溫度影響、技術與經驗不足等原因導致授粉周期把控不到位，致使錯過最佳授粉時期，造成坐果難、坐果畸形、爛果等問題，直接導致減產，使農民經濟效益遭受損失[1-2]。因此，將基于深度學習的計算機視覺技術應用于茄子的種植管理，使其與自動授粉機器人或農作物生長管理系統對接，能有效調控茄花授粉周期，為農民提供更高效的茄花授粉方案，利于規避天氣、溫度、人為等因素導致的管理問題，使果實品質得到提升，使產量得到提高，使農民增收。

目前基于深度學習的智能信息處理技術在農業中的應用主要分為三個部分：產前、產中和產后[3]。在產前工作中主要應用于農作物選種，如去雜質、質量精選等。王潤濤等以正常豆、灰斑豆、霉變豆、蟲蝕豆為研究對象，通過動態閾值分割算法，使豆粒與背景分離，并提取形狀、顏色、紋理等多個特征參數進行測試，并采用BP神經網絡建立分類模型，使分類精度達到了98%，取得了良好效果[4]。Nie等使用近紅外高光譜成像技術與深度學習相結合，將其用于秋葵和絲瓜混雜種子的分類，經過優化并與其他學習模型比較后，使分類精度提高到了95%以上[5]。在產中主要應用于雜草識別、植物生長檢測、果實采摘、病蟲害識別等。Espejo-Garcia 等通過使用Xception 模型并結合深度對抗網絡擴充數據集，完成了對番茄等顏色分明的茄科植物內的雜草識別任務，獲得了99.07%的識別準確度，為實現自動雜草控制提供了技術支持[6]。Ferentinos 等利用深度學習的方法，通過對健康和病株葉片圖像建立卷積神經網絡模型，經過訓練后達到了99.53%的識別成功率[7]。在產后應用主要為：農產品質量檢測、農產品成熟度分析等。畢智健等將采集到的番茄RGB圖像，進行去除背景、濾波去噪、轉換成HIS 顏色模型和HSV 顏色模型，然后獲取R、G、B、H、S、V、I各顏色分量的均值，最后運用SPSS（statistical product and service solutions）軟件進行判別篩選組合特征分量，通過判別分析后，半熟番茄判別率達到94.74%，成熟番茄達到了76.67%，完熟番茄達到了90%[8]。Han等通過建立人工神經網絡模型實現了對梨圖像的特征提取自動化，針對梨表面斑點對缺陷檢測的影響，提出了一種基于V分量動態閾值的斑點去除方法。最終該模型在630張梨圖像的識別率達到了90.3%[9]。

國內外針對作物花卉器官識別研究也取得了一定進展。例如Feng等提出了一種基于VGG16模型和Adma深度學習優化算法的花朵識別方法，并通過遷移學習方法加速網絡收斂。在30類花卉數據集上的識別準確率為98.99%[10]。岳有軍等發明了一種花蕾判別方法，首先使用中值濾波對圖像進行預處理，其次計算SURF關鍵點并形成直方圖，最后將直方圖形成特征向量利用支持向量機進行花蕾判別[11]。以上方法雖然能對花朵類別進行有效識別，但存在特征提取困難、操作復雜，識別效率低、獲得信息簡單等不足。本文使用的Mask R-CNN不僅能夠識別花朵，辨別花期，而且能夠輸出目標在圖像中的位置，預測屬于目標物的像素，并將其從背景中分割出來，覆上一層掩膜。這為后期應用于機器人自動授粉，實現授粉周期管理，預測果實產量提供了技術支持。

綜上所述，國內外眾多研究人員已經將與深度學習相結合的計算機視覺技術應用到農業生產的各個環節，并取得了良好的效果，但對農作物花期識別及自動授粉環節研究甚少。且隨著深度學習技術的應用，研究數據的數據量向巨量的方向發展，數據復雜度向更復雜、更多元化方向發展，單任務的網絡結構已經逐漸不再引人矚目，取而代之的是集成、復雜、一石多鳥的多任務網絡模型[12-13]。

1 數據集制備

在同一茄子種植大棚中，利用獨立于PC 的攝像設備，采集大量處于不同生長時期（花苞期、盛開期未授粉、盛開期已授粉）、不同光照、不同角度、不同背景下的茄花圖像作為數據集，以模擬復雜的真實環境提高模型魯棒性；使用VIA標注工具經過人工標注的方式完成數據集的標注工作。共獲得圖像4 000張，其中3 200張作為訓練集，800張用于驗證集。三類不同花期的茄花標注情況如圖1所示，茄花在人工授粉后會在花柄處有紅色標記，茄花數據集構成如表1所示。

圖1 三類不同花期的茄花標注情況Fig.1 Three types of eggplant flowers in different flowering periods

表1 茄花數據集結構Table 1 Eggplant flower data set structure

2 模型介紹

2.1 Mask R-CNN模型

本研究擬采用Mask R-CNN[14]模型作為基線模型。其是“兩步法”家族最新成果，相對于Faster R-CNN主要有兩個改進方面，一是將ROI pooling 改進為ROI Align，采用雙線性插值法改變了ROI pooling layer 因兩次量化無法將feature map 與原像素精準對齊的問題，滿足了圖像語義分割像素級要求。二是添加圖像分割分支，將分割結果以掩膜形式輸出，能夠同時支持目標檢測與目標分割。此模型為2018年計算機視覺領域的重要成果，滿足了現階段高集成度、高復雜度及多任務的要求。Mask R-CNN模型結構如圖2所示。

由圖2 可知，Mask R-CNN 模型分為三部分，第一部分為特征提取網絡，可使用ResNet50或ResNet101作為主干網絡，原網絡為適應COCO數據集小目標物居多的特征，引入了特征金字塔結構（feature pyramid networks，FPN），增加了對小目標物的檢測精度；第二部分為候選區域生成網絡（region proposal networks，RPN），依靠一個在共享特征圖上滑動的窗口，為每個位置生成9種預先設置好長寬比與面積的目標框（anchor）。這9種初始anchor 包含三種面積（128×128、256×256、512×512），每種面積又包含三種長寬比（1∶1、1∶2、2∶1）；第三部分為分類網絡，此部分有三個任務，一是完成對目標的分類，二是完成對邊界框的定位，三是完成對目標像素的分割。因此，損失函數包括分類損失、邊界框定位損失和掩膜預測損失，Mask R-CNN 模型總損失如公式（1）所示：

分類損失Lcls如公式（2）所示：

其中，p表示屬于k類的背景和概率，通常由全連接層利用Softmax計算得出。u對應于真實類別。

邊界框定位損失Lbbox如公式（3）所示：

掩膜預測損失Lmask如公式（4）所示：

其中，m為掩膜像素數量，為像素所屬的真實類別標簽，p(mi)是對像素mi的預測概率。

2.2 空洞卷積

圖像分割實質上是一種基于像素級的操作，需要對圖像中每一個像素點進行判斷，目標像素的完整與否會對分割結果產生巨大影響[15-16]；同時，目標分割過程中不止要考慮到每個像素本身，還需要結合局部甚至全局信息。目前，大多數的圖像分割算法在特征提取過程中通常使用池化層與卷積層相結合的方法，通過下采樣達到增加感受野（receptive filed）的效果，但一次次卷積造成特征圖不斷縮小，最后利用上采樣還原圖像尺寸，在特征圖先縮小再放大的過程中丟失了巨量信息。因此，提出使用空洞卷積代替普通卷積的方法，在不改變特征圖尺寸的前提下，擴大感受野，使模型對大目標物有更好的識別與分割效果。

空洞卷積[17]實質上是在普通卷積的基礎上引入了一個稱為“擴張率（dilation rate）”的超參數，該參數代表了像卷積核中填充空洞的數量，因此擴張率又叫空洞數。當dilation rate 分別等于1、2 且卷積核大小為3×3時，二維空洞卷積填充示意如圖3所示。

圖3 二維空洞卷積填充示意圖Fig.3 Schematic diagram of two-dimensional dilated convolution filling

由圖3 可以看出，當dilation rate=1 時，此時空洞卷積即為普通卷積，特征圖（Feature Map）中每一像素的感受野為3；當dilation rate=2 時，填充空洞數為1，卷積核尺寸被擴充為5×5，此時特征圖中每個像素的感受野為5。但特征圖總的感受野并不是每層感受野簡單的相加，而是隨著卷積次數的增加呈指數式增長。當前層感受野計算公式如公式（5）所示：

RFi+1表示當前層的感受野，RFi表示上一層的感受野，Si表示之前所有層步長的乘積（不包括本層），Si公式如公式（6）所示：

2.3 混合空洞卷積

假設多次疊加卷積核尺寸為3×3，dilation rate=2的卷積層，則會出現如圖4 所示的網格現象，稱之為網格效應（gridding effect）。

圖4 網格效應示意圖Fig.4 Schematic diagram of grid effect

由圖4 可以看出空洞卷積具有兩個潛在問題。一是多次疊加多個具有相同空洞率的卷積核會造成網格效應，即格網中有一些像素自始至終都沒有參與運算，不起任何作用，這對于像素級別的預測任務是致命的。二是使用大的dilation rate 雖然獲得了更大的感受野，但是對于一些小目標物是不友好的，因為它們本身并不需要較大的感受野。混合空洞卷積（hybrid dilated convolution，HDC）的提出很好地解決了以上兩個問題，即混合使用多個不同空洞率的空洞卷積核。混合空洞率的使用應符合以下三個原則：

（1）疊加卷積的dilation rate 不能有大于1 的公約數。比如[2，4，6]，否則依然會出現網格效應。

（2）應將dilation rate設計成鋸齒狀結構，例如[1，2，5，1，2，5]循環結構。

（3）兩個非0像素點之間最大距離需要滿足公式（7）：

其中，ri是i層的dilation rate 而Mi是在i層的最大dilation rate，若假設共有m層，則Mm=rm，假設使用k×k尺寸的卷積核則應滿足M2≤k，這樣可以用dilation rate=1 來覆蓋所有像素。使用不同空洞率卷積覆蓋所有像素的過程示意圖如圖5所示。

圖5 混合空洞率卷積填充示意圖Fig.5 Schematic diagram of mixed hole rate convolution filling

2.4 HDC-Mask R-CNN模型

Mask R-CNN 使用深度殘差網絡（ResNet）作為特征提取的主干網絡，ResNet的出現是為了解決隨著網絡深度的增加而出現的梯度消失或梯度爆炸的問題，其實現過程類似于電路中的“短路”，通過短路機制加入了殘差單元，更改了網絡結構的學習目的，原本學習的是通過圖像X卷積得到的圖像特征H(X)，現在學習的是圖像與特征的殘差H(X)-X；其網絡深度是通過疊加殘差塊的方法實現的，因此只需在殘差塊中將標準卷積替換為混合空洞卷積即可。基本塊融合HDC 示意如圖6所示。

圖6 基本塊融合HDCFig.6 Basic block fusion HDC

由圖6 可以看出，每一個殘差塊由三層卷積構成，卷積核大小分別是1×1、3×3和1×1，空洞卷積使用會帶來一定的計算量，為防止計算量過度增加影響模型運行效率，實驗中將3×3 尺寸卷積層替換為混合空洞卷積，以達到準確率和效率之間的平衡。

3 實驗分析

本文研究實驗環境如表2所示。

表2 實驗環境Table 2 Experimental environment

3.1 模型分析

目標檢測任務的主要評價指標為AP（average precision）與mAP（mean average precision）。AP指某一類別目標的預測準確度，由查準率P（precision）與查全率R（recall）得出，如公式（8）所示；mIOU（mean intersectionover-union）如公式（9）所示，為每一類別交并比（intersectionover-union，IOU）值相加求平均，反映了整個模型的目標分割準確度。因此mAP與mIOU是基于全局的評價。

pij表示真實值為i，被預測為j的數量，k+1 是類別個數。pii是真正例的數量。pij、pji則分別表示假正和假負的數量。

3.1.1 基線模型選擇

Mask R-CNN目前可供選擇的主干網絡有ResNet101和ResNet50兩種，兩者的不同主要表現在網絡深度，網絡的深度決定著網絡參數的復雜度，網絡參數的增加會帶來更大的計算量。因此，需要為網絡選擇合適的特征提取網絡，以達到模型訓練和性能的平衡。擁有不同主干網絡的Mask R-CNN模型經過100個Epoch在測試集與驗證集下的損失圖像如圖7 所示，定量分析結果如表3所示。

圖7 不同主干網絡下的損失Fig.7 Losses under different backbone networks

表3 不同主干網絡的定性分析結果Table 3 Qualitative analysis results of different backbone networks

由圖7可知，在100個Epoch時模型達到擬合狀態，且兩模型最終的網絡損失相差不大，但ResNet50 在訓練集與驗證集上擁有更低的損失值，說明以其作為主干網絡的性能要好于ResNet101；從圖中還可以看出在訓練集上的損失遠小于驗證集損失，說明網絡出現了嚴重的過擬合現象。

mAPx指所有類別目標預測平均準確度，x代表不同的IOU 閾值，通過表3 可以看出在IOU=50 時mAP 均取得最大值，兩模型表現相差無幾，但ResNet50作為主干網絡時目標分割精度略高。綜合考慮模型復雜度與模型表現，選用基于ResNet50 的Mask R-CNN 網絡作為基線網絡較為合適。其他分支網絡損失如圖8所示。

圖8 分支網絡損失Fig.8 Branch network loss

由圖8 看出模型大約在80 次Epoch 各分支處于穩定擬合狀態；在訓練集上的損失小于驗證集損失且目標框定位分支尤為明顯，驗證了之前出現過擬合的假設。

3.1.2 基線模型分析

使用基線模型Mask R-CNN50 在測試集中進行定性分析結果如圖9 所示。圖9 中（a）表示標記的真實樣本，（b）為手動分割的真實掩膜，（c）為Mask R-CNN50的預測結果，（d）為預測掩膜。通過對比大目標物小目標物（相對于整個圖像）的分割掩膜，發現該基線模型對小目標物的分割效果好于較大目標物，對大目標物預測分割形成的掩膜與目標的真實掩膜有一定差距，細節處理不夠好，甚至出現誤分割的情況，如最后一行，將部分花柄誤分割為花苞。

圖9 定性分析結果Fig.9 Qualitative analysis results

對數據集中三類別目標物的定量分析如表4 所示。表4 中數據指標可以看出基線模型對小目標物的檢測準確度與分割精確度均好于較大目標，這可能得益于FPN（特征金字塔網絡）結構，通過將上采樣與下采樣過程中各層特征相融合的方式加強了對小目標物的特征提取能力，使得對小目標物具有較高的檢測精度，但對像素級的圖像分割沒有助益。

表4 三類目標物的定量分析Table 4 Quantitative analysis of three types of targets

3.2 HDC-MaskR-CNN模型評價

為驗證改進模型的有效性，在相同數據集下，對HDC-Mask R-CNN 模型進行訓練，使模型保持相同的初始參數，同樣進行100個Epoch訓練，使其與基線模型進行對比分析結果如表5所示。每個類別對應的P-R曲線如圖10所示。

圖10 對應類別的P-R曲線Fig.10 P-R curve of corresponding category

表5 HDC-Mask R-CNN與基線模型對比結果Table 5 Comparison results of HDC-Mask R-CNN and baseline model

從表5 可以得知，融合混合空洞卷積算法的HDCMask R-CNN50 模型相較于基線模型Mask R-CNN50模型在目標檢測平均精度mAP 上提升了0.4%，平均交并比mIOU提升了2.2%，通過對比每個類別的IOU值發現，新模型對大目標物分割精度提升較為明顯，且小目標物的分割精度也沒有因模型改動而受到影響。圖10P-R 曲線反映了在交并比閾值為0.5 時，每類目標的識別精度，AP即曲線下面積，其數值越接近于1，表明目標識別越精確。可以看出改進后的模型對三類目標均有較高的識別準確率。對兩模型進行定性分析如圖11所示。

從圖11 對比可以看出，原模型在檢測過程中出現了目標分割不準確（對比第一行第四列與第一行第六列掩膜）、分割細節缺失、漏分割（如第三行）等問題，改進后的模型明顯改善了上述問題，目標分割更精確，有效改善了誤分割、重復分割等現象。實驗證明改進的模型在處理大目標物分割精度問題上有了明顯提高。

圖11 改進模型與原模型預測結果定性分析比較Fig.11 Qualitative analysis and comparison between improved model and original model

3.3 與其他模型比較

Mask R-CNN 模型與Fast R-CNN[18]模型及Faster R-CNN[19]模型同屬“兩步法”家族，即物體的分類問題與物體的區域回歸問題是分兩步實現的。Mask R-CNN模型是在Faster R-CNN 基礎上改進而來，為滿足圖像分割的像素級精度要求提出使用雙線性插值法代替Pooling 操作，并且添加了掩膜預測分支。DeepMask[20]同樣應用了VGG 模型作為特征提取的主要模塊，擁有前景語義分割與前景實例分割兩條分支；SegNet[21]思路與全卷積網絡（fully convolutional networks，FCN）十分相似，其使用VGG16的前13層卷積網絡作為特征提取器，使用Softmax 分類器以獨立的為每個像素產生類概率。使各個模型在本文數據集上進行訓練并進行定量分析，結果如表6所示。

通過對比表6 中不同模型在不同閾值下的mAP 可以得知，融合空洞卷積的HDC-Mask R-CNN50 實例分割算法有著良好表現，對比mIOU 值可知，改進的模型在分割精度方面與原模型相比有所提升，并好于其他分割模型。綜上所述，經過實驗數據證明本文提出的融合空洞卷積的Mask R-CNN 模型在應對茄花花期識別任務上更具優勢。

表6 各個模型的定量分析Table 6 Quantitative analysis of each model

為模擬正常溫室種植條件下模型的識別情況，在天氣良好，光照強度適宜時從溫室攝取角度正常、目標無遮擋的數張圖像作為實驗數據進行實驗，正常環境條件下識別效果如圖12所示。

圖12 正常環境條件下識別效果Fig.12 Recognition effect under normal environmental conditions

從圖12 中可以看出，改進的模型在保持良好的目標識別效果前提下，對目標物的分割更加精準，對大目標物更注重邊角等細節的分割，減少了誤分割及漏檢現象。在本文識別任務中表現出了良好效果，達到了任務要求。

為分析改進后模型對大小目標物的識別與分割情況，從獨立于訓練集的數據集中隨機選取數張小目標物（目標在圖像中的相對尺寸）和大目標物圖像作為實驗對象，模型預測結果如圖13所示。

圖13 大目標物與小目標物識別效果Fig.13 Recognition effect of large target and small target

通過對比圖13中原圖真實掩膜與模型預測掩膜可以看出，無論是對大目標物還是小目標物，模型皆表現良好，出現原模型中錯分割、重復識別分割、漏分割的現象大幅降低，在大目標物識別中通過對比原圖像掩膜發現，在分割細節，分割完整度等方面提升明顯。實驗證明，改進后模型對大目標物具有良好的分割效果。

綜合以上分析，融合混合空洞卷積的HDC-Mask R-CNN50 算法，一方面在目標分割的邊緣處理上相較于原始的Mask R-CNN算法有了明顯提升，更注意細節的處理。另一方面能夠充分考慮全局信息，減少誤檢和漏檢，提升了對較大目標物分割的準確度與精細度。

3.4 遷移學習的使用

因COCO 數據集中不包含與花朵相關目標物，所以，本文在進行試驗時并未使用在COCO訓練集上預訓練網絡得到的參數作為本文網絡的初始化參數，而是在本文數據集上從新訓練網絡，但數據樣本不足、模型訓練時間長等原因，造成模型在訓練集上表現過于良好，在驗證集上缺少泛化能力，即出現了嚴重過擬合現象。因此，提出使用遷移學習的方法[22-23]，先在含有1 800 張報春花圖片的數據集（來源于網絡）上進行預訓練，目的是增強模型泛化能力，然后將預訓練得到的參數作為本文網絡特征提取的初始化參數繼續在茄花數據集進行訓練，縮減了重新訓練模型的時間，使模型擬合速度得到提升。使用遷移學習的Pre_HDC-MaskRCNN模型在訓練集與驗證集上的損失如圖14所示。

圖14 遷移學習模型損失Fig.14 Transfer learning model loss

由圖14 可以看出，經過遷移學習的Pre_HDCMaskRCNN模型在訓練一開始就有著較低的損失值，且在訓練集與測試集上的損失差值明顯小于重新訓練的模型，證明過擬合現象大為改善，提高了在驗證集上的泛化能力；從圖中還可以看出預訓練模型在40個Epoch左右接近擬合狀態，極大提升了模型訓練速度。

4 結束語

首先，本文在Mask R-CNN基礎上提出使用混合空洞卷積的方法，擴大了特征圖感受野，解決了對大目標物誤檢、漏檢的問題，提高了分割精度，在本文背景任務中保持較高目標識別準確率的同時，將目標實例分割準確率提升了2.2 個百分點，mAP 值達到了0.962，mIOU值達到了0.715，模型綜合性能好于其他目標檢測模型。最后，使用遷移學習的方法，使過擬合現象得到改善，提高了模型泛化能力，加快了模型擬合速度。

將HDC-Mask R-CNN50模型應用于茄花花期識別任務，解決了傳統計算機視覺方法易受環境影響、操作難度大等問題，為自動化農業進一步發展提供了可行方案，其應用有利于解放勞動力，幫助農民管控授粉周期，提高經濟效益。未來還可應用于智能授粉機器人或推廣到病蟲害識別、植物生長周期管控等其他領域。