基于實例分割的柑橘花朵識別及花量統(tǒng)計

鄧 穎，吳華瑞，朱華吉

（1. 國家農(nóng)業(yè)信息化工程技術(shù)研究中心，北京 100097；2. 北京市農(nóng)業(yè)信息技術(shù)研究中心，北京 100097；3. 農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)信息軟硬件產(chǎn)品質(zhì)量檢測重點實驗室，北京 100097）

0 引 言

柑橘是隔年結(jié)果，花量決定果量，越早的進行花朵負載監(jiān)測，就能越早進行生產(chǎn)決策調(diào)整：柑橘定植后1至3 年期間應重點增加樹冠面積，盡量少開花甚至不開；進入結(jié)果期的衰弱樹也要少開花；進入結(jié)果期樹枝生長勢旺、開花少的樹要進行促花。因此，柑橘種植若要獲得優(yōu)質(zhì)高產(chǎn)，需科學合理的調(diào)節(jié)花量。柑橘樹開花數(shù)量多，單株花量達數(shù)千至數(shù)萬朵不等，不論是人工統(tǒng)計還是機器識別都無法做到精確地統(tǒng)計柑橘花量，目前通常是果農(nóng)用肉眼和經(jīng)驗進行大致的花量預估。

國內(nèi)外開展了很多柑橘植株負載監(jiān)測的研究，其方法大多使用顏色特征、超聲波、航空圖像等對柑橘果實進行測量。Ye 等[1]利用航空高光譜圖像來測量柑橘果實數(shù)量，采集4、5、6 月份的共72 張柑橘樹圖像，利用BP 神經(jīng)網(wǎng)絡分析柑橘果實量與樹冠平均反射率的關(guān)系，神經(jīng)網(wǎng)絡訓練結(jié)果表明5 月份采集的柑橘圖像和柑橘果實量之間的相關(guān)性好于4 月和6 月。Annamalai等[2]設(shè)計了一個基于機器視覺的實時柑橘果實檢測系統(tǒng)，在RGB 顏色模型中，通過閾值分割法將柑橘從背景中分離出來，然后分析柑橘識別個數(shù)與果實數(shù)量的關(guān)系，因為僅使用了一個閾值，并不能適應自然條件下的復雜圖像，柑橘識別數(shù)量與實際數(shù)量之間的相關(guān)系數(shù)較低，僅為0.79。張亞靜等[3]利用顏色信息對自然條件下的樹上柑橘果實進行識別試驗，并分析果實個數(shù)、總面積、總周長與果實數(shù)量的關(guān)系。上述研究均應用于柑橘結(jié)果期對果實的數(shù)量計算與統(tǒng)計，但不能在花期進行負載監(jiān)測。近年來，中國智慧農(nóng)業(yè)發(fā)展迅猛，已有高新技術(shù)企業(yè)利用梨樹的樹冠垂直拍攝面識別梨花，進而統(tǒng)計梨花數(shù)量。通常情況下，柑橘樹的掛花數(shù)量遠高于梨樹，且梨樹花期幾乎無樹葉遮擋，柑橘則存在樹葉和花朵之間的互相遮擋、重疊等情況，在開花數(shù)計算難度上遠高于梨樹。

本研究利用圖像實例分割技術(shù)對柑橘樹照片進行花朵識別與標記，解決了小尺度花朵目標識別難的問題，通過獲取實例分割邊框（Bounding Box）中的柑橘花朵和柑橘花苞2 個類型的實例總數(shù)，做到高精度低時耗的局部樹冠圖像花量計算，為柑橘植株發(fā)育期的花量科學管控提供智能決策依據(jù)。

1 實物分割方法

在計算機視覺領(lǐng)域中，圖像處理網(wǎng)絡模型眾多，本研究選取基于實例分割（Instance Segmentation）[4-6]技術(shù)的掩膜區(qū)域卷積神經(jīng)網(wǎng)絡（Mask R-CNN）網(wǎng)絡框架進行花朵識別和花量計算[7-10]。若要從圖像中得到柑橘花朵數(shù)量，首先需對圖像中的各實體類別進行逐一識別，并計算識別出的柑橘花朵實體的個數(shù)，該問題可以歸為目標檢測問題。經(jīng)研究驗證，在目標檢測中，進行實例分割的掩膜區(qū)域卷積神經(jīng)網(wǎng)絡模型平均精度（Average Precision，AP）[10]高于物體檢測（Object Detection）模型[11-13]，且物體檢測模型對密集小畫面物體識別度不高，應用在柑橘花朵識別上效果欠佳，因此本研究采用實例分割思想。基于Mask R-CNN 的網(wǎng)絡框架，將復雜的物體分割問題通過相對簡單的物體檢測技術(shù)進行簡化，從而使分割變得更加容易。由于Mask R-CNN 多層多分支的網(wǎng)絡結(jié)構(gòu)使模型的訓練和驗證時間都相對較長，本研究將對此進行優(yōu)化，在保證柑橘花朵高識別率的基礎(chǔ)上提升時間效率。

1.1 花朵識別模型設(shè)計

如圖1 所示，柑橘花朵識別網(wǎng)絡從結(jié)構(gòu)上分為卷積主干、特征圖處理、掩膜計算、邊框回歸、類別預測等模塊。首先，卷積主干通過卷積運算對輸入圖像進行特征提取、通過候選區(qū)域推薦（region proposal）計算得到柑橘花朵的候選區(qū)域范圍，通過特征金字塔生成不同尺度的特征圖；然后，特征圖處理模塊針對各特征圖尺度不同的情況進行尺度標準化計算，生成固定大小的特征圖組；最后，特征圖組傳入網(wǎng)絡頭部，頭部包含3 個分支，通過掩膜分支計算每個興趣區(qū)域內(nèi)花朵實例的二維掩碼，邊框回歸分支確定柑橘花朵的邊框范圍，類別預測分支進行實例分類預測。

圖1 柑橘花朵識別網(wǎng)絡結(jié)構(gòu) Fig.1 Framework of citrus flower recognition network

1.1.1 卷積計算

模型的最底部是卷積主干部分，進行輸入圖像的特征提取，必須經(jīng)過卷積計算才能進行后續(xù)的分類、掩膜和邊框計算。隨著卷積網(wǎng)絡隨層數(shù)的增加，其特征表達能力增強，但卻同時面臨梯度消失的問題。因為普通神經(jīng)網(wǎng)絡的層數(shù)越深，初始化參數(shù)更接近于0，由于神經(jīng)網(wǎng)絡的訓練通常采用反向傳播算法進行鏈式乘積求導，在更新淺層參數(shù)時，隨著信息往前傳播，淺層的梯度就越趨于0，最終出現(xiàn)梯度的消失，導致網(wǎng)絡層數(shù)增加到一定限度，模型的精度不增反降。

殘差卷積網(wǎng)絡（ResNet）[14-16]通過引入殘差模塊，有效避免了梯度消失的問題，實現(xiàn)對模型精度的提升。公式（1）為殘差模塊的數(shù)學表示：將殘差塊的輸入數(shù)據(jù)xi，通過捷徑鏈接（shortcut connection）進行恒等映射Wixi（不需要做維度轉(zhuǎn)換的情況下W=1），同時將xi進行卷積并通過線性修正單元（rectified linear unit，ReLU）進行激活運算Gi，輸出殘差值F（xi，Gi）。

式中xi為第i 層殘差塊的數(shù)據(jù)輸入；Gi為激活函數(shù)；F(xi，Gi)為殘差值；W 為捷徑鏈接的恒等映射參數(shù)（通常情況下為常數(shù)1）；xi+1為i+1 層殘差塊的輸入。

任意比xi層數(shù)更深的xk均可由xi表示，見公式（2）；損失函數(shù)對于xi的梯度為dl/dxi可表示為公式（3），將W 取1。

式中xk為第k 層（k＞i）的殘差塊輸入值；xj為i 層到k-1層的殘差值；Gj為i 層到k-1 層的激活函數(shù)；F（xj，Gj）為i 層到k-1 層的殘差值。

公式（2）代入公式（3）可得公式（4）。由公式（4）可知，較深層xk的梯度可以傳遞到比其淺的任意層xi，且由于括號內(nèi)有常數(shù)1 的存在，且傳導過程中的乘積計算變?yōu)橄嗉樱虼瞬徽摼W(wǎng)絡層數(shù)多深，它的梯度始終不會消失。

1.1.2 多尺度處理

圖像中物體離鏡頭的遠近影響它們的成像大小，而成像小于卷積網(wǎng)絡步幅的物體會被忽略而得不到有效識別，這樣的問題稱為多尺度問題[21-22]。柑橘花朵在日常生產(chǎn)監(jiān)測圖像中大多以小尺度的形式存在，為了更好的捕捉花朵的形狀、顏色特征，通常會拍攝一定數(shù)量的大尺度花朵特寫照片進行識別模型的訓練，因此在訓練和識別2 種場景下存在明顯的多尺度問題。采用快速區(qū)域卷積神經(jīng)網(wǎng)絡（fast R-CNN）[19-20]的特征金字塔網(wǎng)絡（Feature Pyramid Networks，F(xiàn)PN）[23-25]可以使多尺度問題得到有效解決。如圖2 所示，F(xiàn)PN 采用雙金字塔結(jié)構(gòu)，左側(cè)金字塔為常規(guī)的特征圖卷積網(wǎng)絡，特征圖隨著卷積次數(shù)逐層縮小；中間金字塔則從上至下對卷積后的圖像進行反向采樣，通過將上層右側(cè)的特征圖進行放大（放大倍數(shù)與左側(cè)卷積縮小倍數(shù)成倒數(shù)關(guān)系），進而與下一層左側(cè)的特征圖各像素點進行元素相加，在不增加運算量的基礎(chǔ)上，增強了金子塔右側(cè)每一層在不同尺度下空間信息和語義信息的表達能力，以便小尺度目標的檢測。由此可見，在進行柑橘花朵識別的場景中，F(xiàn)PN 網(wǎng)絡能發(fā)揮其多尺度識別的優(yōu)勢，增加對圖像中尺度細小且排布密集的柑橘花朵目標的檢測幾率。

圖2 FPN 結(jié)構(gòu)圖 Fig.2 FPN structure

1.1.3 特征圖處理

經(jīng)過殘差卷積網(wǎng)絡和金字塔網(wǎng)絡之后，原始圖像被轉(zhuǎn)化為多尺度特征圖，再由區(qū)域推薦網(wǎng)絡（Region Proposal Network，RPN）對其興趣區(qū)域（Region of Interest，RoI）進行篩選，進而對篩選后的RoI 進行池化。對于如何進行池化，Girshick[19]在fast CNN 中提出興趣區(qū)域池化（RoI Pooling）—采用最近鄰插值（Nearest Neighbor Interpolation）[26]法將縮放后的非整數(shù)采樣點坐標作四舍五入取整，等同于選取最近的整數(shù)坐標點替代離實際采樣點，這樣會因取整損失小數(shù)點后的精度，導致縮放前后圖像的空間對稱性的缺失。He 等[7]提出興趣區(qū)域?qū)R法（RoI Align），用雙線性插值（bilinear interpolation）進行采樣點坐標計算，保留采樣點坐標的小數(shù)值以提高池化精度。因此，在特征圖處理模塊中，本研究以興趣區(qū)域?qū)R法替代興趣區(qū)域池化法，可有效減少特征圖尺度標準化過程中的精度損失。

圖3 為興趣區(qū)域?qū)R法進行特征圖尺度標準化的原理示例。假設(shè)將一張大小為150×100 的圖像縮放為原大小的1/4，形成大小為75×50 的特征圖；將特征圖進行橫向與縱向的5 等分，形成25 個等面積矩形；圖3 右側(cè)紅色方框是特征圖左上紅色等面積矩形的放大圖，對紅色方框進行x 等分，并取每個等分中心為采樣點，通常采用4 等分，即對紅色方框4 個等分中心P1、P2、P3、P4 進行采樣；P1 坐標為（3.75，47.5），它最鄰近4 個整數(shù)坐標點為Q1（3，48）、Q2（4，48）、Q3（3，47）、Q4（4，47），用雙線性插值[27]法通過Q1，Q2，Q3，Q4 的像素值計算出P1 的像素值；以此類推計算出4 個采樣點的像素值，并進行最大池化（max pooling）得到紅色等面矩形的池化輸出值。由此可見，在整個特征圖池化過程中，興趣區(qū)域?qū)R法始終保持坐標的完整性，避免了取整導致的采樣點位置偏移，因此本研究以興趣區(qū)域?qū)R法作為特征圖尺度標準化方法。

圖3 興趣區(qū)域?qū)R法示例 Fig.3 Region of interest align example

1.1.4 損失值計算

經(jīng)過特征區(qū)域篩選，網(wǎng)絡頭部將對各特征區(qū)域進行掩膜、邊框和分類計算，試驗證明[7]在多個數(shù)據(jù)集的模型訓練中，選擇采用分類、邊框和掩膜三者的損失之和（如公式5）作為整體的損失值，都能取得很好的效果。

式中Lcls為分類計算損失值；Lbox為邊框計算損失值，Lmask為掩膜計算損失值，L 為網(wǎng)絡整體損失值。

1.2 網(wǎng)絡優(yōu)化設(shè)計

1.2.1 網(wǎng)絡卷積主干優(yōu)化

ResNet-50和ResNet-101是由殘差塊簡單串聯(lián)而成的深度殘差卷積網(wǎng)絡，其層數(shù)分別為50 層和101 層。已有的研究表明[14]，ResNet 的精度隨層數(shù)增加而增加，消耗的計算資源也隨之遞增。后續(xù)提出的多維殘差網(wǎng)絡（Next Dimension ResNet，ResNeXt）[17-18]在網(wǎng)絡上結(jié)構(gòu)上對ResNet 進行了優(yōu)化，通過多分支卷積網(wǎng)絡（multi-branch convolutional networks）分組卷積（group convolution）結(jié)構(gòu)進一步提高了網(wǎng)絡的精度，同時降低了運算量。Xie 等[17]通過試驗證明，獨立的ResNeXt50 的平均精度值高于ResNet50 稍低于ResNet101，且速度最快。

He 等[7]在 Mask R-CNN 中采用 ResNet50、ResNeXt101 和ResNet101 作為卷積主干，分別進行對比試驗，證明ResNet101 的平均精度（AP 值）為35.4，高于ResNet50 的33.6，但低于ResNeXt101 的36.7。

相同的網(wǎng)絡結(jié)構(gòu)下，層數(shù)越深的殘差卷積網(wǎng)絡特征表達能力越強，準確度也越高，但在柑橘花朵識別場景下，需識別的目標類型只有花朵和花苞2 個類別，訓練數(shù)據(jù)集數(shù)量有限，可提取的特征數(shù)也相對較少，理論上此時101 層卷積與50 層卷的積準確度差距將縮小，且網(wǎng)絡的層數(shù)越少時間效率越高。本研究將在Mask R-CNN中采用ResNeXt50/101和Resnet50/101作為卷積主體進行試驗分析，確定在柑橘花朵識別場景下，受自身數(shù)據(jù)集大小限制下進行識別的最優(yōu)卷積主干選擇。

1.2.2 掩膜分支優(yōu)化

Mask R-CNN 論文基于MS COCO 數(shù)據(jù)集（Microsoft common objects in context）8 萬訓練數(shù)據(jù)集和3 萬5 千驗證數(shù)據(jù)集進行80 種物體分類切割，而Mask R-CNN 中的掩膜分支的結(jié)果是m×m×k 的（m 通常為14 或者28，k為實例類別個數(shù)，即k 為80），代表每個類別經(jīng)過掩膜分支網(wǎng)絡都會生成一個m×m 的掩膜，這樣的目標檢測是已知分類（class-specific/class-aware）的。鑒于在Mask R-CNN 中，分類分支已經(jīng)預測出物體類別[28]，并不需要考慮其他類別的掩膜，所以只需輸出一個m×m 的掩膜即可，即為未知分類（class-agnostic）的目標檢測模式。理論上未知分類模式通過大幅減少邊框回歸參數(shù)量，可大量減少掩膜分支的計算量，在對實際精準度影響不大的前提下能夠節(jié)省訓練和檢測時間，本研究將使用柑橘花朵數(shù)據(jù)集對此進行試驗和分析驗證。

1.2.3 訓練模式的優(yōu)化

在原Mask R-CNN 網(wǎng)絡上，區(qū)域推薦網(wǎng)絡和網(wǎng)絡頭部是按照先后順序（stage-wise）分開進行訓練的，其采用同樣的卷積主干但是彼此不共享數(shù)據(jù)特征。而研究證明，相對按照先后順序分開訓練，將區(qū)域推薦網(wǎng)絡和網(wǎng)絡頭部（掩膜、邊框及分類分支）合并起來進行端到端（end-to-end）的訓練在目標圖像分割方面能提升0.6 的平均精度，在目標分類識別方面能提升1.2 的平均精度[7]，本研究在改進后的網(wǎng)絡上采用此訓練模式進行試驗和分析驗證。

2 性能評價指標

平均精度（Average Precision，AP）指標可以全面地表達圖像分割模型的分類器性能，是準確率和召回值的綜合體現(xiàn)，已被廣泛應用到目標檢測方法的評價當中[29-30]。本研究采取平均精度和誤差率（Error Rate，ER）作為花朵識別和花量統(tǒng)計的性能評價指標。圖像分割的評估指標是從文本檢索演變而來的。將圖像分割的像素點屬于RoI 的可能性與文本的相關(guān)性相關(guān)聯(lián)，就能將文本檢索中性能評價指標體系代入圖像分割中來。

文本檢索評價體系中2 個重要的評價指標分別是準確率和召回率。準確率和召回率可由判斷正確的正例數(shù)（True Positives，TP）、判斷錯誤的正例數(shù)（False Positives，F(xiàn)P）、判斷錯誤的負例數(shù)（False Negatives，F(xiàn)N）、判斷正確的負例數(shù)（True Negatives，TN）4 個參數(shù)表示

式中p 為準確率；r 為召回率。

式中AP 為平均精度。可以看出平均精度是準確率在召回率上的積分，通常AP 值越高，分類器性能越好。

圖像分割中，每一類都可以計算出對應的AP 值，分類器能識別的所有類的AP 值取算術(shù)平均即為平均準確度均值（Mean Average Precision，mAP），如式（9）所示。

式中Q 為類別數(shù)。

在物體數(shù)量計算模型的工程應用中，整體的誤差率ER，即數(shù)量的預測值和實際值的偏差更具有實際意義。本研究在采用mAP 作為模型評價指標的同時也將對誤差率進行對比分析。如公式10 所示，誤差率ER 為n 個測試樣本中每個樣本i 的實際值reali和預測值predicti差值的絕對值與實際值所成比例的算術(shù)平均。

3 試驗設(shè)計

3.1 樣本采集和處理

3.1.1 訓練樣本

用NIKON D90 相機采集椪柑花、溫州蜜柑花、柚子花的照片各500 張（共1 500 張）4 288×2 848 像素的照片，包括花朵及花苞不同角度，不同遮擋程度，不同遠近程度。照片統(tǒng)一縮小至430×285 像素，用labelme[31]圖像標注工具添加掩膜標簽，并生成模型訓練所需的掩膜圖片、8 位掩碼標簽圖片（原始圖片與掩膜相結(jié)合），如圖4 所示。

圖4 柑橘花朵原始圖片、掩膜圖片及其8 位掩碼標簽圖片示例 Fig.4 Sample of original picture, mask picture and 8-digital mask label picture of citrus flower

3.1.2 測試樣本

通過手機、相機、物聯(lián)網(wǎng)攝像頭拍攝不同大小和清晰度的柑橘花朵照片200 張，用于模型性能驗證。人工統(tǒng)計每張測試圖像中柑橘花朵和花苞個數(shù)，200 張測試樣本中包含1 031 個目標實體，其中花朵506 個和花苞525 個。

3.2 環(huán)境參數(shù)與對比模型

1）環(huán)境配置Python3 + Keras + TensorFlow - GPU + CUDA + CUDNN 框架中構(gòu)建Mask R-CNN 模型。

2）參數(shù)設(shè)置GPU 個數(shù)1；單GPU 同時處理圖片數(shù)1；分類個數(shù)1（背景類）+2（花朵、花苞）；圖片最小邊像素320，圖片最大邊像素512（最小最大邊像素大于樣本圖片歸一化處理后的285、430，多余部分用空白填充）；RPN 錨大小8、16、32、64、128；每個圖片訓練的興趣區(qū)域個數(shù)（RoIs）為64 個（其中正樣本區(qū)域個數(shù)/負樣本區(qū)域個數(shù)為1/3，即正樣本數(shù)為總RoIs 的25%—16 個）；每個迭代步數(shù)設(shè)為20；驗證步數(shù)20；加載COCO 數(shù)據(jù)集默認權(quán)重；網(wǎng)絡頭部的迭代數(shù)10，learning_rate 為0.001，其他部分迭代數(shù)100，learning_rate為0.000 1。

3）卷積主干對比試驗：對卷積主干進行對比測試，分別 以 ResNet-101+ FPN 、ResNet-50+FPN 、ResNeXt- 101+FPN、ResNeXt- 50+FPN 作為Mask R-CNN 的卷積主干網(wǎng)絡進行模型訓練和驗證。首先確定卷積主干是否在當前樣本條件下可用，即通過損失曲線是否收斂判斷它們的泛化擬合能力；確認適用之后，對比它們的平均精度、誤差率及時間效率，選擇出最優(yōu)主干網(wǎng)絡。

4）掩膜計算對比試驗：在第（3）步的基礎(chǔ)上，以性能較高的兩種卷積網(wǎng)絡為主干網(wǎng)絡模，分別采用已知分類和未知分類的掩膜計算對掩膜分支進行優(yōu)化測試，即掩膜層分別取28×28×82（80 種COCO 數(shù)據(jù)集已有的80 類物體和新增花苞、花朵2 類物體，背景類不參與掩膜計算）和28×28×1，對比采用2 種方法的模型平均精度、誤差率及時間效率，選擇更適用于本應用場景的掩膜計算方法。

5）訓練模式對比實驗：分別用“先后順序”和“端到端模式”訓練上述經(jīng)過調(diào)優(yōu)的實例分割模型，對2 種訓練模式下的平均精度、誤差率及時間效率進行對比。

4 結(jié)果驗證分析

4.1 主體卷積網(wǎng)絡性能分析

將ResNet-101、ResNet-50、ResNeXt-101、ResNeXt-50分別作為卷積主干，對Mask R-CNN 模型進行訓練和驗證，結(jié)果表明：4 個模型在訓練和驗證的迭代過程中，分類、邊框和掩膜的訓練及驗證損失值都呈整體降低趨勢（圖5），均能在100 次迭代之前達到收斂，并隨著迭代次數(shù)增加保持在（0，0.2）區(qū)間之內(nèi)，從圖形趨勢上看4條曲線相差不大。證明4 種卷積主干網(wǎng)絡組成的實例分割模型均有較強的擬合及泛化能力。

經(jīng)過擬合泛化能力的確認，可知4 種卷積主干對本模型和樣本有效可用。在此基礎(chǔ)上，需要通過對比它們對模型整體的性能影響以得到最優(yōu)選擇。由于本模型需要識別柑橘花朵和花苞2 種物體類型，因此mAP=AP(花朵)+AP(花苞))/2。表1 是不同主體卷積網(wǎng)絡的AP（IoU取0.5～0.95 閾值下的平均值）、AP50（IoU 取0.50）、AP75（IoU 取0.75）及ER 值的對比。ResNeXt101 作為主干具有最高的精準度和最低的誤差率，其次為本研究采用的ResNeXt50，它們的AP 值僅相差0.8，ER 相差0.4%，而ResNet101 稍低于ResNeXt50，遠高于ResNet50。在NVIDIA Quadro M4000 顯卡逐一處理圖片的條件下，AP 值較高的ResNeXt50 和ResNeXt101 耗時分別為104分鐘和170 min，識別單張圖像平均耗時分別為8 和25 s。ResNeXt50 的訓練耗時和識別耗時分別為ResNeXt101 的61%和53%，極大程度的提升了花朵圖像的識別處理速率。耗時較少的ResNet50 和ResNeXt50 相比，雖然訓練時間和驗證時間ResNet50 都少于ResNeXt50，但差距不大，且ResNeXt50 的精度和誤差率明顯高于ResNet50。因此，可以優(yōu)先采用精度相差不大但耗時更短的ResNeXt50 作為卷積主干網(wǎng)絡。

圖5 訓練及驗證的掩膜損失曲線圖 Fig.5 Training and validation curves of mask loss

表1 柑橘花朵識別模型中不同卷積網(wǎng)絡性能試驗結(jié)果對比 T able 1 Comparisons of performance of different convolution networks in citrus flower recognition model

4.2 掩膜分支性能分析

在AP、ER 和時間效率的對比分析后可以確認ResNeXt50 和ResNeXt101 都是本研究場景下較優(yōu)的卷積主干網(wǎng)絡，具有較高的精度和較低的錯誤率，因此在掩膜分支性能分析中，采用這2 種網(wǎng)絡作為對照。掩膜分支采用已知分類和未知分類的方法進行試驗，并對模型的精度、誤差率及時耗性能差異進行對比分析，見表2。此時ResNeXt101和ResNeXt50 的AP 分別為36.6 和35.8，訓練時間消耗為170 和104 min，驗證時間消耗為15 和8 s，識別的花朵總數(shù)分別為907和903朵，漏數(shù)124朵和128朵，占實際總數(shù)1 031的12.0%和12.4%，即ER 分別為12.0%和12.4%。改為采用未知分類的掩膜分支之后，ResNeXt101 的AP 與改進前相比降低了0.1，ResNeXt50 的AP 與改進之前相同，ResNeXt101和ResNeXt50 的誤差數(shù)為125 和129，ER 為12.1%和12.5%，較改進前誤差率僅相差1/1031 即不到0.1%；且訓練時間消耗為159 和92 min，較之前降低了6.5%和11.5%，驗證時間消耗為15 和8 s，與改進前幾乎相同。本方法采用ResNeXt50作為其主干網(wǎng)絡并且在掩膜分支中采用未知分類的訓練方法，只輸出1 個掩膜為結(jié)果，在幾乎不損失準確率、且不增加誤差率的同時提高了模型訓練和圖像處理速率，更具有生產(chǎn)應用價值。

表2 柑橘花朵識別模型中不同掩膜分支性能試驗結(jié)果對比 Table 2 Comparisons of performance of different masks in citrus flower recognition model

4.3 端到端訓練性能分析

通過上述分析，以ResNeXt-50-FPN 為卷積主干網(wǎng)絡，以未知分類的掩膜計算法構(gòu)建的實例分割網(wǎng)絡具有最優(yōu)化的平均精度、誤差率和時間效率，因而本研究以此為訓練目標，采用不同的訓練模式進行訓練，并對比分析生成的花朵識別模型性能。在模型結(jié)構(gòu)上，區(qū)域推薦網(wǎng)絡和網(wǎng)絡頭部擁有同樣的卷積主干，因此可以進行特征共享。本試驗對上述對照試驗中的最優(yōu)組合（ResNeXt50 + class-agnostic mask）依次進行非共享特征的先后順序分開訓練（stage-wise training）和二者結(jié)合的端到端訓練（end-to-end training）。結(jié)果如表3 所示，端到端訓練模型平均精度提高了0.5，誤差率減少了0.6%，訓練時間消耗減少了16.3%，在時間效率和識別精度上都有較大提升。由于該模式?jīng)]有改變模型本身的結(jié)構(gòu)，因此驗證效率沒有改變，仍為8 s。

表3 柑橘花朵識別模型中不同訓練模式的性能差異對比 Table 3 Comparisons of performance of different training modes in citrus flower recognition model

優(yōu)化后的網(wǎng)絡相對ResNet-101 的原網(wǎng)絡模型訓練時間減少了50.6%，驗證集單張圖片處理時間減少了63.6%，采用優(yōu)化方法對200 張測試圖像進行花量檢測，平均每張照片的處理時間為7 s。

4.4 花量檢測分析

確認了神經(jīng)網(wǎng)絡的最優(yōu)組合，并經(jīng)過端到端的訓練生成柑橘花朵識別與花量計算模型，試驗采用此網(wǎng)絡模型，用花量計算誤差率來評估模型的花量預測效果。圖 6a中，實際花朵數(shù)為31，模型計算結(jié)果為花朵數(shù)為4，花苞數(shù)為24，即預測花朵總數(shù)為28（圖6b），花量預測誤差率為9.68%。由圖6a 可以看出，花朵和花苞分布密集，有明顯的覆蓋和重疊情況，但模型仍然能得到較高的檢測結(jié)果，且漏數(shù)的花朵對象即使通過肉眼也很難分辨。利用本方法對200 張測試圖像進行花量檢測，結(jié)果如表4，花量預測平均誤差率為11.9%，平均單張識別耗時為7 s，具有一定的實際生產(chǎn)應用可行性。

圖6 柑橘花朵識別模型檢測結(jié)果圖 Fig.6 Image output of citrus flower detection model test

表4 花量檢測結(jié)果 Table 4 Result of flower quantity counting

5 結(jié) 論

本研究基于Mask R-CNN 框架設(shè)計了柑橘花朵智能識別方法，并對不同的主體卷積部分、掩膜分支部分以及網(wǎng)絡訓練模式的優(yōu)化設(shè)想進行了對比試驗。經(jīng)驗證，以ResNeXt50 為主干卷積網(wǎng)絡，采用未知分類的掩膜分支訓練方法，以端到端模式訓練產(chǎn)生的柑橘花朵識別及數(shù)量檢測模型，花朵檢測平均精度為36.3，花量計算誤差為11.9%。同樣的訓練集和運算環(huán)境下，最終優(yōu)化后的網(wǎng)絡相對 ResNet-101 的原網(wǎng)絡模型訓練時間從156 min 減少到77 min，減少了50.6%，驗證集單張圖片處理時間從22 s 減少至8 s，減少了63.6%，在保證較低誤差率和較高精確度的同時，有效降低了模型訓練、驗證和測試過程中的時間消耗。

本方法初步實現(xiàn)了對柑橘植株局部圖片的智能花朵識別和花量計算。雖然在識別誤差率上仍需進一步優(yōu)化，但與之前的研究相比，它突破性實現(xiàn)了大量、密集、高度遮擋的生產(chǎn)場景中柑橘花量的統(tǒng)計，同時降低了圖形運算時間成本，具有較強的實時性，能夠?qū)υ缙诟涕倩靠刂铺峁蚀_的數(shù)據(jù)支撐，在柑橘的研究和生產(chǎn)領(lǐng)域具有很高的應用價值。

在未來的研究中，可以通過蒙特卡洛[32-33]等方法以局部圖片的花朵數(shù)推測獲得整個植株的花量，還可以采用本方法對柑橘果園地面圖像進行分析，計算實時落花率，為促花保花等生產(chǎn)決策提供數(shù)據(jù)支撐。

致謝：“本文部分柑橘花朵照片由浙江省農(nóng)業(yè)科學院柑橘研究所徐建國副所長、研究員提供，謹此致謝！”