基于級聯卷積神經網絡的番茄花期識別檢測方法

趙春江，文朝武，林 森，郭文忠，龍潔花

·農業信息與電氣技術·

基于級聯卷積神經網絡的番茄花期識別檢測方法

趙春江1,2，文朝武1,2，林 森2※，郭文忠2，龍潔花1,2

（1. 上海海洋大學信息學院，上海 201306；2. 北京農業智能裝備技術研究中心，北京 100097；）

對作物花期狀態的準確識別是溫室作物授粉的前提。為提高花期識別的準確率，該研究以溫室番茄為例，提出一種基于級聯卷積神經網絡的番茄花期識別檢測方法。首先采用改進的基于特征金字塔花束提取神經網絡(FlowerExtraction Feature Pyramid Networks, FE-FPN)實現番茄花束的局部區域提取，并采用Prim最小生成樹對提取的花束區域圖像進行識別優先級排序，然后按序將其輸入到改進的Yolov3網絡，實現番茄花朵不同花期的精準辨識檢測。在包含4類花期、共1 600幅樣本的番茄花束圖像數據集上進行試驗驗證，本文方法對番茄不同花期的檢測性能較好，平均檢測精度達到了82.79%，平均單張檢測時間為12.54 ms，各花期檢測精度為花蕾期85.71%、全開期95.46%、謝花期62.66%、初果期88.34%；相比Mask R-CNN和空間金字塔池化網絡（Spatial Pyramid Pooling Networks, SPP-Net），平均檢測精度提高了3.67和2.39個百分點，而且識別錯誤率比基礎Yolov3網絡降低了1.25個百分點。最后，將本文所提方法部署到大型玻璃溫室環境下番茄授粉機器人上進行實際驗證，識別準確率為76.67%，除去漏提取花束準確率達85.18%。研究結果可為設施番茄授粉機器人的精準作業提供重要依據。

識別；級聯神經網絡；小目標檢測；授粉機器人

0 引 言

番茄是設施栽培蔬菜的主要種類之一，也是典型的自花授粉植物，在自然栽培環境中可以通過自然風、昆蟲等媒介完成授粉過程。但是在設施栽培過程中，由于溫室的密閉性、缺乏自然風和昆蟲的活動等原因，番茄常常授粉不良，造成落花、落果、畸形果等現象普遍發生[1]。目前，人工授粉方法存在主觀性強、工作效率低、勞動強度大等問題，且激素處理不當容易引起激素殘留或產生畸形果[2]。而授粉機器人則可以有效降低田間作業勞動量，提高番茄產量和品質[3]，但現有授粉機器人大多處于試驗或理論階段，對番茄花束的區域提取和花期精準識別是制約番茄授粉機器人應用的關鍵環節。

近年來，對于番茄花朵的識別問題，使用基于深度學習的花朵分類方法最為廣泛，該類方法是使用含有多層堆疊結構的卷積神經網絡對花朵顏色、形狀和外觀特征進行識別，以獲得更好的識別效果[4-8]。Oppenheim等[9]提出一種基于機器視覺的溫室番茄花朵檢測算法，在生長環境復雜、不同光照和花朵大小不同的條件下實現了溫室內番茄黃花計數，該方法雖然利用溫室無人機近距離實現了全開期黃花的識別，但并未解決同一花束中各個花期的分類問題。Yuan等[10]將一種抗日照波動的魯棒色彩和亮度補償方法設計在機器視覺系統的番茄花檢測研究中，采用掃描策略在不同的光照變換情況下，根據色差和攝像機性能關系對攝像機參數進行自適應調整，以獲得最佳番茄花色效果，提高識別算法在不同光照條件下的識別要求，該方法從光學相機出發解決識別模型的光照變化問題，并沒有增加模型訓練的魯棒性。Tian等[11]提出了一種將SSD深度學習技術引入到花卉檢測與識別領域的方法，在牛津大學出版的花卉數據集上進行訓練和測試，該方法在VOC2007上平均準確率為83.64%，VOC2012上平均準確率為87.4%，并引入視頻流的方案解決了對2個或多個目標花卉的檢測，但其識別準確率和時間效率上有待提高。鄧穎等[12]提出一種基于實例分割的柑橘花朵識別及花量統計方法，以花期的柑橘樹冠圖像為樣本進行花朵實例的識別及分割，通過對Mask R-CNN主體卷積部分和掩模分支部分的優化，實現對復雜結構圖像中密集柑橘花朵的高效檢測、計算圖像中可見花朵的數量，該方法初步實現了柑橘植株局部花朵的識別，但其檢測環境要求配置較高，且識別誤差率還有待優化。林君宇等[13]提出應用卷積神經網絡識別花卉及其病癥，該方法提供一種多輸入卷積神經網絡模型來提高訓練速度，結合網絡多輸入和遷移學習方法，設計并實現基于卷積神經網絡的分類模型，集成為花卉分類-病癥識別一體化工具，對花卉的病癥識別準確率達到88.2%，相比基于支持向量機的分類模型，準確率高出至少27.0%，該方法使用多輸入網絡提高識別準確率，但只能識別近距離大目標花卉，沒有實現小目標花朵識別問題。

國內外研究大多針對花朵進行識別[14-18]，同時對花束區域進行提取和花期識別的研究較少。本文研究的番茄授粉機器人授粉對象為整個花束區域，需要對花束區域進行提取，并對該花束中各花期花朵進行精準識別。由于番茄花朵生長環境為非結構化環境[19]，花朵呈現小目標和多目標分布，一個植株往往含有多個花束，且同一花束中存在不同花期的花朵等特點；傳統的卷積神經網絡通常采用單一的網絡結構進行特征提取，不能同時對花束區域和花期信息同時進行提取，導致提取的花朵特征信息不夠充分，網絡的識別精度不高[20-21]。針對這些問題，本文提出一種將兩級神經網絡級聯的方法，以期實現番茄花束區域的提取和花束中花期的精準識別，并計算全開期花朵在該花束中的占比，作為番茄授粉機器人精準作業的關鍵決策，為番茄授粉機器人的精準作業探索一種新的識別方法。

1 材料與方法

1.1 試驗材料

本文試驗在全國蔬菜質量標準中心（山東壽光）科技示范推廣基地進行，為研究算法的工程適用性，將試驗環境設立在大型玻璃溫室內，試驗番茄品種為迪諾番茄。番茄花期包含花蕾期、全開期、謝花期和初果期4個花期，其中花朵全開期是最佳授粉時期[22]。因此，對全開期花朵的精準識別是成功授粉的關鍵，若花束中沒有全開期花朵，則無需授粉。本試驗選取含有多種花期的番茄花朵作為研究對象。

玻璃溫室環境下番茄花朵識別試驗存在遠目標、光線易變、曝光和背景噪聲干擾等問題，在進行試驗前期首先對圖像數據進行優化，通過補光和遮陽等辦法增強模型的魯棒性。

1.2 試驗設備

本文使用由國家農業智能裝備工程技術研究中心自主研發的番茄授粉機器人（圖1）進行樣本采集。采集相機為圖漾科技的FM810-IX-A 3D高清相機，分辨率為1 280×960，測量精度為2 mm。機器人核心控制器配置為I7-4700MQ 2.4GCPU、8G DDR3L內存和500G固態硬盤。

圖1 番茄授粉機器人

本文網絡訓練使用的硬件配置為：Intel? Xeon（R） CPU 2.5G Hz中央處理器，64GB運行內存，1T硬盤，1個12GB GeForce GTX 2080ti GPU和1個12GB GeForce GTX 1080ti GPU。算法試驗環境為Ubuntu16.04系統，使用Python和C++語言編寫網絡訓練、測試和應用程序。

1.3 樣本集

本文試驗采用番茄授粉機器人采集試驗樣本，分別在早8:00、中12:00和晚18:00 這3個時段對樣本進行采集，為避免花朵遮擋問題，本文在圖像采集過程中使用相機旋轉對同一植株進行不同角度拍攝。

本文試驗樣本集共1 600張圖像，按12:3:1比例用于級聯網絡訓練、測試和驗證。并根據當前天氣狀況對早8:00時、中午12:00時和晚上18:00時采集的圖像進行曝光調節，試驗花朵拍攝樣例如圖2所示。

圖2 不同時間和不同天氣采集的番茄花樣例

樣本采集設定晴天、陰天和多云天氣采集圖像比為5:4:6，如表1，中午受太陽光照的影響，適當增加中午圖像樣本數量，增強網絡模型的魯棒性。試驗使用labelimg對目標花束和花束中各個花期花朵進行人工標注，花朵總數12 036個，其中全開期7 603個，初果期1 611個，花蕾期2 012個，謝花期810個。

表1 不同時間段番茄花朵圖像樣本采集數量

2 級聯神經網絡模型

基于番茄花朵小目標且多密集分布的特點，本文將改進的基于特征金字塔的花束提取網絡（Flower Extraction-FPN，FE-FPN）與改進的多尺度多輸入卷積神經網絡（Yolov3）進行級聯，提出一種復雜環境下番茄花期精準識別方法。兩級網絡逐次進行特征提取，通過第一級網絡對花束進行區域提取，第二級網絡有序的對花束中各花期花朵進行精準識別，具體步驟為：1）采用改進的融合特征金字塔網絡FE-FPN實現番茄花束區域提取，標記全部花束的像素區域；2）采用Prim最小生成樹原則對提取的花束圖像進行花期識別優先級排序；3)有序地將花束圖像傳入多尺度輸入Yolov3網絡，對番茄花朵的花期進行細精準識別，并統計全開期花朵在該花束中的占比。

2.1 模型建立

2.1.1 花束局部區域提取

區域提取是根據特定的特征把圖像分成若干個區域并提取出感興趣目標的技術和過程，常用的基于邊緣檢測圖像提取算法不受光照變化的影響，以圖像的對比度和邊界特征為基礎進行區域提取，但由于番茄花朵目標小、所處環境復雜、噪聲大的特點，該算法需要提前人工干預，而且算法相對復雜，計算量大，識別時間長[23-24]，在番茄授粉機器人上不具備實用性。本文使用基于特征編碼的區域提取算法[25-26]實現番茄花束的局部區域提取。

FPN[27]是在ResNet50 架構下的特征金字塔網絡，該網絡通過bottom-up和top-down的方法實現目標檢測，具有較強的語義特征。本文使用FE-FPN網絡對番茄花束信息進行特征提取、特征融合和多尺度預測輸出。在FPN網絡基礎上增加輸出的Feature map上采樣到原圖分辨率功能，以實現對花束的目標區域提取，并標記出各花束在原始圖像中的幾何中心像素位置，進一步計算每個花束優先順序的權重因子。

如圖3，本文在FE-FPN中每個融合特征圖上都連接一個RPN（Region Proposal Network）網絡，用于生成多尺度候選框，然后將生成的候選框集合并進行分配，以實現目標花束的多尺度預測，并在檢測到的目標花束上生成預測框，改進網絡輸出結構，將預測框內花束區域圖像區域裁剪，作為花束有效授粉區域，并將其尺寸調整為416×416×3、208×208×3和104×104×3，為第二級聯神經網絡提供多尺度輸入。

注：RPN為區域生成網絡；Bottom-up、Top-down代表自下而上和自上而下的網絡結構；FSa與FSb代表提取的花束區域。

2.1.2 基于Prim的花期識別優先級排序

一張番茄花朵原圖中通常含有多個花束，對提取后的各個花束進行優先級排序不僅可以提高授粉速率，還能節省資源。在FE-FPN對番茄花束區域圖像提取后，本文使用最小生成樹Prim算法[28]對原圖中各花束區域圖像進行優先級排序，并根據最短路徑原則將花束圖像有序傳入Yolov3網絡實現花期精準識別。

由圖4，設花束的帶權無向圖為<,>，其中為花束坐標點，為權重。花束提取從圖像左上角開始，每提取出1個花束后，計算該花束中心像素點到其余花束中心點的像素距離為權重因子，由式（2）計算。

式中，、分別為花束中心兩像素點之間橫、縱坐標值。

注：是兩花束之間像素距離權重值，下標表示兩相鄰花束。

Note:is the pixel distance weight value between the two bouquets, and the subscript means connected bouquets.

圖4 花束的帶權無向圖

Fig.4 Weighted undirected graph of bouquet

權重排序從花束A出發，計算花束A到花束B、花束C、花束D的最小權值點為第一條路徑；接下來計算下一個目標點的最小權值花束（即最短路徑），最終以最小生成樹的形式遍歷整個圖像中各花束的位置。

2.1.3 改進的Yolov3網絡模型

Yolov3 是2018年由Redmon[29]提出的，該算法在機器視覺圖像檢測和目標分類方面有很大的性能提高。Yolov3在Yolo（You only look once）原有的基礎上，利用Darknet 53卷積神經網絡進行目標特征提取，增加Yolo預測框，采用3種尺度張量信息預測輸出，在目標大小不一和部分遮擋情況下都具有很好的檢測效果，利用隨機多尺度增強了算法的魯棒性。

Darknet 53 網絡為全卷積神經網絡，主要包含卷積層、批量標準化層和全連接層，使用Leaky ReLU激活函數進行信息映射[30]，但只能輸入單一尺寸的原始圖像，在特征提取過程種只能進行片面提取。本案例中花蕾與植株莖稈和花萼顏色、形狀特征具有相似性，原Darknet 53無法準確進行特征提取；本研究將Darknet 53輸入更改為多輸入網絡，增加特征信息的冗余，以提高對番茄花期的檢測質量。修改Darknet 53 結構以適應不同尺度輸入網絡結構（如圖4）。激活函數采用Leaky ReLU，卷積操作后將激活函數輸出的結果映射到Res1和Res2結構。Yolov3除DBL結構外，還由Res結構組成，其中為Res塊中含有Res unit的數量，Res結構包含零填充與殘差結構。

由圖5所示，改進的多尺度輸入網絡將416×416×3大小的花束圖像傳入網絡第一輸入口，Conv1按32×3×3尺度進行卷積操作，卷積核步長為1，接著進行第二次Conv2 64×3×3/2卷積得到208×208×64的特征圖，第二輸入口將208×208×3的圖像與該特征圖進行拼接操作（concat），之后將該特征圖208×208×67傳入Res1操，之后在Conv5 128×3×3/2卷積層卷積后輸出104×104×64大小的特征圖，最后輸入104×104×3的花束圖像進行拼接后傳入Res2中，進行Res8 等剩余的操作。

注：Conv代表卷積層，數字代表層次，Res Blo代表殘差塊。下同。

2.2 番茄花朵識別架構

本文將花束區域提取網絡與小目標檢測網絡進行級聯，提出一種溫室環境下的番茄花期精準識別方法。試驗首先對相機采集的原始圖像進行曝光度調節、去噪等預處理，將處理后的圖像傳入第一級FE-FPN網絡，對圖像中存在的目標花束區域多尺度預測，通過上采樣方案對預測特征進行多尺度預測得到花束FS圖像，FSa1、FSa2、FSa3分別是同一花束提取出的416×416×3、208×208×3和104×104×3各尺度像素圖。使用最小生成樹prim算法對提取的多個花束FS圖像進行識別優先級排序，將各尺度花束FS圖像放入對應的張量中，然后將張量（vector）按照對應的尺度傳入第二級網絡Yolov3中，對番茄花朵花蕾期、全開期、謝花期和初果期進行精準識別。最后計算同一花束中全開期花朵的數量和占比。番茄花朵識別架構如圖6所示。

注：圖中FSa與FSb為提取的花束區域，其數字1，2，3為不同尺度花束圖。

2.3 模型訓練

由圖6番茄花朵識別架構可知，本文使用的級聯卷積神經網絡為串行網絡結構，即第二級網絡的輸入完全依賴第一級聯網絡的輸出，第一級聯網絡提取效果又直接影響第二級網絡識別精度。本文首先人工對原始圖像中花束和花朵進行標注，采用分步訓練的方式分別對第一級聯網絡和第二級聯網絡進行訓練。兩級網絡均使用從頭進行獨立模型訓練，各項訓練參數設置為：FE-FPN網絡訓練進行10 000次迭代，權值衰減速率為0.001，訓練批量為1，動量為0.9，初始學習率為10-5。由圖7a的 FE-FPN訓練損失曲線可以看出，FE-FPN訓練過程中在0～2 000次內下降速度較快，訓練迭代為5 000次左右開始收斂，并達到擬合狀態。

Yolov3進行20 020次迭代，批量大小為64，動量為0.9，權值衰減為0.005，初始學習率為10-3。圖7b為改進后的Yolov3訓練損失曲線，在訓練迭代次數為10 000次左右開始收斂，到16 000 次到達平緩狀態，即擬合狀態。

圖7 級聯神經網絡獨立訓練損失曲線

2.4 模型評估

為驗證各級網絡的性能，本文采用2種評估指標分別對第一級網絡和第二級網絡模型進行評估。

2.4.1花束區域提取算法指標

使用手工提取出理想花束，然后將手工提取結果和算法提取結果進行對比[31]，以相似度ESim（Extract Similarity）、正確率Acc（Accuracy）、過提取率OER（Over Extraction Rate）、漏提取率MER（Missed Extraction Rate）評價各算法對番茄花束的提取質量。當算法提取的區域大于實際提取區域，或者將一個區域劃分為2個或2個以上的，稱為過提取；反之，算法提取區域小于實際提取區域叫做漏提取。根據式（3）～（6）計算番茄花束提取結果的評價指標。

2.4.2 識別算法指標

在識別性能評價指標上，本文選用包括均值平均檢測精度AP、各花期類別的檢測精度P、準確率，檢測時間r、錯誤率r、召回率、交并比OU。錯誤率r=100%；交并比OU是預測框和真實框的交集和并集的比值，表示番茄花朵的定位精度。AP是計算花蕾期、全開期、謝花期和初果期各項P的平均值；P是準確率在召回率R上的積分，一般P值越高，模型性能越好。計算公式如下：

式中TP為實際為正樣本且被檢測為正樣本的數量，FP為實際為負樣本且被檢測為正樣本的數量，FN是實際為正樣本且被檢測為負樣本的數量，c是類別總數（c=4），k為類別編號(k=1，2…)；J為平均精度函數，即類別號為k的精確率P與召回率R所構成P-R曲線的面積。