基于卷積神經網絡的田間麥穗檢測方法研究

張合濤,趙春江,王傳宇,郭新宇,李大壯,茍文博

(1.西北農林科技大學信息工程學院,陜西楊凌 712100;2.北京農業信息技術研究中心,北京 100097;3.國家農業信息化工程技術研究中心/數字植物北京市重點實驗室,北京 100097)

檢測調查小麥生長發育過程是栽培管理的關鍵任務,在小麥灌漿期階段[1]對麥穗進行檢測計數,可以用來估測產量[2-3]、評估品種和栽培管理措施的優劣。小麥穗數的調查以往多采用人工手動計數的方法,費時、費工、準確性差,難以大規模開展。隨著近年來植物表型[4]測量技術發展的更新迭代,機器視覺方法在農作物表型研究中的應用取得了較大進展。激光雷達、熱成像、數字圖像等技術方法在麥穗識別檢測中取得了良好的效果。其中,圖像處理技術[5]逐漸成為麥穗識別檢測的關鍵技術,提升了識別檢測質量和統計精度。

已有學者基于麥穗的顏色、紋理、幾何等特征利用傳統計算機方法對其實現識別檢測,利用形態學重建理論[6]、凹域平滑方法[7]、分水嶺算法[8],成功地檢測出目標麥穗。但在不同麥田采集的小麥樣本形態差異明顯,利用形態學重建理論檢測小麥的方法難以推廣應用于其他的麥田;凹域平滑方法首要的要求是實現對麥穗平滑處理,但實際應用中即使對二值圖像進行腐蝕、膨脹等操作,也很難達到理想的平滑要求;分水嶺算法需要計算麥穗的區域極值,考慮到田間環境下拍攝的小麥圖像像素偏低、曝光過度等問題,對此種情況的圖像難以精確計算,容易導致過度分割。

基于機器學習算法麥穗檢測計數也有大量研究工作。Xu等[9]使用K-means算法對麥穗進行圖像分割。Olgun等[10]依靠DSIFT進行特征提取后借助支持向量機分類算法,最終對麥穗進行識別檢測。林瀅等[11]通過隨機森林算法對冬小麥進行產量估算,判斷預測時間和影響產量的因素,得到了較為準確的數據。機器學習對麥穗的識別和檢測精度,依賴于從圖像上提取的特征,傳統的圖像特征提取算法在田間小麥圖像上欠缺準確性和魯棒性,易受外界環境條件和作物本身遮擋的影響。

近些年來,許多研究者利用深度學習在計算機視覺、圖像數據分析[12]、多媒體應用[13]等很多領域取得了一定進展。深度學習優勢在于自動從大量的圖像中提取有用的學習特征,無需設置特征值。如,張領先等[14]利用深度卷積網絡對麥穗進行特征提取及檢測,并設計麥穗檢測計數應用程序對其進行可視化操作;陳佳瑋等[15]構建了MobileNetV2-YOLOV4深度學習模型對灌漿期小麥進行識別,并開發安卓軟件對田間小麥進行預測和結果預覽處理等功能;孫俊等[16]在人群計數網絡CSRnet上進行改進和構建WECnet網絡,實現麥穗的計數統計;Liu等[17]總結得出,深度學習在麥穗識別上具有很強的魯棒性。然而,大田小麥生長密集,加上風的擾動,圖像中麥穗分辨率低,存在模糊現象,陽光直射導致麥穗存在一定的過度曝光現象,從而減少麥穗圖像中紋理等特征。為了克服上述問題,本研究改進YOLOv5檢測算法,提出了YOLOv5-αTB麥穗識別檢測模型,增加了麥穗計數精度和算法魯棒性。

1 材料與方法

1.1 數據來源與處理

1.1.1 圖像采集

數據集圖像采集獲取的地點位于北京市農林科學院院內實驗田(39°56″N,116°16″E),種植小麥品種為洛麥、濟麥、豐抗、淮麥、京花等30個品種,于2020年10月上旬種植,每個小區種植一個品種,小區面積為6.75 m2(2.25 m×3 m),小麥株距為0.05 m,行距為0.2 m。拍攝設備為自主研發的田間作物高通量軌道式表型平臺,該平臺搭載Microsoft,Kinect V2.0圖像采集設備,拍攝像素為5×106像素。本研究使用的數據圖像是2021年5月拍攝的小麥灌漿期圖像,軌道式表型平臺在每天上午9:00-10:00以及下午2:00-3:00定時對大田間小麥進行垂直圖像拍攝。每天獲取的小麥圖像有1 050張,每一個小區拍攝圖像35張左右。圖1展示了北京市農林科學院地理位置及拍攝獲取的小麥圖像。

圖1 小麥種植地圖及拍攝數據圖像Fig.1 Wheat planting map and captured data image

1.1.2 數據預處理

為了提升檢測模型的魯棒性,數據集中涉及30種小麥圖像且選取不同日期拍攝的數據圖像。表型平臺獲取的小麥灌漿期植株圖像中,原始圖像分辨率為4 096×3 000像素。由于原始圖像中包含的麥穗數量偏大,每一個麥穗在圖像中所占面積過小,會影響檢測模型運行效率和精度,導致處理時間過長、處理速度過慢、識別檢測效果不佳等問題出現。利用圖片編輯器,對獲取的原始小麥圖像進行批量裁剪。裁剪的統一標準是保留原始圖像中間部分,裁取的尺寸為1 024×1 024像素。

對圖像進行篩選、清洗,剔除掉過于模糊的、不含麥穗等問題的圖像。借助LabelImg標注工具對小麥原始數據圖像進行逐張標注,在圖像中用矩形框對每一個麥穗進行框選,矩形框的頂點的位置坐標會保存在XML文件中。XML文件還包含了麥穗的標簽、圖像的大小、圖像的文件名稱等一系列的信息。圖2是標注麥穗圖像及標注數據內容的數據預處理階段。

圖2 數據預處理Fig.2 Pre-processed datasets

1.1.3 數據增強

由于表型平臺獲取的小麥數據集數量有限,為了提高模型檢測的魯棒性,故采用數據增強的方式對小麥數據集進行數據擴充。具體采用的增強算法:(1)圖像亮度調整,對原始圖像的亮度進行變換(原始為1倍),進行0.3倍、0.5倍、1.2倍、1.6倍調整;(2)圖像翻轉和旋轉,旋轉以中心坐標為基點,每張圖像進行三張隨機角度(0°～90°)旋轉;(3)圖像噪聲添加,使用高斯噪聲對圖像進行處理,噪聲的強度5～20之間隨機數值;(4)圖像相互嵌入,讓目標圖像和其他無關圖像進行裁剪后相互嵌入,增加樣本復雜度,提升檢測效果;(5)圖像縮放,對原始圖像進行放大或縮小、水平縱向拉伸等操作。經過對數據集的擴充由原來的232張數據圖像擴增至4 043張圖像。將數據圖像按照PASCAL VOC2007格式制作成訓練測試數據集,訓練集、驗證集、測試集的比例是8∶1∶1。

1.2 灌漿期小麥麥穗識別檢測模型建立

1.2.1 YOLOv5檢測模型

本研究是基于YOLOv5(you only look once)目標檢測算法的基礎上實現的,YOLO系列的模型還包括YOLOv1[18]、YOLOv2[19]、YOLOv3[20]、YOLOv4[21]。YOLO的優勢體現在能夠利用卷積神經網絡提取特征直接來預測物體的分類和位置,所以在速度方面較Two Stage檢測算法更快。YOLOv5目標檢測算法是在基于YOLOv3特征提取的主干網絡Darknet53的基礎上借鑒了CSPNet[22]而設計出的CSPDarknet53,對物體特征具有更強的提取能力。在特征融合部分繼續沿用YOLOv4的特征金字塔(feature pyramid networks,FPN)[23]和PANet,但是YOLOv4中采用的都是普通的卷積操作,而YOLOv5借鑒CSPNet中的CSP2結構,進一步加強了特征融合的功能,使得YOLOv5在檢測復雜環境背景下有較優的檢測效果,更能將檢測主體與背景區分開來,大大提升了模型的檢測性能。

1.2.2 Transformer模塊

YOLOv5模型的主干特征提取網絡CSPDarknet53在本研究相對復雜的小麥生長環境下具有一定的局限性,存在麥穗圖像過度曝光、紋理特征不明顯及由微風導致拍攝的圖像模糊問題,對麥穗數據集特征提取存在一定的難度。將Transformer模塊加入到YOLOv5特征提取網絡的末端部分,可有效提升對相互遮擋物體的檢測性能[24]。Transformer模塊是由編碼器和譯碼器組成,而編碼器的任務是將位置編碼轉換成序列,為下一環節提供有效的語義信息。由于本研究僅利用Transformer提升麥穗識別檢測的性能,故將編碼器與YOLOv5主干特征提取網絡結合,形成YOLOv5-αTB的新主干網絡。

Transformer的編碼層是由兩個子層組成:第一個子層以一個多頭自注意力層(multi-head self-attention layer)為核心結構,第二個子層以一個前反饋全連接層(multilayer perceptron,MLP)為核心結構。編碼器更能提升獲取特征圖中的局部信息的能力,將Transformer放在YOLOv5特征提取網絡末端部分最主要的是因為經過多層特征提取層后,特征圖在網絡末端部分分辨率偏低,如此可以提升整個模型對麥穗識別檢測的精確度。

1.2.3 多尺度特征融合

隨著特征提取網絡層數的加深,每一層網絡上都存在一定的特征丟失現象。為了更好提取融合特征,通常在特征提取網絡層和輸出層增加一個多尺度特征融合層,以增加目標物體的檢測精度。而YOLOv5模型中特征融合使用的是特征金字塔網絡(feature Pyramid networks,FPN)和PANet。FPN的原理是將提取到的高層的特征語義信息通過上采樣的方式向下層進行逐一傳遞融合,是一個從上而下融合的網絡,通過此網絡得到初步的預測特征圖。PANet則是將FPN的輸出特征圖作為輸入,是一個自下向上的特征金字塔,經過PANet的處理最后得到預測的特征圖。將兩種網路結合后,前者通過網絡層將特征自上向下逐層傳遞加強了語義特征效果,而后者則將特征自下向上逐層傳遞加強定位特征效果,從而獲得更加完善特征聚合的效果。

FPN和PANet的組合僅僅是簡單的、垂直水平特征融合,在復雜情況下對物體特征融合效果不是很好。BiFPN能夠更加快速方便地進行多尺度特征融合,每一特征層增加一個額外的權重值,讓網絡學習不同權重值的特征。BiFPN的主要原理是特有的雙向交叉尺度連接和加權特征融合,不同于PANet。其作用就是對不同尺寸下的特征進行相應的融合,所做的工作就是通過各層次特征的相應融合,輸出一個新的特征,其變換函數f計算公式如下:

(1)

(2)

式中Pl代表所在層提取的特征,in表示輸入,out表示輸出。FPN、PANet和BiFPN三種特征融合網絡結構如圖3所示。

圖3 三種特征融合網絡結構圖Fig.3 Diagrammatic forms of the three feature fusion network structures

1.2.4 改進損失函數

損失函數能很好地反映模型數據和真實數據之間的差異,從而對模型進行改進、優化。為了更好提升YOLOv5檢測模型的訓練檢測效果,盡可能地擬合真實框。在邊界框回歸損失函數中,YOLOv5采用的是GIoU Loss[25],其公式如下:

(3)

(4)

其中,A表示真實框,B表示測試框,C表示同時包含真實框和檢測框的最小外接矩形框。

GIoU Loss是在IoU Loss的基礎上進行優化改進的,都是一種距離度量。IoU Loss在檢測框和真實框沒有重疊時,loss值下降為0,梯度消失,會導致優化模型失敗。因此,GIoU Loss在IoU Loss基礎上增加了最小外接矩形檢測框,這樣就可以成功解決IoU Loss存在的弊端等問題。但GIou Loss也存在一定的缺陷,當真實框和檢測框出現包含或被包含時,GIoU Loss會退化成IoU Loss,兩者均會出現梯度消失現象,無法繼續優化模型。而CIoU Loss增加了回歸三要素中的長寬比問題,考慮了特征間的幾何屬性,即縱橫比、中心點距離與位置、重疊面積,從而實現運算更快收斂和優化,具有更好的性能。CIoU損失函數公式為:

(5)

(6)

(7)

其中,b、bgt分別代表預測框和真實框的中心點,ρ代表的兩個中心點間的歐氏距離,w和h分別是預測框寬和高。但是CIoU Loss在檢測麥穗這樣小目標物體時,識別檢測效果還是不佳,存在目標物體誤識、漏識等現象。

本研究用邊界回歸框損失函數α-CIoU替換掉YOLOv5中使用的DIoU損失函數。α-CIoU Loss損失函數是基于現有的CIoU Loss的一種統一冪化,具有一個Power IoU和一個附加的α正則項,測試過程中效果明顯的超過現有的損失函數,且通過調節α使得檢測器可以實現不同水平的回歸精度調整,具有較大的靈活性。Α-CIoU Loss為小目標數據集和噪聲提供了更強的魯棒性,其公式如下:

(8)

1.2.5 YOLOv5-αTB小麥麥穗識別檢測模型建立

由于YOLOv5特征提取末端部分增加了Transformer模塊,CSPDarknet53特征提取網絡對田間背景下麥穗的特征提取能力得到增強,進而提升了該模型的識別檢測性能。而PANet對這種密集遮擋且清晰度不高、過度曝光的圖像融合存在缺陷,從而導致模型最后的檢測部分效果較差。因此,本研究用BiFPN替換原模型中的PANet,以提升模型的泛化能力。而IoU Loss存在缺陷,本模型也是利用α-CIoU Loss進行替換,進一步提升模型的魯棒性,將大大提升本次試驗的準確度。YOLOv5-αTB麥穗識別檢測模型網絡由三部分構成,分別是主干網絡部分、特征融合部分以及檢測部分(圖4)。其中各模塊結構組成如圖5所示。圖6為麥穗識別檢測系統示意圖。

圖4 YOLOv5-αTB網絡結構圖Fig.4 Network structure of YOLOv5-αTB Chart

圖5 YOLOv5-αTB各模塊結構圖Fig.5 Structure of YOLOv5-αTB each module

圖6 麥穗識別檢測系統Fig.6 Identification and detection system for wheat ears

1.3 模型訓練環境

本研究的試驗環境中,操作系統為Windows10,CPU型號為Intel(R)Xecon(R)Gold 5218R CPU @2.10GHz,GPU型號為NVIDIA Geforce RTX 3090,顯存為24.0G,數量2。該YOLOv5-αTB識別檢測模型是基于Pytorch深度學習框架,編程語言為Python,使用CUDA 11.1版本和CUDNN 8.0.4版本對深度學習模型進行計算加速。訓練迭代次數為1 000次,初始學習率為0.001,動量設置為0.9,batch size為16。

1.4 評價指標

本研究結果通過檢測精度來對麥穗識別檢測模型進行評估,將模型的識別檢測效果分成了四種情況,分別是真陽性(TP)、假陽性(FP)、真陰性(TN)、假陰性(FN)。如果模型檢測框和麥穗邊界框的IoU大于設定的閾值0.5,則將該預測框設定為TP,反之設定為FP。如果小麥邊界框沒有匹配到預測框,則存在漏檢現象設定為FN。在該試驗數據下,不需要用到TN指標,其中前景總是為麥穗。TP是正確檢測到麥穗的數量,FP是錯誤檢測到的數量,FN是未檢測的數量。精確度(precision,P)和召回率(recall,R)定義為:

(9)

(10)

模型識別檢測圖像上存在誤檢、漏檢現象,僅僅使用精確度或者召回率來衡量該模型的性能,存在較大的缺陷,因而引入了平均精度(AP),以對模型的精度和性能有更好評判。AP的范圍在0到1之間,其值越接近1,說明該網絡模型的精度越好,越接近0則說明精度越差。

(11)

2 結果與分析

2.1 YOLOv5-αTB識別檢測模型結果分析

從圖7可以看出,隨著訓練輪數的增加,YOLOv5-αTB識別檢測模型的精確度、召回率、平均精確度逐步增加,但當訓練輪數增加到300輪后,各精度指標提升效果趨于平緩。從精確度和召回率的關系看,P-R曲線越靠近右上角,曲線下方面積越大,說明該模型越優,識別檢測麥穗效果越好。

圖7 YOLOv5-αTB模型各指標圖Fig.7 Index chart of YOLOv5-αTB model

2.2 不同麥穗識別檢測模型對比與分析

為進一步分析YOLOv5-αTB模型對麥穗識別檢測的效果,選取了該領域上主要的檢測模型Faster R-CNN[26]、OLOX[27]、RetinaNet[28]進行精度對比試驗,進而比較其試驗精度。結果表明,在相同環境下,YOLOv5-αTB模型對麥穗識別檢測的平均精度為88.64%,而Faster R-CNN、YOLOX和RetinaNet的平均精度均較低,分別為54.10%、65.25%和49.30%;而YOLOv5-αTB的平均精確度較YOLOv5模型也有一定的提升,后者的平均精確度為85.72%。

為了更加直觀地了解各個模型的識別檢測效果,從測試集中選取10張圖像使用各深度學習模型進行識別檢測并手動統計檢測出的麥穗數目以及錯誤檢測成麥穗的數目(表1)。與人工手動計數的真實麥穗數目相比,Faster R-CNN模型和RetinaNet模型效果欠佳;YOLOX模型僅在2個圖像中識別檢測效果優于YOLOv5-αTB模型,但其錯誤檢測率偏高,不適用田間復雜環境麥穗檢測。總體上,Faster R-CNN、RetinaNet、YOLOv5(s)、YOLOX和YOLOv5-αTB模型識別檢測麥穗的準確率分別為62.60%、18.80%、 94.62%、96.64%和97.00%,誤檢率分別為0%、0%、0.34%、3.27%和0.07%。

表1 不同模型的檢測數量比較Table 1 Comparison of detection quantity between different models

將其中1張圖像通過各模型識別檢測后,可視化結果為圖8。各檢測模型均使用矩形框對測試的小麥圖像進行麥穗框選。紅色框表示模型測試輸出結果框,綠色框表示漏檢麥穗,橙色框表示誤檢。綜合對比表1以及圖8可以看出,Faster R-CNN和RetinaNet模型的檢測精度較低,存在大量的漏檢現象,較多的麥穗無法很好地被識別檢測出,適用性較低。而YOLOX模型的檢測精度雖然高,能夠檢測出圖像中絕大部分麥穗,但誤檢率較高,常把葉尖、雜草尖等相似尖狀類物體誤檢成麥穗或者是存在一個麥穗重復檢測兩次的情況。而YOLOv5-αTB模型的檢測精度相比于其他檢測模型高,誤檢率較低,具有較好的大田適用性。

圖8 不同模型的檢測結果可視化Fig.8 Visualization of test results of different models

3 討 論

YOLOv5模型在田間復雜背景下獲取的麥穗數據集時麥穗圖像采集效果會受到微風、光照等因素的影響,圖像存在模糊、過度曝光等問題,模型魯棒性較差,識別檢測時誤、檢漏檢現象較多,適用性不好,難以在大田場景中應用。本研究對YOLOv5模型的特征提取主干網絡、特征融合結構、損失函數三部分進行改進,構建了YOLOv5-αTB模型,很好地解決了原模型對麥穗識別檢測過程中存在的這些問題。結果表明,在測試集上,YOLOv5-αTB模型的精確度、召回率和平均精度分別為99.95%、81.86%和88.64%,其中平均精度較YOLOv5模型提升2.92個百分點;在檢測統計麥穗數量上,相對于人工計數結果,該模型識別檢測精度約97.00%,誤檢率約為0.07%。在大田小麥麥穗灌漿期識別檢測中,該模型準確度也明顯高于該領域其他主流模型。

隨著計算機技術和人工智能技術的快速發展,基于卷積神經網絡的田間麥穗檢測方法也趨于成熟。本研究工作內容可拓展至大部分小麥品種甚至其他的農作物,為廣大的農業研究人員和從業人員提供在田間開展產量、評估品種和栽培管理措施的優劣等方面的技術手段。在農業領域中,利用卷積神經網絡方法在田間作物試驗中的廣泛應用提供了其他新思路。例如,葉面積指數測定、病蟲害識別與診斷、群體葉綠素狀況測定等方面均有廣泛的應用前景。小麥麥穗識別檢測受自然環境的約束,也與小麥生長階段、穗部性狀相關,因而YOLOv5-αTB模型的應用效果需要進一步的實踐檢驗,其精度也有待于進一步提升。