基于卷積神經(jīng)網(wǎng)絡(luò)的冬小麥麥穗檢測計(jì)數(shù)系統(tǒng)

張領(lǐng)先 陳運(yùn)強(qiáng) 李云霞 馬浚誠 杜克明

(1.中國農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院， 北京 100083； 2.中國農(nóng)業(yè)科學(xué)院農(nóng)業(yè)環(huán)境與可持續(xù)發(fā)展研究所， 北京 100081)

0 引言

產(chǎn)量預(yù)測是冬小麥生產(chǎn)管理的重要環(huán)節(jié)之一，準(zhǔn)確的產(chǎn)量預(yù)測可以為農(nóng)業(yè)管理決策提供參考[1-2]。單位面積麥穗數(shù)是表征冬小麥產(chǎn)量的常用指標(biāo)之一[3]，快速、準(zhǔn)確地識別麥穗并檢測單位面積穗數(shù)，不僅對估產(chǎn)起著重要的作用，在育種、植物表型分析等方面也有重要意義。傳統(tǒng)的人工計(jì)數(shù)方法不僅時(shí)效性差，而且主觀性較高，缺乏統(tǒng)一的麥穗計(jì)數(shù)標(biāo)準(zhǔn)[3]。

計(jì)算機(jī)視覺是目前麥穗識別和檢測計(jì)數(shù)的主要技術(shù)手段，利用冬小麥RGB圖像，獲取麥穗的顏色[4-6]、紋理[4-5]和形狀[6]特征，通過機(jī)器學(xué)習(xí)方法建立麥穗識別分類器，從而實(shí)現(xiàn)麥穗識別和檢測計(jì)數(shù)。雖然這些方法取得了一定的效果，但需要人為設(shè)置圖像特征，對大田環(huán)境下光照不均勻和復(fù)雜背景等噪聲的魯棒性不足，難以拓展應(yīng)用。

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network，CNN)是目前最有效的圖像識別方法[7-8]，在病蟲害識別分類[9-10]、植物器官計(jì)數(shù)[11-12]、雜草識別[13-14]、植物識別及物種分類[15-16]、土地覆蓋分類[17]等農(nóng)業(yè)領(lǐng)域均有廣泛的應(yīng)用。KAMILARIS等[18]調(diào)查并比較了40項(xiàng)關(guān)于深度學(xué)習(xí)在農(nóng)業(yè)中應(yīng)用的研究，結(jié)果表明，深度學(xué)習(xí)在圖像識別方面有更高的準(zhǔn)確性，結(jié)果優(yōu)于現(xiàn)有常用的圖像處理技術(shù)。XIONG等[19]提出了一種基于簡單線性迭代聚類(Simple linear iterative clustering，SLIC)超像素分割的Panicle-SEG分割算法，通過構(gòu)建CNN模型進(jìn)行訓(xùn)練，并結(jié)合熵率超像素最優(yōu)化，實(shí)現(xiàn)了大田環(huán)境下水稻稻穗的識別。CNN已在農(nóng)業(yè)領(lǐng)域得到廣泛應(yīng)用，而在冬小麥麥穗檢測計(jì)數(shù)上的研究卻鮮有報(bào)道。

本研究基于CNN開展冬小麥麥穗檢測計(jì)數(shù)系統(tǒng)研究，利用CNN構(gòu)建冬小麥麥穗識別模型，結(jié)合非極大值抑制方法(Non-maximal suppression，NMS)進(jìn)行單位面積麥穗檢測計(jì)數(shù)，使模型具有從復(fù)雜背景中快速檢測麥穗的能力。

1 麥穗檢測計(jì)數(shù)系統(tǒng)設(shè)計(jì)

1.1 目標(biāo)設(shè)計(jì)

基于深度學(xué)習(xí)技術(shù)，結(jié)合冬小麥大田環(huán)境及麥穗圖像特點(diǎn)，以大田環(huán)境下采集的冬小麥圖像為系統(tǒng)輸入，旨在實(shí)現(xiàn)麥穗的快速識別和準(zhǔn)確檢測計(jì)數(shù)，提高CNN在麥穗識別和檢測計(jì)數(shù)中的適用性，從而為冬小麥產(chǎn)量預(yù)測提供參考。

1.2 系統(tǒng)結(jié)構(gòu)功能設(shè)計(jì)

根據(jù)設(shè)計(jì)目標(biāo)，基于模塊化的思想進(jìn)行系統(tǒng)功能設(shè)計(jì)并將系統(tǒng)劃分為麥穗提取、數(shù)據(jù)集構(gòu)建、麥穗檢測計(jì)數(shù)和系統(tǒng)管理4個(gè)模塊，各功能模塊的主要功能如圖1所示[20-22]。

麥穗提取模塊的功能主要是對原始冬小麥圖像進(jìn)行預(yù)處理，并從圖像中分別提取麥穗、葉片和陰影3類標(biāo)簽圖像。數(shù)據(jù)集構(gòu)建模塊的功能主要是對麥穗提取模塊中提取的標(biāo)簽圖像進(jìn)行數(shù)據(jù)擴(kuò)充，并將擴(kuò)充后的數(shù)據(jù)集進(jìn)行劃分，建立可用于CNN模型訓(xùn)練、驗(yàn)證和測試的數(shù)據(jù)集。麥穗檢測計(jì)數(shù)模塊的功能主要是利用構(gòu)建的CNN模型，實(shí)現(xiàn)麥穗識別及麥穗檢測計(jì)數(shù)。系統(tǒng)管理模塊主要功能包括系統(tǒng)管理員對用戶相關(guān)信息及登錄權(quán)限進(jìn)行管理，同時(shí)負(fù)責(zé)系統(tǒng)的日常事務(wù)管理和維護(hù)以及數(shù)據(jù)庫管理，以提高系統(tǒng)的安全性和數(shù)據(jù)的完整性。

1.3 麥穗檢測計(jì)數(shù)方法設(shè)計(jì)

基于系統(tǒng)結(jié)構(gòu)功能設(shè)計(jì)與分析，將麥穗檢測計(jì)數(shù)的流程分為麥穗提取、數(shù)據(jù)集構(gòu)建、CNN模型構(gòu)建和麥穗檢測計(jì)數(shù)4部分。具體流程如圖2所示。

圖2 麥穗檢測計(jì)數(shù)流程圖Fig.2 Flow chart of winter wheat ears detection and counting

1.3.1麥穗提取

不同生長階段的冬小麥麥穗有不同的特征。開花期的麥穗顏色與冬小麥植株顏色差異不大，難以單純利用圖像特征來識別麥穗。除此之外，大田環(huán)境中采集的冬小麥圖像具有植株密度高、重疊多、光照不均和背景復(fù)雜等諸多干擾。為提高網(wǎng)絡(luò)模型的抗干擾能力，保障其識別正確率，根據(jù)大田環(huán)境下采集的冬小麥圖像特點(diǎn)，本研究采用手動分割的方式從冬小麥圖像中提取麥穗、葉片和陰影3類標(biāo)簽圖像，并將標(biāo)簽圖像尺寸調(diào)整為64像素×64像素。為了確保試驗(yàn)的準(zhǔn)確性和嚴(yán)謹(jǐn)性，只對圖像中包含一個(gè)完整采樣區(qū)域的部分進(jìn)行研究。

圖3 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Architecture of CNN model

1.3.2麥穗識別模型

一個(gè)基本CNN模型由輸入層、卷積層、激活函數(shù)、池化層、全連接層和輸出層組成[23-24]。CNN模型訓(xùn)練時(shí)，輸入層中圖像經(jīng)過卷積、池化多次迭代，提取麥穗特征，去噪降參，進(jìn)行前向傳播，訓(xùn)練分類器。同時(shí)，驗(yàn)證集中的圖像會根據(jù)分類正確率通過反向傳播來調(diào)整CNN模型權(quán)重和偏置參數(shù)，不斷優(yōu)化現(xiàn)有網(wǎng)絡(luò)模型，提高CNN模型識別麥穗正確率。

基于以上分析，本研究建立的CNN模型結(jié)構(gòu)[25]如圖3所示。該結(jié)構(gòu)主要包含5個(gè)卷積層、4個(gè)池化層以及2個(gè)全連接層。卷積層中卷積核大小均為3×3，所有卷積層中卷積核的個(gè)數(shù)均為128個(gè)，每經(jīng)過一次卷積操作，CNN會有效地提取圖像中的特征，生成128個(gè)特征圖。池化層采用2×2的卷積核進(jìn)行最大池化，實(shí)現(xiàn)特征圖的降采樣，卷積核步長設(shè)置為2，即每次移動2個(gè)像素。經(jīng)過4個(gè)池化層可以大大降低網(wǎng)絡(luò)結(jié)構(gòu)中的權(quán)重參數(shù)，減小計(jì)算成本。最后一個(gè)池化層之后是2個(gè)全連接層，全連接層將所有特征圖矢量化，用一維向量表示整個(gè)圖像的特征。在全連接層的前后分別增加了丟棄層(Dropout)，將神經(jīng)網(wǎng)絡(luò)單元按照一定的概率暫時(shí)從CNN中丟棄，從而防止過擬合現(xiàn)象，提高模型識別正確率[26]。最后在輸出層中，采用Softmax函數(shù)將特征向量劃分為麥穗、葉片和陰影3類。

1.3.3麥穗計(jì)數(shù)方法

NMS在計(jì)算機(jī)視覺中具有廣泛的應(yīng)用[27-28]，如邊緣檢測、目標(biāo)檢測等。本文采用NMS實(shí)現(xiàn)麥穗計(jì)數(shù)，能夠有效抑制低概率麥穗檢測窗口，消除鄰域內(nèi)多余的交叉檢測窗口，找到最佳的麥穗檢測位置，實(shí)現(xiàn)麥穗準(zhǔn)確計(jì)數(shù)。其流程如圖4所示。

針對與大型會計(jì)師事務(wù)所的多層次發(fā)展對策，途徑、范圍都是很多的。首先在業(yè)務(wù)種類和數(shù)量上，大型事務(wù)所可以多方位擴(kuò)展不同類型的業(yè)務(wù)，從傳統(tǒng)的業(yè)務(wù)角度出發(fā)，拓展到各方面的財(cái)務(wù)咨詢與財(cái)務(wù)顧問工作。當(dāng)然，在此過程中，要根據(jù)審計(jì)準(zhǔn)則的相關(guān)要求保證不影響?yīng)毩⑿浴Ｍ瑫r(shí)事務(wù)所還可以充分利用自身資源優(yōu)勢建立品牌，甚至把業(yè)務(wù)做到“專而精，大又專”的境地。

圖4 基于非極大值抑制的麥穗計(jì)數(shù)流程Fig.4 Process of counting for winter wheat ears based on non-maxima suppression

(1)冬小麥圖像預(yù)處理，提取冬小麥圖像中間位置尺寸為1 280像素×1 280像素的區(qū)域，并將其尺寸調(diào)整為640像素×640像素。

(2)采用步長為16像素、尺寸為64像素×64像素的滑動窗口進(jìn)行圖像采樣，并將采樣圖像輸入到CNN模型進(jìn)行識別。針對每一個(gè)采樣圖像，CNN模型計(jì)算其置信度分?jǐn)?shù)p，取值范圍為0～1，表示采樣圖像屬于麥穗的概率。

(3)確定合適的置信度分?jǐn)?shù)p的閾值和重疊面積比率I的閾值，采用NMS進(jìn)行麥穗計(jì)數(shù)。其中，設(shè)定p的閾值是為了移除低概率的麥穗檢測窗口，設(shè)定I閾值可有效移除交叉重疊面積較大的麥穗檢測窗口，保障麥穗計(jì)數(shù)的準(zhǔn)確性。對重疊面積比率I的定義為

(1)

式中A、B——相鄰兩個(gè)麥穗檢測窗口

min()——最小值函數(shù)

area()——檢測窗口面積函數(shù)

由此計(jì)算出本研究中可能的I閾值(完全重疊的不計(jì)在內(nèi))分別有0.062 5、0.125、0.187 5、0.25、0.375、0.5、0.562 5和0.75共8個(gè)值。將這8個(gè)閾值與不同的置信度分?jǐn)?shù)p組成多組不同的試驗(yàn)組，以確定適用于該麥穗檢測計(jì)數(shù)系統(tǒng)的最佳參數(shù)組合。

2 試驗(yàn)與結(jié)果分析

基于卷積神經(jīng)網(wǎng)絡(luò)的麥穗識別模型由Matlab 2018a編程實(shí)現(xiàn)[29]。麥穗檢測系統(tǒng)采用Matlab 2018a與Microsoft Visual C++編程實(shí)現(xiàn)。系統(tǒng)試驗(yàn)的硬件環(huán)境為Intel i5處理器，8 GB內(nèi)存，NVIDIA GeForce GTX 1050Ti(2 GB顯存)。

2.1 麥穗提取

圖5 大田環(huán)境下采集的冬小麥圖像Fig.5 Winter wheat images in field conditions

麥穗提取模塊如圖6所示，圖像導(dǎo)入后，系統(tǒng)采用不同顏色的方框進(jìn)行麥穗、葉片和陰影3類標(biāo)簽圖像提取。提取的麥穗、葉片和陰影3類圖像可在模塊界面的下方部分顯示。同時(shí)，所有提取的3類標(biāo)簽圖像會被保存至預(yù)先設(shè)定好的位置。

圖6 麥穗提取模塊Fig.6 Module of winter wheat ears extraction

2.2 數(shù)據(jù)集構(gòu)建

如圖7所示，由數(shù)據(jù)集構(gòu)建模塊，系統(tǒng)可加載并顯示當(dāng)前麥穗、葉片和陰影3類標(biāo)簽圖像的數(shù)據(jù)量。

圖7 數(shù)據(jù)集構(gòu)建模塊Fig.7 Module of dataset construction

本研究經(jīng)過篩選，剔除了一些質(zhì)量較低的圖像，構(gòu)建了包含麥穗、葉片和陰影3類標(biāo)簽圖像的數(shù)據(jù)集，其中麥穗、葉片和陰影圖像的數(shù)據(jù)量分別為501、514和498。

對于CNN而言，可用于網(wǎng)絡(luò)模型訓(xùn)練的數(shù)據(jù)集越大，網(wǎng)絡(luò)模型的識別效果就越好[30-32]。為擴(kuò)充輸入數(shù)據(jù)集的數(shù)據(jù)量，提高網(wǎng)絡(luò)模型的識別正確性，參考相關(guān)文獻(xiàn)的數(shù)據(jù)擴(kuò)充方法，采用色彩抖動、水平和垂直方向翻轉(zhuǎn)，以及90°、180°、270°旋轉(zhuǎn)等方式對數(shù)據(jù)集進(jìn)行擴(kuò)充[18,22,31]。通過擴(kuò)充，原始數(shù)據(jù)集擴(kuò)充至原來的26倍。數(shù)據(jù)擴(kuò)充后，系統(tǒng)將數(shù)據(jù)集劃分成訓(xùn)練集、驗(yàn)證集和測試集。擴(kuò)充后的數(shù)據(jù)集共包含39 338幅圖像，其中麥穗13 026幅，葉片13 364幅，陰影12 948幅。在數(shù)據(jù)集構(gòu)建面板中，系統(tǒng)顯示了每類圖像的數(shù)據(jù)量及用于訓(xùn)練、驗(yàn)證和測試的數(shù)據(jù)量。

2.3 CNN模型構(gòu)建

圖8為CNN模型構(gòu)建模塊，該模塊包含模型訓(xùn)練、模型測試和圖像識別3部分。系統(tǒng)采用梯度下降算法對CNN進(jìn)行訓(xùn)練。

圖8 CNN模型構(gòu)建模塊Fig.8 Module of CNN construction

模型訓(xùn)練完成后，系統(tǒng)調(diào)用測試數(shù)據(jù)集對網(wǎng)絡(luò)模型進(jìn)行測試，測試結(jié)果會顯示在右側(cè)的測試結(jié)果面板中。為進(jìn)一步展示麥穗識別分類器的效果，該研究采用混淆矩陣(Confusion matrix)來評價(jià)分類器的效果。從混淆矩陣中可以看出，測試數(shù)據(jù)集包含7 868個(gè)樣本，麥穗識別分類器正確識別了2 603個(gè)麥穗樣本，占總測試數(shù)據(jù)的33.1%；正確識別了2 583個(gè)陰影樣本，占總測試數(shù)據(jù)的32.8%；正確識別了2 653個(gè)葉片樣本，占總測試數(shù)據(jù)的33.7%。只有1個(gè)葉片樣本和1個(gè)陰影樣本被誤識別為麥穗，分別占總測試數(shù)據(jù)的比例近乎為零。4個(gè)葉片樣本和3個(gè)麥穗樣本被誤識別為陰影，分別占總測試數(shù)據(jù)的0.05%和0.04%。8個(gè)陰影樣本和12個(gè)麥穗樣本被誤識別為葉片，分別占總測試數(shù)據(jù)的0.1%和0.15%。從混淆矩陣中可以看出，該研究識別分類器的正確率為99.6%，麥穗識別正確率為99.9%，陰影識別正確率99.7%，葉片識別正確率為99.3%。從分類器測試的結(jié)果來看，該系統(tǒng)能夠準(zhǔn)確地從復(fù)雜背景中識別出麥穗，正確率滿足實(shí)際應(yīng)用的要求。

2.4 麥穗檢測計(jì)數(shù)

如圖9所示，系統(tǒng)采用測試后的CNN模型結(jié)合NMS進(jìn)行麥穗計(jì)數(shù)，結(jié)果顯示在麥穗檢測計(jì)數(shù)面板中。

圖9 麥穗檢測計(jì)數(shù)面板Fig.9 Module of winter wheat ears counting

為了驗(yàn)證麥穗檢測計(jì)數(shù)的正確率，本研究對166幅冬小麥圖像進(jìn)行系統(tǒng)測試。通過剔除重復(fù)圖像和質(zhì)量較差的圖像后，選擇100幅冬小麥圖像測試系統(tǒng)的正確率。在進(jìn)行系統(tǒng)測試時(shí)，為降低麥穗重疊對計(jì)數(shù)正確率造成的影響，通過多次試驗(yàn)選擇麥穗置信度分?jǐn)?shù)p和重疊面積比率I的閾值，最終將麥穗置信度分?jǐn)?shù)p閾值設(shè)置為0.95，重疊面積比率I閾值設(shè)置為0.1。圖像中麥穗實(shí)測數(shù)據(jù)通過人工計(jì)數(shù)獲得。由于冬小麥圖像的邊緣區(qū)域存在麥穗不完整的現(xiàn)象，增加了人工計(jì)數(shù)的主觀性。為了保證計(jì)數(shù)的正確性和試驗(yàn)的嚴(yán)謹(jǐn)性，本研究制定了統(tǒng)一的麥穗計(jì)數(shù)原則，由5位團(tuán)隊(duì)成員分別對每幅圖像中的麥穗進(jìn)行計(jì)數(shù)。針對每幅冬小麥圖像，將5個(gè)計(jì)數(shù)結(jié)果的平均值作為該圖像的麥穗實(shí)測數(shù)據(jù)，以減小人工計(jì)數(shù)的主觀性誤差。將系統(tǒng)計(jì)數(shù)結(jié)果與實(shí)測數(shù)據(jù)進(jìn)行對比分析，結(jié)果如表1所示。

表1 麥穗計(jì)數(shù)結(jié)果Tab.1 Results of winter wheat ears counting 個(gè)

從表1中可以看出，針對100幅冬小麥圖像，人工計(jì)數(shù)方法獲得的麥穗數(shù)量為3 138，而系統(tǒng)計(jì)數(shù)方法共獲得3 121個(gè)麥穗。進(jìn)一步采用回歸分析對系統(tǒng)正確率進(jìn)行定量分析，采用決定系數(shù)(Coefficient of determination，R2)和歸一化均方根誤差(Normalized root mean square error，NRMSE)進(jìn)行正確率定量評價(jià)，結(jié)果如圖10所示。針對100幅冬小麥圖像，麥穗計(jì)數(shù)結(jié)果R2為0.62，NRMSE為11.73%。系統(tǒng)計(jì)數(shù)正確率較為理想，可滿足麥穗計(jì)數(shù)實(shí)際應(yīng)用中的要求。

圖10 麥穗計(jì)數(shù)線性擬合結(jié)果Fig.10 Line fitting of winter wheat ears counting results

為進(jìn)一步評估系統(tǒng)應(yīng)用的效率，對系統(tǒng)測試的耗時(shí)進(jìn)行了統(tǒng)計(jì)分析。在本系統(tǒng)硬件條件下，針對100幅冬小麥圖像測試共耗時(shí)3 991.24 s，平均耗時(shí)為39.91 s。

針對麥穗重疊的問題，該系統(tǒng)通過試驗(yàn)選取合適的麥穗置信度分?jǐn)?shù)p閾值和重疊面積比率I閾值，在一定程度上降低了麥穗重疊對正確率的影響(圖11a)，針對重疊面積較小的情況，能夠取得良好的計(jì)數(shù)效果。而對于麥穗重疊面積較大的情況(圖11b)，系統(tǒng)將進(jìn)一步對算法進(jìn)行優(yōu)化，擬采用增加麥穗稈的特征來提高計(jì)數(shù)的正確率，即在提取麥穗標(biāo)簽數(shù)據(jù)時(shí)，增加部分秸稈圖像，進(jìn)一步提高麥穗計(jì)數(shù)的正確率。

圖11 交叉重疊識別結(jié)果Fig.11 Counting results for ears under occlusion

3 結(jié)論

(1)構(gòu)建了適用于冬小麥麥穗識別的卷積神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)了大田環(huán)境下麥穗的快速、準(zhǔn)確識別。模型總體識別正確率為99.6%，其中麥穗識別正確率為99.9%，陰影識別正確率為99.7%，葉片識別正確率為99.3%。

(2)采用NMS方法實(shí)現(xiàn)了麥穗計(jì)數(shù)。對100幅冬小麥圖像進(jìn)行麥穗計(jì)數(shù)測試的結(jié)果表明，系統(tǒng)計(jì)數(shù)的擬合度較好，R2為0.62，歸一化均方根誤差較小，為11.73%。