基于顏色特征的小麥抽穗揚花期麥穗識別計數*

劉東，曹光喬，李亦白，陳聰

(1.農業農村部南京農業機械化研究所，南京市，210014；2.中國農業科學院研究生院，北京市，463000)

0 引言

抽穗揚花期是小麥生長、病蟲害防治的關鍵時期，該時期對小麥的產量和品質有直接影響。麥穗數作為小麥生長的重要參數，常用于產量預測和種植密度評估，成長期小麥麥穗數對后期水肥管理和蟲害防治有重要影響作用。以小麥赤霉病為例，赤霉病作為小麥抽穗期的主要病害，不僅影響小麥產量和品質，對人畜健康和生命安全也構成直接威脅[1-2]，相關學者研究表明小麥赤霉病的最佳施藥期為齊穗期(抽穗株率80%)至揚花初期[3-4]。因此實現抽穗揚花期小麥麥穗自動識別計數，對赤霉病防治、后期水肥管理和產量預測都有較大作用。

目前已有國內外學者將圖像處理和視頻檢測技術應用于作物生長檢測。小麥方面，已有學者利用圖像處理技術對麥穗進行識別計數。范夢揚等[5]研究了一種針對局部小范圍的小麥麥穗計數方法，通過提取麥穗的顏色、紋理特征，將麥穗輪廓與背景分離，并將麥穗輪廓細化確定麥穗數量。劉濤等[6]針對不同播種方式，分析了利用顏色特征和紋理特征分割麥穗的優缺點和粘連區域麥穗個數的計算方法，準確率分別為95.77%和96.89%。劉哲等[7]提出了基于改進K-means的小麥麥穗計數方法，該方法建立從圖像低層顏色特征到圖像中包含麥穗的一個直接分量關系，從而不需要對圖像進行分割或檢測。李毅念等[8]通過顏色空間轉換、去除細窄處粘連算法進行初步分割，再利用基于凹點檢測匹配連線的方法實現粘連麥穗的分割。但其圖像需要在特定裝置內以田間麥穗傾斜的方式獲取，具有一定的局限性。郝王麗等[9]提出了基于YOLOv3的深度神經網絡小麥檢測方法，但其檢測范圍為特定標注框內的小麥，存在小麥遮擋、重疊以及特定標注框內小麥越界到框外、框外小麥進入標注框內等情況，導致真實小麥麥穗數和預測小麥麥穗不一致。張領先等[10]設計了基于神經網絡的冬小麥麥穗檢測計數系統，通過建立麥穗、葉片、陰影三類標簽數據集，建立冬小麥麥穗識別模型。針對麥穗重疊面積較小的情況可以較好計數，但對于麥穗重疊面積較大的情況效果不理想。Sadeghi-Tehran等[11]通過簡單線性迭代聚類(SLIC)將圖像分割為超像素，獲得冠層相關特征，然后構建合理的特征模型，并將其輸入深度卷積神經網絡(CNN)分類，實現小麥麥穗的語義分割，其計數值與真實值的決定系數R2達0.94。

上述研究雖然都是小麥麥穗識別計數，但其研究目的是小麥產量預測和種植密度評估，研究對象多為成熟期小麥圖像，該時期小麥麥穗與葉片顏色差異較大，識別效果較好，且該時期處于生長晚期，麥穗計數無法指導病蟲害防治等植保環節。抽穗揚花期麥穗與葉片顏色非常接近，若直接應用現有研究方法效果不理想，且現有研究針對粘連區域麥穗識別計數問題還需優化。針對上述問題，本文以抽穗揚花期小麥為研究對象，使用無人機獲取小麥冠層影像，通過圖像處理技術識別小麥麥穗個數，并利用改進Harris角點檢測算法準確實現粘連麥穗計數，為了解小麥長勢監測和后期病蟲害防治提供參考。

1 材料與方法

1.1 圖像獲取及分析

麥穗圖像拍攝于2021年4月23日南京市棲霞區太平村(32°02′651″N，118°52′301″E)，小麥品種為楊麥12、楊麥16。使用大疆御mini無人機搭載RGB可見光相機，拍攝時間為10:00～12:00，在晴天逆光條件下垂直、45°視角拍攝，其中垂直拍攝30幅、45°視角拍攝30幅，飛行高度150 cm。由圖1可以看出，45°拍攝的小麥冠層圖像由麥穗、葉、莖稈構成；垂直拍攝的圖像中除麥穗、葉、莖稈外，還有少量裸露的土地。麥穗、葉、莖稈作為圖像中的主要部分，三者在顏色和紋理上非常接近，且大田環境下所獲取的圖像都存在較為嚴重的麥穗粘連問題。

(a)45°傾斜拍攝

1.2 顏色特征選擇

超綠色[12]提取綠色植物圖像效果較好，對陰影、枯草和土壤圖像有較好地抑制作用，常用于作物識別或雜草識別。但本文的數據樣本中麥穗、葉、莖稈顏色相近，且都呈現綠色，因此使用超綠特征識別麥穗效果不理想。直方圖均衡化是一種利用灰度變換自動調節圖像對比度質量的方法，其基本思想是通過灰度級的概率密度函數求出灰度變換函數，它是一種以累計分布函數變換法為基礎的直方圖修正法。變換函數T(r)與原圖像概率密度函數pr(r)的關系為

sk=T(rk)

(0≤rj≤1，k=0,1,2,…,L-1)

式中：nj——灰度級為rj的像素數；

N——圖像的像素總量；

L——圖像的灰度級；

s——直方圖均衡化后的圖像灰度級。

利用直方圖均衡化對RGB圖像進行處理時，會出現彩色色調改變的現象，對于顏色差異較小的圖像，可以利用這種色調改變現象增強顏色區分度。如圖2所示，在RGB空間對圖像進行直方圖均衡化。經過處理后，RGB圖像中麥穗和葉、莖稈出現明顯色差。

(a)45°夾角拍攝麥田均衡化效果

經直方圖均衡化處理后，麥穗和葉、莖稈雖然有較大顏色差異，但少數葉片還是呈現綠色，與麥穗顏色差異不大，因此不能直接進行麥穗提取。RGB顏色空間的單通道及其組合指數常被用來作為特征參數[12-13]，常見的組合指數包括歸一化綠紅差異指數(NGRDI)、紅綠比值指數(RGRI)、綠葉指數(GLI)和過綠指數(ExG)等。提取歸一化紅綠差異指數作為顏色特征，通過進一步處理能較好地消除葉片的干擾，其公式如下。

NGRDI=(G-R)/(G+R)

式中：G——綠色波段像素值；

R——紅色波段像素值。

1.3 二值化圖像處理

基于顏色特征提取的麥穗二值化圖像中存在麥穗粘連、麥穗孔洞、麥芒、雜質等干擾因素，故不能直接進行麥穗提取。通過對麥穗二值化圖像進行形態學腐蝕、開處理，可以消除麥芒、雜質的影響。針對麥穗自身孔洞問題，本研究首先使用孔洞填充算法嘗試解決，但效果并不理想，通過嘗試使用中值濾波算法可以較好地解決。

1.4 基于PSO改進的角點檢測算法

1.4.1 Harris角點檢測算法

針對粘連小麥麥穗，本文采用改進Harris角點檢測算法實現粘連麥穗的準確識別。角點檢測算法主要分為基于圖像邊緣的方法和基于圖像灰度的方法，Harris算法就是基于圖像灰度的典型角點檢測算法[14-15]，其檢測過程可分為三步：梯度計算、響應值計算、角點提取。Harris算法提取角點較為理想，但存在抗噪性差、易產生角點簇、偽角點、運行時間長等缺點。為提高角點檢測精度，首先用高斯窗口差分細化圖像，確定候選角點，然后計算候選角點與八鄰域的像素值差，再次剔除一些候選點。將角點響應函數的最大值(CRFmax)作為閾值，對候選點及八鄰域進行角點判別。

角點檢測判別式為

CRF=detM-a(traceM)2

式中：CRF——角點響應函數值；

M——灰度相關矩陣；

a——常數。

1.4.2 粒子群優化算法

粒子群優化算法(PSO)最早是由Eberhart和Kennedy于1995年提出，基本概念源于對鳥群覓食行為的研究，其基本思想是通過群體中個體之間的協作和信息共享來尋找最優解。每個個體在搜尋空間中各自擁有其方向和速度，并根據自我經驗與群體行為進行搜尋策略調整[16]。其算法數學表達式如下

xi=xi+vi

vi=ωvi+c1rand()×(pbesti-xi)+

c2rand()×(gbesti-xi)

式中：xi——粒子當前位置；

vi——粒子的速度；

c1、c2——學習因子；

p——當前個體極值；

besti——當前全局最優解；

rand()——介于(0，1)之間的隨機數；

ω——慣性因子，較大時，全局尋優能力強，局部尋優能力強；較小時，全局尋優能力弱，局部尋優能力強。

Harris角點檢測算法中a作為比例系數常數，一般根據經驗取值，但其對角點檢測結果有很大影響。因此本文通過粒子群算法對比例系數和閾值進行優化，以提高交點數識別的準確率。

1.5 圖像處理算法流程

小麥麥穗圖像采集后，針對RGB空間進行彩色圖像均衡化處理，處理后麥穗和葉、莖稈出現明顯色差，但仍有部分葉片難以區分，使用紅綠歸一化差異指數消除葉片干擾。對麥穗圖像進行圖像預處理，包括圖像分割、二值圖像形態學處理。針對粘連區域，首先將麥穗進行細化處理，再采用改進的Harris角點檢測算法識別骨架交點，實現圖像中麥穗分割計數，算法流程如圖3所示。

圖3 麥穗計數算法流程圖Fig.3 Flow chart of ear counting algorithm

2 試驗與結果分析

2.1 麥穗提取

圖像分割技術可分為邊緣檢測技術、閾值分割技術和區域分割技術等，它們分別基于不同區域的邊緣、灰度特征閾值、相似性質像素集合等基本思想[17]。麥穗RGB圖像經過直方圖均衡化處理后的麥穗和葉片在顏色特征上有較大差異，麥穗的綠色特征得到了保留，葉片和莖稈的顏色特征由綠色變為紫色，因此本文直接對彩色圖像進行分割，對R、G、B三通道分別進行處理，分割時各顏色波段范圍為R>100，G>200，B>50。麥穗提取效果如圖4(b)所示。圖4(c)、圖4(d)為二值圖像處理后效果。

(a)直方圖均衡化后麥穗圖像

2.2 粘連麥穗處理

現有麥穗識別方法中，無論是傳統圖像處理方法還是基于神經網絡的識別方法，麥穗粘連問題都無法避免。如圖5所示，與一般的簡單邊緣粘連不同，麥穗粘連既有邊緣粘連也有重合度很大的粘連，通過形態學腐蝕、開運算等處理雖然能解決部分麥穗粘連問題，但無法解決重合度較大的多個麥穗粘連問題。針對粘連問題，本文首先通過細化處理提取麥穗骨架，針對麥穗骨架采用改進Harris角點檢測算法進行交點檢測，實現粘連麥穗的準確識別。

(a)單個麥穗

2.2.1 圖像細化

圖像細化一般指二值圖像的骨骼化，即從圖像中去掉一些點(通常為輪廓上的點)，但仍要保持原來形狀，直到得到圖像的骨架[18-19]。對重疊的麥穗二值圖像進行圖像細化(骨骼化)，圖6為經過細化算法處理后的圖像。經細化處理后雖然分割了部分粘連麥穗，但一些粘連區域的麥穗依舊無法分割。通過參考文獻[6]及圖像分析，發現粘連區域的麥穗在進行細化操作后雖然無法分割，但相互粘連的麥穗間存在交點[6]，因此在麥穗計數中可以將區域識別個數加交點數作為最終麥穗識別個數。

(a)2個麥穗粘連

2.2.2 交點檢測

對麥穗骨架進行角點檢測可大大縮短運行時間，增加檢測精度，但偽角點依然存在。本文利用基于粒子群算法改進的Harris角點檢測算法對粘連麥穗的交點進行識別計數，交點檢測效果如圖7所示。

(a)2個麥穗的交點

2.3 麥穗計數分析

為驗證本文方法的麥穗計數準確率，設人工測量數量為Nm，圖像處理算法計算數量為Na，則麥穗計數準確率

每種角度隨機抽取10張樣本，分別運用本文算法和人工計數方法進行麥穗計數，統計結果如表1、表2所示。小麥圖像為640像素×480像素，小麥麥穗計數平均耗時1.1 s，垂直拍攝小麥圖像與45°夾角拍攝小麥圖像的平均計數準確率分別為96.06%和94.74%。在垂直拍攝的麥穗圖像識別中，范夢揚等[5]利用SVM學習的方法的平均精度為93.1%，劉哲等[7]提出的基于改進K-means的小麥麥穗計數方法的精度為94.69%，劉濤等[6]根據顏色特征和紋理特征識別麥穗的精度分別為95.77%和96.89%。本文的計數精度為96.06%，高于前兩種，略低于最后一種，能滿足大田環境下小麥麥穗統計的需求。除垂直拍攝外，本文為驗證粘連麥穗計數精度，選擇45°夾角拍攝的小麥圖像，其精度達到94.74%，雖低于垂直拍攝的計數精度，但也可實現粘連麥穗的有效計數，因此本文方法可以有效地進行抽穗揚花期小麥麥穗自動計數，為后續病蟲害防治作業提供決策依據。

表1 人工統計與算法統計對比(垂直拍攝)Tab.1 Comparison of manual statistics and algorithm statistics (vertical shooting)

表2 人工統計與算法統計對比(45°夾角拍攝)Tab.2 Statistical comparison between manual statistics and algorithm (45° angle shooting)

3 結論

針對抽穗揚花期小麥各部分顏色特征、紋理特征相近和麥穗粘連等導致的小麥麥穗計數準確率不高等問題，本文對該時期小麥麥穗識別計數展開研究。研究結果表明：經直方圖均衡化后，原本顏色特征接近的麥穗、葉片出現顏色差異，結合紅綠歸一化差異指數可以對麥穗進行有效提取。對于粘連區域，首先將麥穗進行細化處理，重合度較大的粘連麥穗其骨架會發生相交，因此采用改進的Harris角點檢測算法識別骨架交點，將區域識別個數加交點數作為最終麥穗識別個數，可有效解決粘連麥穗的計數問題。

1)本文方法在不同拍攝角度下，平均計數準確率分別為96.06%和94.74%，可實現大田環境下小麥抽穗揚花期麥穗識別計數。

2)本文算法可用于顏色特征差異較小的抽穗揚花期小麥麥穗識別，實現不同時期小麥麥穗識別計數，可為小麥長勢監測、病蟲害防治等提供依據。