基于圖像自適應分類算法的花生出苗質量評價方法

楊　洋　苗　偉　張　鐵　楊學軍　劉　路　陳黎卿

(1.安徽農業大學工學院， 合肥 230036； 2.安徽省智能農機裝備工程實驗室， 合肥 230036；3.中國農業機械化科學研究院， 北京 100083)

0　引言

由于播種過程受環境或者播種機具性能影響，花生的出苗率在89%左右[1]，普遍存在查苗補苗不及時、長勢較弱等問題，影響花生產量。隨著精準農業的迅速發展，植株的出苗質量評價作為農作物產量預測[2]、精細植保[3]以及自動化補苗的重要依據，亟需開展研究。

從文獻[4-8]可以看出，目前關于農作物出苗質量的評價主要依靠人工計數或目測的方法獲取作物信息，其工作效率低、主觀性大，而且有一些作物特征難以定量描述[9]，如農作物包絡面積或者農作物出苗的均勻性等。隨著適度規模農業的發展，提出一種適用于大田環境的農作物出苗質量評價方法，以提高農作物田間管理技術，推進農業信息化、精細化發展。

目前，機器視覺技術已廣泛應用在農業植保領域中，在農業機器人田間行走方面，大量學者[10-11]開展了基于機器視覺的導航基準線生成方法研究，實現大田環境農業機械自動行走。在田間植保方面，邱白晶等[3]和趙棟杰等[12]提出了基于機器視覺識別作物中心線，實現了噴藥噴頭的自動對靶噴霧技術；權龍哲等[13]研究基于圖像識別玉米品種，肖志云等[14]針對植物病害彩色紋理特點，開展植物病害分類識別，為植物的田間管理提供有效途徑；宋鵬等[15]設計了基于計算機視覺的玉米單倍體自動分選系統，文獻[16-18]還開展了田間雜草的識別技術，以便后期精確噴施農藥和除草劑。還有學者[19-20]基于機器視覺技術，開展了農作物種子質量精選、分級研究，提高了農作物出苗質量。

綜上所述，目前機器視覺技術已廣泛應用于田間管理領域中，但是關注農作物出苗質量評價的研究較少。本文以花生苗為研究對象，設計花生苗出苗質量檢測自走機器人，采用機器視覺技術提取花生出苗數量、花生苗幾何特征和花生苗中心點坐標位置，準確快速評價大田環境下花生缺苗情況和花生生長狀況。

1　出苗質量評價流程

1.1　花生出苗質量評價指標

對于花生出苗質量，主要從花生缺苗率和花生苗活力指數兩方面進行評價。其中花生缺苗率用于表征花生出苗數量相對于理想狀況(農藝規定)缺少的棵數，缺苗率直接影響到花生的種植密度，進而影響產量[5]。花生苗活力指數主要從花生葉片包絡面積進行評價，葉片面積指數一方面可反映作物生長狀況，另一方面可反映葉片對光能的利用情況，單棵花生葉片包絡面積與花生產量呈正相關[2]。

通過花生出苗質量的評價，可以得到大田環境下花生缺苗以及長勢較差花生的幾何坐標位置，為后期補苗和田間植保提供信息。

1.2　評價分析流程

機器人采集圖像并記錄圖像的位置坐標，然后采用基于自適應分類算法提取花生苗在所采集圖像中的坐標位置、花生苗葉片包絡面積以及花生苗數量。通過圖像位置和花生苗在所采集圖像中的坐標可以得到花生苗在田間的缺苗位置、花生苗長勢較差位置，流程如圖1所示。

圖1　基于田間行走機器人的花生苗質量評價流程圖Fig.1　Flow chart of quality evaluation of peanut sprout based on field walking robots

1.3　花生出苗檢測系統

圖像采集設備采用CMOS機器視覺攝像頭，圖像分辨率為1 024像素×768像素，單個像素對應地面尺寸為1.5 mm，相機鏡頭與地面保持平行，攝像頭安裝在遠程遙控田間行走機器人前方，如圖2所示。機器人行走路徑通過GPS規劃，基于純路徑跟蹤算法，機器人按照已規劃路徑行走。機器人行走速度設定為1 m/s，圖像采集頻率為1 f/s，圖像采集區域1 530 mm×1 150 mm，所拍攝的圖像利用移動平臺所裝載的差分GPS標記圖像的坐標信息。基于圖像坐標序列，對圖像進行物理拼接，形成整個大田作物圖像信息。基于Alvarion網橋搭建數據鏈路，可同時傳輸指令和視頻/圖像信號，其中，圖像傳遞和指令返回時間小于20 ms，圖像處理平均時間180 ms，該采集系統能夠實現動采集動處理功能。圖像處理硬件采用Inter Core i7處理器，主頻2.6 GHz，內存容量16 GB，顯卡型號Nvidia Quadro M1000M，顯存容量4 GB。

圖2　花生出苗質量評價檢測系統Fig.2　Peanut seedling quality evaluation and detection system

2　基于自適應分類算法的花生苗圖像信息提取

2.1　花生苗圖像顏色提取因子

圖3　花生苗與土壤RGB統計結果Fig.3　RGB statistics result of peanut and soil

在農田環境中，植物部分主要呈綠色，土壤背景主要呈褐色，因此可以基于超綠特征算法提取花生綠色特征。隨機選取50幅花生苗圖像，提取圖像中花生苗和土壤顏色樣本點(每幅圖像分別提取20個花生苗和土壤測試點)，進行R、G、B顏色特征分析。圖3為花生苗和土壤顏色特征因子的統計結果，可以看出花生苗的G分量值顯著大于土壤，因此可以基于G分量提取花生圖像信息。

如果直接采用G顏色特征設置花生苗圖像閾值，得到的結果如圖4所示，可以看出直接采用G顏色分量無法有效將花生苗從土壤中完整提取出來，容易出現提取不完整或者過提取，且噪聲較大。

圖4　基于G顏色特征提取花生苗的試驗結果Fig.4　Test results of peanut seedling extract based on G color characteristics

針對上述問題，基于R、G、B顏色彼此關系特征，建立花生苗顏色提取算子

(1)

式中Δgr——花生苗顏色算子G-R提取閾值

Δgb——花生苗顏色算子G-B提取閾值

按照式(1)定義的花生苗提取算子，對圖像R、G、B值進行處理，得出顏色算子G-R和G-B的分布，如圖5所示。根據顏色算子分布密度和分布區域，可以明顯地將圖像分為2類，有效地將土壤和花生苗進行分類。

圖5　基于G-R和G-B的圖像分類Fig.5　Image classification based on G-R and G-B

采用式(1)定義的顏色算子具有較好魯棒性，通過設定花生苗顏色提取閾值Δgr和Δgb，開展花生苗圖像信息提取有效性魯棒試驗，試驗結果如圖6所示，可以看出顏色提取閾值在10<Δgr<60和0<Δgb<30范圍內都可以有效提取花生苗圖像信息。

圖6　花生苗圖像提取魯棒性試驗結果Fig.6　Robustness test results of peanut images extraction

2.2　花生苗圖像顏色提取閾值確定

由于氣候環境、土壤水分等影響，不同時間段以及不同位置花生苗及土壤的圖像信息都會呈現出不同的顏色特征，如果采用固定不變的花生苗提取閾值，無法準確地將花生苗圖像信息從土壤背景中提取出來。為此，提出了基于K-均值聚類的圖像自適應顏色閾值確定算法。K-均值聚類是基于空間距離的聚類算法，采用距離作為相似性評價指標，認為簇是由距離靠近的對象組成，因此將緊湊且獨立的簇作為最終計算目標[21]。該算法首先按照圖7的方式進行圖像RGB采樣，按照式(1)將采樣點R、G、B值轉換為G-R值和G-B值，作為分類樣本點數據集。

圖7　提取圖像的樣本點信息Fig.7　Samples of image

基于K-均值聚類算法對圖像樣本點數據集進行分類，分類結果如圖8所示，可以看出通過聚類將G-R值和G-B值分為2類，其中聚類1中為土壤，聚類2中為花生苗。計算聚類2中的花生苗提取算子G-R和G-B的均值及其偏差，確定花生苗顏色提取閾值Δgr和Δgb

(2)

式中AG-R、AG-B——提取算子G-R和G-B的均值

SG-R、SG-B——提取算子G-R和G-B的偏差

圖8　花生苗提取算子G-R和G-B值分類Fig.8　Classification of G-R and G-B

采用上述方法對花生苗進行提取，取原始圖像左下角兩棵花生苗進行放大，如圖9所示，可以看出本方法較好地提取了花生苗圖像信息，有效剔除了枯葉、雜物以及花生苗產生的陰影，花生苗圖像信息未發生明顯丟失。

圖9　花生圖像提取細節對比Fig.9　Detail comparison between peanut and extracts

2.3　圖像分割

花生苗的分割屬于完全分割，其結果是一組唯一對應于輸入圖像中物體的相互不相交的區域，圖像R的完全分割是區域R1，R2,…,Rs的有限集合

(3)

圖像數據的不確定性是圖像分割的主要問題，通常伴隨著噪聲。本文采用圖像全局分割和區域分割相結合的方法，準確分割花生苗圖像信息，分割過程如圖10所示。

圖10　花生苗圖像信息分割結構圖Fig.10　Segmentation process of peanut image

圖11　全局分割結果Fig.11　Result of global segmentation

通過圖像自適應分類算法自動選取閾值進行圖像分割，得到的結果如圖11所示。圖11白色區域表示花生苗，從圖中可以看出，田地中存在少量的雜草，其顏色與花生苗葉片顏色相近，無法通過顏色特征剔除。因此，需要進一步對分割后的圖像進行處理，進而確定花生苗數量。

采用腐蝕膨脹處理和形態學約束進一步剔除雜草噪聲，首先，選擇圓形結構元素因子對圖像進行先腐蝕后膨脹處理，將外伸嚴重的花生葉片連為整體，避免機器識別過程出現花生苗分裂成若干棵花生苗的情況，導致誤判現象，如圖11橢圓標出部分。然后統計花生苗最小外接矩形幾何特性(樣本量1 000棵)，得到花生苗包絡面積均值10 027 mm2，最小外接矩形長度和寬度均值分別為122 mm和126 mm。

基于花生苗幾何特性對全局分割進行約束和檢測，具體約束公式為

(4)

式中L、B——花生苗外接矩形的長度和寬度

S——花生苗包絡面積

LAVE、BAVE、SAVE——外接矩形長、寬、面積的統計均值

LSTD、BSTD、SSTD——外接矩形長、寬、面積的偏差

采用上述公式對噪聲進行處理，最終得到花生苗圖像分割結果如圖12所示。從圖中可以看出，單棵花生較好地形成了一個整體，有效地解決了花生苗計數誤判現象。

2.4　區域圖像分割

當圖像包絡面積大于一定值后，有可能是兩棵以上花生苗長到一起導致的，進而導致誤判現象，如圖13所示，因此需要對局部圖像進行再次分割。

采用花生苗包絡面積統計值的上線作為閾值，判斷二次分割區域，采用分水嶺分割法對局部圖像進行二次分割，畫出圖形的等高線如圖14a所示，確定分割界限，結果如圖14b所示，最終兩棵連在一起的花生苗得到正確分割。

圖12　剔除雜草噪聲后分割結果Fig.12　Weed noise removal

圖13　誤判現象Fig.13　Misjudgment of peanut

3　花生出苗評價指標計算

3.1　花生苗坐標位置確定

花生苗坐標位置的確定是開展花生苗田間缺苗率計算的前提，本文采用花生苗葉片包絡面積中心點近似估計花生苗坐標位置。設第p列、第q行花生苗葉片包絡面積中心點坐標值(Xpq,Ypq)，其中X坐標為水平方向，Y坐標為豎直方向，花生苗包絡區域中心位置的計算方法為

(5)

式中f(x,y)——圖像像素值

M——圖像X方向像素數

N——圖像Y方向像素數

(x,y)——像素點的橫、縱坐標

基于式(5)對圖15進行計算，得到花生苗葉片包絡面積中心點分布如圖16所示。

圖15　花生苗缺苗示意圖Fig.15　Illustration of peanut seedling deficiency

圖16　花生苗中心點分布Fig.16　Peanut center point distribution

采用花生苗坐標位置計算花生苗株距，與人工測量花生根莖株距平均誤差小于5.35 mm(偏差1.16 mm)。

3.2　花生苗田間缺苗率計算

花生苗田間缺苗率計算公式為

(6)

式中P0——基于農藝設計的單位面積花生苗數量，該參數在花生種植時由農藝師設定

ΔP——田間花生苗缺苗數量

對于第p列苗帶，可以根據苗帶中心坐標Ypq計算花生苗在苗帶方向的間距Lpq，進而判斷株距是否滿足農藝要求。

Lpq=|Ypq-Yp,q-1|

(7)

對于式(7)可以分為3種情況：

(1)如果Lpq∈[L-LSTD,L+LSTD]，說明兩棵花生苗在農藝要求距離范圍內，歸類于正常出苗，其中L為農藝要求值，LSTD為誤差范圍。

(2)如果Lpq∈(0，L-LSTD)，說明兩棵花生苗距離太近，不符合農藝要求，雖然花生正常出苗，但是多出的苗對花生的產量并無顯著影響，因此可以歸類于異常出苗，不符合農藝要求。

(3)如果Lpq>L+LSTD，說明兩棵花生苗距離過遠，不符合農藝要求，可以判斷缺苗，進一步判斷具體缺苗數量。

(8)

式中round——取整函數

圖15為田間拍攝花生苗圖像，可以直觀看出圖中黃色陰影部分為缺苗部分，通過手工計算得到花生缺苗率為6.67%。圖16中的?符號所在位置表示缺苗位置，計算得到花生缺苗率為6.67%，可以看出，通過機器視覺得到的花生缺苗率與實際情況一致。

3.3　花生苗活力指數

相關文獻指出[4-5]，花生苗葉片包絡面積與花生產量成正比關系，因此本文以花生苗葉片包絡面積表示花生苗活力。通過計算花生苗包絡區域像素數值，然后根據比例關系得到花生苗包絡面積Apq。基于花生苗葉片包絡面積，結合農藝要求得到花生苗活力指數

(9)

式中A0——花生苗幼苗期葉片包絡面積的標準值，本文以大田花生苗葉片包絡面積均值作為標準值

Astd——可接受偏差

式(9)將花生苗活力指數歸一化到[0,1]范圍內，根據花生苗葉片包絡面積將花生活力指數分為兩類：當花生苗葉片包絡面積在農藝要求范圍內，賦值為1；當花生苗葉片包絡面積小于農藝規定值的下線，屬于取值越小越差型指標，按照式(9)進行歸一化。

3.4　花生出苗質量試驗評價

2017年6月11日在安徽農業大學工學院試驗田進行試驗，花生處于幼苗期(播種后35 d)。在田間隨機開展10次試驗，試驗結果對比如表1所示。通過機器視覺識別花生苗數量的準確度最低為91.7%，最高為100%，平均準確度達到95.4%(±3.5%)。對于缺苗率，采用皮爾遜相關系數計算圖像識別和人工識別的一致性為0.991。

通過花生苗葉片包絡面積得到每幅圖像花生苗葉片包絡面積低于農藝規定值棵數、花生苗活力指數、花生苗葉片覆蓋地面比例，結果如表2所示。其中，試驗6花生苗活力指數為0.915(最低)，花生苗覆蓋地面占比29.7%(最低)，基于此判斷該采樣點位置花生苗長勢較差，結果可為精細植保提供依據。

表1　花生缺苗率試驗結果Tab.1　Test results of peanut seedling deficiency rate

4　結束語

以花生出苗質量為研究對象，提出了花生出苗質量評價指標，設計了實時獲取花生苗圖像信息的田間行走機器人，基于機器視覺的方法開展了花生出苗質量評價研究。首先提出了魯棒性強的花生苗圖像提取算子，采用K-均值聚類算法對提取算子進行聚類，有效解決了氣候環境對圖像識別精度的影響，提高了圖像識別適應性。將全局分割與局部分割緊密結合，并根據花生苗形態學統計結果設定分割目標屬性判斷準則，有效降低了花生苗數量誤判。試驗結果表明，采用所提出的花生出苗質量評價方法能夠快速、準確評價花生出苗質量，缺苗率與人工計數的一致性為0.991。

表2　花生活力指數試驗結果Tab.2　Test results of peanut vitality index

1張秀玲. 不同整地方法對土壤含水量及花生出苗率的影響[J].內蒙古農業科技, 2008(4):49.

ZHANG Xiuling. Effects of different soil preparation methods on soil water content and peanut seedling rate [J]. Inner Mongolia Agricultural Science and Technology, 2008(4): 49.(in Chinese)

2楊富軍, 趙長星, 閆萌萌,等. 栽培方式對夏直播花生葉片光合特性及產量的影響[J]. 應用生態學報, 2013, 24(3):747-752.

YANG Fujun, ZHAO Changxing, YAN Mengmeng, et al. Effects of different cultivation modes on the leaf photosynthetic characteristics and yield of summer-sowing peanut[J]. Chinese Journal of Applied Ecology, 2013, 24(3):747-752. (in Chinese)

3邱白晶,閆潤, 馬靖,等. 變量噴霧技術研究進展分析[J/OL]. 農業機械學報, 2015, 46(3):59-72. http:∥www.j-csam.org/jcsam/ch/reader/ view_abstract.aspx?flag=1&file_no=20150309&journal_id=jcsam. DOI：10.6041/j.issn.1000-1298.2015.03.009.

QIU Baijing, YAN Run, MA Jing, et al. Research progress analysis of variable rate sprayer technology[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(3):59-72. (in Chinese)

4金建猛, 谷建中, 劉向陽,等. 花生農藝性狀與產量的灰色關聯度分析[J]. 種子科技, 2009, 27(5):31-33.

JIN Jianmeng, GU Jianzhong, LIU Xiangyang, et al. Gray correlation analysis of peanut agronomic traits and yield [J].Seed Technology, 2009, 27(5): 31-33. (in Chinese)

5甄志高, 王曉林, 段瑩,等. 不同種植密度對花生產量的影響[J]. 中國農學通報, 2004, 20(2):90-91.

ZHEN Zhigao, WANG Xiaolin, DUAN Ying, et al. Effect of different planting density on yield in peanut[J]. Chinese Agricultural Science Bulletin, 2004,20(2):90-91. (in Chinese)

6丁興民, 王溯,李民. 不同種植密度對中間型大花生生物學性狀與產量的影響[J]. 農業科技通訊, 2015(12):136-139.

DING Xingmin, WANG Su, LI Min. Effects of different planting densities on biological characteristics and yield of intermediate peanut[J].Journal of Agricultural Science and Technology, 2015(12): 136-139.(in Chinese)

7關小康, 楊明達, 白田田,等. 適宜深播提高地下滴灌夏玉米出苗率促進苗期生長[J]. 農業工程學報, 2016, 32(13):75-80.

GUAN Xiaokang, YANG Mingda, BAI Tiantian, et al. Suitable deep sowing increasing emergence rate and promoting summer maize growth in seeding stage under subsurface drip irrigation[J]. Transactions of the CSAE, 2016, 32(13):75-80.(in Chinese)

8張若宇, 坎雜, 馬蓉,等. 基于RGB模型的脫絨棉種顏色特征與發芽狀況的關系[J]. 農業工程學報, 2010, 26(10):172-177.

ZHANG Ruoyu, KAN Za, MA Rong, et al. Relationship between color features and germination of delinked cottonseed based on RGB color model[J]. Transactions of the CSAE, 2010, 26(10):172-177.(in Chinese)

9李志剛, 傅澤田, 李麗勤. 基于機器視覺的農業植保技術研究進展[J].農業機械學報, 2005, 36(8):143-146.

LI Zhigang,FU Zetian,LI Liqin. Advance in agricultural plant protection technology based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2005,36(8):143-146.(in Chinese)

10DONG F, PETZOLD O, HEINEMANN W, et al. Time-optimal guidance control for an agricultural robot with orientation constraints[J]. Computers & Electronics in Agriculture, 2013, 99(6):124-131.

11HIREMATH S A, GERIE W A M, EVERT F K V, et al. Laser range finder model for autonomous navigation of a robot in a maize field using a particle filter[J]. Computers & Electronics in Agriculture, 2014, 100(1):41-50.

12趙棟杰, 張賓, 王學雷,等. 基于圖像矩的室內噴霧機器人自動對靶研究[J/OL].農業機械學報,2016,47(12):22-29.http:∥www. j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20161204&journal_id=jcsam.DOI：10.6041/j.issn.1000-1298.2016.12.004.

ZHAO Dongjie, ZHANG Bin, WANG Xuelei, et al. Automatic target of indoor spray robot based on image moments[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(12):22-29. (in Chinese)

13權龍哲,祝榮欣,雷溥,等.基于K-L變換與LS-SVM的玉米品種識別方[J].農業機械學報,2010,41(4):168-172.

QUAN Longzhe, ZHU Rongxin, LEI Pu, et al. Method of maize cultivars based on K-L transform and LS-SVM[J]. Transactions of the Chinese Society for Agricultural Machinery, 2010,41(4):168-172. (in Chinese)

14肖志云,劉洪.小波域馬鈴薯典型蟲害圖像特征選擇與識別[J/OL].農業機械學報,2017,48(9):24-31. http:∥www.j-csam.org/jcsam /ch/reader/view_abstract.aspx?flag=1&file_no=20170903&journal_id=jcsam.DOI：10.6041/j.issn.1000-1298.2017.09.003.

XIAO Zhiyun, LIU Hong. Features selection and recognition of potato typical insect pest images in wavelet domain[J/OL].Transactions of the Chinese Society for Agricultural Machinery,2017,48(9):24-31. (in Chinese)

15宋鵬, 吳科斌, 張俊雄,等. 基于計算機視覺的玉米單倍體自動分選系統[J]. 農業機械學報, 2010, 41(增刊):249-252.

SONG Peng, WU Kebin, ZHANG Junxiong, et al. Sorting system of maize haploid kernels based on computer vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2010,41(Supp.):249-252. (in Chinese)

16毛文華, 王一鳴, 張小超,等. 基于機器視覺的田間雜草識別技術研究進展[J]. 農業工程學報, 2004, 20(5):43-46.

MAO Wenhua, WANG Yiming, ZHANG Xiaochao, et al. Research advances of weed identification technology using machine vision[J]. Transactions of the CSAE, 2004, 20(5):43-46. (in Chinese)

17LIN Fenfang, ZHANG Dongyan, WANG Xiu,et al. Identification of corn and weeds on the leaf scale using polarization spectroscopy[J]. Infrared and Laser Engineering, 2016, 45(12):1223001.

18SLAUGHTER D C, GILES D K, DOWNEY D. Autonomous robotic weed control systems: a review[J]. Computers & Electronics in Agriculture, 2008, 61(1):63-78.

19葉鳳林, 李琳, 楊麗明,等. 應用機器視覺技術篩選射干種子精選指標的研究[J]. 中國農業大學學報, 2016, 21(8):119-124.

YE Fenglin, LI Lin, YANG Liming, et al.Belamcandachinensis(L) DC. seeds selection based on machine vision technology[J]. Journal of China Agricultural University, 2016, 21(8): 119-124. (in Chinese)

20賈佳, 王建華, 謝宗銘,等. 計算機圖像識別技術在小麥種子精選中的應用[J]. 中國農業大學學報, 2014, 19(5):180-186.

JIA Jia, WANG Jianhua, XIE Zongming, et al. Wheat seeds selection based on computer image recognition technique[J]. Journal of China Agricultural University, 2014, 19(5):180-186.(in Chinese)

21徐黎明, 呂繼東. 基于同態濾波和K均值聚類算法的楊梅圖像分割[J]. 農業工程學報, 2015, 31(14):202-208.

XU Liming, Lü Jidong. Bayberry image segmentation based on homomorphic filtering and K-means clustering algorithm[J]. Transactions of the CSAE, 2015, 31(14): 202-208. (in Chinese)