基于機器視覺的大豆機械化收獲質量在線監測方法

陳 滿 倪有亮 金誠謙 徐金山 張光躍

(農業農村部南京農業機械化研究所， 南京 210014)

0 引言

大豆是我國主要種植作物之一，在我國糧食作物中占有重要地位[1]。機械化生產是大豆規?；?、集約化種植的基礎，但收獲機械參數不適當、無法進行快速調整，則會導致雜質和破碎籽粒等物質的存在，最終影響糧倉內的谷物質量[2-3]。脫粒滾筒轉速過高會使大豆表面出現裂紋，或被分成兩個或多個部分；而風機轉速過低則無法將秸稈和豆莢分離出來，導致含雜過高[4]。現階段，大豆聯合收獲機作業質量的鑒定與檢測普遍停留在人工分離檢測上，其工作繁瑣、效率低[5]；在大豆機械化收獲過程中，駕駛員了解收獲質量時需要停機，依靠肉眼進行判斷，由于缺少實時破碎含雜率的數據支撐，因此不能及時發現收獲過程存在的問題，導致收獲質量參差不齊，影響經濟效益。這種鑒定與檢測方式還將制約聯合收獲機參數自適應調控技術發展，從而影響聯合收獲機智能化水平。

近年來，隨著機器視覺和人工智能技術的發展，國內外研究者嘗試利用圖像處理技術評估谷物的品質，并開展了相關研究工作，如堆疊、粘連谷物圖像分割方法研究[6-8]、谷物圖像特征信息提取研究[9-11]和谷物成分識別模型研究[12-14]等。隨著基礎理論研究的深入，克拉斯公司推出了“谷物質量相機”，實現了機械化作業過程中谷物作業質量的實時監測與預警[15]；CARMEN等[16-17]研制了自動監測小麥籽粒、雜質的傳感器；MAHIRAH等[18-19]提出了雙燈源照明的谷物破碎率與含雜率監測系統；MD ABDUL等[20]研究了基于機器視覺的大豆破碎籽粒、含雜識別的試驗室檢測裝置和識別算法；陳進等[21]提出了基于機器視覺的水稻雜質與破碎籽粒分類識別方法，構建了機載實時測量系統；楊亮等[22]提出了基于遺傳算法圖像增強、K-means聚類算法、形態特征的破碎玉米籽粒識別方法，并設計了玉米籽粒破碎率在線采樣裝置。但相關技術仍不成熟，有必要針對聯合收獲機收獲的復雜作業環境進一步開展收獲質量在線監測技術的研究。

為實現大豆機械化收獲質量的在線監測，本文提出基于機器視覺的大豆機械化收獲質量在線監測方法，設計機械化收獲過程大豆圖像采集視覺系統，研究基于改進分水嶺算法的大豆圖像分割算法，在RGB和HSV顏色空間域篩選對大豆各成分具有較好分離特性的顏色特征值，建立基于顏色特征值的大豆成分分類識別算法，制定量化評價模型，以期實現大豆機械化收獲作業質量在線監測與作業質量性能評價。

1 材料與方法

1.1 圖像采集系統

大豆機械化收獲圖像采集系統主要由工控機(Xplore X SLATE B10型便攜式計算機，處理器為Intel 酷睿i5 5350U，顯卡為Intel HD Graphics 6000，系統內存為8GB)、谷物采集裝置、STM32下位機、工業相機、LED光源、電動機等部分組成，如圖1所示。

谷物采集裝置安裝于大豆聯合收獲機出糧口下方，采集落入谷物采樣槽中的大豆，工控機通過工業相機進行一次大豆圖像采集并進行圖像處理、識別和顯示，下位機則控制電動機動作，以獲取實時的大豆機械化收獲樣本，從而實現作業質量在線監測。

1.2 圖像采集與處理

1.2.1圖像采集

圖像采集工作于2018年10月9日在山東省梁山縣館驛鎮試驗田完成，試驗地種植大豆品種為鄭豆1307，機械化收獲時大豆籽粒平均含水率為12%，百粒質量為22.52 g。采用本文所述的圖像采集系統在聯合收獲機作業過程中實時采集糧箱內的大豆圖像，共100幅。圖像采集設備為邁德威視科技有限公司的彩色工業相機，型號1080P(V5610)_PCBA，搭配焦距為8 mm相機鏡頭。工業相機通過USB接口與工控機連接。在工控機上利用Matlab 2014a開發的大豆機械化收獲質量在線監測軟件(圖2)進行圖像采集與處理，圖像分辨率為1 280像素×1 024像素，圖像格式為jpg。

圖3為大豆樣品中最常見組成成分：完整籽粒，即沒有機械損傷的大豆籽粒；破碎籽粒，即由于機械收獲造成表皮損傷籽粒和破裂籽粒；雜質，即秸稈類雜質(主要包括豆莢、植物莖稈、葉片等)和霉變大豆籽粒。本文主要實現以上3種成分的識別，并建立量化模型判斷大豆機械化收獲質量。

1.2.2圖像識別流程

圖像系統采集的機械化收獲過程的大豆圖像存在大量籽粒雜質堆疊、粘連現象，需要從復雜圖像中準確識別出大豆樣本的各個組成成分。首先獲取原圖像的RGB和HSV顏色空間各個分量的值；對圖像進行預處理，采用改進分水嶺算法對圖像進行分割，通過邊界跟蹤和閉合區域填充獲取二值圖；然后采用帶色彩恢復的多尺度視網膜增強算法(Multi-scale retinex with color restoration， MSRCR)對原始彩色圖像進行補償和消除，減小噪聲干擾，應用最大類間方差法(Otsu)獲得二值化圖；最后設置R、G、B、H、S閾值，遍歷閉合區域識別大豆圖像中的各個成分，得到各成分識別結果。圖像識別流程如圖4所示。

1.2.3顏色特征提取

圖像處理中常用的顏色特征是RGB和HSV，然而大豆樣本各個組成成分的R、G、B、H、S值存在較大的重疊部分，因此，需要對顏色特征中的顏色矩進行分析統計以實現大豆樣本圖像的有效分類。顏色的分布信息主要集中在一階矩(Mean)、二階矩(Variance)和三階矩(Skewness)，其中一階矩描述平均顏色、二階矩描述顏色方差、三階矩描述顏色偏移性，顏色矩能夠全面呈現圖像的顏色分布特征。一階矩、二階矩和三階矩計算式為

(1)

(2)

(3)

式中i——顏色模型分量，i=1為R分量，i=2為G分量，i=3為B分量，i=4為H分量，i=5為S分量

Pij——彩色圖像第j個像素的第i個顏色分量

N——圖像中像素點個數

Mi1、Mi2、Mi3——一、二、三階矩計算值

從采集的100 幅大豆圖像中隨機抽取20 幅圖像作為樣本，人工選取樣本圖像中部分完整籽粒、破碎籽粒、雜質的內部區域進行截取，對區域內像素點R、G、B、H、S參數進行統計，得到完整籽粒、破碎籽粒、雜質各部分的顏色特征參數值分布范圍統計結果，如表1所示。

表1 R、G、B、H、S參數的區間范圍Tab.1 Interval range of each R, G, B, H and S parameter

1.2.4改進分水嶺圖像分割算法

本文設計的圖像采集系統所采集的機械化收獲過程大豆圖像顏色特征參數為各成分的粗提取提供依據，但不能精確地分割各個部分，特別是堆疊、粘連部分。為此，利用基于形態學及區域合并的改進分水嶺圖像分割算法，實現大豆圖像精確、有效分割。首先將原彩色圖像轉換為灰度圖像，對灰度圖像進行形態學混合開閉操作去除細小噪聲，再用拉普拉斯銳化法強化輪廓[23-26]；然后以圖像區域的亮暗程度為前提標記圖像目標物和背景區域，并對修正后的梯度幅值圖像分水嶺分割；最后利用區域合并算法對分割圖像區域合并，將漏標記區域合并到目標物或背景區域中，直到沒有新的區域合并成功，圖像邊緣跟蹤分割完成。

1.2.5圖像識別結果量化評價

采用查準率Pa、查全率Ra兩項指標對各成分識別結果進行量化評價。查準率指檢測結果中的正確部分占整個檢測結果的百分比。查全率指檢測結果中的正確部分占實際整個正確部分的百分比[27]，計算公式為

Pa=TP/(TP+FP)×100%

(4)

Ra=TP/(TP+FN)×100%

(5)

式中TP——正確識別像素數

FP——錯誤識別像素數

FN——漏識別像素數

TP、FP、FN均采用人工標注的方式得到。

1.2.6破碎含雜率量化模型

現有的大豆機械化作業質量破碎含雜率鑒定大綱的檢測方法并不適合基于圖像識別的破碎含雜率測定。根據現有測定方法，制定了基于圖像識別的破碎含雜率量化模型，計算公式為

Pz=ρzTz/(ρzTz+ρwTw+ρsTs)×100%

(6)

Ps=ρsTs/(ρwTw+ρsTs)×100%

(7)

式中Pz——含雜率，%

Ps——破碎率，%

Tw——系統識別的完整籽粒像素數

Ts——系統識別的破碎籽粒像素數

Tz——系統識別的雜質像素數

ρw——圖像每1 000像素點的完整籽粒平均質量

ρs——圖像每1 000像素點的破碎籽粒平均質量

ρz——圖像每1 000像素點的雜質平均質量

ρw、ρs、ρz均采用人工標注方式得到，試驗測得ρw和ρs為8.6×10-4mg/像素、ρz為1.3×10-4mg/像素。

制定規則實時評定谷物聯合收獲機作業性能，當大豆機械化收獲質量破碎率和含雜率的檢測值均低于5%時，本文判定谷物聯合收獲機作業質量合格，其他情況均為作業不合格。

1.2.7田間試驗驗證方法

試驗地點為山東省臨沂市河東區相公街道試驗田地塊，試驗時間為2019年10月20日，如圖5所示，試驗用大豆品種為鄭豆1307，機械化收獲時大豆籽粒平均含水率為11.8%，百粒質量為21.47 g。參照GB/T 5262—2008《農業機械試驗條件測定方法的一般規定》、NY/T 738—2003《大豆聯合收割機械作業質量》、DG-T 184—2019《大豆聯合收割機》開展大豆機械化收獲田間試驗，共進行3個行程的圖像采集裝置檢測和人工檢測對比試驗。

2 結果與討論

2.1 大豆樣本各成分識別

2.1.1基于改進分水嶺算法的圖像分割

通過最大類間方差法、傳統分水嶺算法和改進分水嶺算法對采集的大豆樣本圖像進行分割，效果如圖6所示。發現傳統分水嶺算法雖對微弱的邊緣具有良好的響應，但對圖像中噪聲、物體表面細微的灰度變化比較敏感，噪聲會惡化圖像梯度進而造成分割結果輪廓偏移，通常分割結果會出現嚴重的“過分割”現象。

改進分水嶺算法能夠有效抑制分水嶺的過分割，同時也能彌補傳統形態學標記的漏標記區域問題，在分割效果上優于最大類間方差法。在改進分水嶺算法分割過程中，大豆完整籽粒和破碎籽?？梢杂行Х指瞰@取，在圖6d的基礎上設置顏色閾值，可以有效地識別以上成分；但雜質由于顏色較深，會被標記為背景，從而將其剔除，根據圖6d的分割結果進行雜質識別不合適，可以根據圖6b的分割結果，在剔除完整籽粒和破碎籽粒的基礎上，實現雜質識別。

2.1.2完整籽粒識別

完整籽粒像素點R∈[115,186]，G∈[104,185]，B∈[90,180]，H∈[0,0.2]，S∈[0.027,0.24]，而由表1可知，完整籽粒M11∈[162.162 2,182.703 3]，M41∈[0.104,0.148]，M51∈[0.040 4,0.187 8] 這3個參數值明顯區別于破碎籽粒、雜質成分，因此，本文以M11、M41、M51這3個參數區間設置完整籽粒顏色閾值，通過遍歷圖像的各個閉合區域，統計區域內R、H、S分量的一階矩，進行屬于完整籽粒區域的提取。圖7b是對圖7a的大豆原始圖像識別完整籽粒的結果，從識別結果來看，原圖中的大豆完整籽粒基本都能被識別出來，而且大豆的形態保存良好。不足之處在于存在部分籽粒被標記為背景(圈內)被誤剔除。而完整籽粒的查準率為87.26%，查全率為86.17%(表2)。

2.1.3破碎籽粒識別

破碎籽粒像素點R∈[61,181]，G∈[68,189]，B∈[73,188]，H∈[0.027 8,0.7]，S∈[0.011 6,0.444 4]，而由表1可知，破碎籽粒M22∈[0.072 1,0.755 0]，M41∈[0.145 2,0.402 8]，M51∈[0.055 6,0.320 9] 這3個參數值明顯區別于完整籽粒、雜質成分，因此，本文以M22、M41、M51這3個參數區間設置破碎籽粒顏色閾值，通過遍歷圖像的各個閉合區域，統計區域內G分量的二階矩和H、S分量的一階矩，進行屬于破碎籽粒區域的提取。圖8b是對圖8a的大豆原始圖像識別破碎籽粒的結果，從識別結果來看，原圖中的正對鏡頭的大豆破碎籽?；径寄鼙蛔R別出來，而且大豆的形態保存良好。不足之處在于破碎面背對鏡頭的破碎籽粒被標記為完整籽粒(圈內)被誤剔除。而破碎籽粒的查準率為86.45%，查全率為79.42%(表2)。

2.1.4雜質識別

雜質像素點R∈[41，189]，G∈[52，195]，B∈[59，214]，H∈[0,0.818 2]，S∈[0,0.460 7]，而由表1可知，雜質M11∈[69.130 2,154.762 7]，M41∈[0.429,0.623]，M51∈[0.129 7,0.303 1] 這3個參數值明顯區別于完整籽粒、破碎籽粒成分，因此，本文以M11、M41、M51這3個參數區間設置雜質顏色閾值，通過遍歷圖像的各個閉合區域，統計區域內R、H、S分量的一階矩，進行屬于雜質區域的提取。圖9b是對圖9a的大豆原始圖像識別雜質的結果，從識別結果來看，原圖中的大豆大型莖稈雜質基本都能被識別出來，而且莖稈的基本長度、大小均保存良好。不足之處在于存在部分顏色較深的雜質被標記為背景(圈內)被誤剔除。而雜質的查準率為85.19%，查全率為83.69%(表2)。

2.2 大豆機械化作業質量在線監測田間測試結果

大豆機械化收獲作業質量田間測試數據如圖10、11所示，試驗過程中，采用本文設計的圖像采集裝置自動檢測大豆機械化收獲質量含雜率最大值5.23%，最小值0.34%，均值為2.72%；破碎率最大值5.04%，最小值1.85%，均值為3.06%。人工檢測大豆機械化收獲質量的含雜率最大值4.62%，最小值2.64%，均值為3.69%；破碎率最大值4.44%，最小值2.98%，均值為3.37%。

大豆機械化收獲作業質量田間收獲性能的判定結果如表3所示，相比于人工檢測，圖像自動檢測得到的大豆機械化收獲作業含雜率和破碎率較小，僅第2行程中自動檢測破碎率略高于人工檢測結果。根據作業性能判定規則，人工檢測和自動檢測結果一致，3個作業行程大豆機械化收獲作業性能均符合作業要求。由此可見，本文設計的圖像采集系統能夠作為大豆機械化收獲質量實時自動檢測有效手段，為提高大豆機械化收獲效益提供數據支持。

表3 田間試驗結果Tab.3 Field test results

3 結論

(1)基于機器視覺技術開發了大豆機械化收獲圖像采集系統，在便攜式計算機上利用Matlab2014a編寫了配套軟件，能夠實時采集清晰的大豆圖像，對大豆樣本圖像各個成分進行分割和識別，并計算出機械化收獲實時的破碎含雜率，為聯合收獲機作業性能評價和參數調節提供數據支持。

(2)采用改進分水嶺算法對采集的大豆圖像進行分割，遍歷圖像每個獨立的封閉區域，通過設置RGB和HSV顏色空間參數閾值，對封閉區域進行歸類，識別出大豆樣本中的完整籽粒、破碎籽粒及雜質。完整籽粒查準率為87.26%、查全率為86.17%，破碎籽粒查準率為86.45%、查全率為79.42%，雜質查準率為85.19%、查全率為83.69%。

(3)利用圖像采集與檢測系統對谷物聯合收獲機作業質量性能評定結果與人工檢測一致，該系統可以作為谷物聯合收獲機作業性能評定的有效手段。