油菜聯合收獲機含雜率在線檢測系統設計與試驗*

陳旭，關卓懷，李海同，沐森林，張敏，吳崇友

(1. 湖北工業大學機械工程學院，現代制造質量工程湖北省重點實驗室，武漢市，430068；>2. 農業農村部南京農業機械化研究所，南京市，210014)

0 引言

油菜是我國第一大油料作物，提供了50%以上的國產食用油，位居國產食用植物油首位。機械化收獲是油菜生產中的關鍵環節，提升油菜機械化收獲水平和收獲質量對于保障我國油料供給安全具有重要戰略意義[1-3]。含雜率是評價聯合收獲機作業質量的核心指標之一，也是科學調控聯合收獲機工作部件參數的關鍵依據。含雜過高會影響菜籽品質，增加后續加工環節難度，導致油菜籽商品價值損失和經濟效益下降[4]。現階段油菜聯合收獲機含雜率主要依靠停機人工檢測，過程復雜、效率低、實時性差[5]。油菜聯合收獲機含雜率等關鍵作業參數難以實時獲取，關鍵部件作業參數調控主要依靠駕駛員經驗，缺少量化依據，導致作業質量不穩定。聯合收獲機需兼顧含雜率和損失率，但實際生產中為盡量減少收獲損失往往導致含雜率過高，導致油菜籽品質降低[6]。因此在線檢測油菜聯合收獲機含雜率，實時掌握聯合收獲機作業質量信息，可為聯合收獲機工作參數調控提供依據，有助于提升油菜聯合收獲機智能化水平和菜籽收獲品質。

近年來，隨著計算機運算速度和圖像處理水平的提升，機器視覺技術因其響應快、低損傷、精度高的優點在現代農業生產中的谷物品質檢測領域得到了廣泛的應用。陳進等[7]提出了基于機器視覺的改進U-Net模型水稻雜質分割方法，為水稻含雜率的計算奠定基礎；陳滿等[8]提出了基于顏色特征的大豆機械化收獲質量在線監測方法，為聯合收獲機參數調節提供數據支持；李海同等[9]提出了基于圖像特征和隨機森林的油菜生物量估算方法，為油菜聯合收割機喂入量自動檢測提供參考；馬志艷等[10]提出了基于改進Mask R-CNN的水稻莖稈雜質分割方法，為后續含雜率在線檢測系統實現提供技術參考；萬龍等[11]提出了基于機器視覺的籽棉雜質快速檢測方法，為籽棉含雜率檢測設備的研發提供借鑒與技術參考；曾宏偉等[12]提出基于單目視覺的谷物聯合收獲機產量測量方法，并在谷物測產試驗臺上進行試驗驗證；劉雙喜等[13]提出基于圖像處理和體積排液原理的單粒不規則谷物體積測量方法，為科學研究和實際生產提供可靠的谷物體積數據；沈飛等[14]提出基于可見光—近紅外光譜和機器視覺的玉米霉變程度在線檢測方法，提升在線檢測結果的準確度；陳樹人等[15]提出基于Micro-CT圖像處理的稻谷內部損失定量表征與三維重構方法，為谷物內部損傷定量表征提供參考。但相關研究仍不成熟，有必要針對油菜機械化收獲作業環境，進一步開展油菜含雜在線檢測系統的研究。目前聯合收獲機含雜率在線檢測主要采用“物料取樣+視覺識別”的技術路線，通過相機拍攝所采集的樣本識別雜質。但取樣裝置中籽粒、雜質間易相互遮擋，難以識別被覆蓋的雜質；密閉采樣裝置中需要專門提供人工光源，光照效果對后續圖像處理影響大，制約油菜聯合收獲機含雜率在線檢測技術的發展與應用。

本文針對物料遮擋導致雜質漏檢、取樣裝置內光照不均影響雜質識別精度等問題，設計了一種導流式油菜聯合收獲機含雜率檢測裝置，通過限制物料鋪層厚度減小對雜質的遮擋，優化光源形式并通過亮度均衡化算法提升圖像質量，研究基于顏色特征和形狀特征的油菜雜質分割算法，構建油菜含雜率計算模型并試驗驗證，實現油菜含雜率在線檢測，為油菜聯合收獲機智能化測控系統的設計提供參考。

1 系統總體結構與工作原理

1.1 系統總體結構

油菜聯合收獲機含雜率在線檢測系統主要包括導流式含雜率檢測裝置、工控機等。其中導流式含雜率檢測裝置主要包括輸送帶、工業相機、光源、擋板、擋條和密封外殼等，其結構如圖1所示，主要技術參數如表1所示。

圖1 導流式含雜率檢測裝置

表1 油菜聯合收獲含雜率在線檢測系統主要技術參數Tab. 1 Main parameters of on-line detection system for impurity content in rape harvest

工控機處理器為Intel酷睿i7-4790S，顯卡為Intel HD Graphics 4600，系統內存8GB。工業相機為大恒MER-132-43U3C型號CCD相機，分辨率1 292×964，像素尺寸3.75 μm×3.75 μm，幀率43 fps，配有VS-LDA4可變焦鏡頭。

1.2 工作原理

導流式含雜率檢測裝置安裝于油菜聯合收獲機糧倉出糧口下方，油菜籽粒、雜質等物料通過接樣口進入采集裝置，實現清選后物料采樣。輸送帶由直流電機驅動，樣品采集速度無級可調。在輸送帶和擋條的共同作用下，物料由接樣口向卸樣口方向運動并落入油菜聯合收獲機糧倉中。通過調整高度調節板與輸送帶的間隙，控制物料鋪層厚度，減小對雜質的遮擋。環形光源提供穩定照明，亞克力透明隔板將圖像采集裝置分隔成兩個空間，工業相機和光源安裝在完全封閉的上側，油菜籽粒與輸送帶位于隔板的下方，避免田間作業時灰塵對鏡頭的損害。工業相機通過透明隔板拍攝油菜樣品圖像，輸入工控機識別物料中的雜質并計算含雜率，實現油菜聯合收獲機含雜率在線檢測。

2 檢測系統光源設計與分析

油菜圖像采集是實現油菜含雜率在線檢測的重要環節，圖像質量直接影響后續圖像處理的準確度，圖像亮度均勻性是評價圖像質量的關鍵指標。由于檢測裝置內部為密封空間，需要人工提供光源。為提升圖像質量，確定最優光源形式，選用單條形光源、雙條形光源和環形光源開展圖像采集試驗，如圖2所示。

為分析不同光源形式下圖像亮度分布規律，采用HSV(Hue Saturation Value)顏色空間模型對所拍攝的圖片進行處理分析。HSV顏色空間模型中的V分量表示圖像亮度，范圍0～1，與光強度之間并沒有直接聯系，可以排除不同光源形式本身強度對均勻度的影響。圖片的亮度分析結果如圖3所示。

(a) 單側條形光源 (b) 雙側條形光源

(c) 中心環形光源

(a) 單側條形光源

(b) 雙側條形光源

(c) 中心環形光源

從圖3可以看出，單側條形光源下，在光源一側區域的亮度顯著高于未設置光源的一側，亮度分布不均。雙側條形光源下，兩側亮度較高，中心區域亮度較低。中心環形光源下，四周亮度較低，中心區域亮度較高。為進一步量化分析光源形式對圖片亮度分布的影響，對圖片像素點的亮度值進行了統計分析，結果圖4所示。圖像亮度過大或者過小都會影響圖像的質量，亮度接近中值時圖像細節部分更清晰，更利于后續的圖像處理。通過計算圖像中各像素點亮度值在[0.30，0.70]、[0.25，0.75]和[0.20，0.80]的分布比例，分析圖像總體亮度與亮度中值的接近程度，并通過亮度變異系數表征圖像亮度均勻度。三種光源形式下亮度分布和亮度均勻度變異系數計算結果如表2所示。

(a) 單側條形光源

(b) 雙側條形光源

(c) 中心環形光源

表2 三種光源亮度分布情況Tab. 2 Brightness distribution of three light sources

從圖4和表2可以看出，單側條形光源下圖像總體亮度較低，各像素亮度值在[0.30，0.70]、[0.25，0.75]和[0.20，0.80]亮度區間的比例分別為38.3%、48.6%和60.2%。雙側條形光源亮度值在[0.30，0.70]、[0.25，0.75]和[0.20，0.80]的比例分別為51.5%、63.3%和75.4%，高于單側條形光源，但低于中心環形光源的77.4%、91.3%和96.3%。中心環形光源下圖像各像素點的亮度值總體更接近中值，有利于后續雜質識別。單側條形光源、雙側條形光源和中心環形光源下，圖像各像素亮度變異系數分別為0.643、0.584和0.394，中心環形光源下圖像的亮度變異系數最小，亮度分布最為均勻，有利于提高后續圖像處理的精度和效率。

3 含雜率檢測算法設計與特征分析

3.1 圖像亮度均衡化算法

在優化光源形式的基礎上，通過增強算法對含雜油菜圖像進行預處理，進一步提升圖像亮度均勻度。現有圖像增強算法主要包括直方圖均衡化及其改進算法、基于Retinex理論的圖像增強算法和分區色調映射算法。對于均衡化圖像對比度具有較好的效果[16-17]。但應用于圖像亮度均衡化時，易出現光暈、邊緣模糊等負面效果，后續需要恢復圖像細節信息，增加了后續圖像處理難度[18-19]。

本文提出一種動態調整圖像亮度的方法對圖像做亮度均衡化處理，首先把圖像進行分塊，分別計算全局平均亮度以及局部平均亮度，獲得差值矩陣，之后利用插值計算得到全局亮度差值矩陣，再補償每個小塊的低亮度區，削弱每個小塊的高亮度區域，使得整幅圖像的亮度趨于一致，進而解決光照不均勻的問題。試驗結果表明，使用該方法可以獲得光照均衡的圖像，能夠更好地對圖像做閾值分割處理，更準確、更科學地對收獲油菜的含雜量進行檢測。其算法流程如圖5所示。

圖5 圖像亮度均衡化算法流程

設采集到的圖像全局尺寸為W×H，對圖像進行灰度化處理，灰度級為(0，…，L)，求得全局平均亮度值

(1)

式中：L(i，j)——全局圖像中坐標為(i，j)點的亮度值；

W——全局圖像的像素寬度；

H——全局圖像的像素高度。

將圖像分成大小為w×h的子塊，計算得到每個子塊的平均亮度值

(2)

式中：l(i，j)——子塊圖像中坐標為(i，j)點的亮度值；

w——子塊圖像的像素寬度；

h——子塊圖像的像素寬度。

通過計算全局圖像平均亮度值與子塊圖像平均亮度值獲得差值矩陣，差值為

Δl-L=lav-Lav

(3)

當圖像中的區域為高亮度區域時，計算得到的差值Δl-L為正，需要對圖像亮度做衰減處理；若圖像中的區域為低亮度區域差值Δl-L則為負，需要對圖像做亮度增強處理。本文為避免在后續閾值分割中局部閾值分割的缺陷，對得到的差值矩陣進行Bicubic插值運算，使差值矩陣擴充到與原圖相同的大小，得到全局亮度差值矩陣，利用插值運算可以使相鄰子塊需要調整的值比較平滑，可以起到保護圖像細節信息的作用，最后用原始圖像的像素值減去全局亮度差值矩陣，得到亮度均衡化的圖像。

3.2 油菜雜質圖像特征分析

為利用視覺系統識別物料中的雜質，需要分析圖像中油菜籽粒和雜質在顏色空間內的差異。工業相機得到的油菜彩色圖像為RGB顏色模型，與人眼對色彩的感知差異較大。HSV顏色模型與人眼對色彩的感知更為接近，更適合用于機器視覺的顏色表征，因此本文采用HSV顏色模型對油菜圖像進行處理[20]。由于圖像的顏色信息主要分布于低階矩中，本文采用一階矩(Mean)、二階矩(Variance)和三階矩(Skewness)來表達圖像的顏色分布特征，其中一階矩描述圖像像素的顏色均值、二階矩描述圖像像素的標準差、三階矩描述圖像像素的偏移度。三個顏色矩的數學定義為

(4)

(5)

(6)

式中：pi,j——圖像第j個像素第i個顏色通道的像素值；

N——圖像的總像素數；

μi——第i個顏色通道上所有像素的均值；

σi——第i個顏色通道上所有像素的標準差；

si——第i個顏色通道上所有像素的偏移度。

從100張待處理的油菜圖像中隨機選取50幅圖像作為樣本，人工截取樣本圖片中的雜質成分和油菜籽粒成分，分別對油菜籽粒和雜質區域像素點的H、S、V分量分布情況進行統計分析，得到50個樣本的顏色特征參數分布范圍統計結果，如表3所示。

表3 HSV顏色特征參數分布范圍區間Tab. 3 Distribution range of HSV color characteristic parameters

從表3可以看出，雜質成分的H分量一階矩分布范圍為[0.013 0，0.089 7]，油菜籽粒的H分量一階矩范圍為[0.104 6，0.314 0]，二者在H分量的分布范圍差異明顯，因此本文設定油菜圖像的H分量一階矩范圍[0.013 0，0.089 7]進行雜質成分的提取，確保所有雜質成分都被提取在內。

3.3 油菜雜質分割算法

根據油菜籽粒和雜質在HSV顏色空間模型中H分量差異性明顯這一特征，通過設定H分量閾值，對含雜油菜圖像進行二值化處理，初步提取油菜雜質，確保所有雜質成分都被提取在內，判定條件如下

(7)

式中：h——圖像中像素點的H分量。

若滿足條件h∈[0.013 0，0.089 7]，則判定為雜質成分，將其保留；否則將其清空。得到的雜質粗提取結果如圖6(b)所示。為了減小閾值設定對油菜雜質識別的干擾，采用形態學處理算法進行進一步的篩選。采用3×3像素大小的圓形結構進行形態學開運算和閉運算處理，斷開物體之間的粘連，平滑較大物體的邊界同時不改變其面積形狀。由于圖像中油菜籽粒主要呈圓形，雜質形狀上呈長條狀或者不規則形狀，本文通過設定連通域的圓形度參數范圍來進一步提取圖片中的雜質，判定條件如下

(8)

式中：T——設定的圓形度閾值；

m——各連通域的圓形度。

若連通域滿足條件m>T，則將其置0；若連通域滿足條件m≤T，則將其保留，各連通域的圓形度計算結果如圖6(c)所示。為了消除小顆粒噪聲的干擾，刪除面積小于100像素的連通域，最終得到針對油菜原始圖像(圖6(a))的雜質檢測結果如圖6(d)所示。通過識別結果可以看出，油菜原圖中的雜質基本都被識別出來，而且對雜質的形狀、位置和大小均有良好的還原度。

(a) 油菜原圖 (b) 雜質粗提取結果

(c) 連通域圓形度 (d) 雜質提取結果

3.4 油菜含雜率計算模型

為獲取油菜物料含雜率，需要標定油菜籽粒和雜質的像素密度，將油菜籽粒、雜質間的像素關系轉化為實際質量關系。標定方法為拍攝單層無遮擋情況下油菜籽粒與雜質的照片，統計其像素數并稱量質量，如圖7所示，標定試驗中相機物距與采樣裝置中保持一致。

(a) 油菜籽粒 (b) 雜質

本文采集了10組油菜籽粒和雜質的圖像和質量信息，為確保雜質成分較少時依然具有較好的擬合度，在擬合圖像像素數與實際質量的關系時，設定擬合曲線截距為0。油菜籽粒、雜質的像素—質量擬合關系如圖8所示。

(a) 油菜籽粒

(b) 雜質

根據圖8(a)，油菜籽粒在圖像中所占的像素數與其實際質量之間的關系為

f(xi)=5×10-5xi

(9)

式中：xi——油菜籽粒在圖像中所占的像素數；

f(xi)——油菜籽粒的實際質量。

根據圖8(b)，雜質成分在圖像中所占的像素數與其實際質量之間的關系為

g(xj)=6×10-6xj

(10)

式中：xj——雜質成分在圖像中所占的像素數；

g(xj)——雜質成分的實際質量。

油菜籽粒像素數—質量關系、雜質像素數—質量關系的回歸決定系數R2分別為0.997 6、0.981 9，表明擬合結果準確可靠。油菜真實含雜率計算模型為

(11)

式中：p——油菜籽粒的實際含雜率。

3.5 識別結果量化評價

為了衡量本文識別油菜雜質的準確度，采用查準率P和查全率R對識別結果進行量化評價。查準率(Precision)表示準確率，指所有檢測結果中正確部分占總檢測結果的百分比。查全率(Recall)表示召回率，指檢測結果中正確部分占實際正確部分的百分比。計算公式見式(12)、式(13)。

(12)

(13)

式中：TP——正確識別的像素數；

FP——誤識別的像素數；

FN——漏識別的像素數。

TP、FP、FN均由人工標注得到。

此外，本文根據查準率P和查全率R這兩項指標，設定綜合評價指標F1值進行整體評估識別結果。

(14)

本文對50幅油菜籽粒圖像的雜質識別結果進行統計取平均后，得到的查準率為91.6%，查全率為89.5%，綜合評價指標F1值為90.5%。

4 臺架試驗

為了檢驗油菜含雜率在線檢測系統的準確性，模擬油菜聯合收獲機糧倉的輸糧系統結構搭建了油菜含雜率檢測試驗臺。并基于Matlab Appdesigner平臺開發了一套油菜含雜率在線檢測系統軟件，可在工控機上實時顯示、處理和存儲油菜物料圖像，實現油菜物料含雜率的在線檢測，軟件界面如圖9所示。稱量油菜籽粒和雜質并混合均勻后倒入試驗臺糧箱內，電機帶動輸糧攪龍持續升運物料并從上方出糧口持續排出，模擬油菜聯合收割機田間作業時的輸送過程。導流式油菜含雜率檢測裝置安裝在輸糧攪龍出糧口下方，接取油菜物料。試驗過程中實時檢測混合物料含雜率，試驗持續2 min后停止，計算該時間段內油菜含雜率平均值，并與實際值進行對比。通過改變物料中的含雜量進行重復試驗，試驗共進行3次。

圖9 油菜含雜在線檢測系統軟件界面

3次試驗油菜物料的實際含雜率分別為1.38%、2.55%、3.47%，運用本文設計系統檢測的油菜含雜率分別為1.26%、2.14%、2.79%，油菜含雜率在線檢測系統的平均相對誤差為14.8%。

5 結論

1) 針對物料遮擋導致雜質漏檢、取樣裝置內光照不均影響雜質識別精度等問題，設計了導流式油菜含雜率檢測裝置，通過限制物料鋪層厚度減小對雜質的遮擋，優化光源形式和亮度均衡化算法提升圖像拍攝質量。

2) 通過提取油菜雜質成分的顏色特征，設置圖像HSV顏色空間參數閾值對圖像進行二值化，結合形狀特征實現油菜雜質成分與背景的分割。油菜雜質成分的查準率為91.6%，查全率為89.5%，綜合評價指標F1值為90.5%。

3) 通過人工標定油菜籽粒與雜質成分的單位像素質量，得到油菜籽粒與雜質的質量與像素數目的線性擬合關系，從而將油菜的像素含雜率轉換成真實含雜率。臺架試驗表明，油菜含雜率在線檢測系統平均識別誤差14.8%。試驗過程中導流式含雜率在線檢測裝置運行流暢，無物料擁堵，檢測系統能夠有效識別混合物料中的雜質，可以實現油菜含雜率的在線檢測。