聯合收獲機水稻破碎籽粒及雜質在線識別方法*

陳進，張帥，李耀明，朱林軍，夏慧，朱亞輝

(1. 江蘇大學機械工程學院，江蘇鎮江，212013； 2. 江蘇大學農業工程學院，江蘇鎮江，212013；3. 江蘇沃得農業機械股份有限公司，江蘇鎮江，212013)

0 引言

隨著我國農業機械化程度的提升[1-2]，目前谷物大多采用收獲機進行收獲。當收獲機作業狀況異常或者參數設置不恰當時，會導致收獲到的谷物的含雜率、破碎率升高。而收獲的谷物中雜質和破碎籽粒的含量會直接影響到收獲的谷物的品質，進而影響谷物出售的價格；同時谷物中雜質和破碎籽粒的含量也是衡量收獲機作業性能指標的兩個重要參數。因此，對其的實時監測不僅可以給機手提供有效的控制依據，提升收獲的谷物品質，還可以提高收獲機的作業效率。然而，目前國產收獲機的智能化程度還不高[3-5]，聯合收獲機作業過程的控制主要依賴于機手的感覺和經驗，沒有可靠的控制依據。

國內對聯合收獲機作業過程中谷物中雜質以及破碎的檢測手段也進行了探索，顧琰將采集的RGB水稻圖像轉為HSV圖像后進行水稻識別算法的設計；練毅對水稻圖像的連通區域特征進行研究并使用決策樹算法進行訓練，實現了收獲的水稻中不同成分的識別；韓夢娜等[6]采用電磁鐵帶動擋板的結構截取谷物，待谷物靜止后再采集谷物圖像，并利用U-net網絡模型對圖像進行分割，該方式雖然可以在線識別出水稻圖像中的雜質以及破碎，但是檢測的實時性略有不足，單幅圖像的采集處理周期較長，約5 s左右，無法很好的滿足實時檢測的需求。

為了提升檢測的實時性和精度，降低檢測時間，提出了基于圖像特征差異的水稻破碎雜質實時識別方法，采用圖像采集裝置、嵌入式處理器[7]以及顯示器搭建圖像處理系統，對聯合收獲機輸糧攪龍出糧口流出的谷物進行圖像采集，研究了完整籽粒、破碎籽粒與雜質圖像中R、G、B三通道的分布差異以及面積差異，并根據差異進行識別。

1 系統搭建

系統組成框圖如圖1所示，主要包括圖像采集裝置、嵌入式[8]圖像處理器，交互顯示屏以及CAN通訊模塊。其中，圖像采集裝置由谷物導流模塊以及圖像采集模塊組成。

圖1 系統框圖

嵌入式處理器以及顯示屏部署在駕駛室內，圖像采集裝置安裝于輸糧攪龍出糧口的下方。圖像采集裝置包括谷物導流模塊以及圖像采集模塊，谷物導流模塊引導部分從出糧口流出的谷物流入，同時嵌入式處理器控制圖像采集模塊采集谷物導流模塊中流動的谷物的圖像，并通過研究的谷物圖像識別算法對圖像進行處理，然后將處理的數據以及圖像顯示在駕駛室內的顯示屏上，同時將數據上傳至收獲機機載CAN總線上與其它控制單元通信。

圖2為圖像采集裝置的結構示意圖，可以采集流動中的谷物圖像。采集流動過程中的谷物圖像可以極大的降低圖像中谷物的粘連與堆疊程度。谷物導流模塊主要包括谷物流動通道以及谷物流道頂板。谷物導流模塊實則為一方形通道，用于引導部分攪龍流出的谷物至谷物流道內，其安裝于輸糧攪龍的出糧口斜下方，谷物從輸糧攪龍流出，其中部分谷物被谷物流動通道所截取并流入，刮板用于阻擋過多谷物同時流入，可以引導谷物以薄薄一層的狀態流入，光源安裝在上側擋板的底部，上側擋板開一方槽為圖像傳感器提供視窗，圖像傳感器通過固定支架固定，并對在谷物流動通道上流動中的谷物不斷曝光采集圖像。

圖2 圖像采集裝置結構示意圖

2 圖像采集與處理

2.1 圖像采集

由于在聯合收獲機收獲時，輸糧攪龍[9]出糧口處的谷物流動速度都較快，若采用截取部分谷物使其靜止再采集圖像處理的方式反饋的結果有較大的滯后性。為了保證采集到的谷物的圖像和處理所得的結果的實時性，設計了一種采集流動中谷物圖像的圖像采集方案，拍攝谷物收集裝置中流動的谷物圖像可以減少谷物的堆疊和粘連程度，為后續的圖像處理降低難度。而要獲取流動狀態下谷物清晰無拖影的圖像需要滿足如下條件：在曝光時間內谷物流動的距離小于相機的精度，即曝光時間t×谷物流動速度v≤相機分辨率p。

本文利用彩色工業相機及其配套的SDK，編寫圖像采集程序，獲取清晰的圖片。驅動相機曝光存圖程序的流程如圖3所示，首先初始化SDK工具包和工業相機，然后設定相關曝光參數。

圖3 圖像采集流程圖

相機觸發模式設置為軟觸發，即觸發信號由程序控制直接發出。谷物的運動速度v不超過100 mm/s，即0.1 mm/ms，相機的分辨率為200萬像素(1 600 p×1 200 p)，視野大小為60 mm×60 mm，所以相機的精度p=60/1 600=0.037 5 mm/像素，根據tv≤p，得到t≤0.375 ms，因此只要將相機的曝光時間設置在0.375 ms以內就可以避免拖影，因此設定相機的曝光時間為0.1 ms。

由于相機的曝光時間設置較短，相機進光量欠缺，導致采集的圖像過暗，如圖4(a)所示。圖像過暗因此還需設置相機另一參數即相機的曝光增益來增強光照，曝光增益可調節范圍為1～8倍，圖4(b)，圖4(c)以及圖4(d)分別為曝光增益為5倍、6倍、7倍時采集的圖像，當曝光增益為5時，圖像過暗，當曝光增益為7時，圖像局部產生過曝現象，當曝光增益為6時，圖像亮度適中，圖像細節完整，因此相機的曝光增益設置為6倍最佳。曝光參數設置完成后相機收到觸發信號開始曝光并保存谷物圖片。

(c) 6倍增益效果圖

圖像采集工作于2020年11月使用上述的圖像采集裝置在丹陽水稻試驗田完成，圖像采集裝置安裝方式如圖5所示，一共采集了200幅水稻的圖像。

圖5 圖像采集裝置安裝圖

2.2 水稻圖像特征研究

從谷物圖像中識別出破碎籽粒以及雜質，因此需要對其圖像特征進行研究，利用圖像特征的差異進行識別。從田間采集的200幅圖像中隨機選取20張進行研究，其中一張水稻原圖如圖6所示，圖像中包含了破碎籽粒、稻稈雜質以及稻梗雜質。

圖6 水稻原圖

本文采集的谷物圖像為RGB[10]彩色圖像，設每個像素RGB色彩空間三通道的值分別R，G，B。首先從20張圖片中截取出所有的完整籽粒、破損籽粒以及雜質圖像，然后使用VS2013以及OpenCV3.1.0分別將完整籽粒、破損籽粒以及雜質區域中各個像素的R，G，B值提取并存入CSV文件中。

提取三個通道數據后，通過直方圖分別統計完整籽粒、破損籽粒、稻稈雜質以及稻梗雜質的R，G，B值分布情況，如圖7～圖10所示。直方圖中橫坐標為各通道的通道值，縱坐標為像素個數。圖7為隨機選取的一顆完整籽粒的圖像以及三個通道的色階分布直方圖，該籽粒在圖像中的面積為10 038個像素。

(a) 完整籽粒

(a) 破碎籽粒

(a) 稻稈雜質

(a) 稻梗雜質

圖8為隨機選擇的一顆破損籽粒圖像及其三個通道色階分布直方圖，在圖像中的面積為5 728個像素。圖9為隨機選擇的一個稻稈雜質圖像及其三個通道的色階分布直方圖，在圖像中的面積為77 592個像素。圖10為隨機選擇的一個稻梗雜質圖像及其三個通道的色階分布直方圖，在圖像中的面積為2 903個像素。

對20張圖片中所有的完整籽粒、破碎籽粒、稻稈雜質以及稻梗雜質進行統計發現，形狀上完整籽粒在圖像中的面積均在10 000個像素左右，破碎籽粒在圖像中的面積均在6 000個左右；顏色上完整籽粒、破碎籽粒、稻稈雜質以及稻梗雜質在G通道的G值分布情況相近，差異較小，不利于區分，因此主要研究R值與B值[11]的分布差異，對R值和B值統計之后的結果如圖11所示。

圖11 R值和B值范圍統計圖

完整籽粒R值主要分布于[75, 150]之間，B值主要分布于[40, 120]之間；破碎籽粒R值主要分布于[35, 65]，B值主要分布于[55, 120]；稻稈雜質的R值主要分布于[55, 125]，B主要分布于[2, 43]；稻梗雜質的R主要分布于[63, 79]，B主要分布于[47, 113]。從圖中觀察發現圖中完整籽粒、破碎籽粒、稻稈雜質以及稻梗雜質的R值與B值分布范圍重疊部分較小，破損籽粒、稻梗雜質、稻稈雜質、完整籽粒可以通過R值與B值的分布差異區分。

2.3 圖像處理

2.3.1 識別算法整體設計

谷物圖像識別的總體算法流程如圖12所示，主要思路為利用谷物中完整籽粒、破碎籽粒、稻稈雜質以及稻梗雜質圖像的R與B通道的分布差異進行圖像粗提取，然后通過圖像二值化以及形態學操作進行處理，精確提取破碎籽粒以及雜質。

首先利用R和B的閾值粗提取出破碎籽粒和雜質圖像，然后將粗提取的圖像轉為灰度圖像后對其二值化，分割出圖像中的前景以及背景。圖像二值化需要選擇一個合適的閾值，然而使用固定閾值作為圖像前景和背景分割閾值的適應能力較差，同一個閾值無法滿足多幅圖像。因此使用動態閾值法對圖像進行二值化處理。最大類間方差法[12-14]又稱為大津法，可以動態地確定最佳分割閾值，其主要思想找到一個閾值t使得兩類像素平均灰度的類間方差最大。因為方差可以衡量灰度的分布均勻程度，方差越大則說明圖中兩類像素的灰度差異越大，即前景以及背景被錯分割的幾率越小。其具體過程為：對于灰度圖像P(x,y)，圖像大小為a×b，灰度分割閾值為t，灰度小于閾值t的像素點個數為p個，其平均灰度為m；灰度大于等于閾值t的像素點個數為q個，其平均灰度為n；整幅圖像的平均灰度為g，類間方差記為s，則有

p+q=a×b

(1)

(2)

(3)

t的取值范圍為0～255，將式(1)和式(2)代入式(3)求得s最大時的t為最佳分割閾值。

圖12 算法總體流程圖

圖像形態學處理可以對圖像的形狀特征進行處理，例如可以將二值圖像局部區域放大縮小等操作，其基本思想為使用一個結構元素與圖像進行卷積運算，結構元素可以為任意形狀，常用的結構元素有十字形和矩形。

圖像膨脹與圖像腐蝕為最基本的形態學操作，圖像膨脹就是求局部最大值的操作，實現方式為在圖像的左上角開一個與結構元素相同大小的滑動窗口，將結構元素為1的位置所對應的滑動窗口中相應像素的最大值賦給錨點；圖像腐蝕與圖像膨脹相反，為求局部最小值，將結構元素中為1的位置所對應的滑動窗口中相應像素中的最小值賦給錨點。

2.3.2 破碎籽粒識別

谷物原圖如圖13(a)所示，根據上述R值與B值的范圍統計結果，設定RGB谷物圖像的R通道的閾值范圍為R∈[35, 65]，B通道的閾值范圍為B∈[55, 120]，對圖像中的每一個像素的R與B值進行判斷，若某個像素的R或者B不在閾值范圍內，則令該像素的R，B，B值均為0，即可粗提取出破損籽粒的圖像，然后對粗提取后的圖像使用最大類間方差法二值化，如圖13(b)所示，由于破損籽粒中有少部分像素點的R與B的值不在閾值范圍內，在圖中顯示為黑色的空洞，而非破損籽粒中也會有少部分像素點的R與B的值在設定閾值范圍內，則在圖像中會有部分殘留像素。進一步提取二值圖中所有的連通區域[15]，由于破碎籽粒在圖像中的面積約為6 000個像素，考慮到會有漏識別的像素，因此設定連通區域面積閾值為3 500，保留所有面積大于3 500個像素的連通區域，去除所有小于3 500的連通區域，如圖13(c)所示。最后使用5×5大小的十字形結構元素對圖10(c)進行三次膨脹操作后再進行三次腐蝕操作，即可精確提取破碎籽粒的圖像，如圖13(d)所示。

(a) 谷物原圖

2.3.3 雜質識別

稻稈與稻梗雜質的識別方法與破損籽粒識別方法相同，識別谷物原圖13(a)中的稻稈雜質，首先分別設定R和B通道的閾值范圍為R∈[55, 125]和B∈[2, 43]，稻稈雜質粗提取后的圖像如圖14(a)所示，二值化之后的圖像如圖14(b)所示。然后提取二值圖像中所有的連通區域，由于稻稈雜質的面積通常較大，因此設定連通區域面積的閾值為6 000個像素，剔除面積小于6 000個像素的連通區域后的圖像如圖14(c)所示，最后使用5×5的十字結構元素對圖像進行六次膨脹操作后再進行六次腐蝕操作后填補圖像中的空洞，提取出的雜質圖像如圖14(d)所示。

(a) 粗提取稻稈雜質

設定稻梗雜質的R和B通道的閾值范圍為R∈[63, 79]和B∈[47, 113]，稻梗雜質粗提取后的圖像如圖15(a)所示，二值化后的圖像如圖15(b)所示，提取二值圖像中所有的連通區域，并且設定連通區域面積閾值，由于稻梗雜質的面積較小，一般為2 000～3 000 個像素左右，因此剔除連通區域面積小于1 500個像素或者大于3 500個像素的連通區域，如圖15(c)所示；最后使用5×5的十字結構元素對圖像進行兩次膨脹操作后再進行兩次腐蝕操作提取出稻梗雜質，如圖15(d)所示。

(a) 粗提取稻梗雜質

3 識別結果分析

3.1 識別功能驗證

對田間采集的200幅圖像進行識別，圖像識別程序運行于嵌入式圖像處理器上，在程序中加入處理時間計算程序，單幅圖像的平均處理時間為1.86 s，滿足了實時識別的要求。圖16為從200幅圖像中隨機抽取的3幅圖像以及相對應的處理結果。

從圖16中可以看出，水稻破碎籽粒以及雜質的大部分區域均被正確識別，但是有一些誤識別的區域。圖16(a)中圓圈標記處的破碎籽粒未被識別出，原因為該顆破碎籽粒面積過小，被設定的連通區域閾值剔除；圖16(a)中長方形標記處為田間的枯草雜質，未被識別出，原因為算法設計時未考慮這種偶發的情況；圖16(c)中圓圈標記處的稻稈雜質有分叉，而在圖16(d)中對應的提取結果分叉消失，原因為在進行膨脹操作時將分叉裂隙縫合，后續的腐蝕操作無法再使其裂開。

(a) 原圖1

3.2 識別結果量化評價

使用精確率(precision)和召回率(recall)作為圖像識別的評價指標，并以F1值[16]對精確率和召回率進行評估。

1) 精確率[17]是預測正確的正樣本數占預測為正樣本總數的比值，其公式定義

(4)

2) 召回率[18]是預測正確的正樣本數占實際正樣本總量的比值，其公式定義

(5)

3)F1值[19]是precision和recall的綜合指標，其公式定義

(6)

式中：TP——正確識別的像素個數；

FP——誤識別的像素個數；

FN——未識別到的像素個數。

對田間試驗采集到的200幅圖像進行統計，使用Photoshop手動摳選每一幅圖像中的破碎籽粒、稻稈雜質以及稻梗雜質并統計各自的TP、FP、FN值，使用式(4)～式(6)計算量化評價結果，平均量化結果如表1所示。

表1 識別結果評估Tab. 1 Evaluation of identification results

對各成分識別的F1值均達到了90%以上，大部分都可以被正確識別出，但是仍然存在部分誤差，對于部分顏色特征極為相近的雜質和完整籽粒可能會產生誤識別，利用圖像中不同成分的R、G、B值的分布差異以及面積差異完成識別，為了進一步提高識別精度，后續可以結合相關機器學習算法尋找最佳的R、G、B閾值以及面積閾值。

4 結論

1) 聯合收獲機在進行水稻收獲時，水稻破碎和雜質情況無法實時獲取。為了可以實時獲取收獲的水稻破碎以及雜質含量，對聯合收獲機水稻破碎以及雜質的在線識別方法進行了研究。研究設計流動水稻圖像采集裝置，裝置對從聯合收獲機輸糧攪龍流入糧箱內的谷物隨機采樣并完成其圖像采集。研究水稻圖像的處理算法，通過水稻中完整籽粒、破碎籽粒、稻稈雜質以及稻梗雜質的圖像RGB分布差異以及面積差異設計水稻圖像識別算法。

2) 研究設計的流動谷物圖像采集裝置圖像采集的速度較快，保證了檢測的實時性；同時該裝置也降低了所采集的圖像中水稻粘連以及堆疊的程度，便于后續的圖像處理。研究的基于RGB水稻圖像特征差異的處理算法能夠成功識別水稻中的破碎籽粒以及雜質，平均單幅圖片的處理周期在1.86 s左右。對200幅圖像的識別結果進行了像素級別的評估，破碎籽粒、稻稈雜質以及稻梗雜質的識別F1值分別為92.92%，90.65%，90.52%。

3) 研究的谷物圖像采集裝置及水稻破碎雜質在線識別算法可以在線識別水稻中完整籽粒、破碎籽粒、稻稈稻梗等雜質，為水稻聯合收獲機作業參數在線自動調控提供技術支撐。