玉米籽粒直收籽粒特征與雜質分類識別方法

吳 昆,張 敏,王 剛,吳 俊,陳 旭

(農業部南京農機化研究所,南京 210014)

0 引言

玉米是我國第3大糧食作物,而收獲是玉米生產的重要環節,隨著玉米品種及收獲技術的發展,籽粒直收方式逐漸受到重視。但是,現階段玉米籽粒直收裝備缺乏實時含雜和破碎信息的支撐,作業過程中機具不能根據作業條件實時選擇合適的脫粒清選系統工作參數,只能依據人工經驗間斷調整,導致了籽粒破碎和含雜較高。因此,玉米籽粒直收過程中含雜、破碎實時監測是實現脫粒清選系統工作實時調節的前提和基礎。

近年來,隨著機器視覺等技術的發展,國內外研究者利用圖像處理技術開展玉米籽粒狀態特征的識別工作。要實現含雜和破碎損失監測,首先要對玉米籽粒類型和狀態特征識別與判斷。Zayas L[1]等利用圖像分析和統計模式識別相結合,對完整玉米籽粒和破碎玉米籽粒進行識別;史智興[2]等利用玉米籽粒的顏色等信息,對玉米品種進行識別;王志華[3]等設計了基于圖像采集、數據處理以及 SU-SAN 角點檢測算法的籽粒尖端識別系統,識別率達96.5%;張玉榮、王偉宇[4]等應用主成分分析法確定主成分因子,建立3層BP神經網絡模型,實現玉米不完善粒的檢測識別。但是,現有研究主要是對收獲后玉米籽粒在靜態環境下的特征進行識別,算法耗時長,工作條件要求苛刻,因此有必要在玉米直收環境下對玉米中的籽粒破碎和雜質進行快速、精確識別技術研究。

為快速、準確地對玉米籽粒直收環境下完整玉米籽粒、破碎玉米籽粒及雜質進行識別,提出了一種基于機器視覺的單層籽粒逐步分類識別方法。工作時,對采集的單層玉米籽粒圖片經過兩次疊加分水嶺分割實現玉米籽粒的精準分割,并基于特征根據最優閾值區分籽粒與雜質,再對降維的特征變量采用基于遺傳算法優化的BP神經網絡實現玉米籽粒完整性的識別,為后續玉米籽粒含雜和破碎在線監測技術研究提供參考。

1 試驗材料和方法

1.1 玉米籽粒檢測標準及分析方法

根據玉米檢測國家標準GB1353—2018可知:破碎粒指籽粒破碎達到本顆粒體積的1/5(含)以上的顆粒;雜質指除玉米以外的其他物質及無使用價值的玉米粒。

玉米聯合收獲的玉米籽粒中,雜質主要為玉米穗心、莖和葉等。幾何外形特征統計得出,不同組分之間差異明顯,不分類直接對采集的圖像進行處理耗時長、分類識別準確率低。為此,提出先對玉米籽粒(完整籽粒和破碎籽粒)與雜質基于特性進行預分類,在分類的基礎上再對完整玉米籽粒和破碎籽粒進行識別。

1.2 試驗裝置及設備

玉米籽粒直收含雜破碎識別系統主要由工控機、顯示器、工業相機、LED光源和相機支架搭建,CPU核心為3.5GHz,內存8G。在Win10操作系統下,通過MatLabR2018a軟件平臺實現對玉米籽粒等物質的各個特征信息提取和識別。實驗裝置如圖1所示。

1.工控機 2.直流電源變換器 3.輸送帶 4.輸送帶支架 5.電機 6.皮帶 7.皮帶輪 8.玉米籽粒 9.外槽輪排料機構 10.LED燈 11.工業相機 12.滑軌 13.封閉罩殼圖1 圖像采集處理系統裝置示意圖Fig.1 Schematic diagram of image acquisition and processing system

試驗在加裝補光燈下進行圖像采集,相機為大恒圖像相機的水星系列(MERCURY),型號為MER-231-41U3MC,鏡頭選配12mm的變焦鏡頭,相機工作距離為180mm,精度小于0.1mm。

2 圖像采集和處理

2.1 玉米籽粒圖像預處理

通過相機獲取平鋪后的玉米籽粒圖像,經灰度處理實現圖像信息增強。玉米籽粒原圖如圖2(a)所示。利用算術均值濾波器對灰度圖像進行平滑處理,去除圖片中的噪點信息。

圖2 優化分水嶺分割圖Fig.2 Optimized watershed segmentation map

粘連性對玉米識別造成阻礙,運用簡單的Otsu閾值分割法和基于距離變換的分水嶺分割難以獲得良好的分割效果,如圖2(b)、(c)所示。本文采用改進分水嶺分割法,在籽粒內部形成局部極小值[5],使得分水嶺剛好出現在玉米籽粒粘連的邊界處,通過對灰度圖進行圖像重構使得玉米籽粒能夠精準地成為標記對象;然后,利用圖像的梯度幅值作為分割函數,通過施加最小值法來修正梯度幅值圖像,使得只在標記的對象和背景上出現最小值,再基于分水嶺分割法對仍粘連的玉米籽粒,如圖2(d)所示;分割時對原圖片進行R+G顏色灰度處理,再通過構建灰度梯度并標記背景進行分水嶺分割,可實現高準確度的分割效果,如圖2(e)、(f)所示。

2.2 特征數據提取

圖像預處理的特征信息的可檢索性增強,本次獲取完整玉米籽、破碎玉米籽粒和雜質(包含玉米穗心、種皮、枝葉)的樣本圖片(分辨率為900×900),每類樣本圖片20個。圖3分別為玉米完整籽粒、破碎籽粒和兩類雜質。

圖3 相機采集的原始樣本圖片Fig.3 The original sample image collected by the camera

對獲取的4類物質的幾何特征、顏色特征和紋理特征的共27個特征數據。玉米的外觀形態是區分雜質和破碎籽粒的關鍵信息,幾何特征直接反映出玉米籽粒的外觀特點[6]。其中,顏色信息是區分雜質、少數發霉粒等重要因素[7],也是機器視覺系統中識別區分玉米籽粒的一個重要指標;紋理特征是一種反映圖像中像素灰度空間分布變化的圖像特征,體現景物的表面性質[8]。本次特征提取包括幾何特征的像素面積、輪廓點數、周長、橢圓的長軸和短軸,顏色特征中的RGB顏色模型下的R、G、B顏色均值和標準差,以及HIS色彩模型下的H、S、I的均值和標準差,紋理特征的均值、標準差、熵及不變矩[9]。

統計分析發現:在幾何特征上,完整玉米和破碎玉米的差別較大,顏色參數差異小;對于雜質,幾何特征的數據差異顯著,顏色差異明顯。

3 雜質的識別

借助特征閾值法[10]對玉米籽粒和雜質進行區分,玉米籽粒在形狀上具有規整性且表面細膩且顏色呈黃色,明顯區別于雜質。通過對玉米籽粒、玉米破碎籽粒各80個以及玉米穗心和莖葉雜質40個,共計200個樣本的特征數據進行研究分析。統計玉米籽粒和雜質的一階不變矩、R均值、H均值及標準差、R-B值、熵值邊界像素點值和長徑比值的變化范圍,匯總結果如表1所示。

表1 玉米籽粒和雜志的特征變化范圍統計結果Table 1 Statistical results of the variation range of characteristics of corn kernels and magazines

由表1可知,雜質和籽粒間一階不變矩特征值和R-B值最為明顯,且邊界像素點和長徑比值存在差異。

雜質中存在莖葉類和穗心兩類,區別兩類雜質的明顯特征為長徑比值,而且因穗心雜質其中部呈現亮色,那么兩者其顏色亮度之間區別較大,可以設定長徑比值區間和I均值區分雜質類型。通過統計共40個樣本的穗心和莖葉的兩特征數據的范圍區間,匯總如表2所示。

表2 玉米穗心和莖葉雜質的長徑比值統計結果Table 2 The statistical results of the ratio of length to diameter of corn ear core and stem leaf impurities

根據表1和表2中的特征值區間范圍分析,設定4個特征組合閾值區分籽粒和2個特征組合閾值區分雜質類型,如表3、表4所示。

表3 剔除雜質特征組合閾值設定表Table 3 The threshold setting table of the feature combination of removing impurities

表4 雜質分類特征組合閾值設定表Table 4 Threshold setting table of impurity classification feature combination

獲取直收玉米籽粒原圖,如圖4(a)所示;對圖像邊緣被裁剪的籽粒進行抑制處理,通過表3的組合特征閾值的設定剔除雜質,如圖4(c)所示;因籽粒暗部細節在分割時導致的少量籽粒二值圖像輪廓提取不清晰,形狀結構存在變形,使得籽粒被誤判剔除,如圖4(b)中左邊第2個圈所示。通過設定長徑比和I均值范圍區間,可實現穗心雜質和莖葉雜質的分類[見4(d)]。在雜質分類中,也存在少量被誤判的非莖葉類雜質。

圖4 雜質識別結果圖Fig.4 Figure of impurity identification results

4 玉米籽粒區分

4.1 玉米籽粒特征特征分析

直接對27個特征組合進行識別分類,增加了計算時間。因此,采用逐步判別分析法[11]對玉米籽粒的特征參數指標進行判別分析。通過對變量逐步引進,對引入的每一個變量先檢驗引入新變量對原先變量的重要性的影響,并做出相應的統計檢驗,實現對冗余的特征變量進行剔除,保留有代表性的特征變量。

對玉米籽粒的完整性進行分析,完整玉米籽粒和破碎玉米籽粒分別標記為“1”和“2”兩類;將標記記號作為判別分析的分組變量,其他的27個特征參數變量作為多元變量信息,用代號F1～F27分別表示,即籽粒面積、像素點數、周長、橢圓長軸、橢圓短軸、R均值、G均值、B均值、R標準差、G標準差、B標準差、H均值、S均值、I均值、H標準差、S標準差、I標準差、灰度均值、灰度標準差、熵以及不變矩1～7;對收集的總共200個樣本的數據進行判別分析,設定“向前選入法”和“向后剔除法”的顯著水平為sle=0.15 sls=0.15,檢驗其特征指標的F統計量,結果表5所示。

表5 玉米完整和破碎籽粒的逐步選擇匯總結果Table 5 Summary results of stepwise selection of whole and broken corn kernels

由表5可知:特征參數由最初的27個縮減為13個,玉米破碎籽粒和完整籽粒之間差別較大的特征主要有13個,其累計平均典型相關度為0.804 268,剔除掉對玉米籽粒完整性區分不明顯或冗余的特征參數。

4.2 玉米籽粒識別分類

利用BP神經網絡和GABP神經網絡[12](基于遺傳算法優化的bp神經網絡)分別對玉米籽粒樣本進行識別,對玉米籽粒完整性區分效果進行比對。

本文采用4層BP神經網絡結構,訓練模型為levenberg-marquardt(BPLM算法),其結構優勢為計算速度較快,適合于本試驗的要求[13]。BP神經網絡的初始權值和閾值對網絡的識別結果存在較大影響,且大多數的隨機選擇網絡參數易導致陷入局部最優[14]。優化初始權值和閾值可以減小訓練的誤差[15]。相較于BP神經網絡,遺傳算法優化的BP神經網絡的擬合效果更好[16]。通過遺傳算法來對BP神經網絡的權值和閾值進行尋優求解,試驗設定遺傳算法的初始化種群50個,遺傳迭代次數為100次。

對比BP神經網絡和遺傳算法優化的BP神經網絡在特征選擇優化前后的玉米籽粒識別效果。獲取玉米完整和破碎籽粒各240粒樣本,通過圖像處理技術對共480個樣本的各個特征數據隨機選取完整玉米籽粒和破碎玉米籽粒樣本各180個作為神經網絡的訓練集,并對其余的玉米籽粒共120個本進行識別效率的測試比較。

選擇精確率、召回率和F值[17]作為計算指標,F值代表精確率和召回率的綜合指標,表達式為

(1)

(2)

(3)

其中,P、R、f分別為精確率、召回率和F值;T為目標識別正確的個數;Fm為誤檢測的目標個數;Fn為漏檢測的目標個數。

試驗的結果匯總如表6所示。基于BP神經網絡來實現破碎和完整玉米籽粒的分類,在整個識別準確度上有明顯優勢。經過特征組合篩選優化,在圖像信息提取的時間減少1s多,特征選擇前后的神經網絡對玉米籽粒破碎情況的識別影響不大,準確率都高達95%左右,但在特征提取和識別速度上有一定提升?；谶z傳算法優化后的BP神經網絡對于玉米籽粒的破碎情況識別也更加穩定,擬合結果也較優,相比BP神經網絡的識別準確率也有一點提升;經過遺傳優化的BP神經網絡在優化特征組合下的識別效率和穩定性最好。同時,由表中召回率結果得知破碎的玉米籽粒的漏識別率相對較高,玉米籽粒的破碎情況復雜及玉米籽粒形狀各異是主要原因。

5 混合直收玉米籽粒識別試驗

對直收的玉米籽粒進行平鋪處理,啟動輸送帶并利用相機隨機獲取的玉米籽粒圖片14張,人工對玉米完整籽粒、破碎籽粒和雜質進行計數,分別為636、189、44個。通過設定特征閾值實現雜質的區分,提取優化后的13個特征數據,利用Gabp神經網絡對玉米籽粒的破碎情況進行識別?；跈C器視覺的各類物質的識別結果統計如表7所示。

表7 玉米籽粒識別結果評價表Table 7 Evaluation table of corn kernel recognition results %

6 結論

1)利用兩次疊加分水嶺分割法實現了玉米籽粒的精準分割,利用逐步判別分析法對玉米籽粒的27個特征參數的區分能力進行評價打分,得到13個特征指標作為識別分類的標準,其累計平均典型相關度為0.804 268。

2)確定了基于特征閾值組合的籽粒與雜質、穗心與莖葉分類辦法,采用基于遺傳算法優化的BP神經網絡,特征優化后識別效率和穩定性最好,較優化前的BP神經網絡識別準確率提升1%,且識別時間縮短1s。

3)利用設定特征閾值篩選雜質,再基于Gabp神經網絡分類識別籽粒方法進行試驗測試,結果表明:玉米完整籽粒、破碎籽粒、雜質(穗心雜質及莖葉)的高效識別,分步識別準確率分別為97.7%、85.63%。本方法玉米完整籽粒、破碎籽粒和雜質的識別準確率高且識別耗時短,可為玉米籽粒直收含雜和破碎在線檢測系統設計提供參考。