張 晗 閆 寧 吳旭東 王 成 羅 斌
(1.北京農業智能裝備技術研究中心,北京 100094;2.北京農業信息技術研究中心,北京 100094)
種子分選是為了剔除不良種子、異物等,以提高種子的精度級別和利用率,進而提高種子質量[1]。隨著我國種子單粒和精量播種技術的發展,對單粒種子品質提出了更高了要求[2-3]。傳統種子分選是利用種子的外形的物理性質,進行批量分篩,獲得物理性質上一致性較高的種子[4],難以滿足單粒精播的需求。因此開發逐粒化種子檢測分選系統,逐?;Y除霉變和破損種子,提高種子質量,進而提高種子發芽率,對保障生產具有重要意義。
早期種子分選多依靠手眼配合的人工分選,該方法依賴人工經驗、效率低且錯檢率高,無法對不良品進行有效分選[5-6]。目前種子分選設備主要是通過分選機械按照種子的物理特性,去除種子中的夾雜物質。國內外相關學者針對機械化分離清選裝置已開展了較為系統研究,通過比重選[7]、風選[8]、重力式篩選[9-11]去除種子中的未成熟、破損及其他異類種子,該方法適用于種子批量篩選,分類方式單一、精度低,只適用于種子批量清選分級。因此,研發在線式單粒種子檢測分選裝置,是目前玉米繁育階段急需解決的問題。
近年來,隨著機器視覺技術在農業領域的不斷應用[12-20],國內外一些研究學者嘗試通過機器視覺技術檢測種子大小、顏色、物理性狀、霉變、破損。PEARSON[21]研制了一種基于圖像的玉米種子分選裝置。該系統破損的玉米剔除率達到了74%,對正常玉米識別精度達到了91%。閆彬等[22]使用數學形態學處理方法識別種子裂紋,該方法平均準確率為90.6%。張楠楠等[23]基于圖像HSV空間的H分量及V分量,設計了一種玉米種粒霉變程度分級方法。孟繁佳等[24]研發了一種玉米種子實時檢測分選裝置,通過HSV顏色空間差異識別霉變種子。這些研究為在線式單粒種子檢測分選裝置提供了參考。
本文基于機器視覺技術設計一種在線式單粒玉米種子檢測分選裝置。設計種子單粒化上料結構,使用高速工業相機采集種子的圖像獲取單粒種子顏色圖像特征,并通過偏最小二乘判別分析法構建霉變和破損種子識別模型,實現種子單?;臋z測與分選。
在線式單粒種子檢測分選裝置硬件部分主要由上料單元、檢測單元、分選部件及控制系統組成。上料單元通過兩組振動電機和多軌傳輸帶實現玉米籽粒逐粒進入檢測單元;檢測單元由工業相機和條形光源組成,用于獲取籽粒圖像;分選部件由多個氣動電磁閥組成,在籽?;溥^程中通過氣動電磁閥的開閉,將霉變或者破損籽粒吹入對應料盒中;系統控制單元包含圖像分析處理的上位機和繼電器控制模塊。裝置整機結構如圖1所示。

圖1 在線式單粒種子檢測分選裝置結構圖Fig.1 Structure diagram of on line single seed detection and sorting device1.振動進料模塊 2.籽粒鋪平模塊 3.多軌傳輸帶 4.采集裝置 5.氣動電磁閥 6.分料盒 7.系統控制單元
1.2.1上料單元
上料單元將玉米種子逐粒傳輸至檢測單元。上料單元包括進料斗、鋪平料斗、振動電機1、振動電機2、多軌傳輸帶,如圖2所示。

圖2 上料單元結構圖Fig.2 Structure diagram of feeding device1.進料斗 2.振動電機1 3.振動電機2 4.鋪平料斗 5.多軌傳輸帶
上料單元通過兩級振動實現籽粒逐?;?,振動發生器選用140#型直線振動器,通過調節模塊振動頻率控制進料斗中籽粒出料速度,將玉米籽粒均勻地輸送到籽粒鋪平模塊;籽粒鋪平模塊的鋪平料斗上開有9個倒V形溜槽,V形溜槽深度為1 cm,溜槽V形斜面與水平面的角度為45°,通過振動在溜槽中將籽粒完成單層排列,逐粒進入傳輸帶;傳輸帶上分布9組軌道,9組軌道通過固定桿固定于傳輸帶上方,軌道寬度為2 cm,位置與V形溜槽一一對應;通過調節種子的下落速度與傳輸帶速度,利用籽粒下落時間差,在運動的傳輸帶上落點不同,完成籽粒的單?;?。
1.2.2檢測單元
檢測單元選用中國大恒(集團)有限公司北京圖像視覺技術分公司生產的MER-503-79U3C系列彩色CMOS高速工業數字相機來獲取種子圖像,成像分辨率為2 448像素×2 048像素。根據玉米通道分布寬度,選用焦距為8 mm的Computar鏡頭,攝像頭安裝距離為37 cm,實際視場范圍為26 cm×21 cm。選用4只12 V條形LED白光光源作為圖像采集光源,4只光源等間隔分布于檢測單元頂部。采集背景為亞光黑的傳輸帶,其上軌道分為前后兩段,軌道從采集區域斷開,從而避免軌道影響圖像采集。
1.2.3分選單元
分選單元用于剔除識別的破損或霉變籽粒,由分選部件和空氣壓縮機組成。分選部件包括籽粒下落滑軌、電磁閥、氣管、支架、料盒、氣泵,結構如圖3所示。種子通過傳輸帶運輸至下落滑軌,沿滑軌下落的過程中,關閉電磁閥則落入料盒A,開啟電磁閥則落入料盒B,通過電磁閥的開閉將種子吹入對應料盒完成種子分選。

圖3 分選部件結構示意圖Fig.3 Structure diagram of sorting unit1.傳輸帶 2.籽粒下落滑軌 3.氣管 4.電磁閥 5.支架 6.料盒A 7.料盒B 8.氣泵
1.3.1控制單元與流程
控制單元主要由DM1600串口繼電器模塊與典籍I7 6567U工控機作為上位機組合而成??刂茊卧糜诳刂朴衩追N子進料,并對采集的圖像信息進行分析處理,根據分析處理的結果來觸發電磁閥完成種子分選??刂葡到y框圖如圖 4所示??刂葡到y中共使用了12個輸出信號分別對應振動電機1、振動電機2、傳輸帶和9個電磁閥。

圖4 控制系統框圖Fig.4 Control system block diagram
裝置工作流程圖如圖 5,流程如下:①系統上電,工控機、空氣壓縮機和光源分別啟動,在計算機端啟動檢測控制系統,完成準備工作。②啟動傳輸帶,調整傳輸帶速度。③依次啟動振動電機1、振動電機2,進行種子的逐?;狭稀"軉訖z測系統,設置相機采集間隔時間為t。玉米籽粒隨傳輸帶進入檢測單元,檢測單元通過分析籽粒圖像,獲取籽粒特征和籽粒橫向坐標,進行籽粒識別并估算吹氣時間。系統進入自動檢測分選階段。⑤待全部籽粒分選完成后,從分料盒取出分選的籽粒,完成分選。

圖5 系統控制流程圖Fig.5 Working flow chart of device
1.3.2采集策略
通過面陣相機連續拍攝,獲取傳輸帶上全部籽粒圖像。為保證全部籽粒圖像均被獲取,采集間隔t等于相機的視場寬度減去單粒種子補償寬度l除以傳輸帶速度。拍照時處于圖像邊緣不完整的籽粒,可以通過補償寬度重復獲取,得到完整籽粒信息。不完整的籽粒將通過圖像處理進行剔除處理。
測量的1 200粒正常玉米種子長度在8~14 mm之間,平均長度約為12 mm。補償寬度l應大于單粒玉米種子的最大長度。本研究選取1.5倍的玉米籽粒平均長度作為補償寬度,約18 mm,約占170個像素點。
獲取的種子圖像如圖6a所示,紅色框所占區域為補償長度區域,圖像邊緣的170個像素點為重疊區域。通過玉米投影區域坐標值判別,實現圖像中邊緣不完整顆粒剔除,同時剔除重復出現籽粒。重疊區域不完整顆粒剔除算法如下:

圖6 重疊不完整籽粒剔除Fig.6 Overlapping and incomplete grain removal
(1)提取原始種子圖像中坐標(x∈(1,2 048),y∈(1,170);x∈(1,2 048),y∈(2 279,2 448))區域圖像,即紅色框內補償長度區域圖像,如圖6a。
(2)利用閾值分割,原始種子獲取玉米種子投影區域,如圖6b。
(3)通過投影區域坐標,剔除包含坐標(x∈(1,2 048)、y=1)和(x∈(1,2 048)、y=2 448)的投影區域,如圖6c。
(4)通過投影區域坐標,剔除補償長度區域中坐標不包含(x∈(1,2 048)、y=170)投影區域,如圖6d剩余紅色覆蓋的區域為單次采集對應的種子顆粒。
由于單粒上料裝置籽粒間距存在隨機性,氣動電磁閥存在最小開閉時間間隔,當籽粒間距過小時,會出現誤吹、漏吹,影響精度。提高傳輸帶速度可以一定程度上降低種子密集程度,但是本裝置使用面陣相機進行采集,當傳輸帶速度過高時,會造成獲取圖像質量下降。因此本裝置最終設置傳輸帶速度為120 mm/s,相機采集間隔為2 s。
1.3.3分選策略
氣動分選裝置由上位機軟件根據檢測結果通過串口協議直接控制,當判別籽粒為霉變或者破損時,通過籽粒在圖像中所處的橫向坐標X,估算電磁閥啟動氣吹籽粒的時間T。
籽粒從采集區域到分選位置總共分為3段,如圖7所示,第1段種子隨傳輸帶勻速前進,種子通過第1段所用時間T1計算方法為
T1=L1/v
(1)
式中L1——第1段長度
v——傳輸帶距離

圖7 籽粒傳輸示意圖Fig.7 Grain transport schematic
第2段種子沿傳輸帶轉軸邊緣轉動,傳輸帶與種子的摩擦力大于重力分量,因此種子沿傳輸帶勻速轉動。種子通過第2段所用時間T2計算方法為
(2)
式中L2——第2段長度,mm
α——下落滑軌與水平面夾角,為45°
R——傳輸帶轉動半徑,mm
第3段種子沿下落滑軌滑落,受到重力作用加速運動,加速度為a,種子通過第3段所用時間T3計算方法為
(3)
式中L3——第3段長度,mm
μ——下落滑軌與種子摩擦因數,約為0.35
g——重力加速度,mm/s2
當傳輸帶速度確定后,T2和T3隨之確定,籽粒氣吹分選的時間僅由第1段長度確定,第1段長度可以通過籽粒在圖像中橫向坐標X進行計算。故本文通過相機獲取種子在圖像中的位置,計算種子到達分選位置的時間來控制電磁閥進行氣動分選。
試驗種子為2019年采購自甘肅省張掖市的無包衣鄭單958玉米種子。將玉米種子置于28℃、相對濕度85%人工氣候箱內儲藏12 d以加速霉變,12 d后取出,干燥處理后得到霉變玉米種子[25]。破損種子是通過人工破損,剔除其中破損面積大于50%的種子。選取正常種子、霉變種子、破損種子各1 200粒,利用裝置自動振動上料,在線觸發采集圖像,提取玉米籽粒圖像如圖8所示。

圖8 玉米籽粒圖像Fig.8 Corn grain images
使用HALCON圖像處理軟件對種子圖像進行特征信息提取,通過閾值分割將籽粒從背景中分割提取,從而將玉米種子區域識別出來。

圖9 30個特征的概率密度分布Fig.9 Probability density distributions of 30 features
本研究中除采用人眼最為敏感的RGB 顏色模型外,還加入了HSV顏色空間模型和不依賴光線的Lab顏色模型數據作為顏色信息的補充。通過HALCON分析軟件分別獲取每粒種子的RGB、HSV、Lab 各分量的均值和標準差等共計18個顏色特征,同時提取玉米種子的長度、寬度、投影面積、圓形度(投影面積與最大外接圓面積比)、周長、凹凸性(投影面積與最小外接凸邊型面積的比值)、矩形度、最小外接圓半徑、最大內切圓半徑、邊心距(邊緣到形心的平均距離)、邊心差(邊緣到形心的最大距離偏差)、最長投影(輪廓區域點之間的最大距離)等12個形狀特征。最終獲取的3 600粒種子顏色和形態特征共計30個,其特征的概率密度分布如圖9所示。
從圖9中可以看到,正常籽粒和霉變籽粒在形狀特征上的分布基本相同,其特征分布差異主要分布在18個顏色特征上。正常籽粒和破損籽粒其特征分布差異主要分布在形狀特征上,顏色特征中的S均值、S標準差、b均值、b標準差上也存在一些差異。但是正常籽粒、霉變籽粒和破損籽粒全部特征在概率密度分布上都出現重疊區域,因此依靠單一的特征無法實現全部籽粒的判別分析。
隨機散落狀態下的正常籽粒、霉變籽粒和破損籽粒各特征概率密度分布圖均存在重疊,表明根據單個特征并不能夠實現正常籽粒、霉變籽粒和破損籽粒的區分。因此本文利用偏最小二乘法進行多特征的判別分析,建立霉變種子、破損種子的檢測模型,進行霉變種子和破損種子的識別。
2.2.1偏最小二乘判別分析法
偏最小二乘判別分析算法(Partial least squares discrimination analysis,PLSDA)是一種穩健的判別分析統計方法[26],該方法結合多元線性回歸和主成分分析的優點,能夠在自變量數多、存在多重相關性且自變量本身相關性較差的條件下進行回歸建模。因此,利用玉米種子特征參數建立霉變種子和破損種子識別的PLSDA模型。
2.2.2霉變、破損種子的PLSDA識別模型建立
利用Matlab 12.0軟件構建PLSDA模型,將每種玉米圖像數據按照3∶1比例隨機分配,將每種種子1 200個樣本數據劃分為建模集和預測集,即建模集900個樣本,預測集300個樣本,混合建模。采用PLSDA算法分別建立霉變種子和破損種子識別模型,識別的結果如表1所示。

表1 PLSDA模型的識別結果Tab.1 PLSDA model recognition results
采用文中提取的顏色和性狀特征建立識別模型,最終霉變模型預測集的識別準確率為99.33%,霉變種子和正常種子識別正確率均為99.33%。破損模型預測集的識別準確率為91.50%,其中破損種子識別正確率為90.33%,正常種子識別正確率為92.66%。從整體上看,霉變模型種子的識別正確率高于破損模型種子的識別正確率,原因可能在于本裝置在獲取種子圖像時只能采集到種子的單表面圖像信息,種子霉變在種子的胚面和胚乳面均有出現顏色變化,而部分破損種子的破損位置處于種子的單側,通過相機俯拍不能很好地獲取種子的破損特征。
根據以上設計思路搭建了在線式單粒種子檢測分選裝置樣機,樣機實物如圖10所示。

圖10 設備樣機Fig.10 Equipment prototype
為驗證裝置穩定性與可靠性,分別選取1 000粒霉變種子、1 000粒破損種子與1 000粒正常種子混合。獲得含有50%霉變種子混合樣本1和50%破損種子的混合樣本2,進行在線式種子分選試驗。
利用裝置樣機分別開展霉變和破損種子的分選試驗,將種子倒入進料斗進行自動上料,對混合樣本進行識別,通過噴氣將識別的霉變種子或破損種子噴入分料盒B中,完成分選,每個試驗重復3次。
每次分選完成后分別統計分料盒A中霉變、破損籽粒的數量和正常籽粒數量,分料盒B種子正常籽粒數量和霉變或破損籽粒的數量,計算分選準確率。通過2 000粒種子混合樣本從開始分選至分選完成全過程所耗費總時間,計算分選速率。
種子剔除率AR、正常種子獲選率AS、準確率Auc計算公式為
(4)
(5)
(6)
式中TP——盒A中正常種子數量
FN——盒A中霉變或破損種子數量
TN——盒B中霉變或破損種子數量
FP——盒B中正常種子數量
分選結果如表2所示。通過表2可以看出,本文設計的分選裝置對霉變種子分選準確率為95%以上,正常種子的獲選率高于97%;破損種子分選準確率為89%以上,正常種子的獲選率高于90%;裝置的分選精度主要受兩個因素影響:受檢測方式和算法精度影響,目前裝置對玉米種子進行單面檢測,算法采用不區分胚面胚乳面的建模方式,無法準確地檢測玉米破損特征;裝置氣選的精準度,氣選過程中種子存在粘連或者距離太近,導致漏吹。因此試驗結果呈現出盒A種子略多于盒B的現象,且樣機試驗精度較模型精度略有下降,最終裝置分選準確率略低于算法準確率。

表2 分選試驗結果Tab.2 Sorting test results
裝置的分選速率在300粒/min以上。分選速率主要受3個因素影響:①上位機的算法處理效率。目前處理單幅圖像中的采集和數據分析時間小于相機的采集間隔。②振動上料速度。裝置采用振動電機帶動種盤,調節電壓,振頻增加,上料速度加快,籽粒下落越密集,單幅圖像中所能分析處理的玉米籽粒越多。同時振動上料使得種子下落不均勻,因此分選速率會在一定范圍內波動。③相機的采集幀率。系統采用面陣相機獲取種子圖像信息,當傳輸帶速度過高時,圖像清晰度下降,獲取種子圖像邊緣會出現重影。因此在保證獲取高質量圖像的前提下,提高相機采集幀率,傳輸帶最高速度也可以隨之提高,進而提高裝置的分選速率。目前裝置分選速率主要受到相機采集幀率的影響,可通過匹配更高幀率的高速工業相機來提高傳輸帶速度上限。
試驗結果表明本文設計的裝置能夠實現玉米種子從進料到分選的全自動化,對霉變和破損玉米種子進行實時檢測和分選。
(1)設計并搭建了一種在線式單粒種子檢測分選裝置,該裝置可實現玉米籽粒逐?;狭?、檢測和分選。
(2)使用圖像處理技術實現種子顏色和圖像的快速提取,通過偏最小二乘判別分析法構建了霉變籽粒和破損籽粒判別分析模型,并通過種子在圖像中的坐標值確定種子的氣吹剔除時機,實現了霉變種子和破損種子的在線檢測與分選。
(3)試驗表明,該裝置可以實現在線式單粒種子檢測分選,其中霉變種子分選準確率為95%以上,破損種子分選準確率為89%以上,分選速率高于300粒/min。