基于機器視覺技術的棉籽破損檢測*

劉媛杰，張澤亮，張洪洲，李勇，李偉強

(塔里木大學機械電氣化工程學院，新疆阿拉爾,843300)

0 引言

棉花作為新疆生產建設兵團的主要農作物之一，2020年新疆棉花的總產量達5 161 kt，占全國棉花總產量的87.3%，其種子質量的問題直接影響棉花的產量，其中種子是否破損是評價種子質量的重要指標之一[1]。為了避免因種子質量的問題導致產量降低，需要在播種前對棉花種子進行精選。

20世紀80年代以前，我國對棉花種子的精選一般都是人工選取[2]，其勞動強度大、生產效率低、投入成本高, 且選種效果受人為因素的影響。近年來，隨著計算機軟硬件與圖像處理技術的發展，機器視覺技術在理論和實踐上都取得了重大突破。色選機、介電篩選機等棉籽精選機的問世，使得精選變得更加快速、準確、無損等人工無法比擬的特點。Gunasekarans等[3]利用商業視覺系統對種子的內部裂紋進行了檢測，準確率達90%以上。Yie等[4]將sobel、laplacian算子應用于玉米種子應力裂紋的檢測。余淑華等[5]基于機器視覺技術設計了一種脫絨棉種雙側雙CCD(Charge coupled device)色選檢測系統，試驗結果表明能夠滿足分選時的穩定性和實時性。張俊雄等[6]基于機器視覺技術采用平拋和氣吹的方式實現紅棕色和黑色脫絨棉種的識別，分選精度為88.6%，選出率為80.7%。張洪洲等[7]基于機器視覺和PLC設計了一種脫絨棉籽自動分級裝置，結果表明整體誤差小于5%?？搽s等基于兩次中值濾波、robbert算子和機器視覺技術搭建了破碎棉種檢測技術，隨機挑選了100粒新陸早-24#棉種進行試驗，檢測精度為87.5%。然而，大多數學者采用傳統、單一的邊緣檢測方法，容易產生大量噪聲，且圖像與噪聲混合在一起，不易進行圖像特征的提取[8]。用傳統的濾波器雖然能夠抑制噪聲，但存在忽略圖像特征細節的問題。

基于一種改進閾值的小波去噪方法對圖像進行增強，且能對單粒棉籽自動提取和自動檢測。該方法對基于機器視覺技術的棉籽種子外觀品質分級裝備的設計具有重要的指導作用。

1 材料與方法

1.1 試驗材料

選取新疆長絨棉“新海-63號”脫絨棉籽，隨機挑選破損和無損棉籽共200粒，比例為1∶1，由于實際情況中存在棉籽籽粒斷裂破損和表皮破損兩種情況，本文將其統一歸為破損棉籽。通過觀察脫絨棉籽表面可明顯看出，破損棉籽表面存在部分白色棉籽籽仁，而非破損棉籽則不存在，顏色為棕黑色，且破損棉籽表面存在坑洼，而非破損棉籽表面則較為光滑。

1.2 圖像采集與分選裝置

破損識別系統主要是由傳送帶、工業相機、背景板、空氣槍、收集箱和計算機組成，使用MV-CE120-10UC工業相機(分辨率為4 000像素×3 036像素，最大幀率為31.9 fps),鏡頭使用MVL-MF0828M-8MP-8 mm型號。光源為最大12 W的正白光LED環形可調光源。

傳送帶(實際生產過程傳送帶情況如圖1所示)將被檢測的棉籽傳送到CDD攝像頭(系統采用兩個CDD攝像頭，保證全方位檢測棉籽)下方時，由攝像頭將采集到的棉籽信息傳送給計算機，計算機通過進一步的分析判斷棉籽的品質，并將棉籽品質信息反饋到空氣槍，若為破損棉籽，空氣槍啟動，將棉籽打入到不合格品收集箱中，反之不啟動，棉籽自動落到合格品收集箱中。

圖1 傳送帶實際工作示意圖Fig. 1 Diagram of actual work of conveyor belt1.擋板 2.傳送帶 3.棉籽

2 棉籽破損檢測算法

2.1 單粒棉籽的自動提取

在采集破損棉籽圖像時，使用彩色面陣CDD相機拍攝了多張多粒棉籽圖像，圖2為其中一張包含多粒棉籽的RGB圖像。實現單粒棉籽的破損檢測，需要確定單粒棉籽的位置信息并基于位置信息將其提取出來。

圖2 多粒棉籽的RGB圖像Fig. 2 RGB image of multiple cottonseeds

2.1.1 多粒棉籽二值圖像的獲取

棉籽區域二值圖像進行獲取[9]。選用顏色空間轉換算法，即RGB轉換為HSV并確定在哪一分量下棉籽區域與背景區域的灰度值差異最大，轉換結果如圖3所示，V分量下種子區域與背景區域的灰度值差異最大，因此在V分量采用最大類間法自動確定閾值，對棉籽區域和背景區域進行分割。對得到的二值圖像取反，即可得到棉籽區域的二值圖像，結果如圖4所示。

(a) HSV空間H分量圖像

(b) HSV空間S分量圖像

(c) HSV空間V分量圖像圖3 多粒棉籽HSV各分量圖像Fig. 3 Image of multiple cottonseed HSV components

圖4 多粒棉籽的二值圖像Fig. 4 Binary image of multiple cottonseeds

2.1.2 種子輪廓的獲取與單粒種子的提取

圖5中，多粒棉籽區域之外還存在著非棉籽區域的噪聲，需將其去除。結合圖片像素，任選取5副多粒棉籽的RGB圖像在經過2.1.1節的方法處理之后，確定了非棉籽區域噪聲去除方法為：找出所有連通區域，去除面積小于1 000個像素的連通區域，結果如圖5(a)所示。對得到的新的二值圖像進行數學形態學處理—膨脹[10],結果如圖5(b)所示，目的是確保完整的剪切出每粒種子，使二值圖像中單粒種子區域面積略大于實際占據的面積。對膨脹過后的二值圖像使用區域屬性度量函數標記各個棉籽的位置信息，將位置信息在原RGB圖像中用紅色的框顯示，結果如圖6(a)所示。基于所標記的各矩形框的位置信息，對單粒棉籽自動剪裁，并隨機人工挑選一張剪裁后的單粒棉籽，結果如圖6(b)所示。

(a) 去除種子外噪聲

(b) 膨脹圖像圖5 位置信息獲取各階段二值圖像Fig. 5 Position information is used to obtain binary images of each stage

(a) 棉籽位置信息

(b) 剪裁后的單粒棉籽圖6 標記位置并自動剪裁Fig. 6 Mark position and auto-crop

2.2 圖像的增強和特征區域的提取

2.2.1 傳統小波去噪

小波閾值去噪方法是圖像處理中常用的方法之一[11-13]，去噪流程如圖7所示。

圖7 小波閾值去噪流程圖Fig. 7 Wavelet threshold denoising flow chart

目前常用的閾值計算模型主要是由Donoho等研究得出的

(1)

式中：λ——閾值參數；

δ——高斯方差；

M×N——圖像大小。

高斯噪聲方差δ在實際中無法得知，需要對其進行事先估計

(2)

式中：ω(j,l)——小波系數。

但此閾值計算方法使得閾值限定在了一個固定的值。常用的閾值函數主要有三種：軟閾值函數如式(3)所示；硬閾值函數如式(4)所示；軟硬閾值折衷函數[14]如式(5)所示。

(3)

(4)

(5)

sgn()——符號函數。

例如一個-5到5線性變化的一維數據，閾值設定為1，其軟閾值函數、硬閾值函數和軟硬折衷閾值函數的圖像如圖8所示。軟閾值函數具有很好的連續性，但其系數和估計系數之間存在偏差，因此圖像重構效果不是理想。硬閾值函數的連續性很差，估計系數在±1處是不連續的，重構后的圖像會產生震蕩等不利影響。軟硬折衷閾值函數與傳統的軟閾值函數和硬閾值函數相比，雖然減少了軟閾值函數系數和估計系數之間的偏差，克服了硬閾值函數的不連續性，但是對于圖像的重構效果并沒有達到想要的效果。

圖8 三種閾值函數圖像Fig. 8 Three kinds of threshold function images

2.2.2 改進后小波去噪

為了使閾值不限定在某一固定值，使用一種改進的閾值選取方法[15]如式(6)所示。針對傳統的閾值去噪函數所存在的問題，使用一種新的閾值函數[16-17]如式(7)所示。

(6)

式中：λnew——新閾值參數；

n——小波總分解層數。

(7)

式中：μ——調節因子,μ=1-e-b×(|ω(j,l)-λnew|)2；

a,b,m,t——可調參數，且都為正數。

在|ω(j,l)|≥λ區間內通過調節參數a、b的值來達到最佳去噪效果，|ω(j,l)|<λ區間，通過一個非線性的函數實現對閾值的壓縮，可以避免振蕩效應，解決恒定偏差的問題。當為a=1,b=1,m=2,t=1時去噪效果最佳，圖9為閾值為0.5時此函數的圖像，圖10(a)為剪切后的棉籽的二值圖像，圖10(b)為該小波閾值去噪后的棉籽圖像?？梢钥闯觯吘壐忧逦?，且細節呈現效果更好。

圖9 改進的小波閾值函數圖像Fig. 9 Improved wavelet threshold function image

(a) 剪切后棉籽灰度圖像

(b) 此函數去噪后的灰度圖像圖10 棉籽灰度圖和改進小波閾值函數圖像增強結果Fig. 10 Image enhancement results of cottonseed grayscale image and improved wavelet threshold function

2.2.3 圖像特征提取

對200幅去噪后的單粒棉籽圖像中隨機選取的20幅有破損棉籽和20幅無破損棉籽的圖像進行分析，當閾值為0.45時，可分割出破損區域和背景區域，分割后圖像如11(a)所示，當閾值為0.6時，可分割出整粒棉籽的二值圖像。

由圖11(a)可以看出：要想對棉籽破損區域進行準確提取還需去除破損區域外非破損區域的噪聲、破損區域內的噪聲和輪廓噪聲。對圖11(a)的所有連通區域面積進行計算，發現面積小于500的連通區域即為非破損區域(即棉籽區域內)的噪聲，將其去除得到圖11(b)，至此非破損區域噪聲已經全部去除。去除破損區域噪聲的方法：將圖11(b)取反并去除面積小于100個像素的連通區域，對得到的圖像再取反，得到圖11(c)，至此非破損區域的噪聲已經全部去除。為了去除輪廓噪聲和得到破損區域的特征，首先對原增強圖像進行閾值分割并選取閾值為0.6，且去除面積小于1 000個像素的連通區域得到新的二值圖像11(d)(防止背景噪聲干擾)，對圖11(d)取反并且進行腐蝕操作，得到圖11(e)。將圖11(e)與圖11(c)進行相乘，結果如圖11(f)所示。可以看出，種子輪廓區域已經被去除，并且破損區域也已經顯現出來。

2.3 棉籽破損識別

通過以上算法實現了對棉籽破損特征的識別。本文對這些特征進行研究發現，破損棉籽經過以上算法處理之后連通區域的個數至少有一個，而非破損棉籽經過以上算法處理之后并沒有連通區域，所以根據此特性將連通區域個數大于或等于1的棉籽圖像特征記為破損棉籽，連通區域個數小于1的棉籽圖像特征記為非破損棉籽進而達到實現破損棉籽識別的目的。

3 軟件界面的設計

通過上述檢測算法設計了一個基于Matlab APP Designer跨平臺應用程序框架的脫絨棉籽圖像處理軟件，采用交互式圖形用戶界面，布局簡介，各功能區域劃分清晰，且易于操作。

此軟件界面一共6個區域，分別為圖像輸入、圖像預處理、特征提取、棉籽識別、顯示區域和初始化/退出區域，圖像輸入區域用于輸入工業相機采集到的圖像，圖像預處理的是為了便于顯示特征參數，棉籽識別的結果顯示在顯示區域。其破損檢測結果如圖12所示。

圖12 棉籽檢測結果Fig. 12 Cottonseed test results

4 結果與分析

人工隨機挑選破損棉籽和完整棉籽200粒，比例為1∶1，混合均勻后隨機將其均分為十等份，每份20個棉籽，構成驗證集。用上述檢測方法對棉籽進行破損檢測，使用平均準確率當作模型的檢測指標。結果如表1所示。平均準確率定義如式(8)所示。

(8)

式中：M——平均準確率；

N——棉籽總數；

J——正確識別棉籽數量。

對10副圖像選用以上算法參數數值保持一致，只將去噪方法改為三種傳統小波去噪方法。結果如表2所示。分別對四種函數選用以上算法且參數保持一致，并記錄其檢測時間。結果表3所示。

由表1和表2可知：本文去噪方法對于對200個棉籽的平均準確率為89%，要高于軟閾值函數、硬閾值函數和軟硬閾值折衷函數的平均準確率83.5%、85%和87.5%。使用改進閾值去噪函數過程中，將破損棉籽錯判為無損棉籽的原因為部分破損棉籽的裂紋過細，導致誤判，將非破損棉籽錯判的原因為脫絨不凈。傳統的閾值函數平均準確率較低的原因除了上述原因外，還包括在去噪過程中對邊緣或者對于種子內噪聲去除不明顯。由表3可知，改進后的閾值函數對單張圖像中20個棉籽的檢測時間為2.484 s要高于其他三種傳統閾值函數，原因是改進后函數較為復雜其代碼運行時間變慢為正常，但檢測時間增加的幅度并不高。因此，綜合總平均準確率和檢測時間考慮使用一種改進的閾值的小波去噪并且結合此方法對棉籽破損檢測的效果最佳。

試驗發現，影響檢測的主要原因可能是由于CDD相機存在拍攝死角和光照不均勻的問題，個別種子表面粘連污物也是主要原因之一。

表1 棉籽破損檢測結果Tab. 1 Cotton seed breakage test results

表2 傳統去噪方式檢測結果Tab. 2 Detection results of traditional denoising methods

表3 四種函數檢測時間Tab. 3 Four functions detect time

5 結論

基于機器視覺與數字圖像處理技術，在V分量下使用最大類間法自動選取閾值，結合膨脹處理與區域屬性度量函數對單粒棉籽進行剪裁。采用一種改進閾值的小波去噪方法對圖像增強，通過對多幅單粒棉籽圖像的研究找到對破損區域進行閾值分割的最佳閾值為0.45，對整個棉籽進行閾值分割的最佳閾值為0.6，然后對分割后的圖像進行相乘和數學形態學處理等方法得到破損區域特征，利用數學形態學處理和刪除非目標區域的像素等方法去除非破損區域噪聲并得到完整的得到破損區域特征，最后利用獲取二值圖像連通區域的方法實現破損棉籽的識別，并且對破損棉籽不進行標記，完整棉籽用紅色框標記。

對“新海-63號”脫絨棉籽進行了破損檢測，得到平均檢測率為89%。檢測結果表明：該方法對脫絨棉籽破損檢測效果明顯。本研究為棉籽破損檢測提供了一種新的方法，對于提高棉籽質量具有非常重要的意義和后續相關的脫絨棉籽智能檢測裝備研發提供了技術支持。