應用區域顏色分割的機采棉雜質檢測方法

張成梁，李 蕾，董全成，葛榮雨

(1. 濟南大學 機械工程學院，山東 濟南 250022；2. 齊魯工業大學 機械與汽車工程學院，山東 濟南 250353)

?

應用區域顏色分割的機采棉雜質檢測方法

張成梁1，李 蕾2，董全成1，葛榮雨1

(1. 濟南大學 機械工程學院，山東 濟南 250022；2. 齊魯工業大學 機械與汽車工程學院，山東 濟南 250353)

機采棉中的雜質繁雜，而雜質類型及含量對后期棉花加工工藝的影響很大。為此，提出一種應用區域顏色分割方法以檢測棉花中的雜質。在圖像分割中，先對濾波后的機采棉圖像進行彩色梯度運算，通過擴展極小變換運算獲得標記圖像，在修改后的梯度圖像上運用分水嶺算法獲得初始分割圖像，然后對初始分割圖像進行區域合并。區域合并過程中要綜合考慮空間鄰接性、顏色信息和區域面積3個因素。顏色信息主要采用飽和度、亮度、區域顏色向量模及顏色相似度4個特征量。用層次遞進的合并方法，迭代過程更新信息特征。最后通過支持向量機算法提取顏色、紋理、形狀特征對雜質區域進行識別。結果表明，所提方法對機采棉中天然雜質的平均識別率為94%。

機采棉；圖像分割；雜質識別；標記分水嶺；區域合并；顏色特征

隨著農業現代化程度的提高，機械采摘棉花成為主流趨勢[1]。相對于手摘棉，機采棉雜質種類多，含量高，為保證棉花質量，棉花加工過程中多級清雜環節顯得尤為重要。通過機采棉圖像判定機采棉中的含雜率，可為棉花加工工藝提供有利的指導[2],直接影響皮棉加工質量，進而影響紡紗及印染工藝。圖像分割是機采棉圖像處理的前提和基礎，分割的好壞直接影響后續處理效果，圖像分割不準確會導致棉花雜質識別難度大，甚至造成錯誤判別。目前對棉花雜質的研究大都集中在棉花中異性纖維的分割識別方面，為紡紗過程的開清棉工序提供除雜檢測依據。檢測方法包括X光斷層掃描像、紫外光譜分析、可見光拍照等[3-4]，圖像分割方面主要使用閾值分割等方法[5-6]。而對于機采棉中的葉屑、棉枝、鈴殼、僵瓣、塵雜等天然雜質在加工過程中的檢測研究相對較少[7-8]。

圖像分割方法目前大致分為閾值分割法、邊緣分割法和區域分割法3大類。其中，區域分割法以區域的一致性作為準則對圖像進行區域劃分，將感興趣的區域提取出來做進一步處理。相對閾值分割和邊緣分割法，區域分割法抗噪能力強，魯棒性好[9]。機采棉雜質繁雜，為更好地對機采棉雜質進行分類識別，便于機采棉加工中有針對性的清雜處理，本文提出一種基于區域顏色信息分割的機采棉雜質檢測方法。為避免在梯度圖像上直接用分水嶺變換產生的嚴重過分割現象，首先通過擴展極小變換運算得到標記圖像，在標記圖像修正后的梯度圖像上運用分水嶺算法對其進行初始分割；然后將初始分割后的區域作為處理的基本單元，在綜合考慮圖像的空間鄰接性、顏色信息以及區域面積等因素的影響下完成區域合并操作；最后提取獨立完整雜質區域的顏色、紋理、形狀特征，利用支持向量機(SVM)方法完成雜質識別過程。

1 試驗材料與裝置

試驗材料為新疆農八師149團新陸早59號機采棉，其中含有葉屑、枝條、鈴殼、僵瓣、塵雜等天然性雜質。圖像采集裝置(如圖1所示)主要包括儲棉裝置、石英玻璃板、光源、光源支架、工業相機、相機支架、暗室、防護罩和電腦。采集圖片時，將機采棉存放在儲棉裝置中，并將其壓在石英玻璃板上進行拍攝。相機選用維視MV-EM510C/M型彩色面陣工業CCD相機，分辨率為2 456像素×2 058像素，CCD尺寸為16.9 mm，GigE千兆以太網輸出；M0824-MPW2工業鏡頭的焦距為8 mm；照明光源為4段條形LED漫射光源AFT-WL21244-22W，AFT-ALP2430-02光源控制器。拍攝裝置實物如圖2所示。

注：1—儲棉裝置；2—石英玻璃板；3—光源；4—光源支架；5—工業相機；6—相機支架；7—暗室；8—防護罩；9—電腦。圖1 圖像采集裝置Fig.1 Image acquisition device

圖2 拍攝裝置實物照片Fig.2 Photo of shooting device

2 機采棉含雜圖像處理

2.1 算法控制流程

本文結合標記分水嶺算法和基于顏色信息的區域合并算法對機采棉雜質進行分割。對圖像進行中值濾波，得到濾波后的彩色梯度圖像，利用擴展極小變換運算得到標記圖像，采用形態學強制最小運算修正梯度圖像，并采用分水嶺變換得到初始分割圖像，在此基礎上合并初始分割圖像區域。首先，建立區域鄰接關系表，通過亮度閾值和顏色相似性對相鄰區域進行初始合并；然后，采用飽和度閾值和亮度閾值對圖像中的僵瓣等區域進行合并，過程中將深色雜質與淺色雜質分別獨立進行合并；最后，利用飽和度閾值和區域向量模對暗色特征的棉花區域完成最終合并。

圖像分割完成后，標記雜質類型，包括棉枝、棉葉、鈴殼、僵瓣和塵雜，計算各區域的顏色特征、形狀特征和紋理特征，構造11維特征向量，訓練SVM識別模型，利用建立的模型完成圖像雜質的分類識別。具體算法流程如圖3所示。

圖3 機采棉圖像雜質分割流程圖Fig.3 Flow chart of machine-harvested cotton impurities segmentation

2.2 圖像初始分割

分水嶺算法是一種形態學分割方法，運算簡單，但由于噪聲以及圖像本身紋理細節的存在，圖像含有大量的偽極小值，造成分水嶺嚴重的過分割[10]。為抑制過分割現象，本文參考文獻[11]的標記分水嶺分割方法對圖像進行初始分割，分割步驟如下。

1) 首先對圖像進行濾波預處理。采用彩色圖像向量直接求取梯度圖像，在此基礎上，引入擴展極小變換(H-minima)運算進行極值標記。比較給定的閾值h，從而限制局部極小值點數目。梯度圖像經過深度閾值為h的擴展極小變換運算，即：

(1)

式中：▽f為彩色梯度圖像；▽fmark為標記圖像；Hmin(·)表示形態學H-minima運算；h表示深度閾值。

2) 在標記圖像基礎上，通過形態學強制最小運算修正梯度圖像，僅在被標記位置出現局部極小區域。修正梯度圖像▽fws為

(2)

式中IMmin(·)表示形態極小值標定操作。

3) 在修正后的梯度圖像上進行分水嶺分割運算，得到機采棉的初始分割圖像fws，即：

fws=WST(▽fws)

(3)

式中WST(·)表示分水嶺分割操作算子。

2.3 圖像區域合并

通過標記分水嶺方法得到的初始分割圖像中仍然存在許多過分割區域，需要對這些區域進行合并。在合并時，本文綜合考慮區域間的空間鄰接性、顏色相似度和區域面積等3方面因素。為提高分割準確度，合并過程中采用層層遞進多次合并的方法，合并過程迭代更新區域空間鄰接性、顏色特征和區域面積等信息。

2.3.1 空間鄰接性判定

空間鄰接性表示區域間的相鄰關系，只有相鄰的區域在滿足條件的情況下才能進行合并操作。具體操作時，將圖像初分割后的圖塊進行區域標記，使用鄰接關系表的形式表示各區域間的相鄰關系[12]。如圖4所示，假設圖像中存在A、B、C、D、E、F等6個分割區域，需要對該圖像根據空間鄰接性進行區域合并操作。

（三）僅注重軟件的操作和結果的分析，卻忽視了對統計原理的深度分析和統計思想的逐步滲透，理論講授不夠立系統、深入和立體。

圖4 圖像分割區域示意圖Fig.4 Image segmentation region sketch map

據此建立的鄰接關系如表1所示。計算時，首先根據鄰接關系表中的數字“0”或“1”判斷2個區域是否為相鄰區域，若相鄰，再根據區域顏色信息進一步判斷是否能夠合并。在2個符合判別條件的相鄰區域合并過程中，根據分水嶺脊線上像素點八鄰域的標記數統計情況，完成2個區域標記數字的統一及分水嶺脊線的消除操作。

通過編程實現合并過程的迭代運算，隨著迭代過程的進行，算法更新分割區域圖與鄰接關系表，同時更新合并后新區域的顏色信息。

2.3.2 區域顏色信息特征選取

顏色信息特征是機采棉圖像區域間相似性判定的關鍵因素。機采棉圖像中，棉花和雜質顏色信息復雜，可采用閾值法和顏色相似性函數判別完成相鄰區域間的合并。機采棉圖像背景多變，目標信息易混淆，比如棉花可能掩蓋雜質，僵瓣的顏色信息復雜，籽棉團之間的間隙呈現暗色棉花區域等。實驗發現，將RGB空間與HSI空間的顏色信息相結合對機采棉圖像分割更為有效。

表1 鄰接關系表Tab.1 Adjacent relation table

注：“1”表示2個區域鄰接；“0”表示不鄰接。

機采棉圖像中，利用HSI顏色空間的飽和度S和亮度I特征區分棉纖維與雜質效果較好。從實驗統計數據中得出：雜質飽和度比棉花普遍高；棉花亮度比雜質偏高；由于機采棉圖像中色彩區別不顯著，色調H的規律性較弱，因此不采用色調H特征。

在RGB空間中，主要采用顏色相似性srgb和區域顏色向量模Mrgb2個特征。在區域合并時，相對于面積差異大的區域，面積相近的2個區域對顏色差異要求更?。煌瑫r，在2個區域面積相近的情況下，區域面積和越大，對顏色差異要求更小。本文在充分考慮區域面積因素的基礎上建立顏色相似度特征srgb，公式[13]為

(4)

式中：srgb表示i區域和j區域的相似度；Ri、Gi、Bi、Rj、Gj、Bj分別表示第i、j個區域的三基色平均像素值；ri、rj表示i區域和j區域的面積。

區域顏色向量模為

(5)

2.4 雜質識別模型

在分類識別方面，SVM方法解決了有限數量樣本的高維模型構造問題，同時具有良好的預測能力，具有較好的泛化和推廣能力[14-15]。本文選用SVM對分割后的機采棉含雜圖像進行雜質種類識別。

表2 區域顏色特征值部分數據統計表Tab.2 Part data statistics of region color feature value

2.4.1 識別特征選擇

對SVM分類器的訓練和測試，需要對分割后的圖像提取特征向量，在圖像分割階段已經提取了機采棉圖像雜質區域特征的S、I及Mrgb，在此基礎上，本文增加了形狀特征和紋理特征作為SVM識別的特征向量。

形狀方面采用面積、周長、離心率以及矩形度4個特征量。面積用同一標記區域中像素數表示；周長用圖形區域外邊界的相鄰2像素之間的距離和表示；離心率即區域形狀接近圓形的程度；矩形度用雜質區域圖的最小外接矩形面積與其面積之比表示。

紋理方面采用基于灰度直方圖的平均亮度、平均對比度、一致性和熵4個特征量。平均亮度為圖像中所選擇區域的亮度均值；平均對比度為圖像中所選擇區域的亮度標準偏差；一致性用于度量像素值的一致性，當所有灰度值相等時，該值最大；熵用于度量像素值的隨機性。

2.4.2 核函數選取及參數確定

SVM算法中核函數的使用解決了維數災難問題，線性核函數、多項式核函數、徑向基核函數(RBF)和Sigmoid核函數為常用核函數。其中，RBF核函數應用最廣泛，各方面性能均表現穩定。本文選用RBF作為SVM的核函數。

使用RBF核函數需要確定懲罰因子C和核函數參數γ。為避免參數選擇的盲目性，本文采用LIBSVM-FarutoUltimate工具箱提供的網格參數尋優方法，確定最優參數值組合[16]。

3 結果與分析

機采棉典型圖像的實例分割結果如圖5所示，各方法對應的圖像分割線如圖6所示。

圖5 機采棉典型圖像實例分割結果Fig.5 Case segmentation results of typical image. (a) Original image; (b) Filtered image; (c) Watershed segmentation image; (d) Modified gradient image; (e) Segmentation image using marked watershed algorithm; (f) Primary iteration image; (g) Secondary iteration image; (h) Ternary iteration image; (i) Segmentation image using Otsu algorithm; (j) Segmentation image using Canny operator

圖6 機采棉典型圖像各方法分割線Fig.6 Typical image split line of each method. (a) Segmentation image using marked watershed algorithm; (b) Primary iteration image; (c) Secondary iteration image; (d) Ternary iteration image; (e) Segmentation image using Canny operator

圖5(a)為典型實例原始圖像，圖5(b)為對原圖像中值濾波后圖像，由于圖像包含塵雜等比較細小的雜質，需要用小窗口濾波。圖5(c)為直接在其彩色梯度圖像上運用分水嶺算法得到的分割圖像，可看到過分割現象非常嚴重。為消除過分割現象，利用極小值擴展運算得到標記圖像后，運用強制最小運算得到修正梯度圖像如圖5(d)所示。對修改后的梯度圖像進行分水嶺運算得到初始分割圖像如圖5(e)所示，分割線如圖6(a)所示。由圖可看到圖像中雜質邊界十分清晰，但仍有過分割現象，在此基礎上需要進行區域合并。首先利用亮度閾值和顏色相似度特征對圖像進行初始合并，得到圖5(f)，分割線如圖6(b)所示。從圖中可看出較淺的棉花區域以及較深的枝條、棉葉等雜質合并完整，僵瓣及鈴殼部分區域仍有很多區域沒有合并。然后利用飽和度閾值和亮度閾值對圖像中的僵瓣、鈴殼等區域進行合并，如圖5(g)所示，分割線如圖6(c)所示，僵瓣和鈴殼淺色區域完成合并，部分暗色棉花區域仍沒有合并。最后用區域顏色向量模和飽和度閾值將暗色棉花區域合并，如圖5(h)所示，分割線如圖6(d)所示，可看出：機采棉圖像中鈴殼、僵瓣、枝條、葉屑等雜質分割完整，邊界清晰，整體效果理想；鈴殼的兩面由于顏色信息差別很大，將其分成2個部分，機采棉圖像分割區域最終合并完成。

為對比分割效果，使用Otsu算法得到的分割圖像如圖5(i)所示，該方法可將較深顏色雜質分割清楚，但是邊緣不準確，對僵瓣、鈴殼區域提取不完整，暗色棉花與塵雜存在誤判情況，該方法是對圖像進行閾值處理，沒有分割線可提起。使用Canny算子得到的分割圖像如圖5(j)所示，分割線如圖6(e)所示，僵瓣和鈴殼分割誤差較大，且Canny算子不能將邊緣封閉。由此可見，本文算法對于僵瓣、鈴殼以及暗色棉花區域抗噪能力更強，準確度更高。

分別用本文方法和Otsu-SVM方法對80張新疆農八師149團新陸早59號機采棉含雜圖片進行圖像分割、雜質識別操作，各雜質的識別準確率如表3所示。

表3 各類雜質識別準確率Tab.3 Recognition accurate ratio of impurities

分別通過人眼識別圖片雜質與本文方法進行比較，統計雜質個數，計算識別準確率。由于Otsu圖像分割的邊界偏差大，區域內同類雜質的顏色特征、紋理特征一致性差，區域形狀特征不明顯，導致識別率不高。本文方法對鈴殼、僵瓣、枝條、葉屑雜質區域的分割準確，識別率顯著提高，整體效果理想。由于雜質間的重疊及棉花纖維的掩蓋，且塵雜的面積較小，有些人眼可觀察到的塵雜識別較為困難，因此塵雜識別率相對較低。

4 結 論

本文提出一種基于區域顏色信息特征的機采棉天然雜質分割方法。為抑制過分割現象，通過擴展極小變換運算，采用標記分水嶺算法得到初始分割圖像。建立顏色相似度函數，選取飽和度、亮度、區域顏色向量模作為區域顏色特征。合并過程中利用多次合并方法，迭代過程更新特征信息，使得算法準確度高，抗噪能力強。通過SVM提取多維特征向量，對機采棉分割后圖像進行雜質識別。試驗結果表明，對于機采棉中的僵瓣、鈴殼、枝條、葉屑、塵雜等天然雜質，本文方法可獲得94%的平均識別率。

FZXB

[1] 田景山, 王文敏, 王聰, 等. 機械采收方式對新疆棉品質的影響[J]．紡織學報, 2016, 37(7):13-17. TIAN Jingshan, WANG Wenmin, WANG Cong, et al. Effect of cotton mechanical picking on fiber qualities in Xinjiang[J]. Journal of Textile Research, 2016, 37(7):13-17.

[2] 徐紅, 曹吉強, 葉偉, 等. 鋸齒式皮棉清理對機采棉性能的影響[J]. 紡織學報, 2014, 35(1): 35-39. XU Hong, CAO Jiqiang, YE Wei, et al. Influence of saw type lint cleaning on performance of machine stripped cotton[J]. Journal of Textile Research, 2014, 35(1): 35-39.

[3] PAI A, SARI-SARRAF H, HEQUET E F. Recognition of cotton contaminants via X-ray microtomographic image analysis[J]. IEEE Transactions on Industry Applications, 2004, 40(1): 77-85.

[4] MUSTAFIC A, LI C, HAIDEKKER M. Blue and UV LED-induced fluorescence in cotton foreign matter[J]. Journal of Biological Engineering, 2014, 8(1): 8-29.

[5] YANG Wenzhu, LI Daoliang, ZHU Liang. A new approach for image processing in foreign fiber detection[J]．Computers and Electronics in Agriculture, 2009, 68(1): 68-77.

[6] 闞道宏, 李道亮, 楊文柱, 等. 棉花異性纖維圖像在線分割方法[J]. 農業工程學報, 2010, 26(增刊2): 11-15. KAN Daohong, LI Daoliang, YANG Wenzhu, et al. Cotton image segmentation method for online foreign fiber inspection[J]. Transactions of the Chinese Society for Agricultural Machinery, 2010, 26(S2): 11-15.

[7] 張成梁, 李蕾, 董全成, 等. 基于顏色和形狀特征的機采棉雜質識別方法[J]. 農業機械學報, 2016, 47(7): 28-34. ZHANG Chengliang, LI Lei, DONG Quancheng, et al. Recognition method for machine-harvested cotton impurities based on color and shape features[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(7): 28-34.

[8] WANG X, YANG W, LI Z. A fast image segmentation algorithm for detection of pseudo-foreign fibers in lint cotton[J]. Computers & Electrical Engineering, 2015, 46: 500-510.

[9] 許凱, 秦昆, 黃伯和, 等. 基于云模型的圖像區域分割方法[J]. 中國圖象圖形學報, 2010, 15(5): 757-763. XU Kai, QIN Kun, HUANG Bohe, et al. A new method of region based image segmentation based on cloud model[J]. Journal of Image and Graphics, 2010, 15(5): 757-763.

[10] 周慧, 張華熊, 胡潔, 等. 基于平滑濾波和分水嶺算法的重組織織物圖像分割[J]. 紡織學報, 2015, 36(8): 38-42. ZHOU Hui, ZHANG Huaxiong, HU Jie, et al．Backed weave image segmentation based on smoothing filter and watershed algorithm[J]. Journal of Textile Research, 2015, 36(8): 38-42.

[11] 高麗, 楊樹元, 李海強. 一種基于標記的分水嶺圖像分割新算法[J]. 中國圖象圖形學報, 2007, 12(6): 1025-1032. GAO Li, YANG Shuyuan, LI Haiqiang. New unsupervised image segmentation via marker-based watershed[J]. Journal of Image and Graphics, 2007, 12(6): 1025-1032.

[12] 李占波, 楊二偉, 李進文. 基于改進分水嶺和區域合并的彩色圖像分割[J]. 計算機工程與設計, 2014, 35(7): 2458-2461. LI Zhanbo, YANG Erwei, LI Jinwen. Color image segmentation based on improved marked watershed transform and region merging[J]. Computer Engineering and Design, 2014, 35(7): 2458-2461.

[13] 盧中寧, 強贊霞. 基于梯度修正和區域合并的分水分割算法[J]. 計算機工程與設計, 2009, 30(8): 2075-2077. LU Zhongning, QIANG Zanxia. Watershed segmentation based on gradient modification and region merging[J]. Computer Engineering and Design, 2009, 30(8): 2075-2077.

[14] KORKMAZ S A, POYRAZ M. Least square support vector machine and minumum redundacy maximum relavance for diagnosis of breast cancer from breast microscopic images[J]. Procedia-Social and Behavioral Sciences, 2015, 174(3): 4026-4031.

[15] 周植宇, 楊明, 薛林繼, 等. 一種基于高斯核支持向量機的非結構化道路環境植被檢測方法[J]. 機器人, 2015, 37(6): 702-707. ZHOU Zhiyu, YANG Ming, XUE Linji, et al. Vegetation detection approach based on Gaussian kernel support vector machine in unstructured road environ-ment[J]. Robot, 2015, 37(6): 702-707.

[16] CHANG C C, LIN C J. LIBSVM: a library for support vector machines[J]. ACM Transactions on Intelligent Systems and Technology, 2011, 2(3): 389-396.

Detection method for machine-harvested cotton impurities based on region color segmentation

ZHANG Chengliang1，LI Lei2，DONG Quancheng1，GE Rongyu1

(1.SchoolofMechanicalEngineering，UniversityofJinan,Jinan,Shandong250022,China；2.SchoolofMechanical&AutomotiveEngineering,QiluUniversityofTechnology,Jinan,Shandong250353,China)

Machine-harvested cotton impurities are complicated. It is important to detect the type and content of impurities for adjustment of the processing technique of cotton. An impurity detection method based on region color segmentation was presented. During image segmentation stage color gradient image was obtained based on filtered image firstly. Marking image was achieved by H-minima transform, and initial segmentation image was acquired based on modified gradient image by watershed algorithm. Then region merging was conducted for initial segmentation image. Region adjacency, region color feature and region area were considered for region merging. Region color features such as saturation, intensity, region color vector module and color similarity were used. Repeated merging was adopted, and information of color feature was updated in different merging. Finally various features including color, texture and shape were extracted by support vector machines algorithm for impurity recognition. Experimental results show that a successful recognition ratio of 94% for natural impurities is achieved.

machine-harvested cotton；image segmentation；impurity recognition；marker-controlled watershed；region merging；color feature

10.13475/j.fzxb.20160906707

2016-09-30

2017-04-12

國家自然科學基金項目(51305164，51405194)；山東省重點研發計劃項目(2016GNC110025)

張成梁(1983—)，男，講師，博士。主要研究方向為圖像檢測識別、智能儀器儀表以及優化控制研究等。E-mail:me_zhangcl@ujn.edu.cn。

TP 391.41

A