基于視覺注意計算模型的棉花異性纖維檢測

師紅宇,管聲啟

(西安工程大學 a. 計算機科學學院; b. 機電工程學院，陜西 西安 710048 )

?

基于視覺注意計算模型的棉花異性纖維檢測

師紅宇a,管聲啟b

(西安工程大學 a. 計算機科學學院; b. 機電工程學院，陜西 西安 710048 )

摘要：基于機器視覺的棉花異性纖維在線檢測，需要解決一個大背景下的小缺陷區域準確檢測問題.為了解決這個問題，通過構建視覺注意計算模型，使檢測目標興趣區凸顯出來，從而解決視覺數據冗余瓶頸問題.根據所構建模型結構，首先從輸入圖像中提取全局特征圖；然后提取灰度和方向特征進行高斯金字塔多層分解，并采用中央-周邊操作算子構建特征差分圖； 最后利用融合操作構建特征顯著圖和整體顯著圖，檢測興趣區在該顯著圖中被凸顯出來.試驗結果表明，該模型能夠實現棉花異性纖維的有效檢測，不僅檢測準確率高，還具有較強的普適性，為棉花異性纖維在線檢測提供了一種新方法.

關鍵詞：棉花； 異性纖維； 視覺注意； 計算模型； 興趣區域； 顯著圖

棉花中的異性纖維是指在原棉生產、加工和流通過程中混入棉花之中，對棉花及其制品質量有嚴重影響的非棉纖維和有色纖維，如化學纖維、毛發、絲、麻、塑料繩、染色線等，這些異性纖維將會嚴重影響成品的質量，為此，在紡織企業中對棉花異性纖維檢測和剔除是必備的工序之一.基于機器視覺的異性纖維檢測，不但提高了工作效率，而且在很大程度上提高了異性纖維的檢出率[1-2].文獻[3-4]提出了一種基于改進最大類間方差(Otsu)的異性纖維檢測算法，這種算法雖然能提高檢測速度，但并不能分割出對比度小的異性纖維信息.文獻[5]提出了一種小波變換的棉花異性纖維檢測算法，文獻[6]提出了基于多尺度小波和模糊方法的異性纖維檢測算法.利用小波多分辨率和高消失矩雖然能夠有效檢測具有突變特性的異性纖維，但往往難于檢測非奇異特性的異性纖維.文獻[7]采用均值平移(mean-shift)算法對棉花異性纖維圖像進行分割，該方法具有較強的抗噪能力，對于頭發、麻繩等與背景對比度較大的異性纖維分割效果較好，但對于面積較小或與背景對比度較小的異性纖維分割效果較差.文獻[8]通過改進蟻群算法用于棉花異性纖維目標特征選擇，但蟻群算法參數較多，檢測的好壞很大程度依賴最優參數的選擇.文獻[9]應用聚類統計分析進行棉花異性纖維檢測，當棉纖維與異性纖維在RGB顏色模型空間的各分量值接近時，無法實現檢測.通過上述分析可以看出，每種檢測算法往往僅適用于某類異性纖維的檢測，很難具有普適性，因此，如何提高檢測的普適性仍然是棉花異性纖維檢測的關鍵.

由棉花異性纖維特性分析可知，棉花異性纖維與正常棉花背景信息在灰度值上比較接近，且異性纖維總是在棉花大背景下局部分布.本文通過構建視覺注意計算模型提高檢測目標的顯著度，使檢測目標興趣區凸顯出來，從而實現異性纖維的檢測.

1視覺注意機制理論分析

棉花異性纖維檢測屬于大背景下的小缺陷檢測，目標區域面積小于整體圖像面積的5%.為了確保所有的缺陷都能實時地從大的背景中分離出來，必須解決視覺信息冗余問題[10-11].

對于視覺信息冗余問題，人類視覺系統具有選擇性視覺注意機制來解決這一局限性問題.在前注意階段，通過并行方式粗略快速地掃描全局場景，人類視覺系統可以定位興趣區域，隨后在下一階段對高質量的信息區域進行處理，增強目標的顯著性，去除大量冗余的背景數據，減少資源消耗.在注意階段，精心專注于該興趣區域，該視覺系統可以采集到高分辨率的局部圖像并以串行方式識別目標[12].

在機器視覺系統中引入視覺注意機制這項功能，無疑是對大背景下的小目標檢測的一個重要方法.目前基于對視覺皮層機制基本原理的認識，提出了許多視覺注意機制計算模型.Itti的顯著圖模型(Itti模型)是一個經典視覺注意機制模型[13]，為視覺注意機制理論應用到圖像處理中奠定了基礎.根據檢測任務的不同，很多學者提出了Itti改進模型，并已廣泛應用于各種自然場景和機器工業視覺目標檢測[14-16].根據棉花異性纖維檢測特點，本文采用一種新的視覺注意計算模型，以解決棉花異性纖維檢測問題.

2視覺注意計算模型

為實現棉花異性纖維在線檢測目標，根據Itti的顯著圖模型[13]，本文設計的視覺注意計算模型如圖1所示.

圖1　視覺注意計算模型Fig.1　A computational model of visual attention

2.1全局特征圖

檢測圖像的背景是一種規則和緩慢變化的信息，而檢測目標表現為局部紋理的突變，通常是粗糙和突變的信息.本文采用局部偏差來度量全局紋理特征，設平均值和標準偏差的窗口大小為(2n+1)×(2n+1)，平均值和標準偏差分別用式(1)和(2)計算.

(1)

其中：X(p,q)為一個輸入的灰度圖像；M(i,j)為窗口的平均值，窗口的中心由輸入圖像的(i,j)坐標來確定；G(i,j)為窗口的標準偏差.因此，由式(1)和(2)形成全局特征圖.當n= 1,2,3時，窗口大小分別為3×3、5×5、7×7，采用標準差構造的全局特征圖如圖2所示.

(a) 棉花圖像

(b) 3×3窗口全局特征圖

(c) 5×5窗口全局特征圖

(d) 7×7窗口全局特征圖

由圖2可知，窗口大小為7×7時，全局特征圖中噪聲被有效抑制，因此，選用7×7窗口構造全局特征圖.

2.2顯著圖

通過中央周邊操作算子(center-surround difference)計算局部視覺對比度并產生特征差分圖(feature difference map)，對比度較大的區域可能吸引視覺注意.然后通過跨尺度組合算子(across-scale combination)，將不同尺度下的特征圖組合成不同的特征顯著圖(feature saliency map).最后，通過融合算子將不同特征顯著圖合成一個整體顯著圖(overall saliency map).

2.2.1特征差分圖

(1) 特征金字塔分解. 對全局特征圖的灰度特征I進行多尺度的低通濾波和向下抽樣實現高斯金字塔3層分解，形成多尺度灰度特征圖I(1)，I(2)和I(3)；對全局特征圖的灰度特征I使用Gabor算子進行濾波，形成方向特征，然后進行金字塔3層分解，形成多尺度方向特征圖O(1)，O(2)和O(3).

二維Gabor濾波器可看成高斯包絡線被復正弦函數調制的結果，其可由式(3)表示.

exp[2πjf(x′+y′)]

(3)

其中：x′=xcosθk+ysinθk；y′=-xsinθk+ycosθk；f為中心頻率；σx和σy分別為高斯包絡沿x軸和y軸方向的標準偏差，本文取σx=σy=σ；θk為預先設定的方向參數，決定特征方向.

棉花異性纖維的灰度特征和方向特征金字塔分解如圖3所示.

(a) 灰度特征

(b) 方向特征(0°)

(c) 方向特征(45°)

(d) 方向特征(90°)

(e) 方向特征(135°)

(2) 中央周邊操作. 對多尺度灰度和方向特征圖進行插值運算，使其尺寸相同，然后按照式(4)和(5)計算灰度特征差分圖I(c,s)和方向特征差分圖O(c,s,θk).

I(c,s)=|I(c)ΘI(s)|

(4)

O(c,s,θk)=|O(c,θk)ΘO(s,θk)|

(5)

其中：Θ表示中央周邊操作，即不同尺度特征圖差分；θk分別取0°,45°,90°,135°；c∈{1,2},s=c+d,d∈{1}.

2.2.2特征顯著圖

(6)

(7)

其中：N(·)是一種歸一化算子；?為不同差分子圖相加算子；θk分別取0°, 45°, 90°, 135°.

所構建的灰度特征和方向特征顯著圖如圖4所示.由圖4可以看出，各特征顯著圖中的檢測目標特征對比度明顯增大.

(a) 灰度特征　　(b) 方向特征

2.2.3整體顯著圖

(8)

圖5　整體顯著圖Fig.5　Overall saliency map

3試驗與分析

3.1分割效果分析

為了驗證本文算法的分割效果，通過最大類間閾值對本文模型的整體顯著圖(TP)、改進Itti顯著模型[18](ST)和譜殘差模型[19](SR)所產生的顯著圖進行分割和目標提取，分割效果如圖6所示.

由圖6(b)和6(c)可以看出，除第1幅圖外，本文模型所檢測目標區域均符合原圖像中異性纖維的實際位置，且異性纖維數目與實際情況相同.采用本文模型檢測的第1幅圖的異性纖維數目為4，而實際異性纖維數目為3，可能的原因是將原棉背景對比大的區域檢測為異性纖維區域.由圖6(d)可以看出，ST模型雖然能檢測出比較顯著的部分目標，但也引入了不少偽目標.由圖6(e)可以看出，SR模型所檢測的目標數目與原棉中異性纖維數目相差較大.

(a) 棉花異性纖維圖像

(b) 人工標記的棉花異性纖維圖像

(c) 本文模型分割效果

(d) ST模型分割效果

(e) SR模型分割效果

由圖6可知，本文模型基本能夠正確分割出異性纖維存在的區域以及異性纖維的數目.但本文模型存在一定誤檢，主要原因可能在于原棉分布不均勻，造成局部對比度增大.因此，只要在檢測中盡量使原棉均勻分布，就有可能避免誤檢情況發生.另外，本文模型所分割出的檢測目標形態接近圓形，與真實的異性纖維形態差異較大，這可能是顯著圖構建機理以及Gabor濾波器參數選取(例如σx=σy=σ)等原因造成的.因此，本文模型只能用于棉花異性纖維快速檢測，對于進一步識別異性纖維種類，則需要進一步結合其他算法.

3.2檢測準確率分析

這里選取正常棉花纖維和含有毛發、紅色塑料、透明塑料、線頭的原棉圖像進行測試，測試圖像尺寸均為256像素×256像素，在同一臺計算機上采用Matlab軟件運行.為了準確統計檢測準確率，從采集圖像中選取僅包含一處異性纖維的圖像作為測試圖像.不同模型對棉花異性纖維的檢測準確率如表1所示.由表1可以看出，本文模型的檢測準確率為92%～99%，波動范圍僅為7%，說明本文模型對常見的異性纖維檢測具有一定的普適性.ST模型檢測準確率為72%～90%，波動范圍達到18%，說明其對某些異性纖維檢測具有較高的檢測準確率，但對于對比度小的透明塑料等檢測效果較差，檢測適應性差.SR模型檢測準確率為60%～75%，說明這種方法對不同異性纖維的檢測準確率都比較低，且檢測普適性很差，很難適應棉花異性纖維在線檢測.

表1　檢測準確率比較

由棉花異性纖維分割和檢測準確率試驗表明，本文模型能夠從原棉中有效分割出異性纖維信息，并且具有較高的檢測準確率，對常見的異性纖維檢測具有普適性.可能的原因在于本文模型能夠有效地提高顯著圖中的異性纖維與棉花纖維的對比度.

4結語

本文采用人類視覺注意機制，建立合適的自底向上數據驅動的計算模型，依據模型結構，通過全局特征圖、特征差分圖、特征顯著圖和整體顯著圖的構建，提高整體顯著圖中的棉花異性纖維興趣區的顯著度，通過最大類間方差方法有效實現異性纖維的分割.試驗結果表明，本文方法不僅具有較高的檢測準確率，而且對常見的異性纖維檢測具有較強的普適性，這將為棉花異性纖維在線檢測提供了可行性.

參考文獻

[1] 劉雙喜，張馨，王金星，等．棉花異性纖維圖像特征提取[J]．農業機械學報，2010,41(3): 158-162.

[2] 郭俊先，應義斌．皮棉中雜質檢測技術與檢出裝備的研究進展[J]．農業機械學報， 2008,39(7): 107-113.

[3] 楊文柱，李道亮，魏新華，等. 棉花異性纖維圖像分割方法 [J]. 農業機械學報，2009,40 (3)：156-160.

[4] 湯先福，黃靜，章涵博. 棉花異性纖維識別方法的研究 [J]. 儀表技術與傳感器，2010(11)：88-90.

[5] 張南賓，劉小平. 基于小波變換的棉花異纖檢測算法研究 [J]. 計算機仿真，2012,29(4): 301-304.

[6] 王波. 基于多尺度小波的棉花異纖檢測算法 [J]. 控制工程，2009,16(5): 173-175.

[7] 鄭文秀，劉雙喜，魏新華，等. 基于Mean-shift的棉花異性纖維圖像分割 [J]. 山東農業大學學報(自然科學版)，2009,40(2)：224-228.

[8] 趙學華，李道亮，楊文柱，等. 基于改進蟻群算法的棉花異性纖維目標特征選擇方法 [J]. 農業機械學報，2011,42(4)：168-172.

[9] 杜玉紅，王加富，蔣秀明，等. 應用聚類統計分析的棉花異纖圖形檢測算法 [J]. 紡織學報，2015,36(3):135-139.

[10] SU Z, WANG J, HUANG M, et al. A machine vision system with an irregular imaging function[C]//The 5th International Symposium on Image and Signal Processing and Analysis.Istanbul, Turkey, 2007:458-463.

[11] BORJI A, AHMADABADI M N, ARAABI B N. Cost-sensitive learning of top-down modulation for attentional control[J]. Mach Vis Appl, 2011, 22(1): 61-76.

[12] THORPE S, FIZE D, MARLOT C. Speed of processing in the human visual system[J]. Nature, 1996,381(6582): 520-522.

[13] ITTI L, KOCH C, NIEBUR E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Trans Pattern Anal Mach Intell， 1998, 20(11): 1254-1259.

[14] FRINTROP S, ROME E. Simulating visual attention for object recognition[C]//The Workshop on Early Cognitive Vision Isle of Skye. Scotland, 2004.

[15] ZHANG Q, GU G, XIAO H. Computational model of visual selective attention [J]. Robot, 2009, 31(6):574-580.

[16] 叢家慧，顏云輝.視覺注意機制在帶鋼缺陷檢測中的應用[J].中國機械工程, 2011,22(10): 1189-1192.

[17] BOVIK A C, CLARK M, GEISLER W S. Multichannel texture analysis using localized spatial filters [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990, 12(1): 55-73.

[18] WALTHER D, KOCH C. Modeling attention to salient proto-objects [J]. Neural Networks, 2006, 19(19): 1395-1407.

[19] HOU X, ZHANG L. Saliency detection: A spectral residual approach [C]// IEEE Conference on Computer Vision and Pattern Recognition. 2007:1-8.

文章編號：1671-0444(2016)03-0400-06

收稿日期：2015-05-20

基金項目：陜西省教育廳科研計劃資助項目(16JK1334)；西安工程大學博士科研基金資助項目(BS1005)

作者簡介:師紅宇(1981—)，女，陜西潼關人，工程師，碩士，研究方向為圖像處理技術和計算機網絡及應用技術. E-mail: shy510213@163.com

中圖分類號：TP 391.41

文獻標志碼：A

Cotton Foreign Fibers Detection Based on Visual Attention Computational Model

SHIHong-yua,GUANSheng-qib

(a. College of Computer Science; b. College of Mechanical & Electronic Engineering,Xi’an Polytechnic University, Xi’an 710048, China)

Abstract:Regions of small defects need to be detected accurately in a large backgrourd, when cotton foreign fibers is detected on line based on machine vision. A computational model of visual attention is developed for solving the problem. The model can highlight the target regions of interest, so as to solve the bottle neck problem of visual data redundancy. Firstly, the global feature is extracted from input image; then gray and direction features are extracted for Gauss Pyramid multiplayer decomposition, and feature difference map is constructed by a center-surround operator. Finally, feature saliency map and overall saliency map are constructed by a fusion operation, regions of interest are highlighted in the saliency map. Experimental results show that the model can achieve the effective detection of cotton foreign fibers. It not only has high accuracy, but also has strong universality. It provides a new method for cotton foreign fibers detected on line.

Key words:cotton; foreign fibers; visual attention; computational model; regions of interest; saliency map