基于視覺顯著模型的織物起球等級評價(jià)

管聲啟，胡璐萍，常 江，倪奕棋，王琪璇，管宇燦，張理博

(1.西安工程大學(xué) 機(jī)電工程學(xué)院，陜西 西安 710048；2.紹興市柯橋區(qū)西紡紡織產(chǎn)業(yè)創(chuàng)新研究院，浙江 紹興 312030;3.山西大同大學(xué) 計(jì)算機(jī)與網(wǎng)絡(luò)工程學(xué)院，山西 大同 037009)

0 引 言

隨著人們生活水準(zhǔn)的提高，消費(fèi)者對織物的要求也越來越高，尤其是織物的抗起球性能，因此，織物的起毛起球檢測也成為該領(lǐng)域的焦點(diǎn)。當(dāng)前織物起毛起球性能的評價(jià)主要依靠傳統(tǒng)的標(biāo)準(zhǔn)樣照對比法，該方法根據(jù)給定的樣品結(jié)合各級別起毛起球的特點(diǎn)(如毛球數(shù)、毛球大小和分布密度等)信息進(jìn)行客觀地評價(jià)，具有一定的主觀性。由于個(gè)體差異，不可能對織物的起球性能進(jìn)行客觀的等級評估。隨著機(jī)器視覺在工業(yè)自動化中的廣泛應(yīng)用，基于機(jī)器視覺的織物起球評定技術(shù)應(yīng)運(yùn)而生[1-2]。

在用于織物的圖像分析技術(shù)方面，已經(jīng)進(jìn)行了許多研究。文獻(xiàn)[3]通過傅里葉變換進(jìn)行起球等級評估，但傅里葉變換是一種無法獲得圖像局部信息的全局方法。文獻(xiàn)[4]使用二維離散小波變換來處理織物圖像。盡管小波變換可以抑制常規(guī)和明顯的突變信號，但它不能抑制織物紋理的單個(gè)信號，單個(gè)信號會影響客觀評價(jià)的準(zhǔn)確性。文獻(xiàn)[5]通過小波變換的局部二值模式[6]提取了起球特征，但是，起球的局部細(xì)節(jié)很容易丟失。文獻(xiàn)[7]等結(jié)合小波變換和Gabor濾波方法進(jìn)行圖像分割。盡管該方法可以有效地實(shí)現(xiàn)織物絨毛和起球圖像的去噪處理，并獲得織物毛球的分割圖像，但是由于織物毛球的尺寸不均勻和織物紋理粗糙度不同，可能會造成小波分解中毛球?qū)拥亩ㄎ徊粶?zhǔn)確，導(dǎo)致毛球信息丟失。文獻(xiàn)[8]通過傅里葉變換和小波分析相結(jié)合的方法獲得了全局信息和局部細(xì)節(jié)，但是在特定條件下，起球可能會周期性出現(xiàn)，因此很難辨別。

由上述分析可知，目前織物起球圖像客觀評價(jià)法仍面臨無法避免背景紋理和光照不均等低頻信號的干擾問題，從而影響最終的起球分級。假如機(jī)器能模仿人類主觀評級法只提取感興趣的起球信息，這樣就能彌補(bǔ)傳統(tǒng)圖像處理技術(shù)的缺陷，具有重要意義[9]。因此，本文提出了一種基于視覺注意機(jī)制的起球分級新方法，以解決上述問題。首先，通過高斯金字塔分解及中央-周邊操作得出局部特征顯著圖；其次，融合譜殘差分析法獲得的全局特征顯著圖得出織物起球顯著圖；最后，對顯著圖進(jìn)行分割得出起球興趣圖，通過提取興趣圖起球特征參數(shù)從而對織物毛球進(jìn)行分析和等級評定。

1 視覺注意機(jī)制顯著模型

視覺注意機(jī)制是人類視覺系統(tǒng)中一種特殊機(jī)制。人類視覺通過快速掃描全景圖像信息并傳入大腦，通過大腦對全景信息的分析與理解，獲取需要集中注意的目標(biāo)區(qū)域(通常稱為關(guān)注焦點(diǎn))，然后在該區(qū)域投入更多的關(guān)注，從而獲取關(guān)注目標(biāo)的詳細(xì)信息，同時(shí)抑制其他無用的信息。視覺注意機(jī)制實(shí)際上是在保持低頻信息的同時(shí)抑制視野中的高頻信息[10]。文獻(xiàn)[11]提出了視覺注意機(jī)制模型和顯著性目標(biāo)的概念，它采用高斯金字塔模型，并使用中央-周邊差分算子來處理圖像以獲得感興趣區(qū)域。小波變換具有在多尺度空間和頻域上同時(shí)分析的特點(diǎn)，因此具有良好的局部信息表示能力。通過局部分析圖像的整體特征(顏色、紋理、方向、亮度等)，可以有效地消除特征圖像中的冗余信息，并保留圖像中的顯著部分，從而獲得局部分析的特征顯著圖。文獻(xiàn)[12]提出了譜殘差分析法，該方法對圖像進(jìn)行全局分析，并使用譜殘差模型進(jìn)行顯著性檢測。該方法認(rèn)為圖像的信息全部包含在圖像的幅度譜信息中，因此減去先驗(yàn)知識的幅度譜，剩下的就是顯著部分的幅度譜，從而得到顯著部分。

高斯金字塔分解具有空域和時(shí)域上同時(shí)執(zhí)行多尺度分析的能力，對各尺度圖像低通濾波處理建立金字塔模型并采用中央-周邊差分算子獲取局部分析的特征顯著信息，但是高斯金字塔分解具備很好的局部信息表征能力，容易引起部分冗余信息被檢測。因此，本文在抑制背景多余信息的同時(shí)，進(jìn)一步融合圖像的全局特征顯著信息來增強(qiáng)顯著目標(biāo)。譜殘差算法從圖像全局考慮，直接對原始圖像的灰度圖像做傅里葉變換處理，通過與均值濾波的圖像做差分處理即可獲得全局分析的顯著目標(biāo)檢測圖像。

2 改進(jìn)的顯著模型算法

為了檢測顯著目標(biāo)，通常將圖像分為顯著部分和非顯著部分。構(gòu)造織物起球的顯著性圖，旨在增強(qiáng)織物起球信息和背景信息之間的對比度(顯著性)，為織物的分割提供條件。本文算法主要通過基于高斯金字塔分解局部特征顯著和基于譜殘差分析的全局特征顯著構(gòu)造視覺注意機(jī)制顯著模型，進(jìn)而改善起球的顯著性圖，增強(qiáng)顯著目標(biāo)，在背景中抑制冗余信息，從而提取織物毛球特征參數(shù)進(jìn)行起球等級評定。高斯金字塔可以模仿人類視覺的中央-周邊操作，通過對各尺度圖像低通濾波處理來建立金字塔模型，同時(shí)采用中央-周邊差分算子獲取局部分析的特征顯著信息。為了避免高斯金字塔分解過程中出現(xiàn)部分冗余信息被檢測，通過譜殘差算法直接對原始圖像的灰度圖像做傅里葉變換處理，利用對譜殘差及相位譜進(jìn)行傅里葉逆變換并進(jìn)行重構(gòu)獲得全局分析的顯著目標(biāo)檢測圖像。改進(jìn)算法流程如圖1所示。

圖 1 織物起球疵點(diǎn)檢測顯著模型Fig.1 Saliency model of fabric pillingdefects detection

2.1 局部特征顯著圖

2.1.1 高斯金字塔分解 高斯金字塔能夠?qū)σ环鶊D像進(jìn)行多尺度表示，從而可以模仿人眼看到近處的圖像較為細(xì)致(對應(yīng)金字塔底層)，看到遠(yuǎn)處圖像較為模糊(對應(yīng)金字塔頂層)，所以在一定程度上可以模仿視覺感受野。

由于高斯濾波器[13]可用于消除高斯噪聲，也可用于多尺度計(jì)算，因此，可先用高斯低通濾波平滑起球圖像，然后以方差為1.6，采樣率為2，向下采樣處理底層子圖像，每次分解獲得的圖像分辨率是前一層圖像的1/2。接著繼續(xù)降采樣處理第2層子圖像，以此類推，最終消除織物紋理、光照不均等噪聲[14]。處理結(jié)果如圖2所示。

(a) 織物起球圖像

(b) 基于高斯金字塔的4層分解

(c) 分解后的放大子圖圖 2 織物起球圖像高斯分解Fig.2 Gaussian decomposition of fabricpilling image

圖2(a)為織物起球原始圖像，圖2(b)為起球圖像的高斯金字塔分解圖。將金字塔分解圖層通過上采樣放大后如圖2(c)，通過觀察可以看出，第1層圖像主要包含周期性紋理、起球等信息；第2層圖像中周期性紋理明顯減少，非周期性紋理明顯增多，光照不均(左上角光照較亮，右下角光照較暗)更明顯，該圖層主要包括起球、較少的周期性紋理、非周期性紋理、光照不均等低頻信息；第3層圖像中周期性紋理已經(jīng)去除，主要包含起球、非周期性紋理、光照不均等低頻信息；第4層子圖像主要包含非周期紋理信息和光照不均信息等低頻信息。如果選擇第3層圖與第4層圖進(jìn)行計(jì)算消除光照不均和非周期性紋理，則可以提取織物起球信息。

2.1.2 中央-周邊操作 為模擬感受野，在高斯金字塔分解后，通過中央-操作織物起球子圖像[15]，該方法主要利用圖層與圖層作差的方式提取織物的起球信息，從而使織物起球信息顯著度提高，根據(jù)織物起球顯著圖可表示為

s(δ)=|g(s)Θg(c)|

(1)

式中：δ為周邊層與中央層之間層差；Θ為中央-周邊操作；c為中央尺度；s=c+1為周邊尺度[16]。

選取合適的中央層與周邊層是提高檢測顯著度關(guān)鍵，僅對包含起球、光照不均以及不平整信息中央層與主要含光照不均以及不平整信息周邊層進(jìn)行差分操作，才能提高織物起球信息的顯著度。因此，選取子圖第3層與第4層進(jìn)行中央-周邊操作獲得織物起球信息，中央-周邊操作結(jié)果如圖3所示。

圖 3 織物起球局部特征顯著圖Fig.3 Local feature silencing saliencyimage of fabric pilling

對比圖2(a),從圖3可以看出，織物周期性紋理已被去除，光照不均明顯得到改善，織物起球更加突出，織物起球圖像的顯著度得到了提高。

2.2 全局特征顯著圖

高斯金字塔分解具備很好的局部信息表征能力，但是容易引起一些冗余信息被檢測。根據(jù)織物起球圖像特征，可將織物起球圖像信息分為新穎部分和冗余部分。

在織物起球圖像中，反復(fù)出現(xiàn)的均勻特征是織物紋理，是冗余信息；起球則為新穎部分,可通過抑制織物起球圖像的冗余部分得到圖像的新穎部分[17]。

根據(jù)上述理論，采用譜殘差分析抑制起球圖像中冗余信息來增強(qiáng)顯著目標(biāo)。譜殘差分析法[18-19]是獨(dú)立于對象特征的視覺顯著性檢測模型。該模型通過對原始圖像的灰度圖像做傅里葉變換處理，利用對譜殘差及相位譜進(jìn)行傅里葉逆變換并進(jìn)行重構(gòu)獲得織物起球全局特征顯著圖，顯著效果如圖4所示。

圖 4 織物起球全局特征顯著圖Fig.4 Global feature saliency image of fabric pilling

2.3 織物起球顯著圖

為了獲取織物起球顯著圖，將局部特征顯著圖和全局特征顯著圖進(jìn)行線性融合，可表示為

k(t)=af(t)+(1-a)h(t)

(2)

式中：k(t)為融合后的起球特征顯著圖；f(t)為局部特征顯著圖；h(t)為全局特征顯著圖；a為2幅圖像的融合度，a∈{0,1}；t為像素坐標(biāo)。融合后織物起球顯著圖如圖5所示，實(shí)驗(yàn)結(jié)果顯示，融合度a取0.7時(shí)取得了較好的融合效果。

圖 5 織物起球顯著圖Fig.5 Saliency image of fabric pilling

2.4 織物起球興趣區(qū)形成

為了客觀地評定織物起球等級，在起球顯著圖的基礎(chǔ)上，通過高斯擬合閾值分割法[20]對起球部分進(jìn)行分割，效果如圖6(a)所示，剔除噪聲后起球興趣圖如圖6(b)所示。

(a) 織物起球興趣區(qū) (b) 剔除噪聲后起球興趣圖圖 6 織物起球興趣圖Fig.6 Interest images of fabric pilling

圖6(a)盡管采用高斯擬合閾值分割法獲得了較好毛球圖像，但它也與少量的非毛球信息噪聲點(diǎn)混合在一起，因此有必要濾除這些噪聲點(diǎn)。首先，通過統(tǒng)計(jì)織物起球興趣圖的數(shù)目個(gè)數(shù)和面積大小，然后在直方圖[0，255]之間每隔10進(jìn)行閾值分割，找出面積與數(shù)目突變的點(diǎn)，對小于該閾值的像素點(diǎn)進(jìn)行剔除，從而有效濾除非毛球信息噪聲，噪聲點(diǎn)濾除后的效果如圖6(b)所示，可以看出效果有明顯改善。

3 圖像質(zhì)量評估

為評估織物起球顯著特征圖所獲得的信息是否充分、準(zhǔn)確，采用結(jié)構(gòu)相似度評價(jià)算法[21]將織物起球圖像和起球顯著圖像的信息量進(jìn)行對比來評估顯著圖像的質(zhì)量。該算法利用圖像像素間的相關(guān)性進(jìn)行圖像質(zhì)量客觀評估。該算法引入了基于結(jié)構(gòu)信息化質(zhì)量評估的替代補(bǔ)充框架進(jìn)行圖像的結(jié)構(gòu)相似度分析。結(jié)構(gòu)相似度算法[22]可表示為

S(x,y)=[l(x,y)]α[c(x,y)]β[s(x,y)]γ

(3)

利用結(jié)構(gòu)相似度進(jìn)行圖像質(zhì)量評估時(shí)，將織物起球顯著圖像分解為大小為11×11的子圖像，利用式(3)計(jì)算出子圖像的評分，當(dāng)計(jì)算出圖像所有的子圖像評分后，整幅圖像的評分可以由式(4)計(jì)算子圖像的平均結(jié)構(gòu)相似度，得[23]：

(4)

式中：j為參考圖像和待測圖像中第j個(gè)圖像；M是圖像的子圖像總數(shù)。Sm的取值范圍為[0，1]。當(dāng)Sm取值為1時(shí)，表明參考圖像和要測試的圖像相同或非常相似，要測試的圖像的質(zhì)量極高；當(dāng)Sm取值為0時(shí)，表明參考圖像和要測試的圖像非常不同，要測試的圖像的質(zhì)量極低。

4 實(shí)驗(yàn)結(jié)果及分析

4.1 實(shí)驗(yàn)條件

為了驗(yàn)證本文算法的有效性，從標(biāo)準(zhǔn)圖像庫中選擇100幅起球樣本圖像,其中，1～20為1級起球圖像，21～40為2級起球圖像，41～60為3級起球圖像，61～80為4級起球圖像，81～100為5級起球圖像，每幅圖像的像素為600×600；在Inteli7-7500處理器，8 GiB內(nèi)存，Windows10操作系統(tǒng)的計(jì)算機(jī)上進(jìn)行驗(yàn)證，采用Matlab R2018b進(jìn)行編程。

為評估織物起球顯著特征圖所獲得的信息是否充分、準(zhǔn)確，對織物顯著圖進(jìn)行圖像質(zhì)量評估，其平均結(jié)構(gòu)相似度值結(jié)果如表1所示。

表1 織物起球1～5級顯著圖平均結(jié)構(gòu)相似度值

通過表1可知，織物起球顯著圖1～5級的平均結(jié)構(gòu)相似度值均大于0.69，表示所得織物起球顯著圖像和輸入的織物起球圖像相似度較高，圖像失真較少，即待測圖像的質(zhì)量較高，保留了更多的原圖像的結(jié)構(gòu)化信息。通過實(shí)驗(yàn)得出織物起球顯著圖分割效果如圖7所示，圖7(a)為織物起球1～5級原始圖像，圖7(b)為織物起球顯著圖分割效果圖。

(a) 原始圖像

(b) 分割效果圖圖 7 織物起球1～5級原始圖像與分割效果對比圖Fig.7 Comparison of fabric pilling grade 1～5 original image and segmentation effect

4.2 實(shí)驗(yàn)及其效果分析

為了驗(yàn)證客觀評估可替代主觀評估方法的可能性，本文采用與人工評級的對比實(shí)驗(yàn)。為了驗(yàn)證本文算法的準(zhǔn)確性，采取計(jì)算織物起球總面積、起球粒數(shù)這2個(gè)特征作為判斷起球等級指標(biāo)，其中：起球總面積采用統(tǒng)計(jì)起球興趣圖中疵點(diǎn)的白色連通區(qū)域中的像素；起球粒數(shù)的計(jì)算，采用八連通鄰域法搜索像素值不為零的連通區(qū)域。通過人工標(biāo)定得出織物起毛起球評級標(biāo)準(zhǔn)，如表2所示。

表2 織物起球1～5級評級標(biāo)準(zhǔn)

本文算法與織物起球1～5級評級標(biāo)準(zhǔn)對比實(shí)驗(yàn)結(jié)果如圖8所示，圖8(a)為織物起球1～5級評級標(biāo)準(zhǔn)，圖8(b)為該文算法評級結(jié)果。

圖8中，通過對比織物起球1～5級評級標(biāo)準(zhǔn)結(jié)果與該文算法評級結(jié)果，可以看出用織物起球總面積特征進(jìn)行等級評定有95個(gè)樣本的起球圖像等級評價(jià)是正確的，準(zhǔn)確率為95%，其中，1個(gè)1級起球樣本被錯(cuò)誤識別為3級，1個(gè)2級起球樣本被錯(cuò)誤識別為1級，1個(gè)3級起球樣本被錯(cuò)誤識別為1級，1個(gè)2級起球樣本被錯(cuò)誤識別為2級，1個(gè)3級起球樣本被錯(cuò)誤識別為4級；用織物起球個(gè)數(shù)特征進(jìn)行等級評定有96個(gè)樣本的起球圖像評價(jià)是正確的，準(zhǔn)確率為96%，其中，1個(gè)1級起球樣本被錯(cuò)誤識別為2級，1個(gè)2級起球樣本被錯(cuò)誤識別為3級，2個(gè)3級起球樣本被錯(cuò)誤識別為2級，1個(gè)4級起球樣本被錯(cuò)誤識別為3級。分析誤判原因：主要是因?yàn)榭椢锲鹎驍?shù)目與起球總面積等級劃分不明確引起的誤判。綜合上述可得，該算法能有效濾除各種噪聲，得到有效的起毛起球特征參數(shù)，實(shí)現(xiàn)1～5級織物起毛起球等級的準(zhǔn)確評定。

(a) 人工標(biāo)定織物起球1～5級評級標(biāo)準(zhǔn)

(b) 本文算法評級圖 8 織物起球圖像評價(jià)結(jié)果Fig.8 Evaluation results of fabric pilling image

5 結(jié) 語

針對現(xiàn)有的起球客觀等級評價(jià)效果不理想，通過高斯金字塔分解實(shí)現(xiàn)毛球與織物紋理分離并去除光照不均等信息，在此基礎(chǔ)上采用中央-周邊操作獲得織物起球疵點(diǎn)局部特征顯著圖，然后通過融合譜殘差分析獲得全局特征顯著圖使織物起球顯著度得到顯著提高，最后采用高斯擬合閾值分割得出織物起球興趣圖提取起球特征。仿真結(jié)果證明：本文織物起球等級客觀評價(jià)方法能夠提高起球圖像的顯著度，從而使織物起球客觀評價(jià)具有較高的準(zhǔn)確率，證實(shí)了本文算法的可行性和有效性，但該算法的泛化性還有待進(jìn)一步研究。