融合空間信息的詞袋模型用于羊絨羊毛纖維識(shí)別

朱耀麟，穆婉婉，武 桐

(1.西安工程大學(xué) 電子信息學(xué)院，陜西 西安 710048； 2.西北工業(yè)大學(xué) 電子信息學(xué)院，陜西 西安 710072)

我國(guó)是羊絨制品生產(chǎn)、加工和出口大國(guó)，國(guó)際市場(chǎng)上大部分羊絨制品都來(lái)自我國(guó)[1]。由于羊絨與羊毛纖維外觀形態(tài)、化學(xué)結(jié)構(gòu)和物理性質(zhì)等都非常相似，市場(chǎng)上存在使用羊毛摻混在羊絨中進(jìn)行銷(xiāo)售的現(xiàn)象。但二者價(jià)格和服用性能都相差巨大[2]，因此，建立客觀、準(zhǔn)確的羊絨羊毛纖維自動(dòng)識(shí)別模型具有重要的現(xiàn)實(shí)意義。基于圖像處理技術(shù)的方式效率高且成本低廉，是纖維鑒別領(lǐng)域最常用的方法。

傳統(tǒng)的基于圖像處理技術(shù)的羊絨與羊毛鑒別方法，是通過(guò)提取纖維直徑、鱗片高度、鱗片厚度等纖維表面形態(tài)特征參數(shù)進(jìn)行區(qū)分。石先軍等[3]采集了羊絨羊毛纖維的9個(gè)形狀參數(shù)，并對(duì)其差異的顯著性進(jìn)行了排序，遴選出最優(yōu)組合。但這種方法對(duì)數(shù)據(jù)的敏感程度高，特征的測(cè)量工作難度較大，且近年來(lái)羊絨“羊毛化”現(xiàn)象嚴(yán)重，這種方法很難再滿(mǎn)足要求，一些學(xué)者開(kāi)始使用紋理特征、形態(tài)及紋理特征的融合特征來(lái)識(shí)別羊絨和羊毛纖維。焦明艷[4]使用灰度共生矩陣(gray-level co-occurrence matrix，GLCM)來(lái)描述圖像紋理，并從中提取了5個(gè)二次統(tǒng)計(jì)量作為特征參數(shù)進(jìn)行了分析。劉偉麗[5]提出一種基于局部二值模式(local binary pattern，LBP)識(shí)別方法，將纖維的光學(xué)顯微鏡圖像轉(zhuǎn)變?yōu)榫植慷M(jìn)制編碼，使用支持向量機(jī)(support vector machines，SVM)進(jìn)行分類(lèi)，并比較了經(jīng)典LBP、旋轉(zhuǎn)不變LBP、dis LBP等幾種特征下的識(shí)別率。邢文宇等[6]使用纖維形態(tài)和紋理2種特征表征圖像內(nèi)容，且每種特征采用不同類(lèi)型的預(yù)處理操作，取得了不錯(cuò)的效果。但這些方法都是基于圖像的低級(jí)特征，中級(jí)特征通常比低級(jí)特征具有更強(qiáng)的描述能力，比較著名的方法之一就是詞袋模型[7]。近年來(lái)，計(jì)算機(jī)視覺(jué)技術(shù)發(fā)展迅速，詞袋模型在圖像檢索、圖像分類(lèi)中表現(xiàn)出良好的性能，但因缺乏空間信息限制了其性能。Lazebnik S等[8]提出了空間金字塔詞袋模型，通過(guò)將不同層次圖像劃分成一系列子區(qū)域，統(tǒng)計(jì)每個(gè)子區(qū)域的直方圖獲得特征點(diǎn)絕對(duì)位置信息。Tang等[9]度量了視覺(jué)單詞間的同義性，構(gòu)建上下文近義詞典，以此來(lái)加入特征點(diǎn)相對(duì)位置信息。陸凱等[10]將空間金字塔(spatial pyramid matching，SPM)詞袋模型引入纖維鑒別領(lǐng)域，實(shí)現(xiàn)了羊絨羊毛纖維快速自動(dòng)分類(lèi)，但羊絨羊毛纖維在圖像中的位置是變化的，所以該方法存在一定的缺陷。根據(jù)以上分析，本文提出一種融合空間信息的詞袋模型用于羊絨羊毛纖維識(shí)別。

1 系統(tǒng)模型

詞袋模型(bag of words，BOW)將圖像看作是一組無(wú)序的視覺(jué)單詞組成的向量，使用單詞出現(xiàn)的頻率來(lái)表征圖像內(nèi)容。圖1給出了詞袋模型的基本流程圖，首先提取所有輸入圖像的局部特征點(diǎn)，形成特征點(diǎn)集；然后使用K均值聚類(lèi)算法對(duì)集合進(jìn)行聚類(lèi)，將聚類(lèi)中心看作視覺(jué)單詞，所有視覺(jué)單詞組成視覺(jué)詞典；統(tǒng)計(jì)每幅圖像中單詞出現(xiàn)的頻率，生成視覺(jué)詞匯直方圖作為圖像的表征；最后送入分類(lèi)器中進(jìn)行訓(xùn)練。從詞袋模型的構(gòu)造過(guò)程可以看出，詞袋模型完全忽略了特征之間的關(guān)聯(lián)和位置信息，造成了信息的丟失。

圖1 詞袋模型的基本流程圖

本文從2方面入手來(lái)改善詞袋模型缺乏空間信息的缺點(diǎn)。一方面從詞袋模型自身出發(fā)，在視覺(jué)詞典的基礎(chǔ)上生成空間上下文近義詞表，采用軟分配的方式構(gòu)建視覺(jué)詞匯直方圖，融入特征點(diǎn)間的相對(duì)位置信息；另一方面借助含有空間幾何信息的灰度梯度共生矩陣(gray-gradient co-occurrence matrix，GGCM)特征與詞袋特征共同表征圖像紋理，彌補(bǔ)詞袋模型的不足。具體流程圖如圖2所示。

2 融合空間信息的詞袋模型

詞袋模型融入空間信息的方法分為2種：一種是融入絕對(duì)位置信息；另一種是融入相對(duì)位置信息[11]。纖維在圖像中位置是變化的，局部特征相對(duì)位置信息相比于絕對(duì)位置信息能更好的表征圖像內(nèi)容，所以本文使用結(jié)合空間上下文近義詞表和軟分配詞袋模型(similar words soft assignment-bag of words，SWSA-BOW)，給詞袋模型中融入特征點(diǎn)相對(duì)位置信息對(duì)羊絨羊毛纖維圖像進(jìn)行分類(lèi)識(shí)別。另外融合含空間幾何信息的特征進(jìn)一步改善詞袋模型缺乏空間信息的問(wèn)題。該方法主要包含3部分：特征提取；聚類(lèi)生成視覺(jué)詞典，在此基礎(chǔ)上檢測(cè)單詞同義性生成近義詞表；結(jié)合軟分配構(gòu)建視覺(jué)詞匯直方圖。

圖2 融合空間信息的詞袋模型羊絨羊毛識(shí)別算法流程圖

2.1 特征提取

詞袋模型底層特征提取方式有2種，一種是基于興趣點(diǎn)檢測(cè)，另一種是采用密集提取的方式[12]。為避免背景的干擾，使得提取的特征都能集中在纖維主體部分，圖像在預(yù)處理時(shí)采用感興趣區(qū)域提取的方式，將除纖維以外的其他部分全部去除，因此本文選擇尺度不變特征變換(scale-invariant feature transform，SIFT)關(guān)鍵點(diǎn)檢測(cè)法。SIFT是Lowe提出的一種基于尺度空間，對(duì)圖像旋轉(zhuǎn)、縮放、平移、仿射變換保持不變性的局部特征描述子[13]，是詞袋模型最常用的底層特征。SIFT特征提取的實(shí)現(xiàn)步驟包括4部分：①構(gòu)造尺度空間，候選特征點(diǎn)檢測(cè)；②特征點(diǎn)精確定位；③特征點(diǎn)主方向確定；④特征點(diǎn)描述。SIFT特征點(diǎn)最后由128維描述向量表述。本文需要用到特征點(diǎn)的位置信息，SIFT特征點(diǎn)pi由4部分構(gòu)成，分別為：128維特征向量ri，位置坐標(biāo)ui，尺度σi，主方向θi，即pi={ri,ui,σi,θi}。

2.2 近義詞表生成

傳統(tǒng)詞袋模型在生成視覺(jué)詞典后，采用硬分配的方式，將特征點(diǎn)映射為歐式距離最近的視覺(jué)單詞，這種方式只用到了距離最近的單詞，忽略了其他距離較遠(yuǎn)而相似性較高的單詞。通過(guò)構(gòu)造近義詞表，結(jié)合軟分配的方式，可以有效改善這種問(wèn)題。本文在視覺(jué)詞典的基礎(chǔ)上生成空間上下文近義詞表，在計(jì)算特征點(diǎn)上下文信息時(shí)，賦予上下文區(qū)域內(nèi)距離pi點(diǎn)遠(yuǎn)的特征點(diǎn)較小的權(quán)重，距離pi點(diǎn)近的特征點(diǎn)較大的權(quán)重，將特征點(diǎn)相對(duì)位置信息融入詞袋模型。

將SIFT特征點(diǎn)pi周?chē)評(píng)i為中心，以4σi為半徑的圓形區(qū)域定義為pi的空間上下文區(qū)域，認(rèn)為該圓內(nèi)所有特征點(diǎn)語(yǔ)義相似，則生成近義詞表的步驟如下：

步驟1： 統(tǒng)計(jì)pi點(diǎn)的上下文區(qū)域內(nèi)的視覺(jué)詞匯直方圖：

H(pi)=[cw1(pi),cw2(pi),Lcwk(pi),LcwK(pi)]

作為pi點(diǎn)的空間上下文信息，其中，cwk(pi)為圓內(nèi)所有映射為視覺(jué)單詞wk的pj點(diǎn)的權(quán)重之和。pj點(diǎn)的權(quán)重由pi與pj之間的位置決定，計(jì)算公式為：

其中dij為pi與pj間的相對(duì)位置。

步驟2：計(jì)算所有映射到視覺(jué)單詞wk的特征點(diǎn)pi的空間上下文信息的均值，作為單詞wk的空間上下文信息H(wk)。

步驟3：度量視覺(jué)詞典中所有視覺(jué)單詞兩兩之間的同義性，生成詞典對(duì)應(yīng)的空間上下文近義詞表。度量公式為：

sim(wm,wn)=cos(H(wm),H(wn))=

近義詞表共K行，K為詞典的大小。每個(gè)視覺(jué)單詞對(duì)應(yīng)其中一行，第k行為視覺(jué)單詞wk與詞典中其他視覺(jué)單詞間的同義性大小，并按照從大到小的順序排列。實(shí)際應(yīng)用中只需用到與視覺(jué)單詞含義最近的視覺(jué)單詞，故表中只記錄與單詞同義性最大的N個(gè)視覺(jué)單詞的信息。

2.3 直方圖構(gòu)建

其中，sim為視覺(jué)單詞間的同義性大小。

由以上步驟得到了詞袋特征，雖然融入了特征點(diǎn)的相對(duì)位置信息，但與圖像空間關(guān)系關(guān)聯(lián)度較弱，因此本文選擇含空間幾何信息的GGCM特征進(jìn)行特征融合。詞袋特征維度較高，GGCM相對(duì)很小，為避免高維特征淹沒(méi)低維特征，需要將詞袋特征和GGCM特征分別進(jìn)行歸一化。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)樣本由榆林科技局提供，圖像采集按照GB/T 14593—2008《山羊絨、綿羊毛及其混合纖維定量分析方法 掃描電鏡法》中的制樣方法，采集羊絨羊毛纖維圖像各200張。拍攝儀器為美國(guó)FEI公司生產(chǎn)的Quanta 450FEG場(chǎng)發(fā)射掃描電子顯微鏡，放大倍數(shù)為1 000倍，圖像大小為500×700像素。

首先需要確定詞典的大小也就是聚類(lèi)中心K的個(gè)數(shù)，K值過(guò)小會(huì)造成差異較大的特征被分配到同一個(gè)視覺(jué)單詞，K值過(guò)大會(huì)造成相似的特征被分配到不同的視覺(jué)單詞，從而影響圖像的表述。但目前還沒(méi)有理論依據(jù)確定K的取值，本文采用先大后小的方式選擇K值。使用BOW模型先大范圍內(nèi)每次增加100，再小范圍內(nèi)每次增加50進(jìn)行測(cè)試。結(jié)果如圖4所示，說(shuō)明合適的K值通常可以取得更好的效果。

圖3 詞袋模型在不同詞典大小下的識(shí)別率

為了比較不同詞袋模型對(duì)分類(lèi)性能的影響，實(shí)驗(yàn)分別測(cè)試了BOW、SPM、SWSA-BOW模型作為羊絨羊毛纖維分類(lèi)模型的分類(lèi)準(zhǔn)確率。每次從數(shù)據(jù)集中選擇不同混合比的纖維圖像作為訓(xùn)練集和測(cè)試集，訓(xùn)練集和測(cè)試集比例為7∶3，詞典大小設(shè)置為400，SVM核函數(shù)選擇徑向基核函數(shù)。表1數(shù)據(jù)顯示，對(duì)于不同比例的羊絨羊毛纖維圖像，融入空間位置信息的詞袋模型比傳統(tǒng)詞袋模型的識(shí)別更高，而融入了特征點(diǎn)相對(duì)位置信息的詞袋模型比融入局部特征絕對(duì)位置信息的詞袋模型更適合纖維掃描電子顯微鏡(SEM)圖像紋理的表述。

表1 不同詞袋模型分類(lèi)準(zhǔn)確率比較

為了分析對(duì)于羊絨羊毛纖維圖像，融合含有空間信息的特征是否比單一詞袋特征具有更好的分類(lèi)效果，本文使用SWSA-BOW模型，分別提取纖維圖像SIFT、GLCM、GGCM和加速穩(wěn)健特征(speeded up robust features，SURF)進(jìn)行實(shí)驗(yàn)。訓(xùn)練集和測(cè)試集圖像比例依然設(shè)置為7∶3，詞典大小設(shè)置為400，SVM核函數(shù)選擇徑向基核函數(shù)。測(cè)試結(jié)果如表2所示，可以看出詞袋特征融合GLCM或GGCM特征共同作為紋理特征比使用單一特征的SWSA-BOW模型識(shí)別精度要高，融合GGCM的分類(lèi)正確率比GLCM的準(zhǔn)確率更高，說(shuō)明融合具備空間信息的特征在一定程度上可以彌補(bǔ)詞袋模型的缺點(diǎn)，對(duì)于羊絨羊毛纖維SEM圖像，表征紋理的能力更強(qiáng)，且GGCM比GLCM更適合纖維圖像紋理的表述。文獻(xiàn)[15]中使用SURF特征對(duì)羊絨羊毛進(jìn)行分類(lèi)，所以本文也對(duì)比了該算法下由SURF特征構(gòu)成的詞袋模型的分類(lèi)結(jié)果。分類(lèi)結(jié)果顯示SIFT特征識(shí)別率更高。

表2 融合特征及單一詞袋特征分類(lèi)準(zhǔn)確率比較 %

4 結(jié) 論

本文提出一種融合空間信息的詞袋模型，對(duì)羊絨羊毛纖維電子顯微鏡圖像進(jìn)行分類(lèi)來(lái)達(dá)到纖維鑒別的目的。該方法在傳統(tǒng)詞袋模型的基礎(chǔ)上，融入了特征間的相對(duì)位置信息，并采用特征融合的方式，更好的描述圖像紋理，以達(dá)到更高的識(shí)別率。從實(shí)驗(yàn)結(jié)果可以看出，該方法在一定程度上改善了傳統(tǒng)詞袋模型的不足，分類(lèi)準(zhǔn)確率有較大提升，平均識(shí)別率可達(dá)93.3%，適合羊絨羊毛纖維的識(shí)別。同時(shí)，該方法還可用于其他紋理圖像的分類(lèi)。