融合高級語義特征的色紡織物圖像快速檢索

谷 遷， 袁 理， 楊亞莉， 劉軍平

(1. 武漢紡織大學 電子與電氣工程學院， 湖北 武漢 430200； 2. 武漢紡織大學 湖北省功能纖維加工及檢測 工程技術研究中心， 湖北 武漢 430200； 3. 武漢紡織大學 數學與計算機學院， 湖北 武漢 430200)

隨著信息化技術的發展，圖像數據量隨之增加。如何利用數字圖像處理技術對大量的紡織品圖像進行高效地檢索與數字化管理，是目前紡織企業亟待解決的問題。

圖像檢索可分為基于文本和基于內容的2種檢索方法。其中，基于內容的圖像檢索方法是當前研究的主流方向。方珍紅等[1]提出了利用模糊C均值聚類的方式構造加權主顏色直方圖實現圖像檢索方法，在Corel圖像庫上的實驗結果表明，該算法檢索性能優于基于傳統顏色直方圖的檢索方法；崔紅靜等[2]提出基于分塊顏色直方圖和邊緣方向直方圖的檢索算法，該算法對織物圖像的檢索準確率達80.83%；向忠等[3]針對織物印花花型存在同形不同色和同形異構的特點，提出了一種融合花型邊緣和顏色特征的圖像檢索算法，結果表明，該算法對圖片的平移、縮放、旋轉具有魯棒性，平均準確率可達93.17%。上述圖像檢索算法均是基于圖像的淺層視覺特征進行相似性度量從而進行圖像檢索，但根據淺層視覺特征無法完整地表征紡織品的圖像信息；同時，由于這種檢索方式缺少自主學習能力，且非常依賴特征提取模型的架構設計和優化[4]，因此，當圖像語義屬性和樣本數量增加時，檢索效果不佳。

近年來利用深度學習的方式能夠克服淺層特征的局限性，消除圖像特征與高級語義特征之間存在的“語義鴻溝”[5]，并廣泛應用于復雜模型的表征與圖像檢索。孫潔等[6]對淺層特征以及高級語義特征在織物圖像檢索中的應用進行了對比分析，指出深度卷積神經網絡可以克服淺層視覺特征在大樣本數據集檢索中存在的局限性，具有理想的魯棒性；徐慧等[7]提出了基于多尺度特征融合的服裝款式檢索與推薦系統，該系統在圖像語義分割的基礎上，利用深度卷積神經網絡(CNN)提取服裝款式語義信息，并結合空洞空間金字塔池化(ASPP)對圖像進行多尺度特征提取，很大程度上提高了服裝相似性語義推薦的效率。上述基于深度學習的方式在一定程度上提升了圖像檢索的效果，但缺失了對于圖像淺層視覺特征的描述。

值得注意的是，色紡織物因其特殊的織造工藝[8-9]，同時具備表征色紡織物顏色、形狀以及紋理等特性的淺層視覺特征和描述色紡織物宏觀風格等特性的高級語義特征。為全面表征色紡織物所具備的多層特征，本文提出一種融合淺層視覺特征和高級語義特征的圖像檢索算法；同時，為提高檢索系統的時效性，采用二進制哈希編碼對高級語義特征進行降維處理。在此基礎上，構建層次化特征分類器，充分利用2類特征的描述特性對織物圖像進行檢索，以期為色紡織物圖像數字化管理以及產品開發提供技術支持。

1 融合特征提取算法及檢索流程

1.1 淺層紋理特征提取算法

局部二值模式(LBP)[10]是描述圖像局部紋理特征的經典算法，其基本原理是比較中心像素與其鄰域像素的灰度值大小，鄰域像素值大于或等于中心像素值則編碼為1，小于則編碼為0，具體定義為：

(1)

(2)

式中：LP,R為編碼后的二進制值；gc為中心像素點的灰度值；gi為其鄰域像素點的灰度值；P為鄰域像素點個數；R為鄰域半徑；s(x)為符號函數。通過調整LBP的參數及編碼規則可以獲得不同的紋理特征。

與此同時，提取織物的方向梯度直方圖(HOG)特征。具體過程為：首先將圖像轉化為灰度圖，對整個圖像進行Gamma壓縮來降低圖像局部的陰影和光照變化；然后，將織物圖像分割為若干個像素的單元，并按照梯度方向平均劃分為9個區間進行直方圖統計，每相鄰的若干個單元構成1個塊。色紡織物典型淺層特征如圖1所示。

圖1 色紡織物淺層特征Fig.1 Low order characteristics of colored spun fabrics.(a) Original image of fabric; (b) LBP pseudo gray spectrum; (c) HOG feature map

1.2 高級語義特征提取算法

卷積神經網絡(CNN)具備理想的高級語義特征提取能力，被廣泛應用于圖像分類與目標檢測等復雜模式識別場景。本文采用經典的AlexNet網絡提取色紡織物圖像的高級語義特征。需要指出的是，該網絡含65萬個神經元，數千萬個參數，模型收斂過程很慢。針對此問題，采用遷移學習策略[11-12]，將預訓練的網絡作為一個特征提取器，指定AlexNet網絡的第2個全連接層fc7的輸出結果作為輸入圖片的特征向量，實現CNN網絡結構的優化。

在此基礎上，使用深度學習二進制哈希(DLBH)算法對提取的高級語義特征進行降維，從而提高檢索效率。高級語義特征提取過程如圖2所示。

網絡模型的損失函數為SoftMax損失函數，見下式：

(3)

注：fc6、fc7、fc8均為卷積神經網絡的全連接層。圖2 高級語義特征提取過程Fig.2 Advanced semantic feature extraction

1.3 基于融合特征的檢索流程

檢索流程分為2個階段：第1階段為初步檢索，使用深度哈希網絡得到查詢樣本和數據庫圖像的哈希編碼，并按照漢明距離查找最相似的圖像得到Top-20；第2階段將分別提取查詢樣本和Top-20的淺層特征和高級語義特征，進行特征融合后排序，得到最終的檢索結果Top-10。

同時，為了保證特征間的有效融合，需要對Top-20樣本特征進行歸一化處理，見下式：

(4)

在此基礎上，根據式(5)進行特征相似度融合：

(5)

式中：ωi為3種特征的權重；sij為Top-20圖像中第j張圖像與樣本第i種特征之間的相似度。

(6)

最后根據式(5)得到Top-20中第j張圖像與樣本的最終距離，排序得到Top-10，見下式：

(7)

式中，Dj表示Top-20中第j張圖像與樣本的最終距離。

2 實驗與結果

2.1 實驗樣本及系統參數

委托合作企業提供了684份色紡針織物樣本用于測試分析，織造過程中的工藝參數和樣本具體數量如表1所示。

表1 樣本參數Tab.1 Sample parameter

全部樣本在相對濕度為65%狀態下平衡后，通過DigiEye Digital Imaging System系統進行圖像采集，并在采集前通過白板和標準色卡對DigiEye系統相機進行白平衡和顏色校正。每份織物樣本獲取其不同區域的3張標準圖像；同時，對采集到的圖像進行水平鏡像翻轉，得到4 104張色紡織物圖像，其中3 800張圖像作為訓練集，304張圖像作為測試集。部分樣本圖像如圖3所示。

圖3 部分色紡織物樣本圖Fig.3 Sample drawing of colored spun fabrics.(a)Budding heather yarn；(b)Home spun heather yarn；(c)Mirage mini heather yarn;(d)Siro heather yarn

實驗測試系統為Windows10操作系統；算法開發環境為Python3.7與MATLAB2016a，并安裝Tensor Flow-gpu1.14.0、CUDA Toolkit10.0與cuDNN7.4。

2.2 實驗結果評估標準

本文選擇查全率與平均準確率(mAP)對檢索結果進行評估。查全率定義如下：

(8)

式中：P為查全率，%；b為檢索結果中正確查詢到的圖片數量；a為相似的圖片數量。查全率只能反映有多少正確的結果被檢索出，而平均準確率能補充對檢索位置信息的評估，計算公式為

(9)

式中：Q1為平均準確率，%；m為檢索樣本的數量；i表示第i張；Q2為每次查詢的檢索精度，其計算公式為

(10)

式中：ni表示第i張圖像的返回結果中正確查詢到的圖片總數;x為正確查詢到的圖片在相似圖片中的位置;y為正確查詢到的圖片在返回的檢索結果中的位置。

2.3 參數優化

能夠影響檢索系統性能的參數很多，包括哈希碼的長度、LBP算子以及HOG算子參數等。以訓練集為基礎，對檢索系統核心參數進行優化，結果如表2～4所示。

表2 哈希碼長度與Top-10檢索結果Tab.2 Hash codes length and Top-10 search results

表3 LBP算子參數與Top-10檢索結果Tab.3 LBP operator parameters and Top-10 search results

從表2可以看出，哈希碼的長度越大，其檢索效果越好。但考慮到系統的實時性要求，本文將fc7層的特征映射為128位二進制哈希碼，可以兼顧其查全率與執行效率。

表4 HOG算子參數與Top-10檢索結果Tab.4 HOG operator parameters and Top-10 search results

由表3可知，旋轉不變統一模式的LBP算子參數R和P，即算子的領域像素點數量與可變區域大小會對識別結果產生影響。當P=8,R=2時，算子的紋理表征能力可以達到最優。

從表4可以看出，當c=64,b=4時，檢索系統的查全率和平均準確率都為最高。

綜上分析，檢索系統的關鍵參數設定為哈希碼長度128位；LBP算子P=8,R=2；HOG算子c=64,b=4。

2.4 實驗結果與分析

對304張具有不同風格類型的色紡織物圖像進行檢索測試，結果如表5所示。可以看出，對于9種不同風格的色紡織物圖像，本文檢索方法的查全率均能達到95%及以上，平均準確率均在85%以上，說明本文融合淺層視覺特征和高級語義特征的算法能夠對具有復雜顏色和紋理特性的色紡織物圖像進行有效檢索。

表5 檢索實驗結果Tab.5 Search experimental results

迷你幻影紗Top-10檢索結果如圖4所示，編號越小說明與原圖越相似。可以看出，與檢索樣本相似的待檢圖片均已返回，且排名均靠前。

需要指出的是，在上述Top-10檢索結果中，第5號樣本圖像(水紋蠅帶紗)與檢測樣本不屬于同一類，屬于異常結果。經過對比分析，發現該樣本存在大量的褶皺區域，從而導致特征提取出現偏差，如圖5所示。

圖4 相似色紡織物檢索結果Fig.4 Retrieval results of similar colored spun fabrics.(a) Retrieval image; (b) Similarity Top-10 result image

圖5 色紡織物褶皺圖像Fig.5 Colored spun fabric wrinkle image

為進一步驗證織物褶皺對檢索結果的影響，對褶皺樣本進行檢索測試，結果如圖6所示。可以看出，在返回的Top-10結果中，只有Top-3、Top-6、Top-7與檢索樣本較為相似，其他返回結果差異較大。說明褶皺影響了圖像本身的平整度，進而導致圖像的特征發生改變，影響了最終的實驗結果。

2.5 對比實驗結果

為充分驗證融合高級語義特征檢索方法的有效性與實用性，建立對比實驗Ⅰ。其中:將未微調的AlexNet卷積神經網絡，記為方法1；將使用遷移學習并微調AlexNet卷積神經網絡模型參數，記為方法2；將直接提取圖像HOG特征進行檢索，記為方法3；將利用LBP與HOG融合特征進行檢索，記為方法4。對比實驗結果如表6所示。

圖6 異常色紡織物檢索結果Fig.6 Retrieval results of abnormal colored spun fabrics.(a) Retrieval image; (b) Similarity Top-10 result image

從表6可以看出，本文檢索方法查全率和平均準確率分別為97.37%，87.54%。相較于單一淺層特征，對多特征進行融合能提高系統的檢索性能，但由于缺乏對織物圖像風格屬性的語義表征，檢索結果還有待提高。與其他方法對比，本文將淺層特征與高級語義特征相融合能有效提高檢索系統的查全率和平均準確率。

表6 對比實驗Ⅰ結果Tab.6 Contrast experiment Ⅰ results

同時，為驗證本文系統的實時性，結合對比方法建立對比實驗Ⅱ。其中，對比方法為在圖像數據庫中直接提取圖像的淺層視覺特征及高級語義特征，并將2種特征融合后進行圖像檢索。結果發現,本文方法的檢索時間為0.8 ms，對比方法的檢索時間為605 ms，執行效率提升約750倍。可以看出，本文將高維特征量化為二進制哈希碼，能有效提高檢索系統的執行效率，具有顯著優勢。

3 結 論

為提高色紡織圖像檢索系統的有效性與實時性，本文建立了一種融合淺層紋理特征與高級語義特征的檢索系統。該系統利用深度卷積神經網絡對色紡織物圖像的花型風格等語義特征進行表征，同時融合圖像的局部二值模式與方向梯度直方圖等淺層紋理特征，從而構建層次化檢索系統。在此基礎上，通過二進制哈希編碼對高維特征向量進行降維，降低檢索特征的匹配時間。對具有9種不同紋理風格的色紡織物樣本圖像進行檢索發現，該檢索系統的Top-10查全率與平均準確率分別達到了97.37%和87.54%；同時，執行效率提升約750倍，能夠滿足實時性要求。但該檢索系統對織物圖片褶皺區域的抗干擾能力較弱，如何提升其抗干擾能力將是下一步研究的重點內容。