二級分區(qū)下顏色融合紋理的刑偵圖像檢索

蘭 蓉 母保洋

(西安郵電大學通信與信息工程學院 陜西 西安 710121) (電子信息現(xiàn)場勘驗應用技術(shù)公安部重點實驗室 陜西 西安 710121) (陜西省無線通信與信息處理技術(shù)國際合作研究中心 陜西 西安 710121)

0 引 言

隨著犯罪率的不斷上升，采用現(xiàn)場拍攝圖像來獲取、保存犯罪證據(jù)已經(jīng)成為公安機關(guān)的一種常用手段。因此，對刑偵圖像進行快速、準確、專業(yè)地處理顯得尤為重要。其中，對于刑偵圖像檢索算法的研究可以有效提高辦案效率，因此受到廣泛關(guān)注。

現(xiàn)存的刑偵圖像檢索算法主要是基于內(nèi)容的圖像檢索[1](Content-based image retrieval，CBIR)。在CBIR中，圖像以視覺內(nèi)容來建立索引，如顏色[2]、紋理[3]、形狀[4]、結(jié)構(gòu)特征[5]等，計算查詢圖像與目標圖像的相似度，按照特征匹配進行檢索[6]。但是由于刑偵圖像數(shù)據(jù)庫(Crime Scene Investigation,CSI)具有圖像包含多目標、場景復雜、目標不確定的特點[7]，使其不同于一般的自然圖像庫，所以目前國內(nèi)外關(guān)于刑偵圖像檢索算法的研究相對較少[8]。為了提高刑偵圖像檢索的準確性，文獻[9]提出一種將顏色距結(jié)合8方向6參數(shù)的灰度共生矩陣的檢索方法，但是8方向中存在4對共線方向，因此容易產(chǎn)生特征冗余。文獻[10]將形狀特征應用到刑偵圖像檢索中，但是其檢索準確率有待提升。文獻[11]將三層小波變換結(jié)合非等間隔量化的HSV直方圖實現(xiàn)檢索，但是提取的顏色特征缺乏空間信息。以上3種算法均缺乏對圖像局部區(qū)域特征的提取，因此影響了檢索的準確率。

針對上述算法對圖像局部區(qū)域特征描述的缺陷，基于算法的有效性與復雜度的考慮，本文采用二級分區(qū)將圖像劃分成局部子塊區(qū)域，同時以顏色自相關(guān)圖作為子塊的顏色特征，以雙樹復小波結(jié)合多方向多參數(shù)的灰度共生矩陣作為子塊的紋理特征，以串行的方式融合子塊區(qū)域特征，再利用 KPCA[12]進行特征選擇，剔除冗余數(shù)據(jù)，降低算法計算復雜度，并以歐式距離作為相似性度量，提出二級分區(qū)下顏色融合紋理的刑偵圖像檢索算法，并以實驗驗證其檢索性能。

1 顏色特征

由于刑偵圖像均由現(xiàn)場拍攝獲得，包含豐富的顏色信息，所以顏色信息是反映刑偵圖像的重要特征之一。本文選取包含像素點空間顏色信息的顏色自相關(guān)圖作為顏色特征。

由于常用于圖像顏色特征提取的顏色直方圖只統(tǒng)計了不同顏色在圖像中所占比例，缺乏對圖像像素點顏色空間信息的描述。為此，顏色相關(guān)圖(Color Correlogram)與顏色自相關(guān)圖(Color Auto-correlogram,CAC)[13]被提出。

顏色相關(guān)圖表示的是圖像I不同像素點顏色值之間的空間關(guān)系。設(shè)p1、p2是圖像的任意兩個像素點，p1∈Tci，p2∈Tcj等價于p1，p2∈I，則顏色相關(guān)圖的定義如下：

顏色自相關(guān)圖是顏色相關(guān)圖的簡化，定義為：

與顏色相關(guān)圖相比，顏色自相關(guān)圖只計算具有相同顏色像素點之間的空間關(guān)系，計算復雜度低、計算速度快、存儲空間小，所以本文選取包含空間信息的顏色自相關(guān)圖作為圖像顏色特征Tci。

2 紋理特征

除顏色信息之外，刑偵圖像中很多種類，如指紋、輪胎等圖像還包含著豐富的紋理信息。僅采用顏色特征描述，容易造成算法對圖像的區(qū)分度較低的不足，因此本文選擇雙樹復小波融合灰度共生矩陣提取圖像的紋理特征。

2.1 雙樹復小波變換

經(jīng)典的小波變換[14]在提取紋理特征時存在平移敏感、方向選擇不足等缺點。為解決此問題，Kingsbury等于1998年提出雙樹復小波變換(Dual-tree Complex Wavelet Transform,DT-CWT)[15]。DT-CWT是由兩個平行的小波樹A和B構(gòu)成的，變換公式為：

ψ(t)=ψr(t)+jψj(t)

(3)

式中：實部ψr(t)由上小波樹A生成，虛部ψj(t)由下小波樹B生成，且樹A的濾波器長度為偶數(shù)，樹B的濾波器長度為奇數(shù)，目的是保證濾波器之間的半采樣延遲。有關(guān)實驗結(jié)論表明該方法能夠顯著改善離散小波變換的平移敏感性，并能夠產(chǎn)生±75°、±45°、±15°六個不同方向的高頻子圖[16]。在上述方向提取圖像系數(shù)矩陣，能夠更為具體地描述圖像的紋理，同時保留邊緣等細節(jié)信息。一維雙樹復小波變換如圖1所示。

圖1 一維雙樹復小波變換

2.2 多參數(shù)灰度共生矩陣

灰度共生矩陣是像素之間距離和角度的矩陣函數(shù)，它通過計算圖像中具有一定距離和方向的兩個像素點灰度之間的相關(guān)性來反映圖像紋理在間隔、方向、變化幅度以及快慢上的綜合信息。

設(shè)大小為M×N的圖像的像素坐標(x,y)的灰度分布為f(x,y)，那么灰度共生矩陣可以表示為在角度θ方向上灰度值分別為f(x1,y1)=i和f(x2,y2)=j距離為d的頻率相關(guān)矩陣[17]：

P=[pij(d,θ)]

(4)

設(shè)圖像的灰度級用L表示，當θ取0°、45°、90°、135°時，灰度共生矩陣表示如下：

p(i,j,d,0°)=#{[(x1,y1),(x2,y2)]∈L×L|x2-x1=d,

y2-y1=0,f(x1,y1)=i,f(x2,y2)=j}

(5)

p(i,j,d,45°)=#{[(x1,y1),(x2,y2)]∈L×L|x2-x1=d,

y2-y1=d,f(x1,y1)=i,f(x2,y2)=j}

(6)

p(i,j,d,90°)=#{[(x1,y1),(x2,y2)]∈L×L|x2-x1=0,

y2-y1=d,f(x1,y1)=i,f(x2,y2)=j}

(7)

p(i,j,d,135°)=#{[(x1,y1),(x2,y2)]∈

L×L|x2-x1=-d,

y2-y1=d,f(x1,y1)=i,f(x2,y2)=j}

(8)

在計算灰度共生矩陣時，為了避免過多的灰度級帶來的龐大的計算量，首先將灰度級均勻量化為16級，然后再進行相關(guān)計算。在得到的灰度共生矩陣的基礎(chǔ)上，通過以下6個參數(shù)來描述紋理:

在式(13)、式(14)中:

式(9)-式(14)分別表示能量、熵、慣性矩、逆差距、相關(guān)指數(shù)、方差。通過這6個參數(shù)，圖像紋理的特性被有效地表達。統(tǒng)計0°、45°、90°、135°四個方向下的六個紋理參數(shù)，這樣就可以得到24個紋理特征值，較傳統(tǒng)的四參數(shù)灰度共生矩陣法，可以提取到更豐富的紋理特征。此紋理特征比文獻[9]的八方向的灰度共生矩陣紋理特征的計算復雜度更低，也減少了因4對共線方向所產(chǎn)生的特征冗余。

由于灰度共生矩陣是對尺度紋理特性的一種描述，所以可以彌補雙樹復小波缺少對不同尺度紋理空間分布描述的缺陷。因此雙樹復小波融合灰度共生矩陣能夠提取更為細致的紋理特征Tti。

3 二級分區(qū)下顏色融合紋理的檢索算法

由于刑偵圖像的特殊性，融合圖像全局的顏色特征與紋理特征僅涉及圖像全局信息，對于圖像區(qū)域的局部細節(jié)信息提取不足，缺乏對圖像目標與背景的區(qū)分。

如圖2所示，從人眼直觀感受的角度看，該圖的目標與背景顏色相近，使得圖像檢索結(jié)果易受背景影響。同時，由于匕首這類作案工具的形狀特點，使得該圖像中目標相對背景而言，所占像素的比例相對較小，即，圖像中大部分區(qū)域是背景，并不包含有效目標。此時，常用的全局特征提取方式容易使目標區(qū)域的特征淹沒在大量無效的背景區(qū)域的特征中，從而造成檢索結(jié)果的準確性降低。若對該圖像進行區(qū)域劃分，可將其分為包含目標的局部區(qū)域與不包含目標的背景局部區(qū)域兩類圖像塊。此時，針對劃分后的局部區(qū)域圖像塊，分別提取其顏色特征與紋理特征，這種特征將包含原圖像的局部空間結(jié)構(gòu)信息。

圖2 示例圖像及其分塊

為獲取更有效的刑偵圖像特征描述，本文算法先對圖像進行區(qū)域劃分，再提取局部區(qū)域的顏色特征與紋理特征，最后融合局部區(qū)域特征對圖像進行刻畫。

3.1 區(qū)域劃分與局部區(qū)域特征提取

為了將圖像劃分為目標區(qū)域與背景區(qū)域兩類，且盡可能降低算法的復雜度，本文采用簡單區(qū)域劃分方式。假設(shè)圖像的大小為M×N,劃分后子塊的大小為m×n，圖像與子塊的關(guān)系如下：

M=2mN=2n

(15)

Ω=4ξ

(16)

圖3 分區(qū)示例圖

在刑偵圖像中以這種方式劃分區(qū)域，若劃分出對圖像區(qū)分度貢獻不大、沒有實質(zhì)性目標的空白區(qū)域圖像塊，則把這些區(qū)域的特征值統(tǒng)一賦值為1或者0。

按上述方式劃分區(qū)域后，按照圖3中的圖像塊數(shù)字順序分別依次提取各區(qū)域的顏色特征與紋理特征，構(gòu)成局部區(qū)域特征[Tci,Tti]，以串行的方式把各個局部區(qū)域特征融合，融合后的圖像特征向量為T=[Tc1，Tt1,Tc2,Tt2,…,Tci,Tti,…,TcΩ,TtΩ]，其中Ω代表圖像塊的個數(shù)。

3.2 基于KPCA的特征選擇

由于上述融合局部區(qū)域特征獲得的圖像特征向量存在維度過高和空間特征冗余的缺陷，從而影響檢索準確率并降低算法運行效率。因此，有必要對融合后的特征向量進行特征選擇，在提高算法效率的同時改善檢索精度。由于刑偵圖像內(nèi)容豐富，特征之間一般存在非線性關(guān)系，因此本文選擇KPCA[18]進行特征選擇。

KPCA方法通過核函數(shù)把線性不可分的數(shù)據(jù)映射到高維空間中，使用主成分分析法進行降維。給定樣本數(shù)據(jù)Xt,t=1,2,…,N,N為輸入樣本的個數(shù)，定義Φ：RM→F,Xt→Φ(Xt)，RM為輸入空間，F(xiàn)為映射空間。定義mΦ,e為:

其中R1×N為樣本空間。

F的協(xié)方差矩陣為：

其中X=[X1,X2,…,XN]。

KPCA是求解特征值λKVK=∑VK,其中λK對應的特征向量為VK。若K表示式(17)所示的核矩陣，則由式(18)、式(19)可推導出式(20)、式(21)。

K={K(Xt,Xj)}tj={Φ(Xt),Φ(Xj)}tj

(17)

通過上述分析，基于KPCA的特征選擇步驟如下：

(1) 提取圖像庫中所有圖像的特征，得到特征矩陣Γ，圖像的特征向量為Fl=[f1,f2,…,fN]，ft∈R2 016。其中，向量維度=(顏色特征維度+紋理特征維度)×區(qū)域個數(shù)。

(3) 取αK的前p個分量用于式(22)做投影，即在KPCA空間降維后，選擇β=[β1,β2,…,βp]作為用于相似性計算的特征向量。

3.3 算法步驟

本文提出二級分區(qū)下顏色融合紋理的刑偵圖像檢索算法，具體算法步驟如下：

步驟1區(qū)域劃分。按照4.1節(jié)將圖像進行二級區(qū)域劃分，劃分后的區(qū)域個數(shù)為K。

步驟2特征提取。依次提取各局部區(qū)域的顏色自相關(guān)圖特征Tci和雙樹復小波融合6參數(shù)4方向的灰度共生矩陣的紋理特征Tti，并將Tci和Tti融合，以此獲得局部區(qū)域特征[Tci,Tti]。

步驟3區(qū)域融合。以串行的方式融合局部區(qū)域特征構(gòu)成圖像特征向量，并進行特征歸一化處理。歸一化圖像特征為：

步驟5相似性度量。計算目標圖像特征與刑偵圖像庫中的圖像特征之間的歐式距離，將計算結(jié)果作為相似度，并按從小到大排序，得出檢索結(jié)果。

4 實驗結(jié)果及分析

本文算法的仿真系統(tǒng)環(huán)境為Windows 10，CPU為Intel Core i5-3230M，雙核，運存為8GB，操作系統(tǒng)為64位，編程軟件為MATLAB R2016a。

算法仿真實驗圖庫來自實用現(xiàn)勘(Crime Scene Investigation，CSI)數(shù)據(jù)庫。圖庫1是文獻[10]所采用的300幅刑偵圖像庫，共6類，分別為輪胎、汽車、現(xiàn)場、鞋印、作案工具以及指紋，每類50幅，除現(xiàn)場外，其他5類圖像均目標單一。圖庫2[19]是具有代表性的CSI子庫，分為車輛、道路、建筑、門、指紋、鞋印、工具、血跡共8類，每類50幅，總共400幅，均為多目標圖像。

本文使用的評價指標為精確度(precision)和召回率(recall)，計算公式為：

式中：R1為檢索返回的相似圖像數(shù)目，R2為檢索返回的圖像數(shù)目，R3為圖庫中同類圖像的數(shù)目。

本文在圖庫1上對分區(qū)級別與相似性度量的選取進行測試實驗，每一次確定R2值，所有圖像均參與檢索。選取平均精確度和平均召回率作為算法評價指標。

基于算法時效性的考慮，實驗中顏色自相關(guān)圖中的距離個數(shù)、像素點間距k以及灰度共生矩陣中的d均取值1，特征選擇中p取值為275。

4.1 不同分區(qū)級別對比

由于不同分區(qū)級別會有不同的實驗結(jié)果，因此本文在圖庫1中通過分別對不同級別的分區(qū)處理進行測試實驗，由于考慮到分區(qū)越多，算法復雜度增加，時效性降低，因此只比較前三級分區(qū)的實驗結(jié)果，如表1所示。

如表1中的平均精確度與召回率所示，當返回圖像為24幅時，有88.61%的圖像與檢索圖像相似，檢索結(jié)果最優(yōu)。由于分區(qū)過少時，過大的圖像塊對局部區(qū)域信息表達較粗略，沒有實質(zhì)性區(qū)分圖像的目標與背景；而分區(qū)過多時，過小的圖像塊又難以表達圖像的局部區(qū)域信息。因此本文算法選取二級分區(qū)作為圖像的區(qū)域劃分方式。

表1 不同分區(qū)級別實驗結(jié)果 %

4.2 相似性度量的選取

在圖像檢索中，檢索結(jié)果易受相似性度量方式的影響。本文在圖庫1中通過大量的測試實驗對歐式距離、街區(qū)距離、d1距離[20]以及切比雪夫距離共4種常用的相似性度量公式進行檢索結(jié)果對比，其中d1距離的計算公式如下：

式中：T=[t1,t2,…,tM]為圖像庫的任意圖像的特征向量，Q=[q1,q2,…,qM]為查詢圖像的特征向量，M為特征向量的維度。R2取不同值時的實驗結(jié)果如圖4與圖5所示。

圖4 4種相似性度量方式平均precision曲線圖

圖5 4種相似性度量方式平均recall曲線圖

圖4與圖5表明，采用歐式距離作為相似性度量進行檢索，其精確度和召回率均高于其他三種度量方式。文獻[8]的實驗結(jié)果表明街區(qū)距離在刑偵圖像檢索中表現(xiàn)較好，原因在于提取的特征存在冗余與異常數(shù)據(jù)的情況，同時街區(qū)距離對數(shù)據(jù)計算的魯棒性較好。而本文算法由于在相似性度量前加入KPCA特征選擇，冗余與異常數(shù)據(jù)被去除，所以在歐式距離相似性度量下本文算法表現(xiàn)最佳。因此本文算法選擇歐式距離作為檢索的相似性度量能保持較好的檢索性能。

4.3 特征選擇前后比較

為驗證特征選擇對于檢索結(jié)果的影響，本文在2個圖庫上進行特征選擇前后的檢索平均精確度與召回率對比,結(jié)果如表2所示。

表2 特征選擇前后實驗結(jié)果對比 %

由表2可知，在精確度與召回率上，本文算法的檢索結(jié)果優(yōu)于特征選擇前的檢索結(jié)果。原因在于本文算法采用KPCA進行特征選擇，剔除冗余特征的同時降低圖像特征的維度，從而降低了計算復雜度，同時改善算法的檢索性能，檢索精確度與召回率均有所提升。

4.4 檢索結(jié)果與分析

為直觀地顯示本文算法的檢索優(yōu)勢，由于圖庫1中的示例圖像2的目標與背景顏色相近，因此選取其作為檢索目標圖像。將相關(guān)的文獻[9]、文獻[10]、文獻[11]、TCAC(Texture and Color Auto-correlogram)以及本文算法做檢索結(jié)果對比。其中的TCAC是本文所設(shè)計的顏色融合紋理的檢索對比算法，該算法采用多參數(shù)的灰度共生矩陣結(jié)合雙樹復小波提取圖像的紋理特征，再融合由顏色自相關(guān)圖提取的圖像的顏色特征，從而獲得圖像的融合特征，并以街區(qū)距離作為相似性度量方式實現(xiàn)檢索。檢索結(jié)果如圖6-圖10所示。返回圖像數(shù)為10幅。篇幅有限，圖庫2檢索示例不再展示。

圖6 文獻[9]

圖7 文獻[10]

圖8 文獻[11]

圖9 TCAC

圖10 本文算法

從檢索結(jié)果中的相似刀具圖像可以看出，本文算法由于采用二級分區(qū)處理，將待檢索圖像劃分為含有目標和不含有目標的兩類圖像塊，提取的圖像特征在一定程度上包含對圖像的背景與目標的區(qū)分，而且具有空間結(jié)構(gòu)信息，因此檢索出10幅相似圖像，優(yōu)于其他4種算法的檢索結(jié)果，具有良好的檢索效果。

為客觀評價本文算法的整體檢索性能，將文獻[9]、文獻[10]、文獻[11]、TCAC以及本文算法在2個圖庫上的平均精確度與平均召回率實驗結(jié)果進行比對，R2取不同值時的實驗結(jié)果曲線圖如圖11-圖14所示。

圖11 圖庫1不同算法平均precision曲線圖

圖12 圖庫1不同算法平均recall曲線圖

圖13 圖庫2不同算法平均precision曲線圖

圖14 圖庫2不同算法平均recall曲線圖

如圖11-圖14中平均精確度與召回率曲線圖所示，本文算法的曲線圖均高于其他4種算法的曲線圖，表現(xiàn)出良好的檢索效果。首先，在圖庫1上，當R2=10時，本文算法比文獻[9]、文獻[10]、文獻[11]、TCAC這4種算法在平均精確度上平均高出11.38%，說明本文提出的分區(qū)域特征提取融合能夠有效地提升刑偵圖像檢索精確度；其次，在圖庫2上，當R2=10時，本文算法比文獻[9]、文獻[10]、文獻[11]、TCAC這4種算法在平均精確度上平均高出5.37%，說明本文算法對于多目標刑偵圖像檢索也具有較好的魯棒性。由于文獻[9]、文獻[10]、文獻[11]以及TCAC是圖像的全局特征融合，存在對圖像局部特征信息提取不足的缺陷，檢索精確度較低。而本文算法在前期經(jīng)過分區(qū)域處理后，首先以圖像的各個局部區(qū)域進行特征提取，提取的圖像特征包含圖像的局部空間信息。其次，融合局部區(qū)域特征來充分刻畫圖像，獲得圖像的更加豐富的特征信息。因此對圖像之間的區(qū)分度更高，檢索結(jié)果較好。為進一步體現(xiàn)本文算法在刑偵圖像庫的各個類別上的檢索性能優(yōu)勢，統(tǒng)計R2=10時，圖庫1在各類圖像的平均精確度實驗結(jié)果，如表3所示。

表3 圖庫1各類圖像平均精確度 %

從表3可知，3種文獻算法以及TCAC的檢索精確度不高，而本文算法針對所有類的平均精確度為93.97%，尤其是輪胎、汽車、現(xiàn)場、指紋、作案工具這5類圖像的平均精確度均處于90%以上，高于其他4種檢索算法的檢索結(jié)果。

5 結(jié) 語

針對現(xiàn)存的刑偵圖像檢索算法對圖像局部區(qū)域特征信息提取不足的缺陷，本文提出一種二級分區(qū)下顏色融合紋理的刑偵圖像檢索算法。通過本文算法與特征選擇前的算法對比實驗結(jié)果可知，在局部區(qū)域特征融合后，KPCA特征選擇可以降低算法的計算復雜度，有效提高檢索性能以及算法的魯棒性；通過本文算法與4種算法的對比實驗結(jié)果可知，將圖像分區(qū)域特征提取并進行區(qū)域融合，與已有的刑偵圖像檢索算法相比，在加入圖像空間結(jié)構(gòu)信息的同時，充分利用了圖像的局部區(qū)域特征，可以有效地提高刑偵圖像檢索的準確性。

但是本文算法在紋理特征的提取過程上仍然具有一定的復雜度，未來將改進算法的紋理特征提取過程，以進一步提高檢索精確度。