一種兩層體系刑偵現勘圖像檢索方法

劉 偉，劉 穎，李大湘，朱婷鴿

(1. 公安部 電子信息現場勘驗應用技術重點實驗室，陜西 西安 710121; 2. 西安郵電大學 計算機學院，陜西 西安 710121；3. 西安郵電大學 通信與信息工程學院，陜西 西安 710121)

?

一種兩層體系刑偵現勘圖像檢索方法

劉 偉1,2，劉 穎1,3，李大湘1,3，朱婷鴿1,3

(1. 公安部 電子信息現場勘驗應用技術重點實驗室，陜西 西安 710121; 2. 西安郵電大學 計算機學院，陜西 西安 710121；3. 西安郵電大學 通信與信息工程學院，陜西 西安 710121)

給出一種兩層體系刑偵現勘圖像檢索的方法。使用線性核支持向量機分類器和圖像的多尺度分維數特征判別查詢圖像的語義類別，根據類別在僅包含該語義類圖像的數據集上使用按例檢索方法進行檢索。實驗結果表明，該方法在查全率和檢索時間等指標上優于按例檢索方法。

法庭科學；刑偵現勘圖像；圖像檢索；特征提取；分類器

刑事勘驗是公安干警為發現和收集證據而對案件有關的場所、物品、尸體等進行的勘查和檢驗。通過勘驗獲取的證據可以幫助公安干警確定案件性質，為偵查破案提供線索，為提起公訴和審判提供證據，具有其他偵查行為不可替代的作用[1]。刑事照相是刑事勘驗中獲取物證(如痕檢和文檢)的重要方式[2]，數字圖像照相技術已在刑偵領域內逐漸取代了傳統膠卷照相技術，得到了廣泛應用[3]。現場分析與串并案偵查是打擊動態化、系列化犯罪的有效措施[4]，現勘圖像查詢比對在為公安機關提供破案線索和串并案分析過程中發揮著重要作用。目前我國公安行業現勘查詢比對主要依靠人工進行。隨著案件的不斷積累，現勘圖像數據量不斷增大，迫切需要一套高效現勘圖像檢索系統[5]。

圖像檢索研究經歷了基于文本的圖像檢索與基于內容的圖像檢索(Content-Based Image Retrieval，CBIR)兩個階段[6]。基于內容的圖像檢索克服了基于文本的圖像檢索中人工標注低效性、主觀性和工作量大等弊端，得到了廣泛的研究與應用[6]。CBIR主要采用“按例檢索”框架(Query By Example，QBE)，即預先按照某種算法提取自然圖像的低層特征(如顏色、紋理和形狀)形成一個特征庫，然后計算查詢圖像的特征并與特征庫進行匹配以尋找相似圖像[6]。

刑偵現勘圖像涉及實際案件，數據來源特殊，目前國內外關于刑偵現勘圖像檢索的研究還比較少。采用QBE框架，提取圖像顏色直方圖、灰度共生矩陣、粗糙度、Gabor特征等顏色和紋理特征，進行圖像檢索的實驗，證實了圖像檢索技術在刑偵現勘圖像檢索中的可行性[7]；針對刑事勘驗中采集的鞋印圖像殘缺不全及含有噪聲的特點，采用尺度不變性特征可用于鞋印圖像識別和檢索[8]；基于Radon和Curvelet變換的兩種新的旋轉不變的紋理特征算法可用于車胎花紋圖像檢索[9]。將基于內容的圖像檢索技術應用在公共安全領域內，使用顏色直方圖、小波紋理特征和二者融合特征，用歐氏距離和街區距離作為相似性度量，進行了現勘圖像檢索研究，但是QBE檢索框架用于現勘圖像檢索時效率不高[10-11]；針對刑偵現勘圖像提出基于區域語義模板的圖像檢索方法，包括用戶提交查詢圖像及感興趣區域、構建區域語義模板、預分類和最終的圖像排序等步驟，在提髙刑偵現勘圖像的查準率方面是有效的[12]；基于多方向多參數的灰度共生矩陣和顏色矩的圖像特征提取算法，將紋理特征和顏色特征進行融合，對刑偵圖像數據庫的圖像查準率較高[13]。

然而，刑偵現勘圖像數據庫的規模會越來越大，QBE框架在每次檢索時都會匹配數據庫中的每幅圖像，效率比較低。公安干警在現場刑事勘驗結束后會把采集的每幅圖像歸為某個類別，針對某個類別的數據庫規模則相對比較小。如果在檢索時能夠先對查詢圖像進行分類，根據分類結果在針對某個語義類的小規模數據集上進行內容相似性檢索就會提高檢索效率。顯然，這種方法的關鍵在于分類的正確性。基于上述思想，本文擬提出一種兩層體系刑偵現勘圖像檢索方法，采用支持向量機對查詢圖像進行分類，根據分類結果在語義類數據集上進行內容相似性特征匹配和檢索。

1 算法設計

1.1 算法框架

兩層體系刑偵現勘圖像檢索框架如圖1所示。該框架采用特征算法計算刑偵現勘圖像數據庫對應的特征數據庫，預先訓練一個可實現多語義分類的支持向量機分類器模型。公安干警提交檢索圖像后，按照特征算法計算檢索圖像特征，根據此特征支持向量機自動判定其語義類別，然后在僅包含該語義圖像庫上按照QBE框架進行匹配檢索，返回最終結果。

圖1 兩層體系刑偵現勘圖像檢索框架

1.2 特征提取

刑偵現勘圖像相對自然圖像具有一定特殊性，主要體現在圖像種類的行業特殊性和圖像內容分類方式的特殊性。現勘圖像可能包含指紋、輪胎花紋、案發現場草圖等在其他圖像數據集里比較少見的內容。刑偵人員給現勘圖像歸類時會將其歸為“概貌類、方位類、細目類”等具有鮮明行業特點的類別。

(1)直方圖特征

使用MPEG-7邊沿直方圖[14]、線條方向直方圖[15]和局部二值模式(local binary pattern，LBP)[16]。

(2)多尺度特征

使用Gabor濾波器特征[17]和小波特征。小波特征計算了每個尺度下各個子帶的均值和標準差。

(3)非線性紋理特征

如果將圖像紋理視為非線性動力系統產生的信號，就可以使用非線性分析方法來提取圖像的紋理特征。復雜性度量和分維數是用于非線性信號分析的方法，在圖像檢索中也得到了應用。本文將金字塔分解和非線性分析方法結合起來提取圖像特征，采用二維C0復雜性計算圖像復雜度[18]，使用盒維數方法計算分維數[19]。

計算特征值時先用金字塔分解方法對圖像進行多尺度分析，依次對原始圖像進行金字塔分解，對得到的各個尺度圖像采用圖2(a)方法計算特征，即將圖像分為大小相等的4塊，進行1～4編號，然后取圖像中心和上述塊大小相等的圖2(a)中的編號5區域，取圖像中心的原因是在大多數圖像中目標出現在中心區域。分別計算整幅圖像以及上述得到的5個圖像塊的復雜度和分維數值，形成6維特征。所有的尺度處理完畢就得到最終的特征向量。現勘圖像非線性紋理特征計算如圖2所示。使用的紋理特征如表1所示。

(a) 原始圖像及分塊處理 (b)金字塔分解尺度圖像1 (c) 金字塔分解尺度圖像2

特征名稱維數備注MPEG?7邊沿直方圖80文獻[14]線條方向直方圖18文獻[15]局部二值模式256文獻[16]Gabor48文獻[17]，4個尺度、6個方位Haar小波24分解尺度為3Db2小波24分解尺度為3多尺度復雜性18分解尺度為3多尺度分維數18分解尺度為3

1.3 多語義分類器設計

利用支持向量機(Support Vector Machine，SVM)對輸入現勘圖像進行語義分類，采用“一對一法(One-Against-One，OAO)”，即通過組合多個二分類器實現多分類器構造。

2 實驗結果與分析

2.1 實驗環境與數據

實驗中計算機配置為CPU為Intel? Core? i3雙核(64位處理器)，3.4 GHz；內存為8 G；操作系統為Windows? 8.1中文版(64位系統)；實驗程序用Matlab? R2010b編寫。對所有特征進行歸一化，采用的相似性度量函數為余弦距離法。

實驗數據為刑偵現勘圖像數據庫中4 501幅圖像，計10個語義類。數據庫中部分圖像示例如圖3所示。

圖3 現勘圖像數據庫部分示例

2.2 結果評價指標

采用AVG-p[20]指標(該指標越大表明檢索結果越好)、AVG-r指標(該指標越小表明檢索結果越好)[20]以及ANMRR指標[21](該指標越小表明檢索結果越好)進行評價。這些評價指標不但考慮了檢出圖像的語義相關性，還考慮了相關圖像在檢出結果中的排序值，可視為查準率和查全率的改進。QBE框架下從每個語義類中隨機選取15幅圖像，依次作為查詢圖像進行檢索，共進行10輪，取所有語義類檢索結果指標的平均值作為最終評價指標。

(1)QBE框架下不同特征檢索性能比較

比較表1中8種紋理特征在刑偵現勘圖像檢索中的性能，表2給出了這幾種特征的檢索性能對比結果(加粗及下劃線的指標表示最優)。

表2 實驗中使用的紋理特征檢索性能比較

由表2可以看出，“多尺度分維數”特征在AVG-p和AVG-r兩個指標上取得最佳檢索效果，在ANMRR指標上取得次佳檢索效果；“MPEG-7邊沿直方圖”特征在ANMRR指標上取得最佳檢索效果，在刑偵現勘圖像數據庫上的檢索結果超過了Gabor和小波特征算法。其中,特別是“多尺度分維數”特征的維數在表2中是最低的，只有18維。由于“MPEG-7邊沿直方圖”特征提取了圖像中目標的邊沿信息，“多尺度分維數”特征提取了圖像的局部灰度波動信息，因此在刑偵現勘圖像檢索中這兩個因素在特征算法設計上非常重要。

(2)QBE方法和本文方法檢索性能比較

選用“多尺度分維數”特征用于圖像分類。計算各個語義類的分類正確率。計算時隨機選擇每個語義類樣本數的40%作為訓練樣本，按照OAO構造SVM多語義分類器，將剩余60%樣本作為測試樣本，測試分類正確率，進行20輪，取平均值作為最終結果。語義類數目為K=10，按照OAO方法需要構造K× (K- 1) / 2=45個基本SVM分類器。對一個未知樣本進行分類時，用每個基本SVM分類器進行分類，最后得票最多的類別即為該未知樣本的類別。實驗中使用了LibSVM工具包，核函數取線性核，其余參數取默認值。表3給出了刑偵現勘圖像各個語義類的分類正確率。

查詢時先用SVM對公安干警輸入的查詢圖像進行分類，根據分類結果在僅包含該類別的小規模數據集上用QBE方法進行匹配并輸出。使用“多尺度分維數”特征將本文方法和QBE方法進行對比，檢索過程和QBE方法。對比結果如表4所示(加粗及下劃線的指標表示最優)。

表3 現勘圖像多語義分類結果

由表3可以看出，數據庫中鞋印、輪胎花紋和窗戶分類效果較好，實物證據、車輛、道路和案發現場草圖較差。這是由圖像內容決定的，分類效果好的圖像具有視覺內容的相似性(如鞋印)，分類差的則反之。

表4 QBE方法與本文方法性能對比結果

由表4可以看出，本文方法在AVG-r和ANMRR兩個指標上都優于QBE方法，但在AVG-p指標上則不如QBE方法。本文方法第一步分類的正確性尤為關鍵，如果分類錯誤就會導致后續的匹配全部錯誤，降低檢索正確性，即AVG-p指標。事實上，QBE方法中的特征匹配也可視為類似近鄰分類思想的分類器，但它的匹配在整個數據庫上進行，所以其AVG-p指標可能會高于本文方法。但是，由于本文方法不需要匹配整個數據庫，其檢索時間約為QBE方法的一半，提高了檢索效率。

3 結語

兩層體系刑偵現勘圖像檢索方法采用支持向量機對查詢圖像進行分類，根據分類結果在語義類數據集上進行內容相似性特征匹配和檢索。實驗結果表明，本文方法在多個檢索指標上優于QBE方法，特別是檢索時間約為QBE方法的一半。

[1] 邊宏波，蔣麗華. 現場勘驗實踐中存在的問題及解決對策[J/OL]. 北京人民警察學院學報，2008(3)：68-70[2016-07-10].http://dx.chinadoi.cn/10.3969/j.issn.1672-4127.2008.03.018.

[2] 公安機關辦理刑事案件程序規定[EB/OL]. [2016-07-22]. http://www.gov.cn/gongbao/content/2013/content_2332778.htm.

[3] 任玉苓. 試析數字圖像處理在刑偵技術工作中的應用[J/OL]. 云南警官學院學報，2004(3)：63-65[2016-07-10]. http://dx.chinadoi.cn/10.3969/j.issn.1672-6057.2004.03.023.

[4] 劉波，王永峰. 現場分析與串并案偵查的作用[J/OL]. 河南公安高等專科學校學報，2008(6)：144-144[2016-07-10].http://www.cnki.com.cn/Article/CJFDTotal-HLKD200806048.htm.

[5] 常明，楊廈，陳迪. 適合全國公安機關現場勘驗信息系統的圖像處理軟件的使用與比較[J]. 刑警與科技，2010(1)：33-35.

[6] ZHANG L，RUI Y. Image Search-From Thousands to Billions in 20 Years[J/OL]. ACM Transactions on Multimedia Computing，Communications and Applications，2013，9(1s)：1-20[2016-07-10].http://dx.doi.org/10.1145/2422956.2422959.

[7] WEN C Y，YU C C. Image Retrieval of Digital Crime Scene images[J/OL]. Forensic Science Journal，2005(4)：64-75[2016-07-10]. https://core.ac.uk/display/20778585.

[8] WEI C H，LI Y，GWO C Y. The Use of Scale-Invariance Feature Transform Approach to Recognize and Retrieve Incomplete Shoeprints[J/OL]. Journal of Forensic Sciences，2013，58(3)：625-630[2016-07-10]. http://med.wanfangdata.com.cn/Paper/Detail/PeriodicalPaper_PM23551279. DOI:10.1111/1556-4029.12089.

[9] LIU Y，YAN H Y，PANGLIM K. Study on rotation-invariant texture feature extraction for tire pattern retrieval[J/OL]. Multidimensional Systems and Signal Processing，2015：1-14[2016-07-10]. http://dx.doi.org/10.1007/s11045-015-0373-0.

[10] 劉穎，范九倫，李宗. 現勘圖像數據庫檢索技術實例探討[J/OL]. 西安郵電大學學報，2015，20(3)：11-20[2016-07-10].http://dx.chinadoi.cn/10.13682/j.issn.2095-6533.2015.03.002.

[11] 劉穎，黃源，高梓銘. 刑偵圖像檢索中的特征提取及相似性度量[J/OL]. 西安郵電大學學報，2014，19(6)：11-16[2016-07-10].http://dx.chinadoi.cn/10.13682/j.issn.2095-6533.2014.06.003.

[12] 黃源. 基于區域語義模板的刑偵圖像檢索算法研究[D]. 西安：西安郵電大學，2015:1-63.

[13] 蘭蓉，賈世英. 基于紋理與顏色特征融合的刑偵圖像檢索算法[J/OL]. 西安郵電大學學報，2016，21(2)：57-62[2016-07-10].http://dx.chinadoi.cn/10.13682/j.issn.2095-6533.2016.02.011.

[14] MANJUNATH B S，OHM J R，VASUDEVAN V V. Color and texture descriptors[J/OL]. IEEE Transactions on Circuits and Systems for Video Technology，2001，11(6)：703-715[2016-07-10].http://dx.doi.org/10.1109/76.927424.

[15] 王偉凝，余英林，張劍超. 基于線條方向直方圖的圖像情感語義分類[J/OL]. 計算機工程，2005，31(11)：7-9[2016-07-10].http://dx.chinadoi.cn/10.3969/j.issn.1000-3428.2005.11.003.

[16] OJALA T，PIETIKINEN M，MENPT. Multiresolution Gray-scale and Rotation Invariant Texture Classification with Local Binary Patterns[J/OL]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24(7)：971-987[2016-07-10]. http://dx.doi.org/10.1109/TPAMI.2002.1017623.

[17] MANJUNATH B S，MA W Y. Texture features for browsing and retrieval of image data[J/OL].IEEE Transactions on Pattern Analysis and Machine Intelligence，1996，18(8)：837-842[2016-07-10]. http://doi.ieeecomputersociety.org/10.1109/34.531803.

[18] 沈恩華. 腦電的復雜度分析[D/OL]. 上海：復旦大學，2004:1-155. http://dx.chinadoi.cn/10.7666/d.y769365.

[19] CHAUDHURI B B，SARKAR N. Texture segmentation using fractal dimension[J/OL]. IEEE Transactions on Pattern Analysis and Machine Intelligence，1995，17(1)：72-77[2016-07-10].http://doi.ieeecomputersociety.org/10.1109/34.368149.

[20] 張磊. 基于內容的圖像檢索中人機協同問題的研究[D]. 北京：清華大學，2001：38.

[21] LEE H Y，LEE H K，HA Y H. Spatial Color Descriptor for Image Retrieval and Video Segmentation[J/OL]. IEEE Transactions on Multimedia，2003，5(3)：358-367[2016-07-10].http://dx.doi.org/10.1109/TMM.2003.814792.

[責任編輯：祝劍]

A two-phase hierarchical approach for crime scene investigation image retrieval

LIU Wei1,2， LIU Ying1,3， LI Daxiang1,3， ZHU Tingge1,3

(1. Key Laboratory of Electronics and Information Applied Technology of Crime Scene Investigation,Ministry of Public Security, Xi’an 710121, China;2. School of Computer Science and Technology, Xi’an University of Posts and Telecommunications, Xi’an 710121, China;3. School of Communication and Information Engineering, Xi’an University of Posts and Telecommunications, Xi’an 710121, China)

A two-phase hierarchical approach for crime scene investigation image retrieval is proposed. In the first phase, support vector machine with linear kernel function and multi-scale fractal dimension feature are used to classify the class label of the query image. In the second phase, according to the classified label, a smaller dataset only including images with the same label as the query image is picked out from the image database. Then query by example method is used to retrieve images from the dataset. Experimental results show that retrieval accuracy based on the proposed approach is better than that based on conventional query by example method. Particularly, the proposed approach is computationally more efficient than conventional method.

forensic sciences, crime scene investigation image, image retrieval, feature extraction, classifier

10.13682/j.issn.2095-6533.2016.06.007

2016-07-22

國家自然科學基金資助項目(41504115)；陜西省教育廳專項科研計劃資助項目(14JK1664)

劉偉(1975-)，男，博士，副教授，從事數字圖像處理研究。E-mail:bme_liuwei@163.com 劉穎(1972-)，女，博士，高級工程師，從事圖像和視頻處理研究。E-mail：ly_yolanda@sina.com

TP391.4；TP751.1

A

2095-6533(2016)06-0035-05