網格運動統計的刑偵現勘圖像匹配算法

劉穎 謝曉飛 來毅 李蕓 柴豪駿

摘? 要： 刑偵現勘圖像存在質量差、模糊、目標復雜且分辨力低等缺點，這些缺點導致圖像匹配時出現效果差、耗時長等問題，針對該問題提出一種基于網格運動統計（GMS）的特征匹配算法。該算法首先使用網格對圖像均勻分割，然后在網格鄰域中統計額外支持特征的數量，其次分別計算正確與錯誤匹配的概率以構造評分函數，最后通過評分函數和評分閾值來區分正確與錯誤匹配。實驗結果表明，該算法對刑偵現勘圖像能夠實現快速準確的匹配，且該算法對模糊人臉和高紋理的刑偵現勘圖像都有較好的匹配效果。

關鍵詞： 刑偵現勘; 網格運動統計; 特征匹配; 平滑運動; 圖像分割; 比較驗證

中圖分類號： TN911.73?34? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼： A? ? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）06?0178?05

An image matching method for criminal investigation and scene survey

based on grid motion statistics

LIU Ying1，2， XIE Xiaofei2， LAI Yi1，2， LI Yun3， CHAI Haojun2

（1. Key Laboratory of Electronic Information Scene Investigation and Application Technology， Ministry of Public Security， Xian 710121， China;

2. School of Communications and Information Engineering， Xian University of Posts and Telecommunications， Xian 710121， China;

3. CAS Xian Institute of Optics and Precision Mechanics， Xian 710121， China）

Abstract： There are some disadvantages in the image of criminal investigation and scene survey， such as poor quality， fuzzy， complex target and low resolution， resulting in poor effect and long time?consumption in image matching. A feature matching algorithm based on grid motion statistics （GMS） is proposed for above problems. By means of this algorithm， the image is segmented uniformly by grid， and the number of additional supporting features is counted in the grid neighborhood; then the probability of correct and wrong matching is calculated to construct the scoring function， and the correct and wrong matching is distinguished by means of the scoring function and scoring threshold. The experimental results show that the algorithm can achieve fast and accurate matching images of the criminal investigation and scene survey， and the algorithm has a certain matching effect on both fuzzy face and high?texture criminal investigation and scene survey images.

Keywords： criminal investigation and scene survey; grid motion statistics; feature matching; smooth motion; image segmentation; comparison verification

0? 引? 言

在刑事偵查中，公安人員需要將獲取的圖像與刑偵現勘數據庫中的圖像進行對比分析。但由于某些客觀的特殊因素的影響，人眼無法分析判斷，得出正確的結論。因此，將圖像特征匹配技術用于刑偵圖像，輔助公安人員分析判斷，從而得到正確的信息，提高案件偵查的效率，這具有很重要的現實意義。

近些年以來，許多技術[1?6]使用匹配分布約束區分正確和錯誤匹配，但這些算法會產生復雜的很難理解的平滑約束，而且最小化的代價很大。文獻[2，5]通過一致性約束來獲得更快速準確的特征匹配，但基于一致性的特征匹配計算代價大，實現起來很復雜。一些關于特征匹配的經典算法提高了特征描述符的區分能力、不變性和定位能力，比如SIFT（Scale?Invariant Feature Rransform）[7]，ORB （Oriented Fast and Rotated BRIEF）[8]，SURF （Speeded up Robust Features）[9]，ASIFT（Affine Scale ?Invariant Feature Transform）[10]，Harris Corners （Harris Corner Detection）[11]等，但僅依賴描述符很難區分正確和錯誤匹配，因為它們在限制錯誤匹配的同時會消除大量正確匹配[12]。因此提出一種基于網格的運動統計方法（Grid?based Motion Statistics，GMS），通過統計運動平滑性產生的區域對中額外支持特征的數量，計算匹配概率，進而構造概率評分函數和評分閾值區分正確與錯誤匹配。

在實際刑偵現勘中對刑偵圖像的處理存在很多問題，比如刑偵圖像中對象形狀不規則，圖像模糊，分辨率低，包含的信息復雜，無法判斷圖中的對象是否為同一對象，公安人員無法通過人眼判斷分析得出正確可靠的結論。并且這樣的刑偵圖像在匹配時不能提供足夠數量的特征，而GMS算法恰好需要足夠數量的特征，所以本文在特征提取部分采用ORB算法提取大量的特征，保障了GMS算法可以產生足夠數量的正確匹配。

1? 網格運動統計

平滑運動產生的特征是相互支持的，且特征匹配不會隨機發生，因此可以通過統計特征鄰域中支持特征的數量來區分正確與錯誤匹配。給定一圖像對[Ia]，[Ib]，其各自對應的特征數量為[N]，[M]。圓形區域對[a，b]分別為圖像對[Ia]，[Ib]上的特征點的（小）鄰域，其分別具有[n]，[m]個不包含原始像素的額外特征。圖像對上所有鄰域特征匹配的集合用[X={x1，x2，…，xi，…，xN}]表示。平滑運動使得特征點和其鄰域內的相鄰像素一起運動，因此在正確匹配的特征周圍產生匹配同一位置的鄰域，錯誤匹配的特征點位于圖像上不同的位置。

1.1? 概率事件

假設：[fa]表示圓形區域[a]中額外的[n]個支持特征中任意一個特征;[xi]表示第[i]個匹配;[si]為第[i]個匹配的鄰域得分;[Pt]，[pf]分別表示圖像對上正確與錯誤匹配概率;[Tab]和[Fab]分別表示正確匹配的相同區域和錯誤匹配產生的不同區域;[fta]，[ffa]分別表示[fa]發生正確匹配和錯誤匹配;[fba]表示[fa]在區域中[b]有匹配。

1.2? 網格統計約束

令[fa]正確匹配的概率為[t]，如果[fa]匹配錯誤，則[fba]發生的概率為：

式中，[α]是添加的一個調節因子。當特征點[fa]在區域[b]中的任一位置產生匹配，則認為該匹配是正確的。事件[fba]的發生存在兩種情況：[fa]在區域對的相同位置產生正確匹配;[fa]在區域[b]中其他位置產生錯誤匹配。因此，[fa]正確匹配的概率為：

式中：[fta]，[ffa]與[Tab]是獨立的;[p（fba|ffa）]也獨立于[Tab]。同樣地，錯誤匹配的概率為：

用[si]表示鄰域支持的度量，即鄰域中額外特征點的數量。平滑運動也允許正確匹配支持圖像上同一位置的多個小區域對，因此[si]為

式中：[K]是平滑運動產生的同一位置的多個小區域對的數量;[ak，bk]為區域對。由于每個特征的匹配是獨立的，因此[si]服從二項分布。

[si]分布的各自的平均值和標準偏差為：

2? 圖像網格化

本節主要考慮具體實現區分正確與錯誤匹配的概率評分標準，通過該評分標準得出的結論進一步分析實現網格化，再通過設定閾值來實現正確與錯誤匹配的集合。

2.1? 評分函數

根據式（6）中的正確和錯誤匹配的平均值和標準偏差構造概率評分函數，通過該函數評估正確與錯誤匹配的區分能力。

式中，[λ=pt-pfpt（1-pt）+Knpf（1-pf）]。當[p]越大時，評分越高，說明區分能力越強。

2.2? 匹配數量與質量的轉換

一些通過增加特征的獨特性或不變性以獲得良好匹配的算法提取的特征數量并不多，無法保證能夠獲得足夠數量的正確匹配。因此，匹配質量提高的前提是要有足夠數量的正確匹配。

通過式（7）可以很明顯地得到一個結論：[p]和[Kn]成正比。這表明正確和錯誤匹配的區分能力將隨著特征數量[n]逐漸增強，且匹配的數量和質量之間存在等價的轉換。也就是說，即使在刑偵圖像正確匹配很少的情況下，如果在正確匹配的位置比在隨機的位置有更多的支持特征，也可以得到好的匹配，只要特征的數量足夠大。

2.3? 網格框架

理論上當[n]足夠大時，GMS有較好的匹配性能，但問題是刑偵圖像區域中特征數量總是有限的，簡單地增加[n]是不切實際的。但是通過式（7）可知另一種匹配質量和數量等價轉換的方法是添加更多圖像上共同運動的區域來增加[K]，即增大[K]值，因為平滑運動支持圖像特征點周圍更多的區域。

獲得更多圖像區域的方法是將刑偵圖像網格化，在實驗中，將圖像劃分為[G=16×16]個非重疊的單元格，設定每個圖像上的總特征數量為8 100，則[n=25]。實際上有許多的特征位于網格邊緣，為了消除這種情況的影響，分別在[x]，[y]方向上移動半個網格單元的距離。同時，使用平滑的橫向運動假設對匹配區域分組以提高魯棒性。每一對區域的得分[sij]為：

式中，[xikjk]是劃分的網格單元對[{ik，jk}]中所有的匹配數量。理論上，更多的網格單元可以提高匹配位置的精度，但它減少了每個網格單元中的特征數量[n]。這可以通過增加[K]來補償，即增加更多的共同運動的圖像區域。

3? 評分閾值

正確匹配的數量越多說明匹配的質量越好，因此，需要設定一個標準來保證獲得足夠數量的正確匹配。本文采取的具體措施是通過將[sij]閾值化使單元對分成正確與錯誤匹配的集合[T，F]。

為了剔除大多數錯誤的網格單元以獲得更多正確的網格區域，將期望的閾值設置為：

式中：[mf]是錯誤匹配的平均值;[sf]是適當數量的標準偏差。在實驗中，令[mf=1]，而[μ]非常大。前面介紹了通過增加特征點的數量來提高匹配質量，因此，仍然從特征數量上設置閾值[τ]，其可以近似為：

式（10）產生了單個參數的閾值，利用該函數可以將區域對劃分為正確匹配與錯誤匹配的集合。

式中：[xi]和[xj]分別表示刑偵圖像上所有匹配集合中正確與錯誤匹配，通過調整[ε]以確保剔除大量錯誤的單元對;[ni]是單元格中存在的總的特征數量;[ε]跟式（9）、式（10）中的[μ]一樣，都很大，在實驗中選擇[ε=8]。

4? 實驗和分析

本節將具體地介紹提出的算法在不同類型的刑偵現勘圖像上的應用實驗和數據對比分析。

4.1? 實? 驗

GMS是一種拒絕錯誤匹配的有效的解決方案，在實驗室（電子信息現場勘驗應用技術公安部重點實驗室）建立的數據集上進行實驗。在指紋、輪胎、車痕、人臉4個數據集上分別隨機選擇了4對刑偵現勘圖像進行匹配實驗的觀察分析。在評估本文提出的算法性能時，選擇經典匹配算法SIFT，SURF作為比較對象，通過比較正確匹配的數量和程序運行所消耗的時間來比較匹配質量和效率。

首先選擇兩張指紋圖像，在不同的分辨率下統計本文算法產生的正確匹配數量，如圖1所示。GMS，SIFT和SURF算法在指紋圖像分辨率為[350×400]（像素）的條件下的實驗結果如圖2所示，其正確匹配數量和所耗時間如表1所示。

通過實驗發現，在圖像的分辨率為[350×400]（像素）的時候4類刑偵圖像正確匹配數量最多，因此在用不同的算法比較時，所有的圖像尺寸都調整為[350×400]（像素）。本文從正確匹配數量和時間上對GMS算法與SIFT，SURF算法做了比較，實驗數據如表2所示。

SURF算法是SIFT算法的改進，兩者在原理上有相同之處，而本文提出的GMS在原理上是不同于它們的算法。因此，為了使比較合理，調整SIFT，SURF算法的閾值（ratio?test），使其處于最佳性能，即有最高的正確匹配數量和最短的耗時。實驗中將SIFT和SURF算法的閾值確定為0.62，通過比較，GMS方法產生的正確匹配的數量更多，其在這4類現勘圖像上的平均耗時為0.137 ms，而SIFT，SURF方法耗時遠超出了GMS的時間，這在實際應用中存在很大的弊端。因此本文提出的GMS算法在正確匹配數量和時間上都有優秀的表現，能夠獲得更加快速、準確的匹配。

4.2? 分? 析

本文提出的算法相對較好是因為該算法考慮到了平滑運動，平滑運動使得特征點和其小鄰域內的像素一起運動，保證了刑偵圖像對上相同位置有大量的正確匹配，平滑運動產生的匹配不會隨機發生。從式（7）可知，匹配的數量有助于匹配質量，從而實現了匹配數量和匹配質量的轉換。通過實驗發現，GMS算法對高紋理圖像的匹配效果較好，對低紋理刑偵圖像正確匹配的數量有所下降，但仍然好于SIFT和SURF算法，如圖2～圖4，及表2所示。這是因為，像指紋、輪胎壓痕等高紋理的圖像本身就有很規律的紋理分布，且包含大量的特征信息，因此能提供許多支持特征，并且在特征提取時本文選取的是ORB算法，能夠提取大量的特征，從而保證建立準確的匹配關系。

相比SIFT和SURF算法，GMS算法有很好的匹配效果，如圖5、表2所示，這也得益于算法本身的優勢。因此，本文算法對于模糊人臉的準確匹配在刑偵領域具有較高的應用價值和現實意義。

5? 結? 語

本文提出基于網格的運動統計算法，該算法首先將被匹配的刑偵圖像網格化獲得區域對，然后選擇多個網格區域，統計其中的特征點數量，再通過構造的評分函數和評分閾值，將所有的匹配劃分為正確與錯誤匹配的集合，從而獲得刑偵圖像的匹配。該算法能夠將刑偵圖像中模糊和清晰人臉目標實現準確匹配，這在刑偵領域中有實際的應用價值和意義。未來的主要工作是設計更加實用、高效、快速的視頻圖像特征提取和匹配算法，尤其是針對監控視頻序列更要考慮到實時性，使其在實際的刑偵領域中有更大的實用價值。

參考文獻

[1] PIZARRO D， BARTOLI A. Feature?based deformable surface detection with self?occlusion reasoning [J]. International journal of computer vision， 2012， 97（1）： 54?70.

[2] LIN Wenyan， CHENG Mingming， LU Jingbo， et al. Bilateral functions for global motion modeling [C]// European Conference on Computer Vision. Zurich： Springer， 2014： 341?356.

[3] LIN W Y， LIU S Y， JIANG N J， et al. RepMatch： robust feature matching and pose for reconstructing modern cities [C]// European Conference on Computer Vision. Amsterdam： Springer， 2016： 562?579.

[4] LIPMAN Y， YAGEV S， PORANNE R， et al. Feature matching with bounded distortion [J]. ACM transactions on graphics， 2014， 33（3）： 1?14.

[5] WANG C， WANG L， LIU L Q. Density maximization for improving graph matching with its applications [J]. IEEE transactions on image processing， 2015， 24（7）： 2110?2123.

[6] MAIER J， HUMENBERGER M， MURSCHITZ M， et al. Guided matching based on statistical optical flow for fast and robust correspondence analysis [C]// Processing of European Conference on Computer Vision. Amsterdam： Springer， 2016： 101?117.

[7] LOWE D G. Distinctive image features from scale?invariant keypoints [J]. International journal of computer vision， 2004， 60（2）： 91?110.

[8] RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： An efficient alternative to SIFT or SURF [C]// 2011 International Conference on Computer Vision. Barcelona： IEEE， 2012： 2564?2571.

[9] BAY H， TUYTELAARS T， GOOL L V. SURF： speeded up robust features [C]// European Conference on Computer Vision. Graz： Springer， 2006： 404?417.

[10] MOREL J M， YU G. ASIFT： a new framework for fully affine invariant image comparison [J]. Siam journal on imaging sciences， 2009， 2（2）： 438?469.

[11] DERPANIS K. The harris corner detector [D]. Toronto： York University， 2004.

[12] LIN Wenyan， CHENG Mingming， LU Jingbo， et al. Bilateral functions for global motion modeling [C]// European Conference on Computer Vision. Zurich： Springer， 2014： 341?356.