混合式現場變形指紋的校正方法研究

高 暢，沙良瀟，趙雪珺，包 清，3

（1.上海市公安局刑事偵查總隊，上海 200083； 2.上海市刑事科學技術研究院 上海市現場物證重點實驗室，上海 200083； 3.上海理工大學，上海 200093）

在各類刑事案件的現場勘查過程中，指紋一直是痕跡物證的重要組成部分，能夠起到明確案件性質、鎖定嫌疑人等諸多關鍵作用。 在指紋檢索比對過程中，變形指紋會產生不利影響，使得正確的比中結果在候選列表中排名靠后，甚至會不出現在自動指紋識別系統（automatic fingerprint identification system，AFIS）反饋的候選列表中。

對于變形指紋的校正，國內外相關研究學者已有了很多研究。 國內的研究主要包括陶桂蘭等[1]報道的在特定約束條件下，利用Photoshop 軟件的自由變換功能對圖像進行校正并比中嫌疑人的案例。但該方法依賴人工操作，不具備模式特征且不易推廣，案例數量過少，說服力不足。 曹軼超等[2]提出了使用Matlab 軟件通過預制變形模板和人工選取網格參考點相結合的方法多項式擬合校正，該方法的校正效果受制于人工對特征點的選取，高階數對取點和計算量的要求較高，低階數的擬合效果可能不盡理想。 仲偉波等[3]提出了利用指紋拓撲模式自動匹配和識別指紋，該方法對變形指紋魯棒性強，匹配率達到近60%，但該匹配率仍然較低，且與現有的指紋識別系統不兼容。 栗赫遙等[4]提出了一種自適應的漸變曲率校正方法，該方法對于曲率半徑發生變化的曲面有很好的效果，但該方法只適用于圓柱面，對于復雜曲面（如雞蛋殼表面、可樂瓶表面等）則無法進行校正。 國外的研究主要包括CHEN等[5]提出的基于模糊函數相似度的檢驗方法，根據選取的特征參數能夠給出匹配上的特征的可靠程度， 篩選出可靠特征并達到降低錯誤匹配的概率，但該方法要求變形指紋可被提取的特征點多，存在一些變形小的區域，現場遺留的潛在指紋往往不滿足上述條件。 ROSS 等[6]以及LIN 等[7]提出了基于薄板樣條函數（thin plate spline，TPS）對變形指紋進行校正的方法，該方法是一種指紋紋線的匹配而不僅僅是特征點的匹配，但該方法要取得好的校正效果，一是需要多張同枚指紋的變形圖像，但在現場勘查中，遺留單枚變形指紋的情況更為常見；二是需要指紋圖像能夠清晰連貫高反差地從承痕體中區別出來，而在現場勘查中各種背景干擾、附著物干擾、紋線反映不清晰不連貫等情況也使得該方法過于理想化。 SENIOR 等[8]選擇另辟蹊徑，將指紋的紋線密度假設為常數，通過均衡化指紋紋線密度達到校正變形指紋的目的。該方法在校正嚴重變形指紋時確實能夠起到很好的“視覺改善”效果，但準確性還有待商榷，比如WAN 等[9]的相關研究中明確指出了指紋紋線密度在不同的指紋區域是不同的。SI 等[10]在總結前人研究的基礎上，提出了一種基于方向特征圖和頻率特征圖的字典法校正，將待校正指紋輸入模型后提取相關的特征，確定待校正指紋與字典中的哪種變形模板最為接近，再將變形模板的逆變換應用于變形指紋中，以獲得校正結果。 該方 法 在FVC 2004DB1、FVC 2006DB2、Tinghua DF和NIST SD27 指紋庫中均取得了優于其他校正方法的效果。 但該方法依然存在以下兩個缺陷：一是為了達到更好的校正效果，需要大量增加模板數量，校正指紋的時間開銷顯著延長；二是該方法在應用于現場指紋庫NIST SD27 時，校正效果明顯下降，甚至出現一些校正結果不及原圖的案例，在司法鑒定實戰中表現不盡如人意。 DABOUEI 等[11]在SI 等[10]的研究啟發下，利用深度卷積神經網絡（deep convolutional neural network，DCNN）模型對變形指紋進行校正，該方法在模型訓練完成后效果優于SI 等[10]提出的字典法，并且不存在時間開銷延長的問題。 但是該方法在比較時僅僅在FVC 2004DB1 和Tinghua DF 這兩個指紋庫上進行了比較測試，刪去了現場指紋庫NIST SD27 的比較，且FVC 2004DB1和Tinghua DF 指紋庫中的指紋均為捺印樣本，該方法同樣在的實踐環節缺乏說服力。

為改善以上問題，本文提出了一種混合傳統模式識別和DCNN 相結合的指紋校正技術，將傳統模式識別的魯棒性優點和DCNN 的準確性優點結合起來，對變形指紋進行校正，以提高正確比中結果在候選列表中的排位。

1 材料與方法

本文在栗赫遙等[4]與DABOUEI 等[11]研究基礎上，提出了一種曲面模型傳統模式識別結合DCNN的方法。 該方法結合了傳統模式識別技術在現場變形指紋校正中對各種干擾因素魯棒性強的優點，以及DCNN 網絡模型在條件適當的區域校正更加準確的優點，流程說明圖如圖1 所示。

圖1 校正方法總體流程圖

1.1 材料

為了突出適應現場勘查實戰的需求，本次實驗在模擬指紋樣本和測試指紋庫兩個環節均考慮實踐需求。 一是模擬指紋樣本方面。 本次實驗的模擬指紋樣本均為模仿遺留在現場曲面客體上的潛在指紋，經過磁性粉刷顯或502 熏顯，并按照相應的拍照提取要求，采用適當的光學提取方式對指紋進行拍照提取，接近現場勘查中的實際情況，存在客體背景干擾、客體表面附著物干擾、客體表面凹凸不平干擾、紋線殘缺中斷干擾、中心花紋模糊干擾等影響指紋圖像質量的因素。 二是測試指紋庫方面。 本次實驗所選指紋庫是上海市公安局物證鑒定中心測試指紋庫，包含了超過200 萬人的指紋信息，即超過2 000 萬枚不同的指紋，測試得到的比中排位的變化更具有說服力。

1.2 方法

本文方法大致可分為傳統模式識別模塊、DCNN 模塊和融合模塊這三個主要模塊，是一種由粗略校正到精準微調的校正方法。

1.2.1 傳統模式識別模塊

傳統模式識別模塊是依據曲面模型，將遺留有指紋的曲面客體看成是一組相似的曲線簇L1沿著L2堆疊而形成的，簡化的示意圖如圖2 所示。 在客體表面沿著L1和L2的方向上粘貼比例尺，在不變形的條件下，比例尺上的刻度間的間隔是處處均勻的，由于曲面客體的彎曲導致客體表面存在著不同程度的投影變形，依據曲面模型和正交粘貼的比例尺可以計算出曲面任意一點的畸變場，通過逆變換后消除指紋的變形。

圖2 曲面模型示意圖

首先，要計算出在L1處的橫向畸變場，具體方法與栗赫遙等[4]提出的校正方法相類似。 通過標尺刻度寬度與標尺刻度間隔構造一個衡量彎曲程度的數組，構造方法如下：

通過數組cn，可以估計出在L1上投影畸變程度最輕的位置t，估算的具體方法如下：

式（2）中t的集合為候選集合，候選集合由不小于cn中最大元素的99%對應的元素位置組成。balance( )函數的返回值為變量及其倒數的最小值，根據式（2）求解得到的t，即為L1上投影畸變程度最輕處。 下一步是使用一個曲率半徑為常數的圓弧與數組按照下式進行最佳匹配：

match（）函數是指以t位置處為圓弧的頂點進行的以固定曲率半徑進行匹配，則是歐氏距離的計算方法。 為了適應各種復雜曲面的匹配，在式（3）的基礎上還需要進行曲率半徑的二階補償，如式（4）所示：

至此，L1處離散的橫向畸變場求解結束，下一步需要將離散的橫向畸變場轉變為連續的結果，使得L1處任意一點的橫向畸變場可以被確定。 其示意圖如圖3 所示，轉化過程可按照式（5）進行：

圖3 畸變場連續化示意圖

經過連續化處理后，L1處任意一點α 的橫向畸變場βh（α）的計算結果為：

式（6）中的參數θx是依據式（5）計算得到的調和轉角，其余參數可參見式（4）。需要指出的是，式（3）~（6）需要在t位置處兩側分別計算匹配。 采用上述方法同樣可以計算得到L2處的縱向畸變場βv（α），具體過程不再贅述。

在獲取到L1處的橫向畸變場及L2處的縱向畸變場的基礎上，為了克服栗赫遙等[4]所提方法只適用于柱面客體的缺陷，需要將畸變場的計算推廣至曲面上的任意一點。 先將L1處的橫向畸變場推廣至曲面上任意一點的橫向畸變場，將曲面看成是一組與L1相似的曲線簇在曲線L2上的堆疊，對曲面上任意一點的橫向畸變場βh（τ）進行近似估計，具體如式（7）所示：

式（7）中的（x，y）是曲面上任意一點的坐標，函數是依據L2和t的關系，估計得到該點所在水平線的橫向畸變場和L1處橫向畸變場對應關系的變換，示意圖如圖4 所示。 其中：圖4（a）中的實線表示不同水平位置的曲面彎曲可以被近似地認為是一組相似的曲線簇，存在諸如C1-D2，C2-D2，C3-D3的相似關系；圖4（b）不同水平位置與L1處橫向畸變場的相似比為r2/r1，其中r2表示該點水平線在通過t的垂線和L2之間的距離，r1表示L1處水平線在通過t的垂線和L2之間的距離。

圖4 transformh（）函數示意圖

現還需將L2處的縱向畸變場推廣至曲面上任意一點的縱向畸變場，依據曲面模型，當L1處的橫向畸變場為曲率半徑固定的圓弧時，客體曲面可以看成L2沿著L1旋轉而成，曲面上任意一點對應轉角的縱向畸變場均與L2相同。 當L1處的曲率半徑不固定時，曲面上任意一點對應轉角的縱向畸變場βh（τ）均可近似地估計為L2拉伸變換后的結果，計算方法如式（8）所示：

式（8）中的L1和R分別表示L1以及曲率半徑固定為R的橫向畸變場，k則是式（9）中的拉伸比例系數，（x,y）是曲面上任意一點的坐標，transformv（）函數則是由L2處的縱向畸變場βv（α）通過拉伸變換得到的縱向畸變場，縱向畸變場的變換示意圖如圖5所示。 其中：圖5（a）中的實線表示L1處的橫向畸變場，虛線表示虛擬的曲率半徑不變的圓弧對應的橫向畸變場，r1表示任意點到L1畸變場的距離，r2表示任意點到L2虛擬曲線的距離，r1/r2即為k；圖5（b）中的虛線表示L2對應的縱向畸變場，實線表示L2拉伸變換后得到的縱向畸變場L2′，比例系數即為k。

圖5 βv（τ）計算示意圖

1.2.2 DCNN 模塊

本文所提DCNN 模塊在訓練集的選取、參數的設置以及訓練的具體方法上均與DABOUEI 等[11]所提的方法相一致。 從BioCOP 2013 數據庫中選擇1033 枚正常指紋，按照從Tinghua DF 數據庫中的兩個主要變形因素對每一枚正常指紋生成400 枚變形指紋，并對DCNN 模塊進行訓練。 網絡的訓練次數為40 次，每次進行6 265 次的迭代，批量學習樣本數為64，優化方法為Adam，其中beta為0.5，學習率為10-4。輸入圖像大小為256×256×1。 每層采用的方法為卷積（Conv）、數據批標準化（batch normalization，BN）、修正線性激活函數（ReLU）和最大池化（max-pooling，MP），最大值池化的步長為2。 需要指出不同的是，本文的模擬樣本為模擬現場遺留的潛在指紋， 而不是捺印的高反差灰度圖像，故需要對指紋圖像進行預處理，將其轉化為DCNN 需求的圖像再進行處理，網絡的具體結構參見表1。其中：方法有卷積（Conv），數據BN，修正線性激活函數（ReLU），MP，最大池化的窗口2×2，池化步長為2；所有的卷積步長為1。

表1 DCNN 結構參數

1.2.3 綜合應用模塊

傳統模塊和DCNN 模塊各有優點，傳統模塊魯棒性強且對圖像要求低，可應對各種干擾，DCNN 模塊的優點則是準確性高，當指紋的小塊區域干擾少且與訓練集合類似時，可取得更為準確的校正效果。

DCNN 模塊輸入的圖像大小均為256×256 像素，首先需要將DCNN 輸入的圖像切割成32×32 像素的小塊，并且將32×32像素的小塊與利用傳統方法校正和DCNN 校正后的相同區域對應起來，示意圖如圖6 所示。

圖6 DCNN 模塊和傳統模塊分割32×32 方格對應關系示意圖

綜合應用的評判指標是兩種校正方法結果對應分割方格的相似性。 當相似度低時，意味著DCNN 模塊受到的干擾大且效果不佳，適合采用傳統模塊校正；反之則說明DCNN 模塊校正結果適用性強，適合采用DCNN 模塊對傳統模塊結果進一步優化。 相似度的計算方法如式（10）所示：

圖7 相似度計算示意圖

當相似度低于閾值時，傳統模塊對該分割方格校正的結果即為最終結果；反之，還需要結合DCNN 模塊結果在保證分割方格外輪廓的同時，對內部像素點的分布進行一次調整，內部調整方法遵循式（11）：

式（11）中（x1，y1）′ ′ 的代表融合了DCNN 結果后，內部調整后對應點的坐標，（x1，y1）代表傳統方法校正后點的坐標，函數是指將傳統方法結果的分割方格對應到相同序數關系的DCNN 結果的分割方格。函數transformco（）則是在確保坐標系內相對位置關系不變的約束條件下，將transformob（）計算得到的點再映射回傳統方法結果的分割方格中，示意圖如圖8 所示。 其中：圖8（a）中的藍色虛線表示傳統方法校正后對應的32×32 像素分割方格的外輪廓，紅色小方格代表每一個像素點的畸變場，黑色實心方格表示精細調整前的初始點位置，黑色虛線方格表示經過了transformco（）、transformob（）函數映射后的調整后位置；圖8（b）中的藍色虛線表示DCNN 方法校正后對應的32×32 像素分割方格的外輪廓，紅色小方格代表每一個像素點的畸變場，黑色實心方格表示初始位置由transformco（）函數映射得到的對應位置。

圖8 精細調整示意圖

由于鄰近畸變場存在相似性，精細調整的強度應當與鄰近畸變場參與精細調整的數量正相關，因此需要對式（11）修正如下：

其中，（x1″ ，y1″）為調整的最終結果，ωi為取決于鄰近32×32 像素分割方格畸變場的系數，示意圖如圖9 所示。其中，中間的方格是待處理的32×32 像素分割方格，相鄰的其他方格代表著相鄰的32×32 像素分割方格。 圖9（a）表示鄰近32×32 像素分割方格滿足相似度閾值的個數為1，ω1=0.25。 圖9（b）表示鄰近32×32 像素分割方格滿足相似度閾值的個數為2，ω2=0.5。圖9（c）表示鄰近32×32 像素分割方格滿足相似度閾值的個數為3，ω3=0.75。 圖9（d）表示鄰近32×32 像素分割方格滿足相似度閾值的個數為4，ω4=1。

圖9 系數調節示意圖

2 結果

為量化本文方法的校正效果，使用了本文方法與DABOUEI 等[11]所提方法對40 枚模擬現場變形潛在指紋進行校正后，在上海市公安局物證鑒定中心測試指紋庫中進行檢索比對，比較未經校正的圖像、兩種不同方法校正的圖像在比中排名上的變化如表2 所示。實驗將該結果繪制成累積匹配特性曲線（cumulative matching characteristic，CMC），具 體如圖10 所示，其中排名標記為“1#、2#、3#、5#、10#、15#、20#、25#、35#、40#、45#、50#、100#、200#”。

表2 同枚指紋在不同校對方法中的比中排名結果

圖10 不同校對方法的CMC 結果比較

根據以上結果可以發現：（1）兩種方法的處理結果均對比中率有提升作用。 （2）本文方法對比中率的提升優于DABOUEI 等[11]所提方法。 （3）本文方法對低質量變形指紋的校正有顯著優勢，原始圖片中50 名內的比中率為70%，經過DABOUEI 等[11]所提方法校正后可提升到85%，而本文方法可提高到100%。 通常人工復核的指紋就是候選列表中的前50 名，故候選列表中前50 名能否比中對司法鑒定有重大意義。

當指紋紋線連貫且特征點數量多時，變形對排位的影響較小，本文方法顯著優于DABOUEI 等[11]所提方法的示例如圖11~13 所示。 多種在現場勘查過程中常見的干擾因素均會顯著降低指紋圖像的質量。 而在參考文獻中訓練樣本和測試樣本為捺印樣本，該樣本過于理想化，使用現場指紋測試時往往不能取得良好的效果。

圖11 同枚指紋的比較結果（嚴重的非線性形變以及表面的其他附著物降低了圖片質量）

圖12 同枚指紋的比較結果（紅圈處的紋線重疊和整體紋線淺淡降低了圖片質量）

圖13 同枚指紋的比較結果（承痕體凹凸起伏的表面降低了圖片質量）

3 結 論

指紋變形導致的AFIS 識別準確率下降的問題一直是指紋檢驗中的難點。 在現場勘查中，曲面客體上變形指紋是一種典型的相對常見而又利用率低的疑難痕跡物證。 現有研究方法對現場變形指紋的校正均不能取得良好的效果，本文提出了一種混合式的校正方法，兼顧了傳統模式識別方法的魯棒性和DCNN 模塊的準確性，本文方法主要的優勢有兩點：（1）不需要參考指紋，單張變形指紋圖片即可校正。 （2）方法在司法鑒定內適用性強，對現場勘查中提取到的實際變形指紋存在的各種干擾均有著很強的魯棒性，校正效果好，尤其是低質量變形指紋圖像校正效果顯著優于未校正圖像及比較方法的校正結果。 本文介紹的方法能夠穩定可靠地校正現場曲面客體上提取到的各種變形指紋，為提高現場勘查中疑難痕跡物證的利用率提供了新的突破口。