聯合足跡識別與監控視頻分析的智能刑偵系統

陶一寧，蘇峰，袁培江，*，王田苗，鐘濤，郝靜如

（1.北京航空航天大學 機械工程及自動化學院，北京 100083；2.北京市公安局刑事偵查總隊，北京 100006）

隨著科技的發展，犯罪活動智能化、系列化、團伙化的趨勢逐漸出現，作案人員反偵察能力越來越強，刻意破壞現場的情況時有發生，被稱為“證據之王”的指紋在犯罪現場中提取獲得的難度顯著提高，而在犯罪現場提取到的作案人員所留足跡越來越多，世界各國的刑偵機關都非常重視對犯罪現場遺留足跡的研究與利用［1］。

足跡是在犯罪現場上遺留率最髙的一類痕跡，所以足跡檢驗技術是現代刑事技術領域中重要的組成部分。因為每個人的身高、體重、職業、習慣都不一樣，所以每個人的步態持征也不相同；步態特征是經過長期習慣后形成的，所以由步態特征形成的足跡具有相對的穩定性。此外，足跡具有一定的指向性，通過對足跡的分析檢驗可以推測一個人的身高、體重、年齡、走路姿態等，也可以分析遺留時間、作案路線等，充分利用足跡信息可以實現快速高效地定位嫌疑人。

除犯罪現場以外，周邊的監控視頻對于刑偵破案也起著至關重要的作用。視頻監控是公共安全的重要基礎設施，基于深度學習的監控視頻分析技術在維護社會安定和打擊違法犯罪等方面已經取得了長足的進步，并在很多地區得到了落地應用。在刑偵破案方面，將犯罪現場的足跡信息與周邊監控視頻中的信息進行聯合分析，能夠大幅提升破案的效率，形成高效準確的偵查體系，對未來基層民警在相關犯罪現場的刑偵鑒定和破案追兇中起到積極作用。目前在刑偵破案過程中使用的足跡特征識別以及視頻圖像處理技術存在以下問題：①足跡識別主要依賴經驗，缺乏穩定的可推廣到基層的智能分析系統；②缺乏根據犯罪現場足跡信息和周邊監控視頻信息進行目標關聯的方法和研究。

為解決這些問題，本文提出了一種聯合足跡識別與監控視頻分析的智能刑偵系統，該系統基于深度學習方法根據足跡信息準確預測嫌疑人個人特征，同時聯合周邊監控視頻大數據進行智能篩選，迅速縮減刑偵排查范圍，提高系統可靠性和實用程度。

本文創新點如下：

1）通過足跡信息預測嫌疑人個人特點，主要是身高信息。

2）從監控視頻中識別行人的個人特點，并與足跡識別結果匹配，實現刑偵篩查。

1 相關工作

1.1 國內外研究現狀

由于足跡特征與人體行為特征的關系十分密切，各國都非常重視對于足跡的研究和利用。西澳大利亞大學的Ishak［2-3］、Hemy［4］等提出根據足跡和人體測量學推斷性別的理論方法，并基于澳洲西部的人口進行了測試。英國學者Reel等［5］對二維足跡測量可靠性的方法進行了研究。印度學者Krishan［6］針對北印度地區內的人口足跡，進行了足跡個人特征方面的探索。印度學者Moorthy等［7］針對印度泰米爾地區人口足跡，對足跡測量推測身髙的可行性進行了驗證［7］。比利時RSscan International公司研制了Footscan足跡壓力測量分析系統［8］，主要針對立體足跡的壓力面測量和分析。

而中國是從1960年左右開始對足跡信息預測個人特征的相關技術進行研究，當時公安部組織進行相關方向研究的專家學者［9］對內蒙古自治區步法跟蹤專家馬玉林的豐富足跡鑒定經驗進行了討論和學習，總結了步法跟蹤理論，擴大了足跡檢驗的應用范圍。在此之后，苗春青、葛有忠根據馬玉林的研究基礎，進一步提出了“單足跡步法檢驗”［10］。此方法使用角度描述足跡起落腳特征，然后進行定量分析，以單足跡的起落腳角度為基礎進行計算并推斷另一對應足跡的起落腳角度，從而認識成趟足跡。最后結合足跡反映出的特征，分析犯罪嫌疑人的個人習慣和關鍵信息，并對個體的身份做同一認定。河北省雄縣公安局劉樹權等［11］提出了一種足跡動力形態檢驗方法，該方法使用正交設計將影響人體行走特征的主要因素提取出來，由此確認相應的特征量，然后進行分析處理，獲取關鍵參數，實現足跡檢驗。河南周口市公安局與解放軍信息工程大學等單位聯合研制了“立體足跡計算機自動識別系統”［12］，利用足跡高程測量儀采集足跡特征數據，通過計算機進行三維曲面擬合與造型，對比現場足跡和嫌疑人足跡的相似度來綜合鑒定足跡同一性。山東科技大學的閆旭琴［13］設計的足跡對比系統采用二維圖像對比足跡圖像中的紋理特征，但實際操作時采集的足跡樣本信息往往并不完整。王永棟等［14］研發的“基于重壓面形狀的立體足跡造型與識別系統”，該系統對立體足跡的基準面選取和變化比較敏感。蔣曉玲［15］、董菲菲［16］研發和設計了“足跡三維比對系統”，通過對足跡紋理立體信息分析，進行足跡相似度比對，該方法雖然能夠更客觀地反映足跡的信息，但是對足跡特征參數的提取不夠明顯。

1.2 卷積神經網絡

卷積神經網絡是一種高使用率的深度學習結構，其組成包括輸入層、卷積層、池化層、全連接層以及輸出層。

卷積層使用多個卷積核對輸入圖像進行特征提取，獲得特征圖。卷積層為了表達復雜特征，還包含激勵函數，通常選擇線性整流函數，可以在不改變卷積層的前提下，增強神經網絡整體的非線性特性。池化層位于卷積層之后，輸入圖像通過卷積層提取出特征圖，然后需要通過池化層進行特征選擇和信息過濾。目前使用較多的池化函數是最大池化函數，有效縮減參數的數量和計算量，控制過擬合的出現，還可以降低卷積層對邊緣的敏感性。全連接層一般位于輸出層之前，其作用是對卷積層和池化層提取出的特征進行非線性組合，從而得到輸出結果。

卷積神經網絡相比于其他前饋神經網絡，需要考量更少的參數，且輸出結果表現良好，所以廣泛應用于圖像處理和語音識別領域，是深度學習的代表算法之一。

1.3 大數據分析

當前時代是一個信息爆炸的時代，為了處理海量的信息數據，大數據分析技術在各個行業的使用頻率不斷增加。

大數據是指大量的復雜的巨型數據集，遠遠超出傳統數據處理技術的能力范圍，為了處理這些數據集，大數據分析方法應運而生。大數據分析方法包括可視化分析、數據挖掘算法、預測性分析能力以及數據質量和數據管理等。可視化分析是將數據可視化，更加直觀地展示數據，確保用戶更高效地獲取數據信息。數據挖掘算法，包括集群、分割、孤立點分析等算法，可以更細致地分析數據，挖掘更多有效信息。預測性分析能力是在現有數據分析結果的基礎上進行預測性判斷。數據質量和數據處理是指為了得到高質量分析結果，需要在數據處理時使用高質量的標準化流程和工具。

2 基于足跡識別和監控視頻的刑偵系統

2.1 系統技術路線

本文系統以足跡識別為基礎，結合監控視頻大數據分析和虛擬現實仿真技術，在刑偵過程中實現智能快速破案，過程如圖1所示。

圖1 基于深度學習的足跡識別技術路線Fig.1 Footprint recognition technology route based on deep learning

足跡特征中包含靜態特征和動態特征，由此提取關鍵信息，分析嫌疑人個人特點；運用大數據分析技術處理周邊監控視頻，案發現場周邊視頻中含有大量數據資料，利用大數據技術可以快速處理其中的信息，分析預測視頻中行人的個人特點；虛擬現實仿真技術運用于足部壓力和鞋底受力分析有限元模型，利用模型獲得各種復雜場景下的仿真足跡。

運用大規模針對復雜對象的哈希方法，將足跡特征、監控大數據和足跡仿真有機結合起來。三大模塊相互交融，相互印證，有利于快速篩選刑偵對象，縮小排查范圍，并輔助進行嫌疑人身份認定。本文主要研究了足跡特征模塊和監控大數據模塊。

2.2 足跡識別預測個人特征

足跡特征是地面、鞋和嫌疑人三者中多個因素相互作用的結果，犯罪現場以及實驗環境下采樣的足跡圖像如圖2所示。該系統使用深度學習模型確定足跡特征與嫌疑人個人特點之間的映射關系。因為足跡特征的波動往往較大，利用深度學習技術訓練的卷積神經網絡進行預測，具有很強的容錯性，可以有效提高預測結果準確性；而且與傳統預測方法相比，使用深度學習方法實現足跡識別能夠完善足跡學理論。現有的足跡特征分析方法只是計算人為選擇的一些特征值，如靜態的鞋印長度、寬度和動態的步長、步角等，這些特征往往難以捕捉到完備的足跡信息；深度學習是特征無關的分析方法，能夠更好地捕捉到足跡動態特征。神經網絡通過將低維的足跡特征轉化成更高維的狀態向量，更容易完成足跡與個人特點之間的映射。由此建立基于深度卷積神經網絡的身高預測模型，配合圖像增廣技術，在保證模型準確率和泛化能力的前提下進行預測。本文選擇使用的卷積神經網絡是VGG-16圖像分類網絡。VGG-16結構去除池化層與回歸層以后包含16個隱藏層，即13個卷積層和3個全連接層。VGG-16采用連續的多個3×3的卷積核代替較大的卷積核，增加網絡深度，提高神經網絡的效果，而且代價小，參數更少。整個網絡使用的都是3×3的卷積核和2×2的最大池化尺寸，結構非常簡潔。

圖2 足跡圖像采樣Fig.2 Sampling of shoeprints

此外，通過虛擬現實仿真技術，建立足部壓力和鞋底受力分析有限元模型；在犯罪現場采集地面相關參數，如地面硬度、彈性、時間周期等，并設置嫌疑人的相關參數，如體重、身高、腳型等；結合有限元模型，得到仿真足跡；對比仿真足跡和實際采樣足跡之間的差異，優化嫌疑人相關預測參數，得到與采樣足跡最匹配的仿真足跡，從而鎖定嫌疑人的身高、體重等個人特點。

2.3 監控視頻預測個人特征

提取足跡特征之后，使用深度學習技術訓練卷積神經網絡，使其利用計算機視覺從周邊監控視頻中提取行人的個人特點，預測個人特征，并建立人像圖片庫。

利用監控視頻預測行人特征，首先需要進行圖像預處理，使用高斯濾波進行圖像去噪，提高目標提取效果。其次使用前景提取算法進行運動行人的提取，減少視頻中其他物體產生的干擾。目前使用較多的前景提取方法包括幀差法、平均法、高斯建模法等，考慮到視頻圖像處理速度快，算法操作簡潔的特點，本文選擇使用幀差法，該方法是將相鄰幀圖像做差運算，得到運動物體的大致輪廓，可以快速獲得計算結果。最后進行行人的個人特征預測，本文系統著重于行人身高信息的預測。現有的通過監控視頻獲取人體身高信息的測量方法主要包括2種：未標定測量和標定測量［17］。標定測量獲得的結果精度很高，但是測量過程需要高精度的特殊標定塊，以此獲得監控拍攝的畸變系數，過程十分繁鎖，需要耗費大量的時間。未標定測量精度稍差，但更加靈活，成本更低，不需要借助標定塊，會主動根據拍攝場景中存在的實際固定物體（比如垃圾桶、消防栓等）或運動物體（比如車輛等）本身的結構化信息進行測量。本文系統選擇使用未標定測量方法，根據透視學原理，以下測量公式成立：

式中：h1為實際行人身高；h2為視頻圖像中行人身高；l1為實際物體尺寸信息；l2為視頻圖像中物體尺寸信息。

利用數據集訓練卷積神經網絡，使其能夠識別常見物體的長度、高度信息，比如各種車輛、消防栓、樓層高度、垃圾桶等。而后利用上述原理進行行人身高預測。

將監控視頻中提取出的行人的個人特點與從犯罪現場足跡信息中獲得的嫌疑人個人特點進行聯合分析，進一步確定嫌疑人關鍵信息，從而快速篩選刑偵對象，縮小刑偵排查的范圍。

3 實驗過程與結果分析

3.1 足跡圖像數據集建立

對每一例數據集，收集鞋印信息和對應的身高信息。如圖3所示，將篩選出的2350張清晰圖片，從75 pixel/cm下采樣至5 pixel/cm，降低數據維度。然后進行歸一化處理（見圖4），去除標度尺，將鞋印居中，統一圖像尺寸為256×128 dpi，并增廣30倍（見圖5）。對數據中的所有身高信息做統計分析，身高分布結果如圖6所示。從所有足跡圖像中，隨機選擇261張圖像作為測試數據集，測試數據集約占數據總量的1/9，測試數據集中鞋印長度和身高信息的對應關系如圖7所示。

圖3 降低數據維度過程Fig.3 Data dimension reduction process

圖4 歸一化處理結果Fig.4 Results after normalization

圖5 增廣30倍結果Fig.5 Results after augmented 30 times

圖6 所有數據中身高的分布Fig.6 Distribution of height in dataset

圖7 測試數據中身高與鞋印長度的關系Fig.7 Correlation between height and length of shoeprint in test data

3.2 足跡識別預測身高

目前刑偵機關利用足跡長度預測身高主要依靠經驗公式，預測結果與實際身高差值集中于10～20 cm。該方法誤差大，準確性低，在嫌疑人身份確認的主要特征數據提取方面尚存缺陷，對于實際刑偵工作幫助十分有限。

為解決上述問題，本文采用卷積神經網絡技術建立足跡識別系統。該系統考慮到同一待測人員穿戴不同鞋型時，鞋的結構變化會使得足跡圖像發生變動，改變圖像參數。所以加入不同鞋型的選項，減小誤差。為了提高預測結果的準確性和泛用性，加入數據增廣選項，開啟后會對輸入的足跡圖像進行平移和旋轉的變換實現增廣30倍。

系統界面如圖8所示，打開足跡圖像后，原始圖像顯示于左側窗口；設置分辨率，進行圖像預處理，處理后的足跡圖像在右側窗口顯示；而后選擇是否區分鞋型和是否增廣，點擊“預測”按鈕即可輸出身高預測結果。

圖8 各種處理條件下的預測結果Fig.8 Prediction results under various processing conditions

由圖8所示結果可以發現，圖像分辨率的改變對身高預測影響為0～1 cm，是否增廣與鞋型變動對身高預測值的改變約為1～3 cm。

3.3 足跡識別性能分析

本文設計的足跡識別系統在不同條件下的誤差范圍如圖9所示。可以發現隨著誤差閾值的提高，模型準確率增長趨于平緩，在誤差閾值為8 cm時可以滿足準確率大于80%。模型對于身高160～180 cm之間的數據預測準確性高，可以保證90%的預測結果誤差值在10 cm以下，且對身高170 cm左右的數據預測結果最穩定，誤差值更小；而身高低于160 cm和高于180 cm的數據預測性一般，誤差值集中在10～20 cm。

圖9 模型擬合結果、準確率和誤差Fig.9 Model fitting results，accuracy and deviation

比較訓練誤差和驗證誤差可得，相同誤差閾值下，訓練準確性稍高于測試準確性；測試誤差值相比于訓練誤差值更加集中于0～8 cm，誤差值為10～20 cm的測試結果明顯減少。

經驗公式和最小二乘法對于數據的預測結果如圖10所示。兩者預測準確率隨誤差閾值上升而增加；預測結果誤差值集中于0～10 cm。

圖10 線性擬合結果、準確率和誤差Fig.10 Linear fitting results，accuracy and deviation

最小二乘法擬合得到的直線（y=2.14x+114）斜率為2.14，相比于直線（y=7x-11.33）斜率為7的經驗公式，更加貼合數據分布，誤差有所降低。

比較足跡識別模型、經驗公式和最小二乘法預測結果的準確率，得到如表1所示結果。從表1中可以看出，本文提出的足跡識別系統對于身高的預測準確率在3種方法中位居首位，與傳統經驗公式預測方法相比，可信度大幅提升。

表1 三種方法預測結果準確率Table 1 Accuracy of three m ethods for predicting results

3.4 足跡和監控身高預測聯合篩查

利用卷積神經網絡進行足跡識別預測，得到嫌疑人的身高特點，首先以此為基礎，比對周邊視頻監控分析處理結果，篩查出具有相似身高特點的行人；其次以監控中篩查出的重點嫌疑人的個人特點為基礎，最后確定足跡預測身高特點的準確性和可靠性，并進行修正（見圖11）。經過實驗驗證，確定了兩者結合進行刑偵篩查的可行性。在將來實際使用中，兩者可以相互印證，縮小可疑目標范圍，協助刑偵工作高效準確進行。

圖11 足跡識別系統和監控視頻分析的有機結合Fig.11 Dynamic combination of footprint recognition system and surveillance video analysis

未來可以在在數據收集上做進一步改進，并擴充數據集，分析在不同場景下運行的可靠性。

4 結 論

為有效配合刑偵工作的進行，形成高效準確的刑偵鑒定體系。本文提出了一種聯合足跡識別與監控視頻分析的智能刑偵系統。實驗結果和分析表明，該系統存在以下兩點優勢：

1）高效準確地提取足跡信息，并使用深度卷積神經網絡技術預測嫌疑人身高，與傳統經驗公式相比，準確度提高20% ～23%。

2）將根據足跡特征預測的嫌疑人身高特點與周邊視頻監控數據分析結果有機結合，縮小嫌疑人排查范圍，提高刑偵工作效率。

為了更好的提取足跡信息，下一步將考慮進行包含深度信息的3D足跡特征提取，分析足跡區域的壓力分布，大幅提升后期分析和推理的準確性和可靠性。