基于反向傳播神經網絡的三維足跡觸覺步態特征識別

高毅，王彪，王夢陽，穆治亞，龍兵

(1.中國刑事警察學院刑事科學技術學院，沈陽 110035；2.中國科學院長春光學精密機械與物理研究所，長春 1300333.四川警察學院刑事檢驗四川高校重點實驗室，瀘州 646000)

目前，很多案件中都會用足跡步態特征檢驗來進行前期的案件偵查和后續的法庭審判，中國的步態特征檢驗仍然主要依賴于專家的經驗來進行分析判斷。以審判為中心增加了專家、律師和刑事技術等相關領域人員對步態特征檢驗的質疑。其質疑的焦點集中在步態特征檢驗是一種經驗性的技術，科學性不強，很大程度依靠人的主觀判斷，甚至在一些案件中檢驗人員會出現先入為主的現象，導致整個鑒定結果不具有法律效力。步態特征檢驗在推斷年齡、身高、體態、下肢結構和運動幅度等方面有著至關重要的作用，因此運用足跡步態特征進行人身個體識別已成為公安技術領域亟待解決的重要課題。而解決這些問題，已不再局限于傳統的理論和技術，急切需要輔以現代信息化技術。王文君等[1]通過計算足底壓力數據，從步態運動過程中落腳與起腳相對位置描述參數以及壓力中心軌跡線在冠狀面上的變化幅度，論證了步態特征的穩定性。雖然是從足底壓力的測量分析角度來加以研究，但依然更多依賴傳統的足跡步態特征檢驗方法。Nina等[2]總結了法醫步態在荷蘭、英國和丹麥的使用情況，利用步態特征數據庫和似然比估計的知識，擴展了關于受試者間和受試者內步態變異性，步態特征的區分強度和相互依賴性。李若愚[3]將傳統的石膏制模的立體足跡提取方法升級為深度相機光學采集，滿足了立體足跡的非接觸式無損采集的要求，并采用Mask-RCNN算法進行了特征識別，但僅停留在識別應用層面，并沒有針對性的對其關于立體足跡的檢測進行改進，無法較為準確地進行個體識別。馬天嬌等[4]利用結構光點云算法分割方法實現對足部模型的點云配準，與傳統的(iterative closest point，ICP)點云配準算法相比，較大地改善了特征的配準速度和精度。但沒有將立體足跡深度信息采集和圖像處理算法有機結合。

反向傳播(back propagation，BP)神經網絡已應用在醫療、銷售市場等領域，并取得了一定的成績[5-6]。但在刑事技術的足跡識別的應用研究尚處于探索階段。為此，將BP神經網絡應用于步態特征檢驗中，利用光柵投影技術提取立體赤足足跡，并以點云數據的形式進行保存分析，用立體足跡各區域的深度數據表達觸覺步態的足底壓力特征，并強化特征處理，再使用 BP神經網絡對量化后步態特征進行學習、建模，進行識別研究，為今后的三維足跡步態特征識別提供科學依據。

1 步態特征選擇

隨著法治的完善，在審判過程中對證據科學的標準愈發嚴格，這就極大提高了對證據科學性和客觀性的要求。目前中國立體足跡檢驗鑒定的方法主要涉及赤足跡特征、鞋襪足跡特征和步法特征，而對于單枚立體赤足足跡而言，步態特征無疑是很好的選擇[7-8]。在實際運用中，步態特征也存在很多限制因素，如現場環境和檢驗人員的水平。現場形成足跡的承痕客體多種多樣，單獨用肉眼或者石膏制模來觀察步態特征，會受到光照等外界環境的影響，給足跡的檢驗分析造成麻煩。且步態特征的種類雖然繁多，但主要以特征形成的原因對特征進行描述，還處于定性階段，無法對特征進行精確表達，在進行檢驗時，需要檢驗人員大量的經驗積累[8]?；谝陨厦媾R的難題，采用將步態特征用深度信息數據來表示的方法，對步態特征進行量化。

一個完整的立體足跡主要包括：足趾區、足跖區、足弓區和足跟區所形成的痕跡。由于足弓可分為高弓型形態、窄弓型形態、中等弓型形態、扁平弓型形態和膨脹弓型形態，足弓區的深度信息相對于足趾區、足跖區和足跟區而言變化太大，有時會出現足弓區深度信息較少，甚至沒有足弓區深度信息的情況[9-12]。這將會影響后面的深度信息數據分析精確性，不利于實驗結果。因此，將深度信息選取的部位主要定位在足趾區、足跖區和足跟區這3個部位。

選取具體特征時，根據足部骨骼結構、足跡重壓部位、行走特點等理論分析，將立體赤足足跡的步態特征分為：深度差特征、區域面積特征、區域體積特征，3種特征的研究方法如圖1所示。

T1～T5為第1～5趾頭中心點；Z1為足跖區內緣最突點；Z2為足跖區外緣最突點；Z3為點Z1與點Z2連線的中點；Z4為點Z2與點Z3的中點；B1為足跟區內緣最突點；B2為足跟區外緣最突點；O為足后跟邊緣最突點；Y線為第2趾頭中心點與足跟后緣邊緣最突點連線；X線為與OY垂直水平線，箭頭指向為足部外緣；L為足跡在Y線的最遠點圖1 立體赤足足跡特征圖Fig.1 Stereo barefoot footprint characteristic figure

1.1 深度差特征

人在行走過程中，由于環境、行走習慣和心理等因素的影響，即使是在同一趟足跡中，任何兩枚足跡也不會完全相同，會出現一些細微的變化，這些變化在足跡定性化檢驗中不會有太大的影響。但在足跡定量化檢驗中，特別是引用深度學習，這些變化是不容忽視的。因此，為了保證檢驗結果的準確性和可信度，在進行足跡檢驗之前，足跡特征的提取測量必須嚴格依照足跡學和深度學習的標準進行[13]。深度差特征的測量過程如下。

步驟1過足跟后緣向后最突出點(設為原點O)和第二趾頭中心點(設為點T2)作直線并雙向延長，延長線與第二趾頭中心點前端相交于一點(設為點L)，計算點O與點L之間深度信息形成的高程差，即為足跡中心線的深度差(設為H0)。

步驟2選取足跖區內緣最突點(設為Z1)和外緣最突點(設為Z2)，計算點Z1與點Z2之間深度信息形成的深度差，即為跖斜寬深度差(設為H1)。

步驟3選取足跟區內緣最突點(設為B1)和外緣最突點(設為B2)，計算點B1與點B2之間深度信息形成的深度差，即為足跟寬深度差(設為H2)。

步驟4根據足跡學標準，分別作出拇趾至第五趾各趾趾頭的中點，作為計算深度差的特征點，依次設為T1～T5。

步驟5計算點Z1和點B1之間深度信息形成的深度差，即為內緣深度差(設為H3)，計算點Z2與點B2之間深度信息形成的深度差，即是外緣深度差(設為H4)。

步驟6作點Z1與點Z2連線的中點Z3，點Z2與點Z3的中點Z4(跖內緣1/4點)，點B1與點B2的中點B3，計算點Z3與點B3之間深度信息形成的深度差，即為趾跟中點深度差(設為H5)。

步驟7以點Z4為中心，分別作點Z4與點T1、T2、T3、T4、T5的連線，并計算出Z4與T1、T2、T3、T4、T5之間深度信息形成的深度差，即為跖趾深度差(分別設為H6、H7、H8、H9、H10)。

步驟8將足后跟邊緣最突點(O點)作為中心，分別作點O與T1、T2、T3、T4、T5的連線，并計算出點O與點T1、T2、T3、T4、T5之間深度信息形成的深度差，即為跟趾深度差(分別設為H11、H12、H13、H14、H15)。

步驟9將足后跟邊緣最突點(O點)作為中心，分別作點O和點Z1、Z2的連線，并計算出點O與點Z1、Z2之間深度信息形成的深度差，即為跟跖深度差(分別設為H16、H17)。

按照上述操作流程，整個足底12個特征點和18個深度差特征便可表示并計算出，其數據可通過立體足跡提取系統計算得出，為通過深度差特征檢驗分析立體赤足足跡提供科學、準確、客觀的依據，深度差特征的概念如表1所示。

表1 立體赤足足跡的深度差特征Table 1 Depth difference characteristics of three-dimensional barefoot footprints

1.2 區域面積特征

每個人足底結構都不是完全相同的，它的長短、寬窄以及各部位的肌肉脂肪情況也是各不相同的。在行走過程中，每個人特異的行走習慣與各不相同的足底結構相結合，在相同的承痕客體上形成了可以作為分析識別人身的特征[14-15]。當遺留足跡為立體赤足足跡時，足是直接與承痕客體相接觸的，當足的某一部位與承痕客體接觸程度較高時，這部分的痕跡面積大且深度深，當足的某一部位與承痕客體接觸程度較低時，這部分的痕跡面積小且深度淺。此時，可以通過計算足跡重壓面積來分析識別人身[16]?；谧阚E學中赤足足跡區域及部位劃分，采取如下步驟對區域重壓面積特征進行測量。

步驟1采用多點形成的轉折線圍繞拇趾邊緣輪廓以相同深度差為邊界進行重壓面選取。當轉折線的起點和終點圍繞重壓面輪廓一周重合時，拇趾的區域重壓面積就自動計算并顯示出，獲得拇趾重壓面積特征。依次對第2趾、第3趾、第4趾、第5趾，重復此步驟，獲得第2趾重壓面積特征、第3趾重壓面積特征、第4趾重壓面積特征、第5趾重壓面積特征，依次表示為S1、S2、S3、S4、S5。由于趾頭間組合形態會出現重疊分布型組合，這種組合會造成個別趾形成不了重壓，更沒有面積特征，將此種情況的趾重壓面積設為0。

步驟2采用多點形成的轉折線圍繞足跖區邊緣輪廓進行重壓面選取。當轉折線的起點和終點圍繞重壓面輪廓一周重合時，足跖區的區域重壓面積就自動計算并顯示出，獲得足跖區重壓面積特征，表示為S6。

步驟3采用多點形成的轉折線圍繞足跟邊緣輪廓進行重壓面選取。當轉折線的起點和終點圍繞重壓面輪廓一周重合時，足跟的區域重壓面積就自動計算并顯示出，獲得足跟重壓面積特征，表示為S7。

以上7個部位的重壓面積特征由于其穩定性和出現率高，所以引用入步態特征識別。但是，足跡步態特征的伴生痕跡會與以上7個部位的重壓面積相連，如坐痕、擰痕等。所以在進行重壓面積特征測量時，要注意采用統一標準劃開所需的重壓面積和伴生痕跡，如表2所示。

表2 立體赤足足跡的區域重壓面積特征Table 2 Regional weight area characteristics of three-dimensional barefoot footprints

1.3 區域體積特征

重壓部位低于水平面的凹陷部分的容積稱之為體積特征。區域面積特征反映了足跡各區域重壓面積之間的關系，但各區域內的深度信息并不是完全甚至部分相同的，這是因為每個坐標點都具有自己深度信息且不甚相同，所以將區域面積內的所有深度信息體積作為區域體積特征計算出有利于步態特征識別。在區域面積特征的基礎上，將區域體積特征分為拇趾體積特征、第2趾體積特征、第3趾體積特征、第4趾體積特征、第5趾體積特征、足跖區體積特征和足跟區體積特征，依次表示為V1、V2、V3、V4、V5、V6、V7。

區域體積特征的定義參照區域面積特征，所選取部位與區域面積特征完全一致，但計算的是選取區域的體積，只需使用分析系統中的體積測量工具即可像區域面積特征一樣自動計算，如表3所示。

表3 立體赤足足跡的區域重壓體積特征Table 3 Regional volume characteristics of three-dimensional barefoot footprints

2 基于BP神經網絡的人身識別研究

由于建模涉及多種分類問題，且大量的數據之間的劃分與非線性和多維空間的分類有關，為了盡可能地將數據正確分類，將對模型的參數進行調節[17]。

Multillayer Perceptron分類器涉及參數較多，選取模型影響較大的4個參數進行調試，分別為：Epoch(訓練的迭代次數)、Momentum(增加的波動阻尼)、Learning Rate(學習速率)和Batch Size(批量大小)。在進行參數調整時，嚴格按照控制變量法標準進行，當一個參數變化時，其余參數保持原有默認數值。

當一個完整的數據集通過了神經網絡一次并且返回了一次，這個過程稱為一個Epoch。然而，當一個Epoch對于計算機而言太龐大的時候，就需要把它分成多個小塊。在神經網絡中傳遞完整的數據集一次是不夠的，需要將完整的數據集在同樣的神經網絡中傳遞多次[18]。由于所使用的是有限數據集，并且一個迭代過程即梯度下降，因此僅更新權重一次或者使用一個Epoch是不夠的[19]。但是隨著Epoch數量增加，神經網絡中的權重的更新次數也增加，曲線從欠擬合變得過擬合，無法適用于新的數據分類。對于不同的數據集，Epoch的數量也不同。

如表4所示，Epoch越大，正確率越高，均方根誤差越小。但是過大的話，會造成模型的過度擬合，使得無法適應新的數據，不利于后續的驗證和實踐。

表4 Epoch數值調整結果Table 4 Results of numerical adjustment of Epoch

在對訓練集開始處理之前，BP神經網絡模型存在初始數據。這些初始數據搭建了簡單的基礎模型，初始數據對整個模型的構建具有重要影響，主要表現在：合適的參數可以極大地縮短訓練時間，提高模型的準確率。然而，關于BP神經網絡對步態特征進行訓練的研究尚鮮見報道，缺乏合適的初始參數。這就導致在研究中可能會被局部最優解所迷惑，而無法得到全局最優解。Momentum越大時，其轉換為勢能的能量也就越大，就越有可能擺脫局部凹域的束縛，進入全局凹域[20]。

如表5所示，Momentum越大，正確率越高，當Momentum達到一定程度時，正確率趨于穩定，但均方根誤差會減小。

表5 Momentum數值調整結果Table 5 Momentum numerical adjustment results

Learning Rate(學習速率)對權值更新的速度有著巨大的影響，學習速率過大會錯過最優解，太小又會減緩訓練速度。學習率過大，在算法優化的前期會加速學習，使得模型更容易接近局部或全局最優解。但是在后期會有較大波動，甚至出現損失函數的值圍繞最小值徘徊，波動很大，始終難以達到最優，因此引入學習率衰減的概念，是在模型訓練初期，會使用較大的學習率進行模型優化，隨著迭代次數增加，學習率會逐漸進行減小，保證模型在訓練后期不會有太大的波動，從而更加接近最優解。如表6所示，Learning Rate值越大，正確率越高，均方根誤差越小。

表6 Learning Rate數值調整結果Table 6 Learning Rate numerical adjustment results

Batch Size是指一次訓練所選取的樣本數。Batch Size的大小影響模型的優化程度和速度。在沒有使用Batch Size之前，這意味著網絡在訓練時，是一次將所有數據(整個數據庫)輸入網絡，然后計算它們的梯度進行反向傳播，由于在計算梯度時使用了整個數據庫，所以計算得到的梯度方向更為準確。但在這情況下，計算得到不同梯度值差別巨大，難以使用一個全局的學習率，所以這時一般使用Rprop這種基于梯度符號的訓練算法，單獨進行梯度更新。在小樣本數的數據庫中，不使用Batch Size是可行的，而且效果也很好。但是針對大型數據庫，一次性將所有數據輸進網絡，肯定會引起內存的爆炸，因此要使用Batch Size，其優點在于：①單個epoch的迭代次數減少了，參數的調整也慢了，假如要達到相同的識別精度，需要更多的Epoch；②適當Batch Size使得梯度下降方向更加準確。如表7所示，Batch Size達到一定值時，正確率趨于穩定，正確率趨于穩定。

表7 Batch Size數值調整結果Table 7 Batch Size numerical adjustment results

上述實驗通過對Epoch、Momentum、Learning Rate和Batch Size的參數不斷調試，選取了最合適的參數作為步態特征識別的BP神經網絡模型，即Epoch為500，Momentum為0.2，Learning Rate為0.3，Batch Size為100的BP神經網絡模型。

3 實驗與結果分析

將30名實驗者的類型依次命名為a,b,…,z，A,B,C,D，參照WEKA軟件自帶示例文本的格式，將30名實驗者的特征數據保存為WEKA可以使用的“.arff”格式。然后用WEKA軟件打開“.arff”格式的數據，利用WEKA軟件中的Multillayer Perceptron分類器，點擊Start開始人身識別模型的訓練，通過不斷地調試模型的參數，來建立一個準確、高效的人身識別模型。在進行訓練之前，已經隨機從30人中挑選3人，每人隨機挑出一組數據，共3組數據不進行訓練，而是作為檢測數據來驗證訓練得到的BP神經網絡模型效果。

例如，現場遺留了一枚犯罪嫌疑人的立體足跡。經過偵查人員調查后發現，只有30人有作案時間和作案嫌疑，但是卻無法將嫌疑鎖定在具體哪個人身上。此時可以用BP神經網絡進行步態特征的識別研究，具體步驟如下。

步驟1將現場立體赤足足跡用光柵立體足跡提取儀進行采集，作為檢材。

步驟2對30名嫌疑人依次進行立體足跡的提取。讓嫌疑人在與現場相同的承痕客體上正常行走，隨后按照相同的提取標準對嫌疑人的連續5枚相同足跡進行提取，作為樣本。

步驟3對檢材和樣本進行相同的圖像增強處理，有利于后續步態特征的提取。隨后，按照之前特征提取的標準提取樣本和檢材的3大類32種特征并計算。

步驟4將提取到的檢材和樣本特征數據各寫成“.arff”格式的文本，檢材作為測試集，樣本作為訓練集。使用WEKA軟件用BP神經網絡對訓練集數據進行處理，不斷調整參數增強模型的效果，最終選取準確性較強的一個模型作為步態特征識別模型。

行a～ag為30名實驗者的數據；列a～WW為識別分組；1為測試樣本圖2 實驗1分類結果Fig.2 Classification result diagram of experiment 1

步驟5將測試集的文本加載到WEKA軟件中，使用步驟4 得到的步態特征識別模型對測試集進行分類，觀察分類結果，再結合之前訓練集的準確度，則可將檢材歸屬于具體嫌疑人。

3.1 實驗一

建立一個模擬現場，讓實驗者p在模擬現場留下一枚立體赤足足跡作為檢材，對這枚足跡進行提取，增強，提取特征數據作為模型檢驗的測試集VV。隨后讓包含p的30名實驗者在相同承痕客體正常行走留下足跡樣本，重復上述步驟，得到30組數據作為訓練集。通過訓練集建立識別模型，再將測試集的數據加載到識別模型中，得到的結果如圖2所示。

由圖2可知，1被模型分類PP行，p列這個位置，表示模型將命名為PP的測試集分類給實驗者p，這與實驗設定的條件一致，表明試驗成功。

3.2 實驗二

建立一個模擬現場，讓實驗者a、p、w在模擬現場留下3枚立體赤足足跡作為檢材，對這枚足跡進行提取，增強，提取特征數據作為模型檢驗的測試集AA、PP、WW。隨后讓包含a、p、w的30名實驗者在相同承痕客體正常行走留下足跡樣本，重復上述步驟，得到30足數據作為訓練集。通過訓練集建立識別模型，再將測試集的數據加載到識別模型中，得到結果，如圖3所示。

行a～ag為30名實驗者的數據；列a～WW為識別分組；1為測試樣本圖3 實驗2分類結果Fig.3 Classification result diagram of experiment 2

通過圖3可以看出，1分別被模型分類AA行，a列；PP行，p列；WW行，w列這幾個位置，表示模型將命名為AA的測試集分類給實驗者a；將命名為PP的測試集分類給實驗者p；將命名為WW的測試集分類給實驗者w，這與實驗設定的條件一致，試驗成功。

經過上述兩個實踐表明，通過30名實驗者的步態特征數據作為訓練集得到的BP神經網絡模型可以進行這30人的步態特征識別。

為了進一步驗證所提出的基于BP神經網絡的步態特征識別方法對于人體足跡檢驗的準確性，對實驗2進行了1 000次重復試驗，并與傳統人工鑒別方法進行準確性比對，其結果如表8所示。結果表明，所提出的基于BP神經網絡的步態特征識別方法能夠客觀、準確的進行人體身份鑒別，相較于人工鑒別最高84.7%的準確率，本文方法的準確率達到90%以上，進一步驗證了本文方法的有效性。

表8 本文方法與傳統人工比對方法準確率比對結果Table 8 The accuracy ratio of the method is compared with that of the proposed traditional manual comparison method

4 結論

以立體赤足足跡作為研究對象，提出了一種基于BP神經網絡的步態特征識別。首先，對立體赤足足跡的深度差、區域面積、區域體積3種步態特征進行選取和測量，然后，首次引入BP神經網絡理論，對MultillayerPerceptron分類器參數進行優化調整，然后通過一系列實驗測試本文方法的有效性，并與傳統的人工檢驗結果進行比對，相對于人工鑒別方法只有84.7%的準確率，所提出步態特征識別算法的準確率達到90%以上，可以應用于刑事技術足跡檢驗和人身個體識別領域。