負重環境下基于足底壓力和CNN-LSTM 網絡的性別識別方法研究

姚井睿， 杜明坤， 王茜儀

（江蘇警官學院， 江蘇 南京 210031）

0 引言

步態識別是一種新興的生物特征識別技術， 能通過人們走路的姿態對個人身份信息進行識別。 該技術具有獨特的優勢和應用前景，在輔助打擊違法犯罪、大型安保等諸多方面都可以為公安實戰帶來革命性方案[1]。

基于足底壓力壓力的足跡檢驗是公安領域中足跡檢驗的重要研究方向。 傳統的刑事技術對足跡檢驗依賴個人經驗，用以支撐的理論知識不足，在司法鑒定領域中仍有爭議， 尋找科學理論來支撐足跡鑒定成了當下有必要的研究。現計算機視覺和模式識別在飛速發展，足底壓力的采集已實現自動化，運用技術可提高特征提取效率，提取足跡圖像深層信息，從而更高效、更準確地識別。 通過自動化采集足底壓力分布來識別行為人的身份信息比如今依賴人工的分析更具客觀性。 目前深度學習技術也在飛速發展，基于足底壓力信息進行機械學習，已然可以研究出能實現 “行走人行走→足底壓力信息→個人特點和行走狀態” 這種可以對足底壓力信息進行更深一層挖掘的自動化分析方法。

姬瑞軍，王明月等[2]利用支持向量機的方法對足底壓力峰值進行性別分類，正確率為93.3%、測試集為80%。周丙濤等[3]采用帶有8 個壓力傳感器的鞋墊收集壓力數據，以卷積神經網絡CNN 為分類器，研究引入步態分割和多步態周期特這兩個征對提高精度的效果。 目前將足底壓力數據轉為圖像再利用CNN 網絡進行特征分類是主流研究方法，但該方法僅能較好地提取靜態信息，未較好地利用時間上的動態信息。另外，目前對性別上的分類正確率仍有提升空間。 所以本文提出將卷積神經網絡（Convolution Neural Networks，CNN）與長短期記憶網絡（Long Short Term Memorynetworks，LSTM）結合，綜合利用CNN網絡提取靜態信息的能力及LSTM 網絡提取動態信息的能力。 該方法是對目前改進CNN 網絡方法缺乏時間信息的融入及提高性別識別正確率的有效探索， 有較大的研究和發展空間。

此外， 在刑事案件里， 常出現嫌疑人負重行走的情況，包括嫌疑人攜帶作案工具、攜帶贓物逃跑等。 甚至慣犯會刻意在現場留下偽裝足跡以迷惑偵查人員。 不同的負重方式及負重重量都會對足底壓力產生一定的影響[4]。因此，本課題研究多種負重環境下的足底壓力，依此減少自動化性別分類系統負重方面的干擾。

1 基于CNN-LSTM 網絡的性別識別方法負重

傳統的機器學習方法在步態識別領域中有許多的不足，比如說，KNN 的計算量偏大，SVM 算法處理較大樣本量的訓練樣本較難。 而作為主流方法卷積神經網絡CNN雖然在圖像數據的上具有極大的優勢，但泛化能力、魯棒性、 面對微調或存在噪點的圖像時的結果穩定性等方面都存在問題，而且不擅長處理包含時間序列的數據。而足底壓力采集系統有一個特殊的地方， 就是它采集的是一個動態的過程，適合抽象成一段灰度圖像視頻進行分析。鑒于CNN 模型處理的學習對象大多是靜態圖像而不是圖像序列，我們可以引入借鑒長短期記憶網絡，重點參考LSTM 關于時間信息的處理。

1.1 利用VGG-19 網絡將視頻幀轉換為特征向量

卷積神經網絡[5]是深度學習中的一類代表性算法，這種算法在靜態圖像識別領域已獲得較大成功， 比如在MNIST 等大規模視覺識別挑戰等數據集上的認識能力已逼近甚至超過了人類，比人工設計提取特征的能力要強。

卷積神經網絡將輸入的圖像卷積后得到特征映射圖， 將特征圖中的像素求和加權后通過激活函數得到下一層的特征圖。 反復操作后將所得特征映射圖展開成一維向量，輸入全連接層中得到輸出。卷積神經網絡卷積和池化的隨機組合賦予了CNN 很大靈活性，因此也誕生了很多訓練好的經典網絡：AlexNet，VGGNet，Google Inception Net 等。 在卷積網絡中不斷疊加卷積層及池化層，再對網絡進行優化， 改進卷積核， 最終搭建了16 層的VGG-16 網絡模型和19 層的VGG-19 網絡模型。VGG-19網絡結構中包括5 組16 層卷積層，每組卷積后都會進行最大池化，再經過3 層全連接層，最后經過softmax 輸出結果。其中激活層并不算入VGG-19 層中層。其基本結構如圖1 所示。 基于已有足底壓力圖像及其特征對人身個體信息預測的實驗， 本文采用的是VGG-19 網絡，VGG-19 網絡模型比之前的淺層卷積神經網絡模型準確率高、模型優化效果更好、適應性更強[6]。

圖1 VGG-19 網絡結構圖

本文把足底壓力信息圖像化， 借鑒VGG-19 網絡網絡模型，進行參數調節后，使數據經歷過5 次卷積后，提取到的特征， 再經過池化和全連接層， 最后從全連接層“fc7”導出提取出的視頻特征向量。

1.2 LSTM 預測足底壓力視頻性別標簽網絡

長短時記憶神經網絡LSTM 是時間遞歸神經網絡中的一種， 這種網絡適用于處理和預測時間序列中間隔和延遲比較長的事件。它通過記憶單元的設計，再循環網絡的基礎上引入時間概念， 添加了網絡通過門控機制來控制信息的遺忘門、輸入門和輸出門。遺忘門即對上一個節點傳進來的輸入進行選擇性忘記；輸出門，即有選擇性地進行“記憶”；將上面兩步得到的結果相加，即可得到傳輸給下一個狀態，即輸出，用于決定哪些將會被作為當前狀態的輸出， 這一階段還對上一階段得出的結果進行了放縮（通過一個tanh 激活函數進行變化）。

因為LSTM 模型具有選擇性記憶的能力， 能更好的依賴更長距離的時序，在動作分類方面優勢更大，因此非常適合基于足底壓力傳感器采集生成的圖像序列。 通過LSTM 網絡，可以對行走過程中重要壓力采集時段進行足跡壓力動態分析。對于本實驗，可以極大拓寬了采集的可行性與實用。

1.3 構建CNN-LSTM 網絡模型

本文通過matlab 將預訓練圖像分類模型VGG-19 和LSTM 網絡相結合來創建視頻分類網絡。使用預訓練網絡VGG-19 將視頻轉換為特征向量序列， 以從每幀中提取特征， 再基于序列訓練LSTM 網絡來預測足底壓力視頻性別標簽，然后通過合并來自兩個網絡的層，最后組合成一個直接對足底壓力視頻進行性別分類的網絡， 如圖2所示。

圖2 CNN－LSTM 足底壓力視頻分類網絡架構

首先創建VGG-19 網絡的層次圖。 刪除用于激活的輸入層和池化層后面的層 “input”“relu7”“drop7”“fc8”“prob”“output”。 再添加序列輸入層將圖像序列輸入到網絡。 其次，因要將卷積運算獨立地應用于視頻的每幀，所以每個卷積層后都添加序列折疊層。 因為要還原序列結構體并將輸出重構為向量序列， 所以再次連接一個序列展開層和扁平化層，隨后添加一個LSTM 層以用于分類。之后添加一個由2 個全連接層組成的分類網絡逐幀預測。 在這之后引入softmax 層，用于第c 類這類輸入視頻序列的后驗概率計算。

2 實驗及結果分析

2.1 實驗場地和設備

江蘇警官學院實驗樓301 室，本項目所用footscan 足底壓力采集系統，尺寸為38×200cm，采樣頻率可達125～300Hz。 本實驗使用的采集系統采樣頻率為126.01hz。

2.2 實驗研究對象

選取年齡為18～22 歲的50 名在讀公安院校大學生，無任何身體疾病及行走疾病，包含35 名男性及15 名女性。

2.3 樣本收集

每次采集前記錄被采集者的性別、年齡、身高、體重及鞋碼。 以正常無負重5 趟、左側單側負重2.5kg3 趟、右側單側負重2.5kg3 趟、左側單側負重5kg3 趟、右側單側負重5kg3 趟、 雙側各負重2.5kg3 趟，5 種負重方式共進行20 次實驗，50 人共1000 份樣本。 受試者雙足脫鞋，采集前先讓被實驗者以正常行走方式熟悉適應測力板，保證采集過程的客觀性，排除人為心理因素干擾。得到系統提取的Dynamic Roll off 類型數據， 該數據以Excel 表格形式記錄連續的幀序列， 為受試者由第一次落足在測力板上時的壓力數據到最后一次起足離開測力板時各足與壓力板接觸區域的壓力數值變化。

2.4 數據處理

使用通過MATLAB 將數據逐幀提取，進行歸一化到0～255 區間，再將數據集轉換為灰度圖像圖像，后逐幀合成為視頻， 最后將視頻數據調整其大小以匹配VGG-19網絡的輸入大小，即每幀大小為244×244×3。

2.5 實驗結果及分析

本實驗將實驗樣本進打亂， 再將其中90%作為訓練集，10%作為測試集，導入之前設計好足底壓力視頻性別分類模型內。LSTM 模型中的參數設置為LSTM 隱含層數量（numHiddenUnits）為2000 層，丟棄率為50%，最小批量處理尺寸（miniBatchSize）為21，每輪迭代次數為31 次，迭代輪數為50 輪學習率0.00013。 單GPU 處理耗時14 分2秒。

訓練CNN-LSTM 組合網絡模型的驗證準確率為98.31%，男性女性都高于90%，在測試集上識別準確率為89.78%。參數選擇結果見圖3，混淆矩陣見圖4。優于訓練集正確率為93.3%、 測試集為80%的利用支持向量機對足底壓力峰值進行性別分類的分類系統[8]。在測試集中，識別失敗多集中在個人身上， 因負重干擾而導致的性別分類失敗個數較少， 表明該網絡可以克服負重對性別識別上的干擾。

圖3 參數選擇結果圖

圖4 用混淆矩陣表示性別分類的結果

3 結束語

本文通過footscan 足底壓力自動化采集系統對20歲左右的35 名男大學生和15 名女大學生采集了不同負重環境下足底壓力數據，使用MATLAB 對2 米板內各足與板接觸時變化的足底壓力數據進行數據處理成足底壓力視頻， 并用MATLAB 搭建CNN-LSTM 神經網絡視頻分類模型對性別進行分類， 驗證準確率為98.31%，在測試集上識別準確率為89.78%。 該CNN-LSTM 視頻分類網絡為足跡所反映的步態特征分析性別提供了實驗依據，一定程度上也論證了利用犯罪嫌疑人足跡所反映的步態特征分析性別具是科學有效的， 且具有克服了負重情況干擾的優勢。 但實驗樣本數有待提高，男女樣本數有待均衡，樣本年齡范圍有待擴大。 未來的研究重點在改進的特征提取的效率等進一步優化模型來得到更好結果的步態識別模型， 并與將三維立體足跡轉為二維壓力數據的技術結合，提高立體足跡利用率，使之更好的應用于公安實戰。