基于深度神經網絡與相似性分析的視頻行人識別檢測

（云南省大理州公安局科技信息化處副處長）

在過去的幾年中，大數據采集與深度神經網絡技術應用極大地推動了計算機視覺領域的發展，并廣泛應用于公安安防行業。行人識別是安防行業視頻結構化的重要環節，主要應用于嫌疑人員布控搜查，通過對大量已有監控視頻進行分析，可以從中快速檢索出疑似的人員，相比傳統的人工查看監控錄像，行人識別系統能極大提高效率，意義重大。本文設計了一種行人識別深度神經網絡，并進行了相關實驗驗證，結果表明所提出的方法能夠快速準確地提取視頻圖像中的行人特征，滿足真實場景公共安防需求。

一、引言

隨著人工智能技術的飛速發展，視頻分析技術得到了極大提升，并廣泛應用于智能安防、自動駕駛、生物醫療、語義分割等多個領域。其中智能視頻分析在公共安全領域的作用尤為突出。

行人識別是安防行業視頻結構化的重要環節，主要應用于嫌疑人員布控搜查。傳統的嫌疑人員布控緝拿需要對作案嫌疑人的相關身份及活動進行調查，安置于城市各個角落的高清攝像機能夠提供很好的幫助，通過對大量已有監控視頻進行分析，可以從中檢索出嫌疑人員的活動信息，對安防管理意義重大。但傳統的人工查看監控錄像搜集有效信息不僅人力成本過高，而且效率低下，已經無法滿足當前安防的需求，因此行人識別系統就變得尤為重要。目前已有不少國內外學者進入到行人識別這一領域。

本文主要對視頻圖像中行人的相似性進行了研究，旨在利用深度神經網絡等技術，分析不同視頻幀中出現的行人圖像的相似性，判斷不同行人圖像是否為同一行人，并給出相似概率。該方法可以很好地解決視頻錄像資料的檢索問題，實時場景行人跟蹤等安防問題。

二、行人識別網絡模型

本文采用 ResNet50 做為基礎網絡，并對其進行改進以適用于特征提取。ResNet最早在 2015年被提出，其基本思想為：在網絡的多層卷積中引入一層或多層殘差連接，將前層卷積信息引入后層，通過殘差映射校正過深網絡存在的準確率下降問題。ResNet 解決了隨著網絡的加深，訓練集準確率下降的問題，并在當年的ImageNet 分類任務上取得了最佳的準確率，之后逐漸出現很多基于 ResNet殘差的深度網絡。本為采用 ResNet50作為基礎網絡，主要考慮到行人識別需要很高的初始檢測率，此外為了兼顧計算效率，未采用更深的網絡。

ResNet50 由5個主要部分組成 ：conv_1，conv_2，conv_3，conv_4，conv_5。其中 conv_5 結構最后一層輸出為 1x1x2048維向量，倒數第二層為 3x3x512 維向量，倒數第三層為 1x1x512 維向量。這里我們將倒數第三層網絡結構改為 3x3x512，這樣就豐富了網絡層特征，使提取到的信息更完整，同時將倒數第二層網絡改為 1x1x4096，這樣降低了計算參數的復雜性，有利于提升計算速度，且修正過的網絡層能夠將上層網絡傳遞的信息進行提前編碼，經過兩次特征編碼：1x1x4096 和 1x1x2048 后，得到的圖像特征可更好地適應分類任務。

需要注意的是，若某一幀圖像中包含多個行人，經過行人識別神經網絡后我們會得到多個 1x1000 的特征向量，這里我們僅保留預測概率大于80%的特征向量，預測概率過低的特征向量視為非行人特征，同時丟棄對應的預測 box。

三、實驗分析

實驗分為幾個主要部分，包括樣本數據集處理，行人識別網絡模型搭建，深度網絡結構調參，網絡性能及分析，行人特征提取和判別。

3.1 樣本數據集處理

本文采用業內標準行人數據集：Market-1501 and Mars數據集作為實驗樣本數據，Market-1501數據集包含1501個行人共計32217張人工標注圖像。該數據訓練樣本集包含12936張圖像，測試樣本集包含19281張圖像。MARS 數據集包含1261個行人共計1191003張裁剪圖像，訓練樣本集包含 509914 張圖像，測試樣本集包含681089 張圖像。

深度網絡模型數據集構建方案為：從行人數據集 Market-1501中選取共計 30000張行人標注圖像作為正樣本集，從正樣本集中選取 25000張圖像作為訓練正樣本集，剩余5000張圖像作為測試正樣本集。從ImageNet數據集和 coco 數據集中篩選非行人圖像共計 30000 張作為負樣本數據集，從負樣本數據集中選擇 25000 張圖像作為訓練負樣本集，剩余 5000 張圖像作為測試負樣本集。

識別測試數據集構建方案為：從Mars數據集中挑選 20 個行人共計80張圖像作為校驗數據集，用于測試行人識別精確度。由于系統應用場景滿足一張圖像中出現的行人數少于 20人，因此并不涉及大規模行人檢測問題，隨機任選 20 人對做測試足夠再現真實場景中最為嚴苛的情況。此外，可選取 20★20 個行人共計 80★20 張圖像進行 20次重復實驗，取均值作為最終準確度，本文中給出單次實驗計算結果，同類實驗可復現，不再描述。

3.2 模型訓練及調參

近幾年出現了許多性能優秀的深度網絡平臺，最為流行的包括 caffe，mxnet，pytorch，tensorflow等。雖然tensorflow 設計靈活且兼容numpy，scikit-learn等優秀計算庫，適合算法快速開發，但在圖像計算方面 caffe 具有速度優勢，考慮到系統檢測速度的實時性要求，本文選擇caffe平臺設計搭建對應網絡結構。

軟件環境為centos7，opencv3.2，cuda8.0，cudnn5.1，boost1.55 等。

硬件設備環境為CPU∶ i7-6800k；雙路英偉達 gtx1080ti 計算卡。

訓練過程中設置每個批大小 batch尺寸為 64，測試 batch尺寸為 64，基礎學習率learning rate初始設置為0.01，對應 caffe模型的 gamma值設置為 0.1，動量 momentum 設置為 0.9，權值衰減 0.0001，每完成 2000 次 batch運算進行一次測試，總迭代次數為10萬輪。最終的模型精度達到 94%左右。值得注意的是網絡最后2層的特征抽取層導致模型精度未繼續提升，但結合后續的相似度判定，仍能得到非常不錯的識別精度。由于batch設置較大，經過 4000輪迭代訓練后，損失降低為1.119910，迭代訓練圖片數量為256000張，模型精度提高較快。后續迭代至10萬輪，最終損失降低至e-2數量級，模型精度基本穩定，達到訓練要求。

模型訓練過程采用分布式訓練，硬件設備為兩張gtx1080ti，訓練時間約為15小時，包括一次預訓練和一次繼承訓練。實際檢測過程采用圖像放縮等方式，運算速度滿足每秒 25幀要求，且部署多個模型可實現更大規模的圖像并發處理能力，本文實際部署2個網絡模型，性能可以達到每秒50幀以上，已經能夠完全適用系統性能要求，且系統可拓展至服務器端圖像識別。通過搭建多模型，可實現服務運算速度的線性提高。

3.3 特征提取與檢測結果

本文根據加權準則編寫了對應的功能及邏輯模塊，用于分析行人再次識別判定，具體流程為：拷貝 caffe最后一層layer的行人特征至內存，根據加權準則計算請求識別的行人特征相似性，通過網絡模塊返回檢測Dataset Identities Images Label method Crop size Multi-shot SequencesMarket-1501 1501 32217 Hand+DPM 128★64 Y NMars 1261 1191003 DPM+GMMCP 256★128 YY結果。由于視頻為1920★1080分辨率，為提高運算速度，將圖像尺寸放縮為 960★540分辨率，為保證良好的識別率，建議行人目標區域滿足80★160及以上大小。我們選擇MARS識別測試數據集做測試，測試方法為計算出20 個行人共 80 張圖像的特征向量，然后任選一向量，根據加權準則查找與其最相似的特征向量，判斷查找到的最相似行人與目標行人是否為同一行人，依次不重復遍歷80個向量，檢測結果如下：行人目標總數 80，漏檢行人目標數 0，最相似查找正確數 80，最相似查找錯誤數 0。

需要注意的是雖然目標行人全部識別正確，但最低的相似度閾值只有0.4左右，對于通用性檢測，應設置相似度閾值 0.7至0.8之間，此時雖然導致漏檢正確識別，但可以保證查找的高準確性，滿足實際使用，且該閾值在實際應用中具有很好的效果和通用性。

此外，實際應用中，由于不同場景中實際視頻圖像受拍攝角度、光照影響，同時會有部分行人遮擋，精確度可能有所降低，排除上述擾動因素，在視頻環境良好且分辨率足夠的情況下，行人檢測實際效果良好，在保證實時檢測的同時滿足精確度。

四、總結

這種行人識別深度神經網絡，能高效準確提取視頻中出現的行人特征，并設計了新的相似性檢測方法，用于分析不同行人之間的相似度。該系統適用于公安安檢行業的嫌疑人員檢索布控，檢索解析視頻中出現的疑似嫌疑人員。最后通過真實數據驗證了該算法的快速性和有效性，在視頻分析領域有較強使用價值。