公安視頻監控中行人重識別數據集的構建方法研究

楊天奧 李心果 鄒佳琦 楊皓然 謝心遠 王勝

摘 要

針對跨攝像機視頻監控下的行人重識別技術在公安業務中落地的問題，本研究通過分析現有數據集的特點以及公安監控的特點，探索用于公安業務的行人重識別數據集的構建方法，研究成果有助于促進行人重識別技術在公安實戰中的深度運用。

關鍵詞

數據集;視頻監控;行人重識別;公安

中圖分類號： TP391.41 ? ? ? ? ? ? ? ? 文獻標識碼： A

DOI：10.19694/j.cnki.issn2095-2457.2020.19.054

Abstract

For the application of person re-identification technology across non-overlapping video monitoring cameras in public security area，by analyzing the characteristics of existing datasets and the characteristic of the public security monitoring systems，this study explores the datasets construction methods for public security use，research results aim to promote the depth use of person re-identification technology in public security practice.

Key Words

Datasets;Video surveillance;Person re-identification;Public security

近幾年，隨著監控部署數量的飛速增長，公安實戰中利用攝像頭所采集的視頻數據，通過提取嫌疑人特征、軌跡，確定嫌疑人身份，從而破獲了大量的案件。行人重識別技術是計算機視覺領域通過跨攝像頭下的行人匹配，從而識別出現對象是否為同一人的技術。隨著深度學習技術的普及，行人重識別技術在實際業務領域得到了廣泛的應用，特別是在公安機關的刑偵工作中，使用行人重識別技術可以有效提取單個行人在多個攝像頭下出現的時間、地點、狀態等信息，從而極大地縮短了通過海量視頻鎖定嫌疑人的時間。有關數據集的研究也不斷地發展，近幾年在規模上呈現了較大增長。由于目前現有的數據集均為各研究機構自建，主要用于非商業用途的模型訓練與評估，因此在公安業務中，需要探索適應各地業務需求發展，并具有顯著規模和代表性的自有數據集。

1 現有數據集的發展情況

目前按照深度學習的訓練任務，數據集主要有多種類型，較為常見的主要有：

（1）常規的基于圖片的數據集，以VIPeR，PRID2011，Market-1501為代表，如表1所示。

其中Market-1501[1]是在清華大學的開放校園環境下由6個攝像頭采集的數據集，共有1501個人物身份。其中，通常751人的圖片被用于深度模型訓練，750人的數據用于測試，共包含3368個查詢圖像，測試集中有19732幅圖像，訓練集中有12936幅圖像，分辨率均為128*64。

（2）基于視頻的行人重識別數據集：iLids-Vid[2]。iLids-VID數據集采集自飛機場的到達大廳，由兩個不重疊的攝像機構建了該數據集。每個行人有2個攝像頭分別采集的視頻序列，序列長度由23至192不等的視頻幀構成，平均長度為73幀。視頻序列由于服裝的相似性，光照條件和視角影響，并且存在復雜的背景和遮擋因素，因此具有挑戰性。

（3）基于跨模態特性的數據集：SYSU-MM01。SYSU-M M01[3]數據集包括2個IR（紅外場景）攝像機和4個RGB攝像機，分別描述夜間和白天的行人特性，用于訓練具有兩種模態間特征提取能力的模型。

2 現有公安監控的特點

通過對現有學界數據集的分析，目前公有數據集從分類上，已經覆蓋了公安工作所能出現的絕大多數場景，但存在的不足主要有：{1}單個數據集的采集地點主要為校園、街道等，場景上相對比較單一;{2}單個人員的變化較少，不能反映實際公安業務中人員衣著、服飾、發型、年齡、步態等變化的特點;{3}單個人員圖片的數量較少，通常只有10張左右，對于人物特征的反映不夠全面;{4}不具備常態化的數據集擴充能力。

通過對現有公安監控的分析，目前監控設置的種類較多，主要有轄區治安監控、道路交通監控等，這些監控安裝的方式存在差異，采集到圖像的形態也呈現不同。以某一個小區的治安監控為例，通常需要覆蓋轄區的主要出入口，并能夠采集到行人進出的正面和反面姿態;道路監控則更面向車輛，道路通行情況，人員占比相對較小，因此人物的識別更為困難。此外由于監控安裝部署的廠商、型號不同，監控普遍存在分辨率、畫面差異等現象。在公安實際中，出現的人員主體的形態、交通方式也存在差異;人員出現的衣著、裝飾受季節、天氣因素影響，光照條件存在顯著變化。以時間維度考量，在目前辦理的案件中，諸多盜竊案發生于夜間，人物多由紅外攝像頭采集，由于目前的算法很難在RGB和紅外圖像間進行模態轉換和關聯，因此通過夜間進行大數據庫的比較頗為不便，因此需要構建既包含嫌疑人夜間影像和日間影像的跨模態數據集。

3 符合公安業務的構建方法的探索研究

基于對公安監控特性的分析，本研究以江蘇警官學院校園監控為研究載體，開展了一系列數據集構建的采集、標注、分類和處理工作，并總結歸納了主要的構建目標和構建方法。

在構建目標方面，主要針對目前公有數據集種類、數量上的不足，以及公安監控所具備的特點，探索更適宜現實場景的數據集構建目標，主要有：{1}能夠反映人物的主要的活動狀態，原始數據的采集需全面;{2}數據集的人數數量、單個行人的圖片數量應盡可能多;{3}數據集采集的圖片能夠準確標注，標注能夠反映人員的位置，時間信息;{4}構建的數據集具備長效的更新能力。

在構建方法方面：通過獲取原始的視頻數據，為面向圖片和視頻的數據集提供有效素材;利用以傳統的DPM方法或其他自動方法檢測行人位置;對檢測結果進行自動為主，人工確認的準確標注;將數據集進行有效的分類和管理，應用于以圖片、視頻、跨模態、步態識別等的工作任務。

本研究中，針對采集的數據集，進行了簡單的實驗驗證。實驗環境以Pytorch深度學習框架，搭建了基于Resnet的深度學習框架，通過圖片截取，行人標注生成的數據集進行測試，獲得了在Rank-1指標下超過80%的準確率。

4 結論

本研究中通過對目前行人重識別數據集的分析和公安監控的特點研究，探索并總結了符合公安業務需要的數據集構建方法。通過對方法的有效運用，有助于促進行人重識別技術在公安視頻偵查領域的深度應用，提升民警的辦案效率。

參考文獻

[1]宋婉茹，趙晴晴，陳昌紅，干宗良，劉峰.行人重識別研究綜述[J].智能系統學報，2017，12（06）.

[2]馮霞，杜佳浩，段儀濃，劉才華.基于深度學習的行人重識別研究綜述[J/OL].計算機應用研究：1-9[2020-04-14].

[3]葉鈺，王正，梁超，韓鎮，陳軍，胡瑞敏.多源數據行人重識別研究綜述[J/OL].自動化學報：1-16[2020-04-14].