公安警務領域視頻圖像偵查關鍵技術綜述

□　文/唐文杰

公安警務領域視頻圖像偵查關鍵技術綜述

□文/唐文杰

引言

隨著視頻聯網監控系統在公安警務領域的應用，實時視頻監控和歷史視頻調閱等基本功能為公安人員巡查治安、辦案取證等工作帶來了很大幫助，同時，視頻監控系統的普及也為公安行業積累了海量的視頻圖像數據，如果對這些重要數據進行智能分析和處理，快速高效的獲得精確警報或線索，能夠充分發揮視頻圖像資源的作用，使得公安日常工作和刑事偵查更加快捷高效。然而，視頻圖像數據以指數速度增長，成為具有數據容量大（Volume）、數據類型繁多（Variety）、數據價值高（Value）、處理速度快（Velocity）4V特性的非結構化大數據，導致以人工方式從海量視頻圖像中發現線索非常耗時耗力，海量視頻資源的高效能應用正在成為公安警務領域案件偵破和治安管控的新要求。

視頻圖像偵查技術通過運動目標檢測、目標跟蹤、目標分類與識別、濃縮摘要、行為分析等技術手段對視頻圖像數據進行分析處理，得到結構化的簡短視頻和語義描述，轉化為公安實戰的重要情報。通過對實時視頻進行智能行為分析，并與提前設定好的規則進行比對，比如入侵、絆線、人群聚集等等，及時獲得異常事件的報警信息，使得視頻監控工作變得高效、準確及全面；通過對涉案視頻進行濃縮摘要，自動去除視頻中的靜止畫面，留下有價值的活動目標視頻，可以大大縮短辦案人員調閱歷史視頻的時間，比如一個120分鐘的視頻，在濃縮處理后，可能只需要1分鐘就可以快速瀏覽到視頻中所有的活動目標，大大提高了辦案效率，并解決了視頻的海量存儲問題，節約了存儲成本；通過對視頻圖像數據進行結構化，對檢測到的活動目標進行分類，檢測出涉案的行人、車輛及物品，與重點人員庫、車輛庫、物品庫等進行專業的識別比對，幫助辦案人員迅速發現重要線索，追捕嫌疑人。總之，視頻圖像偵查技術已成為智能視頻監控技術創新發展的一個重要方向，也是公安警務領域智能信息化的必由之路。

公安警務中視頻圖像偵查技術架構

視頻圖像偵查技術源自于計算機視覺技術和人工智能技術，目標是對視頻圖像數據進行多維度的特征提取，進而讓計算機讀懂視頻圖像的含義，定位跟蹤感興趣的運動目標，實時分析目標行為，并根據預定的規則進行處理，實現異常事件的前期預防和快速反應；也可以對目標進行分類識別，將視頻圖像按照人、車、物等線索進行關聯，實現案事件的后期偵破和高效處理。

視頻圖像偵查技術在公安警務場景中的基本應用有視頻濃縮摘要和檢索和行為分析預警，視頻濃縮摘要和檢索包括行人檢測、車輛檢測、人臉識別、車牌識別、特征檢索等，行為分析預警包括入侵檢測、絆線檢測、人群聚集檢測、物品丟失檢測、遺留物檢測等。公安警務領域的視頻圖像偵查技術架構如圖1所示，分為三個階段：

首先，采用圖像增強、背景建模等技術將實時視頻流或歷史視頻中的目標與背景分離，并對目標進行跟蹤。

然后，對成功跟蹤的目標進行分類，便于進行識別。目標分類將視頻檢測的運動目標分類為事先定義好的類別，實質上是提取目標的結構和語義特征，與類別特征進行映射，類別為從語義意義上選取的典型物體，目前在公安警務領域典型物體一般分為行人、車輛、人騎車三類，然后對這三類物體形態進行識別。

最后，在目標檢測跟蹤、分類識別的基礎上，對目標進行進一步的應用，可以進行壓縮拼接，形成摘要視頻，便于后續檢索，或者對目標的行為進行判定，如果有符合預先設定規則的行為，則觸發報警或進一步處理。

▲圖1　公安警務中圖像視頻偵查技術架構

公安警務中圖像視頻偵查關鍵技術

本文研究公安警務領域涉及到的視頻偵查關鍵技術，包括運動目標檢測、目標跟蹤、目標分類和識別、濃縮摘要和行為分析。

運動目標檢測

公安警務領域的運動目標檢測通過預處理、背景建模、目標分割等流程從視頻或圖像中提取出感興趣的目標，比如人、車、物等，并確定當前目標所在畫面的位置、大小，為后續的行人識別、車輛識別等做準備。運動目標檢測是后續跟蹤識別等算法的基礎，其準確率和性能直接影響了后續算法的效果，根據處理的對象不同，運動目標檢測算法分為基于背景建模的檢測算法和基于目標建模的檢測算法。

（1）基于背景建模的運動目標檢測

基于背景建模的運動目標檢測具有簡單、速度快、受遮擋影響小等優勢，但是背景建模要求背景固定、目標運動，因此在要求實時性強、攝像機固定的場景中應用廣泛。

基于背景建模的運動目標檢測首先進行背景建模，然后通過當前畫面與背景圖像的相減即可得到運動目標。但是模型建立后，可能對場景的變化比如陽光、云影、樹葉、波浪等比較敏感，而良好的背景模型能消除或減少背景動態變化對于運動目標檢測帶來的影響。目前有很多研究致力于背景建模與維護，如卡爾曼濾波建模、均值濾波、中值濾波、最大值最小值濾波、線性濾波、非參數化模型、近似中值濾波、基于高斯假設的迭代方法、基于聚類的方法、基于隱馬爾科夫的方法、基于自回歸模型的方法、基于在線學習的方法以及基于時空背景隨機更新的VIBE方法．其中，混合多高斯背景建模方法是目前普遍應用的一種前景提取方法．

（2）基于目標建模的運動目標檢測

相比于基于背景建模的方法，基于目標建模的運動目標檢測能良好的適應背景的運動，對目標的運動狀態也沒有要求，但是由于要對大量訓練目標進行統計學習，所以速度相對較慢，一般適用于對實時性要求不強的應用場景。基于目標建模的運動目標檢測一般采用滑動窗口的策略，掃描每個滑動窗口的圖像，根據模型判定圖像是目標還是背景，目標檢測的效果取決于模型的魯棒性。根據建模的方法不同，基于滑動窗口的目標檢測主要分為剛性全局模板檢測模型、基于視覺詞典的檢測模型、基于部件的檢測模型和深度學習模型，其他模型中有語法模型以及生物啟發特征模型等。其中剛性全局模板檢測模型中的梯度方向直方圖特征，成為近年以來最有影響力和最為成功的特征之一，而基于深度學習的目標檢測模型正在成為研究的熱點。

目標跟蹤

公安警務領域的目標跟蹤主要是跟蹤感興趣的行人、車輛、物品等目標，獲得目標的前景動態信息，如時間、位置、運動軌跡、方向等等，本質上是在連續視頻之間建立基于位置、速度、形狀等特征的對應匹配，目的是在連續視頻圖像的幀之間建立目標的對應關系，便于后續對目標進行辨認。目標跟蹤是視頻圖像偵查中最關鍵的過程，是后續分類、識別、壓縮及分析的重要前提。公安警務領域目標跟蹤多為單場景單目標或單場景多目標跟蹤，單場景單目標跟蹤是指對同一個攝像機拍攝的單一視頻場景中指定的某一個目標進行連續跟蹤，單場景多目標跟蹤相對復雜，是指對同一個攝像機拍攝的單一視頻場景中多個目標進行跟蹤。

單目標跟蹤主要有基于點的跟蹤、基于核或面的跟蹤、基于主動輪廓的跟蹤以及基于模型的跟蹤，其中比較常用的方法是預測運動體下一幀可能出現的位置，在其相關區域內尋找最優點。諸多研究成果集中在均值漂移算法，卡爾曼濾波，粒子濾波，粒子濾波改進算法。另外也有研究提出基于檢測的跟蹤，代表性方法有基于在線特征提升的跟蹤算法，基于多示例學習的跟蹤方法，利用在線的空時上下文結構信息來輔助跟蹤等。

多目標跟蹤問題更加復雜，有研究將其描述為一個候選區域和已有目標軌跡之間的數據關聯問題，代表性方法如多假設跟蹤器和聯合概率數據關聯濾波，也有一些研究將跟蹤問題看成是貝葉斯狀態空間推斷問題，如貝葉斯多目標跟蹤器。目前的多目標跟蹤算法普遍計算效率不高，如何考慮目標間的交互，并且提高多目標跟蹤的效率是一個值得研究的問題。

目標分類與識別

公安警務領域的目標分類與識別目的是對跟蹤到的目標進行辨識，比如識別到車輛的顏色、車牌號、車型車款、車飾物等特征，便于車輛布控、車輛違規檢測等工作的進一步執行。目標分類與識別技術首先利用大量的目標樣本對系統進行模型訓練，學習出不同目標的特征，然后在這些模型上驗證新的樣本是否匹配。

一般將視頻圖像中的目標特征分為底層特征和高層語義特征，底層特征包括全局特征、局部特征、結構特征等，其中全局特征又細分為顏色特征、形狀特征、紋理特征等，局部特征包括SIFT特征、SURF特征等；高層語義特征是指以底層特征為基礎，在語義模型上識別出的更高層次的特征，比如行為特征即為語義特征。本節重點闡述面向目標底層特征的分類與識別，在公安警務領域，目標底層特征包括行人衣著顏色、頭發顏色、車輛顏色、車牌號等等。

目標分類與識別是視頻圖像偵查技術應用的重要環節，也是最具有挑戰性的環節。好的目標分類與識別算法對模型的要求非常高，目前研究和應用較多的是相似度模型和深度學習模型。

（1）相似度模型

相似度模型首先將目標對象進行特征表示，即特征編碼，然后根據一定的相似度計算方法計算特征集合之間的相似關系。其中，特征編碼密集提取的底層特征中包含了大量的冗余與噪聲，為提高特征表達的魯棒性，需要使用一種特征變換算法對底層特征進行編碼，從而獲得更具區分性、更加魯棒的特征表達，這一步對目標識別的性能具有至關重要的作用。因而，大量的研究工作都集中在尋找更加強大的特征編碼方法上，重要的特征編碼算法包括向量量化編碼、核詞典編碼、稀疏編碼、局部線性約束編碼、顯著性編碼、Fisher向量編碼、超向量編碼等；相似度度計算主要包括向量空間模型、基于哈希的相似度計算以及基于主題的相似度計算。

（2）深度學習模型

經研究，人腦之所以能迅速看懂輸入的視頻圖像，是視網膜上的圖像映射經過層層神經元的提取和計算，每個層次都降低前一個層次處理的數據量，并且保留物體有用的結構信息。為了讓計算機也具有類似人類感知系統能夠更深入理解視頻圖像的能力，需要構建多層非線性處理組成的模型，即深度結構。從最早提出的含多個隱藏層的多層神經網絡以及向后傳播訓練算法，對深度學習模型的研究從未間斷，應用較好的有卷積神經網絡，Sigmoid信度網，深度信度網，以及深度信度網的變種，比如深度玻爾茲曼機、深度自動編碼機以及深度神經網絡等等。其中，深度卷積神經網絡在圖像識別應用上取得了較好的效果，盡管用監督學習的方式直接訓練深度神經網絡非常困難，但是卷積神經網絡卻成為了一個例外，相比傳統的多層神經網絡和相應的向后傳播學習算法，卷積神經網絡可以更容易的從非線性空間找到最優點。深度學習模型是目前目標分類與識別中最準確的方法。

濃縮摘要

公安人員在辦案過程中往往需要觀看與案發時間、地點等相關的所有視頻，傳統方式下，24小時的視頻要花費同樣24小時才能查閱完畢，而且可能發生遺漏，視頻濃縮摘要大大改善了這種工作模式，提高了視頻查證的效率和全面性。視頻濃縮摘要是指從原始視頻中提取有用的前景目標的活動信息，然后和背景視頻合成剪輯而成較短的視頻片斷，其中包含了原始視頻中所有重要的活動目標和快照，視頻濃縮摘要通常分為基于靜態關鍵幀的方法和動態的視頻縮略方法。

（1）基于靜態關鍵幀的方法

關鍵幀是能夠反映視頻主要信息的圖像幀，關鍵幀序列可組成故事板，它以簡潔的形式反映了視頻的主要內容。目前視頻關鍵幀的提取方法主要有基于顏色直方圖的方法，基于顏色熵的方法，基于運動活動性的方法，基于宏塊統計特性的方法等等。由于視頻圖像序列的相似性很強，存在很多冗余，因此現有的關鍵幀算法大多是基于鏡頭來進行的。

（2）動態視頻縮略方法

動態的視頻縮略可以看作是原始視頻的一種特殊編輯,它保留了視頻的主要內容和時間推進線索。目前研究者提出了很多視頻縮略算法，有基于聚類的方法，比如基于鏡頭序列或圖像色彩的相似性分析，光流法，擬合法等等；還有基于模型的方法，比如EDU模型，CPR模型，時空運動模型，馬爾科夫模型等等；基于語義的方法是根據高層語義概念特征對視頻進行切分和提取。

行為識別

行為分析技術可以實時發現視頻流中的異常行為，比如闖入電子圍欄、打架斗毆、闖紅燈等等，并及時處置，極大的改善了公安監控人員的日常監控工作，將公安監控人員從“死盯屏幕”的工作狀態中解脫出來。行為分析技術分為模板匹配法和狀態空間法。

（1）模板匹配法

模板匹配法將從輸入視頻圖像序列提取的特征與在訓練階段預先保存好的模板進行相似度對比，行為分析的結果即為與測試序列距離最小的已知模板的類別。常用描述行為的模板有運動能量圖像，運動歷史圖像等，后續的相似度匹配常采用最近鄰方法、馬氏距離計算法等等，另外，也有研究提出基于動態時間規整的模板匹配法。模板匹配法計算復雜度低、實現簡單，但對噪聲和運動時間間隔的變化比較敏感。

（2）狀態空間法

狀態空間法，又叫概率轉移法，該方法將行為的每一個姿態或運動狀態作為狀態圖的一個節點，通過某種概率將對應于各個姿勢或狀態節點之間的依存關系聯系起來，這樣任何人體行為運動序列可以看作在圖中若干節點或狀態之間的一次遍歷過程。應用較為廣泛的狀態空間模型為隱馬爾可夫模型和動態貝葉斯網絡，多為這兩類模型的改進版，比如耦合隱馬爾可夫模型，可變長馬爾可夫模型；抽象隱馬爾可夫模型；基于典型樣本的隱馬爾可夫模型；此外，熵隱馬爾可夫模型、分層隱馬爾可夫模型、最大熵馬爾可夫模型等也被用于復雜行為識別。貝葉斯網絡模型有基元動態貝葉斯網絡，分級貝葉斯網絡，含有多層狀態的分層且帶駐留時間狀態的動態貝葉斯網絡，此外還用神經網絡、條件隨機場、有限狀態機、置信網絡等方法來識別人體行為。

總結與展望

隨著視頻圖像分析在公安警務領域的普遍應用，視頻圖像偵查已成為繼刑偵、技偵、網偵之后的第四大偵查技術，所以提高視頻圖像偵查技術的準確度和速度已成為公安部門的迫切需求。本文總結描述了公安警務領域視頻圖像偵查關鍵技術的架構以及具體技術的相關算法，如運動目標檢測、目標跟蹤、目標分類和識別、濃縮摘要和行為分析。值得一提的是，深度學習模型在視頻圖像偵查中的應用非常值得期待，如何在大數據等高新技術的幫助下，使得深度復雜模型在保證準確率的前提下，提高計算效率成為新的研究方向。

作者單位：中國電子進出口總公司