海量視頻數據快速檢索

文/郭斌 蔡巍偉 王鵬

“十一五”期間，國內安防行業一直保持著高速增長，年復合增長率超過23%。作為安防行業最重要的組成部分，視頻監控行業在此期間也得到了高速的發展。隨著視頻監控大規模建設，積累了大量的視頻資料，現有的視頻監控體系和大量的視頻資料，為有關部門查詢破案線索、維護公眾安全方面起到了巨大的作用。

根據安防“十二五”規劃，“十二五”期間，“平安城市”、“科技強警建設工程”、“3111工程”等重大公共工程項目將繼續加大實施力度。隨著視頻監控體系的快速建設和視頻資料體量的高速增加，如何高效地使用海量視頻數據成為視頻監控行業面臨的一個挑戰。目前視頻監控廠家眾多，以及人工查看視頻數據的現狀來分析，在海量視頻數據的使用上存在以下三個主要問題：

視頻數據封裝、編碼格式未統一。視頻監控的國標目前還在實施中，之前建設的視頻監控體系中存在大量封裝、編碼格式不一致的視頻數據，觀看不同格式的數據需要不同的播放軟件。

完全靠人工查看的方式和視頻資料的體量相比較而言效率很低。一個平安城市的視頻監控建設，少則幾千路，多則上萬路甚至數十萬路。我們舉一個例子，一個視頻監控數據達到一萬路的某地，因為發生某刑事案件，需要調用其中100路的24小時錄像來查找線索，如果一個辦案人員按正常速度看完所有視頻資料需要2400小時，按4倍速看也需要600小時，如果需要提高查看速度只能使用“人海戰術”增加查看視頻的人員。而且，使用人工有一弊端，都是容易疲勞，注意力無法長時間集中，或者注意力集中了也容易忽略視頻中的某些目標，時而需要多次查看同一視頻資料來保證查證效果。

視頻數據的匯總的困難。以平安城市為例，分布式存儲和集中式存儲在實際應用中都是并存的。對于分布式存儲來說，需要對視頻數據進行檢索時，如果我們的檢索人員不能分布式工作，要求集中式工作，那么就要求對分布的視頻數據進行匯總。

同樣的，以上述的100路24小時錄像為例，假設這100路平均碼率為2Mb/S，每一路24小時的錄像文件大小約172800Mb，100路的錄像都通過網絡上傳到集中檢索所在處需要消耗的帶寬為17280000Mb約等于2110GByte。如果經過普通寬帶，以1Mb/S的速度傳輸，傳輸完1路24小時的錄像文件需要48小時。

通過千兆網絡可能達到500Mb/S的速度，但考慮到大部分存儲使用普通硬盤上，硬盤的IO瓶頸使實際的傳輸達不到這樣的速度，假設為100Mb/S，以這樣的速度傳輸，需要30分鐘左右。如果串行傳輸完100路，需要3000分鐘。

如果不用網絡傳輸數據，以更為原始的插拔硬盤集中的方式，則需要更多的人力、運輸成本，還不考慮插拔對硬盤帶來可能的損傷。

對于集中式存儲則沒有這個問題，但本文并非討論分布式存儲和集中式存儲的優劣，不進一步展開分析。

這三個問題中，隨著國標的推出，各廠家的標準化工作推進，以及部分有研發實力的高兼容性軟件的實現，第一個問題可以逐步解決或者不成為問題，其它兩個問題在現有框架和技術下成為海量視頻數據檢索的最大障礙。

我們回過頭來考慮視頻數據的檢索本身，我們需要在視頻中檢索什么？絕大大部分情況下，視頻畫面中運動的物體才是我們關注的目標，也正是需要檢索的對象。針對這一點，我們可以把視頻數據分為兩種：有運動目標的視頻數據和靜止場景視頻數據。這就是提升海量視頻數據檢索速度的第一個方法：

有效視頻數據提取

該方法的技術基石是圖像分析技術中的移動偵測技術。該技術在業界已經比較成熟。移動偵測我們可以在前端設備中完成，也可以通過后端處理來執行。以24小時錄像來說，鬧市區場景的錄像可能有1/3左右的錄像是無運動目標；而郊區場景的錄像可能有2/3左右的錄像是無運動目標，在檢索視頻數據時，我們只需要觀看有運動目標的視頻數據即可，無論是1/3或2/3，均能顯著降低所需檢索視頻數據的大小。

但是，在執行完視頻濃縮后，似乎又陷入了人海戰術的困境。如今，智能化監控大行其道，我們的智能分析算法能為視頻檢索帶來什么呢？目前，業界推出的智能產品已經有周界防范、車牌識別、人臉識別等較成熟產品，在這些產品里面，觸發周界防范規則的物體，被識別的車牌和人臉，都可作為視頻檢索的輸入檢索條件。智能算法可以集成在前端嵌入式設備中，也可以在后端設備中進行視頻數據的分析。除了利用移動偵測技術外，這里提出提升海量數據檢索速度的第二個方法：

基于智能視頻分析算法的檢索

前面提到，一段24小時的錄像，人工查看即使用4倍速查看也需要6小時，而利用計算機通過智能視頻分析算法進行視頻的自動檢索，檢索的速度則取決于視頻解碼和分析算法的運行速度。我們以對4cif的視頻數據執行周界防范算法為例，一幀視頻數據解碼加上算法執行的平均時間可以控制在10ms左右，也就是相當于4倍速。同樣四倍速，一個是不知疲倦的計算機，一個是極易疲倦和出錯的人腦。孰優孰劣，一目了然。

然而，利用計算機進行視頻數據自動分析及檢索，引出了海量數據快速視頻檢索的一大挑戰，視頻數據解碼及智能視頻分析算法將消耗大量的計算資源，計算機的性能瓶頸將嚴重制約海量數據的檢索速度，檢索效率還是無法得到有效的提升。如果我們檢索對象是海量視頻數據經過解碼并通過智能算法分析后輸出的智能源數據(Meta Data)，檢索速度將大大提高。這里提出提升海量數據檢索速度的第三個方法，也是關鍵性的方法：

基于視頻數據的元數據的檢索

如果我們把1段24小時的錄像，經過解碼，智能分析，把獲取到的智能元數據都存儲下來，對元數據的查詢速度可以達到十秒的量級。

我們來回顧一段24小時錄像文件的查詢速度提升過程：人工，正常速度查詢，24小時；人工，四倍速查詢，6小時；視頻濃縮后，人工四倍速查詢，3小時左右；視頻濃縮后，基于智能分析算法查詢，3小時左右；基于視頻數據的元數據查詢，十秒量級。

可以看到，最后一步才是質的提升，檢索速度量級的飛躍。到此，看上去很美，真的這么美嗎？基于元數據的查詢存在哪些問題呢？

移動偵測算法雖然比較成熟，但對于飛蟲干擾、燈光干擾、樹葉抖動等問題目前還沒有特別有效的解決辦法；基于智能分析算法的檢索，比如車牌識別、人臉識別，對視頻數據的場景要求比較高，普通的治安監控視頻基本無法執行這種分析。對于視頻場景適應性相對較好的周界防范，行為分析算法來說，雖然能較為準確分析出目標，但是對于目標進一步的分類，比如人、物、非機動車、機動車、目標的屬性特征,比如顏色、紋理、形狀等，目前還是業界面臨的技術難題。

雖然有上述兩大難題，隨著元數據的標準化，以及前端設備實時產生元數據和后處理產生元數據兩種機制和產品的并存，基于元數據的檢索必然會成為海量視頻數據檢索的主流。