智能視頻分析在海量視頻檢索中的作用

隨著視頻監控系統在公安、交通等敏感領域的大規模應用，電子眼幫助破案的報道時有所耳聞。一方面，這些事例從正面體現了視頻監控系統的社會價值；另一方面，也引發了更多的關于視頻檢索的深層次需求。在實際應用的過程中，用戶常常希望可以快速的從海量的數以萬計的攝像頭視頻錄像中，方便的找到一些有明顯特征的人或物。傳統的基于預設告警和時間的視頻檢索方式，對于這類深層次的需求往往無能為力，常有“隔靴搔癢”之憾，因而如何快速準確的進行智能的檢索就成為大型視頻監控系統需要解決的重要課題。

傳統海量存儲技術的應用瓶頸

就平安城市這樣的大型視頻監控系統而言，每時每刻系統中都有海量的視頻在進行存儲。這些視頻對于打擊犯罪，保衛人民生命財產安全是至關重要的。目前基于分布式的系統構架設計的大型視頻監控平臺，采用分治的方法，綜合使用前端存儲（NVR/DVR），后端存儲（存儲服務器、磁陣等）等多種策略結合。從技術上看，已經可以比較穩妥的解決海量視頻的存儲問題。但是，主流的基于時間點和預設事件的檢索方式相對于當前復雜的治安形勢就過于簡單了。下面以一個現實中的檢索需求為例，對傳統的檢索方式進行分析。

檢索需求：檢索在10：00 到 12:00，出現在某銀行正門附近的，穿白色襯衫的男子。

為實現找到符合條件的視頻，在傳統視頻存儲系統中，將需要很多人力進行人工分析。傳統監控系統可以通過GIS比較準確的找到XX銀行正門附近的攝像機，通過時間檢索找到相關的視頻，之后就需要靠人力進行人為調看，即使在16倍速的高速瀏覽下，進一步找到相關視頻也是一件十分浪費人力和時間的事情，而且由于人的參與，長時間觀看導致漏檢的風險很大。

我們可以看到，在實現這一檢索需求時，傳統的檢索方式顯得比較笨拙。檢索檢索方式不夠“聰明”，這已經成為傳統大型監控系統應用中的一個瓶頸。

考慮到具體案件的復雜性，今天關于“白襯衣”的要求，明天可能變為“花襯衫”，所以用戶不僅要求檢索更加“聰明”，而且也要足夠“靈活”。當然，用戶還希望系統能夠盡快完成查詢。那么，我們可以將用戶對海量視頻存儲系統的檢索要求歸納為“更聰明”、“更靈活”、“更快捷”。

使用智能分析技術提升檢索算法有效性

引入智能視頻分析技術實現“聰明”和“靈活”

既然，用戶迫切需要檢索更加“聰明”，那么使用智能分析技術提高系統的“智商”就勢在必行了。

目前應用于視頻監控的的智能視頻分析技術可以歸納為：目標提取技術、目標分類（識別）技術以及規則判斷技術等3個彼此依存的技術譜系。這3類技術構成了智能視頻分析系統的3大基本模塊：目標提取模塊、分類識別模塊、規則判斷模塊，如圖1所示。

圖1：智能分析系統結構簡圖

首先，數字視頻流經過視頻解碼，解碼為智能視頻分析系統可以識別的視頻或圖像序列，作為智能視頻分析系統的輸入。分析系統首先使用目標提取輸入圖像序列進行前背景分離，完成目標提取工作；比較復雜的智能視頻分析系統一般帶有分類功能，可以對識別出來的目標進行模式識別，分辨出目標的更多屬性，如比較常見的分類器包括：人車分類，顏色分類、行為分類等；此后系統將被提取的目標和與之分類信息，交給規則判斷模塊，進行規則推理，如果違反了某些設定的規則，系統將輸出告警。

將上文提到的檢索需求套入到上述流程中，可以發現現有的智能視頻分析技術在“理論”上能夠幫助完成這個需求。“白色襯衣、男子”這些是對分類識別模塊的識別要求，同時也是判斷推理模塊中的規則。也就是說所謂的更“聰明”對應于智能視頻分析技術就是要求分類識別模塊更強大；檢索的需求一定是會不斷變化的，比如“白襯衣”變成“花裙子”，“男子”變為“女子”，“靈活”的要求需要規則判斷模塊來完成。

于是，我們可以得到一個新的系統模型（模型1），如圖2所示。這個系統模型在傳統海量存儲系統上增加了智能視頻分析功能，從而完成了使系統變得“聰明”了。

圖2：引入智能分析服務器的海量存儲系統（模型1）

當用戶發起查詢時，首先通過規則生成器，將查詢要求翻譯成規則，輸入規則推理模塊，之后系統對相關視頻進行智能分析，也就是進行目標提取和目標分類識別，同時規則推理判斷，找出符合要求的視頻，如圖3所示。

圖3：基于模型1的查詢時序圖

這個模型借助智能視頻分析技術，可以提升查詢系統的“智商”，實現用戶關于“聰明”和“靈活”的訴求，但是這個系統的效率如何呢？還有一個問題需要考慮，就現在的智能視頻分析技術而言是否能夠有足夠精確的目標提取、模型匹配的精準算法從而來判斷“男女”，區分“白色襯衫”和“白色風衣”的不同。這些問題在現有的分析技術和算法模型中都是很難解決的，綜上，這個模型存在的問題表現在：

一是效率較低，查詢速度取決于分析速度。

二是對于實際應用中的現實要求，智能技術又無法達到的情況沒有進行處理。

使用視頻分析技術構建“線索”數據庫

模型1之所以效率較低，主要是因為需要將可能存在的目標進行智能分析，智能分析算法需要時間來完成。這一過程限制了這一模型的效率。

實際上，對于這一問題我們可以通過增加實時視頻智能分析服務器的辦法，對實時視頻在存儲的同時進行智能分析，同時將目標提取模塊、分類識別模塊輸出的結果保存到數據庫中，以提升檢索的效率。這個思路與google所采用的視頻檢索技術比較類似，只是提取目標和分類分析的視頻源不同，進行預處理的時機不同。至此，得到了一個新的的模型——模型2，如圖4所示。

圖4：帶有線索數據庫的海量存儲模型2

模型2在模型1的基礎上，將智能分析的運算分攤到視頻傳輸和存儲的過程中，并引入了數據庫將視頻分析的結果和源視頻的存儲位置關聯關系一并保存到數據庫中，提升了整個檢索的反應速度，如圖5所示。

圖5：基于模型2的視頻存儲過程

圖6：基于模型2的視頻檢索過程

當然這個基于智能視頻的預處理過程也可以由終端設備完成，至于終端設備如何目標提取模塊、分類識別模塊分析的結果發送給視頻監控平臺，可以參考OnVif協議中的相關部分。

查詢時，首先模型2針對查詢條件，進行轉換，將查詢條件轉換為系統可支持的規則，根據規則生成對數據庫的查詢語句進行查詢，之后根據查詢結果，找到相關的視頻，如圖6所示。

關于“誤中”與“漏檢”

鑒于當前智能視頻分析技術的現狀，在上述檢索需求：“檢索在10：00 到 12:00，出現在某銀行正門附近的，穿白色襯衫的男子”中，至少襯衣和男子是比較難以分辨的，考慮到光照等因素，白色的分辨也存在一定困難。也就是說，即使使用了智能分析技術，由于其分類識別模塊的限制，對于一些查詢需求，也是存在誤中和漏檢可能性的。對于實際應用而言，漏檢的危害要大于誤中，基于此，有必要引入一些基于概率論的方法，如貝葉斯方法，來緩解“漏檢”的壓力。

結束語

綜上所述，智能視頻分析技術的引入可以極大的提升原有海量監控視頻存儲系統的檢索效率和命中率。但是，限于目前智能視頻分析技術的現狀，這一方案中還存在一些技術風險。雖然可以借助一些概率方法，引入類似“相似度”的概念來緩解“漏檢”的風險，這一方案的離最終的用戶要求還有一段距離。然而，從另一個角度看“距離產生美”，技術之所以引人入勝，很大程度上就是因為“距離”的存在。有理由相信，隨著行業的快速發展，在海量監控視頻存儲系統上，引入智能分析技術將成為一種趨勢。