公共安全中的視頻結構化

□ 文/顧長海

公共安全中的視頻結構化

□ 文/顧長海

平安城市的建設起源于“科技強警”戰略和城市報警與監控系統建設即“3111”試點工程兩大項目。從2004年以來，經過十多年的建設，平安城市的視頻存儲規模已經突破EB級，這些巨量的視頻數據在社會公共安全管理和案件偵破等工作中越來越扮演著不可替代的作用。在公共安全信息化建設深入開展的背景下，現有視頻系統存在著缺乏深度應用模式、視頻數據智慧化程度不高等突出問題。如何用新技術改造現有的視頻系統，使之能更好地適應物聯網時代視頻智慧化、情報化的應用需求已迫在眉睫。當下主要的問題在于：缺少視頻信息情報的標準化生成方法，進而缺少利用視頻信息情報指導偵查、破案的新型警務工作模式；視頻信息化情報化警務應用各環節缺乏統一的標準和規范。

所有這些問題的根本在于對視頻內容的不理解，沒有一個高效的、標準化的視頻數據交換和視頻情報提取的方法。迎接視頻數據深度應用的挑戰，其核心及瓶頸是通過研究視頻結構化描述技術解決通用視頻數據向視頻信息化、視頻情報化方向的轉化，實現社會公共安全工作模式的創新。

視頻結構化描述

視頻結構化描述是一種基于視頻內容信息提取的技術，它對視頻內容按照語義關系，采用時空分割、特征提取、對象識別等處理手段，組織成可供計算機和人類理解的結構化信息的技術。從數據處理的流程看，視頻結構化描述技術能夠將非結構化的視頻數據轉化為人和機器可理解的結構化或者半結構化情報信息，并進一步轉化為公共安全實戰所用的情報數據，實現視頻數據向信息化、情報化的方向轉化，達到視頻感知世界的智慧應用。視頻結構化描述既是海量視頻實現信息化、情報化轉化行之有效的技術，也是當前公共安全領域中對視頻結構化處理的一個指向性方案。在視頻結構化描述的內容方面，公共安全關注的視頻信息主要是：人員、車輛、行為。在視頻中把人作為一個可描述的個體展現出來，其中包括人員的面部精確定位、面部特征提取、面部特征比對，人員的性別、年齡范圍、大致身高、發飾、衣著、物品攜帶、步履形態等多種可結構化描述信息；對于車輛的描述信息包括：車牌、車顏色、車型、品牌、子品牌、車貼、車飾物信息等多種車輛描述信息；對于行為的描述信息包括：越界、區域、徘徊、遺留、聚集等多種行為描述信息。經過視頻結構化處理后，可以達到如下目的：首先是視頻查找速度得到極大的提升。視頻結構化之后，從百萬級的目標庫中（對應數百到一千小時的高清視頻）查找某張截圖上的行人嫌疑目標，數秒即可完成；千萬級目標的庫中查找，幾分鐘即可完成（如果實現云化，速度會更快）。在結構化基礎上進行檢索查詢，可以解決快速目標查找問題。其次是存儲容量極大的降低，經過結構化后的視頻，存儲人的結構化檢索信息和目標數據不到視頻數據量的2%；對于車輛，不到1%；對于行為降得更多。存儲容量極大地降低，可以解決視頻長期存儲的問題。最后，視頻結構化可以盤活視頻數據，可作為數據挖掘基礎，視頻經過結構化處理后，存入相應的結構化數據倉庫，對各類的數據倉庫可以進行深度的數據挖掘，充分發揮大數據作用，提升視頻數據的應用價值，提高視頻數據的分析和預測功能。

視頻結構化的應用領域

公共安全顧名思意,就是事關人民普通大眾的安全.它指得不是某人的安全,也不是某一個特殊群體(譬如某搶劫團伙)的安全,而是指身邊的普通大眾的安全.公共安全“以人為本”，旨在保障國民安全和社會穩定。隨著人類物質文明的高度發展，國家、社會和個人對安全的依賴和企盼達到了前所未有的高度，公共安全所涉及的領域眾多：公共安全包含信息安全，食品安全，公共衛生安全，公眾出行規律安全、避難者行為安全，人員疏散的場地安全、建筑安全、城市生命線安全，惡意和非惡意的人身安全和人員疏散等；公共安全事件包含自然災害、事故災難、公共衛生事件、社會安全事件。視頻數據作為物聯網視覺感知的重要來源，在公共安全領域發揮著越來越重要的作用。而視頻結構化描述是針對非結構化視頻數據的深入應用，使得視頻數據成為可感知，可描述的智能型數據。因此其應用領域極為廣泛，就公共安全來說，視頻結構化描述幾乎滲透到公共安全的方方面面。

視頻智能分析

視頻結構化描述是針對視頻內容的智能結構化分析，將非結構化的視頻數據進過智能分析形成可供描述的結構化數據，因此視頻智能化分析是視頻結構化的核心技術。智能視頻分析技術質量的優劣對視頻結構化描述影響巨大，為了能更好地進行視頻結構化分析，智能視頻分析必須向如下三個方向進行創新：一、視頻前期處理技術，主要包括圖像防抖動和圖像增強。視頻抖動主要成因是道路監控中高架安裝方式帶來的較高頻率的小幅抖動，視頻防抖動能有效抑制智能分析中的誤報和漏報，提高智能分析的準確率；圖像增強是對視頻源進行視覺改善處理，有效改善畫質，提高圖像的清晰度，使原本低質量的圖像達到清晰可辨程度。二、提升分析準確率技術。如人臉識別技術從最初的特征臉方法過渡到神經元網絡方法，由可見光人臉識別到多源光人臉識別。同理，車輛和行為的智能分析也出現了更高效的分析技術。三、視頻后期處理技術，主要包括圖像復原和圖像摘要檢索等。圖像復原就是綜合利用超分辨率、去模糊濾波、變形矯正、色彩調整等對模糊視頻進行處理，使之清晰可辨。

視頻結構化需要突破瓶頸

海量的視頻圖像數據是公共安全部門信息化建設中積累的重要數據，通過對視頻內容的分析和處理，快速準確的發現有效線索，能夠充分發揮視頻資源的作用。然而，在公安信息化建設深入開展的背景下，現有視頻資源缺乏深度應用的模式。其應用的瓶頸是視頻信息如何高效提取，如何同其他信息系統進行標準數據交換、互聯互通及語義互操作。解決這一問題的核心技術即是視頻結構化描述的技術。但是作為一項視頻處理的核心技術，其實現上仍有部分瓶頸需要突破，首先是視頻結構化核心算法技術的突破。如上文所述，視頻結構化描述技術與視頻智能分析技術息息相關，但是當下視頻智能分析技術受到各種應用環境的制約，以人臉識別為例，當下的人臉識別多半是配合式、重復式應用場景，在這種應用場景下，人臉的識別率基本能達到實用要求，而在無配合、多人臉、動態視頻的場景下就很難達到實用目標。為了解決這類問題，人臉識別的算法也從最初的模式識別進化到深度的神經元網絡學習模式，使得人臉檢測和識別的準確度大大地提高，但是由此帶來的負面效應也相當明顯，首當其沖的就是運算復雜度的提升，需要耗費大量的計算資源，針對這一瓶頸很多業內公司推出了各種解決方案，如計算前端推移，后端借助GPU實現集群化計算等，所有的這些方向都為后續的視頻結構化描述的實際應用做前瞻，實現高效精準的視頻結構化描述技術成為今后一段時間各個算法研究機構的努力方向。其次是視頻結構化描述數據存儲，檢索和應用技術，隨著數據容量的快速增長，結構化視頻描述也越來越具備“大數據”的4V特征。如何實現視頻結構化數據的大容量、高效存儲、高效檢索以及快速實現數據應用，為最終用戶提供高效靈活的服務，都將成為今后各大視頻綜合應用廠家面臨的問題。再次是頂層設計，構建標準體系。通過對視頻結構化技術自身特點和應用模式的研究，建立有關視頻結構化描述的標準體系模型，制定覆蓋技術實現和應用系統的標準化體系，有步驟地制定相關標準，以規范技術研究和設備開發，指導系統建設、運行以及評估的各個方面，從源頭上為視頻信息情報化應用的全面展開打好基礎。在這方面由全國安全防范報警系統標準化技術委員會（SAC/TC100）歸口并組織起草的國家標準GB/T30147-2013《安防監控視頻實時智能分析設備技術要求》和GB/T30148-2013《安全防范報警設備電磁兼容抗擾度要求和試驗方法》，經過國家標準管理委員會發布，已于2014年8月1日起實施。這些標準的制定，為視頻結構化描述建立共同遵守的規則和行為規范，使視頻結構化大規模應用成為可能。最后是視頻結構化數據應用大平臺建設，隨著視頻結構化技術的日趨成熟，如何采集和管理這些巨量的視頻結構化描述數據，如何面向公共安全部門提供快速、高效、專業、個性化的服務也是擺在服務商與業主面前的難題。例如許多廠家采用“云”和“大數據”框架模型做視頻結構化描述技術的平臺架構來滿足大數據量的數據存儲、生命周期管理以及數據的快速響應。

視頻結構化描述技術發展前景

視頻結構化描述技術緊緊貼合視頻內容的分析、提取，將非結構化視頻數據處理成可供快速檢索定位的信息化數據。隨著視頻結構化描述技術的發展和成熟，必然為視頻數據的信息化、情報化、智能化提供強有力的支撐，變視頻的被動防御為主動識別，使相應的系統成為智能，主動式防控系統成為可能，從而打通系統間視頻情報傳遞、打通從前端采集到后端情報化應用。隨著近年視頻系統的建設，社會上已經存在巨量的視頻數據并且仍然在實時地產生大量的視頻數據，所有的這些都為視頻結構化描述技術提供了廣闊的市場前景。

作者單位：北京中盛益華科技有限公司