視頻結構化處理技術解析及應用

□ 文/楊特春

視頻結構化處理技術解析及應用

□ 文/楊特春

引言

視頻監控系統作為一種有效的技術手段，在威懾和打擊犯罪，保障人們的人身和財產的安全，維護社會秩序方面有著不可替代的作用，得到公安部門的青睞。隨著“平安城市”、“3111工程”、“城市立體化治安防控”、“智慧城市”等科技強警項目建設的開展不斷深入，我國一線、二線、三線城市已經基本完成城市監控與報警系統由標清改高清的建設，并且基于統一的國家標準正在開展視頻監控資源的聯網整合任務。一線、二線城市已經在聯網整合后視頻資源基礎上深入開展智能視頻分析系統、且取得了初步成果。然而，視頻監控系統作為面向城市公共安全綜合管理的物聯網應用中智慧安防和智慧交通的重要組成部分，面臨著深度應用的巨大挑戰。其應用的瓶頸是視頻信息如何高效提取，如何同其他信息系統進行標準數據交換、互聯互通及語義互操作。當下主要的問題在于：缺少視頻信息情報的標準化生成方法，進而缺少利用視頻信息情報指導偵查、破案的新型警務工作模式；視頻信息化情報化警務應用各環節缺乏統一的標準和規范。解決這一問題的核心技術即是視頻結構化描述技術。

視頻結構化技術

用讓人比較理解的說法是一種將視頻內容（人、車、物、活動目標）特征屬性自動提取技術，對視頻內容按照語義關系，采用目標分割、時序分析、對象識別、深度學習等處理手段，分析和識別目標信息，組織成可供計算機和人理解的文本信息的技術。

從數據處理的流程看，視頻結構化描述技術能夠將監控視頻轉化為人和機器可理解的信息（如下圖），并進一步轉化為公安實戰所用的情報，實現視頻數據向信息、情報的轉化。

▲圖1 理論基礎、算法模塊、系統的層次體系

人臉識別

從視頻、錄像、圖片中定位人臉所在區域，并將人臉圖像區域從中提取，通過算法，轉換為一組特征值向量。人臉識別流程如圖2。

人臉識別在應用上，具有先天性的隱蔽、方便、直觀等優勢。借助人臉識別技術，公安業務部門可在機場、商場、小區、火車站、高鐵站、地鐵站、汽車站、人行道等進行布控，提取包括人的生理特征（如性別、年齡、膚色、發色、胡須）、表情特征（微笑、正常、憤怒）、臉部穿戴飾物特征（眼鏡、墨鏡、帽子、口罩），從而實現人臉的實時布控，高危人員比對、以圖搜圖、語義搜索等方面的業務應用。如人臉實時布控系統對視頻進行實時人臉采集，人臉特征提取和人臉識別，并與各種人臉庫提供的圖片（警綜、出入境、人口庫、在逃庫、犯罪人員庫等）進行實時比對，若發現重點關注人員，將推送到實戰平臺或手機終端，實現實戰預案聯動。結合實戰平臺研判模型、技戰法庫，實現人員的頻次分析、頻繁出入、晝伏夜出、深入出入、團伙分析等多軌碰撞分析，為公安預警、偵查、追逃等應用發揮作用。

▲圖2 人臉特征識別

▲圖3 人體特征

人體結構化

在視頻中除了包括人員的面部精確定位、面部特征提取、面部特征比對，人員的性別、年齡等特征范圍外、還可對人的衣著、運動方向、是否背包、擰包、打傘、是否騎車等信息進行結構化描述；以及包含人體行為如越界、區域、徘徊、遺留、聚集等多種行為特征描述。

在人體結構化基礎上進行檢索查詢，可以解決快速目標查找問題，如將嫌疑人的截圖輸入至偵查系統中，利用人形檢索的功能，系統會根據目標嫌疑人的衣著、顏色分布、體態特征快速地在案發點附近的多路攝像頭中進行全局搜索，查找出相似的目標，并將結果以快照的形式輸出，結合GIS地圖進行時空研判分析，刻畫出嫌疑人的行動軌跡。

車輛結構化

隨著智能交通高清電警、卡口、虛擬卡口、停車場的廣泛建設和應用、借助智能識別算法將電警、卡口、停車場出入口等場所的車輛相關結構化信息存入車輛主題庫，包括車牌、車牌顏色、車輛品牌、車輛類型、車身顏色、車標及遮陽板、是否系安全帶、打電話、車輛年檢標、擺件掛件、司乘人員的人臉（如圖4）

基于這些車輛關鍵特征信息，形成上億條過車記錄數據，從而推動了后臺大數據分析服務的發展應用和行業數據挖掘，形成隱匿車輛挖掘、套牌車輛篩選、初次入城、一車多牌、一牌多車、頻繁過車、相似車輛串并、同行車牌分析、高危車輛積分模型、車輛行駛軌跡分析、時空碰撞等實戰技戰法的應用。在此基礎上對車輛特征數據的大數據搜索，即可迅速找到所有符合條件的車輛信息，包括行駛時間與方向、行駛速度、車標、車牌、年款等，還可結合以圖搜圖的檢索方法，在實戰平臺上調取相關視頻和圖像文件，快速查詢到有關嫌疑車輛信息，還原車輛行駛的軌跡歷史信息，實現嫌疑車輛在整個城市的全程運行軌跡查詢或結合視頻監控信息，實現車輛全程化的可視化軌跡回放，以及對涉事車輛的精準布控和查詢，也可以聯合公安車輛管理信息庫，實現車人關聯。

▲圖4 車輛特征識別

視頻結構化面臨的問題

作為一項視頻處理的核心技術，算法對環境敏感，受環境干擾大，光線、雜物、惡劣天氣、晃動都會影響實際效果。實現高效精準的視頻結構化描述技術成為今后一段時間各個算法研究機構的努力方向。隨著計算機視覺前沿技術的日益成熟，深度學習、高性能計算、海量訓練數據、多維信息結合、大數據挖掘分析、目標跟蹤、現有算法的優化都將有力快速推動視頻結構化分析技術、算法效果的逐步提升。能夠根據不同的復雜環境進行自動學習和過濾，能夠將視頻中的一些干擾目標進行自動過濾，能夠將視頻中的一些干擾目標進行自動過濾，從而達到提高準確率。

視頻結構化技術發展前景

在大數據時代，利用視頻結構化描述技術實現視頻圖像結構化數據提取，將是公安機關實現安防大數據應用的重要基礎建設。視頻結構化描述技術緊緊抓住視頻內容信息處理和網絡化共享應用的主線，力爭經過若干年的技術攻關和系統建設，全面實現監控視頻信息的情報化、視頻監控網絡的智慧化，強化警務視頻應用的普適性。即實現以機器自動處理為主的視頻信息處理和分析，并且通過技術手段轉化為公安工作可用的情報；實現監控網絡之間、終端之間、警種之間的信息共享和主動互操作，實現主動監控、自動聯網分析等網絡功能；全方位拓展視頻在警務工作中的應用模式，大幅度提高技術的易用性，實現以業務民警為中心的隨時隨地的靈活、簡單、多樣的視頻按需服務應用。

從應用前景看，視頻監控技術所面臨的巨大市場潛力為視頻結構化描述提供了廣闊的應用前景。全面開展視頻結構化描述技術研究和產品開發，建立完全自主知識產權的技術體系，不但對我國安防行業的健康發展極為重要，也可以大力帶動相關芯片制造、軟硬件產品開發等一大批民族產業健康發展。

實際上，中國有AVS標準，視頻的所有產品都可以納入該體系下，在該體系下進行視頻的去偽存真，進行視頻的二次分析合并，挖掘，進行實時和事后的智能分析，結合行業管理，將視頻應用深入到行業的各種應用。

不論是垂直行業，還是平安城市，未來視頻都是最直觀的資源，它將類似于企業的數據，因而視頻的深度應用是未來安防的發展的必然。

作者單位：佳都新太科技股份有限公司