（2017年度“華蘇杯”獲獎論文三等獎）視頻大數據分析技術行業應用研究

唐志鴻

中國移動通信集團江蘇分公司

0 前言

江蘇移動“千里眼”視頻監控產品目前已成功應用到環保、國土、住建、商鋪、餐飲、旅游等眾多行業領域，業務呈現出高速增長趨勢，其中應用于環保秸稈焚燒監控的藍天衛士產品和應用于國土監管領域的國土衛士產品也在全省得到大規模復制推廣，得到客戶的高度好評。

江蘇移動千里眼視頻監控平臺的定位是用作視頻采集、視頻存儲和視頻瀏覽及監控的功能平臺，不具備實時視頻智能分析能力，對于監控視頻中的風險點，無法做到智能識別和預警，存在以下不足：

1）完全依賴人工監控：注意力難以長時間集中，調研顯示人工盯著電視墻，超過10分鐘后將漏掉90%的信息。

2）實時性差、響應慢：監視器數量太多，只能采用輪詢的方式進行監控，無法及時發現突發或預警事件。

3）效率低、成本高：需要大量人力，效率低，國土衛士、藍天衛士等視頻內容改變緩慢，問題更加突出。

4）數據分析難度大：平臺7×24小時錄像，存儲數據海量，事后數據查找及分析難度大。

視頻智能檢測分析是新型數字化服務發展趨勢，智能視頻監控技術的行業應用在國內處于剛起步的狀態。傳統的視頻監控行業需要大量的人力資源來人工觀看各路網絡攝像頭，并判斷是否有違法行為或者災難事件的發生。這種監控模式不僅浪費了大量的人力財力，而且容易發生疏忽遺漏的情況。因此，把計算機視覺中的相關技術應用到視頻監控領域，作為一種輔助手段來提高監控事件的準確性，減少人力資源的投入，是一種主流的行業趨勢，也是新型數字化服務產品發展方向。

環保和國土部門客戶多次提出視頻自動檢測和告警需求，研發藍天衛士火焰/煙霧檢測、國土違法占用檢測智能分析功能可以大幅降低客戶的人力物力投入，提升客戶業務監管工作效率。同時，這種智能檢測識別需求屬于公司大力提倡開拓的新型數字化服務，一方面可以推動公司集團市場專線業務的深入拓展，另一方面隨著手機APP移動監管功能的規?；瘧?，也極大地促進了公司流量經營戰略落實。運營中心將著力拓展中小企業藍海市場，打破隔離，尋求新的增長點，新的突破。

1 視頻智能檢測分析系統架構

系統擬基于江蘇移動千里眼視頻監控平臺建設視頻監控大數據分析系統，該系統作為配套千里眼平臺的獨立功能模塊存在，從千里眼平臺實時讀取視頻數據流，并按照行業應用需求進行實時智能分析和檢測，對分析檢測出來的視頻內容的異常情況進行預警，相關預警信息通過千里眼平臺接口輸送到平臺告警模塊，并最終通過千里眼平臺客戶端向用戶發出告警信號，視頻智能檢測識別系統架構如圖1所示。

圖1 視頻智能檢測識別系統架構圖

系統通過研發視頻智能分析算法調度引擎功能模塊，從千里眼平臺獲取視頻，調度各種智能分析算法，并將算法分析結果輸出到千里眼平臺，然后利用千里眼現有客戶端軟件向用戶呈現各種檢測結果和告警信息?？傮w上系統包括平臺對接、視頻輪詢、算法調度、告警通知等四個模塊組成，其中關鍵點是視頻算法調度模塊的構建，它的功能是控制整個系統的運作，包括視服務資源管理、視頻流讀取、任務分發、結果反饋等。本系統采用開源LTS（light-task-schedule，分布式作業調度框架），自動對所有智能分析算法進行任務分配和管理，保證整個系統的高效、穩定運行，同時具有較高的可擴展性。

2 視頻智能檢測分析算法

2.1 自然場景火焰煙霧智能檢測

算法包括白天算法和夜間算法兩部分，兩種算法自動切換。由于攝像頭在白天和夜間的工作模式不同，所以算法必須根據這兩種模式進行區別設計。算法總體框架如圖2所示。

圖2 算法總體框架圖

算法根據攝像頭工作模式自動判斷白天或夜間，根據判斷結果自動調用白天或者夜間算法。其中白天算法核心流程如圖3所示。

白天算法主要采用圖像分塊、多特征建模、前景檢測、顏色檢測、紋理檢測、小波分析、動態分析、時域運動分析常用來對火焰和煙霧進行檢測分析，綜合考慮了視頻抖動、光線變化、背景干擾物對于檢測的影響，可以排除絕大多數干擾物所導致的誤檢，在幾乎不影響正檢的情況下保證了較小的誤檢率。同時在準確檢測到視頻中煙霧火焰的基礎上，算法能夠排除靜止背景干擾物（白墻、白云、道路等）的影響，具有一定的抗視頻抖動能力。

圖3 白天算法流程圖

在進行多特征建模時，針對的對象是包括時域信息的三維時空分塊，加入時域上的信息，可以去除背景干擾，有效的提高檢測準確率，減少誤判概率。離散小波變換是算法重要部分，其效果如圖4所示。

圖4 離散小波變換圖

上圖是用離散小波變換對空間圖像進行處理的結果，左邊是原圖像，右邊四幅子圖像是二維單尺度小波變換的結果。夜間算法檢測主要流程如圖5所示。

圖5 夜間算法檢測流程圖

由于大部分攝像頭在夜間處于紅外模式，即圖像只包含亮度信息，不包含色彩信息，所以夜間存在很多的背景干擾物，大多數時候連人眼也無法判斷是不是火焰。

夜間的干擾物基本都是路燈、房燈和車燈，夜間算法設計的目標就是排除這三種干擾物對于火焰檢測的影響。路燈和房燈屬于同一種類型，他們的特性是基本每天夜間都會點亮，因此，算法使用了場景建模的方法，預先學習場景中的路燈和房燈區域，在檢測的時候就可以排除這些干擾物的影響。夜間算法自動進行場景建模，隨著時間的推進場景模型會變得更加準確。對于車燈，它的特點是運動模式和火焰不同，所以我們采用了運動分析的方式來排除車燈對夜間火焰檢測的影響。

2.2 國土違法占用智能檢測

國土違法占用檢測算法對于一定場景下每天獲得的圖片進行分析，與建立的背景模型進行比較并檢測是否有違章建筑。如果在一定時間內持續檢測到違章建筑，系統報警并返回報警圖片。算法針對多種自然場景進行設計，結合建筑物本身的結構特性，對于不同場景下出現的違章建筑具有較好的識別能力，對雨霧天影響造成圖像模糊具有較好的自適應能力。國土占用檢測算法流程如圖6所示。

算法針對多種自然場景特性進行設計，考慮了攝像頭晃動、天氣特點、非建筑物特性對于檢測的影響，可以排除絕大部分的干擾，有效地降低了誤檢率。

算法主要流程設計如下：

（1）天氣檢測：引入《Single Image Haze Removal Using Dark Channel Prior》文章中暗通道的概念，通過計算暗通道成分的多少，來判斷是否為雨霧天氣；

（2）圖像配準：引入基于全局Sobel索貝爾值的矯正，以降低視頻抖動、光照變化造成的影響；

（3）綠色分量檢測：篩除綠色分量較高的分塊，去掉田野、樹林等非建筑物部分，降低誤檢率；

（4）變化區域檢測：違法建筑物的產生會使得圖片的局部區域發生較大的變化，設計使用Hash、Hog、灰度值、CNN卷積特征等檢測算法進行分析檢測；

（5）建筑物檢測：利用上述CNN卷積網絡判斷是否有建筑物痕跡；

（6）邏輯判斷：連續3天檢測到有違章建筑的痕跡時發出報警。

圖6 國土占用檢測算法流程圖

3 總結

基于視頻智能檢測分析技術，我們推出了藍天衛士、國土衛士等視頻智能檢測產品，可以滿足客戶日常秸稈焚燒、國土占用等監控管理，目前產品已經處于規模推廣階段。截止目前，視頻智能檢測分析行業產品已經在全省落地應用，為提升客戶工作監管效率發揮了極大作用。

視頻智能檢測分析產品，通過客戶業務模式的創新改革，幫助客戶提升了工作效率，節約了人力投入，滿足了客戶業務的強需求，增強了用戶感知，為企業創造了良好的社會效益和經濟效益。