智能視頻分析概觀

文｜北京東方網力科技有限公司 張秀峰 孫余順 田海燕

1 智能視頻分析發展狀況及產品特點

視頻監控系統根據視頻源信號的不同，可以分為純模擬、模數混合、純數字三種類型。從第一代的VCR，到第二代的DVR，再到第三代的NVR，視頻監控系統經歷了三個階段的發展演變。第二階段的DVR也包含既可以接入本地模擬視頻，也可以接入數字視頻的混合式DVR；第三階段的NVR，則以接入IPC網絡攝像機為主，同時也支持模擬攝像機加網絡視頻編碼器的方式。在這一過程中，視頻監控系統在技術、方案和應用上均已經形成了比較完善的模式，已經廣泛應用于各個行業。

近年來，在“平安城市”工程、技術和成本的改善，以及奧運會、世博會、廣州亞運會等的推動下，中國視頻監控市場快速發展，網絡化、個人化和智能化將是中國視頻監控市場重要的發展趨勢，這也說明智能視頻監控已經發展到了不可替代的階段。作為未來監控發展方向的智能視頻分析技術，行業稱之為第四代視頻監控技術，是視頻監控技術一個里程碑式的創新，是視頻監控領域最前沿的應用模式之一。目前，國外市場正大量涌出新生的智能視頻監控系統，而中國也慢慢出現了各類智能視頻監控品牌，掀開了中國智能視頻監控發展的熱潮。

智能視頻分析產品從實現方式上區分主要有兩種類型：一種是基于硬件的，主要放置在前端，與模擬攝像機一起使用，也可以使用提供智能分析模塊的芯片，與前端的攝像機做成一體化產品，直接傳送報警事件、經過疊加和處理后的智能視頻圖像；另一種是純軟件的，基于PC X86平臺，大都是在Windows/Linux操作系統下開發，應用于后端平臺管理系統中。目前在智能視頻的應用中，這兩種類型產品的使用都比較廣泛。

從國外智能視頻的發展過程來看，國外對智能分析功能的要求簡單，設置也簡單，比較適合前端智能應用模式（比如博物館物品被盜檢測，就是一種非常簡單的智能應用），總體來說前端智能性能單一，價格昂貴。國內智能分析應用就比較復雜，國內的客戶對前端功能要求較多，設置繁瑣；而嵌入式DSP在前端頻繁設置是很困難的，并且其內存緩存也小，逐級緩存間交換數據需要很長時間優化，因此不適合頻繁設置參數的方式，適合固化一種或幾種固定算法的方式。所以國內應用比較適合后端模式，因為基于X86的Windows/Linux平臺在頻繁設置上沒有困難，并且價格相對較低。因此，從中國用戶的需求來看，前端智能應用起來困難，后端實現方式比較靈活。

但是，后端做智能分析同樣存在一定的弊病。基于X86平臺的智能分析服務器需要占用單獨的機房空間，而且在功耗、散熱穩定性上也不如前端智能。解決這個問題有兩個思路，一是發展運算速度更快、成本更低、功耗更低的CPU處理芯片，從而降低成本和功耗；一是基于嵌入式處理器做多功能的開發。后者并非沒有可能，目前一些專注于智能分析的公司正在多媒體處理系列芯片（如Davinci6467、華為海思Hi3520等）上面做多路智能的開發，并且Intel正全力研發運算速度更快、成本更低、功耗更小的嵌入式微處理器，如果這些微處理器研發成功并能在行業上大規模應用的話，則基于嵌入式的后端智能分析將迎來更大的發展。總之，前端智能和后端智能各有其應用場合，但是隨著嵌入式設備性能的提高，成本的下降，前端智能將得到更廣闊的市場空間。

2 智能視頻技術概述

智能視頻技術源自對計算機視覺與人工智能的研究，其發展目標是在圖像與事件描述之間建立一種映射關系，使計算機從紛繁的視頻圖像中分辯、識別出關鍵目標物體。這一研究應用于安防視頻監控系統，將能借助計算機強大的數據處理能力過濾掉圖像中無用的或干擾信息，自動分析、抽取視頻源中的關鍵有用信息，從而使傳統監控系統中的攝像機成為人的眼睛，使“智能視頻分析”計算機成為人的大腦，并具有更為“聰明”的學習思考方式。這一根本性的改變，可極大地發揮與拓展視頻監控系統的作用與能力，使監控系統具有更高的智能，大幅度節省資源與人員配置，同時必將全面提升安全防范工作的效率。因此，智能視頻監控不僅僅是一種圖像數字化監控分析技術，而是代表著一種更為高端的數字視頻網絡監控應用。

智能視頻分析包含視頻診斷、視頻分析和視頻增強等，它們各自又包含了大量的功能算法，比如清晰度檢測、視頻干擾檢測、亮度色度檢測、PTZ（云臺）控制功能檢測，以及視頻丟失、鏡頭遮擋、鏡頭噴涂、非正常抖動等檢測都屬于視頻診斷，而視頻分析算法則包含區域入侵、絆線檢測、遺留遺失檢測、方向檢測、人群計數、徘徊檢測、流量統計、區域稠密度統計、人臉識別、車牌識別、煙火煙霧檢測、自動PTZ跟蹤等功能，視頻圖像增強則包括穩像、去霧、去噪、全景拼接等算法。由此組合衍生出的算法種類又有很多，應用方式也千變萬化，所以智能視頻分析的應用范圍很廣。

3 視頻診斷算法的特點及應用

隨著平安城市工程在全國范圍內的迅速推進，視頻監控系統的基礎建設已經初具規模。視頻監控系統的規模迅速擴大，攝像頭的數量也達到了幾萬個，甚至幾十萬個之多。這么多攝像頭的日常維護是一項非常艱巨的任務，因而視頻診斷應運而生，擔負起了大量攝像機的自動檢測和診斷的工作。視頻診斷可以對視頻圖像出現的噪聲（對圖像起干擾作用的亮度分布稱為圖像噪聲）、雪花、模糊、偏色、亮度失衡、非正常抖動，以及云臺控制故障、惡意遮擋攝像頭做出準確判斷并發出報警信息。在視頻攝像頭日益增多的今天，視頻診斷的應用有利于幫助用戶快速掌控前端設備運行情況，輕松維護大型的視頻監控系統。下面對視頻診斷所包含的主要內容的原理、功能和應用逐一進行介紹。

（1）清晰度檢測

自動檢測視頻中由于聚焦不當、鏡頭損壞或異物遮蔽引起的視野主體部分的圖像模糊；自動檢測鏡頭對準無意義物體的情況。該功能對實時視頻的畫面清晰程度和信息含量做出評價，從而及時發現故障（如偶然的異物遮擋、人為的遮蔽等）。“驟變”作為此功能在周界防范技術領域的應用延伸，目前已得到人們普遍的認可。

（2）視頻噪聲檢測

自動檢測視頻圖像中圖像模糊、扭曲、雪花或滾屏等噪聲現象，主要的監測對象是由于線路老化、傳輸故障、接觸不良或受到電磁干擾而在視頻畫面上出現的點狀、刺狀、帶狀的干擾。在視頻質量診斷系統中，呈帶狀、網狀的、周期性的干擾一般交由“雪花”檢測項監測；而點狀、刺狀的隨機干擾則交由“噪聲”檢測項監測，從而提高診斷的準確性。

（3）銳度檢測

檢測由于聚焦不當、鏡頭損壞或灰塵引起的視野主體部分的圖像模糊，或者鏡頭對準無意義物體（白墻等）的情況。

（4）亮度異常檢測

自動檢測視頻中由于攝像頭故障、增益控制紊亂、照明條件異常或人為惡意遮擋等原因引起的畫面過暗、過亮或黑屏現象。該功能對視頻的明暗程度進行診斷，由于可在不同時段改變診斷計劃和監測閾值，在晝夜都能發揮作用。

（5）偏色檢測

自動檢測由于線路接觸不良、外部干擾、AWB失效或攝像頭故障等原因造成的畫面偏色現象，主要包括全屏單一偏色或多種顏色混雜的帶狀偏色。該功能對視頻的顏色信息進行分析，其特點是當視頻中出現豐富色彩時，能夠區分它們是由自然場景帶來的，還是由于攝像頭自身故障產生的。

（6）PTZ（云臺）控制功能診斷

自動檢測前端云臺和鏡頭是否能夠按用戶指令正確運動，如有無左轉失靈、上下倒序等故障。該功能能夠自動對PTZ的各指令進行測試，使管理人員準確及時地掌握系統內PTZ的運行情況。不過，此功能需要系統擁有控制前端PTZ的權限。

（7）視頻凍結檢測

自動檢測由于視頻傳輸調度系統故障引起的視頻畫面凍結現象，可避免錯失真實的現場視頻圖像。

（8）視頻抖動檢測

檢測因攝像頭長期在室外工作，固定支架松動造成的圖像受到嚴重干擾，畫面抖動的情況。

（9）人為遮擋畫面

檢測因攝像頭長期在室外工作引起的灰塵遮擋的情況，檢測人為惡意遮擋或圖像被替換的情況（可以進行報警）。

（10）視頻缺失檢測

自動檢測因前端云臺、攝像機工作異常、損壞、遭人為惡意破壞，或是視頻傳輸環節故障而引起的間發性或持續性的視頻缺失現象（當視頻丟失時，一般采取人工補假圖的方法來處理）。

4 智能視頻分析算法特點及應用

視頻分析方法主要有背景模型法和時間差分法兩類。背景模型法是利用當前圖像和背景圖像的差分（SAD）來檢測出運動區域，可以提供比較完整的運動目標特征數據，精確度和靈敏度比較高，具有良好的性能表現。背景的建模和自適應是背景模型法的關鍵，一般在系統設置時期設置系統自適應學習時間來建模，根據背景實際“熱鬧程度”選取3～5分鐘的學習時間。系統建模完成后，隨著時間的變化，背景會有相應的改變，而系統具有“背景維護”能力，可以將一些后來融入背景的圖像，如云等自動加為背景。時間差分法就是高級的VMD，又稱相鄰幀差法，即利用視頻圖像特征，從連續得到的視頻流中提取所需要的動態目標信息。時間差分法的實質就是將相鄰幀圖像相減來提取前景目標移動的信息。此方法不能完全提取所有相關特征像素點，只能檢測出目標的邊緣，在其提取的運動實體內部可能出現空洞。

視頻分析的過程（背景模型法）是：首先，系統進行背景學習，學習時間因背景熱鬧程度不同而有所不同，期間系統自動建立背景模型；之后，系統進入“分析”狀態，如果前景出現移動物體，且處在設置的范圍區域內、大小滿足設置，系統將會對該目標進行提取和跟蹤，并根據預設的算法（入侵、遺留、盜竊等）觸發報警（期間如果背景中出現雨雪、中云、波浪、搖擺的柳樹等物體，或發生攝像機抖動的情況，系統將啟動預處理功能來加以過濾）。在觸發報警之前，系統能夠進行目標識別，即將提取的目標與已經建立的模型進行比對，并選擇最佳的匹配。

下面以北京東方網力科技有限公司的智能分析算法為例，介紹智能視頻分析算法的具體應用。

北京東方網力科技有限公司的智能分析算法主要由核心基本智能分析算法模塊和特殊應用領域的智能分析算法構成。核心基本智能分析算法模塊共有7種，分別為區域入侵監測、絆線檢測、遺失檢測、遺留檢測、方向檢測、徘徊檢測、人群流量統計（計數）。這些智能應用可以不受行業和領域的限制，在任意項目上通用。特殊應用領域的智能分析算法則以插件的方式，針對不用行業領域定制開發，并采用組合的方式，靈活應對不同項目的需求。這些特殊應用領域的智能分析算法共有8種，分別為對象識別（人、車輛和物區分）與軌跡識別、PTZ動態跟蹤、人臉識別、車牌識別、圖像增強（水霧、雨霧、煙霧、沙塵或干擾過濾）、圖像穩像（防震動、抖動、晃動）、數字全景拼接和煙火監測。

（1）區域入侵監測

識別出目標沿一定軌跡進入/離開標定區域的事件、目標在標定區域內的出現或消失，以及目標在標定區域內存在與否。

（2）絆線檢測

識別出單方向、雙方向穿越警戒線的行為；識別出逆行、轉向等行為；識別物體運行方向，對逆行等行為進行報警。

（3）物體遺失檢測

在指定區域內的物品被偷盜、搬移、取走時發出聲光報警信息。

（4）物體遺留檢測

識別出在標定區域內出現的，遺留、遺棄的單件、多件物品，可設定遺留報警時間。

（5）方向檢測

識別物體運行方向，對逆行等行為進行報警。

（6）徘徊檢測

識別出人員或車輛在標定區域內長時間徘徊與滯留的可疑情況，可設定徘徊報警的時間和人數。

（7）人群流量統計（計數）

單向、雙向累計人流統計，包含人群稠密度檢測。

（8）對象識別（人、車輛和物區分）與軌跡識別

對視場內的人員、車輛、物品、動物等目標進行分類判別，對視場內已識別目標的行動軌跡、速度、方向、距離進行跟蹤。

（9）PTZ動態跟蹤

通過智能視覺技術鎖定目標后（支持自動、手動、接力三種鎖定模式），自動控制PTZ攝像機的云臺旋轉以跟蹤目標，確保可疑目標的放大畫面特寫始終保持在視頻畫面中央，并在目標離開視場后自動回到預置位。其開發難點是出現目標交叉、被遮擋等干擾后如何識別并成功地繼續跟蹤。

（10）人臉識別

根據人的臉部特征進行采集和抓拍，并能進行比對分析，在發現可疑人員時給予報警提示。

（11）車牌識別

能夠做到自動記錄并分析判斷車輛的身份，對于有不良身份記錄的車輛進行提前預警。

（12）圖像增強

改善霧、雨、雪環境下的視頻效果，提高畫面的能見度。

（13）圖像穩像

消除位于鐵路邊、公路邊的攝像機所拍攝圖像的震動、抖動、晃動。

（14）數字全景拼接

對監控系統獲得的多個相關聯的分散場景畫面進行無縫拼接，在不降低視頻幀率的情況下實現全景監控。

（15）煙火監測

能夠自動監測防區內突發的火情，發出報警并觸發其他動作。

5 智能視頻分析系統設計架構及典型應用

接下來以北京東方網力科技有限公司的智能視頻分析系統為例，介紹智能視頻分析系統的設計架構與典型應用。

北京東方網力科技有限公司的智能視頻分析系統可分為三部分，即配置管理中心服務器、智能分析服務器和數據中心。配置管理中心服務器是對多個分析服務器進行集中式管理的，獨立的管理軟件系統，用來管理攝像機，攝像機的規則配置，各分析服務器的狀態查詢、監控、任務分配和負載均衡等。智能分析服務器基于智能算法，通過網絡從視頻監控平臺獲取實時視頻和回放視頻流，然后進行智能分析處理。它可以對分析結果進行存儲，也可以將結果通過網絡發送到指定的數據庫系統。數據中心用于存儲智能分析的結果，可使用多種文件系統或數據庫來存儲，同時提供數據的查詢功能。系統架構如圖1所示。

圖1 智能視頻分析系統架構圖

圖2 系統拓撲圖

北京東方網力科技有限公司的智能分析產品在無錫惠山區社會治安監控項目中得到了成功應用，構建了智能抽減幀分析系統。該系統在物理上有派出所和分局兩級結構，在派出所配有智能分析服務器及Web訪問客戶端，在分局配有智能分析管理服務器、存儲服務器、Web訪問客戶端及管理客戶端（如圖2所示）。智能分析服務器負責從派出所本地的NVR及DVR上獲取視頻錄像，將錄像的碼流解碼成YUV原始視頻流，使用用戶設定的智能分析算法對YUV圖像進行智能分析，將分析后的圖片數據上傳給分局存儲設備，將智能分析的結果輸出至分局數據庫（智能分析管理服務器）。

從圖2中可以看出，將智能分析服務器放置在各派出所可使其在獲取視頻錄像時，只需從本地的NVR或DVR中調用即可，不需要占用派出所至分局的網絡資源，同時可以有效地規避網絡帶來的不穩定因素，降低系統誤報率。

5.1 系統工作流程

系統工作流程如圖3所示。

5.1.1 視頻錄像獲取

該系統進行智能分析的視頻源是存儲在NVR中的高清圖像和存儲在DVR中的標清圖像。部署在派出所的智能分析服務器直接從本地派出所的NVR中獲取到高清視頻錄像，從DVR中獲取到標清視頻錄像，然后按照智能分析規則進行智能分析。

5.1.2 視頻智能分析

智能分析服務器在獲取到視頻錄像后，將錄像的碼流解碼成YUV原始視頻流，使用用戶設定的智能分析算法對YUV圖像進行智能分析。具體的智能分析功能包括車牌識別、運動目標檢測、虛擬墻和區域警戒功能。

（1）車牌識別功能

車牌識別要求攝像機正對道路，偏移角度不宜太大；道路的寬度應控制在3.6m以內；視頻錄像中車牌的大小為圖像寬度的1/6～1/4，橫向像素在100～150像素左右。

①視頻觸發車輛抓拍

智能分析服務器采用目前已經非常成熟的視頻車輛檢測的方法來檢測車輛。當視頻錄像中有車輛經過設定區域時，系統自動捕獲一幅經過車輛的圖像（圖像中車輛的顏色、特征和車牌的號碼、顏色可以用肉眼清楚地分辨），白天能清晰識別車輛牌照及整個車身的特征情況，晚上能克服迎頭拍攝時車輛的前大燈眩光問題看清車牌。

②自動車牌識別

視頻分析服務器對捕獲的圖片進行智能分析，可以獲得車牌號碼、車輛經過的時間和地點等信息；所保存的圖像為24位真彩色圖像，采用JPEG壓縮格式；采用循環覆蓋方式保存圖像；車牌號碼為系統自動識別的結果，所有車輛的信息，包括圖像路徑均保存在XML文件中，以保證能夠與其他應用系統實現聯動與對接。

圖3 系統工作流程圖

③黑名單車輛報警記錄

對于肇事逃逸、未年檢、報廢、有違規記錄的車輛進行實時報警，并且可以單獨錄制該車輛經過卡口前后的視頻流，可以根據車牌號碼進行車輛行駛歷史記錄查詢，給出其軌跡信息。

（2）運動目標檢測功能

智能分析服務器對視頻區域內出現的車輛（包括機動車和摩托車等）和行人等目標進行檢測，并定位抓拍圖像，對目標進行顏色和大小等的分類識別。

為了保證運動目標檢測的準確性，用于視頻分析的錄像需符合下列要求：

◆ 環境照度不低于100Lux，背景前景環境光照度差不高于150Lux；

◆ 運動目標大于40×40個像素。

（3）虛擬墻和區域警戒功能

智能分析服務器對翻越圍欄、進入禁區等事件進行報警。此功能一般應用于重要的視頻監控點位，目前主要包括周界安防、運動目標軌跡指示等功能，具體內容如下：

◆ 對設防區域設定周界，檢測試圖闖入的行為，提供報警信息；

◆ 對進入劃定區域內的物體進行目標跟蹤，標識其運動軌跡。

為了保證智能分析的準確性，用于智能分析的錄像需符合下列要求：

◆ 環境照度不低于100Lux；

◆ 監控目標大于40個像素；

◆ 監控目標在攝像機視場清晰可見，不存在明顯的遮擋，其成像應盡量避免受到逆光和燈光直射等的干擾；

◆ 目標在監控場景中至少存在2～3秒。

5.1.3 數據存儲

在分局配置存儲設備用來存儲智能分析服務器上傳的圖片數據，圖片分析的結果存儲在智能分析管理服務器中。

在實際應用中，標清圖像如果是CIF分辨率，單張圖片的大小是20K，如果是D1分辨率，單張圖片的大小是40～50K。高清圖像采用1600×1200分辨率，單張圖片的大小是200K。

根據存儲需求在分局配置大容量存儲服務器來完成海量圖片的長時間存儲，具體容量根據用戶的實際使用情況確定。

5.1.4 用戶檢索

用戶在Web訪問客戶端上通過IE瀏覽器訪問智能分析管理服務器，搜索、查看錄像視頻、圖片等信息。比如，用戶輸入時間及車牌號碼，可以查出當時相應車輛的圖片信息及視頻錄像。

另外，派出所用戶可以通過Web訪問客戶端手動修訂圖片識別信息，比如對系統不能識別的圖片，用戶可以進行人工識別并手動添加識別結果。

5.2 主要設備介紹

本系統主要由智能分析服務器、智能分析管理服務器、存儲設備、Web訪問客戶端、管理客戶端等設備組成。

（1）智能分析服務器

智能分析服務器主要負責智能視頻分析算法的運行等任務，其硬件為標準服務器。智能分析服務器只需通過網絡接入需要分析的視頻碼流，根據設置的規則和任務運行智能視頻分析算法，將視頻中有價值的圖片單獨打標簽保存，從而完成智能抽幀減幀的功能，并把報警記錄圖片統一上傳到存儲設備中，把分析結果上傳到智能分析管理服務器中。

單臺智能分析服務器在IBM3650的硬件支持下，可以實現16路CIF分辨率或10路D1分辨率，又或是4路高清1600×1200分辨率的視頻錄像分析。

（2）智能視頻分析管理服務器

智能分析管理服務器是整個系統的核心，運行著智能分析管理軟件、數據庫軟件及Web服務，主要完成用戶登錄管理、報警信號管理、事件圖片的搜索管理、系統工作時間設置管理、報警聯動管理等，主要功能如下：

◆ 借助配置的數據庫存儲各個智能分析服務器上傳的圖片和管理客戶端設置的報警規則；

◆ 實時將所檢測到的報警事件轉發給客戶端；

◆ 支持對報警事件Web方式快速聯網數據庫的智能檢索、查詢，如根據關鍵線索快速搜索相關視頻、圖片信息；

◆ 進行矩陣、報警終端的聯動等；

◆ 系統用戶權限、時間同步設置，設備工作狀態管理，軟件授權認證管理。

（3）管理客戶端

用戶通過管理客戶端設置報警規則、報警任務，調節精度等相關參數。管理客戶端實時顯示報警信息，并支持用戶對報警實時視頻的瀏覽和對事件的分布式快速檢索、比對、查詢。

（4）Web訪問客戶端

用戶可以在Web訪問客戶端上通過IE瀏覽器訪問報警記錄，搜索、查看錄像視頻、圖片等信息。另外，用戶可以通過Web訪問客戶端手動修訂圖片識別信息，比如對系統不能識別的圖片，用戶可以進行人工識別并手動添加識別結果。