水電站三維場景智能視頻分析系統的研究與應用

李志詠，周觀堯，邱國俊

（重慶亞東亞集團軟件有限公司，重慶 400014）

為了加強生產安全、防盜保安、環境監控等方面的綜合管理水平，實現創一流的目標，很多的水電站都建設了集中式視頻監控系統，對水電站的現場進行了實時視頻監控。通過將監視點的現場視頻通過數據通信網實時地傳輸到集控站或監控中心，生產管理人員及相關領導在計算機上就能實時地對水電站進行視頻監控。視頻監控系統的應用使生產管理人員在監控中心就可以隨時直觀了解到各種設備的工作狀況，及時處理各種意外情況，消除重大事故隱患，從生產設備、生產設施、環境、人員等諸多方面大大地提高了水電站的運行可靠性和安全性。

隨著視頻監控技術在水電站安全生產上得到廣泛應用，監控人員管理的范圍越來越大、管理內容越來越多，面臨的突發事件和異常事件越來越復雜，監控的難度和重要性也越來越突出，僅僅依靠人力越來越難以勝任分析和理解采集到的數量驚人的視頻數據。在連續盯著監視器，即使是非常敬業的監控人員，其持續集中精神注意顯示器的能力也會大幅度下降。因此，視頻監控的深層次應用已經不僅僅是如何有效地采集現場監控圖像，而是如何有效地采用新的智能技術對大量涌現在監控人員面前的視頻信息進行分析，將眾多沒有威脅、無關緊要的視頻信息篩選出去，使真正重要的信息能夠更有效地直接呈現給用戶，提高視頻監控的工作效率和準確性，協助監控人員及時發現問題和處理問題，近一步保障水電站安全可靠運行。

針對這個問題，提出綜合運用智能視頻分析技術和三維虛擬現實技術來提高水電站視頻監控管理水平的一種方法，并在此基礎上開發了水電站三維場景智能視頻分析系統。

1 系統研究的關鍵技術

1.1 智能視頻分析技術

智能視頻分析技術（IVS:Intelligent video surveillance）源自計算機視覺（CV:Computer Vision）技術，它通過在圖像及圖像描述之間建立關系，使計算機能夠通過數字圖像處理和分析來理解視頻畫面中的內容，從而達到自動分析和抽取視頻源中關鍵信息的目的。其核心內容之一是對特定目標的自動跟蹤和自動識別，例如對人體的跟蹤：首先從實時圖像序列(即視頻)中檢測出運動物體，再判定運動物體中的人體，然后跟蹤人體的運動軌跡，并分析和選定有異常行為的人，最后對行為異常的人進行持續跟蹤。

雖然智能視頻分析技術長期以來都受到了很高的關注度，但因計算機運算能力、網絡帶寬、視覺分析算法不成熟等條件限制，一直停滯在研究實驗室階段，無法應用到具體的生產實踐中。從上世紀90年代中期開始，以卡耐基梅隆大學(CMU)和麻省理工學院(MIT)為代表、多家美國高校所參與、由美國國防高級研究項目署設立的視覺監控重大項目VSAM(Visual Surveillanceand Monitoring)，以及其它科研機構的研究成果，使得智能視頻分析技術取得了快速發展。當前，除了CMU和MIT，奧地利Graz理工大學的嵌入式智能攝像機研究組，IBM的S3(Smart Surveillance System)項目組，Intel的IRISNET (Internet-scale,Resource-intensive Sensor Network ServICes)項目組等，分別在分布式智能視頻分析領域處于領先地位。中科院、清華大學等也在相關技術領域的工程應用上取得了突破性的進展。

1.2 三維虛擬現實技術

三維虛擬現實技術（簡稱VR），又稱靈境技術，是以沉浸性、交互性和構想性為基本特征的計算機高級人機界面，是近年隨著計算機軟硬件技術的發展而產生的一項新興技術。它綜合利用了計算機圖形學、仿真技術、多媒體技術、人工智能技術、計算機網絡技術、并行處理技術和多傳感器技術，創建了一種適人化的多維信息空間。使用者不僅能夠通過虛擬現實系統感受到在客觀物理世界中所經歷的“身臨其境”的逼真性，而且能夠突破空間、時間以及其他客觀限制，感受到真實世界中無法親身經歷的體驗。

根據對虛擬環境的不同要求和對于使用目的和應用對象的不同要求，目前應用較為廣泛的虛擬現實系統可分為兩類：桌面式虛擬現實系統、沉浸式虛擬現實系統。桌面式虛擬現實系統又稱為非沉浸式虛擬現實系統，這種系統通過計算機屏幕、投影屏幕作為用戶觀察虛擬環境的一個窗口，參與者僅使用一些簡單外部設備來控制虛擬環境和操縱虛擬場景中的物體。桌面式虛擬現實系統適宜推廣應用，投資比較低，而且通過附加一些低成本的輔助設備，如立體觀察器、液晶顯示光閘眼鏡等就能達到比較理想的模擬現實的效果。

目前三維虛擬現實技術主要應用于建筑、規劃、三維動畫、產品演示、網絡游戲等領域，應用于生產行業的信息管理上還比較少見，而以三維虛擬現實作為視頻監控統一管理平臺更沒有具體的應用。

2 在三維虛擬場景交互平臺上實現水電站智能視頻監控的設計思路

采用三維建模技術開發水電站三維模型，以三維虛擬場景交互平臺為基礎實現水電站三維模型和水電站監控設備的關聯和展示，使監控人員能夠直觀管理站上所有監控設備，在水電站三維虛擬場景下與實時監控視頻進行交互聯動。同時對接入三維虛擬場景交互平臺上的實時監控視頻圖像進行智能分析，將智能分析結果與事先預置的報警條件進行匹配，如果出現異常，系統一方面在水電站三維虛擬場景上及時對異常點進行標識警示、自動彈出實時視頻畫面并啟動自動錄像功能；另一方面則自動與部署在現場的聲光電報警裝置聯動，發送告警信息以警示異常點現場管理人員。

通過在水電站三維場景交互平臺上集成智能視頻分析和相關業務應用，使監控人員能夠在一個統一的三維平臺上對全站的視頻監控信息進行集中管理和智能分析，在逼近真實的三維交互場景上直觀、全面、及時了解異常發生的地點區域、事故影響到的設備范圍、事態可能的發展趨勢等，隨時調看相關的視頻資源，實時跟蹤事態發展。從而有效地協助水電站監控人員及時處理危機，預防事故的發生及擴大。

3 系統具體實現

按照以上的系統設計思路，我們開發了水電站三維場景智能視頻分析系統。該系統以智能視頻分析算法為核心處理模塊，在三維場景交互環境下實現了對水電站視頻監控信息的各種智能分析和應用功能。

3.1 系統應用架構

圖1為系統應用架構圖。系統采用聯網的集中監控管理體系結構，整個體系結構由攝像機、DVR/DVS、智能視頻分析系統、綜合監控管理平臺、告警設備以及采用三維場景交互技術的監控終端等組成。智能視頻分析系統通過與水電站視頻監控平臺無縫對接，對水電站監控區域的實時視頻信息進行分析和處理，然后將視頻分析信息返回到綜合監控平臺。綜合監控平臺將視頻分析信息與事先預置的報警條件進行匹配，從而產生相應的報警信息。報警信息通過網絡發送到監控終端或現場報警裝置，后者以聲、光、電報警等方式警示在現場或監控中心的監控人員。

圖1 系統應用架構圖

3.2 系統功能架構

圖2 系統功能架構圖

（1）視頻采集傳輸模塊

視頻采集傳輸模塊包括視頻采集、視頻編碼、視頻解碼等功能。其中視頻采集功能負責從監控系統中采集視頻數據，視頻編碼功能將視頻數據編碼壓縮后通過數據網絡進行傳輸，視頻解碼功能用于從網絡傳輸取得視頻數據后，進行相應解碼，使其成為視頻分析程序所能讀取的數字格式。

（2）智能視頻分析模塊

該模塊實現一系列的智能視頻功能。它采用先進的智能視頻分析算法，對來自視頻傳輸服務的視頻數據進行分析、處理，實現了適用于水電站安全生產的視頻檢測功能，這些功能包括單向越界、雙向越界、進入禁區、離開禁區、禁區徘徊、人數統計、設備外觀狀態識別等功能。該模塊構建在先進的多物體跟蹤算法、模式識別算法的基礎上，并且提供了規則定義修改等系統參數設置接口。

（3）三維場景分析模塊：

該模塊主要實現三維虛擬場景的漫游（及漫游相關操作如：飛行速度、飛到等）、設備選取、信息展示、畫圖、預警標注、雙向查詢等功能。

（4）預警聯動模塊

該模塊主要實現是否開啟預警檢測、設定預警規則、預警輸出方式等功能。

（5）系統綜合管理模塊

該模塊主要實現對系統權限、運行分析日志、圖片、錄像、系統設置等方面的管理功能。

3.3 智能視頻分析核心算法

圖3 視頻分析核心算法流程圖

（1）前景/背景檢測模塊

從背景中提取前景在整個流水線中是個很重要的步驟。此模塊對一幀圖像上的每一個點構建一個多重高斯分布的模型，該模型將隨著場景中物體的變化實時進行學習，以適應各種條件的變化，如光線的變化，背景物體的變化等等。

（2）物體塊進入檢測模塊

此模塊是基于聯通組件跟蹤（connected component tracker）,具體由以下三個步驟組成：

1）計算由1中產生的前景中的聯通組件，每個組件將視為一個物體塊（blob）;

2）通過試圖在此幀和前一幀中找到此物體塊來跟蹤它；

3）當在連續幾幀找到一個物體塊后，把它加入預先準備好的列表。

（3）物體塊跟蹤模塊

物體塊跟蹤模塊提供了物體塊在一幀幀中的位置與大小，它基于中值漂移（mean-shift）算法和離子過濾（Particle Filtering）的采樣算法.卡門過濾（Kalman Filter）用來預測物體塊在下一幀中的位置，這種算法的結合成功地處理了物體交叉碰撞時的有效分離問題。

（4）軌跡產生模塊

根據連續幾幀所記錄的物體塊位置，產生各個物體軌跡列表

（5）軌跡后處理模塊

軌跡是由連續的點組成，往往此曲線會有鋸齒的形狀，將給曲線分析帶來困難，所以軌跡需要做一些曲線的平滑處理，給分析階段帶來更高的效率。

（6）軌跡分析模塊

運用預先定義的規則模塊，來進行曲線分析，以得到正確的違規信息

3.4 系統采用的三維開發技術

在水電站三維模型的實現上，系統采用了3D Studio MAX建模工具。嚴格按照真實比例、尺寸規格、相對位置等建模，再按照實際采集回來的相片、視頻等信息對模型進行貼圖、加入燈光、渲染（陰影、反光、透視等效果）等細加工，使得模型與實際工作環境幾乎完全一致。再將模型輸入三維場景交互平臺，編寫對應模型的邏輯代碼，定義與程序交互接口，程序通過使用COM接口命令與三維實體實現交互。

系統的三維場景交互模塊基于DirectX技術進行開發，由一組實時三維引擎和一套編輯工具組成，包括了2D和3D目標模型工具，多層文檔，視頻回放，數據庫聯系，網絡，制圖和完整的JavaScript控制工具，通過使用加強ActiveX/COM接口命令控制外部文檔。

圖4 系統監控主界面截圖

4 系統實際應用情況

目前該系統已在重慶大唐國際彭水水電開發有限公司得到具體應用，通過將系統與水電廠現有的視頻監控系統進行整合接入，實現了在三維場景交互下的彭水水電站視頻監控信息的智能分析和智能告警功能，并取得較好的實際應用效果。圖4為系統監控主界面截圖。

5 結論

智能化、數字化、網絡化是視頻監控發展的必然趨勢，智能視頻分析技術的出現和應用正是這一趨勢的直接體現。結合三維虛擬技術對水電站的視頻監控信息進行集中管理和智能分析，使用戶能在逼近真實的三維交互場景上直觀、全面、及時了解異常發生的地點區域、事故影響到的設備范圍、事態可能的發展趨勢等，協助生產管理人員對水電站重點區域進行有效監控，充分應對和處理突發事件，有力地保障水電站安全可靠運行。

[1]覃劍，曾孝平．基于視頻分析的智能監控系統[J]．計算機工程與應用，2008，(25).

[2]胡以靜，李政訪，胡躍明.基于光流的運動分析理論及應用[J].計算機測量與控制，2007，（2）.

[3]Jorge Badenas,PlaF.Segmentation based on region-trackingin imagesequencesfortrafficmonitoring[C].1998.

[4]程成.虛擬環境人機交互技術研究[D].中國優秀博碩士學位論文全文數據庫(博士),2002,(01).