基于增強現實技術的視頻監控系統

高新興科技集團股份有限公司 李 歡

基于增強現實技術的視頻監控系統

高新興科技集團股份有限公司 李 歡

目前視頻監控技術已經發展到網絡化、高清化和智能化的階段，給畫面觀看者提供了更便捷、更清晰、更輕松的體驗。但是當用戶對視頻畫面中的場景并不熟悉時，用戶無法快速的了解并分析視頻畫面，這在一定程度上降低了效率。通過增強現實的方法，將畫面中的信息如街道、樓宇、商鋪等信息疊加在畫面上，使觀看者能在第一時間所見即所得。特別是在公共安全領域，少量的觀看者關注著整個城市不熟悉的街道，此技術能極大的提高其工作效率。

視頻監控；增強現實（Augmented Reality）；網絡攝像機；安防

引言

視頻監控技術經歷了模擬監控、數字監控、網絡監控、高清監控、智能監控等幾個時代的發展,在社會治安中扮演著越來越重要的作用。到2014年為止,視頻監控技術的3大技術方向為H.265編解碼(圖像碼流更小)、4K高清(畫面更清晰)以及智能分析(畫面信息更多)。

智能分析技術蓬勃發展,目前也逐漸體系化。主要分為行為分析(如絆線、越界檢測)、特征識別(如車牌、人臉識別)、輔助類工具(如視頻濃縮、摘要)。這些技術將原本需要人體肉眼去觀看和辨別的事物,改由計算機系統自動處理了,也就是人腦的處理邏輯被輸入了計算機。這樣大大地方便了視頻的觀看者,減輕了視頻觀看者的負擔,提升了觀看者的效率。

但是經過研究發現,人體大腦本身就不能識別的事物,因為無法邏輯化,所以計算機也無法識別。比如畫面里面的街道方向,遠處一棟樓下的小店名稱。視頻畫面里面體現了這些內容,但是人腦無法對它們進行識別,因為人腦的知識庫里面沒有相關的信息,除非你對視頻畫面里面的內容非常熟悉。

為了解決這個問題,本文提出了一個基于增強現實技術的視頻監控系統,并詳細介紹了其中的各個模塊及技術。

1 增強現實技術綜述［1］

增強現實是將計算機生成的圖形、文字信息疊加到現實景象之中的技術。在上個世紀90年代,美國的波音公司率先提出“增強現實”的概念。英文全稱為Augmented Reality,國際社會普遍簡稱為“AR”。

隨著技術的發展,增強現實技術開始在人類生活中的各行各業中普及起來。目前全球的主要應用集中在科研、醫療、工程、機器人、軍隊、生產制造以及游戲娛樂等領域。最新在全球出名的增強現實應用是GOOGLE GLASS。目前人類肉眼還不能直接獲取計算機信息,所以現階段的增強現實應用必須依靠攝像機和顯示器。

計算機系統將數據信息疊加在攝像機采集的視頻畫面上,然后顯示在顯示器中。人體肉眼通過觀看顯示器,可以在看到實時畫面的同時看到更多的計算機信息。

當大腦分析眼睛捕獲的信息時,如果信息不能準確地顯示在指定的區域,會引起大腦的信息處理錯誤和矛盾。所以,必須要求信息能夠在畫面中精確地定位與顯示。攝像機鏡頭的姿態必須輸出精確的位置數據。近年來,各種傳感器的技術日新月異。其中,GPS、北斗、重力加速度計、磁力線感應計、距離傳感器、數據羅盤、電子陀螺儀、超聲波傳感器、結構光傳感器、慣性導航傳感器等體積越來越小,精度日益提高。增強現實是涉及到多學科交叉的應用技術,各個學科的發展都會促進其發展。如這些外部傳感器的發展使得增強現實技術在實際應用中得到長足地發展。

2 視頻監控攝像機技術綜述

視頻監控技術從上世紀80年代開始進入人類的生活。在人類的生存、安保、發展方面起到了不可忽視的作用。上世紀90年代后期,基于模擬信號的視頻監控系統初步跨入了半數字化的時代。本世紀00年代中期,視頻監控技術快速發展,進入了全數據化的時代。從攝像機開始,所有采集的信號均為數字信號。后端的傳輸、存儲、計算均為數字化系統。

當視頻被數字化后,數據量非常巨大。傳統的壓縮編碼是建立在香農(Shannon)信息論基礎上的,它以經典的集合論為基礎,用統計概率模型來描述信源。因此,壓縮編碼的發展歷程實際上是以香農信息論為出發點,一個不斷完善的過程。ISO國際標準化組織于1986年發布了JPEG編碼。又于1998年發布了MPEG編碼算法。此時標志著視頻編碼算法正式誕生。隨著時代的發展,壓縮算法效率越來越高,壓縮率也越來越高。分別經過了Mpeg1、Mpeg2、Mpeg4、Mpeg4 AVC等。國際電傳視訊聯盟ITU也發布了一系列的視頻編碼算法標準,分別是H.261、H.262、H.263、H.263+、H.263++、H.264到今年推出的H.265算法。

攝像機的傳感器和處理系統也在快速發展。靶面越來越大,像素越來越多。對人眼最直觀的感受是面畫的視野越來越大,越來越清晰。歷史上經過了像素為176×144、352×288、704×576、1280×720、1920×1080的發展。截止2014年,在視頻監控領域中最新的技術就是4K技術,畫面分辨率為4096×2160。相比最初的視頻畫面,足足大了350倍。代表著人眼可以看到的信息量是越來越多。

3 視頻監控智能分析技術綜述

基于視頻監控的智能分析技術是建立在解放視頻觀看者的思路之上。它的基礎是計算機圖像視覺分析技術,簡稱機器視覺。智能分析技術誕生在視頻數字化以后,目的是將非結構化的圖像數據盡可能的進行結構化描述。經過發展,目前分為三大類技術路線。

第一種是行為分析。通過將場景中背景和目標分離進而分析并追蹤在攝像機場景內出現的目標,然后通過目標觸碰預設的規則而觸發報警。例如絆線檢測、區域入侵檢測等。

第二種是特征提取。此項技術是在背景和前景分享技術上的高級應用。當檢測到目標前景圖像后,對圖像進行分析、特征提取和識別。例如車牌識別技術、人臉識別技術等。

第三種是輔助技術。目的是提高視頻觀看者的工作效率。例如視頻摘要技術,是將長時間的視頻中的移動前景目標提取出來,放在同樣的背景之中。根據原視頻長度,原視頻前景目標數量和目標視頻畫面的放置密度等條件,可以將例如24小時的視頻壓縮到20秒鐘。極大的解放了勞動力。

4 增強現實視頻監控技術

從目前幾類技術的發展來看,形成了固定的發展趨勢。為人類的安全生活提供了重要的保障。但是研究發現,上述技術在技術發展的同時,留下了很大一片空白區域。智能分析技術在對前景進行結構化描述時,忽略了背景信息的重要性。目前尚無任何科研成果能夠通過計算機自動的去描述畫面背景。將增強現實技術應用在安防領域的視頻監控攝像機上能解決這個問題。

4.1 視頻背景結構化顯示

增強現實技術是一個多學科的交叉應用技術,包含了計算機圖形學、多媒體、三維建模、實時視頻顯示及控制、多傳感器融合、實時跟蹤及注冊、場景融合等新技術與新手段。

在計算機尚不能自動對背景進行結構描述的當前,用戶或系統提供商手動或半自動在視頻畫面中添加信息是最直觀有效的解決方案。添加保存后,用戶在使用觀看時可以直接呈現。畫面中可以添加文本、聲音、視頻等多媒體資源,同時還可以進行信息之間的互動,如展開詳細信息、播放、跳轉等。基于這些基礎特性可以在多個場景中實現增強現實應用。例如由后臺多系統關聯并提供的目標詳細信息顯示,由商戶的提供在可展示的在線購物,由景區發布的景區畫面、天氣、人流、名勝古跡歷史信息等應用。

為了達到人腦易接收,易分析,樂于接收的目的,增強的信息顯示作為與用戶眼睛接口的界面,必須達到美觀、易懂、易操作等基本要求。這就要求了計算機圖形學、三維建模等技術的應用。這類技術加上UCD設計可以達到其目的。

如何達到實時性和提高渲染效果是傳統AR技術研究者必須面對的一個問題。在安防領域中,視頻監控通常選擇使用臺式機與服務器作為計算與顯示主體。目前2014年,市面上主流臺式機已經完全勝任其計算工作。但不排除在民用安防市場,用戶使用手機等移動終端進行觀看。所以針對不同的應用場景,實時性和效果可以通過調整信息顯示的復雜度來解決。

4.2 畫面中信息的定位

從攝像機的形態上來講,分為槍型、球型、半球型、筒型、異形等。球型攝像機簡稱為球機,區別于其它形態的攝像機。除了球機以外的所有形態攝像機都為固定式攝像機。球機的鏡頭可以水平360°、垂直92°旋轉, 并且鏡頭觀看的場景可以從幾米到幾十公里距離遠近變化(視場角變化)。因為固定型攝像機不會轉動,所以技術復雜度較球機低。槍機因為不會轉動,所以不需要考慮信息在畫面中偏移的問題。可以選擇采用基于畫面像素點的二維平面坐標系來定位疊加到畫面上的信息。

圖1 磁北與地北

因為球機的鏡頭會轉動,疊加到畫面上的信息也需要隨著畫面移動,此時必須動態地計算信息的顯示位置坐標。當我們需要獲取攝像機鏡頭在真實世界中的東南西北方向時,需將數字羅盤集成在球機機芯之中,可隨著機芯的運動姿態而采集到實時姿態數據。其中,數字羅盤采集到的正北方向是磁場的北極,與地球的地理北極還有一定的差距。需通過磁偏角來修正為地理北極(如圖1所示)。

在增強現實信息的坐標獲取上,不能采用槍機一樣的XY二維平面坐標。第一,因為球機的視野是一個三維球空間,無法簡單地進行二維展開。因為有深度,所以相同的目標出現在鏡頭里面不同位置時,二維畫面沒有固定的對應坐標。第二,在將三維球空間進行二維投影時,每一臺攝像機的鏡頭都會產生光學畸變,當目標物體在左上角時,和目標物體在正中心時,它們之間的位移與鏡頭的轉動角度位移沒有線性關系。

除了找到地理北極,數字羅盤還可以獲得姿態的垂直傾角和水平方向角。增強現實的信息標簽雖然在視頻畫面中以2D圖標顯示,但坐標是以3D格式存儲。3D坐標以球面坐標形式存儲,包括了P(水平方向角),T(垂直傾角), D(距離)。球面坐標原點在攝像機所在位置,以正北水平方向為P軸方向(如圖2所示)。

4.3 精確定位[2]

民用GPS、北斗一般精度在3m到12m左右,在較差的天氣中,最大誤差可達50m。在設計中使用GPS、北斗互備及互相參考的方式,以及系統對歷史數據進行學習的方式。可以使經緯度、海撥等數據保持較高的精度。

數字羅盤也會因為附近的磁場干擾產生誤差。數字羅盤的原理是檢測地球磁場磁力線,如果在使用的環境中有地球以外的磁場,且這些磁場無法有效的屏蔽時,那么電子羅盤的使用就有很大的問題,這時只能考慮使用陀螺來測定航向了。現有許多戶外的系統中的校正算法需要大量的輸入和繁瑣的校正步驟。可以將其思路借鑒,通過在攝像機上配置多種傳感器來互相校正。

4.4 兼容性設計

以上數據統一經過標準數字化后,用通用文本語言描述。

增強現實信息使用xml語言描述,以地理位置信息為例,格式如下:

〈position〉

〈longitude〉E 116.3972282409668〈/longitude〉〈latitude〉N 39.90960456049752〈/latitude〉〈altitude〉+ 44.4〈/altitude〉

〈description〉天安門廣場〈/description〉

〈/position〉

position標簽包括longitude(緯度)、latitude (經度)、altitude(海拔)和description(文字描述)4個子標簽。用戶可根據需要擴展和追加。

longitude標簽值的格式為“[E/W][度數]”,E/W表示東經/西經,度數要求至少小數點后5位。

表1 NAL單元類型

latitude標簽值的格式為“[N/S][度數]”,N/S表示北緯/南緯,度數要求至少小數點后5位。

altitude標簽值的格式為“[+/-][高度]”,+/-表示海平面以上/以下,高度要求至少小數點后0位,單位為公制米。

H.264碼流結構是采取NAL單元流格式進行碼流打包傳輸,同樣,在NAL頭類型定義時,也有補充增強信息定義。

表1中定義了nal_unit_type=6時,為補充增強信息,具體的補充增強信息類型定義見表3。