基于三維全景視頻融合技術的全時空監控方法關鍵技術探討

柴少強，王 雪，朱星昊

（中交一公局第七工程有限公司，河南 鄭州 451450）

隨著GIS技術的廣泛應用，集成二維地圖等空間位置信息的視頻系統解決方案正逐步走向成熟[1]。與傳統的單純獲取監控目標的實時音頻、視頻信息的視頻監控系統相比，繼承了三維空間信息的三維視頻監控系統在增強用戶空間意識、輔助用戶應急決策等方面將發揮更大的作用[2]。但3D GIS與監控視頻的整合應用方法在實際應用中，由于網絡傳輸速度等原因，遠沒有達到與三維周邊信息進行融合的目標，存在丟失大量信息的現象[3]。

視頻監控的發展過程是從局部監控到全景過渡、從定時監控到實時監控、從2D到3D的發展過程[4-6]。當然，目前針對較大場景的實時監控也已實現，主要是將多角度、全方位的視頻監控集成于同一三維顯示場景。如需關注某個位置時，點擊放大該處實時監控影像即可。該方法并未發揮出三維場景的直觀特點，也遠沒有達到視頻位置與周邊三維信息的融合目標[7]。

以目前市場需求和各研發機構推出的技術來看，全景式、立體化是視頻監控系統深度應用技術研究未來發展的必然趨勢。本文以官渡黃河橋機電工程實踐為例，介紹基于三維全景視頻融合技術的全時空監控方法，并對全時空監控方法的關鍵技術進行分析與探討。

1 三維全景視頻融合的相關技術

1.1 三維虛擬場景的構建

基于場景掃描數據、場景圖像、CAD/建筑圖紙數據自動生成高精度的三維模型，三維模型為后續全景立體監控提供空間數據基礎。

1.2 三維全景虛實融合顯示、二維地圖全局導航顯示、實時虛實融合與聯動技術

前端采集監控視頻及其他多維傳感數據，預處理后自動融合到三維場景模型中，形成全景立體監控，通過三維虛擬觀測，實現對真實場景多角度全方位實時立體瀏覽。

1.3 全局時鐘控制技術

搭建媒體服務模塊與數據接入模塊，控制接入平臺的攝像頭保持時鐘同步。

2 基于三維全景視頻融合技術的全時空監控方法關鍵技術

如圖1所示，本全時空監控平臺主要涉及基于激光點云數據的自動三維建模、全景立體監控及全景智能分析3項關鍵技術，下面分別闡述3項關鍵技術的技術路線。

圖1 基于三維全景視頻融合的全時空監控平臺系統構架圖

2.1 自動三維建模

三維數字建模是用計算機顯示還原真實世界的一個關鍵環節，也一直是計算機圖形學界的難題。基于激光掃描數據的三維建模技術因其掃描數據的精確性，為重點區域三維全真模型的生成奠定了堅實的基礎。

2.1.1 大型三維數據獲取

采用主要由工業級高清數碼鏡頭及雙軸動態調整支架構成的開放式三維激光掃描球機裝置完成近遠程測量。該裝置平面內可形成360°無死角覆蓋，垂直范圍內也可達到270°視場范圍。由于其掃描精度高，圖像數據采集過程中可直接獲取彩色圖像及其灰度值，測量速度得到大范圍提升。在數據采集過程中，由于系統中設置了并行計算方法，相較于傳統拍攝掃描中將無需再進行二次配準過程，掃描速率可達每秒5萬點。因此，持續掃描過程中的數據離散點相對時間差更小，進而造成數據丟失的可能性非常小。

另外，由于設備采用激光掃描技術，受太陽光照影響較小，且無需進行白天和夜晚不同環境下圖像色彩灰度的再調整，因此可在夜間全暗環境下正常工作。

2.1.2 三維建模步驟

由上述過程中采集到的圖像離散點云數據運用到三維模型的重構是全時空監控過程中的關鍵技術之一。該過程需考慮數據對應時間、空間、色彩等因素，相應的點云數據處理及建模需經歷噪聲去除→多視對齊→數據精簡→曲面重構4個關鍵步驟。

（1）噪聲去除旨在對激光掃描過程中影響到完整圖像獲取的動態環境因素進行識別和剔除。例如，在監測范圍內偶然出現的快速移動車輛、行人等。

（2）多視對齊是針對形狀復雜或者體積較大的被測物體，避免單角度掃描時出現物體不能完全囊括或者數據出現距離扭曲等問題，需要從非平面內的多視角掃描，并完成同一位置的點云對齊和拼接，該過程中旋轉和平移變換矩陣R，T應滿足目標函數：

式中，pi，qi為需對齊的點云。

（3）數據精簡旨在對同一位置相同點云數據進行精簡，以避免海量數據對于曲面重構計算過程的影響。當然，該過程中應對數據精度有相應設置。

（4）曲面重構即是將掃描數據用準確的曲面表示出來。目前，常見的有三角形網格、細分曲面、明確的函數表示、暗含的函數表示、參數曲面、張量積B樣條曲面、NURBS曲面和曲化的面片等。

2.1.3 超大數據自動建模

因存在地理方面的高低差問題以及掃描儀位置的物理限制，在所有表面得到完整充足的采樣存在很大的難度。另外，辦公樓的玻璃窗或墻等反光性表面不能對掃描儀返回有效信號也會存在采樣數據缺失。對于這些挑戰，采用由上而下的方法重建幾何，生成多邊形模型，對比常規的三角化方法，用多邊形取代了三角形進行擬合幾何重建過程避免了常見的數據缺失及點云缺損。另外，整個建模過程完全是自動的，只是在雙關性不能由計算解決時，才需要用戶輔助，如選擇平面、線或角。

2.2 全景立體監控

實現全景立體監控過程需要能對前期采集的數據點構建而成的三維模型進行識別，進而準確分辨前景目標，然后通過標定的監測元件位置數據，計算前景目標的空間位置。在此基礎上，根據后續獲得數據及其對應的時間序列信息，完成多層次后續全景立體監控圖像融合。具體步驟如下。

2.2.1 前景目標檢測

圖像中的前景是相對于背景而言，指監控圖像采集及融合過程中相對于靜止的背景而出現的需要關注及處理的運動目標。例如，在交通監控過程中的前景目標應包含機動車、非機動車和行人等。在實現全景立體視頻監控過程中，將這些重點關注的前景目標能準確重建融合到三維場景中是實現高質量無失真全景實時監控的關鍵。故而，開發全景立體監控系統第一要務即實現前景運動目標的準確檢測，其關鍵環節在于兩個部分：（1）多層次前景背景建模；（2）運動陰影抑制、噪音消除和缺失補償。

2.2.2 多層次前景背景建模

多層次前景建模的基本思想是從當前幀中準確提取前景，以成功分離背景和前景。由于背景建模清晰度易受光照等自然環境突變影響，且在服務區、收費廣場等區域，車輛、行人速度隨時變化，并且可能會出現某一時間段內的完全靜止，這會對前景的提取和判別造成干擾。系統可能出現將這些“靜止”場景更新為背景的錯誤，進而易出現對重要目標的遺漏傾斜。

為了較好地解決上述問題，可建立多層次高斯混合模型，在隨機抽取的不同時間域內取背景進行對比篩選，剔除錯誤識別的前景。該模型是用K個模型表征圖像中各像素點特征，各像素點按視頻時序序列{X1，X2，…，Xt}={I（x0，y0，i）：1≤i≤t}，在考慮各像素特征點的高斯函數權重系數ωi，t以及數學期望μi，t，可建立如公式（2）所示的K個高斯分布的疊加函數：

式中，Σi，t為第i個高斯模型的協方差矩陣；η為高斯模型：

由此，每獲得新一幀圖像后，就會按上述方法更新高斯混合模型，然后匹配該圖像的各像素點以判定該點是否為背景點和停止前景點，若為如靜止的行人或遺留的包裹等類似的停止前景點，則不能將其化為背景。如圖2（a）所示，（a）為測試視頻，（b）（c）（d）分別為運動前景、靜止前景和背景，（e）為檢測結果在原圖上的疊加。

圖2 多層次前景、背景檢測和提取

2.2.3 運動陰影抑制、噪音消除和缺失補償

對于全景立體監控實現過程中出現的小部分目標缺失或者環境引起的圖像噪音等問題，可采用圖像學處理方法，如利用圖像陰影的顏色信息、空間信息、紋理信息等重要區別屬性，在關注區域中確定其造成的顏色形變，通過使用顏色形變補償和紋理校正進行陰影抑制。如圖3所示，（a）為測試視頻，（b）為前景檢測初始結果，（c）為陰影抑制后的結果，（d）為噪音濾除后的結果，（e）為缺失補償后的最終結果。

圖3 前景檢測的實時后期處理

2.2.4 三維重建融合

由于所拍圖像或視頻均為二維平面，無法顯現隱藏在拍攝平面后的三維結構，因此要實現立體監控效果，則需要完成圖形的三維重建。通過視頻參數計算、圖像重建、全景融合的步驟完成。

照相機、攝像機等圖片及視頻拍攝工具均是通過投影矩陣的變化來實現真實場景的拍攝。故而，也可利用投影矩陣將圖像/視頻數據通過反向投影回三維場景模型上。

首先，檢測二維視頻和三維場景模型的特征點。引入多尺度匹配算法，采用高斯濾波器對圖像進行濾波，計算它們差值DOG以探測出特征點：

L（x，y，ki+1σ）和L（x，y，kiσ）是原來的圖像I（x，y）跟高斯核G（x，y）在尺度kiσ和尺度ki+1σ的卷積。

探測出特征點后，設置其領域，為領域里每個像素計算下面兩個值：

將計算結果合成一個向量，從圖像數字學方面建立了特征點的描述符。繼而，計算描述符之間的歐幾里德距離，匹配特征點，實現實時圖像配準。圖4為一具有一定高差含樓梯的道路拍攝圖像。通過算法得到探測特征點的位置，如圖4（a）和圖4（b）的圓圈；基于特征點合成的匹配結果如圖4（c）。

圖4 實時特征匹配用于配準移動視頻圖像實現動態拼接

2.2.5 視頻圖像歸一化

通過上述步驟實現了大規模攝像機視頻數據在空間和時間上拼接融合。但由于視頻數據可能來自不同品牌的攝像機，或是使用不同的光度參數，例如，曝光時間、白平衡、伽馬校正和傳感器的靈敏度等，這些將直接產生不一致的顏色數據。此外，由于攝像機建設時間的不同，造成視頻圖像在色彩、亮度、飽和度和對比度等方面的情況也不同。為了達到更好的視覺拼接融合效果，要將視頻圖像在色彩、亮度、飽和度和對比度方面進行歸一化，提高大規模攝像機網絡色彩的一致性。具體分以下2個步驟。

（1）視頻色彩校準。將Macbeth彩色影像板放置在監控區域內，對每個攝像機的標定進行增益和偏移，最大限度地減少對比度和黑度，并確保線性響應和白場景的平衡。

（2）視頻的色彩傳遞。歸一化目標是一致的色彩反應，而不是絕對的色彩精確度，因此無需將每個攝像機視頻匹配成標準色彩，而是將一幅視頻圖像的顏色特征傳遞給另一幅視頻圖像，通過色彩傳遞對攝像視頻進行兩兩色彩匹配。

2.3 全景智能分析

開發先進的算法對融合后的全景立體監控視頻進行全局智能分析。諸多事件都可歸為行為模式分析問題，這些行為的發生與發展往往跨越多個攝像機監控時空區域，在全景立體監控系統中，多個攝像機之間的相關性及互補性，實現了非特定目標行為模式的準確識別。

結合全景立體監控，實現基于全場景視頻智能分析的自動預警功能，對各種異常事件進行預警，同時自動顯示預警地點的全景立體監控場景，保障全景立體智能視頻監控系統的應用和指揮效能。

2.3.1 異常行為模式的實時分級分析

（1）異常行為預檢。異常行為多種多樣，從技術上講，不可能提前對所有行為都預先定義，而且受計算速度的影響，不可能對所有預定義異常行為在每個攝像機上都進行檢測和分析。這就要求智能分析算法在第一級對所有可能的異常行為進行預檢，并將異常結果交給下一級進行進一步分析和處理。雖然對異常行為不能窮舉，但是可以通過收集大量的正常場景，積累海量的正常運動數據，對這些數據異常行為模式進行剔除。該過程關鍵在于從海量數據中發現和整理出正常的行為模式。

對海量數據的分析和挖掘是世界級的難題，在官渡黃河大橋的實踐中采用了國際領先的基于范例的矩陣逼近和分解技術，該技術可以有效地用于監測和分析大規模數據中異常波動。

（2）異常行為識別和分析。異常行為分析離不開對目標的追蹤。服務區人流車流密集，遮擋現象嚴重。將根據運動前景的焦點和顏色特征，快速、準確和魯棒地提取場景內目標的運動軌跡。一方面，這些信息可以傳到服務器上，用于實現大場景內人流和車流的綜合分析，為大場景眾多目標的實時分析，行為模式分析快速及目標快速排除打下良好的基礎。另一方面，可以通過統計分析運動軌跡，建立行為分布圖。根據實際情況，預定義一系列異常行為模式。在預檢報警的情況下，根據統計特征，可以對異常行為進行進一步識別、分類和分級。

2.3.2 大場景、多攝像機的時空關聯關系

為實現各個離散視頻在全景三維場景下的關聯分析，首先，基于靜態貝葉斯網絡構建攝像機之間的空間拓撲關系，然后利用動態貝葉斯網絡推理和預測多種行為模式之間的語義關聯結構。

我們將根據攝像機之間的空間關系和公安實戰經驗，對貝葉斯網絡參數（先驗概率和條件概率）進行賦值。

動態貝葉斯網絡是貝葉斯網絡隨時間變化的一個動態擴展，如圖5所示，可以反映各攝像機之間一系列行為模式間的概率依賴關系。由于攝像機網絡空間拓撲結構不隨時間改變，可以假設各攝像機之間滿足一階馬爾可夫性，從而對其中行為模式的時間連續性進行建模。基本思想是全局行為模式是由一系列局部行為構成的。通過對局部行為及其關系的識別，可以有效地預測全局場景和行為。在一個攝像機發現異常行為的情況下，利用動態貝葉斯網絡，迅速對相關攝像機和行為模式進行預判，在三維大場景下顯示相關視頻和信息。

圖5 多層動態貝葉斯網絡

當場景內交通工具發生異常報警時，依據目標參數與預定義模式進行匹配，對異常行為進行識別和確定優先級別，實時跨鏡頭智能報警和結果顯示。同時根據異常報警的優先級，選取和該報警信息有時空關聯關系的所有攝像機數據，實現全景立體視頻自動聚焦顯示，結合球機協同追視，根據報警信息自動調用球機鎖定該區域。

3 結束語

本文探討了基于三維全景視頻融合技術的全時空監控方法。該全時空監控平臺關鍵技術包括基于激光點云數據的自動三維建模、全景立體監控和全景智能分析3項關鍵技術，并對此3項關鍵技術進行了深入研究。該技術對高速公路設施監控、水上交通安全監控以及公共設施異常預警等業務具有輔助及決策效能。本文成果將極大促進為機電工程全時空監控方案的設計與實施提供技術參考與支撐，具有重要的理論意義和實踐價值。