面向應急救援的多源數據融合技術①

徐成華,宋雨嬌,于振鐸,莊子尤

1(中科九度(北京)空間信息技術有限責任公司,北京 100190)

2(中國科學院 電子學研究所,北京 100190)

3(北京市數字城市工程技術研究中心,北京 100190)

4(中國科學院大學,北京 100049)

1 引言

我國是地震頻發國家,地震的范圍廣、頻度高、強度大,而且危害也大.最近十年,地震災害造成中國人員傷亡巨大,地震死亡人數超過全部自然災害死亡人數的半數.地震災害發生后,造成建筑物的坍塌和人員的掩埋,極大危害人身健康.掩埋人員的快速搜救和科學救援,對保護生命財產安全具有極為重要的意義.在應急救援過程中,對災區歷史和現場的多源、多類型數據的綜合集成和可視化,為救援行動決策提供有力的數據支撐.例如,化工廠、加油廠等危險設施分布數據有助于行動路線和行動措施的科學制定；學校、醫院等重點保護單位信息可幫助指揮人員分配救援人員資源；歷史遙感影像或三維模型與現有數據比對可有效實施災害評估；生命探測信息狀態和空間分布可輔助制定救援行動方案.因此,應急救援過程中,需要一個空間多源信息綜合管理和可視化系統,支持指揮人員進行輔助決策.

目前,三維系統涌現出了很多優秀產品,例如World Wind、Skyline、Google Earth 等,World Wind是由美國宇航局和開源社區開發的三維地理可視化系統[1],可以將衛星圖像和航空遙感數據結合在一起,實現遨游地球的效果；Skyline是一套三維數字地球平臺軟件,由美國Skyline公司開發,可以利用海量的遙感影像數據、數字高程數據以及相關二三維數據模擬三維場景[2]；Google Earth(谷歌地球)是由美國Google公司開發的一款數字地球軟件,它以三維地球的形式把衛星影像、航空影像、照片和高程圖像組織在一起,用戶可在不同角度瀏覽地球[3].國內超圖公司研發的SuperMap iPortal軟件產品,將分散、異構的地圖、場景等資源進行整合,實現數據統一管理[4].上述系統均為Client/Server模式的三維數字地球系統,需要針對不同系統開發不同版本,使用前需要安裝或者以插件的方式與瀏覽器進行集成,在安全性和易用性上存在差距.

隨著瀏覽器三維渲染技術的發展,以WebGL為核心的跨平臺Web圖形繪制標準日益完善,可在普通瀏覽器進行三維渲染,由于無需插件或對瀏覽器擴展,系統具有良好的易用性和可維護性.朱麗萍等[5]嘗試一種不需要插件加載實現三維場景的解決方案.陳燕紅等[6]研究了WebGL和HTML5的Web頁面三維動態展示技術,實現了新疆民族手工藝品三維動態展示系統.王銳等[7]研究了一種輕量級的三維地理場景構建方法,通過將多源三維模型數據進行同構化處理,充分利用客戶端的計算資源,實現三維地理場景的網絡發布與共享.楊帆等[8]基于WebGL三維圖形開發環境,構建了B/S模式下的多層體系結構,探討了三維虛擬地球繪制關鍵技術.馬炅妤等[9]基于WebGL技術設計了一種在線動態地圖服務架構,實現了海量矢量切片數據的快速可視化和動態更新.焦騰等[10]利用空間關系數據庫及分布式數據庫技術,實現了海量異構數據的高效存儲、檢索與定位,提高了空間科學數據的集成可視化顯示與應用效率.郭建雄等[11]針對三維復雜模型快速傳輸和可視化問題,結合三維模型簡化與漸進式傳輸可視化技術,以電力桿塔模型為例,利用Cesium平臺進行模型可視化,渲染效率提升明顯.上述系統多針對單一地理空間數據進行Web可視化,缺乏多源多類型數據的融合可視化.

面對應急救援中多源異構的復雜環境數據,急需一個三維可視化系統,能夠實現海量矢量數據和三維對象模型的高效加載,并實現多源異構數據的空間融合.本文討論了基于WebGL[12]的生命體探測數據三維空間融合技術,發揮全球統一時空框架的時空表達優勢,研制應急救援數據融合可視化系統,實現生命探測設備運行監測、探測信息綜合表達以及復雜監測環境融合的多手段、多效果、多維度可視化,提升多源生命探測信息管理、分析與表達能力,為指揮救援提供輔助支持.應急救援數據融合可視化系統建設思路如圖1所示.

與已有系統相比,已有系統重點解決地理空間數據的融合問題,本文將動態探測數據、地理空間數據、環境數據以及歷史數據等多類型、多結構數據在統一平臺上進行管理和可視化展示,體現出更強大的數據管理和可視化能力,同時,利用WebGL技術,實現B/S架構下的高效渲染,在不安裝任何插件的情況下,實現數據的管理和分析,使用更加靈活方便,具有更大前景的發展潛力.

2 應急救援中的多源異構數據

應急救援中的數據是復雜多樣的,主要包括基礎地理信息數據、生命探測設備數據、探測數據和現場環境數據,構成應急救援場景下的多源異構數據集.

圖1 應急救援數據融合可視化系統建設思路

1)基礎地理信息數據

圖2 基礎地理信息數據

基礎地理信息數據主要包括基礎遙感影像、基礎電子地圖、數字高程模型數據、災區高分遙感數據和三維模型數據.基礎遙感影像,作為基礎底圖數據,在這些底圖數據上實現高分辨率數據、局部三維數據、目標數據和生命探測信息的加載,如圖2(a)所示；基礎電子地圖,顯示基本地名、道路、行政區劃、河流等信息,為應急救援空間定位起到重要作用,如圖2(b)所示；數字高程模型數據,與遙感數據結合,共同描繪地形地貌信息,如圖2(c)所示；災區高分遙感數據,主要采用衛星、航空等高分辨率數據,展示災區現狀和歷史信息,三維模型數據廣泛應用,當災害發生后,無人機加載傾斜攝影相機可迅速獲取災害現場的三維場景并進行評估,為輔助決策提供依據,如圖2(d)所示.

2)生命探測設備數據

生命探測設備數據(如圖3)主要是指用于描述生命探測設備的數據,包括便攜式L波段探測設備、車載式K波段探測設備、P波段探測設備等設備的屬性數據.具體包括：設備編號、設備名稱、設備使用說明、使用壽命、設備圖片、探測范圍、探測深度、波段類型等.

圖3 生命探測設備數據

3)探測數據

探測數據主要是指生命探測設備在使用過程中,監測到的探測結果數據.具體包括：探測范圍內生命體個數、生命體的三維坐標、生命探測雷達當前位置、生命體狀態信息等,如圖4所示.

圖4 生命體探測數據

4)現場環境數據

為保障在復雜救援環境下生命探測和救援的高效性,需要接入視頻、圖片、音頻等數據,共同構建逼真的救援現場場景.

3 多源異構數據融合技術

救援現場環境復雜多變,為了保證探測的準確性和救援的高效,通常利用多種探測設備對同一區域進行聯合探測,探測得到的多源異構數據需要進行統一管理和處理分析.為了解決多源三維空間數據融合問題,本文通過研究基于統一時空框架的高效三維融合技術,重點突破多源異構數據組織與態勢分析、空間數據融合與動態加載、生命體時空演變分析等關鍵技術,實現多源異構數據的整合.

3.1 多源異構數據組織與態勢分析技術

多機聯合生命探測下涉及的目標特性數據具有數據內容龐雜,結構松散的特點,這些數據即包括覆蓋多時相、多分辨率、多傳感器類型的遙感影像數據,也包括微波生命探測儀本身運行數據,同時含有探測到的目標數據.因此,面對如此復雜多樣的數據,需要解決海量目標特性信息的組織管理能力,解決目標數據之間快速關聯等問題,為海量目標特性數據存儲管理、高效訪問奠定數據基礎.

多源數據組織管理重點在于如何表達、存儲、關聯和查詢現實實體及其隨時間變化的狀態,采用的組織和存儲機制的優劣直接影響到數據的查詢檢索效率.因此,多源、多分辨率、多時相、異構數據組織管理重點在于如何構建科學、高效的組織管理模型.該模型從時間、空間、業務三個維度組織數據,如圖5所示.

圖5 統一時空框架下數據組織關聯模型

下面主要介紹目標特性信息管理組織模型的幾個方面：

1)空間特征：將事物置于統一的空間參照系之中,體現了被描述對象之間的空間關系.空間數據整合要在統一的時空模型、統一的地理基準條件下,選擇適合應用的空間表達方式和空間數據組織方式對空間數據進行整合.空間數據的組織方法包括：空間數據結構與模型、空間索引技術、空間檢索引擎、空間檢索優化策略.空間數據的組織方法不僅用技術手段統一了不同類型數據的空間基準和空間表達,而且優化了數據的空間檢索效率.

2)時間特征：是所有事物的天然屬性,是事物變化過程的參照.時間體現了事物變化的順序,通過時間序列可以分析事物的變化過程和事物之間的影響關系.

3)業務特征：數據用來記載現實世界中具有價值的物理實體或邏輯實體.目標以及目標間的時間、空間、邏輯關系,構成了業務體系.業務體系直接描述了目標以及目標之間的關系,同時也是組織數據的重要維度.

3.2 空間數據融合與動態加載技術

應急救援中的數據是復雜多樣的,需要將這些數據融合在一起,構建出復雜的三維場景,如圖6所示.海量柵格和三維模型數據的快速加載會影響應用系統的運行效率,這將制約以“真實還原客觀環境”為主題的可視化綜合應用.為了提高系統運行效率,關鍵在于基于視窗預測的數據動態加載,實現柵格、矢量與三維模型數據的分級處理創建和分析預測.

基于視窗預測的加載技術,解決數據訪問和高效加載的問題.為了實現在空間和時間的多條件下數據調用需求,需要對窗口顯示的空間范圍和視點相關數據,如視點位置、視線目標、視點移動、視點旋轉等要素進行分析與預測.窗口顯示的區域是一個空間區域,落在窗口顯示范圍內的空間區域不是一個簡單幾何體.不能通過計算窗口區域與模型是否相交,也不能通過計算每個模型與視點的距離來決定是否加載模型.需要使用經緯度區域相交,模型高度等參數查詢模型索引,再通過計算優先級,重新排列加載順序,使窗口區域計算簡單化.離開窗口后,對于短時間內無需再使用的模型釋放空間,釋放策略要考慮：位置、分辨率、模型和視點之間的距離、數據量、緩沖區大小、顯存大小等多個方面.

圖6 多源三維信息空間融合

3.3 生命體時空演變分析技術

基于數據的時空特性,需提供統一時空框架下的數據全生命周期管理演變能力,通過統一的時間空間基準,結合時間軸序列化管理手段,實現各類成果數據的有效組織和管理,有效提升數據的管理能力,為后續數據的融合與可視化展現提供良好基礎.

1)時空數據組織模型技術

數據的可視化與管理是基于時間和空間進行組織的,基礎空間數據采用基于分層(尺度和時間)組織的時空模型,動態數據采用“時間+空間+業務”的事件模型,實現數據的“時間+空間+業務”三維一體化組織融合,如圖7所示.

2)多源異構場景動態展現技術

作為集成展現環境的重要組成部分,需具備“時間-空間-事件/對象”多源異構的場景動態展現能力,能夠將各類場景要素以“事件/對象”為中心,以時間軸序列為手段進行綜合關聯和組織,并能夠進行動態可視化展示,便于后續構建統一的動態展現環境.

4 系統架構與實現

面向應急救援領域的數據統一監管、多維分析等應用需求,本文基于WebGL高級渲染技術,實現在統一時空框架下,高精度的生命探測信息和多源復雜環境數據的融合表達,研制應急救援數據融合可視化系統.WebGL解決了Web三維渲染中兩個問題：第一,通過HTML腳本實現Web交互式三維動畫的制作,無需任何瀏覽器插件支持；第二,WebGL通過統一、標準、跨平臺OpenGL接口實現底層圖形硬件的加速渲染.本文利用WebGL高級渲染技術實現了多源數據三維空間信息融合.軟件系統的架構如圖8所示.

圖7 “時間-空間-業務”場景組織展現

圖8 應急救援數據融合可視化系統架構圖

(1)數據層：主要包括生命探測設備的屬性數據、救援現場的復雜環境數據、監測過程的運行數據和屬性數據、分析成果數據、基礎地理信息數據等多源異構數據組成的數據庫.

(2)基礎支撐平臺層：以全球統一時空屬性作為平臺框架,研制軟件基礎平臺,集成了標注標繪、可視化管理、可視化工具、空間分析、可視化場景構建、時序信息管理等基礎功能.

(3)應用層：面向應急救援等對人體探測的業務應用,基于基礎支撐平臺,構建微波生命探測設備監測、監測環境融合分析和探測信息綜合分析等業務應用軟件.

4.1 微波生命探測設備監測

在復雜的應急救援、反恐維穩的典型應用中,一方面監測環境具有范圍大而廣、環境結構復雜等特點；另一方面針對生命體探測需要滿足穿過復雜介質探測、遠距離空曠地探測等具體探測場景,基于上述原因需要用到多種類型的生命探測雷達進行探測；第三,通常在應用中往往需要同時投入多臺的生命探測儀進行生命體探測,以為提升救援效率.因此,在大范圍監測環境下對微波生命探測設備狀態的監測與管理尤為重要.

微波生命探測設備監測在全球統一時空框架下,在基礎地理信息基礎上,充分依托框架的時空模型,以設備數據為核心,對項目中所涉及的環境信息采集、生命探測儀(便攜式、車載式)相關設備進行全面管理.主要面向設備運行狀態、運行軌跡、探測范圍、分布態勢等展開分析,并依據用戶需求實現成果輸出.

微波生命探測設備監測軟件的具體功能包括生命探測設備管理、設備空間軌跡可視化、探測范圍空間表達、設備空間分布態勢分析,如圖9所示.

圖9 微波生命探測設備監測示意圖

4.2 監測環境融合分析

針對微波成像生命探測應用來說,環境數據作為承載各類探測設備、探測成果重要的基礎,監測環境的表現將直接影響到搜救業務的開展,具有不可替代的作用.用來描述環境的數據包括衛星遙感數據、航空遙感數據、數字高程數據、現場圖片、現場視頻數據等多源異構的數據.各類數據從不同的角度對環境進行了表現與描述,本軟件的構建需要將多源環境描述數據進行關聯、融合,進而全面、多維度的對監測環境進行表達.

監測環境融合分析軟件的具體功能包括復雜環境構建、多維度環境描述、環境與目標的立體定位、交互式專業測量,具體功能示意圖如圖10所示.

4.3 探測信息綜合分析

探測信息是生命體探測的核心數據,傳統的探測信息以結構化數據形式表達,數據直觀性差、易讀性差.新一代的微波成像生命探測信息管理方式將依據探測信息的時間、空間屬性與全球統一時空框架實現映射,利用全球統一時空框架表達空間關系和時間屬性的優勢,結合時間、空間、目標/對象模型,實現探測信息的空間化的動態表達.同時充分考慮業務應用現場復雜環境,實現探測數據與環境信息的集成,為探測信息的空間化表達提供支持.面向應急救援現場具體應用,本軟件主要功能包括探測數據空間化管理、探測數值空間化、時空演變分析、成果編輯與管理.

探測信息綜合分析軟件的專題成果主要包括：探測成果空間管理專題成果、探測數值數據空間化專題成果等.探測信息綜合分析將對豐富多源的生命探測信息實現統一規范的接入、關聯、分析、動態表達等功能,如圖11所示.

圖10 監測環境融合分析示意圖

圖11 探測信息綜合分析示意圖

5 應用驗證

2017 年5月11日,塔什庫爾干塔吉克自治縣發生5.5級地震,庫孜滾村是該地震中受災最嚴重的村莊,土木房屋或倒塌、或損壞.以該地區為例,利用應急救援數據融合可視化系統將遙感數據、地形模型、地表三維模型和探測數據融合在一起,構建出逼真的三維場景,對災區現場進行情景再現和動態監測數據跟蹤,使技術人員能夠在統一界面上,對多源數據開展聯動態勢分析,指揮人員能夠全面了解災區現場,為救援決策提供輔助支撐.圖12、圖13、圖14分別顯示了應急救援資源數據集成、庫孜滾地震災區生命體動態數據監測和生命體探測信息與地理環境數據的融合.

圖12 應急救援資源數據集成(圖為1990年以來地震分布態勢)

圖13 地震災區生命體信息監測

圖14 探測信息與空間信息、環境信息融合

6 結論

本文調研了應急救援現場多源數據特點和應用需求,深入開展了面向應急救援的多源探測數據融合技術研究,基于WebGL渲染技術,實現了應急救援數據融合可視化系統.以庫孜滾地震災區現場為例,進行了災區現場地理數據、環境數據、探測數據等多類型數據的綜合展示,實現了在統一的時空框架下高精度的生命探測信息和多源復雜環境數據的融合表達,輔助指揮人員開展救援指揮調度,提高了應急救援的工作時效.