無人機視頻實時融合技術(shù)在威海市應急測繪中的應用

摘要：自然災害場景下的傳統(tǒng)應急測繪方式以無人機攝影測量為主，測繪成果的生產(chǎn)需要大量的內(nèi)業(yè)數(shù)據(jù)處理工作，對受災現(xiàn)場情況的獲取具有一定的滯后性，難以對災害的具體發(fā)生地點進行實時定位并確定受災范圍。基于攝影測量和SLAM理論，本文實現(xiàn)了無人機視頻畫面與三維場景的融合，并使用線性插值方法對視頻融合效果進行了優(yōu)化，以此為基礎(chǔ)建立了無人機實時視頻融合系統(tǒng)。通過構(gòu)建森林防火專題場景，研發(fā)幾何量測、森林山火火點定位、視頻回放等實用功能，可為應急測繪搶險救災場景提供實時可靠的測繪地理信息支撐。

關(guān)鍵詞：無人機；實時視頻融合；應急測繪；MQTT；RTMP；威海市

中圖分類號：P237文獻標識碼：Adoi：10.12128/j.issn.1672-6979.2024.09.009

引文格式：邢曉平，宋彬，張曉龍，等.無人機視頻實時融合技術(shù)在威海市應急測繪中的應用［J］.山東國土資源，2024，40（9）：67-73. XING Xiaoping，SONG Bin，ZHANG Xiaolong， et al. Application of UAV Video Real Time Fusion Technology in Emergency Mapping in Weihai City［J］.Shandong Land and Resources，2024，40（9）：67-73.

0引言

近年來，無人機技術(shù)愈發(fā)成熟，應用難度逐步降低，無人機測繪已經(jīng)成為新時代應急測繪的重要手段，是應急狀態(tài)下測繪信息的重要來源［1］。無人機體積小，靈活度高，可以在復雜危險的地形中搜索，為救援人員提供關(guān)鍵的目標指示和方位。通過搭載多種傳感器和改裝件，無人機可具備實時通信、遠程控制、視覺信息采集和網(wǎng)絡(luò)中繼等能力［2-3］。然而，傳統(tǒng)無人機攝影測量基于空中三角測量方法，高精度的地理信息數(shù)據(jù)獲取要經(jīng)過繁瑣復雜的內(nèi)外業(yè)流程，無法滿足應急場景下對數(shù)據(jù)實時性的要求［4-7］。

隨著我國對實景三維數(shù)據(jù)的重視，越來越多的城市開展了城市級的實景三維模型生產(chǎn)制作，建立了“數(shù)字孿生”的虛擬城市［8-10］。三維模型數(shù)據(jù)具有直觀性強、信息豐富的特點，但由于三維數(shù)據(jù)生產(chǎn)速度受限，制作成本高，數(shù)據(jù)現(xiàn)勢性難以保證。當自然災害發(fā)生時，地貌往往發(fā)生顯著變化，限制了三維模型的直接應用。

將視頻流疊加展示在三維模型上，既能為使用者提供實時動態(tài)的現(xiàn)場信息，又能直觀地展示目標區(qū)域地形特征，在應急場景下具有良好的應用前景。已有的工作多集中于定點視頻在三維模型中的投放：趙耀等［11］實現(xiàn)了鐵路綜合視頻監(jiān)控系統(tǒng)與BIM的融合；王磊等［12］實現(xiàn)了無人機視頻流同三維地理場景在多個巡查站點的融合；Milosavljevi等［13］將道路視頻監(jiān)控同三維GIS平臺融合，實現(xiàn)監(jiān)控視頻流在路面的投影展示。基于上述工作，本文實現(xiàn)了無人機移動視頻流在三維模型表面的投放，并使用線性插值方法對融合效果進行了優(yōu)化。在此基礎(chǔ)上研發(fā)了無人機實時視頻融合系統(tǒng)，實現(xiàn)幾何量測、災情定位等系列工具，可以有效地服務于受災現(xiàn)場的災情研判、災害發(fā)展預測、救援力量部署以及人員搜救等工作。

1 研究內(nèi)容

本研究實現(xiàn)了無人機實時視頻融合技術(shù)，將無人機實時視頻畫面投影在三維模型上，并使用線性插值方法對視頻融合效果進行了優(yōu)化，以此為基礎(chǔ)建立了無人機實時視頻融合平臺，構(gòu)建了自然災害防治專題應用場景，實現(xiàn)了多源數(shù)據(jù)在三維場景中的綜合應用分析。

1.1無人機視頻流和POS數(shù)據(jù)采集

視頻流數(shù)據(jù)和POS（Positioning and Orientation System，定位定向系統(tǒng)）數(shù)據(jù)均參考大疆上云API獲取，其中視頻流數(shù)據(jù)使用RTMP（Real Time Message Protocol，實時信息傳輸協(xié)議）協(xié)議［14-16］，POS數(shù)據(jù)使用MQTT（Message Queuing Telemetry Transport，消息隊列遙測傳輸協(xié)議）協(xié)議。MQTT協(xié)議是機器對機器（M2M，Machine to Machine）/物聯(lián)網(wǎng)（IoT，Internet of Things）連接協(xié)議。它被設(shè)計為一個極其輕量級的發(fā)布/訂閱消息傳輸協(xié)議，主要針對受限設(shè)備和低帶寬、高延遲或不可靠的網(wǎng)絡(luò)，通常應用于網(wǎng)絡(luò)帶寬非常寶貴的遠程連接或需要較小代碼占用空間的應用場景［17-19］。RTMP與MQTT協(xié)議數(shù)據(jù)流經(jīng)由無線鏈路實時同步下傳，詳見圖1［20］。

其中POS數(shù)據(jù)格式如表1所示［21］，表中推送模式：0表示定頻數(shù)據(jù)，設(shè)備定頻上報的屬性；1表示狀態(tài)數(shù)據(jù)，設(shè)備事件性上報的物模型屬性。

1.2無人機實時視頻融合技術(shù)

本研究基于針孔成像模型，并假設(shè)視頻幀已經(jīng)過畸變糾正。對于地表點S在相機坐標系中坐標為（X，Y，Z），對應像點在像素坐標系中的坐標為（u，v），則有式（1）：

式中：Sw為地表點S在世界坐標系中的坐標；Z為點S在相機坐標系中的高程值；R為旋轉(zhuǎn)矩陣；K為相機的內(nèi)參矩陣；t為世界坐標系到相機坐標系的平移向量。

將無人機POS數(shù)據(jù)代入式（1），即可恢復相機的位置與姿態(tài)，進而可計算出視頻的投影范圍。

1.3無人機實時視頻融合效果優(yōu)化

受無人機固件設(shè)備限制，其位姿信息的傳輸頻率為0.5 Hz，而視頻流幀率不低于30 fps。這導致無人機視頻投放畫面表現(xiàn)出明顯頓挫感，且視頻畫面的移動與投影范圍的移動存在錯位，極大地影響了視頻融合顯示效果。針對上述問題，在2次獲取數(shù)據(jù)幀時刻Tformer和Tlatter之間，采用線性插值方法插入位姿數(shù)據(jù)，以實現(xiàn)對融合畫面的優(yōu)化。

對于T時刻的位置數(shù)據(jù)x∈{latitude，longitude，hight}，有式（2）：

整理后得式（3）：

其中：Xformer表示前一幀Tformer時刻的數(shù)據(jù)；Xlatter表示后一幀Tlatter時刻的數(shù)據(jù)。

由于姿態(tài)數(shù)據(jù)使用歐拉角模型進行描述，為保證插值結(jié)果平滑，對于T時刻的姿態(tài)數(shù)據(jù)，將其轉(zhuǎn)換為四元數(shù)并進行球面線性插值處理，處理方法見式（4）：

式中：q1與q2分別代表四元數(shù)1與四元數(shù)2；ω為四元數(shù)1和四元數(shù)2方位之間的夾角；t表示插值變量［22］。

考慮到實際的應用需要以及瀏覽器性能限制，未進行四元數(shù)序列線性插值［22］。通過針對無人機鏡頭的位置、姿態(tài)進行不同頻率插值的實驗，發(fā)現(xiàn)插值可大幅度優(yōu)化無人機平穩(wěn)飛行狀態(tài)下視頻投放時畫面的頓挫感，并一定程度上優(yōu)化匹配的精度。但由于無人機飛行過程中不可避免地存在變速、變向的非線性情況，該解決方案實際運用中仍存在一定限制。

此外，針對融合后的無人機視頻畫面，系統(tǒng)支持用戶配置廣角、姿態(tài)角改正值來手動校正匹配效果，保障視頻融合的展示效果。

1.4誤差分析

本研究的無人機視頻實時融合技術(shù)主要運用在自然災害防治場景中，需要重點發(fā)揮無人機的快速響應、靈活機動等特性，會受到大量誤差因素影響，主要包括以下幾個方面：

1.4.1自然災害防治場景客觀條件

（1）威海市屬于起伏緩和、谷寬坡緩的波狀丘陵區(qū)［23］，自然災害多發(fā)地通常較為偏僻，地形起伏變化較為明顯，這與本文采取的投影模型不符，會在無人機成像過程中產(chǎn)生像點位移。

（2）自然災害發(fā)生時，氣象條件可能相對惡劣，大風、大雨、大霧、高溫等不利因素會影響無人機成像效果以及無人機傳感器測量精度。

1.4.2三維模型方面

本研究所用的三維模型中誤差為0.5 m，無人機RTK定位精度詳見表2、表3［24］，可見RTK FIX時精度相對較高， PGPS模式下無人機定位精度相對較低。

1.5無人機實時視頻融合系統(tǒng)建設(shè)

1.5.1開發(fā)環(huán)境

操作系統(tǒng)為Windows 10，開發(fā)平臺為IntelliJ IDEA 2021.2，JDK版本為18，數(shù)據(jù)庫版本為MySQL 8.0.27，GIS服務器為MapGIS IGServer 10.6，EMQX版本為5.4.1。

1.5.2系統(tǒng)架構(gòu)

威海市無人機實時視頻融合系統(tǒng)采用“四橫兩縱”的總體框架。“四橫”分別為基礎(chǔ)設(shè)施層、數(shù)據(jù)層、平臺層和應用層，“兩縱”為組織機構(gòu)與安全保障體系，政策法規(guī)與標準規(guī)范體系（圖2）。

系統(tǒng)功能主要包括實景三維電子底圖、無人機實時視頻融合和自然災害防治專題應用三大模塊，具體結(jié)構(gòu)詳見圖3。

1.5.3實景三維電子底圖

系統(tǒng)接入了威海市全域5 797km2傾斜攝影三維數(shù)據(jù)、二維基礎(chǔ)地理框架數(shù)據(jù)以及防火資源專題數(shù)據(jù)，實現(xiàn)了跨部門的數(shù)據(jù)共享和綜合應用。二維數(shù)據(jù)支持發(fā)布為OGC標準服務以及MapGIS自有標準的地圖服務，三維數(shù)據(jù)支持OGC標準服務以及MapGIS M3D格式數(shù)據(jù)的接入發(fā)布，為系統(tǒng)應用的建設(shè)提供可靠的地理空間數(shù)據(jù)支撐。

1.5.4無人機實時視頻融合

基于EMQX實現(xiàn)數(shù)據(jù)的接收、轉(zhuǎn)發(fā)、處理，使用CesiumJS實現(xiàn)無人機視頻影像畫面與三維模型紋理的融合［25］。針對融合之后的三維模型，選取合適的放縮比例將其拉伸到三維空間［26］，最終得到的視頻畫面與三維模型的融合效果如圖4所示。

1.5.5自然災害防治專題應用場景

系統(tǒng)針對自然災害防治專題場景下“災情定位難”“救援力量調(diào)度難”的現(xiàn)實問題，實現(xiàn)災情定位、緩沖區(qū)分析、路徑尋優(yōu)、幾何測量、災情復盤等實用功能：

（1） 災情定位：借助無人機實時視頻融合技術(shù)，前線飛手拍攝的實時災情畫面可以準確地投放在三維模型上，實現(xiàn)災情的快速定位。

（2） 緩沖區(qū)分析：針對用戶設(shè)置的起火范圍或起火點，可以實現(xiàn)緩沖區(qū)范圍內(nèi)防滅火資源的統(tǒng)計分析（圖5）。

（3） 路徑尋優(yōu)：系統(tǒng)支持任意兩點的最優(yōu)路徑搜索，并可以自由配置途徑點，支撐現(xiàn)場應急指揮調(diào)度路線規(guī)劃。

（4） 幾何測量：系統(tǒng)支持三維場景中的坡度測量、面積測量、長度測量等。

（5） 災情復盤：系統(tǒng)維護無人機視頻歷史記錄，可進行視頻的回放和重投放，方便應急人員進行災后的復盤分析。

2展望

本研究實現(xiàn)了無人機視頻流同實景三維模型的實時融合，但仍有諸多不足之處：

（1）空間準確度：基于POS數(shù)據(jù)的視頻融合精度有限，實際應用中需要進行操作人員進行手動校正，可以考慮應用PnP（Perspective-n-Point）等算法實現(xiàn)匹配效果的自動優(yōu)化。

（2）時間平滑度：受限于硬件設(shè)備位姿數(shù)據(jù)采樣頻率，視頻融合效果存在卡頓，需針對無人機硬件進行二次開發(fā)，提升位姿數(shù)據(jù)采樣頻率，或使用機器學習模型進行位姿數(shù)據(jù)預測。

3結(jié)語

本研究實現(xiàn)了無人機實時視頻與三維模型的融合，使用線性插值方法對融合效果進行了優(yōu)化，并以此為基礎(chǔ)建立了無人機實時視頻融合系統(tǒng)。系統(tǒng)整合并接入了多源地理空間數(shù)據(jù)，通過研發(fā)建立防火專題應用場景，可以輔助應急人員對應急場景下的火場進行多角度綜合分析和現(xiàn)場聯(lián)動調(diào)度。系統(tǒng)建成后，在威海市應急管理局、威海市林業(yè)局、威海市消防救援支隊、山東省地質(zhì)礦產(chǎn)勘查開發(fā)局第六地質(zhì)大隊以及威海市30多家測繪單位進行了技術(shù)應用推廣，并接入到威海市城市大腦平臺，有效提升了威海市森林防火應急測繪水平，筑牢人民生命財產(chǎn)安全保障基石。

參考文獻：

［1］任麗艷，李英成，肖金城，等.測繪無人機災害現(xiàn)場多源數(shù)據(jù)集成與智能服務［J］.測繪科學，2020，45（12）：139-144.

［2］甘俊.“無人機+”測繪技術(shù)在鐵路工程匯報展示中的應用［J］.鐵道勘察，2020，46（5）：18-21.

［3］朱允偉，安平利，龔文俊.無人機傾斜攝影及三維建模技術(shù)在地質(zhì)災害應急測繪中的應用［J］.世界有色金屬，2020（24）：202-203.

［4］凌曉春，張金盈，楊金鳳，等.實景三維山東建設(shè)關(guān)鍵技術(shù)研究［J］.山東國土資源，2022，38（8）：34-39.

［5］朱慶，曹振宇，林琿，等.應急測繪保障體系若干關(guān)鍵問題研究［J］.武漢大學學報（信息科學版），2014，39（5）：551-555.

［6］任麗艷，李英成，肖金城，等.測繪無人機災害現(xiàn)場多源數(shù)據(jù)集成與智能服務［J］.測繪科學，2020，45（12）：139-144.

［7］雷添杰，李長春，何孝瑩.無人機航空遙感系統(tǒng)在災害應急救援中的應用［J］.自然災害學報，2011，20（1）：178-183.

［8］向玉瓊，謝新水.數(shù)字孿生城市治理：變革、困境與對策［J］.電子政務，2021（10）：69-80.

［9］張新長，廖曦，阮永儉.智慧城市建設(shè)中的數(shù)字孿生與元宇宙探討［J］.測繪通報，2023（1）：1-7.

［10］曹培國，姚磊，李奎英，等.三維實景地圖生產(chǎn)與應用［J］.山東國土資源，2018，34（9）：87-91.

［11］趙耀，李珉璇，柴天嬌.鐵路綜合視頻監(jiān)控系統(tǒng)與BIM融合應用研究［J］.鐵路通信信號工程技術(shù)，2023，20（6）：26-30.

［12］王磊，周鑫鑫，吳長彬.無人機實時視頻與三維地理場景融合［J］.測繪通報，2021（12）：33-37.

［13］MILOSAVLJEVI A，RAN D，DIMITRIJEVI A，et al.Integration of GIS and video surveillance［J］.International Journal of Geographical Information Science，2016：1-19［2024-03-18］.

［14］雷霄驊，姜秀華，王彩虹.基于RTMP協(xié)議的流媒體技術(shù)的原理與應用［J］.中國傳媒大學學報（自然科學版），2013，20（6）：59-64.

［15］徐洪華，底曉強，郭乃珠.基于RTMP協(xié)議的視頻廣播系統(tǒng)結(jié)構(gòu)設(shè)計［J］.長春理工大學學報（自然科學版），2007（4）：128-130.

［16］張沖，楊燦，楊澤銓，等.RTMP協(xié)議在P2P流媒體系統(tǒng)中的應用［J］.電視技術(shù)，2009，33（S2）：189-191.

［17］蓋榮麗，錢玉磊，李鴻彬，等.基于MQTT的企業(yè)消息推送系統(tǒng)［J］.計算機系統(tǒng)應用，2015，24（11）：69-75.

［18］孔智.基于MQTT的消息推送集群系統(tǒng)的設(shè)計與實現(xiàn)［D］.西安：西安電子科技大學，2020.

［19］董梁玉，雷曉衛(wèi)，劉繼永.物聯(lián)網(wǎng)云平臺消息推送系統(tǒng)的研究與設(shè)計［J］.機電產(chǎn)品開發(fā)與創(chuàng)新，2020，33（3）：35-38.

［20］上云API-無人機直播［EB/OL］.［2024-03-18］.https：//developer.dji.com/doc/cloud-api-tutorial/cn/feature-set/dock-feature-set/dock-livestream.html#%E6%9C%BA%E5%9C%BA%E7%9B%B4%E6%92%AD%E6%80%BB%E4%BD%93%E6%A1%86%E6%9E%B6.

［21］上云API［Z/OL］. ［2024-03-18］.https：//developer.dji.com/doc/cloud-api-tutorial/cn/api-reference/pilot-to-cloud/mqtt/aircraft/properties.html.

［22］肖偉，梁久禎，陳瑋琪.基于四元數(shù)的3D物體旋轉(zhuǎn)及運動插值［J］.系統(tǒng)仿真學報，2012，24（3）：624-627.

［23］威海市人民政府 自然環(huán)境［EB/OL］. ［2024-03-19］. https：//www.weihai.gov.cn/col/col58858/index.html.

［24］技術(shù)參數(shù)_經(jīng)緯 M300 RTK_DJI大疆行業(yè)應用［EB/OL］. ［2024-03-18］.https：//enterprise.dji.com/cn/matrice-300/specs

［25］Cesium Sandcastle-Video［EB/OL］//Cesium. ［2024-03-19］.

［26］Cesium Sandcastle-3D Exaggeration［EB/OL］//Cesium. ［2024-03-19］.

收稿日期：20240530；修訂日期：20240628；編輯：陶衛(wèi)衛(wèi)

基金項目：威海市無人機視頻實時融合技術(shù)科研項目（威自然資科研〔2023〕1號）

作者簡介：邢曉平（1993—），男，山東威海人，工程師，主要研究方向為攝影測量與遙感；E-mail：1574335457@qq.com

*通訊作者：姜兆君（1976—），男，山東煙臺人，主要從事測繪工程等工作；E-mail：lhtcyjy@126.com