基于云平臺的消防員自主導航與搜救系統設計與實現

李婷婷 王 琪,2 徐勇軍 安郎平 王 莽

火災給人們的生命及財產帶來了極大的威脅,火場救援面臨的環境結構復雜、封閉性強、信號較弱且易受干擾,這嚴重影響了消防員火場救援效率,甚至給救援人員帶來生命威脅.在復雜的室內環境下,如何精準定位、有效部署、科學救援、多方協同作戰是消防救援領域研究的重點問題.

消防員的火場救援還存在以下難點：

1）消防員自主定位難.室內環境下由于衛星拒止、建筑物遮擋的影響,無法很好地接收到衛星信號,引起較大的定位誤差,單一定位手段難以實現衛星拒止環境下的準確定位.

2）消防員環境感知難.由于火場煙霧彌漫,消防員配備的視覺傳感設備工作性能大大下降,難以獲取現場的清晰圖像,致使難以探測到障礙物信息.另外,火災容易致使建筑物的結構破壞,造成搜救環境的目標檢測和地圖重建難度增大,使得自主定位的精度受限,搜救環境的環境感知信息缺少,影響消防員搜救路徑和逃生路徑的選擇.

3）消防班組指揮控制協同難.消防官兵在救援現場的位置信息不能實時共享,現場監控指揮人員缺乏對室內救援的消防員進行定位以及運動狀態等信息的監測.指揮中心通過喊話的方式與救援人員溝通,效率低下,信息交互質量和協同作戰效率都有待提高.另外當消防員出現安全問題時,指揮終端無法及時發現并對隊員實施有效救援.

本文針對以上問題,重點研究消防火場環境下的自主導航與救援的問題,主要貢獻有：

1）設計了一個面向火場環境的消防員火場自主導航與搜救系統.實現了消防員的精準定位、運動分析和狀態監督,動態火場下的自適應導航和三維場景重構.

2）提出一種基于因子圖的多源融合導航方法.融合多源信息實現了室內復雜環境下消防員的高精度自主導航,并通過信息源的即插即用實現自適應智能導航.

3）設計了一種面向火場環境的視覺定位與建圖（simultaneous localization and mapping,SLAM）動態場景自適應方法.在傳統SLAM 算法的基礎上增加目標識別和語義分割模塊,檢測場景中有價值的目標,過濾掉火場中與移動對象相關的數據,并融合多源信息實現了對復雜火場環境的自適應導航算法.

1 相關工作

國內外對救援場景下搜救導航定位技術的研究很多,提高導航定位系統的精度是一個備受關注的研究課題.在國內研究中目前關于消防員室內導航定位算法主要以慣性導航、無線射頻識別（radio frequency identification,RFID）、ZigBee、WIFI、超寬帶（ultra wide band,UWB）等方面的研究為主.文獻[1]提出了一種基于慣性導航技術的消防室內三維定位系統,利用慣性導航技術,利用位置估算、步伐估計以及零速修正等算法來提供救援人員的三維位置信息；文獻[2]利用計算機視覺來輔助RFID 定位,通過目標檢測行人的腳步坐標,融合RFID 的標簽坐標,從而得到救援人員的位置坐標；文獻[3]將BP 神經網絡加入到ZigBee 的室內定位系統中,彌補了ZigBee 的缺陷與不足,改善了目標節點的定位精度；文獻[4]提出了一種基于擴展卡爾曼濾波的WIFI-PDR 融合定位算法,通過降低WIFI 定位回跳和行人航位推算（pedestrian dead reckonin,PDR）累計誤差,來提高定位精度；文獻[5]提出了一種火場惡劣環境下救援人員的定位方法,該方法通過雙極卡爾曼濾波框架慣性導航系統,并利用UWB 技術具有的低功耗、高速度、良好的抗多徑效應、高安全性獲得了較高的定位精度.但是它受室內障礙物的影響,很大程度上取決于基站的事前布置.目前國內的很多研究都無法滿足實際需求,存在實時性差、依賴定位基站等問題,在復雜的室內環境下不能得到很好的適用,且現有產品的成本高,體積大,不便于救援人員攜帶和部署.相較于國內,國外很多關于室內搜救導航定位的相關研究更加成熟.文獻[6]提出了一種利用UWB 和到達相位差估計實現無基礎設施三維自定定位的新方法,以支持救援部隊在低能見度危險行動中執行任務；文獻[7]提出了一個基于AR 技術的六自由度（6 degree of freedom,6DoF）定位系統LocAR,LocAR 設計了一個協同粒子濾波器,聯合估計所有AR 用戶相對于彼此的6DoF 姿勢,使用來自視覺慣性里程計（visual-inertial odometry,VIO）的運動信息和UWB 無線電用戶之間的距離測量,建立一個精確的相對坐標系來解決消防員協調定位難的問題；文獻[8]通過追蹤難以進入的倒塌地點和未知障礙的位置,識別危險因素障礙物信息,生成最新的災難現場數字地圖,為消防人員快速搜救工作提供有效解決方案.

雖然消防員火場自主導航與搜救在國內外的消防領域均存在不同程度上的研究與應用,但單一方法存在一定的局限性,尤其是在室內、障礙物多的火災場景導航精度會大大降低,導航質量變差.因此,本文在現有消防導航搜救研究成果的技術上,綜合考慮了多源信息融合的導航定位、動態場景下視覺導航、三維場景重建、自主學習等方法,設計了一個消防員火場救援的體系化系統,并首次將毫米波雷達應用于火場環境的探測,實現了復雜火場環境的高精度自主導航定位.

2 系統設計

2.1 系統功能概述

系統基于因子圖框架融合慣性、視覺、GPS、毫米波雷達、UWB 和激光等信息源,實現對復雜火場環境的搜救人員精準定位和煙霧夜晚等復雜環境下的場景感知構建三維場景與智能目標識別,在此基礎上基于增強現實頭盔智能顯示指揮控制信息,并利用云平臺實現信息的交互共享、健康監測、人人協同/人機協同,來提高消防班組的救援和指揮能力.

系統體系設計框架圖如圖1 所示：系統第1 層實現消防員對自身狀態的感知；第2 層實現消防員對自身及環境的感知；第3 層實現人人協同、人機協同；第4 層與云平臺交互,實現系統整體的指揮控制.消防員火場自主導航與搜救系統以火災救援需求為牽引,針對火場救援的自主定位難、環境感知難和指揮控制協同難的問題,設計了以下5 個主要功能：

圖1 系統體系設計框架圖Fig.1 System of systems design framework

1）實現復雜火場環境的高精度自主導航定位.基于北斗系統和北斗錨點,結合慣性、UWB 和地圖約束等多源信息,實現消防員的高精度自主導航定位,通過信息源的即插即用實現自適應智能導航.

2）實現復雜環境下的三維場景重建和視覺SLAM自適應.系統通過視覺SLAM、激光雷達和毫米波雷達等傳感器感知三維場景,尤其是毫米波雷達的高穿透性有助于在火場的煙霧環境下對場景重建.系統采集環境中的圖像信息,并進行智能目標監測,有助于消防員的定位搜救目標和選擇求生通道,解決消防救援火場環境感知難題.

3）實現多成員多平臺自組網深層協同.基于北斗錨點和UWB 基站,提高室內導航的精度并賦予全局坐標,實現天地協同、室內外協同和班組協同三位一體,提高消防救援分隊協同定位能力,提高搜救效率.

4）實現救援平臺一體化顯示與控制.將系統的指揮控制信息集成于增強現實智能顯示終端,結合增強現實方法,設計增強現實智能信息交互系統,有助于智能顯示、信息交互和指揮控制協同[9].

5）消防員健康監測.基于云平臺對消防員救援信息的大數據分析,并基于自主學習算法和慣性數據分析方法實現消防員健康監測,對消防員傷病情況作出及時的預警.此外,將模擬實戰從各個角度記錄下來,并上傳動作數據到云端,對消防員后續訓練提供數據參考.

2.2 系統硬件架構

消防員火場自主導航與搜救系統在硬件上以可穿戴傳感器組件和增強現實智能終端為核心,輔以云平臺進行數據分析與處理.系統的硬件結構如圖2所示.

圖2 系統在消防員身上的安裝示意圖Fig.2 Installation diagram of the system on firefighters

系統硬件組成如表1 所示.可穿戴傳感器組件有微型慣性測量單元（miniature inertial measurement unit,MIMU）（包括陀螺儀、加速度計、磁力計氣壓計）、UWB、北斗模塊、毫米波雷達、激光雷達和視覺傳感器.定位信息、建圖數據、目標檢測信息和上級與隊友的指揮控制信息,通過HoloLens2 解算并實現實時顯示.云平臺負責記錄每名運動人員的狀態數據和傳感器數據進行大數據分析和處理.

表1 系統硬件組成Table 1 Composition of system hardware

MIMU：可結合零速修正提供相對位置和方向信息,實現姿態測量、加速度測量、高度測量、方向測量等功能,適用于消防員自主導航和定位系統的導航定位跟蹤.

UWB：可以實現高精度的定位和距離測量,還可以提供距離觀測量,降低MIMU 陀螺和加速度計漂移帶來的誤差發散,提高導航定位的精度,實現消防員間的協同定位.

北斗模塊：可以提供絕對位置信息,但無法適用于室內等拒止環境中.結合衛星基站、北斗模塊、MIMU 和UWB 等其他傳感器,系統可實時獲得消防員的絕對位置信息,實現室內火場環境消防員的精準定位.

毫米波雷達：可以穿透煙霧和濃霧等環境,可以檢測到人、障礙物、墻壁和其他結構物,適用于火場內障礙物檢測和導航.

激光雷達：可以用于生成火場內的三維稠密地圖,適用于消防員自主導航和搜救系統的地圖生成和路徑規劃.

視覺傳感器：可以實現物體識別、跟蹤、測距、測量和導航等功能.在消防員自主導航系統中,視覺傳感器可以用于檢測和識別火場內的人員和障礙物,為消防員提供更加直觀的導航和搜救支持,同時可以輔助其他傳感器進行定位和距離測量,提高系統的準確度和穩定性,適用于消防員自主導航和搜救系統中提供直觀的導航和搜救支持.

融合上述多個傳感器可以彌補單個傳感器的不足之處,提高系統的魯棒性和可靠性,為消防員提供更加精準的導航和搜救支持.在導航定位方面,衛星導航提供絕對位置信息,但無法適用于室內等拒止環境,MIMU 受環境影響較小但誤差隨時間累積,UWB 利用消防員與錨點之間以及消防員之間的距離測量提供相對位置信息,本系統采用在室外架設衛星基站,室內設置UWB 錨點,MIMU 實時慣性導航的方法,可以實現室內等環境的消防員準確定位,為指揮決策和搜救行動提供基礎信息支撐.在感知和搜救支持方面,視覺傳感器信息豐富但在低光環境下可能無法正常運行,激光雷達對物體反射率敏感但建圖稠密,毫米波雷達可以穿透煙霧和濃霧等環境,因此,結合視覺、毫米波雷達和激光雷達,可以實現復雜火場環境的實時準確感知.

2.3 系統算法框架

系統的算法設計架構如圖3 所示.導航定位算法模塊在卡爾曼濾波框架下組合慣性和衛星信息,并結合人體運動約束實現準確的導航定位.解決了在室內衛星拒止環境下消防員定位難的問題.在第3章將詳細介紹基于因子圖的多源融合導航方法.

智能目標檢測算法模塊基于MASK R-CNN[10]檢測場景中的目標,獲得語義信息,并對圖像進行實例分割.基于目標檢測的視覺SLAM 動態場景自適應方法將在第4 章詳細介紹.

三維場景重建算法模塊結合深度學習,在SLAM點云地圖的基礎上融合場景語義信息,構建三維語義場景.將毫米波雷達應用于消防員火場救援,通過高穿透性的特征,實現在火場煙霧環境下的場景重建.

人員狀態監測算法模塊以慣性測量和深度學習為基礎,將原始慣性數據進行預處理,解算出基礎運動指標,如觸地騰空比、左右平衡和配速等.該模塊基于深度學習方法解算更加準確的基礎指標,并分析更深層次的運動信息,如是否跨步、觸地方式等.

智能自學習算法模塊通過多時間尺度采集的用戶運動大數據,分析人體運動規律和能量消耗等指標,挖掘更有價值的深層次信息,提供損傷預防建議和健康方案.本文基于Hadoop 構建用于大數據分析的云平臺,通過足部慣性信息和北斗衛星數據,采用衛星/慣性組合導航算法、數據驅動的運動指標解算算法,對救援過程采集到的數據進行分析,實現對消防員救援的過程監控、運動分析、效果評估和救援指導,從而提高救援效率,預防訓練傷病,增強消防員體能水平.

3 基于因子圖的多源融合導航方法

本文設計的多源融合導航方法面向消防員設計,在慣性導航的基礎上融合視覺、GPS、磁力計等輔助信息建立因子圖,并對全局位姿進行優化.根據步態特征對救援人員的運動過程進行分割,確定變量節點,并以運動約束和場景約束為因子構建因子圖,建立誤差能量函數,再通過優化的方法求取誤差能量函數的最小值,得到位姿最小二乘意義下的最優估計.

融合過程如圖4 所示,足部MIMU 數據經捷聯慣導解算后的位姿信息,與視覺/慣性SLAM 位姿估計結果相結合,實現對消防員的局部位姿的融合估計.在此基礎上,全局優化模塊融合了視覺回環信息和其他傳感器,如Wi-Fi 指紋、GPS、UWB 測距信息和地圖信息,評估導航系統的全局誤差,并批量優化位姿圖.

圖4 多源融合導航框圖Fig.4 Block diagram of multi-source fusion navigation

基于零速修正的捷聯慣導解算算法利用消防員運動約束進行誤差修正.運動約束主要指零速修正,若第k 時刻,足部處于靜止狀態,則足部此時的速度為零,利用足部MIMU 解算的速度vk作為系統速度誤差的觀測量,修正卡爾曼濾波的其他誤差量,可以抑制誤差發散.在零速階段,系統的觀測量Z 為

式中,δvk=vk-[0 0 0] 為第k 時刻的速度誤差.那么,系統的觀測矩陣H為：

由此在消防員捷聯慣性導航系統（strapdown inertial navigation system,SINS）誤差模型的基礎上,建立起了15 狀態的卡爾曼濾波器,并把腳步落地或靜止時的零速作為系統觀測量,對系統在零速階段的誤差進行修正,進而抑制導航誤差的發散,提高消防員的導航定位精度.

全局位姿優化的因子圖結構如圖5 所示.因子圖節點為救援人員六自由度的位姿（包含相對于初始點的位置和方向）,各節點的采樣頻率由步態更新頻率決定.相鄰節點之間的位姿約束由MIMU 提供.視覺信息不僅可利用相鄰節點之間的位姿變化約束節點狀態,也可以通過圖像特征匹配提供全局約束,抑制誤差的漂移.磁強計提供航向信息,約束航向的發散.WIFI 指紋和GPS 因子提供全局位置的約束信息,地圖因子以通過特征匹配對比地圖中儲存的特征點及其對應的相機幀的位姿,提供回環約束.

圖5 全局位姿優化因子圖結構Fig.5 Global attitude optimization factor graph structure

圖6 基于語義信息和深度信息的視覺SLAM 場景自適應算法框架Fig.6 Visual SLAM scene adaptive algorithm framework based on semantic information and depth information

本文將系統在第ti時刻的位姿狀態定義為：

若測量值是條件獨立的,并且噪聲服從零均值高斯分布,則MAP 估計值可以寫成殘差平方和：

在算法體系中,各因子及其信息矩陣的定義是由信息源的數量和質量而定.

4 視覺SLAM 動態場景自適應方法

典型的動態SLAM 基于先驗信息不加判斷地剔除具有動態性的物體,這將嚴重影響SLAM 算法的導航精度,而傳統的SLAM 系統仍采用動態物體進行特征匹配和位姿估計,將導致更大的導航誤差[11-12].為了解決這一問題,本文在結合深度信息和語義信息,基于ORB-SLAM2 設計了面向消防員的視覺SLAM 動態場景自適應算法.ORB-SLAM2[13]是目前比較完善、成熟的視覺SLAM 系統,主要包括追蹤定位線程（tracking）、局部地圖構建線程（local mapping）和回環檢測線程（looping closing）,同時還維護場景識別中的特征點BoW 字典和識別數據庫,可以在閉環檢測時計算關鍵幀相似度.場景自適應算法過濾掉與移動對象相關的數據,從而減少SLAM 前端中不正確的數據關聯.算法主要包括面向消防員自主導航的目標識別和邊界分割方法,以及基于區域分割和多視圖幾何的動態物體去除方法.

4.1 面向消防員導航的目標識別算法設計

面向消防員導航的目標識別融合了圖像分割與目標識別兩個任務,其目標是將圖像分割為若干組具有某種特定語義含義的像素區域,并逐像素地判斷每一像素所屬的類別,最終生成標注有像素語義的圖像,完成圖像的像素級分類[14-16].本文在傳統語義分割的基礎上,根據物體的剛性結構進行動態區域分割,并結合深度信息確定區域邊界.通過MASK R-CNN[10]實例分割網絡對RGB 圖像進行處理,實現像素級語義分割.在此基礎上,結合MASK R-CNN的目標檢測,對邊界框內外延一定像素值之后進行邊界分割,從而克服語義分割網絡對邊界的欠分割問題.由于目標識別可以完成對圖像中物體的檢測與位置識別,因此,可以用于檢測火場場景中的潛在運動物體.具體算法流程為：

使用大小為2×2 的滑塊遍歷深度圖像,并記錄滑塊中的深度值：

其中,（u,v）表示與滑塊左上角的像素對應的圖像坐標.可通過以下方式獲得邊緣點的集合Edge：

4.2 面向消防員導航的目標邊界分割算法

實例分割網絡可以基于先驗信息實現對圖像幀中動態對象的識別和像素級分割,而基于深度學習的目標邊界分割算法基于目標是凸的假設,通過對比滑動塊內對角像素的深度,實現對物體的邊界檢測.然后,基于Mask R-CNN 的實例分割網絡在處理高動態性對象時常常無法對其邊界進行準確檢測,且實時性較差.而“圖像中的目標是凸的”的假設在某些情況下并不一定適用.

由于基于先驗信息與基于深度學習兩種方法的優點和缺點是互補的,而它們的組合使用是實現精確且實時性更高的邊界分割的有效方式.因此,本文設計了一種結合語義標簽和深度信息的邊界分割算法,算法框圖如圖7 所示.將圖像輸入Mask R-CNN網絡進行實例分割,獲得圖像中的對象數目,以及每一類對象所對應的像素點和邊界框.在每個物體的邊界框的基礎上,對圖像所對應的深度圖分別向兩邊擴展n 個像素點（在本文中,n 取3）,然后對物體的邊界進行分割,并于Mask R-CNN 輸出的掩模向結合,生成準確的物體邊界.

圖7 結合語義標簽和深度信息的邊界分割算法圖Fig.7 Boundary segmentation algorithm combining semantic labels and depth information

由圖7 可知,僅使用Mask R-CNN 網絡,則對物體邊界無法實現準確分割,而在Mask R-CNN 的基礎上結合深度信息,可以獲得較為準確的動態物體掩模,從而實現對動態物體的準確去除.

4.3 抑制環境動態信息影響的視覺導航算法

環境中的運動物體對于圖像的特征匹配會產生較大影響且使相機視場被大面積遮擋,進而影響SLAM 算法位姿估計的精度,因此,基于多視圖幾何對動態物體檢測并基于語義分割和深度信息,對動態物體邊界分割、去除.在去除運動目標后對背景進行修復,通過環境靜態結構的合成框架可提升SLAM系統的位姿估計精度.

動態物體檢測：基于多視圖通過當前幀和其高重疊關鍵幀之間的幾何約束關系,來去除圖像中的動態特征點.具體來講,對當前幀與具有較高相似度的關鍵幀之間的所有特征點進行匹配,并去除視差角大于30°的特征點.這是由于當視角大于30°時,圖像中可能會出現對物體深度測量的遮擋,從而影響對特征點動態性的判斷.利用重投影求得空間點的深度值Δz,并與深度圖像對比,求得深度值

當深度差Δz 大于動態閾值時,則判定該點屬于動態點集合Dynapoint.即

動態物體去除：當檢測到場景中的目標為動態性時,結合4.2 節所述的物體邊界分割和多視圖幾何方法,去除該物體上面的所有特征點,實現環境動態物體去除.

動態場景下圖像背景修復：在去除運動目標后,根據先前的靜態觀察結果修復被遮擋的背景,可合成一個沒有動態內容的真實圖像,如圖8 所示.這種包含環境靜態結構的合成框架對于SLAM 系統后端的循環閉合和映射非常有用.

圖8 動態場景下圖像背景修復圖Fig.8 Background restoration image in dynamic scene

5 實驗及結果

5.1 基于多源融合的導航算法驗證實驗

如圖9 所示,在某室內復雜環境下進行實驗.行走路線為二樓折線,中間穿插辦公室、會議室、裝備室等復雜場景,設定3 個標記點作為誤差計算依據,正常行走3 圈,實驗的起點和終點為同一標記點.

圖9 室內復雜場景局部位姿融合實驗測試路線Fig.9 Experimental test route of local attitude fusion in indoor complex scene

實驗時間約為1 200.98 s（20 min 0.98 s）,運動距離約為923.22 m.圖10（a）中,藍色曲線為腳部解算軌跡,圖10（b）中,紅色曲線為融合軌跡.融合結果終點與起點的水平誤差距離為0.64 m.

圖10 室內復雜場景局部位姿融合實驗結果Fig.10 Experimental results of local attitude fusion in complex indoor scenes

從實驗結果可以看出,慣性導航系統的誤差隨時間發散,而結合慣性和視覺的局部位姿優化抑制了導航誤差的發散,提高了導航系統的性能.

5.2 動態場景下視覺導航自適應算法驗證實驗

為驗證算法對復雜室內動態場景的適應性,本文在某實驗室內搭建實驗平臺,設計了室內動態場景實驗.實驗人員攜帶RealsenseD455 深度相機,從室內一個已知起點出發,沿著固定線路行走一個閉環,最終回到起點,實驗時長13 min 43 s,約行走43.22 m.實驗人員不僅途經動態物體占主要視場的場景,而且還遇到行走中的人.

將實驗結果與ORB-SLAM2 進行對比.由圖11可知,在實驗前期的靜止場景和低動態場景下,ORB-SLAM2 和本文提出的算法都能保持較高精度,且精度相近.但大約在第783 s 時,遇到動態物體占相機大部分視野的場景,這直接導致ORB-SLAM2算法無法進行正確的特征匹配,從而無法進行位姿估計；本文提出的算法去除了場景中的動態物體,可以克服動態場景的不利影響,在復雜場景下依然保持較高的定位精度,實現了對場景的自適應.

圖11 動態場景實驗本文算法估計軌跡與ORB-SLAM2軌跡對比圖Fig.11 Dynamic scene experiment:comparison between the trajectory estimated by the proposed algorithm and the ORB-SLAM2 trajectory

5.3 場景重構算法驗證實驗

實驗人員攜帶LivoxMid-40 小型固態激光雷達、毫米波雷達,以及足部安裝的微慣性傳感器在復雜室內場景下采集得到相關數據,利用三維場景重建相關算法構建3D 室內場景.

圖12（a）為整體的建圖效果,圖12（b）為點云地圖在實際地圖上的位置.由圖12（a）和圖12（b）可知,室內建筑和道路部分建圖效果較好,點云地圖基本可以和實際地圖相匹配.

圖12 場景重構效果圖Fig.12 Scene reconstruction rendering

5.4 云平臺健康監測驗證實驗

消防員通過佩戴運動傳感器組件獲取其運動狀態和運動數據并上傳至云平臺,通過云平臺對數據的分析和處理,選取典型訓練階段的運動數據（2 387條）進行指標解算,結果如表2 所示.利用指標結算結果,從爆發力、耐力、運動效率、健康檢測和傷病預警5 個方面進行評估.根據評估結果可指導訓練和健康維護.

圖13（a）所示為運動初期的加速度特征,三軸加表數據整合峰值約150 m/s,由此可見,受訓人員爆發力較強.圖13（b）所示為運動末期的加速度特征,加表數據整合峰值約60 m/s,對比運動初期和末期沖刺的加速度特征,可見其耐力較差.典型訓練階段觸地騰空比為1.48,垂直幅度為8.1,故該受訓人員運動效率一般,需要下一步改變運動姿勢,提高運動效率.在跑步的全程,左右不平衡,左腳受力較大,說明其右腿部有勞損,需加強右腿肌群的訓練.因此,在綜合大量的運動數據后,可以根據運動特征曲線判斷潛在的運動風險對其進行傷病預警.

圖13 典型路段的加速度峰值特征Fig.13 Acceleration peak characteristics of typical road sections

6 結論

本文著眼于解決消防火場環境下的自主導航與救援的問題,重點開展了基于多源信息融合的自主導航算法、復雜環境下視覺SLAM 自適應方法、三維場景重構方法等內容研究,設計了一個消防員火場自主導航與搜救系統.該系統基于北斗系統和北斗錨點,結合慣性、UWB 和地圖約束等多源信息,實現對復雜火場環境下消防員的高精度自主導航定位；系統通過視覺SLAM、激光雷達和毫米波雷達等傳感器感知三維場景,實現火場煙霧環境下的場景重建；提出了基于語義信息和深度信息的視覺SLAM 場景自適應方法,設計了邊界分割方法和基于運動一致性的動態物體去除方法,提高了系統在復雜場景下的適應性；在此基礎上利用云平臺實現信息的交互共享、健康監測、人/人協同和人/機協同,來提高消防班組的救援和指揮能力.最后通過豐富的實驗展示了本文算法的有效性.