智能消防機器人與無人機協同系統*

陳昶宇 鐘琪 許正豪 鐘佩杭

廣東理工學院 信息技術學院 廣東 肇慶 526100

引言

隨著物聯網的興起，各種智能化設備應用，人物感應，都逐步普及到社會各個方面。互聯網經過多年的發展，智能化應用設施的大量應用，為物聯網的下一步發展，飛躍前進，都打下了堅實的基礎。尤其在5G技術高速發展的今天，低延遲﹑高速率﹑大帶寬成為物聯網發展的一大推動力。

在我國現代消防救援中無人機是一種重要的輔助設備，通過無人機能大幅度增強消防搶險能力。無人機的主要優點有指點飛行﹑視覺追蹤﹑感知避障﹑搜救可靠﹑視野范圍開闊﹑機動靈活等。通過這些優點，再加上對無人機的規范利用，可提升火災救援效率，減少人民群眾的生命財產損失。

針對化工﹑石油類倉庫發生火災時，消防人員難以進入現場，火場易燃易爆等情況，消防人員隨時會有生命危險。履帶式消防機器人可以代替消防人員進入危險的火災救援現場實施滅火﹑救援等，最大程度上保障了消防員的人身安全，有效防止意外發生，滿足新形勢下的消防實戰需求。

1 運作流程

系統總體分為：無人機勘測模塊﹑地形分析模塊﹑智能消防機器人遠程操控模塊﹑火源追蹤模塊這四大模塊[1]。大體行動流程如下：由消防車搭載無人機﹑智能消防機器人﹑終端到達火情處，救援人員調度無人機，配合地形圖使用地面操作系統進行初步火情勘測，獲取三維立體地形圖。通過所搭載的傳感器，將溫度分布﹑火源分布點﹑火勢集中點﹑地形等數據發送給地面的5G基站，5G基站接收到數據以后，將數據中轉給服務器終端，經過服務器進行大數據分析﹑對比﹑篩選﹑計算后，推演出智能消防機器人大致路線，再返還數據在終端上實時顯示。根據返還回來的數據結果，救援人員通過終端遠程操控智能消防機器人進入火情處，進行實時勘測，通過機器人搭載的火源追蹤模塊并上傳數據至服務器進行實時分析，實時更新救援路線。根據救援路線智能消防機器人迅速前往火源點，進行滅火或對火源點火情進行壓制。系統運行流程圖如圖1。

圖1 系統運行流程圖

2 功能具備

2.1 遠程實時控制

遠程實時控制建立在網絡和數據的基礎上，通過終端以無線形式讀取設備的狀態數據，并結合實際需求，借助無線網絡來給無人機和消防機器人的無線模塊發送指令，完成動作[2]。其控制靈活，可以突破時間﹑空間的限制。救援人員利用遠端遙控設備通過通信網絡將控制指令傳送到近端控制器 （一般是可編程控制器PLC），PLC接收到控制指令后通過內部的可編程存儲器將指令轉化為機器語言指令，從而完成對設備的操控，達到遠程監測﹑遠程控制﹑遠程維護設備的目的。遠程控制處理流程會持續進行，不斷循環，直到達成目標。而通信網絡的主要工作就是傳送狀態信息以及動作指令，通信網絡必須保證傳輸信息和指令的準確性和可靠性。 除此之外，監測系統會將監測到的數據以及設備的運行情況返回到計算機處理中心，數據平臺會將這些數據儲存起來并分析處理，為后續的控制和檢修提供基礎。

2.2 實時更新最佳路線

當消防機器人進入火場執行滅火任務時，云端服務器結合無人機傳感器反饋至與云端信息，形成一個細粒度的柵格化的“路徑場”，再通過D*lite算法，做出最優的路徑規劃。消防機器人不斷檢查不斷檢查該路徑上的障礙是否發生變化，當發現障礙或者障礙發生變化，且蔓延到該路徑上時，上傳至云端服務器，D*lite將第一次重新規劃路徑，服務器發送指令，使消防機器人繞過火情嚴重點，而當火情再次蔓延，封住之前規劃路徑的前進通道時，通過收集之前尋路產生的信息，D*lite將重新第二次規劃，通過增量搜索的數據再利用直接在受阻礙的當前位置重新規劃出一條最優路徑，然后繼續前進[3]。

2.3 熱源探測系統

消防機器人通過熱成像傳感器掃描出溫度分布圖，掃描完成后，立刻通過RTMP協議將數據發送給服務器，檢測設備對周圍熱源實時更新，實時將數據返回給予云端服務器進行分析，將數據返回至救援人員所操作的終端上，確保救援人員能夠實時了解火情。

3 技術含量

3.1 消防機器人探測系統

消防機器人可以根據災害事故現場情況依賴于各種電子元器件進行探測，裝載攝像頭可將現場情況通過通信網絡實時傳輸給后方系統處理，同時有賴于各種傳感器。主要分為兩類：一類是內部傳感器，用來探測在災害事故現場中消防機器人自身狀態參數，反饋給中央大腦DSP，進行合理的路徑規劃，并根據災害事故現場情況合理安排，使消防機器人有序開展工作。另一類是外部傳感器，用來探測災害事故現場的各項數據（障礙物情況﹑火場溫度﹑輻射熱強度﹑有毒氣體或者可燃氣體種類和濃度和氧氣含量等），為后方處理系統提供原始數據。

3.2 圖像噪點修復

在對焦側及中部密集點進行拍攝時，小的晃動問題并顯示很嚴重，由于距離比較遠，小的晃動就會或畫面的不穩定，影響識別精度。晃動的原因有以下幾種情況，一是氣流和風向對無人機產生的影響，二是無人機電機轉速不平衡導致無人機導致行過程中出現低頻晃動，三是無人機與攝像系統的連接上有一定的方向震動。這些問題都有可能使圖像產生噪點。

而CCD和CMOS感光元件也都存在有熱穩定性（hot pixel）的問題，就是對成像的質量和溫度有關，如果機器的溫度升高，噪音信號過強，也會在畫面上不應該有的地方形成雜色的斑點[4]。

因此我們對設備進行設定，使設備在識別前對監測圖形進行判斷噪點產生類型，進行調節相關傳感器的ISO的操作，通過對光的敏感度進行噪點控制，同時采用堆棧模式，將同一機位拍攝的同一場景的多張照片，按照一定的算法堆疊在一起合成一張照片，從而取得降噪﹑去除雜物等效果，達到噪點修復的效果。

3.3 無人機勘測系統

通過無人機飛行平臺搭載傾斜相機，采用傾斜攝影的方式獲取測區的影像數據，利用自動建模的技術構建實景三維模型；在構建的實景三維模型基礎上，通過三維立體量測技術，采集地物地貌特征點﹑線﹑面，最后通過內業編輯的方式制作地形圖，從而省去煩瑣的外業調繪工作，為快速制作大比例尺地形圖測繪提供一種新的解決方案。基于無人機傾斜攝影的大比例尺地形圖測繪技術路線如圖所示。

圖2 無人機傾斜攝影的大比例尺地形圖測繪技術路線

構建工程加載影像數據，設置相機參數，編輯pos數據，引入控制點及檢查點數據，建立好Smart3D工程，采用2個相機，需設置2個相機文件，通過七參數模型及似大地水準面補償模型轉換到聯網所獲取的地圖下。采取區域網布點，解算控制點5個，檢查控制點8個。通過三維實景模型生成基于空中三角測量成果，進行模型分塊，在分塊模型的基礎上，提取測區密集點云，構建不規則三角網，最后對改進后的工作流程中提取的點云進行精度評估。從兩個平面區域中，在原始和改進后的工作流節點上選擇點的子集，然后分別將平面擬合到這些子集上，比較了擬合平面上各點的均方誤差更密集﹑更精確的點云可以為建筑提取清除邊界輪廓。

4 本項目優勢

4.1 提高消防人員安全系數

當火場里有被困人員時，可供選擇的方案就只有消防人員進入火場作業。穿戴式空氣呼吸器，理論上能夠維持30min供氧，但由于人員多的體力消耗以及神經緊繃，呼吸器往往只能維持20min，整套裝備重量達到15kg。消防人員穿著厚重的裝備，深入火場內部搜救被困人員，面對隨時可能發生坍塌，爆炸，墜樓，穿刺等不可預知的危險，還有著視野受限，現場情況不詳，找不到著火點等極端情況。本項目提供的消防機器人可代替消防員，在保證人身安全的情況下完成危險作業。無人機通過高空掃描地形，熱成像掃描，精確判斷事故發生的地點。在極短時間內為消防機器人與消防人員提供最優救援路線與火情信息，為消防人員提供更精準的判斷與抉擇。

4.2 5G低延遲

5G技術有低延遲﹑高速率﹑大帶寬等優點，在救援前期，火勢變化快，利用5G網絡低延遲的優點，可實時更新火場狀況，高速上傳至云端，經過云端服務器，利用D*lite等算法，進行分析﹑對比﹑篩選﹑計算后，統計出數據反饋至終端，以便救援人員能實時檢測火情。

4.3 3D地形模型

消防機器人所收集數據通過RTMP協議將AVC（H264）數據發送到流媒體服務器，DensePCR在每一個點周圍建造一個鄰域，在每一個鄰域內運用MLP就可以獲得這個鄰域內的全局特征，相對于整個點云來說，也就是局部特征，這樣能夠獲取更加準確的輪廓，使消防機器人避障效率提高。

5 結束語

本文基于一種無人機與智能消防機器人協同偵察滅火的應用展開論述。通過無人機裝置傳感器，對火勢變化進行實時遠程監測，利用5G網絡將數據傳至終端，最后進行一系列算法分析得出最優撲滅路線，全程無須人員操作，降低了消防人員的工作難度，最大程度上保障了消防人員的人身安全。