危化品倉庫安全巡檢機器人系統設計與實驗研究

包加桐 丁豪 王國田 唐鴻儒 宋愛國

1 揚州大學 電氣與能源動力工程學院，揚州,225300 2 東南大學 儀器科學與工程學院，南京,210096

0 引言

世界各國都非常重視危化品物流的安全管理和研究工作．如美國的Emergency Response Notification System、歐盟的Major Accident Reporting System 以及英國的Major Hazardous Incidents Database System等,它們基于風險控制系統原則對危化品物流全生命周期進行安全管理,以及利用信息技術等建立了危化品物流管理信息系統和平臺,對企業實現了危化品嚴密監管．我國政府先后出臺了《危險化學品安全管理條例》、《重大危險源辨識》等法律法規,為加強危化品安全監管提供了重要支撐．然而高校由于存在危化品數量少、品種多,多校區辦學,危化品儲存相對分散等特點,探索適應高校自身的教學、科研安全發展的路徑尚存在不足之處．如何基于網絡化、信息化和智能化手段實時監測和管控危化品風險源的動態變化,第一時間對事故苗頭做出反應的方式方法還需深入研究．為豐富高校危化品倉庫的安全檢查手段并提升應急響應能力,本文研究如何利用移動機器人技術來實現全天候的安全巡檢與應急響應．

目前,移動機器人已廣泛應用于變電站巡檢[1-3]、安防[4-5]等領域．它一般具備遠程遙控、自主定位與導航、基于紅外熱成像測溫的設備檢查、儀表讀數識別、設備工作聲音異常檢測等功能．其中自主定位與導航常采用磁軌引導與RFID定位、高精度GPS定位導航、激光定位導航,或視覺定位導航等方式．然而,研究如何將相關技術與方法用于危化品倉庫安全檢查與應急響應還較少．

文獻[6]利用單目全景視覺預先記錄巡檢路徑環境圖像序列,機器人巡檢時通過圖像匹配來實現路徑跟隨及發現當前圖像出現的異常情況,該方法還能用于發現入侵者；文獻[7]使用熱成像技術來采集環境圖像,并通過圖像處理技術來檢測氣體泄漏情況；文獻[8]使用雙目視覺相機的深度信息來搜索巡檢路徑,并同時利用顏色標記和RFID標簽定位巡檢點；文獻[9]重點研究了巡檢機器人的運動控制問題,并將運動控制、觀測位置拍照、通信等相關功能集成實現在機器人操作系統(Robot Operating System，ROS)中；文獻[10]根據橫向與航向的偏差對巡檢機器人進行經典PID算法控制驅動,還利用可見光與紅外圖像融合對目標進行檢測．上述這些研究中均未系統性地考慮全天候有光照和無光照條件下的無軌自主導航、基于熱成像的重點物品觀測、環境參數異常檢測、入侵者檢測，以及遠程人機交互等問題．

因此,本文設計并實現了一種可滿足高校危化品倉庫安全檢查要求的全天候安全巡檢機器人系統．首先,在差速驅動的四輪移動機器人底盤上集成里程計、單線激光雷達、帶云臺的彩色與熱成像相機、環境監測傳感器套件等,構建了移動巡檢機器人平臺．然后,融合里程計與激光雷達數據完成機器人同時定位與建圖(Simultaneous Localization and Mapping，SLAM)、巡檢路徑自定義與跟隨．其次,在圖像關聯分析的基礎上能夠定位巡檢點處預定義的待觀測物品并測量其溫度．在巡檢過程中還利用熱成像相機與環境監測傳感器實時感知環境參數并生成熱力圖軌跡,同時基于先驗知識檢測熱圖像中出現的入侵者．最后,基于ROS集成相關算法,利用NodeJS開發了支持遠程人機交互的Web服務系統．

本文的主要貢獻在于針對高校危化品倉庫安全巡檢應用領域,提出了一個綜合考慮無軌自主導航、重點區域或物品的觀測與測溫、環境參數異常檢測、入侵者檢測、遠程人機交互等功能要求的系統性的機器人巡檢方法與技術方案，并開展了實驗測試．基于本文設計的機器人巡檢系統,可以針對新的危化品倉庫等環境,按照巡檢任務要求,靈活地遠程配置巡檢路徑與被觀測物品開展自動巡檢工作,所有巡檢數據均可以遠程查閱,與相關報警或處置系統聯動后,可以實現應急響應或處置．

1 機器人平臺及軟件組成

為實現危化品倉庫環境下全天候安全巡檢,移動機器人平臺應具備不依賴于光照條件的可自主定位與導航的移動機構以及異常檢測傳感裝置等．如圖1所示,本文采用的機器人平臺由差速驅動的四輪移動底盤、里程計、單線激光雷達、帶云臺的彩色夜視相機和熱成像相機、環境監測傳感器套件、車載計算機、網絡路由設備等構成．其中,里程計主要根據機器人車體左右側電機編碼器推算機器人相對于初始位姿的當前變化位姿．單線激光雷達一方面用于實時避障,另一方面通過將當前測量距離數據與全局地圖數據進行匹配,完成里程計定位數據的校正．此外,為滿足全天候異常檢測需求,選用紅外熱成像相機感知環境物體,輔助以溫度、濕度、氣體濃度等環境監測傳感器套件共同完成測量與分析．

圖1 巡檢機器人平臺Fig.1 The patrol robot platform

基于該巡檢機器人平臺,機器人還應具備無軌巡檢路徑跟隨、基于多傳感器的異常檢測以及遠程人機交互三個方面的功能．如圖2所示,以ROS為軟件框架,無軌巡檢路徑跟隨功能模塊被抽象為環境建圖與路徑跟隨節點,通過訂閱與發布主題,與車體控制、云臺控制、里程計、激光雷達等基礎節點進行通信．此外,以圖像采集與環境參數采集節點為基礎,基于多傳感器的異常檢測模塊被實現為熱成像物體溫度檢測、熱成像入侵者檢測和環境參數檢測節點．遠程人機交互功能模塊則被實現為獨立的基于NodeJS開發的Web服務系統．遠程用戶通過瀏覽器客戶端即可訪問相關功能頁面,實現機器人的控制與信息獲取．

圖2 巡檢機器人軟件系統結構Fig.2 Software architecture of the patrol robot

2 無軌巡檢路徑跟隨

在危化品倉庫環境中,為提高巡檢效率以及重點巡查某些位置或物體,巡檢機器人一般需要沿著設定的路徑去巡查,且在到達各個設定的巡檢點時,機器人需要調整自身的位姿以便觀測到相關區域或物品．為實現這一目標,首先完成倉庫地圖的構建,在準確定位機器人的基礎上配置巡查路徑點與觀測位姿,最后加載巡檢路徑進行路徑規劃與自主導航．

2.1 環境建圖與定位

在機器人系統中定義地圖坐標系{G}、里程計坐標系{O}、機器人坐標系{R}、激光雷達坐標系{L}、彩色夜視相機坐標系{C}和熱成像相機坐標系{T}．對于任一坐標系,當選定某一方向為正前方時,依據右手定則,將該方向設為X軸方向、左側方向為Y軸方向,垂直于XY平面的正上方為Z軸方向．地圖坐標系一般定義在建圖時機器人起始位置點．里程計坐標系定義在里程計量初始時刻機器人所在位置點．機器人坐標系、激光雷達坐標系與相機坐標系均固定在機器人車體上,三者之間位置關系為固定值．由于相機的姿態可由云臺調整,則相機坐標系相對于機器人坐標系的姿態由云臺的俯仰角與旋轉角共同確定．

本文中SLAM過程由式(1)所示的運動方程和式(2)所示的觀測方程描述:

(1)

(2)

其中:St為t時刻機器人運動狀態,由機器人所在地圖坐標(x,y)和航向θ組成;u=(Δx,Δy,Δθ)是機器人運動控制量;ω是噪聲,根據里程計信息可直接獲取機器人先驗位姿估計;Zt表示機器人狀態St下利用單線激光雷達觀測到路標(mx,my)時的觀測值;r和φ分別表示激光雷達與路標的距離和夾角;υt是本次觀測噪聲．SLAM問題即在已知里程計讀數和激光雷達觀測值的情況下,估計機器人運動狀態和地圖路標的聯合后驗概率問題:

p(S1:t,m|Z1:t,u1:t-1)=

p(m|S1:t,Z1:t)p(S1:t|Z1:t,u1:t-1)，

(3)

其中p(S1:t|Z1:t,u1:t-1)和p(m|S1:t,Z1:t)分別實現定位和建圖．本文采用經典的Rao-Blackwellized粒子濾波算法[11]來求解該估計問題,最終以柵格地圖形式進行保存．

2.2 巡檢路徑定義與跟隨

加載已建立的柵格地圖,并生成膨脹后的代價柵格地圖．利用自適應蒙特卡羅定位算法(Adaptive Monte-Carlo Localization，AMCL)[12]來估計機器人在{G}中的位姿．同時，機器人根據激光雷達測距信息生成局部代價柵格地圖．

通過人機交互界面,順序地控制機器人到達某一位姿并調整云臺觀測姿態,記錄得到一個位姿序列,并將該序列定義為巡檢路徑．設由N個路徑點構成的巡檢路徑表示為

τ={τ1,τ2,…，τN}，

τi=(xr,yr,θr,θpitch,θyaw)，

(4)

其中,任一個路徑點τi由機器人的位姿和云臺的姿態信息所表示．(xr,yr,θr)是機器人在{G}中的坐標和航向,(θpitch,θyaw)分別是云臺的俯仰角和偏航角．因此,巡檢路徑跟隨問題可分解為一系列移向路徑點的自主導航子問題．

設機器人當前位姿為τr,期望到達的下一個巡檢路徑點為τi,則該自主導航子問題可描述為在已知地圖中規劃出從τr到τi的一條路徑,跟隨該路徑并能夠動態避讓障礙物直至到達τi．本文首先采用Dijkstra最短路徑算法來規劃地圖中τr到τi的路徑,然后采用式(5)所示的動態窗口法[13]來采樣線速度vc與角速度wc．

Vd={(vc,wc)}，

(5)

(6)

3 基于多傳感器的異常檢測

為滿足全天候異常檢測需求,首先選用熱成像相機在有光照或無光照環境下感知環境中物體．基于熱成像的異常檢測主要包括:物體溫度檢測與入侵者檢測．其次輔助以溫度、濕度、氣體濃度等傳感器完成在線環境參數測量與分析．在移動機器人完成倉庫環境的一次連續移動巡查后,可以將不同類型測量數據以熱力圖軌跡顯示在地圖上,幫助用戶直觀了解到倉庫整體安全狀況．

3.1 熱成像物體溫度檢測

(7)

如圖3所示,在某個巡檢點處,用戶可以在預定義彩色夜視圖像Ipre(左圖)確定待檢物體的圖像像素坐標．當機器人自主導航至巡檢點時,由于機器人的定位誤差,當前觀測到的彩色夜視圖像Iobs(右圖)與Ipre之間會出現偏差,因此需要根據Iobs與Ipre之間的變換關系推算出預定義的待檢物體在當前觀測圖像Iobs中的像素坐標并最終根據式(7)映射至熱圖像中．

為獲得Iobs與Ipre之間的變換關系,首先在Iobs和Ipre上分別提取SIFT顯著特征點并進行匹配．圖3顯示了某巡檢點處觀測圖像與預定義圖像之間的特征點匹配結果．

圖3 觀測圖像與預定義圖像之間的特征點匹配Fig.3 Feature points matching between observation image and predefined image

(8)

(9)

值得說明的是,當Iobs和Ipre之間未能提取到5組有效特征匹配點,則測量結果為空．無論待檢物體定位是否成功,巡檢點處整幅圖像的最高溫度會同時被記錄,當溫度異常時會執行相關報警動作．

3.2 熱成像入侵者檢測

當人體進入熱成像相機視野范圍內,人體與環境物體的溫差,會使熱圖像上產生顯著性圖像區域．基于人體溫度范圍及顯著性圖像區域大小的先驗知識可檢測出入侵者．具體地,首先根據人體溫度變化范圍,對熱圖像進行二值化，然后在二值化圖像上進行輪廓檢測,得到邊緣閉合的圖像塊列表,最后遍歷每一個圖像塊,當圖像塊包含的像素數量在設定的閾值范圍內,則判定該圖像塊為入侵者．

3.3 環境參數在線測量

在移動機器人平臺上集成安裝溫度、濕度、氣體濃度檢測等傳感器,以1 Hz的頻率實時記錄各傳感器測量數據、機器人當前位姿、測量時間等并存儲至結構化數據庫．

4 遠程人機交互

為使用戶在遠程能夠實時掌握巡檢機器人工作狀態、查詢實時與歷史巡檢記錄、配置機器人巡檢參數等,設計了基于Web用戶界面的人機交互系統．首先,在相關網絡安全措施保障下,利用軟件VPN技術將機器人車載計算機虛擬成可以遠程訪問的公網服務器．其次,在機器人車載計算機上利用NodeJS編寫Web服務腳本,運行腳本后機器人開始在設定端口提供Web服務,一方面為訪問用戶提供前端Web用戶界面資源(主要包括HTML、CSS和JavaScript等靜態文件);另一方面負責接收和處理用戶請求,通過專用應用程序接口rosnodejs實現與ROS系統交互,并返回服務器端資源(例如存儲文件或數據庫存儲數據等)或相關處理結果．本文中設計完成的人機交互功能模塊主要包括:地圖構建與管理、巡檢線路管理、巡檢監測、記錄回放等．

5 實驗結果

5.1 實驗任務

為了驗證本文提出的方法與系統的有效性,同時降低安全風險,在如圖4所示的實驗室環境中開展模擬危化品倉庫安全巡檢任務．共設置5個巡檢點,位置由數字圖標示意,箭頭示意了到達巡檢點后云臺的觀測朝向,其他時刻云臺均保持水平且朝向與機器人前進方向一致．H圖標示意在實驗過程中入侵者出現的位置．

圖4 實驗場景配置Fig.4 The experimental scene setups

實驗中,共執行4次巡檢任務．第1次巡檢任務針對正常的無人的無光照漆黑的實驗室環境開展．第2次巡檢任務同樣在無光照漆黑的實驗室環境中開展,并預先在巡檢點3處打開電烙鐵并加熱,在巡檢點4處人為制造煙霧并接近機器人上的煙霧傳感器,在巡檢點5處放置熱水壺,在巡檢點2和巡檢點5附近分別站立或坐著測試人員．第3次與第4次巡檢在有光照實驗室環境下開展,其他環境配置分別與第1次和第2次巡檢基本相同．此外,啟動建圖、地圖保存、巡檢路徑設置、待觀測物體設置、啟動巡檢、查詢巡檢記錄等操作必須通過遠程人機交互界面進行．

基于上述實驗配置,實驗目的主要包括:

1)考察環境地圖構建與巡檢路徑跟隨效果;

2)考察機器人在巡檢過程中能否感知和定位人工設置的異常的高溫物體與氣體泄漏源,能否檢測到入侵者;

3)考察機器人到達各巡檢點位置時能否準確調整車體與云臺姿態,完成對預設物體位置的熱成像溫度測量;

4)考察遠程人機交互模塊能否滿足巡檢工作要求．

5.2 地圖構建與巡檢路徑跟隨結果與分析

登錄機器人Web服務系統,進入地圖構建頁面,啟動SLAM進程,選用虛擬遙桿等方式遠程控制機器人在實驗環境內移動,同時通過人機交互界面實時觀察地圖構建進展,最終完成地圖構建并保存．圖5顯示了人機交互界面與構建完成的地圖．

圖5 人機交互圖形用戶界面與地圖構建結果Fig.5 Human robot interaction GUI and the mapping result

然后進入圖6所示的巡檢線路配置頁面,加載地圖,手動控制機器人到達第1個巡檢點位置并調整機器人與云臺姿態,保存機器人當前位姿與云臺姿態數據作為巡檢點數據．同時在采集到的彩色夜視圖像上點擊確定待測溫的物體像素位置,與圖像一起保存后作為待測物體數據．按相同操作,依次得到其他巡檢點數據與待測物體數據．巡檢點數據格式見表1,由于在室內地面上導航,機器人位置坐標不包含z軸方向坐標,姿態四元數也不考慮俯仰角和橫滾角,相機觀測姿態保存為云臺預設點．

圖6 巡檢線路配置Fig.6 Configuration of patrol paths

表1 巡檢點數據

保存巡檢路徑后,可啟動自動巡檢．實驗中設置判定機器人到達目標巡檢點位置的容忍值為0.3 m,姿態朝向的容忍值為0.12 rad．圖7顯示了實驗任務中所述的機器人執行4次巡檢任務時記錄的導航軌跡．可以看出,機器人均能按照設定的路徑開展自主導航．

圖7 機器人巡檢軌跡Fig.7 Patrol trajectories of the robot

5.3 熱成像物體溫度測量與環境參數測量結果與分析

機器人到達某一巡檢點位姿后,采集當前彩色夜視圖像與熱圖像,計算彩色夜視圖像與預定義的待測物體圖像之間的變換關系,得到當前觀測圖像中的物體像素坐標,獲得對應的溫度值．圖8顯示了機器人在多次巡檢任務中在各個巡檢點處獲得的圖像與對應預存儲圖像之間的像素位置誤差,其中圖像分辨率為640×480．可以看出,不同時刻觀測圖像與預存儲圖像之間的像素位移均可以利用文中的特征點匹配方法計算出來．同時垂直方向的像素位移要小于水平方向的像素位移,表明機器人不同時刻到達巡檢點處時在航向上的定位誤差高于位置誤差,與導航控制器設置的目標位姿容忍參數一致．

圖8 觀測圖像與預定義圖像像素位置偏差Fig.8 Pixel offsets between observation images and predefined images

圖9依次顯示了第2次巡檢中在5個巡檢點處的熱成像測溫結果．該次巡檢實驗在2020年5月5日20時左右無光照漆黑環境下執行．圖9中第1行圖像是彩色夜視相機采集的圖像,第2行是熱成像測溫生成的灰度圖像．測溫結果表明,在第2、3、5巡檢點處的溫度需要關注,經分析第2巡檢點處的最高溫度42.4 ℃由實驗室墻壁上無線路由器產生,第3巡檢點處的129.6 ℃由電烙鐵產生,第5巡檢點處的57.4 ℃由熱水壺產生．

圖9 巡檢點處熱成像物體測溫結果Fig.9 Object temperature measured by thermal imaging at different patrol positions

此外,機器人在巡檢過程中,利用熱成像相機和環境監測傳感器實時采集環境參數,以熱力圖形式疊加顯示在地圖導航軌跡上．以第2次巡檢中氣體濃度檢測結果為例,圖10顯示了生成的環境氣體濃度熱力圖軌跡．冷色調藍色代表氣體濃度值較低,暖色調紅色代表氣體濃度值較高,其他為過渡顏色．由于本次實驗中在巡檢點4處人為制造煙霧并接近氣體濃度傳感器,機器人在巡檢點4處熱力圖軌跡迅速變為紅色,離開后逐步過渡到藍色,熱力圖軌跡反映了真實的實驗環境設置情況．

圖10 巡檢過程中生成的氣體濃度熱力圖軌跡Fig.10 The generated heat trajectory representing gas concentration at different positions in the patrol process

5.4 入侵者檢測結果與分析

為定量分析入侵者檢測效果,完整連續地記錄了第2次巡檢實驗過程中的熱圖像,形成熱圖像視頻流．視頻共長129 s,按每秒一幀圖像從視頻中提取共計129幀圖像．利用3.2節所述的入侵者檢測方法,依次離線處理129幀圖像．實驗中將溫度測量值處于[34,38]℃之間的像素值設置為255,其他均設置為0,得到二值化圖像,人體圖像塊像素數量閾值設置為2 000．圖11給出了某一圖像幀的處理過程與結果,其中左圖是利用最大值最小值歸一化方法生成的熱圖像灰度圖,中圖是根據人體溫度范圍閾值二值化后的圖像,右圖是經過輪廓檢測與圖像塊大小篩選后的檢測結果．

圖11 某圖像幀的圖像處理結果Fig.11 Image processing results on an image frame

所有圖像幀處理結果的正確率由非實驗人員來判定,對于某幀圖像,當檢測結果區域與真實目標重疊且檢測數量一致時,則判定該幀圖像上檢測結果正確．經統計,該實驗總的檢測正確率為93%．部分錯誤檢測熱圖像如圖12所示,經分析主要原因有:1)部分熱圖像中只出現了人體的局部區域,人工判定失敗;2)人體區域圖像塊不連通,造成檢測人數多于實際人數;3)由于某位置物體(如計算機)散發的熱量較接近設定的人體溫度閾值而造成的誤檢測．值得說明的是,入侵者檢測的正確率會依據不同的環境及巡檢路徑有所差異．

圖12 入侵者檢測錯誤樣例Fig.12 Example of intruder detection error

6 結束語

本文通過研究并集成先進的傳感與導航控制技術,構建了一個可應用于危化品倉庫等應用場景的機器人巡檢系統．按照巡檢任務要求,可以靈活地遠程配置巡檢路徑與被觀測物品,開展自動巡檢工作．本文主要工作涉及系統集成、無軌自主導航與探測、遠程人機交互等方面．構建的巡檢機器人系統在硬件與軟件方面均具有較好的開放性與擴展性,針對不同應用需求,可以方便集成各類傳感器系統,以開源ROS為軟件框架,可以快速擴展軟件功能模塊．

然而,本文的研究還存在一些不足:

1)機器人在大范圍的室內巡檢場景中的定位與導航控制精度是否滿足要求還值得進一步研究和試驗;

2)采用了較為簡單的基于圖像處理的入侵檢測方法,如需提升檢測正確率可進一步使用監督學習的方法;

3)工程應用中如何集成利用應用場景已有的信息系統(如計算機監控系統)從多途徑來分析、比較、發現巡檢過程中可能出現的問題值得進一步研究．