遙操作巡視探測(cè)場(chǎng)景實(shí)時(shí)構(gòu)建與仿真研究

趙 迪，徐 臻，戴志鵬，于麗平

(湖北工業(yè)大學(xué)機(jī)械工程學(xué)院，湖北 武漢 430000)

1 引言

隨著探測(cè)機(jī)器人技術(shù)的發(fā)展，逐漸代替了人類參與高危的救援，軍事，外層空間探測(cè)等任務(wù)[1，2]。在災(zāi)后救援時(shí)的環(huán)境十分多樣復(fù)雜，單靠探測(cè)機(jī)器人的自主智能，很難在多障礙物、地形非結(jié)構(gòu)化的情況下找出最優(yōu)的運(yùn)動(dòng)方案，因而需要遙操作來進(jìn)行危險(xiǎn)情況的探測(cè)機(jī)器人控制。而目前的探測(cè)機(jī)器人的遠(yuǎn)程操作方式主要是根據(jù)傳回來的視頻影像來進(jìn)行操控，但相比于二維圖像信息，虛擬現(xiàn)實(shí)技術(shù)提供的三維信息更符合人類的感官直覺，視角更加廣，信息量也更大[2]。加強(qiáng)了操作人員臨場(chǎng)感，極大的降低遙操作因?yàn)橐暯鞘芟薅a(chǎn)生失誤的可能性[3-5]。

對(duì)于地形三維立體測(cè)圖，我國(guó)于2017年發(fā)射的第一顆自主的民用高分辨率立體測(cè)繪衛(wèi)星資源三號(hào)衛(wèi)星，其采集的DEM數(shù)據(jù)精度為2.1m。而對(duì)于非結(jié)構(gòu)化環(huán)境下探測(cè)機(jī)器人運(yùn)行要求，DEM地形精度還是過于粗糙，顯然不能完成局部的遙操作控制。因此需要根據(jù)探測(cè)機(jī)器人實(shí)時(shí)傳回的準(zhǔn)確地形數(shù)據(jù)對(duì)環(huán)境重構(gòu)。災(zāi)后情況常采用軌道衛(wèi)星通訊方式，這種大延時(shí)低帶寬情況下遙操作信號(hào)傳輸條件苛刻，使用傳統(tǒng)的SLAM激光雷達(dá)進(jìn)行地形重建其數(shù)據(jù)量過大。這些情況都給機(jī)器人探測(cè)帶來了很大的挑戰(zhàn)[6-10]。

針對(duì)這些問題，本文將采用在物理引擎Unity3D中顯示深度相機(jī)采集提取的地形障礙增強(qiáng)信息，完成對(duì)非結(jié)構(gòu)化環(huán)境遙操作的仿真環(huán)境搭建；并設(shè)計(jì)了基于地形通行性的遙操作場(chǎng)景仿真[11]，在保證遙操作場(chǎng)景仿真準(zhǔn)確性的同時(shí)減小了地形重構(gòu)的數(shù)據(jù)量大小。

2 遙操作場(chǎng)景仿真系統(tǒng)設(shè)計(jì)

遙操作場(chǎng)景仿真包括地形環(huán)境與探測(cè)機(jī)器人本體的仿真。由于探測(cè)機(jī)器人的模型為已知，只需通過傳感器輸出機(jī)器人的位置位姿進(jìn)行信息反饋，在仿真場(chǎng)景中實(shí)時(shí)的更新探測(cè)機(jī)器人的狀態(tài)。在Unity3D中其仿真實(shí)現(xiàn)較為簡(jiǎn)單，文中實(shí)驗(yàn)中包含探測(cè)機(jī)器人仿真但不做詳細(xì)描述。

地形環(huán)境的三維構(gòu)建，在遙操作場(chǎng)景仿真中決定著遙操作人員的臨場(chǎng)感與仿真結(jié)果的正確性。在該仿真系統(tǒng)中，首先將DEM數(shù)據(jù)直接導(dǎo)入到物理引擎地形組件中，然后要結(jié)合深度相機(jī)實(shí)時(shí)獲取的真實(shí)環(huán)境的地形障礙信息，與DEM底層地形數(shù)據(jù)相融合，完成對(duì)遙操作場(chǎng)景的增強(qiáng)信息顯示與需要準(zhǔn)確顯示的地形障礙三維重建。

為了充分滿足這些要求，首先設(shè)計(jì)系統(tǒng)結(jié)構(gòu)。系統(tǒng)結(jié)構(gòu)如圖1所示，系統(tǒng)主要分為三個(gè)部分，探測(cè)機(jī)器人、數(shù)據(jù)庫(kù)與通訊、Unity3D場(chǎng)景搭建，實(shí)現(xiàn)將探測(cè)機(jī)器人遙測(cè)信息進(jìn)行數(shù)據(jù)的保存與通訊，最后進(jìn)行探測(cè)場(chǎng)景的實(shí)時(shí)構(gòu)建的功能。

圖1 系統(tǒng)結(jié)構(gòu)圖

系統(tǒng)設(shè)計(jì)的主要目的是通過對(duì)未知地形的探測(cè)，識(shí)別，關(guān)鍵信息傳輸，數(shù)據(jù)儲(chǔ)存讀取與三維重建，實(shí)現(xiàn)具有強(qiáng)臨場(chǎng)感，運(yùn)動(dòng)真實(shí)的遙操作場(chǎng)景仿真。

3 系統(tǒng)關(guān)鍵技術(shù)

3.1 基于地形障礙通行性的顯示

在該探測(cè)機(jī)器人遙操作場(chǎng)景仿真系統(tǒng)中，地形障礙根據(jù)通行性使用不同的顯示方法。本文中將通行性分為三種情況，不可通行、有障礙可通行、無障礙通行。

探測(cè)機(jī)器人不可通行情況，如不可翻越的坑與坡地形、較大的石頭障礙、落石區(qū)等，并對(duì)這類地形信息進(jìn)行信息增強(qiáng)顯示如圖2所示，便于遙操作人員避開障礙的操作；有障礙可通行，如較小坡度的地形，探測(cè)機(jī)器人可以進(jìn)行翻越，不需要增強(qiáng)信息提示，但需要對(duì)地形建模，以便實(shí)現(xiàn)探測(cè)機(jī)器人進(jìn)行小坡度翻越的仿真；對(duì)于遠(yuǎn)小于輪式探測(cè)機(jī)器人車輪的坑洞、坡地與石子不做任何的顯示。

圖2 地形障礙分類圖

3.1.1 地形障礙描述

為了判斷地形的通行性，先需要定義地形障礙的地形障礙的數(shù)據(jù)結(jié)構(gòu)，將其量化出來。

首先使用Kinect相機(jī)將地形的點(diǎn)云數(shù)據(jù)采集出來，然后采用的三維點(diǎn)云的聚類識(shí)別方法，將地形障礙將以包絡(luò)體的方式表示出來。圖3中所示為一個(gè)坑洞的包絡(luò)體。

圖3 地形點(diǎn)云包絡(luò)體

根據(jù)點(diǎn)云處理后的包絡(luò)體的數(shù)據(jù)，可以將任何的地形障礙以obj(x，y，z;VL，VW，VH;P1，P2，P3，P4)的數(shù)據(jù)結(jié)構(gòu)表示出來，如表1所示。

表1 地形障礙數(shù)據(jù)結(jié)構(gòu)定義表

3.1.2 地形通行性識(shí)別與顯示

探測(cè)機(jī)器人深度相機(jī)所獲得的障礙物信息不能全部都顯示在Unity3D的場(chǎng)景中，否則會(huì)消耗計(jì)算機(jī)很大的計(jì)算量，也不利于遙操作人員對(duì)環(huán)境的觀察。在獲取到地形障礙的基本數(shù)據(jù)之后，在數(shù)據(jù)庫(kù)中需要對(duì)地形的通行性進(jìn)行判斷。然后在Unity3D的場(chǎng)景中以不同方法顯示出來。

1)坑洞通行性，以坑洞的長(zhǎng)寬VL，VW為判斷依據(jù)，若是小于輪式探測(cè)機(jī)器人的越坑寬度d，則可以跨越，屬于有障礙可以通行類型。若是遠(yuǎn)小于d則為無障礙通行類型。

2)坡地通行性，首先判斷坡地的高度，若是小于越障高度h，則可以跨越。若是大于越障高度則接著判斷坡地的坡度P3是否小于可運(yùn)行坡度，計(jì)算公式如下

(1)

3)石頭障礙通行性，以判斷障礙的體積大小參數(shù)P2來選擇顯示方式。對(duì)于石頭障礙可通過在Unity3D中準(zhǔn)備好其預(yù)制體，根據(jù)識(shí)別到石頭時(shí)根據(jù)位置及大小在場(chǎng)景中調(diào)用相應(yīng)的預(yù)制體。

3.1.3 使用Unity3D地形重構(gòu)流程

當(dāng)探測(cè)機(jī)器人在運(yùn)動(dòng)到指定點(diǎn)時(shí)，進(jìn)行周圍的地形障礙的識(shí)別，通過Socket網(wǎng)絡(luò)通訊將地形數(shù)據(jù)按規(guī)定數(shù)據(jù)結(jié)構(gòu)發(fā)送，在數(shù)據(jù)庫(kù)中對(duì)所有地形障礙的通行性進(jìn)行判斷，根據(jù)仿真系統(tǒng)中探測(cè)機(jī)器人的位置，在數(shù)據(jù)庫(kù)中搜索附近需要顯示的地形障礙，并在Unity3D中依據(jù)本文中的顯示策略顯示出來。具體流程如圖4所示。

圖4 地形數(shù)據(jù)讀取流程

Untiy3D中地形保存在一個(gè)高度矩陣中，地形高度矩陣的值可以由C#腳本編程來控制，對(duì)于新創(chuàng)建的全局地形矩陣默認(rèn)大小為H1000×1000，動(dòng)態(tài)改變地形的形狀即是改變矩陣對(duì)應(yīng)位置中的地形高度。通過Unity3D腳本控制的方法，當(dāng)探測(cè)到新地形障礙時(shí)調(diào)用 Unity3DTerrain地形組件中的SetHeights函數(shù)對(duì)地形進(jìn)行動(dòng)態(tài)的更新。其仿真運(yùn)行效果如圖5所示。

圖5 仿真運(yùn)行效果

3.2 不可通行地形簡(jiǎn)化重構(gòu)

對(duì)于不可通行地形障礙的重構(gòu)，其主要目的是為了遙操作人員具有更好的視覺操作體驗(yàn)，并能夠避免這些障礙地形。對(duì)于坑洞與凸包地形障礙，只需要重構(gòu)簡(jiǎn)易的形狀特征，并添加醒目的增強(qiáng)信息。

3.2.1 坐標(biāo)轉(zhuǎn)化

已知地形障礙在探測(cè)機(jī)器人的相對(duì)位置，可以在仿真場(chǎng)景中顯示出來。但是為了進(jìn)行地形數(shù)據(jù)的分析與處理，還需要求出地形障礙的世界坐標(biāo)。當(dāng)探測(cè)機(jī)器人移動(dòng)時(shí)，地形障礙可由世界坐標(biāo)位置確定。

將障礙信息記錄存儲(chǔ)到數(shù)據(jù)庫(kù)后，則可以通過服務(wù)器在數(shù)據(jù)庫(kù)中讀取地形及障礙物的位置數(shù)據(jù)，并在Unity3D中實(shí)時(shí)的顯示地形障礙。

圖6中畫出了地形障礙在探測(cè)機(jī)器人坐標(biāo)與世界坐標(biāo)系的相對(duì)位置關(guān)系，根據(jù)其相對(duì)關(guān)系可得出地形障礙的世界坐標(biāo)轉(zhuǎn)換矩陣式(2)。

圖6 坐標(biāo)轉(zhuǎn)換

其中(x1，y1)是探測(cè)機(jī)器人在世界坐標(biāo)系中的位置，(x2，y2)是地形障礙與機(jī)器人的相對(duì)位置，(x0，y0)則為求取的地形障礙絕對(duì)位置坐標(biāo)。θ為移動(dòng)機(jī)器人偏轉(zhuǎn)角。

3.2.2 曲面重構(gòu)

自然中常見的坑洞與凸包都近似于中心軸對(duì)稱體，因此對(duì)于坑洞的簡(jiǎn)化地形曲面擬合可以視為障礙物邊緣點(diǎn)與最低點(diǎn)兩點(diǎn)的擬合曲線圍繞坑洞中心Z軸方向旋轉(zhuǎn)所形成的曲面。

因此可以使用拉格朗日插值式(3)求取曲線擬合得式(4)，然后將(xn-x0)2換為(xn-x0)2+(yn-y0)2再代入曲面上每點(diǎn)坐標(biāo)(xn，yn)，得出曲面高度方程(5)

(3)

(4)

(5)

得到地形的高度后，將每個(gè)點(diǎn)的值帶入如下的以hx0，y0為中心2r×2r的高度矩陣。然后代入到全局地形H1000×1000。

3.3 可通行障礙地形的準(zhǔn)確重構(gòu)

對(duì)于可通行的障礙地形，進(jìn)行地形重構(gòu)的要求不僅僅是將其可視化出來，同時(shí)需要對(duì)其進(jìn)行精確的三維重構(gòu)。只有滿足地形障礙的準(zhǔn)確性，才能在進(jìn)行探測(cè)機(jī)器人運(yùn)動(dòng)仿真時(shí)具有準(zhǔn)確的仿真結(jié)果。

由于Unity3D中地形數(shù)據(jù)是以矩陣的方式描述，因此可以對(duì)障礙地形區(qū)域的深度圖像進(jìn)行提取，將其轉(zhuǎn)化為Unity3D地形高度矩陣的格式。

1)障礙地形邊界提取

先識(shí)別出三維點(diǎn)云的盒狀包絡(luò)體。將包絡(luò)體xoy平面的邊界點(diǎn)坐標(biāo)轉(zhuǎn)化成為世界坐標(biāo)系絕對(duì)坐標(biāo)，轉(zhuǎn)化方式如2.2.1里所示，可得出包絡(luò)盒對(duì)角點(diǎn)H[1，1]，H[m，n]在世界坐標(biāo)系中的位置(x1，y1)，(xm，yn)，其中m的值為xm-x1，n的值為yn-y1.。

2)點(diǎn)云轉(zhuǎn)深度圖像

將包絡(luò)體區(qū)域內(nèi)的點(diǎn)云數(shù)據(jù)轉(zhuǎn)換為深度圖像mat后。由于Unity3D中地形高度矩陣的橫縱坐標(biāo)的單位值為0.1m，即高度矩陣兩點(diǎn)之間的距離，但是深度圖像的矩陣大小是不確定的。需要根據(jù)邊界長(zhǎng)度(單位0.1m)，將深度圖像mat的縮放為m×n的矩陣。

此方法可以調(diào)用OpenCV中的圖像縮放函數(shù)resize即可完成，mat的行數(shù)可調(diào)用matlab函數(shù)size(mat，2)求出，則縮放比例為：

(6)

轉(zhuǎn)換式則可表示為：

Hm×n=resize(mat，K)

(7)

3)地形數(shù)據(jù)融合

根據(jù)矩形邊界位置，判斷在全局地形中的位置，將障礙地形高度矩陣代入到全局地形的高度矩陣中。

4 遙操作場(chǎng)景仿真

4.1 仿真場(chǎng)景中進(jìn)行探測(cè)機(jī)器人操作

本實(shí)驗(yàn)中假定遙操作場(chǎng)景具有較大時(shí)延，遙操作人員不能對(duì)探測(cè)機(jī)器人進(jìn)行實(shí)時(shí)的遙操作。只能通過確定探測(cè)機(jī)器人需要經(jīng)過的路徑點(diǎn)，發(fā)送運(yùn)動(dòng)指令讓探測(cè)機(jī)器人進(jìn)行導(dǎo)航，最后走出障礙危區(qū)。

由于實(shí)驗(yàn)場(chǎng)地的限制，沒有足夠大小的地形，所以將模擬地形數(shù)據(jù)以本文中所規(guī)定的數(shù)據(jù)結(jié)構(gòu)，通過遙操作信息顯示窗口(如圖7)寫入數(shù)據(jù)庫(kù)中，再由Unity3D讀入，略過Kinect的地形采集部分。

圖7 遙測(cè)信息顯示窗口

在unity3D遙操作仿真界面圖8中，黃色箭頭為目的點(diǎn)，紅色旗幟為路徑點(diǎn)位置，運(yùn)行過程中曲線圖顯示探測(cè)機(jī)器人所受摩擦力的大小以判斷運(yùn)動(dòng)的穩(wěn)定性，GUI界面則包括探測(cè)機(jī)器人的基本的操作按鍵，與顯示系統(tǒng)響應(yīng)消息的窗口。

圖8 繞過障礙仿真

探測(cè)機(jī)器人在經(jīng)過每一個(gè)路徑點(diǎn)時(shí)對(duì)周圍的地形進(jìn)行探測(cè)，發(fā)送數(shù)據(jù)給地形數(shù)據(jù)庫(kù)，然后由仿真軟件重構(gòu)出來。遙操作人員在仿真端進(jìn)行操作，當(dāng)確定該操作探測(cè)機(jī)器人運(yùn)動(dòng)正常后，再將遙操作指令輸出發(fā)送給真實(shí)探測(cè)機(jī)器人。

4.2 系統(tǒng)優(yōu)勢(shì)比較

在面臨通訊帶寬很小的情況下，為了保證通訊實(shí)時(shí)性，需要高效的傳輸信息。遙操作所需要的帶寬也是對(duì)于遙操作系統(tǒng)是否合格的重要因素。

如圖9所示，通過點(diǎn)云信息進(jìn)行地形重構(gòu)具有最好的顯示效果，但是一張點(diǎn)云圖的大小就有500多Kb，顯然不符合畫面即時(shí)通訊的要求。依靠地形障礙描述信息重構(gòu)三維地形的方法由于只傳輸部分區(qū)域的高度矩陣與其它的障礙地形信息，因此具有最小的數(shù)據(jù)量，但是顯示效果明顯好于二維圖像信息。

圖9 傳輸數(shù)據(jù)量與顯示效果

接著為了驗(yàn)證遙操作場(chǎng)景仿真的整體體驗(yàn)效果，尋找了20位同學(xué)在該探測(cè)機(jī)器人場(chǎng)景仿真系統(tǒng)中進(jìn)行虛擬現(xiàn)實(shí)的遙操作。分別對(duì)系統(tǒng)的臨場(chǎng)感，及時(shí)性，交互性與重構(gòu)準(zhǔn)確性進(jìn)行評(píng)測(cè)。

實(shí)驗(yàn)交流結(jié)果表明，該遙操作場(chǎng)景仿真在臨場(chǎng)感與交互設(shè)計(jì)上具有良好的表現(xiàn)，由于采用基于地形通行性的場(chǎng)景重構(gòu)方案，地形信息的傳輸與地形重建及時(shí)性很高，但是由于視角受限點(diǎn)云信息不完整，在進(jìn)行障礙物的重構(gòu)時(shí)不夠準(zhǔn)確。

5 結(jié)論

在Unity3D中搭建完整的探測(cè)機(jī)器人與地形的模型，實(shí)現(xiàn)遙操作場(chǎng)景仿真具有可行性且仿真效果較為準(zhǔn)確。通過深度相機(jī)采集實(shí)時(shí)地形障礙數(shù)據(jù)，采取基于地形通行性仿真環(huán)境顯示方法，有利于遙操作人員視覺觀察，能有效減少數(shù)據(jù)傳輸壓力，同時(shí)遙操作人員具有更好的臨場(chǎng)感。