基于雙目視覺的UUV避障半實物仿真系統

嚴浙平, 姜 玲, 王曉娟, 趙玉飛

?

基于雙目視覺的UUV避障半實物仿真系統

嚴浙平, 姜 玲, 王曉娟, 趙玉飛

(哈爾濱工程大學 自動化學院, 黑龍江 哈爾濱, 150001)

由于無人水下航行器(UUV)避障研究的實物海洋試驗成本高且風險較大, 故針對在試驗室進行UUV自主避障規劃的需求, 利用雙目視覺展開了UUV避障半實物仿真試驗系統的設計研究, 包括多自由度運動臺架模擬UUV的運動, 雙目攝像機代替前視聲納作為避障傳感器。闡述了實物雙目視覺子系統的關鍵技術和UUV模型子系統的軟件實現方法, 以及系統的體系結構、數據交換方法, 并進行了基于規則的避障仿真聯調試驗, 結果表明, 該系統結構簡單, 試驗實施便利, 可作為演示、驗證和評估避障路徑規劃正確性和有效性的實用手段。

無人水下航行器(UUV); 避障; 半實物仿真; 雙目視覺

0 引言

無人水下航行器(unmanned underwater vehi- cle, UUV)在復雜海洋環境下執行各種使命時, 首先要具備繞過障礙物向目標靠近的能力, 即自主導航與避障能力(obstacle avoidance, OA)。 UUV首先根據自身攜帶的電子海圖信息進行全局路徑規劃, 根據規劃出的全局路徑進行作業。但在航行中可能遇到電子海圖中未描述的障礙物, 如沉船、石油鉆井平臺、未知纜線等, UUV需要通過攜帶的傳感器對未知障礙物進行探測, 執行實時避障(局部路徑規劃)并在避障結束后趨向目標。在上述有限水下環境中避障, UUV使用的傳感器傳統上是聲納[1-2]。聲納在大范圍避障中具有良好性能, 但在小范圍時精度較差, 數據更新率低; 易受水面、水底或其他聲反射源干擾, 在淺水、中等深度水域中可能有多徑傳播帶來的模糊, 存在最小測量距離的限制等[2-3]。視覺傳感器具有分辨率高和在近距離幾乎不存在盲區的優點, 在小范圍避障應用中有很大發展。由于實際海洋試驗成本非常高, 目前UUV避障規劃研究主要通過數值仿真。

本文將硬件在回路的思想引入UUV避障研究, 以多自由度運動臺架、雙目攝像機以及實現軟件功能的計算機等構件構成整個UUV避障半實物仿真系統。利用雙目攝像機代替前視聲納作為避障傳感器。首先介紹該系統的體系結構、數據交換, 再重點闡述各子系統的建模及算法, 最后給出仿真驗證試驗及結論。

1 UUV避障半實物仿真系統結構

UUV避障半實物仿真是指在數學仿真的基礎上, 將某些模塊如UUV模型計算機、避障傳感器等用實際器件和設備替代的仿真方法[4-5]。

1.1 系統體系結構

UUV避障半實物仿真平臺由多自由度運動臺架(如圖1所示)、臺架驅動系統、雙目圖像采集系統、環境解算計算機、UUV模型運算計算機組成。

圖1 多自由度運動臺架及雙目攝像機

多自由度運動臺架見圖1, 可以模擬6自由度UUV運動, 包括縱移、橫移、升沉、轉艏、橫搖和縱搖; 同時還可以模擬空間中5自由度障礙物運動(不含升沉)。臺架尺寸3 m×3 m×3 m。根據幾何相似性原理, 相似比越小, 模擬平臺越能更逼真地反映UUV的實際運動情況, 但平臺運動的距離、速度、加速度相應都會加大; 相似比越大, 平臺越能模擬更大范圍的UUV運動, 但要求的運動精度也隨之提高。本文設置相似比100:1, 即臺架代表實際海洋環境的300 m×300 m×300 m空間。

臺架驅動系統主要由控制計算機, Berger Lahr步進電機VRDM5913/50 LNC, VRDM3913/ 50LWAOO, VRDM366/50 LHA, Berger Lahr步進電機驅動器WS5-9, SD326及D921及步進電機控制卡HIT6502組成。

雙目圖像采集系統由2臺大恒DH-SV1300FM CCD黑白攝像機和配套采集卡組成。DH-SV1300FM的分辨率為1 280×1 024, 焦距為8 mm。2臺攝像機成平行結構固定于臺架的UUV運動載體上。圖像采集卡插于環境解算計算機的PCI插槽。環境解算機通過算法提取環境深度, 將其表示成環境矩陣, 并通過RS232串口輸出給UUV模型運算機。模型運算機運行UUV的運動模型及執行機構模型。經過避障解算、控制器運算和模型運算, 向臺架下達如直航、轉艏避障、復航等運動指令。

1.2 數據通信與信息流

仿真管理模塊負責系統的初始化, 包括初始航速、航向、使命點、環境信息; 負責發出開始命令, 啟動仿真, 圖像采集模塊開始采圖, 避障模塊開始進行路徑規劃。UUV模型機各模塊均工作于設定節拍下, 環境解算機沒有固定節拍, 以觸發方式向模型機傳輸環境信息數據。人機交互界面一方面實時顯示雙目攝像機采集的原始圖像, 另一方面在屏幕坐標系下實時顯示UUV動態位置及掃描到的障礙物。操作者可以通過該模塊啟動、暫停和終止仿真進程。

2 環境解算機軟件實現

環境解算機主要包括圖像采集模塊和環境信息提取模塊。UUV避障半實物仿真系統的軟件信息流圖見圖2。雙目攝像機通過圖像采集卡獲得周圍環境的圖像, 并通過雙目視覺立體匹配算法得到視差圖, 由視差圖得到UUV距離障礙物的距離信息, 其中包含方位信息, 利用虛擬聲納模型得到進化距離圖, 為避障算法提供環境信息。

圖2 UUV避障半實物仿真系統軟件信息流

2.1 基于紋理控制的金字塔NCC雙目視覺匹配方法

在已校正圖像對上施行基于紋理控制的金字塔NCC立體匹配算法的流程如下。

1) 對金字塔級數, 金字塔縮放比例, 紋理度閾值TextureThresh, 匹配窗口尺寸WindowHeight和WindowWidth等參數進行設定, 對視差范圍上限max及下限min進行初始化;

2) 按照縮放比例, 由左右兩幅原始底層圖像分別生成2個級金字塔圖像;

3) 從=開始, 分別計算第層金字塔左右圖像像素的紋理度。對紋理度大于TextureThresh的像素在視差范圍(min,max)內進行雙向NCC匹配, 得到最佳匹配;

4) 調整視差范圍為(×min,×max),=-1,當>0時, 返回3), 否則跳出循環, 執行5);

5) 根據最佳匹配計算整幅圖像的視差圖;

6) 根據公式depth =′/(為焦距,為基線長,為視差), 由視差圖恢復出距離圖。

在環境解算計算機上運行程序獲得距離圖, 如圖3中上圖所示。根據海洋試驗和水池試驗結果, 攝像機與聲納探測相比的攝像機探測的距離精度比較高, 最高可達毫米級。在整個系統中, 立體匹配耗費了絕大部分的時間, 此立體匹配方法耗費時間最短僅需258 ms。從圖中可以看出, 大面積的背景區域都被紋理閾值屏蔽掉, 清晰地突顯出圓形障礙物的輪廓。

圖3 環境矩陣生成

2.2 虛擬聲納模型

多波束聲納(前視聲納)探測的障礙物信息是方位和距離, 利用攝像機代替前視聲納, 建立虛擬聲納模型, 這個虛擬聲納模型同樣也包含方位和距離2種信息, 為保證環境解算速度與UUV的運動速度匹配, 環境解算機的解算步長于圖像采集卡的采樣時間一致, 采樣時間間隔約為1 s。

對于避障而言, 上述方法獲得的距離圖可能包含大量冗余距離數據。提出虛擬聲納模型來簡化表示距離圖, 完成環境建模。該環境矩陣生成方法如下。

假設攝像機的視場像前視聲納一樣在水平方向被條射線平分為等角度的+1個子區域, 在垂直方向被條射線平分為等角度的+1個子區域, 則整個視域被分割為×個子區域。由此距離圖也可以相應地表示為一個×環境矩陣(見圖3)。矩陣中每個元素的行列索引號恰好是實際的方位, 元素值則代表對應方位的距離。這樣虛擬聲納模型就將距離圖中的障礙物方位和距離信息簡化表示為環境矩陣。

2.3 動態自適應濾波器

到達避障規劃模塊的環境數據(即環境矩陣)往往含有脈沖型噪聲干擾, 其主要來源包括立體匹配過程中的誤配以及串口通信鏈路引入的隨機噪聲。如果不進行濾波處理, 就會干擾UUV的正常運動。如UUV在不存在障礙物的區域產生存在障礙的“幻覺”, 就無法通過原本可以通行的區域; 反之若UUV對存在的障礙物視而不見, 就有迎面相撞的危險。

0及其鄰域像素在相鄰時刻的探測距離表示為

Dmin是時間與空間上0與相鄰值的最小差值, 當Dmin>(t)時,0即被判為噪聲點而剔除。

3 UUV模型軟件方法

3.1 UUV避障控制算法原理

在沒有海流干擾情況下, UUV躲避障礙物的一般方法是分別或聯合調整艏向角、縱傾角以及航速。設計了艏向控制器、縱傾控制器和速度控制器, 采用的控制算法是比例-積分-微分 (proportional–integral–derivative, PID)控制。原理框圖見圖4。

圖4 避障控制原理圖

3.2 避障策略

研究者已經就處理未知、變化環境下的UUV避障算法提出了多種方法, 包括虛擬勢場法、模糊邏輯法、神經網絡法和遺傳算法等[9-12]。作為避障仿真系統的演示驗證, 本文采用基于規則的避障策略, 概述如下。

1) 如果視域中沒有障礙物, 則沿既定航線直行;

2) 如果視域部分被障礙物占據, 但不阻礙主航線, 則沿既定航線直行;

3) 如果視域內部發現障礙物, 且障礙物阻礙主航線, 則UUV減速航行并搜索最優航向;

4) 如果UUV視域全部被障礙物占據, 則發出停速指令, 需根據前5拍的數據判斷最好是向左還是向右轉艏, 模擬輔助推進器原地調整航向, 繼續觀察直到視域部分地被障礙物占據, 轉規則3)得到最優航向。若前5拍的數據均為全部被障礙物占據, 則采用變深避障規則5);

5) 模擬UUV大縱傾上浮過程, 輸出縱傾指令, 直到視域中沒有障礙物, 定深航行;

6) 如果連續若干節拍均未檢測到障礙物, 則認為避障結束, UUV復航。

4 UUV避障模擬試驗及結果分析

在所開發的仿真平臺上進行聯調試驗。UUV初始位置(單位mm)(755, 900, 1500),終點位置(2850, 2550, 1500), 初始航向為40°, 航速為10 mm/s (按100:1的相似比, 相當于真實航速2 kn)。

試驗1: 單一球形障礙物模擬避障試驗。球形障礙物置于UUV初始位置右前方。UUV以設定航向、航速作趨向目標運動, 直至雙目攝像機掃描到障礙物, UUV進行轉艏避障, 然后復航。避障路徑曲線見圖5。

圖5 無濾波時單一球形障礙物避障曲線

試驗1: 未加入動態自適應濾波器, 圖5中出現噪聲點, UUV會把噪聲誤判斷為障礙物, 導致UUV轉艏更大角度避障, 但UUV成功地躲避了障礙物, 在實際海洋試驗中, UUV遇到小型海洋生物例如水母, 會出現同樣的情況。

試驗2: 多障礙物避障模擬試驗。設置了球形和方形2個障礙物, 分別置于UUV左前方和右前方稍遠處, 并加入動態自適應濾波器。實物圖見圖6, 避障路徑曲線見圖7。

在2幅曲線圖中可清晰分辨障礙物的表面形狀(用點線表示), 這表明虛擬聲納模型的簡化處理是恰當的, 且仍保留較高精度。為對比得到濾波的效果, 試驗1未加入動態自適應濾波器, 圖5中出現噪聲點, 導致UUV轉艏更大角度避障。試驗2加入了自適應濾波器, 消除了噪點, 環境表示準確, 避障決策與動作正確。這說明系統軟件設計合理, 邏輯正確, 算法有效, 模型適用。

圖6 多障礙物避障實物圖

圖7 有濾波時多障礙物避障曲線

5 結束語

本文描述了UUV避障半實物仿真試驗系統的體系結構, 對其中主要的子系統包括環境解算、UUV運動模型和避障規劃的軟件設計做了詳細論述, 并對系統做了仿真聯調和結果分析。評估結果及仿真聯調分析表明, 該系統結構簡單, 實施便利, 滿足UUV避障仿真系統的逼真性和實時性要求。該系統便于對UUV避障路徑規劃進行演示、驗證和評估, 同時為開發、調試及評估視覺感知系統提供了一個直觀、實用的研究平臺。

[1] 燕奎臣, 吳利紅. AUV水下對接關鍵技術研究[J]. 機器人, 2007, 29(3): 267-273. Yan Kui-chen, Wu Li-hong. A Survey on the Key Tech- nologies for Underwater AUV Docking[J]. Robot, 2007, 29(3): 267-273.

[2] 嚴浙平, 曲鏡圓. 基于DGPS無人潛航器避碰聲納的試驗研究[J]. 傳感技術學報, 2009, 22(1): 75-79.

Yan Zhe-ping, Qu Jing-yuan. The Obstacle Avoidance Sonar of AUV Experimentation Based on the DGPS[J]. Chinese Journal of Sensors and Actuators, 2009, 22 (1): 75-79.

[3] Horgan J, Toal D. Review of Machine Vision Applications in Unmanned Underwater Vehicles[C]//Proceedings of 9th Inter- national Conference on Control, Automation, Robotics and Vision.Singapore, 2006: 1-6.

[4] 杜輝新, 嚴衛生. AUV前視聲納模擬及避障研究[J]. 魚雷技術, 2010, 18(1): 49-52.Du Hui-xin, Yan Wei-sheng. Simulation of Forward Looking Sonar and Obstacle Avoidance for Autonomous Underwater Vehicle[J]. Torpedo Technology, 2010, 18(1): 49-52.

[5] Podder T, Sibebac M. UUV Docking System for Sustainable Science Missions[C]//Proceedings of IEEE International Conference on Robotics & Automation, 2004: 4478-4485.

[6] 宋毅, 崔平遠. 一種圖像匹配中SSD和NCC算法的改進[J]. 計算機工程與應用, 2006, 42(2): 42-44.Song Yi, Cui Ping-yuan. A Computational Optimization Method of the SSD and NCC Algorithms of the Stereo Ma- tching[J]. Computer Engineering and Applications, 2006, 42(2): 42-44.

[7] 施小成, 王曉娟. 一種面向UUV水下對接的雙目視覺測距方法[J]. 計算機測量與控制, 2008, 16(10): 1460-1462.Shi Xiao-cheng, Wang Xiao-juan. A Ranging Method in AUV Underwater Docking by Binocular Vision[J]. Computer Mea- surement & Control, 2008, 16(10): 1460-1462.

[8] 郝潁明, 吳清瀟. 基于單目視覺的水下機器人懸停定位技術與實現. 機器人, 2006, 28(6): 656-661.Hao Ying-ming, Wu Qing-xiao. Technique and Implementation of Underwater Vehicle Station Keeping Based on Monocular Vision[J]. Robot, 2006, 28(6): 656-661.

[9] Calvo O, Rozenfeld A. Experimental Results on Smooth Path Tracking with Application to Pipe Surveying on Inexpensive AUV[C]//Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems. 2008: 22-26.

[10] Das S K, Shome S N. Modeling a Hybrid Reactive-delibera- tive Architecture towards Realizing Overall Dynamic Be- havior of an AUV[C]//Proceedings of International Confe- rence on Computational Science (ICCS), 2010: 259-268.

[11] Negre A, Pradalier C. Robust Vision-based Underwater Homing Using Self-similar Landmarks[J]. Journal of Field Robotics, 2008, 25(6-7): 360-377.

[12] Park J Y, Jun B H. Experiments on Vision Guided Docking of an Autonomous Underwater Vehicle Using One Camera[J]. Ocean Engineering, 2009, 36(1): 48-61.

Hardware-in-the-loop Simulation System of UUV Obstacle Avoidance Based on Binocular Vision

YAN Zhe-ping, JIANG Ling, WANG Xiao-juan, ZHAO Yu-fei

(College of Automation, Harbin Engineering University, Harbin 150001, China)

The sea trials for the obstacle avoidance research of an unmanned underwater vehicle (UUV) are expensive and high-risk. To facilitate the research of automatic obstacle avoidance of an UUV in laboratory, a hardware- in-the-loop simulation system of UUV obstacle avoidance has been developed based on binocular vision, where the multi-degree of freedom test platform is used to simulate the motion of the UUV, and the double-stereo vision system is used to simulate forward looking sonar. In this paper, the structure and data stream of the system are discussed. The key technologies for vision subsystem and the software scheme for UUV model subsystem are also described. Joint simulation tests were conducted by adopting rule-based obstacle avoidance approach. Experimental results show that the system has the advantages of simple structure and convenient application, and it can be used in demonstration, validation, and evaluation of obstacle avoidance path plan.

unmanned underwater vehicle (UUV); obstacle avoidance; hardware-in-the-loop simulation; binocular vision

TJ630; TP391.9

A

1673-1948(2012)02-0143-06

2011-05-04;

2011-06-02.

新世紀優秀人才支持計劃（NCET-10-0053）.

嚴浙平(1972-), 男, 博士, 教授, 研究方向為水下自主航行器.

(責任編輯: 許妍)