一種有纜視覺自主型機器魚系統設計

楊 雪，馬培立，施子凡，石 硬

(南京工程學院創新學院，江蘇 南京 211167)

0 引 言

隨著陸地資源的逐漸枯竭，人們將大規模的探索和開發海洋資源，魚類在水中具有非凡的運動能力，其運動的高速性和高效性是早期仿生機器魚研究重點關注的問題[1]。但水下環境較陸面復雜，諸如水深壓強、線路絕緣與防漏、低能見度環境識別等問題均需考慮，功能各有側重的仿生機器人層出不窮。仿生機器魚作為水下機器人，具有低噪聲、對環境擾動小等特點[2]；ROV則適于工作在復雜的海洋環境中，具有運動速度慢，運動慣性較大，非線性和耦合性較強的特點[3]。為了提高機器魚的水下推進效率和靈活性，美國麻省理工學院(MIT)設計里機器金槍魚Robo Yun[4]。日本研制的SMA驅動的仿生機器魚，利用PIC進行控制，自帶攝像頭，實現了用機器魚進行水下探測[5]。北京航空航天大學研制的“SPC-II”仿生機器魚把航行穩定性作為優化設計的首要考慮因素，并結合電驅動伺服系統進行結構和機構設計，將仿生機器魚的水下連續工作時間提高至2～3 h[6]。但是電池供電方式仍然使得機器魚續航能力有限，許多研究工作都以提升仿生機器魚推進效率和水下作業時間為研究目標[7]。采用有纜方式的遙控水下機器人(ROV)在深水作業方面逐漸顯現出其深水、長時間作業優勢。但是ROV造價昂貴、水下噪聲大、水中姿態靈活性較差[8]。本文結合仿生機器魚和ROV的優勢，設計并制作了一臺有纜自主型機器魚。它通過電纜將仿生魚與地面站相連，不僅解決了仿生魚續航能力差的問題，而且避免了水對短波信號的影響，同時采用有纜的信息傳輸方式也保證了數據傳輸的穩定性和實時性。對傳統仿生魚進行改進，解決了機器魚水下續航時間短的問題，優化了魚眼鏡頭的畸變校正方法，并增加了具有較強魯棒性的水下目標自動追蹤能力。

1 有纜自主型機器魚系統設計

考慮到整機系統的實用性，本文設計的有纜自主型機器魚系統包括地面站、核心控制器、多關節機器魚、有纜光纖和電源5個主要部分，其結構如圖1所示。水下電纜采用上海達柔特種電纜有限公司生產的ROV機器人專用電纜線。多關節機器魚上安裝有兩個魚眼鏡頭、舵機及舵機驅動電路，下位機核心控制器也被布置在多關節機器魚艙體內。另外機器魚上部還設置有電纜線接口，其結構如圖2所示。魚眼鏡頭用于采集水下環境圖像，驅動電路用于驅動魚尾擺動，下位機核心控制器負責收集魚眼鏡頭采集到的圖像，并且控制舵機轉動角度以調整機器魚運動姿態和速度。同時下位機核心控制器與地面站間的通信由從魚體上方接入的光纖完成。本機采用有纜方式既有效避免了水對短波信號的影響，實現核心控制器與地面站信號的雙向傳輸，便于實現利用地面站對機器魚舵機實時操控，保證了機器魚的信息的實時性與穩定性；又解決了機器魚水下續航能力問題，把電源線直接接入在水中工作的機器魚，提供其正常工作所需電能，另配有故障應急備用電源。本文設計的有纜視覺自主型機器魚由電纜供電，因此航行時間不受電池容量控制，可因水下作業的難易程度調整航行時間。

圖1 有纜自主型機器魚系統組成

圖2 單關節機器魚內部結構示意圖

魚眼鏡頭圖像獲取與畸變校正過程如圖3所示，通過7個步驟實現圖像獲取與校正，包括圖像的采集、預處理、畸變校正、區域分割、模塊化校正、圖像匹配及其融合。為了抑制圖像噪聲，保留其真實性，首先要進行降噪、濾波等預處理操作，接著進行圖像畸變校正和模塊化校正，然后對校正好的圖像做區域分割，分區域進行圖像匹配。最后把各區域匹配好的圖像再融合成一張完整的全景圖像。

圖3 魚眼攝像頭畸變校正流程圖

機器魚在顯示全景圖像的同時，還具備水下目標自動跟蹤功能。與核心控制器相比，地面站擁有更快的運算速度和更強大的處理能力，圖像自動跟蹤功能由地面站計算機控制實現。在顯示全景圖像的同時，可以利用HSI分析與EKF預測得到目標準確方位，并對其自動跟蹤。通過上位機程序控制，可以根據下位機回傳上來的圖像選定目標追蹤物，然后對選定的目標做出誤選判斷。如果發現是誤選，則不做記錄，重新選定目標物；如果確認為選中目標物，則利用利用HSI分析與EKF預測對目標物進行持續捕獲，實現自動追蹤功能。自主型機器魚系統實物如圖4所示。

圖4 自主型機器魚系統實物圖

2 算法設計

2.1 自動跟蹤算法

目前常用的兩種目標跟蹤算法為Mean Shift和卡爾曼濾波[9-10]。由于環境以及其他運動目標對目標跟蹤過程中的干擾，目標的多樣性以及目標模型難以自動初始化都給目標的實時跟蹤帶來了巨大的挑戰，所以市場上存在的OPENROV等操作水下機器人，幾乎只能保證短時間的追蹤觀察，難以完成長時間、持續觀察任務。針對這一難題，本文構建了一種自動初始化目標模型，設計了一套能處理目標遮掩的實時跟蹤算法。與核心板相比，地面站擁有更為強大的處理能力，在顯示全景圖像的同時，將完成了HSI分析與EKF預測相結合的水下目標定位識別，使機器魚具備水下指定目標自動跟蹤的功能。機器魚水下目標自動跟蹤功能是以HSI顏色空間方法為基礎的。首先將目標的RGB(紅綠黑)三原色值轉化為HSI(色調、色飽和度和亮度)3個要素。其轉化方法為

其中，R為目標紅色色值；G為目標綠色色值；B為目標黑色色值。

對HSI處理的圖像進行兩次圖像差分運算，使其能更好地捕捉運動目標。捕捉到目標并進行人為選取后，機器設備便可自動進行跟蹤。而由于水下環境較為復雜，周圍干擾因素多，目標極易由于遮擋而丟失，因此提出了基于卡爾曼濾波算法為基礎的解決方式。即假設目標消失時間為t0至t1，通過對t0時刻的前一幀圖像進行EKF預測，并將其值作為t0+1幀時刻的狀態參數值，無限循環直至與某一候選目標參數相同，則跟蹤目標重新上線，此時進行EKF狀態更新以防目標再次丟失。

2.2 圖像畸變校正

由于鏡頭焦距短、視場大的特點及光學原理約束，導致魚眼鏡頭圖像畸變嚴重，視覺效果差。目前，魚眼圖像畸變校正主要采用兩種方式，即基于投影變換模型的校正方法和基于標定的魚眼鏡頭畸變校正方法[11-12]。前者計算復雜實時性差，后者對實驗設備要求較高。受文獻[13]的啟發，本文提出分區域模塊化畸變校正方法，該方法是一種水平/豎直雙精度畸變校正算法。采用一種球面模型半徑大于魚眼圖像半徑的方法以減弱南北極拉伸，根據魚眼鏡頭畸變幾何原理和校正后圖像視覺效果，通過優化球面模型半徑，以進一步減弱極點畸變。由于魚眼鏡頭采集圖像時，要求水平與垂直視角要超過180°，為增加其視角范圍降低畸變程度，在多次畸變校正的基礎上，設計了魚眼鏡頭圖像分區域模塊化畸變校正方法。兩只魚眼鏡頭采集到的圖像，首先要進行圖像預處理，利用canny算子做邊緣檢測，完成圖像降噪工作；隨后通過標定攝像頭、分區域模塊化畸變校正及模塊化校正圖像重新拼接3個步驟校正畸變圖像。

由于魚眼鏡頭存在嚴重的桶形畸變，需要對圖像進行標定，以得到具有線性特征的圖像。假設空間一點在絕對坐標系中的坐標為(、、)，將其投影到圖像平面為

其中，(u,v)為投影到圖像平面的坐標。A為魚眼鏡頭相機內參數矩陣，c為基準點，f為焦距。相機內部參數矩陣與環境無關，進行一次系統初始化后，即可多次重復使用。[R|t]為魚眼鏡頭外參數矩陣，用于描述相機在固定環境中的運動情況。

利用非線性最小二乘法求J的最大似然估計：

根據式(6)得到魚眼鏡頭相機內參數矩陣A的約束條件：

根據式(4)可以求出魚眼鏡頭相機內參數矩陣A及其畸變系數。利用OpenCV實現魚眼相機的標定，通過計算得到的魚眼鏡頭相機內外參數，對空間的三維點進行重新投影計算，得到空間三維點在圖像上新的投影點的坐標，計算投影坐標和亞像素角點坐標之間的偏差，偏差越小，標定結果越好[14]。

魚眼鏡頭獲取的圖像會發生嚴重的桶形畸變，如圖5(a)所示。圖5(b)為校正后的目標圖像。對比校正前后的兩幅目標圖像，圖5(a)中的棋盤方格發生了明顯的畸變，而經過校正后的圖5(b)，棋盤方格被修正達到了預期的效果。分區域模塊化畸變校正方法采用模塊化畸變校正標定，利用分區的方式選取了在不同區域的特征像素點，在校正前后分別對特征像素點的位置進行提取；同時還要檢測不同區域的相對變化率，利用支持向量機觀察、分析其校正規律；并獲取每個區間的像素點在校正前后的圖像距離中心點的平均距離。根據多次校正得到的統計學規律，遵循等距投影定理構建出入射角與徑向距離關系處理公式，并得到校正結果。相對于傳統校正，模塊化校正方法速度更快，更加適合于在復雜水下環境中作業的機器魚。

圖5 畸變校正前后輸出圖像對比

2.3 圖像匹配與拼接

在實現模塊化校正后，需要進行圖像匹配。采用SIFT算法將多幅具有公共信息的重疊區域圖像，在空間位置上進行匹配疊加，最終拼接成一幅完整無重疊圖像。圖6為兩幅有重疊區域圖像的匹配、拼接過程。其處理匹配順序為1NN，1NN/2NN＜0.8，1NN+RANSAC，1NN/2NN＜0.8+RANSAC。

圖6 測試圖像SIFT算法匹配過程

1NN匹配獲取圖像img1(圖6左)中的SIFT特征點point1，img2(圖6右)中的SIFT特征點查找與自己最近的img1上的SIFT特征點point1，重復該過程直至獲得匹配點，得到初步的SIFT匹配算子，但其結果有較大誤差。接著進行1NN/2NN＜0.8校正，利用圖像 img1中的 SIFT特征點 point1，在img2圖像上的SIFT關鍵點查找獲取img1上最近SIFT關鍵點point21和次近關鍵點point22，并分別設置其像素距離為dis1與dis2，如果dis1/dis2＜0.8，則將其視為正確匹配的點對，否則為錯配點，將其剔除。1NN+RANSAC與1NN/2NN＜0.8+RANSAC匹配則是利用RANSAC算法做直線擬合，并篩選相應的點，剔除錯誤結果，做個大概的結果預測。圖像匹配、拼接后的效果如圖7所示。兩幅有重疊區域的圖像被拼接成1幅完整圖像，既沒有重疊區域，也沒有被誤刪除的缺失區域。

圖7 測試圖像匹配、拼接結果

3 實驗數據分析

3.1 攝像頭輸出數據處理

畸變處理將(X，Y，Z)三維坐標點，投影在平面圖像上的二維坐標為(u，v)。取Kx與Ky為徑向畸變系設定時圖像中心點為(u0，v0)，并不斷選取其他坐標點，計算標定點的成像點到圖像中心的像素差，并進行計算。如表1所示，選取二維坐標平面上的7個點，其中第1個點為圖像中心點，經過測量鏡面到成像點的距離為17.8 cm。徑向畸變系數平均值為：Kx=3.884 597 2，Ky=3.908 111 19。

經過徑向畸變系數標定處理后，即可用魚眼攝像頭拍攝圖像。由于魚眼圖像在邊緣處畸變最為嚴重，所以選擇從中心處提取圖像坐標并進行計算，計算出鏡頭畸變系數、旋轉矩陣和平移矩陣，最終對整個圖像進行分析，得出圖像的平均誤差。隨機選取一只魚眼鏡頭在固定環境下拍攝的8幅圖像，計算得本只魚眼鏡頭相機內參數矩陣為

表1 Kx、Ky標定測試結果

其畸變系數為[-0.040 910 8，0.030 590 5，-0.029 693，0.008 837 04]。對8幅魚眼鏡頭畸變圖像進行畸變校正，獲取的校正參數如表2所示。

表2 魚眼鏡頭圖像畸變校正參數

圖8所示圖像分區選取示意圖。表3為對7個隨機區間圖像進行分區域模塊化畸變校正的修正結果。根據每個區間的像素點在校正前后的圖像距離中心點的平均距離，得到校正前后圖像的位置變化率，在對多個訓練圖像區間進行畸變校正的過程中，可以從訓練集中分析出入射角與徑向距離的關系，從而得到校正結果。由于7個區域的選取是從中心向邊緣提取，因此在圖像中心點1區間，沒有發生畸變，不需要校正，但是隨著區間點逐漸偏離中心點，校正前后的變化率逐漸增大，說明越靠近邊緣，畸變越嚴重，需要進行較大修正。

圖8 圖像分區選取

表3 各區間校正前后變化率

3.2 目標自動跟蹤效果評測

通過多次實驗測試證明，HSI分析與EKF預測相結合的水下目標自動跟蹤方法具有較好的跟蹤效果。如圖9所示，圓形的橙色物體和矩形棕色物體，在水中都能夠被機器魚自動識別。如圖9(a)和圖9(c)所示，兩個被選定的目標都一直處于橢圓框選中狀態。如圖9(b)和圖9(d)所示，盡管兩個物體在水中都有一部分被遮擋，但機器魚仍然能夠發現并繼續跟蹤目標物，將目標物鎖定在橢圓框中。

圖9 水中目標自動跟蹤實驗效果

通過在測試區域中放置數量不同、顏色近似，大小相近的物體，以相同頻率在機器魚附近擺動500次，傳統RGB法目標自動蹤成功率和本文識別法目標跟蹤效果對比如表4所示。從表中可知，HSI分析與EKF預測相結合的識別法目標跟蹤成功率明顯高于RGB法。當目標數量僅有3個時，HSI分析與EKF預測相結合的識別法目標跟蹤平均成功率比RGB法高出10.5%。隨著目標數量的增加，HSI分析與EKF預測相結合的識別法的優勢更為明顯，當目標數為5個時，HSI分析與EKF預測相結合的識別法目標跟蹤平均成功率比RGB法高14.2%。當目標數為7個時，更是高出16.5%。由此可見，HSI分析與EKF預測相結合的識別法具有較為明顯的優勢。

表4 目標跟蹤效果對比

4 結束語

本文設計了一款有纜視覺自主型機器魚，該機器魚采用有纜供電方式，增加了機器魚水下作業時間。采用仿生魚結構增強了水下運動的靈活性和靜音效果，采用上位機和下位機分工協作的控制方式，實現了復雜作業環境中的圖像實時傳輸與目標選定跟蹤。設計了分區域模塊化魚眼鏡頭圖像畸變校正方法，實現多幅連拍全景圖像的拼接與復原，更適合于曲屏顯示，保證觀測者一直處于第一觀察視角。提出了HSI分析與EKF預測相結合的水下目標自動識別方法，實現了在水中復雜環境及遮擋環境中選定目標的正確識別。本文提出的HSI分析與EKF預測相結合的識別法目標跟蹤成功率明顯高于RGB法。但是本次設計的機器魚僅能在較淺的實驗水域中作業，當水深較大時，魚體結構會出現滲漏現象，嚴重危及電路板安全。另外當作業水域渾濁不清時，目標選取與自動識別效果急劇下降。在下一階段的工作中，將進一步優化魚體結構防水性，增加其下潛深度，同時還要進一步開發水下目標識別算法，使其具有更廣的適用范圍。