基于雙目視覺的船用爬壁監測機器人

朱保鵬，陳 偉，宦 鍵，張 榜，謝云飛

(江蘇科技大學 電子信息學院，江蘇 鎮江 212003)

0 引 言

隨著我國船舶產業規模逐漸擴大，隨之而來的是對大量船舶的維護工作。由于船體長期工作會逐漸被海水腐蝕生銹，為了增加船舶使用的壽命，必須定期對船舶開展維護清污工作，以避免危險狀況發生[1–2]。目前，修船時需要停航進入船塢，并對船體實施檢測，由此會耽擱大量時間并耗費大量資金。

隨著科技水平的進步，爬壁機器人已成為一種常用的自動化程度較高的裝置[3–4]，已應用在高空作業的環境中，越來越受到人們的重視。從爬壁機器人的吸附方式上來看，主要有負壓吸附和磁吸附2種，由于磁吸附式爬壁機器人具有適用于導磁性壁面、產生巨大的吸附力、不會受到壁面凸凹或裂痕的限制等特點，因此非常適合在船舶上被使用[5–6]。然而，目前爬壁機器人都是通過攝像頭人工判別來對船壁進行監測，這會造成監測不全面和操作不靈活的弊端，不僅不能夠保證船舶的航行安全，而且浪費了許多時間[7–10]。

針對上述問題，本文通過在視覺識別、圖像處理和傳輸以及對機器人的控制優化等若干關鍵問題進行研究，研發出新一代具有自主知識產權且能夠適應市場化應用的船用爬壁監測機器人。實驗驗證結果表明，該機器人可以實現對船身的受損處的實時監測，不僅提高了船舶的壽命和安全性，而且大大縮減了監測成本和時間。

1 總體方案設計

船用爬壁監測機器人主要由爬行機構、電控模塊、視覺模塊、圖像處理與傳輸模塊（圖傳模塊）等幾部分構成。爬行機構采用了自主設計的電控模塊來控制機器人的爬行動作，電控模塊采用了PWM脈寬調制技術來控制爬壁機器人的爬行速度和方向。視覺模塊采用了雙目視覺系統實現對機器人的運動軌跡和船體進行識別，并通過視覺識別技術對船舶進行自動監測。圖像處理與傳輸模塊是通過視覺攝像頭對船體結構物進行識別和處理，也可以將圖像信息傳送到地面的上位機中，實現人工控制和監測。機器人總體系統結構圖如圖1所示。

圖1 系統結構圖Fig.1 System structure diagram

2 硬件設計與功能介紹

1）爬行機構

爬壁監測機器人需要滿足2個必要條件：一是實現壁面吸附，二是實現移動動作。機器人常用的吸附方式有磁吸附、負壓吸附和螺旋槳推壓等方式。然而，船用爬壁監測機器人的吸附方式具有一定的特殊性，這就需要對各種吸附方式進行具體分析：負壓吸附方式雖不受壁面材料的限制，但在凹凸不平的船體壁面，吸盤容易漏氣，從而使吸盤的吸附力下降，載重能力降低；磁吸附主要有電磁體式和永磁體式2種吸附方式，雖然永磁體式吸附不會因斷電而脫離船壁，但其控制方式較為復雜；相比較而言電磁體吸附方式不僅能夠適應凹凸不平的壁面，其吸附力比負壓吸附方式產生的吸附力大，不會存在吸附時漏氣的問題，而且對其的控制較為簡單，電磁體式吸附只需要借助電力來維持吸附力。因此，針對于船舶工業壁面材料都是帶有導磁性的特定環境，最佳的選擇使用方式是電磁體式吸附。本文研究的爬壁監測機器人在4個輪子中間被放置了6個磁鐵，但與一般的磁吸附式爬壁機器人的不同之處是磁鐵與船壁之間保持非接觸狀態，這樣可以大大降低與壁面的摩擦力，使機器人減少了機械損耗和電損耗，并可通過實驗設定磁鐵距離壁面的最佳距離。

2）電控模塊

船用爬壁監測機器人電控模塊采用了STM32單片機作為主控芯片，實現對爬壁機器人的爬行控制；采用PWM脈寬調制技術來控制爬壁機器人的爬行速度和方向；使用L298N驅動模塊分別控制大功率電機和控制電磁機構中吸附力的大小，通過產生足夠的動力和相應的磁場來使機器人有足夠的吸附力和動力，實現在船壁上運動。通過設置引腳控制機器人前進、后退，調節左右輪之間的速度差來實現轉向功能以及電磁機構的吸附和釋放的功能。除此之外，通過視覺模塊將圖像采集信息上傳到上位機中，在完成路徑規劃后，控制電機實現機器人的運動和監測。

3）圖像處理與傳輸模塊

船用爬壁監測機器人圖像處理與傳輸模塊通過視覺攝像頭對物體進行識別，再通過視覺系統進行圖像采集，并將船體外部結構物的位置信息、形狀和尺寸大小等信息進行處理，通過信息反饋通道送到主控板，主控板根據圖像采集的位置信息進行定位操作，根據結構物的形狀和尺寸大小進行相應的監測操作。另外，視覺模塊采集的信息也可以傳送到地面的上位機系統中，由地面人員根據圖像進行相應的操作。

4）視覺模塊

船用爬壁監測機器人采用了雙目視覺系統，通過模擬人類視覺來實現計算機被動感知距離功能[11–12]。為了獲取在不同視角下點的船體結構物圖像，機器人從兩點或者多點的角度觀察一個物體狀態。根據不同視角間的物體圖像像素的匹配關系，運用三角測量原理計算出像素之間的偏移，來獲取物體的三維信息。依據三維信息獲取物體與相機之間的實際距離及實物三維形狀和物體兩點實際距離。機器人系統中通過物體三維識別算法，不僅可以獲得物體被遮擋處的圖像以及姿態變化，而且可以大大提高物體的識別率。

3 視覺系統測試

系統圖像采集使用雙目攝像頭通過使用Bouguet極線校正的Matlab標定工具箱進行立體標定，然后把標定后的數據讀入OpenCV中，為后續的圖像校準和匹配做準備。測試實驗中通過右攝像頭對棋盤圖進行采集，將采集的結果復制到工具箱中。如圖2所示，測試過程中讀入了10幅棋盤圖。再對棋盤最邊上的點進行一定順序的提取，通過程序自動找到所有對應的角點，如圖3所示。最后通過攝像頭對提取完10幅圖提取的點進行標定，以此來驗證標定外參數的結果，如圖4所示。

圖2 棋盤圖Fig.2 Chessboard image

圖3 提取的角點Fig.3 Extraction of corner points

圖4 標定結果的驗證Fig.4 Verification of calibration results

當驗證標定結果沒有錯誤存在時，按照上文同樣的方法對左攝像頭進行標定。當左右攝像頭都標定完成之后，開始對其進行立體標定。圖5所示為雙攝像頭立體標定圖。

在通過以上操作獲得立體標定參數之后，把立體標定的參數結果讀入到OpenCV中，使用獲得的校準參數來校準輸入的左右圖像。完成校準之后，還需要進行立體匹配。立體匹配OpenCV里面有2種方法，一種是 Block Matching，一種是 Graph Cut。由于 Block Matching速度比較快，因此選擇BM方法。由于2個攝像頭是前向平行放置的，因此對同一物體的采集在左圖中圖像一定比在右圖中圖像偏右，如圖6所示。

為了測得實際距離，需要通過函數將單通道視差圖轉換成三通道的實際坐標矩陣。如圖7和圖8所示，可以測得數據如下：（267, 158）利樂包裝盒的坐標是（13, 12, –156），（136, 142）紙杯的坐標是（77, 30, –314），（95, 116）塑料瓶的坐標是（143,63, –481）。

圖5 立體的標定Fig.5 Stereo calibration

圖6 左右攝像頭實物圖Fig.6 Around the camera physical map

圖7 實物距離測量實驗Fig.7 Material object distance measurement experiment

根據以上3個特征點的z坐標可以大致看出這3個物體的距離差大概是1:2:3，基本符合在實際場景中實物位置。因此，可以通過這種方法確定出物體的大致距離信息。

4 爬行實驗

船用爬壁監測機器人實物如圖9所示。為了驗證船用爬壁監測機器人主要功能，本文在船體模型上進行了爬壁監測機器人的監測實驗。在船體模型的船壁上噴涂銹漆，然后進行機器人自動監測實驗。通過爬壁監測機器人上攝像頭的視覺識別，判斷污損處的位置和形狀大小。再通過圖傳模塊將圖像信息傳送到上位機中，顯示污損處的情況并記錄污損處的位置信息和形狀尺寸信息；通過射頻技術控制爬壁監測機器人進行姿態調整和圖像信息的傳輸。

圖8 實物測量視覺處理Fig.8 Visual processing of real object measurement

圖9 爬壁監測機器人Fig.9 The wall-climbing and monitoring robot

船用爬壁監測機器人監測路徑圖如圖10所示。由圖10實驗監測路徑可知，爬壁機器人通過左右移動來監測船體，以Z字形向下移動。由于船體一般是白色或者黑色的且鐵銹和船身有顏色差，因此當船身由于腐蝕而產生的鐵銹時，可由視覺系統判斷出鐵銹的位置。又由于視覺識別范圍比較大，因此機器人在移動的過程中不會出現有污損處被遺漏識別的情況。當發現船體有被污損時，機器人將圖像傳到上位機并報警，等待操作人員進行處理。實驗結果表明，爬壁監測機器人可以靈活地在船身上移動和進行圖像的采集及處理，完全滿足船舶監測的所需要求。

圖10 爬壁機器人監測路徑Fig.10 Monitoring path of wall climbing robot

5 結 語

本文研究了一種具有自主知識產權且能夠適應市場化應用的船用爬壁監測機器人，設計了機器人爬行機構、電控模塊、視覺模塊、圖像處理和傳輸等硬件模塊，再對機器人雙目視覺系統進行了測試和標定，并得到了實物測量物體的坐標值。實驗結果表明，爬壁監測機器人能夠有效實現船體的損傷監測功能。爬壁監測機器人的控制和監測方法也可以擴展到其他應用，如城市玻璃墻清潔和巡檢機器人、噴涂清潔機器人無損檢測等。