無人艇光視覺感知研究發展綜述

王 博

(哈爾濱工程大學水下機器人技術國防科技重點實驗室，黑龍江 哈爾濱 150001)

0 引 言

水面無人艇（unmanned surface vessel，USV），簡稱無人艇，是一種無人操作的水面艦艇。水面無人艇擁有部分自主或完全自主完成工作任務的能力，水面無人艇與其它常規海洋裝備相比，具有維護成本，能源消耗低，連續作業時間長等特點，能夠滿足現實水面大區域、長時間的研究任務和工程項目的需求。此外，水面無人艇能夠代替人從事復雜危險的工作，比如災難事故搜救，水文信息監控采集，海洋生物信息采集，區域海圖地形繪制，海洋氣象預報；鄰海防御任務；特定水域的搜查，偵測及排雷，打擊海盜，反恐任務等。

以上任務要求無人艇必須能夠平穩航行，進行環境探測、水面目標檢測、目標識別、自主避障以及自主完成任務。這些能力的實現要以無人艇的環境感知技術為支撐。與其他感知技術相比，光學圖像中包含更豐富的目標區域細節信息，數據容易獲取并且信息量大[1]，有助于其完成自主規劃、自主避碰和環境監測等任務的實現[2]。

1 基于水面無人艇的水面圖像預處理

水面圖像預處理的目的通過處理原始圖像得到清晰穩定的圖像序列，穩定清晰的圖像序列能大大提高無人艇光視覺避障、檢測、跟蹤和識別的能力。因此針對各種運動的穩像技術研究具有很強的現實意義[3]。同時清晰的場景信息也是實現無人艇視覺系統功能的有力保障之一。然而海霧使圖像的能見度和對比度大幅降低。因此，有效地消除海霧影響成為提高無人艇圖像數據可用性的必要途徑。

1.1 針對無人艇不規則搖晃的穩像方法

通常采用的穩像方法有主動穩像，被動穩像和電子穩像3 種。主動穩像和被動穩像可配合使用實現寬范圍的穩像。但是，由于高精度的陀螺穩定平臺不僅結構復雜，體積大、價格昂貴、功耗大，所以使用最廣泛的是電子穩像技術來實現電視圖像的穩定[4]。

圖 1 廣義水天線的電子穩像效果Fig.1 The electronic stabilization effect of generalized sea sky line

圖 2 北京理工大學穩處理效果圖Fig.2 The stabilization effect from Beijing Institute of Technology

針對海面環境下的成像特點，薛言太[5]基于幀間補償法設計了基于水天線特征的電子穩像算法，平均處理每張典型的海天圖像時間為39 ms，處理受天氣影響的圖像為41 ms，有障礙的海天圖像時間為52 ms，都滿足工程上要求。在此基礎上，北京理工大學使用從連續幀中提取的特征點來估計用于圖像穩定的運動參數。在跟蹤窗口大小為1×12×128 像素的情況下，穩定率達到每秒25 幀。

無人艇上應用的穩像方法主要包括了：幀間補償法、基于圖像特征方法、基于圖像塊法等[6]。幀間補償法只能用于靜態背景且攝像頭固定的情況；基于圖像特征的穩像方法能確保圖像的精度但不能確保處理的實時性；基于圖像塊的穩像方法魯棒性好，但精度有待提高。

1.2 水面圖像的去霧、增強的研究

海霧使大氣能見度下降，光學設備圖像模糊，分辨率降低，無法獲得清晰的圖像表面特征信息，嚴重影響了圖像信息的提取，給圖像信息提取帶來了極大的困難。目前，國內外許多學者對影響圖像質量的霧化進行了大量的研究，主要有2 種方法[7]基于物理模型的恢復方法，建立圖像退化模型，利用現有知識恢復場景；另一種方法是基于圖像增強，通過增強低質量對比度滿足主觀要求，從而達到清晰的目的。

哥倫比亞大學基于物理模型提出了一種針對惡劣天氣條件下圖像增強方法，使用場景包括航空和航海圖像，該算法不需要任何先驗場景結構信息[8]，但處理效果并不如針對特定天氣下的處理方法優秀。

何凱明[9]提出利用暗通道算法用于單幅圖像去霧，并且結合了之前的霧氣成像模型，恢復高質量的無霧圖像。大連海事大學采用暗通道先驗知識初步估計海上圖像的透射率，利用引導圖像濾波對初步估計的透射率進行細化，建立霧天退化物理模型[10]。

還有一種去霧方法是基于大氣散射物理模型的海霧去霧方法，哈爾濱工程大學[11]采用基于大氣分析天空區域特征得到天空亮度估計值，并且利用幀差法背景提取方法，通過計算同一背景下霧的分布圖提高視頻圖像的去霧速率。

綜上，在水面圖像去霧領域的研究工作中，以下幾個方面值得研究學者開展工作：首先，要提高算法的自適應調整能力。再有去霧算法的復雜度仍有待降低。

2 水界線的檢測

無論是對于單目視覺的目標檢測來說，還是對于雙目視覺的目標測距來說，海天線或海岸線都是一則非常有意義的信息。高精度地檢測水界線對于無人艇應用至關重要。

圖 3 基于小波變換的海天線檢測Fig.3 The sea sky line detection based on wavelet transformation

圖 4 基于梯度顯著性的海天線檢測Fig.4 The sea sky line detection based on gradient saliency

趙凝霞等[12-15]通過對無人艇獲取的圖像進行小波變換來進行水界線檢測。王博[16]提出一種基于梯度顯著性的海天線檢測方法。梯度顯著性的計算有效增強了海天線的直線特征并抑制了各種干擾因素，采用區域生長方法實現了對海天線的檢測和辨識。

尋找感興趣區域是現在水界限檢測的主流方法，在感興趣區域輔助下確定海天線位置。以色列信號和圖像處理實驗室Ran Gladstone 通過找到最大穩定的極值區域來估計目標與海面的接觸點[17]，然后利用地球的幾何形狀和相機的光學性質來計算距離，平均誤差為7.1%。

圖 5 感興趣區域及水天線檢測結果Fig.5 The region of interest and the sea sky line detection results

Bok-Suk Shin 等提出分層隨機抽樣一致性算法來檢測水天線[18]。首先在縮小的梯度圖像中應用RANSAC估計水天線位置，然后在原始圖像的感興趣區域的邊緣檢測圖像中采樣適量的圖像塊，最后用RANSAC 聚合方差較小的候選圖像塊。

3 水面目標檢測方法研究

對于水面目標直接檢測較困難的問題，有的研究學者結合了水面圖像的具體特點進行目標檢測。萬磊等[19]針對無人艇對復雜海岸背景下的水上目標檢測問題，提出基于海岸線信息的近海目標自動檢測方法，獲取目標位置。采用哈夫變換進行投票加權處理，確定海岸線的精確位置，單幀處理在0.2 s 以內。

多光譜信息處理國家處理實驗室常莉提出運用顯著性的概念來獲取顯著性特征[20]。融合對象和顯著性的結果，平均準確度為82%，每幀耗費時間為0.268 s。后期李暢在此基礎上將目標特性和顯著性相結合，剔除假目標，驗證得到準確率在80%以上[21]。

圖 6 基于海岸線信息的近海目標自動檢測結果Fig.6 The offshore target detection results based on coastline

圖像稀疏性是圖像一個重要特點，蕭正莫[22]就通過探索圖像塊的全局稀疏性。實現對目標的檢測。王晗[23]在此基礎上開發了實時障礙物檢測系統。該系統能夠在海面上檢測和定位30～300 m 范圍內的多個障礙物。

牟曉正等[24]提出一種基于實時視覺的水面無人艇遠距離目標檢測與跟蹤算法。在研究中使用高清圖像（2736×2192）以便得到高精度的目標距離。為了保證處理這種高分辨率圖像實時性，提出了一種由粗到精的方法。

深度學習的興起豐富了水面運動目標的檢測方法，已有研究結構將深度神經網絡應用到水面運動目標檢測的實際應用中。楊建等[25]提出一個基于神經網絡的水面目標的監測跟蹤定位系統。利用分割精確檢測結果解決了目前基于CNN 的檢測方法定位精度低的問題。同時使用KF 來跟蹤多個幀的對象來提高效率。

圖 7 試驗得到部分視頻幀的檢測效果Fig.7 The detection effect of partial video frames in experiments

圖 8 改進后算法目標檢測與識別結果統計Fig.8 The target detection and identification result statistics of improved algorithm

圖 9 基于視覺的無人艇目標跟蹤試驗效果圖Fig.9 Target tracking effect of USV based on vision

圖 10 （a）初始檢測框（b）區域圖像（c）分割圖像（d～f）將超級像素組合在初始檢測框內的過程（g）精確檢測框Fig.10 (a) original detection box (b) region image (c) segmented image (d) the process of combining super pixels into original box(e) accurate detection box

韓國Jonghong Park[26]為了估計每個目標相對于無人艇的范圍和方位，利用連續白噪聲加速（CWNA）模型的擴展卡爾曼濾波器（EKF）算法對障礙物進行精確定位，經過現場實驗證明其方案的可行性和有效性。美國噴氣推進國家實驗室的特里亨斯伯格等[27]搭建的Hammerhead 視覺障礙物檢測系統可以生成基于網格的危險圖，在2009 年美國詹姆斯河流域對三叉戟水面無人艇進行了測試。

圖 11 基于視覺的碰撞的現場實驗結果Fig.11 The experimental results of collision avoidance based on vision

由于深度學習的興起，現在目標檢測的趨勢是采用深度學習的方法但這種方法是依賴前期大量訓練數據的積累。另一方面可以發揮不同傳感器優勢，進行檢測信息融合，可以提高運動目標的檢測效果。

4 水面運動目標跟蹤

水面運動目標跟蹤是一個充滿各種挑戰的任務，主要是由于水面運動目標周圍環境充滿各種干擾而且經常發生變化，或是運動目標自身形狀和大小在圖像序列中展現多樣性。因此在水面復雜環境中能準確識別并跟蹤運動目標就成為一個存在各種影響的難題。

圖 12 檢測和跟蹤具有挑戰性幀的試驗結果Fig.12 The detection and tracking in challenging frames,with targets labeled by green boxes

Bok-Suk Shin[28]針對大浪、水面有霧等惡劣條件下目標跟蹤問題，根據試驗得到該系統目標檢測和跟蹤的距離最遠為500 m。Ran Gladstone 等[29]通過發現最大穩定極值區域（MSER）來檢測目標與海面的接觸點，顯示相對于GPS 的平均絕對誤差在4.8%到9%的范圍內，總體平均誤差為7.1%。

還有一些研究機構將新信息融合方法應用到水面目標檢測與跟蹤任務中，主要是基于視覺和激光雷達融合或者視覺與GPS 的融合等。蕭正莫等[30]將單目攝像機與GPS 和羅盤信息集成，將測距能力提高500～1 000 m。D.Hermann * R 則直接將雷達和視覺信息進行融合，可以適用于30 m/s 運行的無人艇[31]，能對175 m范圍內的障礙物達到實時檢測。

傳感器信息融合實現對水面目標的檢測跟蹤是趨勢，是提升全天候下跟蹤性能的重要解決方案。但如何實現真正的信息融合而且保證對目標的長時間準確檢測跟蹤是難題。

5 結 語

無人艇光視覺系統與其他感知系統相比有其明顯的優勢，近年得到了越來越廣泛的應用，但現在國內外對于光視覺技術的研究還不能使無人艇真正達到智能自主，其中存在許多需要改善的方面：

1）一個可以投入實際使用的基于視頻圖像的無人艇感知系統應該具備處理時間短、自適應強和可靠性高的特點。

2）無人艇光視覺研究需要確定清晰完整的工作過程。基于傳感器（攝像頭或雷達）錄入信息后的數據處理和行為預測，并反饋到感知系統進行校正和預測都是需要解決的問題。

3）借鑒無人車的發展經驗，無人艇光視覺研究智能化水平還有待提高。無人艇與無人車的工作模式類似，只是工作的環境更加復雜，對自身系統的穩定性要求比無人車要高。

未來這一領域的發展應該是圍繞上述問題的解決而展開，發展趨勢主要是：

1）多專業領域交叉融合。實際上無人艇也和感觀系統、大腦系統、決策系統相類似，是一個多學科、多領域交叉融合的系統。隨著計算機、自動控制、信息處理、通信與網絡、動力與能源、新材料等高新技術日臻成熟，無人艇正呈現出綜合化發展態勢。未來無人艇系統將逐步成為體系的有機組成部分，其技術體系勢必是光視覺和其他感知技術的統一，是環境感知和控制、規劃領域的交叉融合。

2）模塊化、標準化、通用化進一步發展。無人艇的研發目的是代替人類執行各種復雜危險的任務，其多用途和高標準決定了無人艇需要在功能的多樣性和精確性上下功夫，對環境感知領域更是如此，模塊化可以使無人艇智能選擇合適的方法進行正常地感知探測，標準化和通用化使感知系統適用于各種不同型號和任務。

3）將實現高度智能化。無人艇實現高度智能化將具有以下特點：一是具有記憶和思維能力，能夠存儲感知到的外部信息同時能夠利用已有的知識對感知到的信息進行分析；二是具有學習能力和自適應能力，通過不斷學習積累知識，使自己能夠適應環境變化；三是具有行為決策能力，形成決策并傳達相應的信息。

4）水面圖像的增強復原研究。需要建立一套能滿足各種天氣環境的水面圖像增強復原系統，能根據外界環境自適應對圖像進行復原，保留圖像的關鍵信息。

5）傳統感知算法和深度學習感知算法的算法融合研究。傳統的感知算法具有理論性強和可靠性高的特點，深度學習的感知算法具有魯棒性強、準確度高等優點。可以融合傳統算法和深度學習算法，得到擁有兩種算法優勢的感知框架，提高水面無人艇感知環境的能力。