面向AUV自主水下對接的視覺檢測算法

龍澤升，徐海祥，2，馮 輝，2，龔 銳

（1. 武漢理工大學 交通學院，湖北 武漢 430063；2. 武漢理工大學 高性能船舶技術教育部重點實驗室，湖北 武漢 430063）

0 引言

隨著人類對深海的不斷探索，水下機器人逐漸受到了廣泛關注。相較于遙控式水下機器人（remotely operated vehicle，ROV），自主式水下機器人（autonomous underwater vehicle，AUV）無人化和智能化程度更高、隱蔽性更強、工作范圍更大，在海洋科考、軍事偵察打擊等方面的作用日益突出，是水下機器人的研究熱點[1]。AUV往往體積較小，所攜帶的電池和數據儲存容量不大，需定期回收，以完成電能補給和數據傳輸等操作[2]。AUV的回收方式主要包括水面母船回收和自主水下對接回收。自主水下對接通過AUV與固定或移動的回收裝置實現類似空/天對接的過程，使AUV完成返航、接近、對接、鎖緊等一系列動作，相較于母船回收具備自主、無人等優點，具有廣闊的發展前景[3]。

AUV的自主水下對接，一般分為從返航到接近的遠距離導引和從對接初始點到完成對接的近距離導引，遠距離導引對導航精度要求低，通常采用聲學方式，近距離導引對導航精度要求高，通常采用視覺方式[4]。視覺導引首先需要在視覺攝像頭獲取的二維圖像上進行目標檢測，獲取目標在相機平面的二維信息，然后，通過姿態估計算法從二維信息中解算出對接口與AUV間的三維位置信息，從而支撐AUV的自主水下對接。

基于視覺圖像的二維目標檢測是視覺導引的關鍵，傳統方法需要手動設計提取特征，效率較低。隨著深度學習的興起，基于卷積神經網絡自動提取特征的方法逐漸展示出其優勢，基于卷積神經網絡的典型檢測算法，如 Faster RCNN（faster region convolutional neural networks）[5]、SSD（single shot multibox detector）[6]、YOLO（you look only once）[7]和 Cascade RCNN（cascade region convolutional neural networks）[8]等在目標檢測任務上較基于特征工程的傳統方法優勢明顯，檢測準確率有明顯提升，泛化能力增強。目前，水下對接視覺任務主要使用基于卷積神經網絡的方法。文獻[9]采用13層卷積神經網絡進行水下對接目標的分類識別，取得了 99.18%的分類準確率，但沒有研究對接目標的準確定位。文獻[10]將AlexNet作為特征提取器，SVM 作為分類器，提出了一種基于卷積神經網絡的對接目標檢測算法，在標記目標域上效果較好，但需要對目標域進行進一步的篩選以保證定位精準。文獻[11]基于YOLO算法提出了DoNN算法，在水下對接數據集（Underwater Docking Images Dataset，UDID）上精度指標AP50達到99%。

AUV自主水下對接任務需要視覺導引模塊對目標的高精度二維檢測，目前已有研究，在對接目標的識別上效果較好，但在對接目標的二維定位上還有待提升。針對上述問題，本文研究了一種用于AUV水下自主對接的高精度二維視覺檢測算法，并在公開數據集UDID上進行了仿真試驗。試驗結果表明：該算法在精度指標AP50上達到了100%，在精度指標AP[0.5：0.95]上超過了92%，相較于各檢測算法有一定的精度提升，且該算法的檢測速度超過了20幀/秒，具有較好的實時性。

1 混合數據增強

基于神經網絡的視覺檢測算法需要大量的標記數據以完成模型訓練，但在水下環境中獲取大量圖片數據并進行標注較為困難，數據增強是解決這一問題的有效技術手段。本文提出的混合數據增強策略通過結合圖像級別的數據增強手段和實例級別的數據增強手段，增加樣本擴充效果，緩解模型的小樣本學習困難。

圖像級數據增強手段包括隨機翻轉、隨機裁剪和尺度抖動。隨機翻轉即對輸入圖片進行隨機方向的翻轉，翻轉后的圖片作為新樣本；隨機裁剪即在輸入圖片上進行隨機位置的裁剪，裁剪后的圖片作為新樣本；尺度抖動即對輸入圖片進行隨機的尺寸縮放，縮放后的圖片作為新樣本。通過隨機翻轉、隨機裁剪和尺度抖動，在圖像級別上生成新樣本，擴充樣本數據。

實例級數據增強中，本文基于文獻[12]啟發提出了位置概率熱力圖導向的泊松復制，通過計算圖像中各位置與目標o 當前位置的背景差異度得到熱力圖，然后根據熱力圖劃分可行區域，在可行區域內進行泊松復制。

首先，定義外觀描述子D用于對目標o的鄰域背景紋理進行編碼。隨著與目標o的距離增加，外觀相似性在減小，故

式中：Ci為輪廓區域，i取 1為內部輪廓，i取 3為外部輪廓，i取2為邊界輪廓；wi為輪廓對應權重，越靠近目標o權重越大，即w1＞w2＞w3； cx, cy為輪廓區域中心點。

其次，定義外觀距離d，用于計算外觀描述子D1和D2間的背景差異度，即

式中：Δ為歐氏距離；I為對應像素點的紅綠藍三通道值；(x1, y1)為D1領域內的點， ( x2, y2)為 D2領域內的點。

然后，固定Do為目標o 初始位置，遍歷全圖計算所有可能的外觀距離 d ( D, Do)，并通過函數h(?)進行歸一化，如式（3）所示，得位置概率熱力圖，如圖1（b）所示。

最后，根據生成的位置概率熱力圖對目標o進行泊松融合復制。通過計算前景目標和背景區域的梯度場和散度，求解泊松方程以獲得系數矩陣，從而完成泊松融合，如圖1（c）所示。

圖1 熱力圖導向的泊松復制Fig.1 Heatmap guided Poisson copy

混合數據增強從圖像級和實例級2個維度上進行樣本的擴充，豐富訓練集樣本的多樣性，增強模型訓練的效果。

2 高精度視覺檢測算法

本研究提出的高精度視覺檢測算法是基于Cascade RCNN神經網絡模型進行設計的，在損失函數、學習率及模型參數計算方式上進行優化設計，以期獲得高精度的二維圖像目標檢測效果。

2.1 Cascade RCNN神經網絡模型

Cascade RCNN是對Faster RCNN進行改進而提出的，通過級聯不同交并比（intersection of union，IOU）閾值的檢測器，實現對目標的逐級精細檢測。對于骨干網絡通過不斷卷積池化后自動提取的特征圖，Cascade RCNN級聯了3個檢測器，其交并比閾值分別為 0.5、0.6、0.7，上一檢測器輸出的目標邊界框將作為下一檢測器的輸入，經過不斷地優化，目標邊界框的質量將得到逐步提升。

2.2 完備交并比損失函數

對目標邊界框的回歸是檢測算法的關鍵步驟，決定著檢測算法的目標定位能力。Cascade RCNN模型通過計算邊界框4個頂點的L2范數損失總和作為位置回歸損失函數進行目標邊界框回歸，但該損失函數存在對目標尺寸敏感，回歸方向不穩定等問題。

為解決上述問題，可基于交并比設計回歸損失函數。交并比是檢測算法中衡量目標邊界框回歸效果的指標，可直接以交并比為對象設計回歸損失函數LIOU，即

式中：b為目標邊界框；bgt為目標真實框。交并比損失函數具有尺度不變性，對目標尺寸不敏感。一般認為邊界框回歸有3要素，即重疊面積，中心點距離和長寬比[13]，交并比損失函數僅考慮了重疊面積，當目標邊界框與目標真實框不相交，即IOU為0時，損失函數的梯度為0，邊界框難以進行回歸。為同時考慮回歸三要素，使邊界框回歸準確且快速，我們使用完備交并比損失函數LCIOU，即

式中：ρ2(?)為歐式距離；c為最小閉包框對角線長度；wgt和hgt分別為目標真實框的寬和高，w和h分別為目標邊界框的寬和高。完備交并比損失函數LCIOU的第2項對應重疊面積，第3項對應中心點距離，第4項對應長寬比。

完備交并比損失函數通過對回歸三要素的充分考慮，增強目標邊界框的回歸效果，從而增強檢測算法的定位能力。

2.3 學習率余弦退火策略

神經網絡模型的訓練采用梯度下降方式，通過學習率縮放漸變更新參數的步長，學習率的設置能決定模型訓練過程的優劣，不合理的學習率會使模型陷入損失平面的局部極小點或鞍點，人們通常采用動態調整學習率以避免這類情況。

余弦退火是動態調整學習率中較為有效的策略，一個余弦退火周期包含一次熱重啟和一次余弦衰減，如圖2所示。熱重啟即突然增大學習率，并使用重啟前的參數作為模型的初始化狀態，使模型能概率性地跳出局部極小點或鞍點。余弦衰減即利用余弦函數來降低學習率，使模型不斷逼近損失平面的低點。

通過余弦退火策略實現對學習率的動態調整，避免模型陷入損失平面的局部極小點或鞍點，提高模型的訓練效果，從而提升模型最終的精度表現。

2.4 混合精度策略

隨著深度學習神經網絡模型的不斷發展，算法模型的參數量顯著增加，帶來了計算量和內存開銷的激增，為減少模型的計算量，提高實時性，我們采用了混合精度策略。

深度學習框架Pytorch默認采用單精度浮點數（float32）進行計算和存儲，混合精度策略在模型訓練過程中主要使用半精度浮點數（float16），減少存儲量和計算量。為保證采用半精度浮點數后模型精度下降不明顯，混合精度策略采用以下技術。

1）分別以半精度浮點數和單精度浮點數建立2個參數權重的拷貝，半精度拷貝用于計算中間梯度，減少計算量，單精度拷貝用于參數權重的更新，避免舍入誤差。

2）訓練過程中隨著模型的不斷優化，損失逐漸減小，中間梯度也隨之變小，半精度可能會導致下溢出現象，即中間梯度變為0。為避免下溢出，將計算得到的損失放大一定倍數，根據鏈式法則，中間梯度會放大相應倍數，參數權重更新時再將放大的梯度抹去，保證訓練精度。

為追求精度的提升，新提出的卷積神經網絡模型在表示精度上存在較大冗余，通過混合精度策略剔除部分冗余，不僅可以大大縮小模型體積，還可通過低精度變量的運算壓縮計算時間。

3 對比實驗與結果分析

為驗證本文提出的高精度自主水下對接檢測算法的有效性，本節將在公開數據集UDID上進行仿真試驗。

3.1 實驗準備

試驗所采用的公開數據集UDID由AUV在深水水池中實拍的圖像組成，該水池長15 m，寬10 m，深8 m，對接頭固定在2 m水深處，圖像共選取1 000張，其中800張作為訓練集，200張作為測試集，圖像分辨率均為720×576。

為公平比較，試驗在統一的硬件平臺和軟件環境下進行。硬件平臺為Intel（R）Core（TM）i7-8700 CPU@3.20GHz處理器和GeForce GTX 2080 Ti顯卡，軟件環境為 Ubuntu18.04、python3.7、PyTorch1.6、mmcv1.1.3和 mmdet2.4.0。試驗過程中訓練參數設置保持一致，即采用隨機梯度下降算法，總周期為12，批次為8。

3.2 評價指標

精度評價指標通常采用平均精度（average precision，AP）。當檢測框與真實框的交并比大于閾值時認為檢測框檢出目標，即真陽性（true positive，TP）。TP與所有檢測框數量的比值即為準確率（precision，P），TP與所有真實框數量的比值即為召回率（recall，R）。檢測框帶有檢出目標的類別置信度，通過類別置信度進行排序，以置信度閾值劃分正負例，在不同類別置信度閾值下，準確率P和召回率R的值發生變化，故以召回率R為橫軸，準確率P為縱軸，計算不同類別置信度閾值下的P與R即可繪制P-R曲線，P-R曲線與坐標軸包圍的面積即為平均精度。設置不同的交并比閾值會得到不同的P-R曲線和平均精度，AP50即交并比閾值為0.5下的平均精度，AP75即交并比閾值為0.75下的平均精度，AP[0.5：0.95]即為交并比閾值取 0.5～0.95間 10個數值下平均后的平均精度。

速度評價指標通常采用幀率（frames per second，FPS），即算法模型每秒處理的圖片數量。

3.3 水下對接實拍圖像目標檢測試驗

為驗證本研究所提出的用于AUV水下自主對接的高精度視覺檢測算法的效果，將本文算法與Cascade RCNN、YOLO V3、SSD、Faster RCNN等目標檢測經典算法模型進行對比，試驗結果如表1所示，表中，Ours為本研究所提出的高精度視覺檢測算法。由表1可知，本研究所提算法較YOLO V3、SSD和Faster RCNN算法在精度上優勢較為明顯，各精度指標均有較為明顯的提升，尤其在AP90上，體現了本文算法相較于各經典算法的高定位精度，輸出的目標邊界框與目標真實框的重疊程度更高，更有利于后續姿態估計算法的三維解算。與Cascade RCNN算法相比，本文算法在AP[0.5：0.95]上提升約 2.3%，在 AR[0.5：0.95]上提升約 1.8%，提升較為明顯。在檢測速度上，本文算法遜于YOLO V3和SSD，但明顯強于Cascade RCNN，與Faster RCNN相近，檢測速度超過了20幀/秒，具有較好的實時性。

表1 水下對接目標檢測試驗結果對比Table 1 Comparison of test results of underwater docking target detection

為進一步直觀分析本文算法的提升效果，本文繪制了Casacde RCNN與本文算法在IOU閾值分別為0.5、0.7、0.9下的P–R曲線，如圖3所示。

由圖3可知，當對目標定位精度要求不高，即IOU閾值較低時，兩者的P–R曲線幾乎沒有差異，當 IOU閾值取 0.9時，本文算法相較于 Cascade RCNN算法開始有明顯優勢，高召回率下的準確率更高，即漏檢目標較少時誤檢目標也較少，在高定位精度要求下的表現更佳。

圖3 不同IOU閾值下的P–R曲線對比Fig.3 Comparison of P–R curves under different IOU thresholds

3.4 混合數據增強試驗

為驗證本文提出的混合數據增強策略對高精度視覺檢測算法的提升，本節進行了試驗對比，分析混合數據增強前后高精度視覺檢測算法模型的精度變化。

首先，對訓練集樣本進行實例級數據增強，即位置概率熱力圖導向的泊松復制，增強后的訓練集目標統計如表2所示。由表2可知，熱力圖導向的泊松復制從原始數據集上增加了342個目標個數，增加幅度為42.2%，一定程度上緩解了小訓練集目標個數較少的問題。

隨后，對訓練集樣本進行圖像級數據增強。隨機翻轉的方向設為水平或垂直，即訓練集中圖像將被隨機進行水平或垂直翻轉，隨機翻轉后，圖像數量翻倍；隨機裁剪中，設置裁剪區域面積占原圖像面積的 0.25，且裁剪區域包含目標，隨機裁剪后，圖像數量翻倍；尺度抖動的縮放比率設為 0.5～2，即訓練集圖像隨機縮放為原尺寸的0.5～2中的某2個倍數，尺度抖動后，圖像數量乘以 3倍；最終，圖像級數據增強后，圖像數量擴充至12倍，如表2所示。

表2 訓練集統計Table 2 Statistics of training sets

最后，在原始數據集和增強后數據集上分別使用高精度視覺檢測算法進行水下對接實拍圖像目標檢測試驗，試驗結果如表 3所示，Ours為本文算法在原始數據集上訓練獲得的模型，Ours*為本文算法在增強數據集上訓練獲得的模型。

表3 混合數據增強目標檢測試驗結果對比Table 3 Comparison of object detection experimental results with mixed data augmentation

由表 3可知，混合數據增強后得到的算法模型有一定的精度提升，在 AP[0.5∶0.95]上提升約1.9%，在 AR[0.5∶0.95]上提升約 1.5%。算法本身沒有改變，故檢測速率也沒有變化。為進一步直觀分析兩模型的檢測效果差異，本文繪制了 Ours與Ours*在 IOU 閾值分別為 0.5、0.7、0.9下的P–R曲線，如圖4所示。

圖4 不同IOU閾值下的P–R曲線對比Fig 4 Comparison of P–R curves under different IOU thresholds

由圖4可知，IOU閾值取0.5時，2個算法模型的精度都已到達100%，沒有差別；當IOU閾值取0.7時，混合數據增強后得到的算法模型在P–R曲線上優勢不明顯；當IOU閾值取0.9時，混合數據增強后得到的算法模型在P–R曲線上有較為直觀的優勢，召回率高時的準確率更高。

4 結束語

AUV自主水下對接技術發展迅速，視覺檢測作為近距離導引的關鍵技術，對目標的定位精度較高。針對這一需求，本文設計了一種高精度視覺檢測算法，采用完備交并比損失函數、學習率余弦退火和混合精度策略，提高了算法模型的精度，尤其是高 IOU閾值下的精度。同時，本文提出了一種混合數據增強策略，從圖像級和實例級上對訓練集樣本進行擴充，并進一步提升了本文算法精度。最終本文算法在AP[0.5∶0.95]上達到了94%，檢測速度超過20幀/秒，性能優勢明顯，為未來AUV自主水下對接技術的發展提供了技術支持。