一種基于YOLO-V3算法的水下目標識別跟蹤方法

徐建華，豆毅庚，鄭亞山

（北京理工大學，北京 100081）

近年來，隨著水下活動需求的豐富，水下移動平臺的控制方式也由最初的手動遙控模式逐漸轉變為自主移動模式，例如自主跟蹤拍攝模式。采用圖像信息跟蹤的方法在小型淺水平臺有較好的實用性。常用電磁跟蹤信號在傳播過程中會快速衰減，聲波信號則受限于平臺的體積。相比之下，采用圖像信息跟蹤的方法表現出更強的實用性。

目標識別與跟蹤是視覺應用領域重要的分支。基于視覺的目標識別方式主要包括傳統的機器學習算法和深度學習算法[1-4]。傳統方式如Haar特征與AdaBoost分類器組合而成的識別算法，對于背景簡單，目標區域清晰，輪廓特征明顯的場景效果良好[5]。但由于水對光線的吸收、散射、漫射等作用，水下拍攝的圖像往往存在清晰度差，邊緣銳度低，整體亮度低，局部折射光照強度過高等問題。目標的顏色強度會隨著水深不斷減弱，輪廓信息也會受到漂浮物、波紋、氣泡的影響，傳統的識別目標方式會造成誤識別的情況。深度學習網絡方法則是通過多次卷積計算提取圖像的特征，過程中充分利用像素信息，以此來提高檢測器的性能[6]，能夠應用于水下目標的識別。

基于深度學習的YOLO-V3算法網絡將圖像分割成S×S的網格，不同網格只負責其對應區域的物體的識別，減少重疊識別，提高檢測速度，該算法因其快速和準確而近年來被廣泛使用[7,8]。本文在YOLO-V3原算法的基礎上使用重組成與多級融合的方法進行特征提取，使得對于水下圖像的檢測效果明顯提升。在此基礎上，還針對檢測結果使用基于旋轉不變性的特征跟蹤目標[9-11]，并通過評價結果判斷是否重新進行識別，以增強算法的抗干擾能力。

1 目標檢測

基于YOLO-V3網絡的檢測方法將候選框提取、特征提取、目標分類、目標定位統一于一個神經網絡中。神經網絡可直接從圖像中提取候選區域，通過整幅圖像特征來預測目標位置和置信度。

圖1 算法流程圖Fig.1 Architecture of the algorithm

1.1 重組層與多級融合

YOLO-V3網絡主要通過卷積和池化操作實現對圖像特征的提取，本文提出的目標檢測跟蹤模型的流程圖和改進的YOLO-V3目標檢測算法流程圖如圖1所示。通常，水下拍攝畫面模糊性較高，水下目標的局部性特征比較明顯，為了增強YOLO-V3檢測網絡對于水下場景的適用性，提高網絡對水下目標檢測的精確度，本文使用重組層代替傳統的卷積和池化操作進行特征提??；此外，在網絡結構中還加入多級融合的思想，使得網絡充分利用水下目標的局部特征，以增加算法的魯棒性。重組層的結構示意圖如圖2所示，其將每個通道上的2*2圖像塊中的4個像素點拆解排列成4通道的1*1圖像塊，此方法與傳統的池化相比，極大程度地保留了像素中的局部細節，并且實現了圖像特征降采樣的過程。本文還將重組層的輸出特征圖與同步進行的卷積池化的輸出特征圖進行多級融合，生成疊加后的特征圖。

圖2 重組層示意圖Fig.2 Restructuring layer diagram

1.2 損失函數

由于拍攝時的角度變化，目標在水中旋轉等原因，同一類物體會出現不常見的長寬比。識別過程中，原始的YOLO-V3網絡的泛化能力偏弱，會出現識別不到目標或錯誤識別的情況。為彌補網絡無法檢測物體較大角度變化的缺點，文章將網絡原型中長寬的損失，轉化為區域框對角線的損失，重新定義模型的損失函數：

式中，Ci表示目標分類，pi表示類別概率。對于待檢測區域，存在目標的置信度設置為1；不存在目標的區域置信度為0。訓練時權重λcoord=λnoobj= 0.5。

1.3 網絡訓練

選取泳池中于不同距離、不同角度采集人的不同泳姿圖片作為訓練集。根據拍攝角度將訓練集進行分類：前向(front)、側向(side)、后向(back)，并利用LabelImg工具進行標注。訓練集圖像共包含3類目標共2000張；

網絡訓練過程是通過不斷調整預測框，使其接近真實框的過程。在訓練開始前，需要設定初始的候選框的大小及數量。合適的初始框不僅能加快網絡的訓練過程，還能增加識別算法的準確率。文章針對水下目標的特點，引入K均值聚類的算法，生成各類目標的最相近初始框。聚類的目標函數：

式中，IOU表示聚類得到的結果Box［i］與真實值Box［j］之間的交并比。

2 目標跟蹤

2.1 特征描述

常用的圖像描述特征如HOG特征、SIFT特征對旋轉后目標等的描述都不夠準確，易造成誤匹配的情況。本文設計了一種具有旋轉不變性的特征描述用于水下目標的跟蹤，較好解決了上述問題。

如圖3所示，目標中心點(x,y)，由中心向外擴展半徑r，以圓心水平方向為x軸，與x軸夾角θ的灰度值表示為：

其中R表示目標區域最大半徑。

圖3 旋轉不變性特征Fig.3 Rotation invariant feature

為減小物體運動時產生的波紋影響，增強算法的抗干擾能力，本文采用沿半徑方向計算特征描述梯度的方法：

綜合得到旋轉不變性特征描述：

2.2 跟蹤實現

通過2.1節所述的特征描述方式，可以將當前幀中的目標表示為1×(r- 1)的梯度行向量S=［S0,S1,…Sr-1］。在獲取下一幀圖像后，以上一幀中目標中心點為基準，在目標的原始區域2.5倍范圍內進行目標檢索，計算目標的梯度行向量S與待檢區域梯度行向量S′的余弦相關性。檢索結果：

其中(x′,y′)表示待檢區域中可能是目標中心點的坐標。遍歷待檢區域后，Q（x',y'）極大值位置即新的一幀中目標中心所在，記錄Qmax并更新目標模板SQ，繼續采用相同的搜索策略以實現連續幀中的目標跟蹤。

2.3 跟蹤結果評價

跟蹤過程中，對跟蹤結果準確性的判斷主要包括兩個方面：相鄰幀中目標的相似程度和移動距離。前者保證識別的準確性，后者保證目標在視頻流中的連續性。由此確定跟蹤結果評價函數：

式中，α表示相機視角，d表示目標與相機焦點之間的距離，T表示相機分辨率，F表示視頻幀率，v表示物體速度，λ和μ表示權重。設定一個閾值s,當f(Qmax)＞s，跟蹤結果準確，否則重新進行目標識別。本文中λ=μ= 0.5，閾值s取為0.7。

3 實驗及結果分析

將本文設計的算法布署到研揚科技UP Squared主板上進行驗證試驗。主板配置：CPU Intel Pentium TM N4200，4GB RAM緩存，64GB eMMC內存；Ubuntu16.04，64位操作系統；AI Core深度學習網絡加速模塊，通過Mini-PCIe接口連接UP Squared主板；高清攝像頭，分辨率1980×1080。試驗場地為20×50 m2的泳池，運動員在泳池內隨機運動。

圖4 水下移動平臺Fig.4 Underwater mobile platform

3.1 目標檢測跟蹤效果評價

使用改進的YOLO-V3的目標檢測算法以及利用具有旋轉不變特性的特征描述對水下目標進行識別跟蹤，取得了良好的效果。效果如圖5所示，各圖中黃色框表示識別與跟蹤到的游泳運動員，改進后算法的魯棒性高。此外，為了更直觀比較本文改進YOLO-V3算法的性能，使用控制變量的對比方法，分別使用輸入圖像尺寸為608*608和416*416像素的圖片，采用YOLO-V3、YOLO-V3-tiny和改進的YOLO-V3算法進行訓練和檢測，訓練圖片為具有標注的水下運動員運動圖像2000張（其中60%訓練集，30%測試集，10%驗證集），訓練20000個step后使用研揚科技UP Squared嵌入式主板進行檢測與評價。表1所示為使用置信度0.5進行篩選后的結果的性能指標?？梢?，改進的YOLO-V3的方法相比于其他方法在平均準確度值（mean Average Precision，mAP）上均有提升，并且其速度可以達到15幀/秒，能夠滿足水下機器人識別跟蹤任務的需求。

圖5 改進YOLO-V3目標檢測跟蹤效果圖Fig.5 Improved YOLO-V3 t detection and tracking result

表1 置信度0.5時各算法檢測結果Tab.1 Detection results of each algorithm at a confidence level of 0.5

由表1可知，在一定范圍內利用重組與多級融合的方式能夠降低識別過程中的誤差率，提高算法的準確性。但被替代的卷積層數較多時，雖然識別速度有所提升，提取的深度學習特征不夠明確，準確性下降明顯，在實際應用中，需要進行取舍，因此本文采用了2次重組層與多級融合的機制來修改原網絡結構。

3.2 平臺跟蹤實驗

平臺跟蹤路線結果如圖6所示，‘.’狀線條表示運動員運動路徑，‘+’狀線條表示移動平臺跟蹤路徑。由圖6可以看出，運動平臺初始在運動員后方約2米，當運動員開始以‘S’形路線運動時，移動平臺在本文所使用的檢測及跟蹤算法的驅動下能夠與運動員始終保持在2米距離內，完成了跟蹤拍攝任務。

圖6 跟蹤結果Fig.6 Tracking result

跟蹤結果評價曲線如圖7所示，在跟蹤過程中，使用本文所提出的跟蹤結果評價方法對60米不規則運動的跟蹤結果進行評價，由圖7可得跟蹤結果評價在大多數時間都是大于閾值0.7，表現出了本文提出的跟蹤算法的穩定性。當跟蹤結果評價小于閾值0.7時，算法會自動做出調整，重新對目標進行識別定位，以保證平臺對目標的跟蹤效果?？傮w看來，本文提出的跟蹤算法對于運動員的不規則運動表現出一定的適應能力。

圖7 跟蹤評價曲線Fig.7 Tracking evaluation curve

4 結 論

針對水中圖像成像模糊、水下物體運動多自由度的特點，本文利用深度學習方法和基于旋轉不變性的特征描述，提出了一種基于YOLO-V3算法的水下目標識別跟蹤方法，實現了對水中目標的識別、定位與跟蹤。

該方法在YOLO-V3原算法的基礎上使用重組成與多級融合的方法進行特征提取，其目標檢測模型在嵌入式平臺上的檢測速度達到15幀/秒；當置信度為0.5時，mAP值達到75.1，水下圖像的檢測效果明顯提升。

針對檢測結果使用基于旋轉不變性的特征跟蹤目標，對跟蹤情況做出實時評判，當跟蹤情況不佳時自適應地調用檢測算法進行輔助，增強了算法的抗干擾能力。實驗結果表明其跟蹤評價分數穩定在0.7以上，取得了較好的跟蹤效果。因此，該方法針對水下作業，尤其是水下運動員跟拍等任務具有較好的工程應用價值。