基于深度學習的聲吶圖像目標檢測系統

羅逸豪

（1.中國船舶集團有限公司第七一〇研究所，湖北 宜昌 443003；2.清江創新中心，湖北 武漢 430076）

0 引言

成像聲吶通過發射和接收聲信號進行成像，探測距離遠，是目前水下探測的常用設備，被廣泛應用于水下勘探、水下救援、敵對目標偵察等任務。聲吶圖像的自主目標識別（Autonomous Target Recognition，ATR）即目標檢測（Object Detection），需定位圖像中最可能包含目標的區域，并確定目標的類別[1]。傳統目標檢測算法通常先基于滑動窗口等篩選方法枚舉出所有可能的目標外接矩形框，然后利用人工設計的邊緣、紋理等特征進行分類，無法在復雜多變的水下環境中取得良好性能。

近年來，深度學習取得了突破性進展，以層次化的方式構建特征提取模塊，逐層連接構成的深度神經網絡（Deep Neural Network，DNN）通過數據驅動的方式自動學習圖像特征，克服了人工特征模式單一、判別能力弱的局限。基于深度學習的目標檢測算法實現了定位和分類任務的端到端共同優化，無論是處理可見光自然圖像[2]，還是應對前視聲吶[3]、側掃聲吶[4]和合成孔徑聲吶圖像[5]，均能取得比傳統方法更優的檢測精度[6-7]。

然而聲吶圖像采集需要耗費大量的資源，且常因涉及到敏感信息而未公開[8]，因此，基于深度學習的聲吶圖像目標檢測系統性研究與應用仍然不足。實際工程應用不僅對檢測算法的精度要求較高，還對軟件系統質量屬性、運行速度、部署環境等方面均具有一定要求。因此，本文利用深度學習模型數據驅動的優勢設計了一種聲吶圖像目標檢測系統，提高也不表明該系統在測試數據上和實際應用中均具有良好的性能。

1 基于深度學習的聲吶圖像目標檢測系統

1.1 系統組成

所設計的基于深度學習的聲吶圖像目標檢測系統包含數據集生成、算法模型訓練與測試、模型部署應用3 個子系統，如圖 1所示。各子系統的輸入輸出相互關聯，且不存在強耦合關系，滿足可移植性、可擴展性、易用性等軟件系統質量屬性。所設計的系統具備通用性，不依賴于某一項具體應用任務。

圖1 聲吶圖像目標檢測系統Fig.1 Sonar image object detection system

數據集生成子系統負責采集、標注、處理、生成和管理數據集，對外場試驗的實時數據、已有的未標注圖像和互聯網數據進行標注，經過預處理和訓練集測試集劃分后生成數據集，并支持修改、合并等功能。

算法模型訓練與測試子系統首先構建目標檢測深度學習模型，然后讀取訓練集數據進行訓練，并讀取測試集數據對訓練完成的模型進行測試，將滿足算法精度、速度要求的模型參數文件輸出。

模型部署應用子系統針對不同部署平臺的軟硬件環境要求，轉換模型參數文件，并編寫服務于實際任務的應用程序，然后部署于項目機，讀取模型并進行前向計算。

1.2 數據集生成子系統

數據采集和標注功能分為離線和在線2種模式。離線模式指對已有的未標注聲吶圖像進行人工標注，數據來源通常為外場試驗保存的歷史數據，互聯網下載的開源圖像。采集數據后，可以采用labelImg、labelme、Vott、CVAT等開源的標注軟件對聲吶圖像進行標注。在線模式指在試驗現場使用相關顯示軟件實時解析聲吶設備傳輸的原始數據，在生成聲吶圖像后直接手動標注并導出結果。由于現場試驗時已知水下目標的布放位置，在線標注的類別信息通常比離線標注更加準確。

標注過程中，盡量不以狹長、極端長寬比的目標外界矩形框進行標注，且需要保持目標位于矩形框中央，減少無關的背景信息。標注格式也應保持一致。如圖 2所示，P1為矩形框左上角頂點，P2為右下角頂點，P0為中心點，w,h表示矩形框的寬和高。通常以[x1,y1,w,h]或[x1,y1,x2,y2]的數據格式記錄標注，YOLO系列算法[9]以圖像的寬、高作為分母分別對坐標進行歸一化，以歸一化后的中心點坐標與矩形寬高記錄。

圖2 標注坐標示例Fig.2 An example of annotation coordinate

傳統檢測方法通常使用濾波算法對聲吶圖像進行預處理，消除散斑噪聲以提高檢測精度[7]。深度學習以數據驅動來訓練神經網絡，使用噪聲數據訓練模型會提高算法魯棒性和抗攻擊能力[10]。因此，本系統不對數據集圖像做濾波預處理操作。

由于聲吶圖像獲取不易，訓練圖像通常數量較少，容易使得深度學習模型過擬合而缺乏泛化性。因此數據增強方法至關重要。基礎的方法包括翻轉、旋轉、裁剪、變形、縮放等幾何變換操作，不對圖像本身內容進行修改，適用于聲吶圖像數據集生成階段以增加圖片數量。

更進一步的增強方法通常采用顏色空間變換，修改圖像語義信息[11]。此類方法對訓練結果造成的影響不能事先預知，因此常在模型訓練階段嘗試。

對于不同類型、型號的聲吶設備和在不同水域下采集的聲吶圖像數據集應分類歸納。常用的聲吶設備有前視聲吶、側掃聲吶、合成孔徑聲吶。不同種類的聲吶圖像風格不同，前視聲吶對前方扇形區域進行掃描，圖像分辨率低且對噪聲敏感，側掃聲吶和合成孔徑聲吶圖像分辨率高，但側掃聲吶圖像精度較低[6]。此外，聲吶圖像數據分布還受到水質、水底環境等因素影響。不同分布的數據所包含的可學習信息不同，源域（Source Domain）和目標域（Target Domain）數據分布不同會影響深度學習模型的測試精度[12]。因此，對聲吶圖像數據集的歸類需考慮影響數據分布的多方面因素。

1.3 算法模型訓練與測試子系統

算法模型訓練與測試子系統通常部署在配置NVIDIA GPU的服務器中。目前流行的深度學習框架有PyTorch[13]、TensorFlow[14]、PaddlePaddle等。而廣泛使用的開源目標檢測算法框架MMDetection[15]、Detectron2與YOLO系列模型[11]均基于PyTorch、Linux實現。因此，本系統基于上述框架定義了聲吶圖像目標檢測深度學習模型構造和訓練過程的關鍵模塊：骨干網絡（Backbone）。骨干網絡是DNN提取圖像特征的主要組成部分。目前有許多性能優越的卷積神經網絡（Convolutional Neural Network，CNN），比如ResNet[16]、DenseNet[17]、ResNext[18]、Res2Net。通常而言，特征提取能力越強的CNN參數量越大，從而造成推理速度緩慢，因此輕量化CNN也常被用于高實時性任務。

為進一步提升特征豐富程度，頸部網絡（Neck）通常采用以特征金字塔網絡[19]（Feature Pyramid Network，FPN）為代表的網絡構造多尺度特征，以提高模型的小目標檢測精度。在側掃聲吶和合成孔徑聲吶圖像中，待檢測目標往往只占據整幅圖像的小部分，因此設計頸部網絡至關重要。頭部網絡（Head）在提取的特征圖上進行采樣，然后計算分類和定位結果。目前常用的采樣方式有兩階段（two stage）、一階段（one stage）、無錨框（anchor-free）。其中一階段方法直接將每個坐標點視作潛在目標，沒有額外的候選框提取步驟，運行速度更快。數據增強是基于顏色空間變換的數據增強方法，常在訓練過程中使用，比如CutOut、CutMix、MixUp。這些算法豐富了正樣本目標的信息，能緩解聲吶圖像數據不足的問題，提高訓練效率和測試精度。

聲吶目標檢測模型構建完成后，系統讀取聲吶圖像數據集中的訓練集進行訓練，然后使用測試集進行性能評估。針對具體的任務，可以選擇多個不同的聲吶圖像訓練集進行組合，并在多個測試集上全面評估，將滿足算法精度、速度要求的模型參數文件輸出，文件后綴名通常為“.pt”。

與MS COCO[20]基準的評價指標類似，以預測框與真實框的面積交并比（Intersection over Union，IoU）反映單個預測結果的好壞。IoU數值和分類置信度均大于既定閾值的結果稱為真陽性（True Positive，TP），即正確；否則為假陽性（False Positive，FP），即誤檢。由于算法不輸出負樣本背景框，因此不存在真陰性（True Negative，TN）。假陰性（False Negative，FN）則代表未被檢測出的目標框，即漏檢。以此計算精確率P（Precision）、召回率R（Recall）以及平均精度AP（Average Precision）：

設置的IoU閾值和分類置信度越大，對于預測正確的標準就越嚴苛。通常在IoU閾值范圍為[0.5,0.95]區間內每間隔0.05計算AP，求平均分作為綜合評分。如果聲吶圖像分辨率高而待檢測目標小，可以將IoU區間設置為[0.2, 0.65]。

1.4 模型部署應用子系統

模型部署應用子系統負責將訓練好的聲吶圖像目標檢測模型部署在特定的環境中運行。由于模型動態化、新增算子實現、框架兼容性等問題，當運行環境不同于模型訓練環境時，模型參數文件通常無法直接被調用。可使用MMDeploy開源部署工具對算法模型訓練與測試子系統輸出的模型參數文件進行轉換。MMDeploy支持多種算法庫運行和多種格式的模型文件轉換，支持Python、C++接口與Windows、Linux操作系統。

完成模型參數文件的轉換后，編寫應用程序進行讀取運行。程序包含如下功能：

1）數據接收功能，以文件讀取、網絡傳輸協議、內存共享等方式從上游程序獲取待處理的聲吶圖像數據。

2）目標檢測功能：讀取轉換完成的模型參數文件，加載內存/顯存，輸入聲吶圖像進行計算，得到目標檢測結果。根據實際應用效果可增加圖像預處理和結果后處理算法。

3）結果發送功能：以文件存儲、網絡傳輸協議、內存共享等方式輸出檢測結果。

目標檢測系統的應用程序獨立運行，與上游程序和下游程序之間通過既定接口實現數據交互，滿足解耦合原則。

2 水下可疑目標檢測系統實現

本文將所設計的聲吶圖像目標檢測系統應用于水下可疑目標探測任務，以驗證應用效果。

系統使用某公司的合成孔徑聲吶設備，在一片固定水域進行湖上試驗。首先，布置多個可疑目標外殼模型；然后，使用無人艇拖曳設備搭載聲吶設備實施數據采集與標注。航行過程中遠程控制無人艇從不同的方向駛入布雷區域，由于布雷位置事先已知，控制無人艇航行方向使得布放的可疑目標均能出現在聲吶掃描范圍內。聲吶圖像由合成孔徑聲吶設備進行渲染合成并通過行信號傳輸。采集的原始左聲吶以及右聲吶圖像分辨率均為1 900×1 900。正樣本標注僅有可疑目標一種類別，位置標注以歸一化后的中心點坐標與矩形寬高記錄。

采用縮放、裁剪、拼接、翻轉等幾何變換方式處理原始聲吶圖像，生成分辨率為640×640、1 024×1 024和3 800×1 900（左右聲吶圖像拼接）的數據集圖像，共1 362張圖像。生成的數據集具體劃分和圖像數量如表1所示。

表1 合成孔徑聲吶圖像數據集Table 1 Synthetic aperture sonar image dataset

考慮到系統運行實時性要求，目標檢測模型使用YOLOv5s網絡。訓練圖像采用CutOut、MixUP、Mosaic方法進行數據增強。組合修改而成的新圖像通過自適應縮放方式統一縮放至640×640分辨率，添加黑色邊框而不改變原始信息的長寬比。輸入圖像經過骨干網絡得到分辨率為80×80、40×40、20×20的多尺度特征，然后在基于FPN的頸部網絡得到擴充、疊加、增強，輸出通道數分別為128、256、512的3層特征。然后將多尺度特征輸入頭部網絡，每個像素點得到18維通道數的預測結果（4維表示目標坐標，1維表示目標置信度，1維表示可疑目標類別結果，預設3個尺寸的anchor，所以6×3=18）。訓練過程中分類損失和置信度損失均采用BCEWithLogitsLoss函數計算，坐標回歸損失使用GIOU方法。多尺度特征圖產生的損失進行加權融合，以提高小目標檢測精度。訓練參數均采用YOLOv5模型默認值。在測試階段使用加權非極大值抑制剔除冗余預測框，篩選過程IoU閾值為0.6。

訓練完成后，將滿足算法精度要求的模型參數文件以“.pt”格式輸出。由于水下可疑目標探測項目的軟硬件環境約束，系統應用程序需基于C++編寫，部署的項目計算機配置為Windows操作系統，Inter（R）Core（TM）i7-7700 CPU @ 3.60 GHz，內存16 GB，NVIDIA GeForce RTX 2080顯卡。PyTorch提供基于C++的推理后端引擎LibTorch-Windows。因此系統使用模型參數轉換工具將“.pt”格式文件轉換為該引擎可用的“.torchscript.pt”格式。

系統應用程序調用LibTorch相關庫函數完成對轉換后模型文件參數的讀取、加載、推理等功能。然后基于網絡傳輸協議、聲吶數據解析等鏈接庫編寫聲吶數據接收功能，以及檢測結果發送與保存功能。至此水下可疑目標檢測系統實現完成。

3 實驗結果

本章使用測試集包含的135張合成孔徑聲吶圖像評估系統應用程序的檢測性能，表2和表3分別展示了IoU閾值為0.5和0.2時的測試結果。

表2 IoU=0.5測試結果Table 2 Experimental results of IoU=0.5

表3 IoU=0.2測試結果Table 3 Experimental results of IoU=0.2

由表中數據可知，當IoU設置為0.2時，檢測精度會明顯上升，說明存在一定數量的預測框定位偏離了實際位置。合成孔徑聲吶圖像中的水下可疑目標并不重疊、密集出現，因此具有一定偏離的預測結果并未定位錯誤。這也說明了目標檢測算法的定位性能有進一步提升的空間。

當設置的分類置信度高時，精確率P高，此時較多的低置信度預測結果被剔除，減少了誤檢率（虛警率）；但因為剔除了低置信度結果使得預測框數量下降，導致召回率R下降，即漏檢率（漏警率）增加。當設置低分類置信度時，盡管平均精度AP和綜合評分會提高，精確率P大幅下降，導致了高虛警率。在自然光學圖像數據集MS COCO上通常將分類置信度設置為0.005以實現更高的平均精度。在本任務中，盡管將分類置信度設置為0.005時會得到最高的平均精度值82.09%（90.26%），但會導致虛警率過高，在實際應用中會造成指揮員經常性緊張和疲勞等問題。為了平衡虛警率和漏警率，本系統將分類置信度閾值設置為0.3。

圖3在測試集中選擇了4張圖像展示了所設計的聲吶圖像目標檢測系統的應用效果。可視化結果表明系統對于水下可疑目標具有較高的檢測精度，對相似物（第3張圖像）會產生虛警。

圖3 合成孔徑聲吶圖像測試集檢測效果Fig.3 Detection effect of synthetic aperture sonar image test set

算法初始模型參數大小為13.7 MB，轉換后為27.3 MB，系統在NVIDIA GeForce RTX 2080顯卡上處理一張圖像平均耗時18 ms，符合實時性要求。

4 結束語

本文設計了一種基于深度學習的聲吶圖像目標檢測系統，通用性較高，滿足可移植性、可擴展性、易用性等軟件系統質量屬性；將該系統應用于水下可疑目標探測任務，對合成孔徑聲吶圖像的檢測效果良好。實驗表明，為了不造成過高的虛警率，分類置信度閾值不宜設置為較高或較低的值。未來將在更多的民事和軍事任務中應用本系統。