基于多深度對抗網絡的ROV水下目標檢測

陸地 陳偉 魏慶宇

摘? 要： 有纜水下機器人ROV是水下工程作業的重要工具，但由于不同水質特性及水中散射折射的影響，ROV水下圖像普遍存在失真模糊、分辨率低等問題。為此構建深度分離可變形卷積代替原始卷積，采用高效表達稀疏性的特征提取結構實現對ROV水下目標的特征提取；再運用多深度機制的改進GAN網絡生成器和類似馬爾可夫架構的判別器建立數據集，增強水下圖像；最后構建多項損失函數，提升網絡的泛化性能并實現對ROV目標的快速檢測。水下實驗結果表明，該水下圖像增強方法提高了ROV目標檢測精度，符合預期要求。

關鍵詞： 圖像增強； 深度分離可變形； 多深度機制； 深度學習

中圖分類號：TP242.6? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2023）04-05-06

Abstract： The cabled underwater robot ROV is an important tool for underwater engineering operations， but due to different water quality characteristics and the influence of scattered refraction in water， ROV underwater images generally have problems such as distortion blur and low resolution. To this end， depthwise separable and deformable convolution is constructed instead of the original convolution， and the feature extraction structure that efficiently expresses the sparsity is used to achieve feature extraction of the ROV underwater target. Then the improved GAN network generator with multi-depth mechanism and the discriminator similar to the Markov architecture are used to establish the data set to enhance the underwater image. Finally， a number of loss functions are constructed to improve the generalization performance of the network and realize the rapid detection of the ROV target. The results of underwater experiments show that the proposed ROV underwater image enhancement method improves the accuracy of ROV target detection， and meets the expected requirements.

Key words： image enhancement; depthwise separable and deformable; multi-depth mechanism; deep learning

0 引言

有纜水下機器人（Remotely operated submersible，ROV）廣泛應用于漁業、軍事、水下工程等領域。ROV作為水下探索的重要裝備，具有穩定性高，安全可靠等優勢，可以代替潛水員進行水下危險作業[1-2]。水下目標檢測能力是衡量ROV的重要指標，然而由于水體環境復雜以及水下光的散射、折射現象，嚴重影響了ROV作業能力，因此ROV水下圖像增強方法研究是開發ROV的必要前提[3-5]。

目前，國內外水下機器人圖像處理一般采用圖像增強和圖像恢復的方法。但是不同波長的光在水中衰減速率不同，會讓水下圖像產生不同程度的失真[6-8]。水中顆粒物的散射會使圖像產生模糊“霧化”現象，而深水處的弱光性也會使水下圖像對比度將低，這嚴重影響了水下圖像的真實性[9-11]。然而傳統的水下圖像處理方法往往達不到預期效果。

針對ROV在不同水環境的目標檢測，可采用不同的水下圖像增強方法。例如針對水下圖像紋理細節發散，光照不均勻/失真、圖像對比度低相關問題，Peng[12]等提出了一種水下圖像光學成像自適應優化算法，能有效恢復水下圖像結構，但算法較復雜，實時性不夠好。Dong[13]提出SRCNN算法，用低分辨率的卷積神經網絡（CNN）輸入，重建算法映射函數解決超分辨率重建問題，得到了高分辨率輸出。此后基于CNN網絡的圖像超分辨重建取得了重大進展，卷積神經網絡殘差模塊和生成對抗網絡的模型相繼被提出[14-15]。也有些用于特定條件下的特定的圖像復原算法，這些算法可以在特定的場景下對圖像復原起到不錯的效果，不過局限性稍差。Liu等提出一種錨定鄰域回歸和CNN相結合的圖像重建方法[16-17]，重建效果得到了進一步改善，其算法特別針對有效特征選取，提高了測試結果的準確度，但這些水下圖像增強方法在顏色校正方面還有待提升。Gao[18]等提出了一種有效生成對抗網絡模型，該網絡模型可以實時增強水下圖像。但是增強后的水下圖像會使顏色失真。

本文以實際ROV系統視覺感知為背景，基于深度學習，研究適合水下作業環境的ROV目標檢測方法。針對現有ROV水下圖像處理方法所存在的不足，提出一種基于可變形卷積對GAN（對抗網絡）改進，將深度分離卷積與可變形卷積相融合，并且在生成器網絡中提出一種新的特征提取模塊，利用生成網絡學習退化水下圖像與清晰水下圖像間的映射關系，結合了殘差學習模塊多深度提取有效特征值，對圖像偏色來校正，恢復圖像輪廓細節，判別對抗損失函數，保留地面真實情況的圖像特征；使用頻譜歸一化穩定判別器的訓練，快速并入GAN訓練中，進而提高主觀和客觀視覺感受指標，最終通過建立數據集在真實水下環境對ROV實驗證明了該方法的有效性。

1 基于對抗網絡的ROV水下目標檢測

1.1 基于可變形卷積對網絡的改進

ROV采集的水下圖像上存在光斑映射與畸變發生，質量往往不高，原有目標檢測方法在使用時，檢測效果較差，目標召回率低，檢測精度不高。傳統卷積遵循卷積核按固定路線平移的規則，池化層中池化比例固定，當圖像發生形變時，依然會機械的按照固定軌跡進行卷積運算，整個網絡運行效率過低。可變形卷積為每個卷積核增加偏移變量，采樣區域更貼近檢測目標的輪廓[19-20]。學習過程如圖1所示。首先根據輸入圖像數據信息，使用傳統卷積核進行特征圖提取。接著對特征圖進行卷積操作，結果作為可變形卷積核偏移量。然后根據卷積核與偏移量進行卷積操作，此時，卷積核將根據偏移量進行可變形卷積操作。ROV在運行目標檢測時，需要較高的實時性，處理后的視頻幀數在30FPS以上才可滿足水下目標實時檢測的需求?？勺冃尉矸e的運用既增加網絡對復雜環境的適應能力，提高目標檢測準確性，又可以降低網絡參數，加快網絡運行速度。

1.2 特征提取結構

為解決復雜環境下ROV進行目標實時檢測困難的問題。本文提出一種新的特征提取模塊，利用不同大小卷積核實現不同尺度的特征提取。如圖2所示。

該模塊加入了跳躍連接，增強了信息的傳遞，是一種高效表達特征的稀疏性結構。充分利用圖像特征，其上一層的輸出可以直接為下一場的輸入；三條中間路徑的內核大小不同，以便檢測不同比例的特征圖；引入1×1卷積，促進了特征融合并提高了計算效率。其結構如圖2所示，生成器模型負責生成圖片及其網絡結構前面兩層編碼部分（卷積層）。第一層由64個5×5大小的卷積核組成，第二層由128個3×3大小的卷積核組成。卷積層后面跟隨了歸一化BN層。卷積層后的LReLU（Leaky-ReLU） 激活函數使得輸入映射到輸出。FEM（Feature extraction module）可以通過前層結構獲得富余特征。而圖像重組部分則通過解碼部分完成。用雙曲正切函數Tanh來調配[-1，1]的傳入部分，并通過反卷積層映射到輸入通道數。

1.3 判別器網絡結構

判別器包含五層，其結構是基于馬爾科夫判別器的改進，第一層和最后一層沒有使用BN，第二、三、四層使用BN[19-20]。即BN-LReLU結，網絡結構如圖3。判別器網絡的輸入是生成器生成的圖像和參考圖像，輸出結果是16×16×1的補丁塊。如果判別結果為1，則說明生成結果與真實圖像相似。如果判別結果為0，則說明生成結果與真實圖像存在差異。由于補丁塊是與圖像局部進行對比，所以減少了人為干擾。

對判別器進行頻譜歸一化操作，使數據指標之間具有可比性，由于判別器的利普希茨常數問題，使得判別器的訓練穩定性較差。而該過程類似于向量的歸一化操作，可以有效解決該問題。

2 ROV目標檢測算法研究

2.1 特征提取

利用卷積層提取相關特征值，每層輸出特征值的計算公式為：

其中，O代表輸出特征圖的尺寸；n代表輸入特征圖的尺寸；k代表卷積核的尺寸；p代表零填充數；s代表步長。當s的值等于2時，該卷積操作相當于步長為2的池化操作，得到的輸出特征圖尺寸為輸入特征圖尺寸的一半。網絡包括了生成器和判別器，GAN目標函數為：

2.2 總損失函數

由于ROV獲取圖像質量偏低，通過選定目標函數引導生成器學習圖像增強，判別器在和生成器不斷的對抗訓練中選擇出與參考圖像相似的圖像?？倱p失函數為：

LWGAN-GP（G，D）是GAN損失函數，LVGG（G）是生成圖像與處理圖像間的感知損失函數，L1是真實圖像與生成圖像之間的結構損失函數。在一般的GAN訓練基礎上增加了抗擾能力。網絡結構包含了多種損失函數，L1使真實圖像與生成圖像之間的誤差最小化，把預處理圖像設定為偽真值，使感知損失下降。

2.3 對抗損失函數

對抗損失函數的作用是：使生成模型學習目標樣本的數據分布。生成器和判別器的損失函數如下：

在網絡訓練中不斷更新生成器和判別器的參數，使其達到穩態后，得到增強后的圖像。對GAN的重要特征及相應標準產生了相應的評判準則，此評判指標數越大，表示GAN訓練的效果越好，反之越差。此時WGAN-GP損失函數可以表示為：

其中，[?x]為梯度，[λGP]為權重因子，[Ex～px]為樣本分布，PX為生成數據與真實數據之間的點對直線樣本。L1為絕對誤差損失，即生成圖像和真實圖像之間的損失。L1損失對于異常值的抗擾能力較強，因此，引入L1損失，使生成圖像和真實圖像盡可能相似。其損失函數為：

3 實驗與分析

3.1 ROV實驗平臺

設計開發的20kg級ROV系統由水下運動部分和水上控制平臺兩大部分組成，水下運動部分搭載一部1080p低照度攝像機，攝像頭能見度達三米直接與工控機相連，實時獲取水下及機體運行信息。水上控制平臺搭載一臺英偉達3080圖像處理器。ROV系統實物如圖4所示。

3.2 網絡訓練

⑴ 數據集建立

基于深度學習的水下目標檢測網絡需要使用數據集進行訓練，因此需事先準備數據集進行模型的訓練與測試。以海參、海膽和貝殼為水下目標檢測典型來構建數據集。在URPC水產品數據集基礎上，使用爬蟲收集海參、海膽和貝殼圖片，后期通過人工篩選，擴充數據集。準備的數據集共分為三部分，第一部分為URPC水產品數據集，第二部分為收集的水下目標陸地圖像，第三部分為復原處理后的URPC水產品數據集圖像，共9000張圖，部分數據集如圖5所示。多種環境下的水下目標圖像，有利于增加水下目標檢測模型魯棒性，數據集中的8000張圖片作為訓練集，1000張圖片作為測試集。使用圖片標注工具LabelImge對每個圖像中的海參、海膽與貝殼進行標注，生成xml文件，記錄水下目標所在位置與類別名稱等信息。

⑵ 訓練細節

訓練過程中，首先在[-1，1]之間進行數據規范化處理。將用于進行實驗的圖像的大小為256×256×3。初始學習率為0.0001，我們使用λg= 10，λ1= 60和LReLU（斜率為0.2）。用Adam算法進行網絡優化， Batch設置為16；使用TensorFlow架構在GTX 1080 Ti上完成了網絡訓練60個epoch。在生成器完成生成時，鑒別器將迭代五次。

3.3 水下圖像復原處理實驗

將改進的水下圖像除水處理方法應用于水下圖像數據集，得到的部分結果如圖6所示，上方為URPC水產品數據集原始圖像，下方為處理后的圖像。處理后的水下數據集圖像具有較好的觀感，同時保留物理成像特征，后期可進行深度等信息提取。

ROV采集的原始圖像經水下圖像復原處理方法優化后，部分結果如圖7所示，上方為采集的原始水下視頻圖像，下方為處理后的視頻圖像。優化后的視頻圖像具有更好的視覺效果，可以去除水下氣泡雜質的干擾，增加對比度，還原圖像顏色，降低操作人員觀測水下環境圖像難度。

由圖6、圖7可以看出，水下圖像處理方法可以提高水下數據集和ROV采集的水下視頻圖像質量。擴充后的數據集可用于水下目標檢測網絡訓練，可使用處理后的水下視頻圖像作為檢測網絡輸入。同時，使用Xavier權重初始化方法，減少梯度消失問題，提升訓練效率，保證訓練成功率。

我們先后使用原始數據集與圖像處理擴充后的數據集訓練網絡，檢測結果如表1所示。由表1實驗結果可知，在原始目標檢測方法基礎上增加水下圖像復原處理方法，可有效提高ROV水下目標檢測效果。最后通過人工水池實驗同時放入多個海參、海膽和扇貝，操作地面控制臺遙控 ROV進行巡游，檢測結果如圖8所示。海參、海膽和扇貝水下目標物各類數量較多，同類之間顏色、大小和形狀等方面存在差異性的情況下，水下攝像頭視野內水下目標物均可被 ROV 同時檢測到。即使水下目標物尺寸較小且位于距離較遠處，依然具有較好的檢測效果。

4 結論

為了提高水下機器人自主能力，對ROV圖像檢測方法進行深入研究。提出了一種基于深度分離可變形卷積對GAN的改進，以及多深度對抗網絡下的圖像增強方法，提高了網絡的檢測速度、增加了檢測適應性、提升了檢測精度。在生成器網絡加入FEM模塊來提升網絡性能，有效的減少了由于訓練度過產生的過擬合現象。通過構造損失函數，搭建ROV實驗平臺，建立水下目標數據集，通過網絡訓練有效的增強了ROV水下目標圖像質量。最后通過實驗，選擇實驗參數與測試結果對比，將提出的圖像復原處理方法應用在ROV水下目標檢測上，ROV水上控制平臺顯示圖像與圖像數據集質量得到明顯提升，水下目標檢測效果相比之前有明顯改進，驗證了本文方法改進的有效性。未來可進一步優化網絡，減少其所需計算資源，在控制成本的同時加大應用范圍。

參考文獻（References）：

[1] Nomura K， Sugimura D， Hamamoto T. Underwater imagecolor correction using exposure-bracketing imaging[J]. IEEE Signal Processing Letters，2018，25（6）：893-897

[2] Zhang H， Patel V M. Densely connected pyramid dehazing network[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. Salt Lake City， Utah：IEEE，2018：3194-3203

[3] Chen X， Yu J， Wu Z. Temporally identity-aware SSD with attentional LSTM[J]. IEEE transactions on cybernetics， 2019，50（6）：2674-2686

[4] Yang M， Hu K， Du Y， et al. Underwater image enhancement based on conditional generative adversarial network[J].Signal Processing：Image Communication，2020，81：115723.188-194

[5] Li C， Guo J， Guo C. Emerging from water： Underwater image color correction based on weakly supervised color transfer[J]. IEEE Signal processing letters，2018，25（3）：323-327

[6] Wang Y， Zhang J， Cao Y， et al. A deep CNN method for underwater image enhancement[C]//2017 IEEE International Conference on Image Processing （ICIP）. Beijing， China：IEEE，2017：1382-1386

[7] Zhuang P， Ding X. Underwater image enhancement using an edge-preserving filtering Retinex algorithm[J]. Multimedia Tools and Applications，2020，79（25）：17257-17277

[8] Akkaynak D， Treibitz T. Sea-thru： A method for removing?water from underwater images[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. CA， USA： IEEE，2019：1682-1691

[9] Liu M Y， Breuel T， Kautz J. Unsupervised image-to-image translation networks[J]. Advances in neural information processing systems，2017，30：1579-1594

[10] Song W， Wang Y， Huang D， et al. Enhancement of?underwater images with statistical model of background light and optimization of transmission map[J]. IEEE Transactions on Broadcasting，2020，66（1）：153-169

[11] Liu W， Anguelov D， Erhan D， et al. Ssd： Single shotmultibox detector[C] //European conference on computer vision. Springer， Cham，2016：21-37

[12] Peng Y T， Cosman P C. Underwater image restorationbased on image blurriness and light absorption[J]. IEEE transactions on image processing，2017，26（4）：1579-1594

[13] Berman D， Levy D， Avidan S， et al. Underwater singleimage color restoration using haze-lines and a new quantitative dataset[J]. IEEE transactions on pattern analysis and machine intelligence，2020，43（8）：2822-2837

[14] Van Noord N， Postma E. A learned representation of artist-specific colourisation[C]//Proceedings of the IEEE International Conference on Computer Vision Workshops. Hawaii，USA：IEEE，2017：2907-2915

[15] Berman D， Treibitz T， Avidan S. Diving into haze-lines：?Color restoration of underwater images[C]//Proc. British Machine Vision Conference （BMVC）. London：IEEE，2017，1（2）：88-95

[16] Yoon J， Shin M， Lee J Y， et al. RNA interference （RNAi）-based plasmonic nanomaterials for cancer diagnosis and therapy[J]. Journal of Controlled Release，2022：181-188

[17] Liu R， Fan X， Zhu M， et al. Real-world underwater enhancement： Challenges， benchmarks， and solutions under natural light[J]. IEEE Transactions on Circuits and Systems for Video Technology，2020，30（12）： 4861-4875

[18] Gao S B， Zhang M， Zhao Q， et al. Underwater image enhancement using adaptive retinal mechanisms[J]. IEEE Transactions on Image Processing，2019，28（11）： 5580-5595

[19] Dong H， Neekhara P， Wu C， et al. Unsupervised image-to-image translation with generative adversarial networks[J]. arXiv preprint arXiv：1701.02676，2017：108-115

[20] Zhu J Y， Park T， Isola P， et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]//Proceedings of the IEEE international conference on computer vision. Hawaii，USA：IEEE，2017：2223-2232

*基金項目：常州市科技支撐計劃項目（CE20212025）； 常州市國際科技合作項目（CZ20210013）

作者簡介：陸地（1995-），男，安徽省合肥人，碩士研究生，主要研究方向：水下機器人視覺。