圖像增強(qiáng)水下自主機(jī)器人目標(biāo)識(shí)別研究

郭雨青，曾慶軍，夏 楠，孫嘯天，許赫威

（1.江蘇科技大學(xué)計(jì)算機(jī)學(xué)院，江蘇 鎮(zhèn)江 212028; 2.江蘇科技大學(xué)電子信息學(xué)院，江蘇 鎮(zhèn)江 212028）

0 引 言

自主式水下機(jī)器人（autonomous underwater vehicle，AUV）在軍民用領(lǐng)域具有廣泛的運(yùn)用，是開(kāi)發(fā)海洋資源的重要工具。AUV不僅機(jī)動(dòng)性好而且巡航范圍大，在水下觀測(cè)、制圖、定位和深海探測(cè)中具有著重要作用[1]。其中，目標(biāo)識(shí)別與跟蹤作為衡量AUV控制性能的重要指標(biāo)[2]，是AUV自主作業(yè)的關(guān)鍵技術(shù)[3]。在水下目標(biāo)識(shí)別方面，水下圖像的質(zhì)量對(duì)高級(jí)視覺(jué)識(shí)別任務(wù)有極大的影響，同時(shí)對(duì)于水下機(jī)器人對(duì)目標(biāo)進(jìn)行避障、抓取等運(yùn)動(dòng)規(guī)劃起著重要決策作用[4]。

目前研究人員多圍繞水下圖像質(zhì)量方面對(duì)AUV的目標(biāo)識(shí)別開(kāi)展研究。其中在基于圖像融合[5-6]的圖像復(fù)原方法中，合適的場(chǎng)景深度圖是估計(jì)背景光和透射圖的關(guān)鍵。由于光散射和顏色變化引起的水下圖像的模糊效應(yīng)類(lèi)似于空氣中的霧效應(yīng)，有學(xué)者使用了暗通道先驗(yàn)（DCP）[7]及其變體進(jìn)行深度估計(jì)和恢復(fù)。楊淼等[8]提出了一種基于色彩補(bǔ)償?shù)乃聢D像綜合增強(qiáng)算法，通過(guò)色彩補(bǔ)償和對(duì)比度拉伸，HSV空間γ校正和亮度通道去模糊系列方法實(shí)現(xiàn)了對(duì)水下圖像的色彩校正,色彩對(duì)比度,飽和度和細(xì)節(jié)清晰度的綜合提高。王昕等[9]利用最大強(qiáng)度先驗(yàn)圖對(duì)背景光進(jìn)行了估計(jì)，并利用灰度世界理論對(duì)R通道進(jìn)行了校正。也有學(xué)者發(fā)現(xiàn)以往的估計(jì)背景光的方法對(duì)各種水下圖像的魯棒性不強(qiáng)，提出了一種基于圖像模糊度和光吸收的方法來(lái)估計(jì)更精確的背景光和場(chǎng)景深度，以精確恢復(fù)彩色水下圖像。隨著人工智能技術(shù)的發(fā)展與運(yùn)用，基于深度學(xué)習(xí)的水下圖像增強(qiáng)算法和圖像識(shí)別網(wǎng)絡(luò)也應(yīng)運(yùn)而生。李?lèi)?ài)蓮等[10]將空間金字塔池化與ResNet101網(wǎng)絡(luò)相結(jié)合,提出一種基于改進(jìn)ResNet101網(wǎng)絡(luò)下渣彩色圖像的出鋼狀態(tài)分類(lèi)識(shí)別檢測(cè)方法。如YU等[11]基于生成式對(duì)抗網(wǎng)絡(luò)的水下圖像復(fù)原網(wǎng)絡(luò)，模擬水下成像模型獲得一個(gè)水下圖像數(shù)據(jù)集；LI等[12]提出了一種基于水下場(chǎng)景先驗(yàn)的水下圖像增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型-UWCNN。直接重建清晰的潛在水下圖像。YANG等[13]將神經(jīng)網(wǎng)絡(luò)與結(jié)合真實(shí)水下情況提出新的網(wǎng)絡(luò)增強(qiáng)方法，使得水下圖像增強(qiáng)多了新的可能性。但由于其網(wǎng)絡(luò)訓(xùn)練需要大量樣本及參數(shù)，同時(shí)也耗費(fèi)相當(dāng)多的訓(xùn)練時(shí)間，仍有很大的發(fā)展空間。

本文提出一種結(jié)合ULAP算法與CLAHE算法的圖像增強(qiáng)算法與其它幾種圖像增強(qiáng)或顏色矯正算法進(jìn)行實(shí)驗(yàn)比較，最終將各種增強(qiáng)圖像用YOLOv4算法對(duì)水下圖像數(shù)據(jù)集進(jìn)行目標(biāo)識(shí)別評(píng)價(jià)，實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，與原圖檢測(cè)相比，本文的增強(qiáng)方法將YOLOv4目標(biāo)識(shí)別準(zhǔn)確率（MAP）提高了33%，檢測(cè)頻率為25 Hz。

1 探海Ⅱ型水下自主機(jī)器人

本文采用的AUV是自主研發(fā)的“探海Ⅱ型”AUV，“探海Ⅱ型”AUV由艏段、電子艙段與艉段組成，其中艏段搭載雙目視覺(jué)攝像機(jī)以供視覺(jué)導(dǎo)航使用，水下自主機(jī)器人裝配視覺(jué)系統(tǒng)進(jìn)行水下自主巡航時(shí)，通過(guò)視覺(jué)系統(tǒng)快速、準(zhǔn)確地捕獲水下目標(biāo)物的相關(guān)信息，并對(duì)信息進(jìn)行實(shí)時(shí)處理，將處理結(jié)果及時(shí)提供給控制系統(tǒng)，由控制系統(tǒng)控制自主式水下機(jī)器人抵近目標(biāo)物并最終到達(dá)期望的作業(yè)位置。“探海Ⅱ型”AUV結(jié)構(gòu)如圖1所示。

圖1 “探海Ⅱ型”AUV結(jié)構(gòu)

2 水下圖像增強(qiáng)

2.1 水下模型

由于復(fù)雜的水下環(huán)境，水下圖像復(fù)原具有挑戰(zhàn)性，在這種環(huán)境中，圖像會(huì)受到水混濁度和光衰減的影響而退化[14]。與綠光和藍(lán)光相比，波長(zhǎng)較長(zhǎng)的紅光受到的影響最大，因此水下圖像呈現(xiàn)藍(lán)綠色。一種圖像恢復(fù)方法通過(guò)考慮光在水介質(zhì)中傳播的基本物理來(lái)恢復(fù)水下圖像。恢復(fù)的目的是推導(dǎo)物理模型的參數(shù)，然后通過(guò)保留補(bǔ)償處理恢復(fù)水下圖像。簡(jiǎn)化成像模型等式如下：

x——水下圖像Iλ（x）中的像素點(diǎn)；

Jλ（x）——x點(diǎn)的場(chǎng)景輻射率；

tλ（x）——從水下場(chǎng)景中的x點(diǎn)反射并到達(dá)攝像機(jī)后的剩余能量比；

Bλ——均勻背景光。

Jλ（x）tλ（x）描述了場(chǎng)景輻射在水中的直接衰減。此外，剩余能量比tλ（x）是 λ和場(chǎng)景-攝像機(jī)距離d（x）的函數(shù)，它反映了波長(zhǎng)在水下距離 d（x）傳播的光所遭受的光散射和顏色變化的整體效果。因此，tλ（x）可以表示為：

其中e?β（x）可以表示為歸一化剩余能量比Nrer（λ），它是指?jìng)鞑サ拿繂挝痪嚯x的剩余能量與初始能量的比率。如圖2所示，其中綠光和藍(lán)光處理更短的波長(zhǎng)和更高的頻率，從而衰減得比紅色對(duì)應(yīng)光低得多。這就是為什么深海圖像呈現(xiàn)普遍的藍(lán)色調(diào)，但是淺水圖像的表現(xiàn)不明顯。

圖2 水下光學(xué)衰減

2.2 基于ULAP的場(chǎng)景深度模型

水下光衰減先驗(yàn)由于水下場(chǎng)景信息少，恢復(fù)模糊的水下圖像是計(jì)算機(jī)視覺(jué)中的一項(xiàng)困難任務(wù)。但是，人類(lèi)可以在沒(méi)有任何輔助信息的情況下快速識(shí)別水下圖像的場(chǎng)景深度。當(dāng)進(jìn)行穩(wěn)健的背景光估計(jì)時(shí)，深度圖中對(duì)應(yīng)于原始水下圖像的最遠(yuǎn)點(diǎn)通常被認(rèn)為是背景光候選點(diǎn)。在水下光衰減的情況下，取決于紅光能量吸收大于綠光和藍(lán)光能量吸收的波長(zhǎng)，利用R光和G-B光的最大強(qiáng)度差來(lái)估計(jì)背景光。在檢查了大量水下圖像后，學(xué)者發(fā)現(xiàn)水下光衰減先驗(yàn)（ULAP），即水下圖像的一個(gè)像素中的G-B強(qiáng)度（簡(jiǎn)化為MVGB）的最大值和R強(qiáng)度（簡(jiǎn)化為VR）的值之間的差異與場(chǎng)景深度的變化密切相關(guān)。當(dāng)場(chǎng)景到達(dá)遠(yuǎn)處時(shí)，MVGB增加，虛擬現(xiàn)實(shí)減少，這導(dǎo)致場(chǎng)景深度與MVGB和虛擬現(xiàn)實(shí)之間的差異正相關(guān)。

基于ULAP的場(chǎng)景深度估計(jì)，為深度圖的估計(jì)定義了MVGB和虛擬現(xiàn)實(shí)的線(xiàn)性模型，如下所示：

式中：x——像素；

d（x）——點(diǎn)x處的水下場(chǎng)景深度；

m（x）——MVGB；

v（x）——虛擬現(xiàn)實(shí)。

背景光通常被估計(jì)為水下圖像中最亮的像素。然而，這個(gè)假設(shè)在某些情況下是不正確的，例如前景物體比背景光更亮。從輸入水下圖像的最遠(yuǎn)點(diǎn)選擇背景光，即對(duì)應(yīng)于輸入水下圖像的細(xì)化深度圖中的最大值的位置是背景光候選值。但是直接選擇最遠(yuǎn)的點(diǎn)作為最終的背景光，一些懸浮粒子會(huì)打斷有效的估計(jì)結(jié)果。在生成精確的深度圖后，首先通過(guò)選擇0.1%的最遠(yuǎn)點(diǎn)來(lái)去除懸浮粒子的影響，然后選擇原始水下圖像中強(qiáng)度最高的像素。

各紅藍(lán)通道的傳輸圖估算相對(duì)深度圖不直接用于估算紅藍(lán)通道的最終傳輸圖。為了測(cè)量從攝像機(jī)到每個(gè)場(chǎng)景點(diǎn)的距離，實(shí)際的場(chǎng)景深度圖da定義如下：

其中D∞是將相對(duì)距離轉(zhuǎn)換為實(shí)際距離的比例常數(shù)，在本文中，D∞設(shè)置為10。根據(jù)估算的da，可以計(jì)算R-G-B通道的TM為：

在大約98%的世界清潔海洋或沿海水域（海洋類(lèi)型I），Nrer（λ）在紅光、綠光和藍(lán)光中的認(rèn)可范圍分別為80%～85%、93%～97%和95%～99%[7]。在這篇文章中，設(shè)置R-G-B光的Nrer（λ）分別為0.83，0.95和0.97。

有了R-G-B通道的BLλ和tλ（x），通過(guò)等式恢復(fù)水下場(chǎng)景的輻射亮度Jλ（x）。tλ（x）的下限和上限根據(jù)經(jīng)驗(yàn)分別設(shè)置為0.1和0.9。

2.3 CLAHE理論

通過(guò)研究發(fā)現(xiàn)，對(duì)于水下圖像處理，ULAP圖像恢復(fù)方法可以有效地對(duì)不同的水下圖像進(jìn)行去垢和去斑，提高輸入圖像的細(xì)節(jié)和色彩，最終生成自然的水下圖像。相比何凱明提的出的暗通道先驗(yàn)理論得出了更優(yōu)的結(jié)果，但仍然得不到足夠清晰且細(xì)節(jié)足夠突出的圖像。因此需要對(duì)圖像再做增強(qiáng)處理。水下圖像采集過(guò)程中，由于AUV得雙目攝像機(jī)感光性能會(huì)使得圖像產(chǎn)生噪點(diǎn)，所以抑制圖像噪點(diǎn)在圖像增強(qiáng)過(guò)程中也很重要。與傳統(tǒng)的自適應(yīng)直方圖均衡（AHE）算法相較而言，圖像中有明顯較亮或者較暗的地方時(shí)，一般的直方圖均衡算法就不能描述出將該處的細(xì)節(jié)信息，CLAHE通過(guò)限制局部直方圖的高度來(lái)限制局部對(duì)比度的增強(qiáng)幅度[15]，從而將噪聲的放大程度限制住。為了將圖像細(xì)節(jié)特征提取出來(lái)，但也不能放大其圖像噪點(diǎn)，本文采用CLAHE算法進(jìn)行后續(xù)研究。

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集準(zhǔn)備

本文數(shù)據(jù)集組成：

1）其中Rockfish來(lái)源于美國(guó)太平洋海岸收集的巖魚(yú)和扁平魚(yú)。其圖片背景色豐富有利于觀察圖像增強(qiáng)方法中顏色矯正的部分，填充紅色背景少的數(shù)據(jù)集。偏紅偏白的圖像用于本文圖像增強(qiáng)算法研究。

2）UIEBD數(shù)據(jù)集[16]，跨越不同的場(chǎng)景/主要對(duì)象類(lèi)別，包括珊瑚（例如，流蘇礁石和巴里爾群），海洋生物（例如烏龜和鯊魚(yú)）等。有著豐富的水下圖片庫(kù)，其中選取了偏藍(lán)色和偏綠色的圖像用于本文圖像增強(qiáng)算法研究。

3）RUIE數(shù)據(jù)集[17]，該數(shù)據(jù)集采集于真實(shí)海洋環(huán)境評(píng)測(cè)平臺(tái)，包括海膽，海參，扇貝圖片以及其各自在圖片中的位置坐標(biāo)，總共采用了其UTTS中的300張圖片，其中訓(xùn)練集270張，測(cè)試集30張，主要用于YOLOv4網(wǎng)絡(luò)[18]的模型訓(xùn)練。

3.2 圖像增強(qiáng)效果對(duì)比

本節(jié)對(duì)比了水下暗通道算法UDCP和其他圖像增強(qiáng)方法對(duì)偏藍(lán)、偏綠、偏黃、偏紅近岸淺灘和低對(duì)比度水下圖像的處理結(jié)果。

數(shù)據(jù)集來(lái)源于UIEBD（an underwater image enhancement benchmark dataset and beyond）數(shù)據(jù)集和Rockfish中底色偏紅偏白的圖像做出對(duì)比，選取的比較方法主要包括：文獻(xiàn)[19]、文獻(xiàn)[20]、文獻(xiàn)[21]、文獻(xiàn)[22]、文獻(xiàn)[23]中的方法。

圖3（a）顯示了5幅原始水下圖像，根據(jù)水下圖像數(shù)據(jù)集的色調(diào)和場(chǎng)景，它們具有不同的水下特征。圖3（b）顯示，UDCP未能恢復(fù)水下圖像的場(chǎng)景，甚至帶來(lái)色彩失真和誤差恢復(fù)。圖3（e）、圖3（f）在圖像去霧的方面效果相比較與其它效果較好，但是圖3（e）偏色比較嚴(yán)重，在處理圖片的時(shí)候，有明顯的紅色過(guò)補(bǔ)償現(xiàn)象，并且圖像整體偏暗了。而且圖3（f）有輕微的偏色，但是其在偏藍(lán)的圖像上，表現(xiàn)出嚴(yán)重的顆粒感，圖像質(zhì)量不高。但在偏綠色的人物背景圖，能較好矯正去除其背景綠色。圖3（c）、圖3（d）在偏藍(lán)色和偏綠色的圖片增強(qiáng)效果不錯(cuò)，但是在背景色紅色部分較多的時(shí)候圖3（c）對(duì)于紅色矯正過(guò)多，導(dǎo)致圖片紅色偏重，圖3（d）就出現(xiàn)了藍(lán)色偏現(xiàn)象。在白色淺灘背景下圖3（d）還出現(xiàn)了偏綠現(xiàn)象，并且黑暗區(qū)域擴(kuò)張。本文方法在對(duì)于低對(duì)比度的圖片有效增強(qiáng)并提高圖像清晰度，在對(duì)各種偏色圖像中的處理中，保持了圖像的整體亮度和細(xì)節(jié)，沒(méi)有嚴(yán)重的顏色失真問(wèn)題，并且也能獲得較好的圖像質(zhì)量，本文圖像恢復(fù)方法可以有效地對(duì)不同的水下圖像進(jìn)行去垢和去斑提高輸入圖像的細(xì)節(jié)和色彩，最終生成自然的水下圖像。再對(duì)比各個(gè)算法對(duì)以上5張圖片的執(zhí)行速度如表1所示。

表1 圖像增強(qiáng)算法耗時(shí) s

圖3 水下圖像增強(qiáng)結(jié)果對(duì)比

本文算法的速度相比較于其它算法的運(yùn)行速度也是最快的，這對(duì)于需要對(duì)大量圖片進(jìn)行處理訓(xùn)練的目標(biāo)檢測(cè)與識(shí)別算法來(lái)說(shuō)，是一項(xiàng)顯著的優(yōu)勢(shì)，適用于水下機(jī)器人實(shí)時(shí)識(shí)別。

3.3 目標(biāo)檢測(cè)效果對(duì)比

水下圖像增強(qiáng)的目的不僅是為了主觀視覺(jué)質(zhì)量的改進(jìn)，更主要的是為了能夠完成更高級(jí)別的視覺(jué)分析任務(wù)（例如目標(biāo)識(shí)別和檢測(cè)）。本文通過(guò)目標(biāo)檢測(cè)網(wǎng)絡(luò)模型對(duì)經(jīng)過(guò)6種算法增強(qiáng)后的水下圖像數(shù)據(jù)集進(jìn)行訓(xùn)練與測(cè)試，對(duì)比了MAP和檢測(cè)到目標(biāo)數(shù)量來(lái)評(píng)估各個(gè)增強(qiáng)算法對(duì)于水下目標(biāo)識(shí)別和檢測(cè)任務(wù)中的作用。為了驗(yàn)證算法是否有效，本文在Windows10、CUDA10.0、CUDNN7.6.5進(jìn)行訓(xùn)練。訓(xùn)練使用的服務(wù)器配置是Intel（R）Core（TM）i7-7700HQ CPU @ 2.80 GHz，利用RUIE數(shù)據(jù)集。該數(shù)據(jù)集不僅僅擁有大的數(shù)據(jù)量、多樣的光散射效應(yīng)程度，而且有豐富的色調(diào)和檢測(cè)目標(biāo)，對(duì)于衡量水下圖像增強(qiáng)算法的性能有多個(gè)參考角度，如可見(jiàn)度，色偏等。而且，它提供的水下生物標(biāo)注圖像十分便于進(jìn)行水下目標(biāo)檢測(cè)算法的訓(xùn)練和測(cè)試。RUIE數(shù)據(jù)集是國(guó)內(nèi)第一個(gè)專(zhuān)門(mén)為多角度算法評(píng)估設(shè)計(jì)集合的大型水下真實(shí)圖像數(shù)據(jù)庫(kù)，為促進(jìn)圖像增強(qiáng)與復(fù)原及相關(guān)的高級(jí)水下視覺(jué)任務(wù)的相關(guān)理論、技術(shù)及應(yīng)用的發(fā)展、提升相關(guān)研究水平做出了重要貢獻(xiàn)[18]。采用YOLOv4的方法進(jìn)行目標(biāo)檢測(cè)，檢測(cè)結(jié)果如圖4所示。

圖4 部分測(cè)試集中水下圖像增強(qiáng)后的目標(biāo)檢測(cè)結(jié)果

本文采用精確率-召回率曲線(xiàn)變化情況以及MAP作為評(píng)價(jià)指標(biāo)來(lái)衡量模型的檢測(cè)性能。從表2可以看出，以上幾種方法對(duì)于水下圖像復(fù)原與顏色矯正上，有利于提高目標(biāo)檢測(cè)的準(zhǔn)確率，其中從文獻(xiàn)[23]的檢測(cè)結(jié)果就可以看出，顏色矯正過(guò)于嚴(yán)重的算法也不利于目標(biāo)檢測(cè)，縱向比較，文獻(xiàn)[21]和文獻(xiàn)[23]中第一張偏暗的圖像，對(duì)于海參這種與海底環(huán)境較為相似的目標(biāo)識(shí)別漏了。選取的圖像中亮度較強(qiáng)的圖像檢測(cè)效果也更好，圖像的對(duì)比度提高對(duì)目標(biāo)識(shí)別也有顯著的效果，而本文由于采用ULAP與CLAHE算法相結(jié)合，有大量訓(xùn)練估計(jì)深度的情況下，能夠獲得更清晰自然的圖像，加之利用噪聲較小的CLAHE算法提升圖像對(duì)比度，獲得了較好的目標(biāo)檢測(cè)效果，與其它方法比較，本文算法對(duì)海膽、海參、扇貝包括一些邊角的小目標(biāo)形狀，識(shí)別效果較好。

表2 目標(biāo)識(shí)別準(zhǔn)確率 %

4 結(jié)束語(yǔ)

由于水下圖像存在模糊和色偏等圖像質(zhì)量問(wèn)題對(duì)水下目標(biāo)識(shí)別造成了極大的困擾，本文提出了一種水下圖像增強(qiáng)算法。該算法基于水下光衰減先驗(yàn)（ULAP）的快速有效的水下圖像場(chǎng)景深度估計(jì)模型，并且根據(jù)其學(xué)習(xí)訓(xùn)練得出的模型系數(shù)得到正確的深度圖，估計(jì)背景光和透射圖，以恢復(fù)水下的真實(shí)場(chǎng)景輻射。針對(duì)恢復(fù)圖像對(duì)比度欠佳的情況，本文又基于CLAHE算法提升了圖像對(duì)比度，使圖像進(jìn)一步清晰化，達(dá)到了水下圖像增強(qiáng)的目的。通過(guò)與UDCP等其它文獻(xiàn)中的圖像增強(qiáng)算法進(jìn)行比較分析，表明本文算法能夠?qū)崿F(xiàn)較好的水下圖像質(zhì)量增強(qiáng)效果，得到的圖像整體效果更好。最后，通過(guò)YOLOv4方法來(lái)實(shí)現(xiàn)目標(biāo)識(shí)別任務(wù)，實(shí)驗(yàn)表明本文的增強(qiáng)方法能夠有效實(shí)現(xiàn)對(duì)水下彩色圖像進(jìn)行目標(biāo)識(shí)別的任務(wù)，比其原圖進(jìn)行識(shí)別的平均精度提高了33%，可以運(yùn)用到水下自主機(jī)器人上進(jìn)行目標(biāo)識(shí)別，為進(jìn)一步研發(fā)水下自主機(jī)器人視覺(jué)任務(wù)奠定基礎(chǔ)。