近底探測(cè)型仿生UUV 小目標(biāo)物視覺(jué)識(shí)別檢測(cè)系統(tǒng)

陳栢仲,王崇磊,郭春雨

(哈爾濱工程大學(xué) 青島創(chuàng)新發(fā)展中心,山東 青島,266000)

0 引言

仿生無(wú)人水下航行器(unmanned undersea vehicle,UUV)以魚(yú)類(lèi)的外形結(jié)構(gòu)進(jìn)行設(shè)計(jì),模擬海洋魚(yú)類(lèi)的游動(dòng)方式進(jìn)行推進(jìn),具有高速、靈活且低噪等特點(diǎn)[1-2],能夠快速適應(yīng)復(fù)雜極端的水下環(huán)境并自主開(kāi)展各項(xiàng)水下作業(yè)。當(dāng)其搭載攝像頭進(jìn)行水下拍攝以及目標(biāo)檢測(cè)識(shí)別任務(wù)時(shí),相較于傳統(tǒng)的螺旋槳式推進(jìn)UUV,具備如下優(yōu)勢(shì): 1) 仿生UUV進(jìn)行海洋生物樣本檢測(cè)工作時(shí),其具備的仿生結(jié)構(gòu)和仿生推進(jìn)特性,使其運(yùn)動(dòng)規(guī)律與周?chē)锵嗤?能夠完美地融入到海洋生物當(dāng)中,在不驚擾周?chē)~(yú)類(lèi)的情況下,可有效動(dòng)態(tài)跟蹤拍攝魚(yú)群等水下生物;2) 由于其仿生學(xué)結(jié)構(gòu)推進(jìn)特性,仿生UUV在靈活航行的同時(shí)產(chǎn)生噪聲較低,有利于海岸巡邏等軍事任務(wù)的順利實(shí)施;3) 仿生UUV 具有較強(qiáng)的穩(wěn)定性與抗干擾性,可有效減少傳統(tǒng)螺旋槳推進(jìn)過(guò)程中產(chǎn)生的過(guò)度抖動(dòng)問(wèn)題,使拍攝更加清晰。

近年來(lái),隨著深度學(xué)習(xí)的快速發(fā)展,眾多學(xué)者也開(kāi)展了大量基于神經(jīng)網(wǎng)絡(luò)訓(xùn)練的水下目標(biāo)識(shí)別技術(shù)研究。賀帆等[3]利用YOLO 進(jìn)行水下河蟹的目標(biāo)識(shí)別檢測(cè)。萬(wàn)鵬等[4]使用改進(jìn)的ResNet50模型對(duì)淡水魚(yú)種類(lèi)進(jìn)行識(shí)別。Pan 等[5]改進(jìn)MResNet 對(duì)水下目標(biāo)尤其是小目標(biāo)物進(jìn)行實(shí)時(shí)檢測(cè),提高了水下目標(biāo)檢測(cè)的精準(zhǔn)度。Jeon 等[6]使用三維計(jì)算機(jī)輔助設(shè)計(jì)(computer aided design,CAD)模型制作數(shù)據(jù)集,進(jìn)行基于深度學(xué)習(xí)的水下物體檢測(cè)和姿態(tài)估計(jì),并為水下環(huán)境中的深度學(xué)習(xí)模型提供了新的觀點(diǎn)。

文中在上述研究的基礎(chǔ)上提出一種近底探測(cè)型仿生UUV 水下目標(biāo)識(shí)別方法。針對(duì)水下4 種小目標(biāo)貝類(lèi)貼底探測(cè)任務(wù),對(duì)水下圖像預(yù)處理與Resnet 圖像分類(lèi)檢測(cè)算法展開(kāi)深入研究,結(jié)合仿生UUV 自身運(yùn)動(dòng)控制規(guī)律,進(jìn)行圖像采集、預(yù)測(cè)分析、結(jié)果驗(yàn)證和對(duì)比分析,試驗(yàn)結(jié)果證明文中方法能夠很好地完成近水底小目標(biāo)物探測(cè)任務(wù)。

1 仿生UUV 水下視覺(jué)系統(tǒng)

1.1 水下成像與增穩(wěn)系統(tǒng)

水下成像系統(tǒng)分為硬件裝備和軟件兩部分,硬件部分主要用于水下圖像采集與信號(hào)傳輸,常用采集設(shè)備包括水下電荷耦合器件(charge coupled device,CCD)攝像頭、云臺(tái)、輔助照明燈和計(jì)算機(jī)。計(jì)算機(jī)作為陸地上位機(jī)可以完成視覺(jué)圖像建模、水下環(huán)境監(jiān)測(cè)和信號(hào)傳輸反饋的工作,通常會(huì)配備總線路圖像采集卡,用于水下攝像機(jī)圖像采集和圖像數(shù)據(jù)處理[7]。

軟件部分用于進(jìn)行圖像處理,主要由2 部分組成: 1) 圖像處理部分,該部分包括圖像預(yù)處理、圖像分割、關(guān)鍵幀提取以及圖像增強(qiáng),通過(guò)以上處理步驟形成初步的圖像數(shù)據(jù)庫(kù)以獲取水下環(huán)境信息,是圖像處理最為關(guān)鍵的一步,可為水下環(huán)境感知、目標(biāo)檢測(cè)識(shí)別以及目標(biāo)物距離計(jì)算提供初步信息判斷;2) 圖像高級(jí)處理部分,該部分的主要手段為機(jī)器學(xué)習(xí)和深度學(xué)習(xí),最為常見(jiàn)的處理方法為分類(lèi)和識(shí)別,當(dāng)輸出變量為有限相互獨(dú)立圖像時(shí)為分類(lèi)手段,輸出變量標(biāo)簽數(shù)量多時(shí)為標(biāo)注識(shí)別手段,通過(guò)上一步驟提供的原始數(shù)據(jù)集進(jìn)行機(jī)器學(xué)習(xí)或深度學(xué)習(xí)訓(xùn)練得到新的模型,可以有效判斷水下目標(biāo)物。

UUV 在水下會(huì)受到水下湍流波動(dòng)、波流耦合和機(jī)身抖動(dòng)帶來(lái)的影響,使其拍攝具有不穩(wěn)定性,因此對(duì)采集系統(tǒng)的穩(wěn)定性控制操作有很高要求。常見(jiàn)的視覺(jué)增穩(wěn)方法包括硬件增穩(wěn)和軟件增穩(wěn)2 大類(lèi)。

硬件增穩(wěn)方法是指根據(jù)UUV 的運(yùn)動(dòng)規(guī)律選擇合適的拍攝硬件,以減少水下波動(dòng)和機(jī)身振動(dòng)帶來(lái)的影響,其中最常見(jiàn)的方法就是搭建云臺(tái)系統(tǒng)。Sagara 等[8]針對(duì)水下目標(biāo)的測(cè)量追蹤問(wèn)題,設(shè)計(jì)了一種適用于雙目視覺(jué)的4 自由度云臺(tái);江明明等[9]設(shè)計(jì)了一款水下增穩(wěn)視覺(jué)采集裝置,具有體積小、結(jié)構(gòu)簡(jiǎn)單且安裝方便等特性。針對(duì)仿生機(jī)器魚(yú)的視覺(jué)抖動(dòng)問(wèn)題,不同于螺旋槳式UUV,其具有明顯的周期性特征。為此,Yang[10]和Zhang[11]等先后提出了單自由度與2 自由度的云臺(tái)伺服系統(tǒng),用于減緩機(jī)器魚(yú)的節(jié)律性運(yùn)動(dòng)所帶來(lái)的視覺(jué)抖動(dòng)問(wèn)題。梅家寧[12]進(jìn)行了基于視頻幀頻運(yùn)動(dòng)矢量的UUV 光視覺(jué)圖像的穩(wěn)像方法研究。

文中提出的方法針對(duì)特定的仿生UUV 進(jìn)行了硬件與軟件方面的優(yōu)化。硬件方面固定攝像頭在前端初始相位處，能夠保證攝像頭視頻信息隨UUV 周期性運(yùn)動(dòng),減少橫搖帶來(lái)的抖動(dòng),軟件方面以波動(dòng)周期為參考條件合理選擇關(guān)鍵幀。這種設(shè)計(jì)能夠?qū)崿F(xiàn)在實(shí)時(shí)近水底目標(biāo)檢測(cè)時(shí)減少視覺(jué)動(dòng)態(tài)模糊并提高識(shí)別的準(zhǔn)確率,為后續(xù)的運(yùn)動(dòng)決策提供準(zhǔn)確度輸入。

1.2 圖像預(yù)處理

水下成像環(huán)境十分特殊,會(huì)使獲取的圖像存在對(duì)比度降低、圖像失真且噪點(diǎn)多等問(wèn)題,因此對(duì)水下光學(xué)圖像進(jìn)行圖像預(yù)處理十分必要[13]。采用低通濾波技術(shù)能夠有效消除水粒子散射,并通過(guò)基于互熵的模糊增強(qiáng)技術(shù)增強(qiáng)對(duì)比度。常見(jiàn)的濾波手段有高斯濾波、雙邊濾波、中值濾波和均值濾波等。

以高斯濾波為例,如圖1 和圖2 所示,其考慮了像素離濾波器中心距離的影響,以高斯濾波器中心位置為高斯分布均值,通過(guò)濾波器在整幅圖像上滾動(dòng)對(duì)圖像像素值進(jìn)行加權(quán)平均[14],可有效去除高斯噪聲,高斯濾波的數(shù)學(xué)表達(dá)式為

圖1 一維高斯濾波模型Fig.1 One-dimensional Gaussian filter model

圖2 二維高斯濾波模型Fig.2 Two-dimensional Gaussian filter model

式中:x2和y2分別為鄰域內(nèi)其他像素與鄰域內(nèi)中心像素的距離;σ代表的是標(biāo)準(zhǔn)差;G(x,y)為分布;I(x,y)為亮度。

濾波后的圖像相較于原圖像來(lái)說(shuō),雖然像素點(diǎn)被濾波器加權(quán)平均使圖像變得模糊,但卻能有效降低噪聲因素對(duì)圖像檢測(cè)的干擾。

同時(shí)由于光照不均與光線衰減的問(wèn)題,水下圖像會(huì)出現(xiàn)圖像亮度不均和灰度值跳躍等問(wèn)題,常見(jiàn)的方法是灰度映射,其中Gamma 函數(shù)矯正被廣泛使用,Gamma 矯正(冪律變換)是一種重要的非線性變換,調(diào)整后的像素值表達(dá)式為

式中:i為原始像素值;γ為控制對(duì)比度的參數(shù)。γ值越大,圖像對(duì)比度越低;γ值越小,圖像對(duì)比度越高。一般情況下,當(dāng)γ>1 時(shí),圖像的高光部分被壓縮而暗調(diào)部分被擴(kuò)展;當(dāng)γ<1 時(shí),圖像的高光部分被擴(kuò)展,而暗調(diào)部分被壓縮,從而達(dá)到亮度矯正的目的。

1.3 Canny 邊緣檢測(cè)

Canny 邊緣檢測(cè)是從不同視覺(jué)對(duì)象中提取有用結(jié)構(gòu)信息,并極大程度減少數(shù)據(jù)處理量的技術(shù),已廣泛應(yīng)用于各種計(jì)算機(jī)視覺(jué)系統(tǒng)。Canny 邊緣檢測(cè)的具體流程[15]如下:

1) 采用高斯濾波器進(jìn)行高斯平滑處理,具體操作如1.2 節(jié)中所示;

2) 采用1 階偏導(dǎo)的有限差分方法計(jì)算梯度的大小和方向等矢量;

3) 采用非極大值抑制梯度大小;

4) 利用雙閾值的算法進(jìn)行檢測(cè),同時(shí)采取邊緣連接。

Canny 處理結(jié)果如圖3 所示。

圖3 Canny 處理結(jié)果Fig.3 Processing results of Canny

1.4 Resnet 分類(lèi)神經(jīng)網(wǎng)絡(luò)

深度學(xué)習(xí)算法在圖像識(shí)別分類(lèi)等領(lǐng)域有著十分突出的優(yōu)越性,但由于神經(jīng)網(wǎng)絡(luò)深度的不斷增加,會(huì)出現(xiàn)梯度消失、退化等問(wèn)題,導(dǎo)致模型難以訓(xùn)練,錯(cuò)誤率增加。包含殘差結(jié)構(gòu)的網(wǎng)絡(luò)模型能夠在很大程度上避免出現(xiàn)此種問(wèn)題[5],同時(shí)可以極大地加深網(wǎng)絡(luò),文中選擇具有殘差結(jié)構(gòu)的ResNet34模型,如圖4 所示。經(jīng)過(guò)實(shí)驗(yàn)測(cè)試分析,該網(wǎng)絡(luò)結(jié)構(gòu)具有較強(qiáng)的訓(xùn)練效果,預(yù)測(cè)準(zhǔn)確性也較高。

圖4 ResNet 模型的殘差塊結(jié)構(gòu)Fig.4 Residual block structure of ResNet model

2 方法研究

文中提出方法流程如圖5 所示。首先由仿生UUV 進(jìn)行水下實(shí)時(shí)拍攝,并根據(jù)其運(yùn)動(dòng)規(guī)律進(jìn)行周期性關(guān)鍵幀提取;然后UUV 將信息傳遞給上位機(jī)端,上位機(jī)采用傳統(tǒng)方法進(jìn)行圖像的預(yù)處理,使水下圖像能夠?qū)崟r(shí)進(jìn)行色彩增強(qiáng)與噪聲去除,并傳入優(yōu)化后的Resnet 網(wǎng)絡(luò)中進(jìn)行目標(biāo)分類(lèi)預(yù)測(cè);最后對(duì)紋理信息檢測(cè)輸出與目標(biāo)分類(lèi)結(jié)果進(jìn)行對(duì)比分析。

圖5 文中所提方法流程圖Fig.5 Flow chart of the proposed method

2.1 關(guān)鍵幀提取模塊設(shè)計(jì)

仿生UUV 在水下進(jìn)行視頻拍攝與數(shù)據(jù)收集的主要存儲(chǔ)方式為上層人工智能(artificial intelligence,AI)控制板,存儲(chǔ)空間有限。文中使用的攝像設(shè)備拍攝視頻的大小為40 MB/min,過(guò)多的內(nèi)存占用不但會(huì)影響仿生UUV 控制程序的運(yùn)行速度,同時(shí)記錄的水下信息也有限,因此進(jìn)行關(guān)鍵幀提取保存設(shè)計(jì)十分必要。

仿生UUV 的波動(dòng)鰭采用周期性波動(dòng)泵噴耦合推進(jìn)方式,相比于傳統(tǒng)的螺旋槳推進(jìn)方式減少了拍攝時(shí)抖動(dòng)的問(wèn)題,能夠獲取更加清晰的視頻圖像,但其波動(dòng)與懸停過(guò)程中仍然會(huì)產(chǎn)生動(dòng)態(tài)模糊圖像,如圖6 所示,因此文中提出的關(guān)鍵幀提取方法將建立在仿生波動(dòng)推進(jìn)UUV 的水動(dòng)力學(xué)建模控制基礎(chǔ)上。胸鰭波動(dòng)建模中每個(gè)舵機(jī)單波形見(jiàn)圖7。

圖6 UUV 拍攝視頻幀F(xiàn)ig.6 Video frames shot by UUV

圖7 每個(gè)舵機(jī)的單波形圖Fig.7 Primary wave motion of each steering engine

如圖7 所示,由于攝像頭的位置位于頭部,因此將以最靠前的2 個(gè)舵機(jī)的運(yùn)動(dòng)周期規(guī)律限制關(guān)鍵幀提取,其中波形圖初始位置為舵機(jī)平衡位置,提取模塊以運(yùn)動(dòng)波峰、波谷和平衡位置為參照點(diǎn),每2 s 提取1 次圖像關(guān)鍵幀,并輸出保存第10～14幀圖像。

2.2 預(yù)處理模塊設(shè)計(jì)

對(duì)采集的圖像選取關(guān)鍵幀與關(guān)鍵區(qū)域,進(jìn)行高斯濾波降噪和Gamma 亮度調(diào)整圖像預(yù)處理。選取高斯濾波核大小為3×3,步長(zhǎng)為1,見(jiàn)圖8(a)～(c)。對(duì)處理后的圖像進(jìn)行圖像分割與Canny 邊緣檢測(cè)實(shí)驗(yàn),根據(jù)實(shí)際測(cè)試該水池環(huán)境下的Canny上下閾值分別為50 和150,通過(guò)初步判別可以獲得較好的目標(biāo)判斷與紋理信息(見(jiàn)圖8(d))。由于該仿生UUV 的攝像頭置于上方,在水下拍攝時(shí)會(huì)導(dǎo)致圖像的直觀視圖發(fā)生傾斜,為此通過(guò)調(diào)整拍攝距離,以展現(xiàn)更直觀的視圖,見(jiàn)圖8(e)～(f)。

圖8 水下圖像預(yù)處理Fig.8 Underwater image preprocessing

其中經(jīng)過(guò)矯正后的圖片將被輸入到Resnet 網(wǎng)絡(luò)中,邊緣檢測(cè)結(jié)果將作為目標(biāo)物細(xì)節(jié)判斷結(jié)果輸出,如圖9 所示。

圖9 渾濁水下圖像邊緣檢測(cè)Fig.9 Image edge detection in turbid water

2.3 Resnet 網(wǎng)絡(luò)優(yōu)化設(shè)計(jì)

為對(duì)水下小目標(biāo)物進(jìn)行分類(lèi),對(duì)Resnet 網(wǎng)絡(luò)進(jìn)行了一系列的優(yōu)化設(shè)計(jì),優(yōu)化方案和優(yōu)勢(shì)特點(diǎn)如下:

1) 將第1 層卷積由單層的7×7 卷積核改為雙層3×3,以增加網(wǎng)絡(luò)對(duì)小目標(biāo)物細(xì)節(jié)點(diǎn)的分析與特征提取能力;

2) 下采樣池化層改為卷積層,以便在一定程度上加快網(wǎng)絡(luò)的訓(xùn)練速度;

3) 殘差模塊增加注意力機(jī)制,通過(guò)權(quán)重矩陣,從通道域的角度賦予圖像不同位置以不同的權(quán)重,從而得到重要的特征信息;

4) 激活函數(shù)使用leakRelu,系數(shù)參數(shù)設(shè)置為0.2,使輸入為負(fù)也能進(jìn)行權(quán)重更新;

5) 殘差塊個(gè)數(shù)由[3,4,6,3]變?yōu)閇2,2,4,3],防止網(wǎng)絡(luò)訓(xùn)練產(chǎn)生欠擬合現(xiàn)象。

3 實(shí)驗(yàn)與數(shù)據(jù)準(zhǔn)備

實(shí)驗(yàn)中,訓(xùn)練圖像識(shí)別方法的核心步驟是采用更改過(guò)的ResNet 網(wǎng)絡(luò),選用Pytorch 框架進(jìn)行網(wǎng)絡(luò)搭建,網(wǎng)絡(luò)環(huán)境為Windows10、cuda11.0、cudnn11.0、英偉達(dá)GEFORCE RTX 3050(GPU)、python3.8、VS2017、OpenCV4.1.0,攝像頭搭載UUV 為仿生波動(dòng)式推進(jìn)水下航行器,攝像機(jī)和云臺(tái)位于UUV 上部,如圖10 所示。數(shù)據(jù)集拍攝位置為實(shí)驗(yàn)室3 m直徑圓形水池,如圖11 所示。

圖10 仿生UUVFig.10 Bionic UUV

圖11 3 m 直徑圓形水池Fig.11 Circular pool with a diameter of 3 m

首先利用仿生UUV 在水池中收集了4 種相似貝類(lèi)的數(shù)據(jù)集,包括白蛤蜊300 張、花蛤蜊300 張、扇貝300 張和蟶子300 張,模擬真實(shí)泥沙渾濁的水下環(huán)境(如圖12 所示)。數(shù)據(jù)集按照訓(xùn)練集∶驗(yàn)證集=7∶3 的比例進(jìn)行分類(lèi)。

圖12 水下貝類(lèi)數(shù)據(jù)集Fig.12 Data set of underwater shellfish

4 實(shí)驗(yàn)結(jié)果分析

4.1 訓(xùn)練結(jié)果

對(duì)數(shù)據(jù)集進(jìn)行了100 個(gè)迭代代數(shù)(epoch)的訓(xùn)練,學(xué)習(xí)率為0.000 1,批大小(batchsize)為16,訓(xùn)練的結(jié)果如圖13 所示,訓(xùn)練的驗(yàn)證準(zhǔn)確率最終趨近于1,且損失函數(shù)呈現(xiàn)不斷下降的趨勢(shì),整體訓(xùn)練結(jié)果良好。

圖13 訓(xùn)練的損失與驗(yàn)證準(zhǔn)確率Fig.13 Training losses and validation accuracy

4.2 預(yù)測(cè)結(jié)果

使用UUV 水下再次拍攝獲取未被處理過(guò)的圖像,使用Resnet34、VGG、Alexnet、Googlenet 和Resnet50 進(jìn)行訓(xùn)練,并使用相同的90 組驗(yàn)證數(shù)據(jù)集進(jìn)行測(cè)試,部分預(yù)測(cè)結(jié)果如圖14 所示。文中提出的方法最終平均準(zhǔn)確率為89.6%,相比上述網(wǎng)絡(luò)準(zhǔn)確率分別增長(zhǎng)了6.6%、6%、13.07%、17.2%和19.3%,具有最高的準(zhǔn)確性與良好的魯棒性,準(zhǔn)確率對(duì)比如圖15 所示。

圖14 部分預(yù)測(cè)結(jié)果(單位: mm)Fig.14 Partial prediction results(Unit: mm)

圖15 準(zhǔn)確率對(duì)比圖Fig.15 Comparison of accuracy

5 結(jié)束語(yǔ)

文中提出一種近底探測(cè)型仿生UUV 小目標(biāo)物視覺(jué)識(shí)別檢測(cè)系統(tǒng)研究方法，通過(guò)結(jié)合UUV 自身運(yùn)動(dòng)特性對(duì)硬件和軟件進(jìn)行了設(shè)計(jì)。文中提出的關(guān)鍵幀采集與軟件模型優(yōu)化使實(shí)時(shí)目標(biāo)檢測(cè)結(jié)果達(dá)到89.6%，可為進(jìn)一步的決策提供有效輸入，對(duì)于未來(lái)進(jìn)一步海底近距離小目標(biāo)物探測(cè)提供了技術(shù)支持。近水底目標(biāo)探測(cè)如圖16～圖17 所示。

圖16 貼水底目標(biāo)拍攝Fig.16 Shooting of target on the sea floor

圖17 水下預(yù)伏拍攝Fig.17 Underwater preloading shooting

但同時(shí)仿生UUV 在水下探測(cè)的過(guò)程中也存在一些問(wèn)題,例如由于攝像頭云臺(tái)安置在仿生UUV的頭部,對(duì)于水下的部分區(qū)域會(huì)造成視覺(jué)盲區(qū),會(huì)造成機(jī)體腹部以下區(qū)域圖像信息丟失,針對(duì)上述問(wèn)題仍需深入研究。