基于深度學(xué)習(xí)的聲吶圖像目標(biāo)識別

張家銘，丁迎迎

(江蘇自動化研究所，江蘇 連云港 222061)

0 引 言

聲波是唯一能夠在海水介質(zhì)中遠(yuǎn)距離傳播的波，因此是海洋探測的主要方法，而聲吶則是用聲波探測海洋的主要設(shè)備。目前，聲吶信號處理已經(jīng)發(fā)展到了數(shù)字化階段，獲取的聲吶數(shù)據(jù)都以圖像的形式將目標(biāo)信息顯示出來，但是由于水聲信道的不均勻性及其邊界的不規(guī)則形，造成聲吶圖像斑點噪聲明顯、邊緣模糊、亮度不均勻和分辨率低等特點，研究聲吶圖像處理技術(shù)具有重要意義[1]。

前視聲吶不僅可以探測海中的狀況，還可以對目標(biāo)進(jìn)行定位，判斷目標(biāo)的大小以及形狀信息。對水下機(jī)器人來說，前視聲吶不僅起到避障的作用，而且當(dāng)水下機(jī)器人遇到感興趣的目標(biāo)時，可以利用前視聲吶對其進(jìn)行跟蹤和分類識別。在水下作業(yè)的應(yīng)用場合中，除了需要對目標(biāo)進(jìn)行探測定位之外，還需要對目標(biāo)進(jìn)行分類識別，所以對聲吶圖像目標(biāo)跟蹤識別的研究有現(xiàn)實意義。

本文研究基于深度神經(jīng)網(wǎng)絡(luò)的聲吶圖像目標(biāo)識別技術(shù)，提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的聲吶圖像目標(biāo)識別方法。由于聲吶圖像含有大量的噪聲，首先選擇速度較快的中值濾波去噪，使用Canny 邊沿檢測算子[2]提取出包含白線的位置，然后使用霍夫變換[3]提取直線，隨后使用自適應(yīng)閾值化算法[4-5]分割目標(biāo)，并使用分水嶺算法連接相鄰較近并且灰度相近的目標(biāo)得到分割圖像，最后查找分割圖像中的連通區(qū)域，獲得目標(biāo)輪廓、方位等信息。針對提取得到的目標(biāo)信息，選用卡爾曼濾波器算法[6]實現(xiàn)目標(biāo)跟蹤，最后使用卷積神經(jīng)網(wǎng)絡(luò)[7-8]對跟蹤后的目標(biāo)進(jìn)行分類識別。

1 圖像預(yù)處理

1.1 中值濾波

聲吶圖像處理常用的濾波去噪方法主要有非局部均值濾波、中值濾波、維納濾波、均值濾波和高斯濾波等。這里選擇處理效果較為穩(wěn)定且速度較快的中值濾波對聲吶圖像進(jìn)行降噪。

中值濾波是一種常用的非線性濾波方法，采用3×3的掩模能夠有效地避免濾波帶來的模糊效應(yīng)，在平滑脈沖噪聲方面非常有效，同時可以保護(hù)圖像尖銳的邊緣，非常適合消除聲吶圖像中的孤立噪聲點。中值濾波的基本思想是用像素點鄰域灰度值的中值來代替該像素點的灰度值，主要步驟為：在圖像中依次移動模板，使模板中心和圖像中某個像素點重合，讀取和模板對應(yīng)的像素點的灰度值并升序排列，將中值賦值給模板中心對應(yīng)的像素點。

中值濾波的本質(zhì)是使用與區(qū)域周圍像素灰度值接近的值取代與周圍像素灰度值差別比較大的值，從而消除孤立的噪聲點。

1.2 白線檢測

邊緣檢測的目的是在保留圖像特征的前提下，減少數(shù)據(jù)規(guī)模，邊緣檢測的算法有很多種，但是Canny邊緣檢測是邊緣檢測算法中的標(biāo)準(zhǔn)算法。它使用變分法實現(xiàn)最大化標(biāo)識出圖像中的實際邊緣且最小化漏檢、誤檢概率，同時極小化檢測到的邊緣點與實際邊緣點之間的距離。Canny 邊緣檢測算法的主要過程為：首先使用高斯濾波平滑圖像，然后提取圖像的強(qiáng)度梯度，使用非最大抑制技術(shù)和雙閾值方法來降低漏檢、誤檢概率，最后使用滯后技術(shù)跟蹤邊界。Canny邊緣檢測效果示意圖如圖1 所示。

使用邊緣檢測算法提取出包含白線的位置后，使用霍夫變換提取直線。霍夫變換追蹤圖像中每個點對應(yīng)曲線間的交點，若交于一點的曲線數(shù)量超過了閾值，則此交點所代表的參數(shù)對在原圖像中為一條直線。霍夫變換采用極坐標(biāo)表示直線，所以對于霍夫變換，通過點 ( x0,y0)的直線簇的表達(dá)式為：

對圖像中的所有點，分別在極徑-極角平面繪出所有通過它的直線來得到一條正弦曲線，對于圖像中2 個不同的點，如果正弦曲線在平面相交，則可以認(rèn)為這2 個點通過同一條直線。

圖 1 Canny 邊緣檢測效果示意圖Fig. 1Schematic diagram of Canny edge detection effect

2 圖像分割

在聲吶圖像處理領(lǐng)域，通常關(guān)心的只是目標(biāo)或者目標(biāo)附近領(lǐng)域而不是整幅圖像，其他目標(biāo)無關(guān)部分會對圖像處理產(chǎn)生干擾。為了更好地檢測和分析目標(biāo)，為后續(xù)的目標(biāo)跟蹤和識別提供充足的目標(biāo)信息，需要將目標(biāo)或者目標(biāo)區(qū)域同背景干擾分離開。目前被廣泛應(yīng)用的圖像分割算法主要有OTSU 閾值化法、均值聚類算法、自適應(yīng)閾值化算法、分水嶺算法和區(qū)域生長算法等。均值聚類算法不容易區(qū)分噪聲和目標(biāo)，分水嶺算法對噪聲的抑制能力較差而不能很好的保留目標(biāo)的整體性，區(qū)域生長算法需要多次迭代，運(yùn)算時間較長且對噪聲敏感，考慮到算法的執(zhí)行速度，因此選擇自適應(yīng)閾值化法進(jìn)行圖像分割。

自適應(yīng)閾值根據(jù)像素的鄰域塊的像素值分布來確定該像素位置上的二值化閾值，使每個像素位置處的二值化閾值根據(jù)其周圍鄰域像素的分布來不斷變化而不是固定不變的。亮度較高區(qū)域的二值化閾值通常較高，而相應(yīng)的亮度較低的區(qū)域二值化閾值會變小。不同亮度、對比度、紋理的局部圖像區(qū)域?qū)?yīng)不同的局部二值化閾值。常用的局部自適應(yīng)閾值有局部鄰域塊的均值和局部鄰域塊的高斯加權(quán)和。

在本文提出的方法中，使用自適應(yīng)閾值化法時，對圖像中亮度較高的區(qū)域進(jìn)行補(bǔ)償以免遺漏。對閾值化后得到的結(jié)果進(jìn)行腐蝕與膨脹操作以濾除噪聲，同時刪除面積較小的連通域。對剩余的連通域使用分水嶺方法連接以免圖像破碎，最后計算連通域的面積、幾何中心坐標(biāo)等作為目標(biāo)信息。

3 目標(biāo)跟蹤

針對聲吶目標(biāo)跟蹤問題，常用的方法為利用一些先驗信息，獲取目標(biāo)的特征點，之后根據(jù)特征點采用基于特征的跟蹤方法跟蹤目標(biāo)。

將圖像分割為不同區(qū)域，通過隸屬度判斷分割出的區(qū)域類別，然后在相鄰圖像中使用目標(biāo)的模板進(jìn)行區(qū)域匹配實現(xiàn)目標(biāo)跟蹤的基于區(qū)域的跟蹤，將目標(biāo)跟蹤問題等效為貝葉斯概率最優(yōu)估計問題的基于貝葉斯的跟蹤。由于基于特征點法不適用于噪聲多、分辨率低的聲吶圖像，基于區(qū)域法匹配效果較差，所以選用卡爾曼濾波器方法實現(xiàn)目標(biāo)跟蹤。

卡爾曼濾波器是一個最優(yōu)化自回歸數(shù)據(jù)處理算法，在系統(tǒng)中引入線性隨機(jī)微分方程來描述離散控制過程的系統(tǒng)：

式中：X(k)為 k時刻的系統(tǒng)狀態(tài)； U (k) 為k時刻對系統(tǒng)的控制量； W (k)為系統(tǒng)過程；A 和B 為系統(tǒng)參數(shù)。

首先預(yù)測下一狀態(tài)的系統(tǒng)，假定目前的狀態(tài)為 k ，則上一狀態(tài)的系統(tǒng)可以表示為：

其中，X(k|k-1)是根據(jù)上一狀態(tài)的預(yù)測結(jié)果，X(k-1|k-1)是上一狀態(tài)的最優(yōu)結(jié)果， U (k)為目前狀態(tài)的狀態(tài)控制量。根據(jù)式（3），系統(tǒng)狀態(tài)已經(jīng)更新，然而預(yù)測結(jié)果的協(xié)方差矩陣還沒有更新：

式中：P(k|k-1)為與系統(tǒng)X(k|k-1)對應(yīng)的協(xié)方差；P(k-1|k-1)為與上一狀態(tài)系統(tǒng)X(k-1|k-1)對應(yīng)的協(xié)方差； Q為對應(yīng)系統(tǒng)狀態(tài)的協(xié)方差。

系統(tǒng)的測量值可以表示為：

式中： H 為測量系統(tǒng)的參數(shù)； V (k)為高斯白噪聲。根據(jù)獲得的預(yù)測值和測量值，可以得到目前系統(tǒng)狀態(tài)X(k)的最優(yōu)化估計值X(k|k)：

根據(jù)X(k|k)估計其對應(yīng)的協(xié)方差P(k|k)：

卡爾曼濾波流程如圖2 所示。

圖 2 卡爾曼濾波流程圖Fig. 2Kalman filter flow chart

根據(jù)前后2 幀圖像，可以得到通過卡爾曼濾波器預(yù)測得到的目標(biāo)信息和根據(jù)當(dāng)前幀圖像分割出的目標(biāo)信息，接下來要做的就是提取測量目標(biāo)和預(yù)測目標(biāo)之間的對應(yīng)關(guān)系。如果上一幀與當(dāng)前幀相比在與當(dāng)前幀目標(biāo)附近位置處存在一個大小相似的目標(biāo)，則這2 個目標(biāo)為同一個目標(biāo)。反之則目標(biāo)在當(dāng)前幀消失。附近位置通過距離描述，大小相似性則通過交并比描述。使用上一幀卡爾曼濾波器的預(yù)測值與當(dāng)前幀目標(biāo)做匹配得到當(dāng)前幀的測量值，根據(jù)測量值更新卡爾曼濾波器。將卡爾曼濾波器估計出的速度作為目標(biāo)的運(yùn)動速度，實現(xiàn)目標(biāo)跟蹤。

4 目標(biāo)識別

分割出目標(biāo)并完成跟蹤之后，需要對目標(biāo)進(jìn)行識別以確定目標(biāo)身份信息。使用支持向量機(jī)（SVM）訓(xùn)練根據(jù)聲吶圖像提取的不變矩和灰度梯度共生矩陣特征都不能很好地實現(xiàn)目標(biāo)識別。因此，選擇在圖像分類識別任務(wù)中表現(xiàn)優(yōu)異的卷積神經(jīng)網(wǎng)絡(luò)（CNN）進(jìn)行目標(biāo)識別。

MobileNet 是谷歌于2017 年提出的用于嵌入式設(shè)備和移動端的輕量級卷積神經(jīng)網(wǎng)絡(luò)。MobileNet 利用深度可分離卷積思想，將傳統(tǒng)卷積過程分解為深度卷積Depthwise 和點卷積Pointwise 兩個步驟，突破傳統(tǒng)3D 卷積的通道數(shù)量，通過濾波和組合的方式計算卷積，極大減少了卷積核的冗余，減少了網(wǎng)絡(luò)層數(shù)和參數(shù)規(guī)模，提高了計算速度。同時引入寬度因子和分辨率因子2 個全局超參數(shù)對網(wǎng)絡(luò)延遲和準(zhǔn)確度進(jìn)行有效權(quán)衡。

早期版本MobileNet_V1 網(wǎng)絡(luò)中，當(dāng)激活空間的維度較低時，激活空間中的興趣流形經(jīng)過ReLU 非線性變換會出現(xiàn)空間坍塌，造成特征信息丟失，而使神經(jīng)元的輸出為0，出現(xiàn)神經(jīng)元死亡的現(xiàn)象。針對這個問題，MobileNet_V2 在保留MobileNet_V1 深度可分離卷積的基礎(chǔ)上引入了殘差倒置模塊Inverted Residuals 和線性瓶頸模塊Linear Bottleneck。

MobileNet_V2 的Inverted Residuals 模塊聚焦于殘差網(wǎng)絡(luò)各層的層數(shù)，采用“擴(kuò)張-深度卷積-壓縮”的思想，首先經(jīng)過1×1卷積核對輸入數(shù)據(jù)進(jìn)行特征維數(shù)放大，然后經(jīng)過3×3深度卷積進(jìn)行特征提取，最后經(jīng)過1×1的點卷積將放大的特征維數(shù)壓縮回去，解決了特征提取受限于輸入通道數(shù)的問題。Linear Bottleneck 模塊將全連接層之后的激活函數(shù)由ReLU 替換為線性激活函數(shù)，而其他層的激活函數(shù)依然是ReLU 函數(shù)，通過將非線性激活變換為線性激活來捕獲興趣流形，解決低維激活空間的信息損失問題。2 個模塊結(jié)合構(gòu)成了MobileNet_V2 網(wǎng)絡(luò)的基本架構(gòu)，如圖3 所示。

圖 3 MobileNet_V2 網(wǎng)絡(luò)微結(jié)構(gòu)Fig. 3MobileNet_V2 network microstructure

5 基于卷積神經(jīng)網(wǎng)絡(luò)的聲吶圖像目標(biāo)識別方法

本文基于聲吶圖像的主要特征表現(xiàn)及深度學(xué)習(xí)算法，對聲吶圖像目標(biāo)識別提出如下處理方法：

1）對聲吶圖像使用中值濾波去除多余噪聲，進(jìn)行Canny 邊緣檢測算法識別白線提取邊緣，然后使用霍夫變換提取直線，通過直線交點求解扇形所在圓心；

2）針對預(yù)處理后的聲吶圖像，使用自適應(yīng)閾值化算法進(jìn)行圖像分割，同時利用分水嶺算法連接灰度相近的目標(biāo)，查找分割圖像中的連通區(qū)域，獲得目標(biāo)信息；

3）根據(jù)提取得到的目標(biāo)信息，通過匹配算法與卡爾曼濾波器得到的上一幀預(yù)測結(jié)果進(jìn)行匹配，根據(jù)匹配得到的測量值更新卡爾曼濾波器來實現(xiàn)跟蹤目標(biāo)；

4）將跟蹤得到的目標(biāo)圖像數(shù)據(jù)輸入卷積神經(jīng)網(wǎng)絡(luò)，自動提取特征進(jìn)行聲吶圖像目標(biāo)識別。

將跟蹤結(jié)果中的目標(biāo)圖片提取出來作為數(shù)據(jù)集，并采用隨機(jī)反轉(zhuǎn)、旋轉(zhuǎn)、亮度變化等方法來擴(kuò)充數(shù)據(jù)集，以防止由于數(shù)據(jù)量太小帶來的過擬合。訓(xùn)練環(huán)境是在Ubuntu 系統(tǒng)中，基于Python3.7.2 的PyTorch 1.2，配置GPU 所使用的環(huán)境是CUDA 10.0 和Cudnn 7.6.2。采用Adam 梯度下降算法訓(xùn)練網(wǎng)絡(luò)，初始學(xué)習(xí)率設(shè)置為0.000 5，網(wǎng)絡(luò)權(quán)重衰減系數(shù)設(shè)置為0.000 5。測試集精度如表1 所示。

表 1 卷積神經(jīng)網(wǎng)絡(luò)測試集精度Tab. 1 Accuracy of convolutional neural network test set

從表1 可以看出，卷積神經(jīng)網(wǎng)絡(luò)對聲吶圖像目標(biāo)的識別準(zhǔn)確率分別為0.94 和0.88，識別準(zhǔn)確率較高，證明了所提出方法的有效性。

6 結(jié) 語

本文基于聲吶圖像的主要特征表現(xiàn)，結(jié)合聲吶圖像預(yù)處理方法、圖像分割方法和圖像目標(biāo)跟蹤方法，提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的聲吶圖像目標(biāo)識別方法。以較高的準(zhǔn)確率實現(xiàn)了對聲吶圖像目標(biāo)的識別，證明了所提出方法的有效性和可行性。