基于前視三維聲吶的軌條砦識別方法

李寶奇 ,任露露 ,陳 發 ,錢 斌 ,黃海寧

(1.中國科學院 聲學研究所,北京,100086;2.蘇州桑泰海洋儀器研發有限責任公司,江蘇 蘇州,215000;3.中國科學院大學,北京,100086;4.中國科學院 先進水下信息技術重點實驗室,北京,100190)

0 引言

在現役破障裝備中[1-2],微波、電磁感應、機器人和激光等技術得到了廣泛的應用,但是對于水下軌條砦的探測和識別卻一直缺乏有效手段[3-4]。

與二維成像聲吶相比,三維聲吶兼具水平和垂直窄波束,具有很強的抗混響能力,更適合渾濁水和淺水等高混響環境下的探測。三維聲吶可獲取三維立體數據信息,能夠根據圖像判斷水下物體的形態和位置,而且通過三維立體空間旋轉,可從多個視角對水下目標物進行觀測,提高對水下復雜環境的判斷能力[5]。三維成像聲吶主要有機械掃描、多波束電子掃描和基于二維面陣掃描3 種形式。機械掃描的成像方式要想獲得三維圖像,需要利用單波束對探測場景進行全方位的掃描,成像速率過低;多波束電子掃描的方式通過相控陣技術,能夠提高掃描速度,但聲脈沖的單次收發不能獲得三維圖像;而基于二維面陣的三維成像聲吶單次發射聲脈沖,即可一次性獲得場景中水平、垂直和距離3 個維度的信息,圖像刷新率高,同時增加垂直維度的信息能在較大程度上提高無人系統的自主識別能力[6]。

經典的三維點云物體識別方法多是通過提取物體的特征點幾何屬性、形狀屬性、結構屬性或者多種屬性的組合等特征進行比對和匹配,從而完成物體的識別與分類。主要包括基于局部特征和基于全局特征的物體識別方法。基于局部特征的方法無需對處理數據進行分割,通過提取物體的關鍵點、邊緣或者面片等局部特征并進行比對來完成物體的識別;基于全局特征的方法需要從背景中將目標物體分割出來,通過描述和比對三維物體形狀中的全部或者最顯著的幾何特征來完成物體的識別。近年來,隨著深度學習在圖像分類、目標檢測和圖像分割中成功應用[6-7],基于深度學習技術的點云數據分析也成為了研究的熱點。從數據輸入角度考慮,當前基于深度學習的點云目標識別方法大體可以分為以下3 類: 多視圖、體素結構和直接點云數據[8-11],其中多視圖類方法可以直接利用二維目標檢測方法,并且具有明顯的速度優勢。

在二維圖像目標識別研究方面,為了提高模型的檢測速度。Redmon 等[12]提出了一種無區域建議的目標檢測模型,稱為YOLO(you only look once)。YOLO 通過采用空間限制,大大提高了效率,能夠達到實時的效果。但是YOLO 的檢測精度不如Faster R-CNN(faster region-convolutional neural networks)[13]。針對YOLO 存在的不足,Liu 等[14]提出了單步檢測 (single shot detector,SSD)模型,該模型通過融合6 個尺度的特征來提高目標檢測的精度,但檢測時間依然偏高。

為了兼顧SSD 對小目標的檢測精度和速度,Howard 等[15]提出了輕量化的卷積神經網絡(convolutional neural net works,CNN)MobileNet V1。MobileNet V1 用深度可分離卷積 (depthwise separable convolution,DSC)替換標準卷積來減少模型的參數和計算量,其在不影響目標檢測精度的條件下能極大地提高SSD 的檢測速度。Sandler 等[16]提出了MobileNet V1 的改進版本MobileNet V2。MobileNet V2 在深度可分離卷積的基礎上引入了跨連接(shortcut connections)結構,并設計了新的特征提取模塊IRB(inverted residual block)。新模塊將原來的先“壓縮”后“擴張”調整為先“擴張”后“壓縮”,同時為了降低激活函數在高維信息向低維信息轉換時的丟失和破壞,將最后卷積層的激活層由非線性更改為線性。Howard 等[17]在Mobile-Net V1 和MobileNet V2 的基礎上提出了改進版本MobileNet V3 和特征提取模塊IRB+,IRB+引入了SE(squeeze and excitation)注意力機制[18]。SE 首先對卷積得到的特征進行squeeze 操作,得到全局特征,然后對全局特征進行excitation 操作,得到不同特征的權重,最后乘以對應通道的特征得到最終特征。本質上,SE 組件是在特征維度上做選擇,這可以更加關注信息量最大的特征,而抑制那些不重要的特征。IRB+在保持較低計算量的同時,具有更好的特征提取能力,但其捕獲所有通道的依賴關系是低效且不必要的。Wang 等[19]提出了跨通道交互的極輕量注意力組件ECA(efficient channel attention)。ECA 去除了原來SE 組件中的全連接層,直接在全局平均池化(global average pooling,GAP)之后的特征上通過一個可以權重共享的一維卷積進行學習,其中一維卷積的卷積核尺寸表示局部跨通道交互的覆蓋率。

借助前視三維聲吶對水下軌條砦目標進行成像,并針對上述多視圖類點云識別方法存在的問題,設計了一種基于SSD 的軌條砦目標識別方法PCSSD(point cloud SSD)。另外,提出了基于多尺度注意力機制的特征模塊,進一步改善了PCSSD對軌條砦目標的檢測性能。

1 基于前視三維聲吶的目標檢測方法

1.1 PCSSD

PCSSD 將三維點云數據進行前向投影,利用二維目標檢測方法對投影圖像中的軌條砦目標進行檢測,并與目標深度信息結合實現三維點云中軌條砦目標的檢測、識別和測量,識別方法原理如圖1 所示。

圖1 PCSSD 原理圖Fig.1 Schematic diagram of PCSSD

PCSSD 的實現過程: 1)對原始波束域數據進行閾值和直通濾波處理,消除噪聲和干擾,得到稀疏的點云數據;2)對稀疏的點云數據進行前向投影,同時依據點云的距離信息得到深度圖;3)將深度灰度圖偽彩化,并制作基于深度偽彩圖的軌條砦目標識別數據集;4)利用軌條砦目標訓練集對檢測模型進行訓練,得到訓練充分的目標識別模型;5)利用訓練充分的模型對深度偽彩圖進行識別,得到目標的類型、概率和位置信息(平面xy);6)結合目標位置(平面xy)計算深度灰度圖中目標的深度范圍(z軸),聯合目標類型、概率、xyz信息對稀疏點云軌條砦目標進行標注,從而實現三維點云目標的識別。

1.2 三維點云數據預處理

前視三維聲吶接收到的原始回波信號是陣元數目和距離向采樣的乘積。對每一幀接收到的聲學回波數據進行波束形成處理,得到大小為B·B·Q的波束域數據,數據結構如圖2 所示,其中B·B是2 個方向形成的波束數量,Q為距離切片數量,由成像距離和距離分辨率決定。

圖2 波束域數據結構Fig.2 Data structure of beam domain

波束形成之后的數據代表的是空間中每一點的強度信息,這里的采樣網格遍布空間中的每個點。根據三維聲吶的成像場景,無論是對目標或者地形地貌等特征進行成像,成像目標都是三維空間中的有限個點,是絕對稀疏的,所以波束形成之后的數據有著非常大的冗余,需要將無用的噪聲數據加以去除。

1.2.1 閾值濾波

原始陣元域數據進行波束形成之后得到波束域數據,鑒于目標在波束域數據的強度較大,隨機噪聲在波束域的強度較小,使用閾值濾波對波束域數據進行第1 步處理:

式中:Pixel為波束域數據;PixelT為閾值濾波后數據。進行閾值濾波之后,將強度小于一定閾值的點進行刪除,數據量會大大減小,一定程度上可以展示成像場景,如圖3 所示。

圖3 閾值濾波數據Fig.3 Threshold filtered data

1.2.2 直通濾波

波束形成之后進行閾值濾波,仍然有一些不完善的地方,尤其是在空間中存在非常強的散射點的情況下,由于聲吶設備有一定的動態范圍,這些強的散射點會導致聲吶對相對較弱的目標成像能力大大減弱。考慮到三維成像聲吶的工作頻率為上百千赫茲,穿透性很弱,進行直通濾波操作,在每個波束方向上保留強度最大的點:

式中:Pixelpt是每個波束方向強度最大點的強度,也就是強度信息矩陣;Indpt是直通濾波每個波束方向強度最大點的距離切片索引,也就是位置信息矩陣。直通濾波后的點云數據如圖4 所示。

圖4 直通濾波數據Fig.4 Pass-through filtered data

1.2.3 深度灰度圖和偽彩圖

在閾值濾波和直通濾波的作用上,得到稀疏點云Pixelpt和位置信息矩陣Indpt,文中利用Indpt生成深度灰度圖

式中,Img為深度灰度圖。進一步,可將深度灰度圖轉換為深度偽彩圖,便于訓練和目標檢測,深度灰度圖和深度偽彩圖如圖5 和圖6 所示。

圖5 深度灰度圖Fig.5 Depth grayscale image

圖6 深度偽彩圖Fig.6 Pseudo color depth image

1.3 改進的特征提取模塊和目標檢測模型

鑒于ECA 的單尺度卷積核提取軌條砦目標的能力有限,提出了一個多尺度輕量化注意力組件MECA(multiscale efficient channel attention)。MECA通過多個尺度的特征融合來提高組件對輸入特征通道的選擇能力,利用該組件設計新的特征提取模塊MEIRB(multiscale efficient inverted residual block),如圖7 所示。MEIRB 模塊采用了反殘差網絡結構,即對通道采取先“擴張”后“壓縮”的策略,由擴張層、通道可選擇組件和壓縮層組成,其中擴張層負責輸入特征通道擴張;通道可選擇組件通過學習權重選擇包含重要信息的通道;壓縮層負責將特征通道壓縮成與輸入特征一致的數量。

圖7 MEIRB 模塊Fig.7 MEIRB module

對于一個任意的輸入特征D∈ΦH×H×M,其中H×H為輸入特征的尺寸,M為輸入特征的通道數。輸入特征D進入MEIRB 模塊的2 個支路網絡: 下側支路負責水下感興趣小目標特征提取和選擇;上側支路保持D不變,并最后與上側支路網絡的輸出特征相加。對于下側支路網絡,輸入特征D首先經過擴張層,其數學表達式為

式中:D為原始輸入特征;Dex為經過擴張層后的特征,擴張層的卷積核尺寸為1×1,卷積核的數量為輸入特征通道的k倍,即k×M。

將輸出特征Dex送入MECA 通道選擇組件,其輸出特征的數學表達式為

接著,對Dse進行通道壓縮,數學表達式為

式中,D′為通道壓縮后的特征。

通過上面的計算,最后可以得到MEIRB 模塊的輸出特征數學表達式為

利用MEIRB 模塊在SSD-MV3 框架內替換IRB+模塊,得到改進的目標檢測模型SSD-MV3ME,結構如圖8 所示,包括基礎網絡、附加特征提取網絡、候選框生成和卷積預測4 個部分。SSDMV3ME 附加特征提取網絡一共提取6 個尺度的特征,基礎網絡中的第14 層(conv14)和第19 層(conv19)作為附加特征提取網絡的第1 特征層和第2 特征層,輸入特征圖尺寸為19×19 和10×10;Conv19_1、Conv19_2、Conv19_3 和Conv19_4 作為附加特征提取網絡的第3～6 尺度特征層,輸入特征圖尺寸分別為5×5,3×3,2×2 和1×1。候選框生成部分從上述6 個尺度的特征層中提取數量和大小不同的候選框;卷積預測部分則是對候選框內目標的類型和位置進行判斷。SSD-MV3ME 與目標檢測模型SSD-MV3 的訓練過程[18]相同。

圖8 SSD-MV3ME 模型Fig.8 SSD-MV3ME model

2 實驗分析

為了驗證PCSSD 的有效性以及相關參數對其性能的影響,設計實驗1,以輕量化目標檢測模型SSD-MV3 為研究對象,比較分析不同注意力機制的性能差異;設計實驗2,以注意力機制MECA 為研究對象,比較分析MECA 中多尺度卷積核的數量對PCSSD 性能的影響。

2.1 軌條砦目標檢測數據集

為驗證文中點云識別方法的有效性,在中國南海某淺水海域布放多個軌條砦目標,如圖9 所示,并通過無人艇搭載前視三維聲吶按不同距離和不同方位對軌條砦目標進行數據采集,每幀點云數據中最少存在1 個軌條砦目標。

圖9 軌條砦布放Fig.9 Deployment of erect rail barricades

數據采集完畢后,利用1.2 節方法對采集到的軌條砦點云數據進行預處理,得到深度偽彩圖,并建立一個軌條砦目標檢測數據集GTZ,其中訓練數據集包含444 幅圖像,驗證數據集包含140 幅圖像,測試數據集包含88 幅圖像,3 個數據集的比例約為7∶2∶1,組成如表1 所示。

表1 軌條砦目標檢測數據集Table 1 Dataset of erect rail barricades for target detection

2.2 實驗1

在PCSSD 框架內,實驗1 比較分析了SSDMV3、SSD-MV3E 與文中SSD-MV3ME 在數據集GTZ 上的性能差異。SSD-MV3 的特征提取模塊為IRB+,采用SE 注意力組件;SSD-MV3E 的特征提取模塊為EIRB,采用ECA 注意力組件;SSDMV3ME 的特征提取模塊為MEIRB,采用MECA注意力組件。分別記錄檢測模型在迭代1 000 次時對GTZ 測試數據集的平均精度(mean average precision,mAP)數值、參數大小和平均檢測時間。

從表2 可以發現,SSD-MV3ME 的檢測精度比SSD-MV3 和SSD-MV3E 分別高1.05%和0.55%;參數大小比SSD-MV3 減少2 482 kB,比SSD-MV3E增加8 kB;檢測時間比SSD-MV3 和SSD-MV3E分別增加0.32 ms 和1.32 ms。綜合考慮mAP、參數大小和檢測時間,SSD-MV3ME 更適合三維點云軌條砦目標檢測識別。

表2 目標檢測模型性能比較Table 2 Performance comparsion of target detection models

為了進一步驗證PCSSD 對軌條砦目標的檢測識別效果,利用PCSSD 對軌條砦三維點云數據進行識別,識別結果如圖10 所示。從圖10 可以發現,PCSSD 能有效檢測識別出三維點云數據中的軌條砦目標。

圖10 軌條砦目標識別結果Fig.10 Detection results of erect rail barricades

2.3 實驗2

實驗2 比較了具有不同數量多尺度卷積核的MECA 對SSD-MV3ME 性能的影響。MECA 多尺度卷積核數量分別為1,2,3 和4,其中多尺度卷積核數量為1 時,SSD-MV3ME 為SSD-MV3E;多尺度卷積核數量為2 時,SSD-MV3ME 中MECA 卷積核尺寸為1×1 和3×3;多尺度卷積核數量為3 時,SSDMV3ME 中MECA 卷積核尺寸為1×1、3×3 和5×5;多尺度卷積核數量為4 時,SSD-MV3ME 中MECA卷積核尺寸為1×1,3×3,5×5 和7×7。分別記錄檢測模型在迭代1 000 次時對GTZ 測試數據集的mAP 數值、參數大小和平均檢測時間,如表3 所示。

表3 MECA 不同數量多尺度卷積核對SSD-MV3ME 性能的影響Table 3 Effect of different accounts of MECA multiscale convolutions kernel on the performance of SSDMV3ME

從表3 可以發現,隨MECA 多尺度卷積核數量的增加,SSD-MV3ME 檢測精度逐漸增加,當多尺度卷積核數量等于4 時,SSD-MV3ME 的檢測精度為88.26%,比卷積核數量等于3、2 和1 時的檢測精度分別高0.13%、0.66%和0.68%。SSD-MV3ME的模型參數并沒有隨多尺度系數的增加有明顯的變化,但檢測時間隨多尺度系數增加也不斷增大,當多尺度卷積核數量等于4 時,SSD-MV3ME 的檢測時間已經達到13.94 ms,比多尺度卷積核數量等于1 時的SSD-MV3ME 增加16.55%。顯然,MECA多尺度卷積核數量的選取應兼顧檢測精度和檢測時間,文中MECA 多尺度卷積核個數為3,檢測時間與SSD-MV3 基本相同,但檢測精度有顯著提升。

2.4 小結

實驗從mAP、參數大小和運算時間3 個方面比較了目標檢測算法SSD-MV3ME 與經典算法(SSD-MV3)和最新算法(SSD-MV3E)性能上的差異,進一步分析了MECA 多尺度卷積核數量的選取如何影響SSD-MV3ME 的性能。與SSD-MV3 相比,SSD-MV3ME 能更好地兼顧檢測精度和檢測時間,并能準確識別三維點云數據中的軌條砦目標。

3 結束語

基于前視三維聲吶的軌條砦目標檢測識別具有重要的理論研究和實際應用價值。文中提出了一種基于改進SSD 的前視三維聲吶軌條砦目標檢測方法PCSSD,并提出了輕量化小目標檢測模塊MEIRB 和目標檢測網絡SSD-MV3ME,理論分析和仿真實驗證明了基于SSD-MV3ME 的PCSSD對軌條砦目標的有效性。

對于前視三維聲吶的軌條砦目標檢測任務,下一步的研究重點包括: 1)研究更加輕量化的目標檢測模型;2)研究適合更復雜環境下的軌條砦目標識別算法。