應用TBD的多波束聲吶圖像序列SIFT特征追蹤

李海森,高玨,徐超,盧為選,曹天宇,付麗嘉

(1. 哈爾濱工程大學 水聲工程學院，黑龍江 哈爾濱 150001；2.哈爾濱工程大學 水聲技術重點實驗室，黑龍江 哈爾濱 150001)

?

應用TBD的多波束聲吶圖像序列SIFT特征追蹤

李海森1,2,高玨1,2,徐超1,2,盧為選1,曹天宇1,付麗嘉1

(1. 哈爾濱工程大學 水聲工程學院，黑龍江 哈爾濱 150001；2.哈爾濱工程大學 水聲技術重點實驗室，黑龍江 哈爾濱 150001)

針對聲吶圖像目標探測中面臨的分割閾值選擇和單幅圖像信息缺失問題，提出了一種基于檢測前跟蹤(track-before-detect, TBD)的聲吶圖像序列尺度不變特征變換(scale-invariant feature transform, SIFT)特征追蹤方法。這種方法不在單幀圖像中判斷目標的有無，而依據圖形序列中特征軌跡的連續性和一致性進行決策，通過動態亮度分配和中值濾波對圖像進行預處理，提取SIFT特征進行幀間匹配并標出潛在目標，在圖像序列中展開特征追蹤，從潛在目標中篩選出真實目標。真實數據試驗的結果表明，預處理改善了圖像質量；對比SURF特征和Harris特征，SIFT特征包含更多的幀內信息，具有更好的幀間匹配效果。SIFT特征追蹤能夠從多波束聲吶圖像序列中探測到動態小目標和靜態目標，并得到動態小目標的運動軌跡。

聲吶圖像序列；水下目標探測；檢測前跟蹤；尺度不變特征變換；特征追蹤；圖像預處理；特征匹配

網絡出版地址：http://www.cnki.net/kcms/detail/23.1390.u.20160624.1311.028.html

隨著國家海洋戰略的牽引，水下目標探測技術得到了快速發展，其應用需求[1-2]包括水下入侵的監測與預警、水下避障與導航、沉物搜索與救撈、管道維護與橋墩檢測等領域。研究人員普遍借助側掃聲吶或多波束聲吶成像[3]，形成水下場景的聲圖像，通過圖像分割[4-5]實現水下目標探測，面臨的問題包括分割閾值的選擇和單幅圖像信息的局限。檢測前跟蹤[6-7](track before detect, TBD)是一種新興的微弱目標探測理論，對單幀圖像中有無目標先不進行判斷，在圖像序列中對多個目標同時進行追蹤，然后依據目標軌跡從潛在目標中篩選出真實目標。基于TBD在多波束聲吶圖像序列中進行特征追蹤，是實現水下目標探測的一種新穎的方法。

特征選擇是實現多波束聲吶圖像序列追蹤的關鍵，常用特征[8-9]包括統計特征、紋理特征、形狀特征、數學變換特征等。這些特征應用于水下目標探測時，仍然存在區分能力弱、計算復雜度大、魯棒性差等問題。Lowe提出的尺度不變特征變換[10](scale invariant feature transform, SIFT)，基于尺度空間理論，在光學圖像匹配和識別領域[11-12]已經有成功的應用先例。SIFT生成的特征對旋轉、尺度縮放、亮度變化保持不變性，對視角變化、仿射變換、噪聲也保持一定程度的穩定性，能夠更好的表征成像質量相對較差和易受環境干擾的聲吶圖像中的潛在目標。

本文提出了一種基于TBD的多波束聲吶圖像序列SIFT特征追蹤方法。將該方法應用于多波束聲吶圖像序列的水下目標探測，并與基于SURF (speeded up robust features, SURF)特征和Harris特征的方法進行比較，驗證方法的可行性和有效性。

1　SIFT特征追蹤方法

1.1聲吶圖像預處理

多波束聲吶圖像普遍存在分辨率低、噪聲和旁瓣干擾嚴重[13]等特點，這增加了從圖像中獲取有用信息的難度。為了后續更好的提取與追蹤特征，要盡可能的濾除噪聲并增強對比度。本文采用中值濾波和動態亮度分配來實現聲吶圖像的預處理。中值濾波能夠在平滑圖像的同時，盡量減少圖像細節信息特征的損失，是一種簡單而有效的濾波降噪方法。動態亮度分配[14]是將原始圖像強度映射到線性灰度[0，255]，通過優化映射函數，增強目標與背景之間的對比度。在原始圖像中以強度最小值為L；為避免產生孤立單峰，將原始圖像強度的前1%取平均作為最大值H。在亮度分配時，當輸入值為L時賦予灰度值0，當輸入值不小于H時賦予灰度值255，當輸入值在L和H之間時則賦予0～255灰度值。輸入強度和輸出灰度的映射函數:

(1)式中：zin是圖像輸入強度值，zout是圖像輸出灰度值，γ是映射參數。γ=1產生線性變換，γ<1增強圖像整體亮度，γ>1則減弱圖像整體亮度，尤其是對于介于H和L之間的輸入值。

1.2聲吶圖像的SIFT特征

SIFT特征包含了聲吶圖像中具有獨特性和穩定性的信息，可以用來表征潛在目標。將聲吶圖像定義為I (x,y)，高斯核函數為

(2)

式中：σ為尺度空間因子，反映了圖像被平滑的程度。將I(x,y)和G(x,y,σ)卷積得到圖像在不同尺度下的尺度空間

(3)　　圖像的差分高斯(difference of Gaussian, DoG)算子定義為

(4)式中k為相鄰尺度間的比例因子。由DoG算子構成圖像的DoG金字塔，DoG金字塔中的每個點需要跟同一尺度的周圍鄰域8個點和相鄰尺度對應位置的周圍鄰域18個點進行比較。當該點為局部極值時，判定為候選特征點。定義圖像的候選特征點集合U0，依據式(5)和式(6)從中剔除對比度低和位于邊緣特征點，篩選出關鍵點

(5)

(6)

式中：Tγ為主曲率比值閾值，Tr(u)為u的跡，Det(He)為Hessian矩陣的行列式。

通過式(7)計算其梯度的模m(x,y)與方向θ(x,y)。以S(x,y)為中心的鄰域窗口內利用直方圖的方式統計鄰域像素的梯度分布，直方圖的峰值反映S(x,y)所處鄰域梯度的主方向，通過拋物線插值精確得到S(x,y)的方向。

(7)

以關鍵點為中心取16×16窗口，在每個4×4小塊中計算8個方向的梯度方向直方圖，繪制每個梯度方向的累加值，即可形成一個種子點，每個關鍵點使用16個種子點來描述。關鍵點即SIFT特征，每個SIFT特征包含坐標、尺度和方向，并具有128維的特征描述向量。

1.3聲吶圖像序列的特征追蹤

聲吶圖像序列中的特征追蹤通過幀間特征匹配來實現。特征匹配以SIFT的特征描述向量歐氏距離作為相似性度量，采用最近鄰比值法。尋找待匹配特征點的最近鄰和次近鄰，如果最近鄰距離與次近鄰距離的比值小于某閾值，則認為最近鄰點與該特征為最佳匹配對，否則視為匹配失敗。考慮到聲吶成像易受環境干擾導致穩定性不足，僅當連續3幀追蹤失敗時，終止對該特征的追蹤，并將其判定為虛假目標，從而提高追蹤的容錯能力。

SIFT特征追蹤的算法流程如圖1所示。首先讀取一幀圖像，獲取SIFT特征集并存為一個模板；接著讀取下一幀圖像，將提取的SIFT特征與模板進行匹配，匹配成功將該特征標定為潛在目標暫存并更新模板中對應特征，連續3幀匹配不成功的特征，可以從模板中剔除；遍歷圖像序列，將依然存留的特征判定代表真實目標，同時獲取目標的特征軌跡。

圖1　SIFT特征追蹤的算法流程Fig.1　The SIFT feature tracking procedure

2　聲吶圖像序列的特征追蹤試驗

選用試驗設備為哈爾濱工程大學研制的國內首臺淺水高分辨多波束測深系統。系統的聲學基陣為“T”型，發射基陣為多元弧陣，接收基陣為80陣元的均勻線陣。系統工作頻率為300kHz，采樣頻率為40kHz，選用的脈沖寬度為1ms。

在室內水池和室外湖泊采集了多組數據評估提出方法的有效性，本文舉出3組典型數據集。數據集I從湖北宜昌清江水庫獲取，將油桶作為動態小目標，試驗中將測量船停靠在岸邊，聲吶系統固定安裝，在舷側使用兩根粗纜繩吊放油桶，讓其在水中做緩慢的垂直和水平運動。對采集的數據成像[15-16]，選取連續的28幀151×301的聲吶圖像組成圖像序列。數據集II在哈爾濱工程大學水聲工程學院的消聲水池中獲取，將邊長為0.25m的金屬立方體作為動態小目標在水中作水平運動，數據成像后選取連續的25幀121×241的聲吶圖像組成圖像序列。數據集III在吉林松花湖獲取，將直徑為0.2m的塑料小球作為動態小目標在水中作垂直運動，數據成像后選取連續的20幀201×101的聲吶圖像組成圖像序列。下文2.1～2.3節的分步試驗結果以數據I示例，2.4節給出3組數據的最終試驗結果。

2.1聲吶圖像預處理試驗

從聲吶圖像序列中選取一幀的成像效果如圖2所示。可以看出聲吶原始圖像中有大量的斑點噪聲，旁瓣干擾嚴重，動態小目標和水底輪廓都周邊有大量背景雜波中。

采用動態亮度分配和中值濾波對圖像進行預處理，以改善圖像質量。依照式(1)進行動態亮度分配時，需要確定映射參數γ。將γ值分別設定為0.5、1、1.5、2.0，試驗結果如圖3所示。隨著γ的增加，原本對應中低亮度的像素變暗，高亮度的目標和背景的對比度則不斷增強。當γ=2時，過大的對比度又損失了部分目標細節，通過比較發現當γ=1.5時對比度強化和細節保留的平衡最好，因此選擇映射參數γ=1.5。中值濾波采用滑動窗大小為3×3。

圖2　圖像序列的一幀原始圖像Fig.2　An original image of the image sequence

圖3　不同映射參數時動態亮度分配效果Fig.3　Images obtained by the dynamic brightness assignment with the different mapping parameterγ

對原始圖像的預處理抑制了斑點噪聲和旁瓣干擾，提高了目標與背景的對比度，改善了圖像質量。但原始數據成像效果并不穩定，同樣的預處理方法應用于圖像序列中的不同圖像改善效果不一，典型情況如圖4所示。圖4(a)中預處理圖像中動態小目標非常微弱難以識別；圖4(b)中預處理圖像中目標淹沒于背景噪聲中無法分辨。這種單幅圖像信息的局限導致采用傳統圖像分割法，分割閾值的選擇極為困難。

2.2聲吶圖像特征提取試驗

用SIFT方法提取聲吶圖像特征，圖像序列中前兩幀提取的特征如圖5所示。第1幀提取SIFT特征79個，第2幀SIFT提取特征84個。圖中橫坐標為相對基陣的水平方向，縱坐標為相對基陣的垂直方向，箭頭指向和長度分布表示特征方向和尺度。從圖像可以看出特征集中于深度為17m的動態小目標和深度為22～26m的水底輪廓，有不少特征的坐標和尺度相同、但方向不同，這些特征的存在有利于提高幀間匹配的魯棒性。

圖4　典型的預處理效果Fig.4　The typical pretreatment effects

圖5　連續兩幀提取的SIFT特征Fig.5　Extracted SIFT features on a pair of successive frames

對聲吶圖像序列的28幀圖像，依次提取SIFT特征、SURF特征和Harris特征，統計相鄰幀幀內提取特征數和幀間匹配特征數，試驗結果如表1所示。可以發現整個圖像序列中，每幀圖像中SIFT特征數量最多，SURF和Harris特征數量接近，相鄰幀間SIFT匹配特征數量最多，SURF匹配特征次之，Harris匹配特征最少。對比SURF特征和Harris特征，SIFT方法獲取了更多的幀內特征和相鄰幀幀間匹配特征，提高了在圖像序列中成功追蹤特征和探測到目標的幾率。

表1　特征提取方法的對比

2.3聲吶圖像序列的特征追蹤試驗

按照前文所述算法對聲吶圖像序列展開SIFT特征追蹤。前兩幀的特征匹配狀況如圖6所示。從圖中可以看出表征動態小目標和水底輪廓的特征都實現了匹配，但也有一些非目標的特征匹配，將匹配成功的特征標定為潛在目標，后續通過整個圖像序列的追蹤來進一步判定是否代表真實目標。

特征追蹤過程如圖7所示。第1幀包含79個特征，追蹤到第3幀時舍棄始終未匹配的特征，剩余52個特征。之后陸續舍棄連續3幀未匹配的特征，到第13幀時下降到25個特征，追蹤到最后一幀時，得到6個穩定的SIFT特征。

圖6　連續兩幀SIFT特征匹配狀況Fig.6　The result of SIFT feature matching on a pair of successive frames

圖7　圖像序列中的SIFT特征追蹤過程Fig.7　The features tracking along the sequence

特征追蹤統計信息如表2所示，其中追蹤成功率表示該特征在整個聲吶圖像序列28幀中匹配成功的比例，可衡量特征的穩定性。依據平均偏移量和始末偏移量可以判斷出5組偏移量較小的表征靜態水底輪廓，而第2組偏移量較大的表征動態小目標。

表2　SIFT特征追蹤的統計信息

2.4SIFT特征追蹤的目標探測結果

數據集I的目標探測結果如圖8所示。從圖像序列中成功追蹤到6個SIFT特征，靜態水底輪廓特征位置分布是(-13.0，24.4)、(-7.0，24.1)、(5.8，23.8)、(16.2，23.2)和(20.8，23.0)，動態小目標從水深17.0 m開始向上運動，到水深10.8 m開始水平運動。

數據集II的目標探測結果如圖9所示，從圖像序列中成功追蹤到表征立方體目標的特征，立方體目標在水深4.1 m處從水平位置1.9 m處向6.6 m處平移。

數據集III的目標探測結果如圖10所示，從圖像序列中成功追蹤到表征小球目標的特征，小球目標在水平位置-1.2 m附近從水深18.3 m處向11.9 m處向上運動。

圖8　數據集I的目標探測結果Fig.8　The result of target detection using data set I

圖9　數據集II的目標探測結果Fig.9　The result of target detection using data set II

綜合以上實驗結果，本文方法在不同場景的聲吶圖像序列中通過特征追蹤探測到了潛在目標。在追蹤過程部分幀未能正確匹配特征情況下，后續迅速追蹤到了特征，并沒有因為部分幀的信息缺失而導致目標丟失，體現出了良好的魯棒性。而用相同算法提取SURF特征及Harris特征進行追蹤，部分幀不匹配后就徹底丟失了目標，未能完成特征追蹤。

圖10　數據集III的目標探測結果Fig.10　The result of target detection using data set III

3　結論

1) 中值濾波和動態亮度分配，顯著改善了多波束聲吶圖像質量，為特征提取和追蹤創造了有利條件。與SURF特征和Harris特征相比較，SIFT特征包含更多的幀內信息、幀間匹配效果更好、更適用于表征多波束聲吶圖像序列中的潛在目標。

2) SIFT特征追蹤方法，不用對單幀圖像有無目標進行判斷，依據特征軌跡的連續性和一致性進行決策，從表征潛在目標的特征中篩選出代表真實目標的特征，實現了水下目標的探測。依據偏移量能夠判斷目標是靜態目標還是動態目標，獲取的動態小目標特征軌跡還能進一步分析目標運動特征。

3) 由于聲成像的不穩定，在限定匹配條件的前提下，圖像序列中部分幀無法追蹤到特征，如果放寬匹配條件則特征表征真實目標的置信度降低，下一步工作考慮利用目標在幀間的運動信息改善幀間的匹配，進一步提高追蹤效率。

[1]GUO Haitao, LI Renping, XU Feng, et al. Review of research on sonar imaging technology in China[J]. Chinese journal of oceanology and limnology, 2013, 31(6): 1341-1349.

[2]COLBO K, ROSS T, BROWN C, et al. A review of oceanographic applications of water column data from multibeam echosounders[J]. Estuarine, coastal and shelf science, 2014, 145: 41-56.

[3]李海森, 周天, 徐超. 多波束測深聲納技術研究新進展[J]. 聲學技術, 2013, 32(2): 73-80.

LI Haisen, ZHOU Tian, XU Chao. New developments on the technology of multi-beam bathymetric sonar[J]. Technical acoustics, 2013, 32(2): 73-80.

[4]CELIK T, TJAHJADI T. A novel method for sidescan sonar image segmentation[J]. IEEE journal of oceanic engineering, 2011, 36(2): 186-194.

[5]張金果, 郭海濤, 吳君鵬, 等. 改進的最小交叉Tsallis熵的小目標聲吶圖像分割[J]. 吉林大學學報：工學版, 2014, 44(3): 834-839.

ZHANG Jinguo, GUO Haitao, WU Junpeng, et al. Improved minimum symmetric Tsallis cross entropy for segmentation of a sonar image from a small underwater target[J]. Journal of Jilin University： engineering and technology edition, 2014, 44(3): 834-839.

[6]DAVEY S J, RUTTEN M G, CHEUNG B. Using phase to improve track-before-detect[J]. IEEE transactions on aerospace and electronic systems, 2012, 48(1): 832-849.

[7]LIU Shulin, CHEN Xinliang, ZENG Tao, et al. New analytical approach to detection threshold of a dynamic programming track-before-detect algorithm[J]. IET radar, sonar & navigation, 2013, 7(7): 773-779.

[8]NEGAHDARIPOUR S. On 3-D motion estimation from feature tracks in 2-D FS sonar video[J]. IEEE transactions on robotics, 2013, 29(4): 1016-1030.

[9]WANG Shuguang, ZENG Xiangyang. Robust underwater noise targets classification using auditory inspired time-frequency analysis[J]. Applied acoustics, 2014, 78: 68-76.

[10]LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International journal of computer vision, 2004, 60(2): 91-110.

[11]LIU Yu, LIU Shuping, WANG Zengfu. Multi-focus image fusion with dense SIFT[J]. Information fusion, 2015, 23: 139-155.

[13]SCHETTINI R, CORCHS S. Underwater image processing: state of the art of restoration and image enhancement methods[J]. EURASIP journal on advances in signal processing, 2010, 2010: 746052.

[14]TRUCCO A, GAROFALO M, REPETTO S, et al. Processing and analysis of underwater acoustic images generated by mechanically scanned sonar systems[J]. IEEE transactions on instrumentation and measurement, 2009, 58(7): 2061-2071.

[15]徐超, 李海森, 陳寶偉, 等. 多波束相干海底成像技術[J]. 哈爾濱工程大學學報, 2013, 34(9): 1159-1164.

XU Chao, LI Haisen, CHEN Baowei, et al. Multibeam interferometric seafloor imaging technology[J]. Journal of Harbin Engineering University, 2013, 34(9): 1159-1164.

[16]劉曉, 李海森, 周天, 等. 基于多子陣檢測法的多波束海底成像技術[J]. 哈爾濱工程大學學報, 2012, 33(2): 197-202.

LIU Xiao, LI Haisen, ZHOU Tian, et al. Multibeam seafloor imaging technology based on the multiple sub-array detection method[J]. Journal of Harbin Engineering University, 2012, 33(2): 197-202.

本文引用格式：

李海森, 高玨, 徐超, 等. 應用TBD的多波束聲吶圖像序列SIFT特征追蹤[J]. 哈爾濱工程大學學報, 2016, 37(8): 1009-1014.

LI Haisen, GAO Jue, XU Chao, et al. SIFT feature tracking in multi-beam sonar image sequences using the track-before-detect technique[J]. Journal of Harbin Engineering University, 2016, 37(8): 1009-1014.

SIFT feature tracking in multi-beam sonar image sequences using the track-before-detect technique

LI Haisen1,2, GAO Jue1,2, XU Chao1,2, LU Weixuan1, CAO Tianyu1, FU Lijia1

(1. College of Underwater Acoustic Engineering, Harbin Engineering University, Harbin 150001, China; 2. Science and Technology on Underwater Acoustic Laboratory, Harbin Engineering University, Harbin 150001, China)

The major challenges of target detection using sonar images are the choice of segmentation threshold and the information shortage in a single image. In this paper, we present a scale-invariant feature transform (SIFT) feature tracking method based on the track-before-detect (TBD) technique using sonar image sequences. Rather than detecting targets within a single image, this method makes decisions based on the continuity and consistency of the features trajectory in image sequences. Specifically, this method preprocesses images using dynamic brightness assignment and a median filter, extracts SIFT features to carry out intra-frame matching and to identify potential targets, and tracks features in the image sequences to select real targets from the group of potential targets. Using real data, our experimental results reveal that pretreatment improved the image quality, and compared with SURF and Harris features, SIFT features had more intra-frame information and better performance in inter-frame matching. By SIFT feature tracking, we detected both dynamic small targets and static targets from the multi-beam sonar image sequences. Moreover, we identified movement in the dynamic small targets.

sonar image sequences; underwater target detection; track-before-detect; scale-invariant feature transform; feature tracking; image preprocessing; feature matching

2015-06-26.網絡出版日期：2016-06-24.

國家自然科學基金項目 (41327004，41376103); 中央高校基本科研業務費專項資金項目(HEUCF150509) .

李海森(1962-), 男, 教授, 博士生導師；

徐超(1982-), 男, 講師.

徐超， E-mail: xuchao18@hrbeu.edu.cn.

10.11990/jheu.201506078

TP391

A

1006-7043(2016)08-1009-06