一種快速自動檢測海面目標算法*

臧風妮， 李慶忠， 張 洋

(中國海洋大學工程學院，山東省海洋工程重點實驗室，山東 青島 266100)

?

一種快速自動檢測海面目標算法*

臧風妮， 李慶忠**， 張 洋

(中國海洋大學工程學院，山東省海洋工程重點實驗室，山東 青島 266100)

為實現海事動態視頻監測中海面目標的自動檢測，提出基于小波域視覺注意選擇機制的海面目標快速檢測算法。根據人類視覺觀測特點，首先利用提升小波變換在小波域建立了雙尺度視覺選擇注意模型，然后在粗分辨率低頻子帶上分別利用相位譜法和梯度法建立視覺顯著圖，并對兩者進行有效融合形成綜合視覺顯著圖，最后通過小波反變換得到原始高分辨率圖像的視覺顯著圖，并由此實現海面目標區域的提取。實驗結果表明：該算法能夠快速、準確地實現海面目標的自動檢測，可用于基于海洋浮標的海事智能監測。

視覺注意機制； 視覺顯著性； 海面目標檢測； 小波變換

中國具有遼闊的海岸線，海域十分廣闊，因此，海事視頻自動監測具有重要的現實意義和應用價值。在軍用方面，可以維護海洋權益、加強海域監管、減少海事糾紛等；在民用方面，海面目標的自動檢測技術可以高效實現港口、海灣等的海上交通管制、事故船只救援報警、海洋環境監測，并對非法捕魚、污染物傾倒、非法走私偷渡等起到強有力的監管作用。本文的研究的目的，就是當攝像機安裝在晃動的海洋浮標或運動的海事船上時，研究如何自動快速檢測海面感興趣目標，這是海事智能監測的關鍵技術之一。

在基于可見光成像的海面目標自動檢測方面，目前國內外學者已經進行了較多的研究。提出的檢測方法主要可分為以下3類。

第一類是基于背景建模的海面運動目標檢測方法[1-5]。如Borghgraef等[1]引入最少量的先驗目標信息，提出基于像素的背景減除算法，進行評估和更新背景模型；Hu等[2]利用前n幀視頻圖像的中值構造海面背景圖像，并提出相應的背景更新策略，實現了海水養殖海域非法侵入目標的自動檢測；張明杰等[3]對海浪波動顯著和非顯著海面分別以Weibull和Gauss分布模型建立海面背景模型，提出了一種在反射光較強條件下海面運動目標檢測算法，可以較準確地檢測海面運動目標；王明芬等[4]提出了一種基于高斯混合模型和鄰域信息項融合的海面運動目標檢測算法，在對強光和不同氣候環境由較好的魯棒性。這類算法的特點僅適合攝像機安裝后固定不動的視頻監控場合，不適合攝像機運動的動態背景情況。

第二類方法是基于邊緣、紋理等特征的海面目標的檢測[6-9]。如Bouma等[6]假定海面與天空存在局部亮度差，采用多尺度邊緣檢測方法識別海天線，基于海面背景與目標的亮度差異檢測目標；何四華等[7]首先獲取海面背景的混沌特征，然后通過檢測混沌特征的變化，進行海面目標檢測；王立地[8]根據海面背景與運動目標的分形維數不同，實現了海面運動目標的自動提取。這類方法在實時性和魯棒性方面有待于進一步提高。

第三類方法就是模仿人眼視覺注意力選擇機制，根據建立的視覺注意模型求取感興趣目標的顯著圖，這是目前研究的一個熱點[10-17]。這方面代表性的研究有：Itti等人[12]采用自底向上控制策略的視覺注意模型，在不同分辨率的RGB空間分別提取亮度、顏色、方向這些低層次的圖像特征，然后通過高斯金字塔和一個叫center-surround的算子進行局部視覺反差計算，反差大的區域代表易于引起視覺注意力的區域。然后對不同尺度、不同特征下的反差結果進行融合，得到最終的綜合視覺顯著圖，需要計算6幅亮度特征圖、12幅顏色特征圖，24幅方向特征圖才能進行融合，計算復雜程度高。在國內，Ye等[13]對Itti模型進行改進，摒棄了方向信息，提出基于HSI顏色空間結合高斯金字塔和center-surround算子計算不同尺度下各分量的局部視覺反差獲得特征顯著圖的方法，對于海浪存在的背景區域得以較好的抑制，可以較好地實現海面目標的檢測。任蕾等[15]提出局部和全局顯著性相結合的方法，以圖像子塊與鄰域對比度作為局部顯著度，頻率調諧得到全局顯著度進行組合，可以有效抑制海雜波，進行海上小目標的檢測。孟琭[17]通過分水嶺算法對彩色圖像預分割獲得顏色相近、材質相似的子區域,在各個子區域應用視覺注意模型，進行顯著區域提取。這類算法的優點是引入人眼視覺注意機制，融合和不同尺度、不同特征的多個顯著圖信息，可以較完整準確地檢測出海面目標，但其缺點是計算復雜度高，很難達到實時檢測。

針對基于視覺注意力模型的檢測算法存在的實時性差的問題，本文提出了基于小波域視覺顯著性的海面目標快速檢測算法。根據海面視頻圖像和人眼實際觀測搜尋的特點，利用小波變換這個數學工具，在小波域建立了雙尺度視覺注意模型，并采用相位譜顯著圖和梯度顯著圖有機融合的策略，實現了基于海面圖像單亮度特征的海面目標的快速有效檢測，并通過實驗對提出的算法進行了性能測試。

1 基于小波域視覺顯著性的目標檢測算法

1.1 人類視覺系統小波域雙尺度選擇注意模型

根據觀察，不難發現人類視覺系統(HVS)在對于海面目標的進行搜索觀測時，對應的選擇性注意過程是：首先，人眼在遼闊的海面上進行大尺度(粗分辨率)的快速眼動掃描，看有無感興趣的目標區域；一旦發現有感興趣的目標后，就會將高分辨率的視網膜中央凹區對準感興趣的區域，進行小尺度的精細觀測、識別與理解。可見，這個選擇注意觀測過程包括2個基本過程：一是快速bottom-up預注意機制，可從大量輸入信息中選擇特定區域，而對圖像的細節信息一概“視而不見”。從圖像信息論角度看，圖像信息可分為顯著部分和冗余部分[11]。顯著部分是人眼對圖像最先關注的敏感區，即引起視覺反差最強烈的地方，這些特定區域的選擇主要是基于特征的顯著性或差異性，如亮度特征、顏色特征、紋理特征、運動特征等。此快速預注意機制的實現是在粗分辨率(或大尺度)下進行。二是慢速、精細的top-down注意力集中觀察、識別過程，該過程是在高分辨率(或小尺度)下進行。

總之，人眼視覺系統的目標選擇注意機制可抽象為一個雙尺度視覺注意過程：在大尺度上確定感興趣目標顯著區，而在小尺度上進行精細觀察、識別。問題的關鍵在于如何通過計算機快速、合理地實現這2個過程。

傳統的視覺選擇注意模型[12-13]一般采用5個尺度，且采用了亮度、顏色、方向等多個特征，因計算復雜度高，很難達到實時性應用。通過以上分析可知，實際上應用中只需2個尺度即可。而在特征選擇上，通過大量海上視頻觀察發現，由于海上氣象與光照條件變化頻繁，故海面的顏色信息也千變萬化。鑒于此在2個尺度上都只采用最為可靠的亮度特征信息。此外，在雙尺度視覺選擇注意機制的實現上，采用小波變換來快速實現，由于小波變換又稱之為數學顯微鏡，是十分方便的多分辨率分析工具。為實現海面目標的快速檢測，本文提出的小波域雙尺度視覺選擇注意模型的實現見圖1。

圖1 小波域雙尺度視覺選擇注意模型的實現Fig.1 Implementation of the two-scale visual attention model in wavelet domain

1.2 海面目標檢測算法

下面具體介紹圖1中各模塊的具體實現過程：

(1)適合大尺度選擇注意機制的低頻子帶確定。通過對大量海面視頻序列利用小波變換進行分解測試發現，3級小波變換后得到的低頻子帶LL3比較適合于大尺度(粗分辨率)下視覺顯著圖的計算，因為在LL3上海面波浪的細節信息已經基本去除，只剩下背景基本一致的海面背景和海面目標。考慮到計算的實時性，采用Daub 5/3小波對原始圖像進行3級提升小波變換即可。其中正變換公式為：

(1)

反變換公式為：

(2)

(2)低頻子帶上基于相位譜法的顯著圖生成。為了在得到的粗分辨率低頻子帶LL3上生成引起視覺注意的顯著圖，本文首先采用相位譜法[14]進行顯著性檢測。對LL3進行二維傅里葉變換后得：

F(u,v)=A(u,v)+iB(u,v)

(3)

或F(u,v)=|F(u,v)|exp(iP(u,v))

(4)

其中：F(u,v)為LL3的傅里葉頻譜；A(u,v)為實部；B(u,v)為虛部；|F(u,v)|為幅度譜，反映了圖像的明暗對比信息，或圖像中正弦分量的幅值和比重；P(u,v)為相位譜，反映了圖像中的紋理結構信息，即圖像中正弦分量的位置，這是顯著性信息的重要組成部分。僅由幅度譜重構圖像由于丟失了相位信息而導致原圖像的紋理結構信息丟失；而由相位譜重構圖像雖然丟失了原有的亮度對比信息但原圖像的基本紋理細節仍然存在，幅值變化時對由相位譜重構的圖像無影響，因此，令|F(u,v)|為定值，本文取值為1，然后進行傅里葉反變換就可以得到在LL3顯著圖。

(3)低頻子帶上基于梯度法的顯著性檢測。為了加強視覺注意顯著區提取的完整性，本文又對低頻子帶LL3，利用Roberts梯度算子進行梯度計算，如式(5)所示。得到的梯度圖就是LL3的另一種顯著圖，因為梯度反映圖像局部亮度變化的程度，也就是引起視覺注意的成分。

(5)

其中：G(x,y)是輸出的圖像梯度值；f(x,y)是輸入的圖像亮度值。

(4)低頻子帶上2個顯著圖的融合。通過實驗發現，相位譜法得到的顯著圖能突出海面上的船只等目標，但突出的區域完整性欠佳；而由梯度法得到的顯著圖突出的海面目標較為完整，但會形成過多不必要的邊緣，2種顯著圖示例如圖2所示。采用的兩者融合策略是：首先采用自適應閾值T，如式(6)所示，對相位譜的顯著圖進行分割。如果顯著值大于閾值門限T，則將該顯著值二值化置1，作為目標區，反之則為0，視為背景區。

(6)

其中：λ是閾值系數，經實驗比較取3.5比較理想；W、H分別對應圖像的寬和高；S(x,y)是位置(x,y)的相位譜顯著值。由于顯著圖二值化分割后，目標區內會出現部分孔洞，即四周均被目標像素包圍的區域，因此要通過圖像形態學膨脹處理[18]以填充這些孔洞。由此得到低分辨率下的包含海面目標的區域，記為R1，然后兩幅顯著圖僅在區域R1中按照權重因子α進行加法運算即可，公式如(7)所示。這樣既可以得到較為完整顯著圖，又濾掉多余的邊緣、紋理信息。由此得到LL3的綜合視覺顯著圖。

S′(x,y)=αS(x,y)+(1-α)G(x,y)

(7)

其中：S′(x,y)是位置(x,y)處的綜合顯著值；S(x,y)是相位譜法得到的顯著值；G(x,y)是梯度法求得的顯著值，本文α取2/3。

圖2 顯著圖對比Fig.2 Comparison of saliency maps

(5)高分辨率原始圖像顯著圖與目標區域確定。由于小波變換后圖像的低頻子帶仍保持了原始圖像的概貌和空間特性,并且低頻子帶的面積僅為原始圖像的1/4i，其中i為小波分解的級數，只利用低頻子帶可以有效減少重構圖像所需的數據量。因此獲取LL3的綜合視覺顯著圖后，令所有高頻子帶的系數值為0，只對低頻子帶系數進行小波反變換，就得到原始圖像的視覺顯著圖。然后對其按照公式(6)進行自適應閾值分割，閾值系數λ取2，如果顯著值大于閾值T，則保留該點的原始圖像值，否則置為0，作為背景剔除。

由此得到高分辨率下的海面目標的區域，即海面目標的取證圖像。因為對于海上浮標的視頻監測系統，其攝取的圖像要通過衛星無線傳到地面工作站，其傳輸帶寬非常有限，所以必須只傳輸含有目標的最主要圖片信息。

2 實驗結果與分析

針對不同海況，本文進行了大量測試實驗，并與代表性的視覺注意力模型方法:Hou方法[11]和Itti方法[12]進行了對比，以驗證本文提出算法的有效性。所有測試實驗使用的計算機CPU：IntelPentiumDualE2180, 內存1.0GB，程序代碼在MicrosoftVisualC++6.0上編寫運行，測試圖像分辨率為256×256像素。

圖3給出的是4組實驗的顯著圖檢測結果，每一排為一組。其中第一組為陰天的測試效果,第二組為風平浪靜的測試效果,第三組為大風天氣的測試效果，第四組為多目標的測試效果。其中，(a)圖是原始圖像；(b)圖是由Hou方法[11]得到的顯著圖；(c)圖是由Itti方法[12]得到的顯著圖；(d)圖是由本文算法得到的顯著圖；(e)圖是由本文算法得到的結果。

圖3 海面目標檢測結果圖Fig.3 Detection results of sea surface objects

由圖(b)可以看出，Hou方法只能將海面目標的主要顯著點展現出來，其顯著圖完整性較差；而由圖(c)知，Itti方法由于采用較多的特征，其顯著圖完整性較好，但無法判別各個顯著區是否來自同一個海面目標。由圖(d)可以看出，本文算法可以克服以上算法的不足，既可以得到海面目標較為完整的輪廓，又可以抑制抑制海浪背景噪聲及其它的邊緣信息，如第一組中遠處的山，第三組中海天線。

采用檢測率(TPR)、虛警率(FPR)2個指標對本文算法及Hou方法和Itti方法的實驗結果進行定量的評價，如圖4、5所示。選取不同海況的圖像作為樣本，對其進行人工標注目標顯著圖，通過對比人工標注圖與3種方法求取目標顯著圖的結果獲得統計信息,計算公式為式(8)和(9)：

TPR=TP/(TP+FN)

(8)

FPR=FP/(FP+TN)

(9)

其中:TP為目標區檢測到目標的次數；FN為目標區沒有檢測到目標的次數；FP為背景區檢測到目標的次數；TN為背景區沒有檢測到目標的次數。從圖3、4可以看出，本文算法檢測效果良好。經統計計算，檢測率平均值大于87%，虛警率平均值低于6%。對于天晴無浪情況，本文算法與其它2種算法檢測率相當，漏檢的主要原因來自尺寸很小的船只，虛警主要是由于海面強烈的魚鱗光引起的背景干擾。然而天氣惡劣且大浪存在時，能見度較低目標不清晰且容易被波浪淹沒，由于Itti方法是在空域進行目標檢測，降低了小目標檢測的靈敏度，漏檢數目多于本文算法，而Hou的方法易將巨浪視為顯著目標造成較多虛警。

表1 單幀圖像的處理時間Table 1 Processing time per image

Hou算法是在傅里葉變換域，通過亮度的log振幅譜與其均值濾波的差值SR(Spectralresidual)方法來提取顯著圖，由于Hou算法需要逐點計算LOG振幅譜，故處理時間要長于本文算法。而Itti算法需要建立9層高斯金字塔，分別計算6幅亮度特征圖、12幅顏色特征圖，24幅方向特征圖才能進行融合，因復雜度高，所以其實時性最差。

3 結語

本文首先建立了人類視覺系統小波域雙尺度選擇注意模型，并由此提出了一種海事動態視頻監測中海面目標的檢測算法。在大尺度上有效融合了相位譜法顯著圖和梯度法顯著圖，既可以得到較為完整的海面目標區域，又可以有效抑制海浪背景噪聲及其它的邊緣信息。該算法可以快速有效地實現海面目標的自動檢測，可用于基于海事船或海洋浮標的智能視頻監測中。下一步應繼續進行海面目標的識別與跟蹤方面的研究。

圖4 3種方法的檢測率比較Fig.4 Comparison of true positive ratios amongthe three different methods

圖5 3種方法的虛警率比較Fig.5 Comparison of false positive ratios amongthe three different methods

[1]BorghgraefA,BarnichO,LapierreF,etal.Anevaluationofpixel-basedmethodsforthedetectionoffloatingobjectsontheseasurface[J].EURASIPJournalonAdvancesinSignalProcessing, 2010(6)： 978451-978461.

[2]HuWC,YangCY,HuangDY.Robustreal-timeshipdetectionandtrackingforvisualsurveillanceofcageaquaculture[J].VisualCommunicationandImageRepresentation, 2011, 3(9): 543-556.

[3] 張明杰, 李翠華, 劉明業. 基于高斯混合模型的海面運動目標檢測 [J]. 計算機工程與應用, 2005, 41(5): 27-29.

[4] 王明芬, 李翠華, 余強力. 基于融合鄰域信息的海面運動目標檢測 [J]. 廈門大學學報： 自然科學版, 2007, 46(5): 641-645.

[5] 林春麗, 王科俊, 夏余, 等. 一種小位移的運動目標檢測方法 [J]. 光電子·激光, 2011, 22(3): 0418-0421.

[6]BoumaH,DeLangeDJJ,VanDenBroekSP,etal.Automaticdetectionofsmallsurfacetargetswithelectro-opticalsensorsinaharborenvironment[J].SPIEPassiveSensingandDataProcessing, 2008, 7114: 799813-799820.

[7] 何四華, 楊紹清, 石愛國, 等. 基于圖像序列區域混沌特征的海面艦船目標檢測算法 [J]. 交通運輸工程學報, 2009, 9(1): 73-76.

[8] 王立地, 黃莎白, 史澤林. 基于有向分維的海面運動目標自動檢測方法 [J]. 模式識別與人工智能, 2004, 17(14): 486-450.

[9] 尹宏鵬, 柴毅, 匡金駿, 等. 一種基于多特征自適應融合的運動目標跟蹤算法 [J]. 光電子·激光, 2010, 21(6): 0917-0913.

[10] 李敏, 范新南, 張學武, 等. 基于視覺認知機理的復雜動態背景下目標提取 [J]. 光電子·激光, 2012, 23(2): 0366-0373.

[11]HouXD,ZhangLQ.Saliencydetection:Aspectralresidualapproach[C].IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition.LosAlamitos,CA,USA:IEEEComputerSociety, 2007: 1-8.

[12]IttiL,KochC,NieburE.Amodelofsaliency-basedvisualattentionforrapidsceneanalysis[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 1998, 20(11): 1254-1259.

[13] 葉聰穎, 李翠華. 基于HIS的視覺注意力模型及其在船只檢測中的應用 [J]. 廈門大學學報： 自然科學版, 2005, 44(4): 484-488.

[14] 李崇飛, 高穎慧, 盧凱, 等. 基于相位譜和調諧幅度譜的顯著性檢測方法 [J]. 中國圖象圖形學報, 2012, 17(7): 821-827.

[15] 任蕾, 施朝健, 冉鑫. 結合局部和全局顯著性的海上小目標檢測 [J]. 上海海事大學學報, 2012, 33(2): 0001-0005.

[16]HouB,FanN,WangS.Avisualattentionmodelbasedonwavelettransformanditsapplicationonshipdetection[C].IEEEInternationalGeoscienceandRemoteSensingSymposium.Munich,Germany:IGARSS, 2012: 2202-2205.

[17] 孟琭. 基于視覺注意機制的彩色圖像顯著區域提取 [J/OL]. 計算機應用研究, 2013,http://www.cnki.net/kcms/detail/51.1196.TP.20130603.1500.013.html.

[18] 張肅, 王文生. 復雜背景下運動目標的光學相關識別 [J]. 光學學報, 2012, 32(1): 201-207.

責任編輯 陳呈超

A Fast Algorithm for Detection of Sea Surface Objects Based on Visual Attention Model in Wavelet Domain

ZANG Feng-Ni，LI Qing-Zhong，ZHANG Yang

(College of Engineering, Shandong Provincial Key Laboratory of Ocean Engineering, Ocean University of China, Qingdao 266100, China)

In order to achieve the automatic detection of sea surface objects for maritime monitoring from dynamic video, this paper presented a fast algorithm to detect sea surface targets based on the visual selective attention mechanism in wavelet domain. According to the characteristics of human visual observation, a two-scale visual attention model was first established in the wavelet domain by using lifting wavelet transform. Then two visual salience maps were generated by employing the phase spectrum method and gradient based method on the low-pass subband of wavelet domain with coarse resolution respectively, and a synthetic visual salience map was obtained by effective combination of the both obtained saliency maps. Finally, the high resolution visual saliency map of original image was generated by inverse wavelet transform, and the sea surface object regions were extracted from the final saliency map. The experimental results show that the proposed algorithm can detect the maritime targets quickly and accurately, so it can be used for maritime buoy-based intelligent monitoring.

visual attention mechanism; visual salience; sea surface object detection; wavelet transform

國家高技術研究與發展計劃項目(2006AA09Z237)資助

2013-09-03；

2013-11-20

臧風妮(1982-)，女，博士生。研究方向為海洋觀測與智能信息處理。E-mail:funnykid@163.com

** 通訊作者： E-mail:liqingzhong@ouc.edu.cn

TP391.41

A

1672-5174(2015)04-110-06

10.16441/j.cnki.hdxb.20130341