結合局部和全局顯著性的海上小目標檢測

任蕾，施朝健，冉鑫

(上海海事大學 a.信息工程學院;b.商船學院，上海 201306)

0 引言

目標檢測是海上視頻監控系統的重要任務之一，部分學者［1］應用主動輪廓模型進行目標檢測與跟蹤.該類方法適合檢測海上場景中具有一定輪廓特征的目標，而基于可見光的海上場景中小目標檢測一直是計算機視覺領域的難點之一.高度動態的海面背景、天氣等因素的影響，使得海上小目標的檢測難度較大，傳統的目標檢測方法效果不理想.［2］文獻［3］提出基于決策樹的多特征目標檢測算法，并將其應用于海上搜救中.

近年來，隨著認知心理學和神經心理學等學科的興起，視覺注意機制(visual attention mechanism)及其應用研究引起廣泛關注.［4］目前，視覺注意的研究工作［5］主要包括基于生物學的計算模型、完全計算模型以及這兩者結合的計算模型.具有代表性的計算模型包括 ITTI等［6］的方法和 BRUCE 等［7］提出的信息最大化方法等.部分學者對海上目標檢測問題中視覺注意機制的應用進行初步探索.葉聰穎等［8］提出基于 HSI(Hue，Saturation，Intensity)空間的船舶檢測視覺注意模型，即在HSI顏色空間中，借鑒ITTI等的視覺注意計算模型提取顯著圖，但得到的顯著圖分辨率不高.吳琦穎等［9］在海上運動目標實時監測和跟蹤系統中引入視覺注意機制，提出一種迭代的基于倒三角小模板的線性低通濾波方法，快速實現粗分辨率圖像的平滑去噪，以此凸顯目標.但該方法不利于海上場景中點目標的檢測.吳琦穎等［10］還提出基于可見光圖像序列的海上運動目標快速檢測方法，利用視覺注意模型首先在靜態圖像中分割感興趣區域(Region of Interest，ROI)，進而僅在ROI應用改進的時間差分法檢測運動目標，該方法的檢測性能依賴于靜態圖像分割結果.

由于海上場景中的目標多為小目標，同時伴有大量的海雜波，因此僅利用全局顯著性檢測目標，小目標檢測效果受到影響.本文嘗試結合海上場景的局部顯著性和全局顯著性檢測小目標.

1 相關研究工作

ACHANTA等［11］定義顯著性為圖像區域與其鄰域在多個尺度上的對比度，在CIELab顏色空間中以圖像子塊的各特征分量與其鄰域的各特征分量的均值差進行度量.ACHANTA等在實驗中采用3個不同尺度的局部對比度(Multi－Local Contrast，MLC)提取顯著目標.該方法充分考慮不同尺度局部顯著性，但未涉及全局顯著性，并且該方法需要對每個像素逐點計算，運行時間受到影響.

由于空間域的視覺注意模型計算復雜，部分學者從頻域的角度提出視覺顯著性檢測方法.有代表性的包括HOU等［12］提出的頻譜殘差(Spectral Residual，SR)方法、GUO 等［13］提出的四元數傅里葉變換相位譜(Phase spectrum of Quaternion Fourier Transform，PQFT)方法、YU 等［14］提出的脈沖離散余弦變換 (Pulse Discrete Cosine Transform，PDCT).這些方法實現簡單，但存在共同的缺點:當圖像尺寸不同時，得到的顯著區域有較大差異，對大尺寸的顯著目標往往只能檢測到輪廓;當圖像尺寸過小時，對尺寸較小的顯著目標檢測結果較差.一般地，該類方法均是對采樣后的圖像進行顯著性檢測，得到的顯著圖分辨率不高.之后，HOU等［15］證明PDCT可在稀疏噪聲中檢測稀疏目標的有效性.這類方法均是對圖像進行整體變換.

為了解決顯著圖分辨率不高的問題，ACHANTA等［16］提出在原圖尺寸上實現的頻率調諧(Frequency Tuned，FrT)顯著區域檢測方法，定義圖像CIELab顏色空間中的各特征均值與對其高斯濾波后的值的差為顯著度.此外，該方法簡單易實現，且能提取較完整的顯著目標，其內部一致性好.但是，將該模型直接應用于海上場景，由于大量海雜波的特征，均遠遠高于特征均值，即其全局對比度與目標很接近，造成檢測結果中包含大量的雜波.

文獻［17］提出隨機窗口(Random Sub－Window，RSW)的頻率調諧模型，即首先提取圖像的RSW，并在各窗口中應用頻率調諧方法，總顯著圖是各RSW顯著圖的疊加.盡管生物學的實驗支持該模型，但該方法有3個缺陷:首先，RSW的選擇可能導致圖像中某些區域從未參與過顯著性度量，而有些區域則參與很多次;其次，各顯著圖直接疊加合并為總顯著圖，由于窗口選擇的隨機性，可能導致某些區域的顯著值多次疊加，造成顯著區域選擇不準確;再次，由于隨機選擇窗口的數量較大，有些區域重復選擇，從而導致算法的時間代價較高.

VIKRAM 等［18］分析 ITTI等［6］的經典方法和層次化方法更傾向突出角點和強邊緣的缺陷，提出利用 隨 機 的 中 央－周 圍 (Random Center－Surround，RCS)對比度檢測顯著區域的方法.該方法定義兩像素點之間的顯著值為其特征差值與二者歐氏距離的比值，即充分考慮到距離的影響，越近的像素其影響度越高.通過在圖像中隨機選擇點對，計算顯著值，然后將所有的顯著值疊加，以確定每個像素點的顯著度［18］.該方法無須全部像素參與某一個位置的顯著性計算，可降低運算量.但由于隨機選擇坐標點，可能導致圖像中某些像素點沒有參與到顯著值度量中，而有些像素多次記入其顯著值，從而可能使得后續顯著度疊加的運算存在問題;此外，有些距離太遠的點對其顯著性的貢獻不大，而隨機的選擇可能導致更近區域的像素點沒有參與顯著性計算，造成檢測誤差.

綜上所述，已有相關研究工作主要解決陸上自然場景中的顯著性檢測問題，而海上場景中目標散布于背景中，具有較高的全局和局部對比度，不太適合用此類方法進行檢測.相對于ITTI等［6］的經典方法、信息最大化等模型，該類方法實現簡單，需手動調整的參數少.為減少對海上小目標檢測的影響，得到高分辨率的顯著圖，本文考慮充分利用頻域調諧方法的優勢，結合局部顯著性，抑制海雜波的影響.

2 方法的提出

2.1 全局和局部顯著性

CIELab顏色空間是非線性的，與人眼的感知較一致，比高度相關的RGB顏色空間更適合表示視覺注意機制中的各個特征，已有文獻［11，15－18］中多采用該顏色空間.本文提出的方法也在該空間實現.

圖像Im×n的亮度和顏色特征分別以 L，a，b表示，其全局均值分別為

文獻［14］中的顯著圖為

式中:‖·‖表示L2范數，該式定義顯著度為特征均值與高斯濾波后特征的差.由于高斯濾波對圖像的平滑作用可能影響小目標檢測效果，定義全局顯著性為

即以各像素點與局部所有像素特征均值的差值衡量其顯著性，是完全基于全局對比度的思路.其中，wGL，wGa，wGb是各特征在全局顯著圖中的權重.

海雜波也具有較高的全局顯著性，但由于其分布于整個海面，局部顯著性相對目標會小得多，因此，定義局部顯著性為

式中:hw是 k×k的均值濾波模板;wLL，wLa，wLb是各特征局部顯著圖中的權重;g是高斯平滑濾波模板.式(6)是式(5)的局部化版本，目的是消除海雜波等干擾信號的影響.

為了合并全局和局部顯著圖，首先將得到的顯著圖進行規范化.對A定義規范化函數:

對全局及局部顯著圖規范化后，利用二者相乘合并得到總顯著圖

此處的合并沒有使用相加運算，原因是很多海雜波的全局顯著性較強，若僅相加則可能仍會突出，不利于之后的顯著目標提取.由于規范化的處理，選擇將全局和局部顯著圖進行相乘，可以有效保證全局及局部均較顯著的區域保留下來，同時去除僅在局部或者全局顯著的區域.

2.2 顯著目標檢測

考慮到海上目標的尺寸較小，在顯著圖中比例很小，若利用均值運算得到的閾值生成二值化顯著圖，可能造成大量的海雜波被誤檢為目標，因此未采用文獻［12］和［16］的顯著目標提取方法.根據式(8)得到的顯著圖灰度值已經在［0，1］之間，因此利用歸一化閾值t進行顯著目標提取，得到二值化的顯著圖:

3 實驗和分析

3.1 實驗

為了驗證本文所提出方法的性能，在MATLAB 2011(a)下進行實驗.所用電腦性能參數為:Intel(R)Core 2 Duo CPU，2.4 GHz，RAM，2.00 GB.

實驗中采用的圖像尺寸為576×720像素，選擇兩種不同情況下的圖像進行測試，分別見圖1和2.

圖1 測試圖像1

圖2 測試圖像2

全局和局部顯著圖中，設置亮度和顏色特征的權值為

提出的檢測方法中，除上述參數外，還需確定兩個參數:局部平滑濾波器的尺寸和分割顯著圖的閾值.實驗中設置:k=17，t=0.2.實驗結果分別見圖3和4.

圖3 測試圖像1的實驗結果

圖4 測試圖像2的實驗結果

從圖3可以看出:由于尺寸較大目標的顏色和亮度顯著，在全局和局部顯著圖中均突出，但小目標在全局顯著圖中不突出，與大量的海雜波混在一起;利用局部顯著性可去除大部分海雜波，突出小目標;經過合并，可同時檢測到兩個目標.圖4的結果中:盡管局部顯著性圖中已經去除大量的海雜波，但是仍有少量的干擾;通過合并，海雜波受到進一步抑制，有利于小目標的檢測.

3.2 分析

為評價提出的算法，對測試圖像應用文獻［12］，［16］～［18］的方法及本文方法計算顯著圖，以手工標繪的結果為目標模板，對比算法性能.參考文獻［15］定義查準率(precision)和查全率(recall)分別為

式中:num(·)表示二值化圖像中非零像素的個數.為保持統一，實驗中采用的圖像尺寸均為原尺寸.對SR方法，在CIELab空間中進行實驗，分別計算每個通道的顯著圖，然后線性合并為總顯著圖.對RSW方法，采用文獻［15］中的參數設置，但是考慮到中值濾波對小目標檢測的影響，實驗中沒有對結果再進行中值濾波和直方圖增強.

圖5和6分別給出本文方法與4種相關算法對測試圖像1和2中目標的檢測性能對比情況.

圖5 各算法的ROC曲線(測試圖像1)

圖6 各算法的ROC曲線(測試圖像2)

從圖5和6中可發現:對于大目標和小目標同時存在的情況，本文提出的檢測方法相對于RCS方法略差，其原因是小目標像素太少，而本文的方法由于綜合局部和全局，可能會使很顯著的大目標中部分區域被削弱，導致檢測結果不完整;但對于僅有小目標的情況，本文方法明顯優于其他方法，而RCS方法的性能很差.各算法運行時間對比見表1.

表1 各算法運行時間對比 s

由表1可以看出，由于RSW和RCS方法考慮很多局部窗口或局部區域，運行時間較長，不利于實時應用，而本文方法運行時間較短.此外，通過大量實驗表明，局部均值濾波模板的尺寸不宜過小，否則會導致顯著目標的部分區域被去除，一般選擇尺寸16以上的效果較好，但是當選擇的尺寸過大時，其濾波效果會降低.

通過上述結果可知，本文方法的總體性能優于其他各類相關方法，適合用于海上小目標的檢測.

4 結束語

為克服大量海雜波的影響，提出結合全局與局部顯著性的海上小目標檢測方法.該方法充分考慮局部與全局對比度，可以有效去除海雜波，同時無須對圖像進行下采樣，可得到高分辨率的顯著圖，有利于進一步提取顯著目標.實驗中為各特征通道賦予同樣的權值，今后將充分結合目標的先驗信息，研究不同特征的合并策略.此外，如何自適應地選擇局部均值模板的參數也值得進一步研究.

［1］金婷婷，施朝健.主動輪廓模型在單攝像機監控系統的運動目標檢測與跟蹤［J］.上海海事大學學報，2007，28(1):32－35.

［2］冉鑫，任蕾.基于可見光視頻圖像處理的水上弱小目標檢測方法［J］.上海海事大學學報，2010，31(2):11－17.

［3］陳鵬鵬，冉鑫.基于決策樹的海上搜救目標檢測算法［J］.上海海事大學學報，2010，31(3):1－4.

［4］羅四維，李潔勇，黃雅萍，等.視覺信息認知計算理論［M］.北京:科學出版社，2010:181－182.

［5］ACHANTA R.Finding objects of interest in images using saliency and superpixels［D］.Lausanne:Ecole Polytechnique Fédérale de Lausanne，2010.

［6］ITTI L，GOLD C，KOCH C.Visual attention and target detection in cluttered natural scenes［J］.Optical Eng，2001，40(9):1784－1793.

［7］BRUCE N D B，TSOTSOS J K.Saliency based on information maximization［C］//Advances in Neural Infor Proc Systems(NIPS).2006(18):155－162.

［8］葉聰穎，李翠華.基于HSI的視覺注意力模型及其在船只檢測中的應用［J］.廈門大學學報:自然科學版，2005，44(4):484－488.

［9］吳琦穎，李翠華.用于海上感興趣區域實時分割的近似算法［J］.廈門大學學報:自然科學版，2007，46(1):33－37.

［10］吳琦穎，李翠華.一種新穎的海上運動目標實時檢測方法［J］.計算機工程與應用，2007，43(14):213－216.

［11］ACHANTA R，ESTRADA F，WILS P，et al.Salient region detection and segmentation［C］//Proc Int Conf on Comput Vision Systems.Berlin:Springer，2008，5008(2008):66－75.

［12］HOU Xiaodi，ZHANG Liqing.Saliency detection:a spectral residual approach［C］//Proc IEEE Comput Soc Conf on Comput Vision and Pattern Recognition 2007.N J:Inst of Electr ＆ Electron Engineers，2007:1－8.

［13］GUO Chenlei，MA Qi，ZHANG Liming.Spatio－temporal saliency detection using phase spectrum of quaternion Fourier transform［C］//Proc 26th IEEE Conf Comput Vision ＆ Pattern Recognition.N J:Inst Electr＆ Electron Engineers，2008:1－8.

［14］YU Ying，WANG Bin，ZHANG Liming.Pulse discrete cosine transform for saliency－based visual attention［C］//Proc IEEE 8th Int Conf Dev ＆Learning.N J:Inst Electr＆ Electron Engineers，2009:1－6.

［15］HOU Xiaodi，HAREL J，KOCH C.Image signature:highlingting sparse salient regions［J］.IEEE Trans on Pattern Anal＆ Machine Intelligence，2012，34(1):194－201.

［16］ACHANTA R，HEMAMI S，ESTRADA F，et al.Frequency－tuned salient region detection［C］//Proc 2009 IEEE Comput Soc Conf Comput Vision ＆ Pattern Recognition workshop.N J:IEEE Comput Soc，2009:1597－1604.

［17］VIKRAM T N，TSCHEREPANOW M，WREDE B.A visual saliency map based on random sub－window means［C］//Proc Iberian Conf on Pattern Recognition ＆ Image Anal.Berlin:Springer，2011，6669:33－40.

［18］VIKRAM T N，TSCHEREPANOW M，WREDE B.A random center surround bottom up visual attention model useful for salient region detection［C］//Proc 2011 IEEE Workshop on Applications of Comput Vision，Washington，DC，USA:IEEE Comput Soc，2011:166－173.