基于背景差分和視覺顯著性的運動船舶檢測方法
2018-01-25 10:52:38李雙雙安居白李春庚孟杰
物聯網技術 2018年1期
李雙雙 安居白 李春庚 孟杰
摘 要：運動目標檢測是智能視頻監控系統中的一項關鍵技術，其檢測準確性將直接影響后續的跟蹤與識別。針對傳統運動船舶檢測方法難以克服水面波紋這一問題，文中提出了一種基于碼本模型的將背景差分與頻率域顯著性區域檢測相結合的算法。利用船舶區域比水面區域顯著值較高這一特性，生成顯著圖，通過OTSU對顯著圖做二值化處理，將二值化后的顯著圖與碼本模型檢測結果進行與運算，濾除背景干擾區域，檢測出運動船舶目標。實驗結果表明，該算法能夠更準確地檢測出運動目標，具有較好的魯棒性和有效性。
關鍵詞：船舶檢測；頻率域；顯著性；碼本；OTSU
中圖分類號：TP391.41 文獻標識碼：A 文章編號：2095-1302（2018）01-00-04
0 引 言
長期以來，船運[1]以其成本低、運輸量大、環保等特點，在內河水路交通中發揮著不可替代的作用。但由于內河河道狹窄，因此船舶的智能監控管理是當前備受關注的問題。運動目標檢測是智能視頻監控系統中的重要內容，其檢測準確性將直接影響后續的識別與跟蹤。在復雜、動態的內河環境中準確、快速地檢測運動船舶已成為信息化水路交通建設的一個技術熱點，具有重要意義。
目前的運動目標檢測方法主要包括幀間差分法[2]、光流法[3]和背景減法[4]。幀間差分法是當今仍被廣泛使用的一種簡單方法。但由于船舶速度較慢，且體型大，若采用幀間差分則易出現大面積空洞；光流法計算量大、復雜度高、抗噪性能差，需要硬件實時處理，因此不常用；背景差分法能得到較完整的運動目標，同時還能夠更新背景，適應環境的變化，但無法有效克服水面波紋的干擾。
目前主要通過如下兩種思路抑制水面波紋：
（1）先檢測并濾除波紋干擾，之后再進行船舶目標檢測；
（2）先進行船舶目標檢測，之后對混有水波紋的二值圖進行處理。
騰飛和劉清[5]等利用融合ITTI模型與改進的混合高斯背景建模進行波紋抑制。算法首先利用ITTI模型檢測目標，然后與背景建模檢測結果進行邏輯運算，得到最終檢測結果。該算法能夠區分出開船與水波紋，但計算量較大，且ITTI模型很容易檢測到目標周圍的區域。Bao[6]等使用基于上下文的視覺顯著性法檢測船舶，該算法雖然對水波紋噪聲有一定的魯棒特性，但檢測過程復雜度高，實時性較差。Hu[7]等提出了一種改進的基于自適應模板匹配的波紋消除全搜索算法，可有效抑制波紋，但運算量較大。Li[8]提出了一種基于質點運動向量積累來消除波浪不規則運動影響的方法。該方法將粒子運動向量積累應用到光流場中，能有效剔除監控視頻中的波紋區域，但計算復雜，實時性差。
為了降低傳統運動檢測引起的背景干擾，本文提出將碼本模型背景差分和改進的基于頻率域的MSS視覺顯著模型相結合的方法。利用船舶區域比水面區域顯著值高這一特性，生成顯著圖，通過OTSU對顯著圖像做二值化處理，將二值化后的顯著圖像和碼本模型檢測結果進行與運算，檢測出運動船舶目標。
1 基于碼本模型的船舶區域檢測
碼本模型[9]算法是目前運算效率較高的背景差分運動目標檢測方法，利用量化和聚類技術從連續的像素采樣值中構建背景模型，效率高、適應性強，同時能表示背景多狀態變化。因此本文在研究中采用該方法檢測船舶區域。
1.1 碼本背景模型構建
假設P={p1，p2，p3，…，pn}為碼本模型訓練中單個像素的采樣序列，其中pt（t=1，2，3，…，n）為該像素在t時刻RGB空間的向量值。設C={c1，c2，c3，…，cL}為像素對應的碼本，其中ci（i=1，2，3，…，L）為碼本中的碼字。每個碼字ci由vi和auxi組成：，6元組auxi=
為了度量碼本的變化，需要定義顏色失真度和亮度函數。顏色失真度定義見公式（1）：
1.2 碼本模型前景檢測
假設前景檢測過程新輸入的像素為xi，其對應碼本為CB，根據條件：
圖1所示為碼本算法用于內河視頻監控中運動船舶的檢測效果，其中第一行為視頻輸入幀，第二行為船舶檢測結果，實驗所用圖像序列選取自廣東中山海事局三段監控片段。由實驗結果可以看到，碼本算法用于內河運動船舶檢測時，能夠得到較為完整的船舶，檢測效果較為理想。但由于視頻中大部分為水面，因此船舶不可避免的會產生水波紋。考慮到波紋干擾面積大且起伏劇烈，僅使用背景模型更新難以去除，因此提出了采用改進的基于頻率域的MSS視覺顯著模型抑制波紋干擾。
2 基于頻率域的內河顯著區域檢測
顯著性目標檢測源于視覺注意模型，這是一種模擬人類視覺智能的重要模型，它可得到圖像中最顯著的區域。本文選擇基于圖像頻域分析的顯著性算法，即MSS（Maximum Symmetric Surround，MSS）方法[10]。
2.1 算法原理
設wlc為低頻截止頻率，whc為高頻截止頻率，為了突出顯著物體并得到較好的輪廓信息，wlc應盡可能低，選擇較高的whc。利用顏色和亮度特征來估計中央-周邊差對比度，疊加多個帶通濾波器，將所有的輸出合并作為最終的顯著圖。帶通濾波器采用DOG（Difference of Gaussian，DOG）濾波器，以獲得wlc和whc之間的頻率信息：
2.2 改進算法
傳統MSS算法由于顯著區域中心像素的抑制，無法提取完整目標，因此本文對MSS做出改進。從視覺角度分析，不同分辨率下獲得的顯著目標不同，分辨率越高，目標表現出的細節就越豐富，所以在高分辨率下很容易將較小的目標檢測出來，結果側重于局部對比度；當分辨率較低時，更容易將一些較大的目標檢測出來，結果側重于全局對比度。為了綜合考慮顯著目標的局部與全局性，本文算法使用高斯金字塔對圖像進行多尺度采樣操作，以獲取不同分辨率下的圖像。由于自然圖像內容豐富，邊緣信息比較重要，因此本文在MSS算法顏色和亮度特征提取的基礎上，加入了邊緣特征，提高了顯著區域的輪廓信息清晰度，得到了顯著圖，最后對顯著圖進行歸一化處理，優化顯著區域。與MSS算法的顯著圖提取對比實驗證明，本文的改進算法能更準確地反應出目標的顯著性，將改進的算法記為S-MSS（Shape-Maximum Symmetric Surround，S-MSS）。
Sobel邊緣檢測算子是一種計算灰度圖梯度近似值的離散性差分算子，計算量小、處理速度快。本文采用多方向的Sobel作為導數算子，可計算出梯度大小和方向，作為本文的邊緣特征。
算法的主要步驟如下：
（1）高斯金字塔獲取多分辨率圖像。圖像原始長為L，寬為W，采樣尺度為G，G={1，1/2，1/4}，第一層圖像G1為原圖像大小，長l1=L，寬l2=W；第二層圖像G2采樣后長寬分別為l2=（1/2）l1，w2=（1/2）w1；第三層圖像G3采樣后長寬分別為l3=（1/2）l2，w3=（1/2）w2；針對每一層圖像，分別將輸入的RGB圖像轉換到Lab空間，分別為G'1，G'2，G'3。
（2）邊緣特征提取。對于G1，G2，G3圖像，選擇基于3×3四個方向的Sobel[11]模板計算梯度，四個方向分別為0°、45°、90°和135°，gx1，gx2，gx3，gx4為各方向邊緣檢測的圖像灰度值。梯度的幅值為：
（3）分別對G'1，G'2，G'3圖像及|g|進行DOG濾波，計算亮度信息L、顏色信息a，b以及邊緣特征信息。顯著值重新定義為：
（4）將各層得到的顯著圖像進行疊加：
（5）不同分辨率下的顯著性屬性強度不同，需要進行均勻歸一化處理，從而形成最終的顯著圖：
2.3 實驗結果與討論
為了測試改進算法的檢測效果和魯棒性，定量描述算法的性能，選用準確率Pr，召回率Re，綜合得分FM值以及檢測耗時作為評價指標。為表示方便，將視頻輸入幀圖分別記為1，2，3。實驗結果如圖2所示。其中公式描述為：
其中，TP指正確識別的像素個數，FP指未正確識別的像素個數，TN指正確識別的像素個數。
第一行為視頻輸入幀1，2，3，第二行為用MSS提取的顯著圖，第三行是采用S-MSS提取的顯著圖。通過圖2實驗結果可以看出，采用MSS算法檢測船舶目標存在漏檢，而采用改進的MSS算法提高了顯著區域輪廓信息的清晰度，顯著性更明顯，提取的船舶目標更準確。表1中兩種算法平均準確率Pr和綜合度量FM相差不大，但平均召回率Re明顯提高，顯著目標的漏檢率更低，彌補了MSS的不足。在時間開銷上兩種算法FM相差不大。因此，在綜合考慮召回率Re和時間消耗的基礎上，本文提出的算法優于MSS算法。由圖2所示的顯著區域檢測結果可以看到，船舶能夠與水面波紋區別開來，但顯著圖中還存在山、岸邊建筑等干擾，因此要得到只包含船舶的二值圖，還需濾除其它顯著區域帶來的干擾。
3 融合的運動目標檢測算法
由上述討論可知，基于碼本背景差分法難以描述多狀態的水波紋背景，而基于S-MSS的顯著區域檢測結果保留了較完整的輪廓信息，適用于船舶目標分割，但顯著區域同時也包含了船舶目標和其它顯著區域。針對此問題，本文提出了圖3所示的融合船舶檢測方法。
對輸入視頻圖像采取基于S-MSS的顯著性檢測進行分割以獲取高顯著度區域，通過提取圖像在不同尺度下的顏色、亮度和方向特征，將這些特征分量圖進行中央周邊差和歸一化操作，使船舶等目標區域被增強，而水面及周圍區域被削弱。對合成顯著圖進行自動閾值分割可濾除波紋背景區域的干擾，最后將基于S-MSS的船舶檢測結果和基于碼本背景差分船舶檢測結果進行相與操作，檢測運動船舶。
為了測試融合算法的檢測效果和魯棒性，將本文算法分別與碼本建模背景差分法、S-MSS法進行對比。在Win7系統下，利用Matlab2012a+Visual Studio10軟件開發，實驗結果如圖4所示。
為了更好地描述算法的性能，選用準確率、召回率、綜合得分值以及平均檢測耗時（檢測耗時指每幀圖像從輸入圖像到輸出檢測結果所需要的時間）作為評價指標。
由圖4檢測結果可看出：與碼本法相比，本文算法檢測出的運動船舶最接近真實目標。從表2數據分析來看，本文算法的召回率Re與碼本算法相當，而本文算法的準確率Pr、FM均明顯高于碼本算法，是因為本文方法采用顯著值濾除了水波紋的干擾，從而提高了精確度指標。
表3列出了2種方法的耗時對比，本文方法檢測耗時略高于碼本法。但綜合考慮準確率、召回率、FM及平均檢測耗時后，發現本文方法可以獲得更好的檢測效果。
4 結 語
為了更加有效地檢測出船舶目標，文中提出了一種融合頻率域顯著性區域檢測和碼本建模背景差分的檢測算法。本文用碼本法獲取可疑的運動船舶區域，然后根據船舶區域比水面區域顯著值高這一特性，采用改進的MSS顯著性區域檢測法降低運動檢測的背景干擾，最后將兩者結果相與，得到最終船舶目標。實驗證明，本文算法能夠排除水面波紋甚至船舶倒影的干擾，準確檢測出船舶，綜合評價明顯高出其他算法，具有一定的自適應性。
參考文獻
[1]韓京偉.低碳經濟時代的內河運輸發展對策[J].綜合運輸， 2010 （5）：18-20.
[2]陸冰， 王玲玲， 裴東.基于混合高斯模型和六幀差分的目標檢測算法[J].激光與紅外， 2016（2）：240-244.
[3] Barron J L， Fleet D J， Beauchemin S S. Performance of optical flow techniques[J].International Journal of Computer Vision， 1994， 12（1）：43-77.
[4]汪沖， 席志紅， 肖春麗.基于背景差分的運動目標檢測方法[J].應用科技， 2009， 36（10）：16-18.
[5]滕飛， 劉清， 朱琳，等.波紋干擾抑制下內河CCTV系統運動船舶檢測[J].計算機仿真， 2015， 32（6）：247-250.
[6] Bao X， Zinger S， Wijnhoven R， et al. Ship detection in port surveillance based on context and motion saliency analysis[J]. Proc Spie， 2013 （3）：135-145.
[7] Hu Wu Chih， C Y Yang， D Y Huang，et al.Robust real-time ship detection and tracking for visual surveillance of cage aquaculture[J].Journal of Visual Communication & Image Representation，2011，22 （6）：543-556.
[8] Li N. Boat detection using vector accumulation of particle motion[Z]. Proceedings of SPIE - The International Society for Optical Engineering， 2014.
[9] Kim K， Chalidabhongse T H， Harwood D， et al. Background modeling and subtraction by codebook construction[C]// International Conference on Image Processing. IEEE， 2004：3061-3064.
[10] Achanta R， Süsstrunk S. Saliency detection using maximum symmetric surround[C]//IEEE International Conference on Image Processing. IEEE， 2010：2653-2656.
[11]楊淑瑩.VC++圖像處理程序設計[M].北京：清華大學出版社， 2003.
