改進的Camshift輪船目標跟蹤算法

張永梅，劉萌萌，郭 莎

(1.北方工業(yè)大學 計算機學院，北京 100144；2.北方工業(yè)大學 電子信息工程學院，北京 100144)

0 引 言

在視頻圖像中，輪船駛過的波浪、海面上的漂浮物、山峰等都可能造成感興趣目標的遮擋，并且輪船經(jīng)常會受到同色系背景的干擾，這種情況下很容易導致跟蹤失敗。針對上述問題，越來越多的學者對現(xiàn)有的跟蹤算法進行了更深入的研究和改進[1-4]。閏鈞華等使用卡爾曼濾波對Camshift跟蹤到的結果進行預測和修正，并且使用直方圖匹配來決斷初始遮擋的時刻，在此基礎上將最小面積作為度量判定程度[5]。然而，由于Camshift方法采用顏色直方圖為匹配模板，目標與背景顏色相同時，導致搜索窗會變大;陳杏源等[6]將Camshift和SURF算法結合在一起，彌補了Camshift算法在應用過程中受到干擾后發(fā)生誤跟蹤的缺陷，但是其在復雜場景下實時性差[7]；費智婷等[8]基于粒子濾波跟蹤算法框架，通過局部背景加權直方圖對目標進行描述，然而在光強度很高的情況下，海浪和船舶顏色會很接近，跟蹤效果并不太理想[7]。

在本文中，圍繞以色調、邊緣以及運動為特征的Camshift算法，無損卡爾曼濾波估計并校正跟蹤窗的質心位置大小，Bhattacharyya距離描述跟蹤情況，以跟蹤干擾和部分遮擋情況下移動中的輪船。

1 傳統(tǒng)的Camshift算法

以往的Camshift算法基于原始窗中的顏色特征生成概率分布圖，遍歷搜索目標的質心坐標，實現(xiàn)對目標的跟蹤。傳統(tǒng)Camshift算法具體步驟參見如文獻[7]。

傳統(tǒng)的Camshift算法根據(jù)顏色特征中的色調分量進行跟蹤，當采集到的輪船圖像背景穩(wěn)定，并且目標與背景差異較大時，Camshift對于此類圖像有較好的跟蹤效果，能根據(jù)目標的大小改變跟蹤窗的大小。本文主要針對的是水上輪船，視頻圖像包含很多波浪，其顏色和船體的顏色比較相近，并且大波浪可能遮擋住船體，這種情況下傳統(tǒng)的Camshift無法有效地跟蹤輪船。

2 改進的Camshift輪船目標跟蹤算法

以往的Camshift算法以顏色為依據(jù)跟蹤，因此當目標和背景的顏色差異不大時，容易丟失。實際上，行人和車輛跟蹤也面臨這樣的問題，不過在這方面也有了一定的成果[9-13]。

林建華等[12]基于光照變化，采用色調、Sobel邊緣梯度、局部三值模式(local ternary patterns，LTP)紋理創(chuàng)建多特征模板，從而讓算法能夠在更廣泛的光照條件下應用。

宋曉琳等[13]在其研究中指出，在監(jiān)控車輛時，如果車輛和路面顏色比較一致，跟蹤窗范圍超過目標，同時還存在多余路面問題，要解決這一問題，首先提取原始圖像的LBP紋理特征，然后計算得包含線端、角、邊緣的紋理。

為了更好地跟蹤行人、車輛，學者們對Camshift算法進行了優(yōu)化，以色調、紋理、邊緣等為特征。本文研究的是如何跟蹤移動中的輪船，輪船在海面移動時，會導致水面出現(xiàn)大量的波浪，由此造成干擾，其紋理特征十分明顯，因此選擇紋理為輪船的特征是不合理的。同時兼顧邊緣以及運動特征，就能夠大幅削弱背景的干擾。

2.1 邊緣特征提取

輪船具有剛性的特點，它的特征在于穩(wěn)定，不會發(fā)生形變現(xiàn)象，因此能夠選擇邊緣信息為主要的特征。常見的邊緣檢測算子有Prewitt算子、Sobel算子、 Kirsch算子、羅盤算子、Laplacian等算子。本文是在視頻中跟蹤目標，對實時性有較高的要求，因此在檢測邊緣特征時選擇了計算過程復雜性低、效率高的Sobel算子。計算并得到像素點(x，y)處的水平梯度dx和垂直梯度dy，此時就能夠確定目標邊緣梯度方向θ，統(tǒng)計方向θ并獲取邊緣直方圖[7]

(1)

2.2 運動特征提取

本文探討的是固定場景下的跟蹤，提取運動前景，從而將抖動的背景剔除出去。當前應用最廣泛的前景檢測方法有背景減除法，幀差法，光留法等，前者的準確性和背景選擇直接有關，后者在實時性方面的表現(xiàn)不太理想，而三幀差法最顯著的優(yōu)勢就在實時性方面[7]。并且選取連續(xù)的三幀視頻圖像進行差分運算，相比兩幀幀差，可以去除抖動背景和波浪的干擾。

如圖1所示，取連續(xù)的三幀圖像，其中i表示第i幀圖像，Di(x，y)表示第i幀與第i-1幀圖像的差分圖像，Di-1(x，y)是第i-1幀與第i-2幀圖像的差分圖像，將得到的兩個差分圖像進行與運算得到Bi(x，y)，再進行形態(tài)學膨脹腐蝕操作，得到運動特征Mi(x，y)。

圖1 三幀差分原理

2.3 多特征融合方法

Camshift算法基于概率分布圖對目標進行搜索，所以，本文根據(jù)色調、邊緣特征，繪制兩張概率分布圖，根據(jù)式(2)，同時結合運動特征，獲取最后的概率分布圖。最終的概率分布圖中剔除了大量背景和波浪

(2)

式中：Hi(x，y)表示第i幀根據(jù)色調直方圖生成的概率分布圖中(x，y)點的灰度值，Si(x，y)表示第i幀根據(jù)邊緣特征生成的概率分布圖中(x，y)點的灰度值，Mi(x，y)表示第i幀中檢測到的運動區(qū)域在(x，y)點的灰度值，Li(x，y)表示最終融合后的概率分布圖在(x，y)點的灰度值，如果Mi(x，y)所表示的像素是0，證明該點為背景；否則，證明該點處在運動區(qū)域上，最終概率分布值是這一像素點的色調概率分布值與邊緣概率分布值結合在一起得到的，α、β依次代表融合系數(shù)[7]。

首先，對搜索窗進行初始化處理，對同心且長寬均為初始窗兩倍的矩形窗進行計算，得到兩個窗的色調以及邊緣直方圖，最后通過計算確定相同特征下直方圖的相似性。Dh代表在色調直方圖上兩窗的相似度，Ds代表在邊緣直方圖上兩窗的相似度，這里的相似度方法采用直方圖相交距離，α、β計算公式如下[7]

(3)

(4)

在視頻里面選擇一幀輪船出現(xiàn)的圖像，如圖2(a)所示，對該圖進行分析可知，岸上的樹、水面中的波浪和輪船的顏色差異并不太大。在概率分布圖里面，灰度值是衡量像素和目標模型相似性的指標。基于色調獲取的概率分布如圖2(b)所示，輪船和背景的某些部位的灰度值是一致的，因此在跟蹤時，跟蹤窗會逐漸增大，最終囊括整個圖像。通過Sobel邊緣梯度方向獲取的概率分布如圖2(c)所示，該圖的灰度值比較小，并不包含船舶附近的波浪和樹枝。通過三幀差分方法獲取的運動區(qū)域如圖2(d)所示，可以跟蹤移動中的船舶，并且剔除了大部分背景，不過輪船移動導致的波浪十分復雜，并未完全剔除出去。將圖2(b)、圖2(c)、圖2(d)結合在一起，由此獲取的概率分布如圖2(e)所示。對該圖進行分析可知，船舶的灰度值處于較高水平，并且和背景之間存在容易分辨的間隔，波浪被完全剔除出去。

圖2 概率分布

2.4 無損卡爾曼濾波

在實際目標跟蹤系統(tǒng)中，系統(tǒng)的狀態(tài)和測量模型都具有非線性的特點，而且含有噪聲，而標準卡爾曼濾波器無法準確地對目標位置進行預測。常用的非線性濾波器有擴展卡爾曼濾波(EKF)，無損卡爾曼濾波(unscented Kalman filter，UKF)，以及粒子濾波(PF)。其中，無損卡爾曼濾波在采樣方面的方法是確定的，因此從根本上避免了粒子濾波方法所面臨的粒子點退化問題。通過UT(unscented)變換，得到非線性的狀態(tài)方程，解決了擴展卡爾曼濾波中的線性化錯誤，并且不用計算Jacobian矩陣，因此較擴展卡爾曼濾波更為精確。

無損卡爾曼濾波[14,15]是卡爾曼濾波的改進，在其基礎上，利用UT變換來解決均值和協(xié)方差的非線性轉移，實現(xiàn)在非線性系統(tǒng)下對目標準確估計。UT變換主要是利用某種采樣策略收集Sigma點，這些點可以反映輸入信息的分布狀態(tài)，然后將每個點進行非線性變換，獲取變換后的特性。

本文主要研究輪船等水上運動目標，輪船快速移動，或目標被其它物體所遮擋時，卡爾曼濾波器無法對其位置進行準確的預測。為此，選擇無損卡爾曼濾波預測目標位置和搜索窗尺寸，即便目標被遮擋或存在背景干擾，也能夠提供比Camshift更為準確的質心位置，然后基于Bhattacheryya距離判斷遮擋和干擾。Bhattacharyya距離的計算表達式是

(5)

其中

(6)

在式(5)和式(6)中，d(y)代表Bhattacharyya距離，p(y)代表Bhattacharyya系數(shù)，pu(y)代表目標模型直方圖，qu(y)代表候選模型的直方圖。Bhattacharyya距離有助于分析原始模型和候選窗中直方圖分布的相似程度，從而評價遮擋或干擾程度，其值越小，證明二者越相似。若Bhattacharyya等于零，說明二者完全匹配，若等于1，說明二者完全不匹配。所以在這里要設定具體的判決門限值Tb，若Bhattacharyya距離小于該值，證明目標并未被遮擋。Bhattacharyya距離在作為衡量遮擋或者背景干擾的程度，在大多數(shù)的論文研究中均采用固定閾值。本文進行了一系列的實驗，在目標并未被遮擋時，直方圖彼此間的Bhattaacharyya距離，其值在0.2-0.44范圍內，因此把判決門限值Tb設置為0.45。

2.5 本文改進的Camshift算法

通常而言，輪船和波浪、背景的顏色差異并不大，并且輪船容易被遮擋，此時采用經(jīng)典Camshift進行跟蹤，由于該方法僅僅以顏色為依據(jù)，因此很有可能出現(xiàn)目標丟失的情況。為此，對該方法進行優(yōu)化，引入更多的特征，最終獲取符合目標特征的概率分布圖。通過三幀差分法提取運動特征，同時將大部分噪聲剔除出去。充分利用輪船的色調、邊緣以及運動特征，從而剔除波浪、水面其它物體的干擾。經(jīng)典Camshift方法并未應用預測機制，一旦目標被遮擋，或相鄰兩幀目標移動距離太遠，就會出現(xiàn)目標丟失的問題。為此，選擇無損卡爾曼濾波，調整目標位置的預測值，同時基于Bhattacharyya距離表征輪船的跟蹤情況。

在跟蹤方面應用以色調、邊緣以及運動特征為依據(jù)的Camshift算法，同時利用無損卡爾曼濾波預測并校正目標中心的位置，改進后的Camshift算法的程序流程如圖3所示，具體步驟如下：

(1)初始化搜索窗，提取搜索窗內的色調和邊緣特征，創(chuàng)建目標特征模型，得到融合系統(tǒng)，對無損卡爾曼濾波進行初始化處理；

(2)讀取下一幀圖像，提取色調和邊緣特征，基于前一步驟的模型繪制概率分布圖，通過三幀差分獲取運動特征，由此得到最后的概率分布圖；

(3)通過Camshift算法，搜索位置并且計算Bhattacharyya距離；

(4)基于Bhattacharyya值確定輪船的位置。若d(y)小于等于Tb，當前幀的目標位置和大小為Camshift算法的結果。如若不然，證明Camshift目標丟失，把無損卡爾曼濾波預測提供的結果當做最終結果。

(5)基于上一步驟獲取的目標坐標，調整無損卡爾曼濾波中的參數(shù)；

(6)重復(2)，直到不存在下一幀圖像。

圖3 算法思路

3 實驗結果與分析

本文將改進后的算法與傳統(tǒng)Camshift算法和文獻[5]Camshift與卡爾曼濾波結合的方法進行了比較。實驗數(shù)據(jù)包括多組游艇、商船在內的輪船視頻，了解在存在部分遮擋以及同色系干擾情況下能否成功跟蹤目標。因篇幅有限，本文只給出了2組實驗數(shù)據(jù)，跟蹤結果如圖4～圖9所示。

圖4 傳統(tǒng)的Camshift算法跟蹤效果

圖5 Camshift與卡爾曼濾波結合的跟蹤效果

圖6 本文改進方法的跟蹤結果

圖7 傳統(tǒng)的Camshift算法跟蹤結果

圖8 Camshift與卡爾曼濾波結合的跟蹤效果

圖9 本文改進方法的跟蹤效果

圖4～圖6給出了跟蹤結果，跟蹤對象是單個游艇，圖像中右下角的數(shù)字表示視頻中第幾幀。該視頻中游艇激起的波浪較大，和游艇的顏色相近，只利用色調直方圖會導致跟蹤窗擴大，而且在前30幀圖像里面，存在其它船舶的干擾。

圖4即為使用經(jīng)典Camshift算法提供的結果，圖中目標為白色，圖里面還存在其它的船舶，也是白色，所以橢圓窗會不斷擴大，并且還有波紋的存在。目標船舶上人的救生衣、岸上的道路和背景里面的涼亭顏色差異不大，所以到了第40幀后，目標丟失，跟蹤結果里面僅存在涼亭、道路等。

圖5采用Camshift算法與卡爾曼濾波相結合的方法，橢圓代表經(jīng)典Camshift算法提供的結果，矩形代表優(yōu)化后的跟蹤結果。第20幀受到非目標船舶的影響，經(jīng)典Camshift跟蹤目標丟失，而優(yōu)化后的算法依舊能夠準確地跟蹤目標。

圖6為優(yōu)化后的方法的跟蹤情況，由此可見，新的算法始終保持對目標的跟蹤，跟蹤窗里面的背景信息很少，比傳統(tǒng)Camshift方法，以及Camshift與卡爾曼結合的方法魯棒性好。

圖7～圖9采用一組室外游艇、輪船視頻，跟蹤對象是由左到右行駛中的單個輪船目標。該視頻中游艇與非目標船舶重疊、遮擋，目標的顏色和岸上的石頭、水面波浪的顏色差異很小。

圖7為經(jīng)典Camshift算法所得到的結果，對該圖進行分析可知，目標和非目標船舶的顏色存在差異，如果后者遮擋前者，跟蹤效果不會受到明顯的影響，不過目標船舶和背景、水面的波浪顏色基本相同，所以跟蹤窗逐漸擴大，將岸邊也當做目標進行跟蹤。

圖8即為采用Camshift算法與卡爾曼濾波相結合方法的跟蹤結果，Camshift得到的結果包含了岸上的石頭，到第40幀后，目標和波浪、背景顏色差異不大，導致Camshift跟蹤錯誤，在這種情況下，卡爾曼濾波一直修正Camshift的跟蹤結果，第80幀矩形窗里面依舊存在大量的背景信息。

圖9即為本文方法的跟蹤效果，在整個過程中，跟蹤窗內都能看到目標，并未發(fā)生偏離現(xiàn)象，魯棒性較好。

表1給出了不同跟蹤算法性能的對比情況，該表里面平均每幀處理時間是視頻的總處理時間和總幀數(shù)的商。在本文中，將邊緣、運動特征引入到經(jīng)典Camshift算法中來，同時應用無損卡爾曼濾波，對該算法進行改進，從而提高了算法的跟蹤成功率，不過整個跟蹤過程卻變得更加復雜。對于經(jīng)典Camshift算法而言，其實時性和統(tǒng)計概率分布圖中目標質心位置時的迭代次數(shù)有關。對表1里面的數(shù)據(jù)進行分析可知，本文方法跟蹤成功率更高，迭代次數(shù)更少，平均每幀處理時間比Camshift與卡爾曼濾波結合縮短了將近一倍，在運行時間上和經(jīng)典Camshift算法差異非常小。

表1 不同跟蹤算法的性能比較結果

對表1里面的準確率數(shù)據(jù)進行分析可知，應用經(jīng)典Camshift算法和 Camshift與卡爾曼濾波結合的方法，如果單純地以顏色特征為依據(jù)來跟蹤，若目標和背景的顏色比較相似，在這種情況下容易出現(xiàn)目標丟失的問題。因此，本文對經(jīng)典Camshift方法進行改進，引入其它方面的特征，解決顏色干擾問題，同時應用優(yōu)化后的非線性無損卡爾曼濾波改進，有效地提高了算法的跟蹤成功率。

對比無損卡爾曼濾波和經(jīng)典卡爾曼濾波的性能表現(xiàn)，詳見表2，通過均方根誤差評價其在預測目標位置和速度方面的偏差。海面上的運行軌跡必定隨機，非線性，并且環(huán)境嘈雜，在這種情況下卡爾曼濾波的誤差比較大，無損卡爾曼濾波性能表現(xiàn)更為突出。

表2 不同濾波器的性能比較結果

4 結束語

經(jīng)典Camshift以顏色直方圖為目標模板，因此當目標顏色和背景比較相似時，容易出現(xiàn)目標丟失的問題，為此，我們應該引入新的邊緣和運動特征，將二者和顏色特征融合在一起，從而解決顏色相似的問題。應用無損卡爾曼濾波糾正目標預測位置，和卡爾曼濾波相比，其結果更為準確和穩(wěn)定。通過Bhattacharyya距離反映跟蹤情況。Camshift目標丟失后，以無損卡爾曼濾波的結果為準。

本文提出了改進的Camshift輪船目標跟蹤算法，將基于不同特征信息的Camshift算法和無損卡爾曼濾波方法綜合起來，即便輪船被部分遮擋，或受到背景顏色的干擾，也能夠保持良好的跟蹤效果，魯棒性和實時性較好。

[1]Jun Liua,Ye Liub,Guyue Zhanga,et al.Detecting and tracking people in real time with RGB-D camera[J].Pattern Recognition Letters,2015,53(11):16-23.

[2]Thanh-Hai Tran,Thi-Lan Le.Vision based boat detection for maritime surveillance[C]//International Conference on Electronics Information and Communications,2016,43(2):1-4.

[3]TENG Fei,LIU Qing,GUO Jianming,et al.Inland waterway ship tracking using a TLD framework[J].Journal of Applied Sciences-Electronics and Information Engineering,2014,32(1):105-110(in Chinese).[騰飛,劉清,郭建明,等.TLD框架下的內河船舶跟蹤[J].應用科學學報,2014,32(1):105-110.]

[4]FAN Ling.Research and simulation of ship tracking method based on visual search[J].Ship Science and Technology,2015,37(9):181-185(in Chinese).[樊凌.基于視覺搜索的艦船跟蹤方法研究與仿真[J].艦船科學技術,2015,37(9):181-185.]

[5]RUN Junhua,CHEN Shaohua,AI Shufang,et al.Target tracking with improved Camshift based on Kalman predictor[J].Journal of Chinese Inertial Technology,2014,8(4):536-543(in Chinese).[閏鈞華,陳少華,艾淑芳,等.基于Kalman預測器的改進的Camshift目標跟蹤[J].中國慣性技術報,2014,8(4):536-543.]

[6]CHEN Xingyuan,ZHENG Liexin,PEI Hailong.Object trac-king system based on Camshift and SURF[J].Computer Engineering and Design,2016,37(4):902-905(in Chinese).[陳杏源,鄭烈心,裴海龍.基于Camshift和SURF的目標跟蹤系統(tǒng)[J].計算機工程與設計,2016,37(4):902-905.]

[7]LIU Mengmeng.The research and design of moving target re-cognition and track[D].Beijing:North China University of Technology,2017,35-49(in Chinese).[劉萌萌.移動目標識別與跟蹤方法研究與設計[D].北京:北方工業(yè)大學,2017:35-49.]

[8]GU Xin,FEI Zhiting.Object tracking based on local background weighted histogram[J].Systems Engineering and Electronics,2016,38(1):200-204(in Chinese).[顧鑫,費智婷.基于局部背景加權直方圖的目標跟蹤[J].系統(tǒng)工程與電子技術,2016,38(1):200-204.]

[9]Xiao wei An,Jaedo Kim,Youngjoon Han,et al.Optimal co-lour-based mean shift algorithm for tracking objects[J].IET Computer Vision,2014,8(3):235-244.

[10]Wang Qiu.Optimization of segmentation algorithms through mean-shift filtering preprocessing[J].IEEE Geoscience and Remote Sensing Letters,2014,11(3):622-626.

[11]XU Xiaohang,XIAO Gang,YUN Xiao,et al.Moving object tracking in complex background and occlusion conditions[J].Opto-Electronic Engineering,2013,40(1):23-30(in Chinese).[許曉航,肖剛,云霄,等.復雜背景及遮擋條件下的運動目標跟蹤[J].光電工程,2013,40(1):23-30.]

[12]LIN Jianhua,LIU Danghui,SHAO Xiankui.Multi-feature fusion Camshift algorithm and its further improvement[J].Journal of Computer Applications,2012,32(1):2814-2820(in Chinese).[林建華,劉黨輝,邵顯奎.多特征融合的Camshift算法及其進一步改進[J].計算機應用,2012,32(10):2814-2820.]

[13]SONG Xiaolin,WANG Wentao,ZHANG Weiwei.Vehicle detection and tracking based on the local binary pattern texture and improved Camshift operator[J].Journal of Hunan University(Natural Sciences),2013,40(8):52-58(in Chinese).[宋曉琳,王文濤,張偉偉.基于LBP紋理和改進Camshift算子的車輛檢測與跟蹤[J].湖南大學學報(自然科學版),2013,40(8):52-58.]

[14]LIU Houde,LIANG Bin,XU Wenfu,et al.Motion prediction and autonomous path planning for spinning target capturing[J].Journal of Jilin University(Engineering and Technology Edition),2014,44(3):757-764(in Chinese).[劉厚德,梁斌,徐文福,等.自旋目標運動預測及自主捕獲路徑規(guī)劃方法[J].吉林大學學報(工學版),2014,44(3):757-764.]

[15]YANG Lihua,GE Lei,LI Baolin,et al.Particle filter algorithm based on strong tracking UKF[J].Computer Enginee-ring and Design,2015,36(9):2432-2435(in Chinese).[楊麗華,葛磊,李保林,等.強跟蹤UKF粒子濾波算法[J].計算機工程與設計,2015,36(9):2432-2435.]