基于正交試驗的運動目標(biāo)跟蹤算法性能評價

郗潤平,薛少輝

(1.西北工業(yè)大學(xué) 計算機學(xué)院,西安 710129; 2.空天地海一體化大數(shù)據(jù)應(yīng)用技術(shù)國家工程實驗室,西安 710129; 3.陜西省語音與圖像信息處理重點實驗室,西安 710129)

0 概述

運動目標(biāo)檢測與跟蹤作為數(shù)字圖像處理和計算機視覺領(lǐng)域的一個熱門研究方向,具有潛在經(jīng)濟(jì)效益和重要應(yīng)用價值,長期以來吸引著大量學(xué)者對其進(jìn)行深入研究[1-3]。因復(fù)雜的環(huán)境、目標(biāo)運動狀態(tài)多樣性等客觀因素的影響,一種運動目標(biāo)跟蹤算法通常都僅適用于具體的某一環(huán)境或特定的條件,對算法在不同環(huán)境和條件下進(jìn)行客觀的性能評價非常必要。

目前,用于運動目標(biāo)跟蹤算法性能評價的數(shù)據(jù)集有多種,如VIVID[4]、CAVIAR[5]和PETS[6]等。在這些圖像序列中,目標(biāo)物體通常是人或汽車等,上述數(shù)據(jù)集大多沒有考慮影響算法性能的各因素的水平(因素的取值),也沒有一個通用的標(biāo)注框。當(dāng)前的主流算法評價平臺有OTB[7-8]和VOT[9-11]等,其中,OTB使用大量包含某因素的圖像序列組合來得到算法在某因素下的性能表現(xiàn),VOT分析多種視頻跟蹤算法評價標(biāo)準(zhǔn)的相關(guān)性,找到較為合適的評價標(biāo)準(zhǔn),更新的VOT數(shù)據(jù)集甚至每幀都對影響因素進(jìn)行了注釋,從而提高了檢測精度,但其仍然沒有考慮多因素組合場景下的算法性能表現(xiàn),在評價時存在數(shù)據(jù)集大和測試次數(shù)多等問題。

運動目標(biāo)跟蹤算法的性能受多種因素影響,如光照變化、目標(biāo)尺度變化、目標(biāo)形變等。多因素影響分析常用簡單比較法、灰色關(guān)聯(lián)度分析法[12]和正交試驗設(shè)計等數(shù)據(jù)分析方法。簡單比較法原理簡單,但在其他因素取值改變的情況下可能得到不同的結(jié)論,特別是當(dāng)因素較多時很容易得到錯誤的結(jié)論。灰色關(guān)聯(lián)度分析法可應(yīng)用多種無量綱化處理方法,用以計算各影響因素之間的貼近程度,但其難以應(yīng)用于多因素多水平的測試。正交試驗設(shè)計方法通過挑選影響試驗結(jié)果的因素來確定因素水平數(shù),并選取適當(dāng)?shù)恼槐磉M(jìn)行測試,使用等水平正交表進(jìn)行試驗設(shè)計可以使每個因素的不同水平均勻搭配,既減少了試驗次數(shù),也能夠保證試驗結(jié)果的準(zhǔn)確性。通過正交試驗設(shè)計方法的結(jié)果,可以利用極差分析法對影響算法性能的各因素的顯著性進(jìn)行討論、分析和排序,并獲得最佳的應(yīng)用條件。

本文提出一種基于正交試驗對運動目標(biāo)跟蹤算法性能進(jìn)行評價的方法。以TLD[13]和CXT[14]算法為例,利用正交試驗方法對影響算法性能的各因素水平進(jìn)行分析討論,從而得出算法性能表現(xiàn)最佳時的各因素水平組合方式。

1 正交試驗

基于正交試驗的運動目標(biāo)跟蹤算法性能評價方法,利用正交原理編寫標(biāo)準(zhǔn)化正交表,再依托正交表的正交性從不同水平組合試驗中挑選出部分具有代表性的圖像序列進(jìn)行試驗,以最少的試驗次數(shù)取得較全面的試驗效果。

1.1 試驗因素和水平

目前常用的運動目標(biāo)跟蹤算法有基于區(qū)域特征的跟蹤算法、基于輪廓特征的跟蹤算法、基于目標(biāo)特征的跟蹤算法和基于運動特征的跟蹤方算法。

基于區(qū)域特征的跟蹤算法(如Brox[15]等)利用圖像分割結(jié)果進(jìn)行運動目標(biāo)定位,再利用定位目標(biāo)位置對圖像的分割目標(biāo)進(jìn)行修正,該類算法在背景單一的環(huán)境中表現(xiàn)良好,但是,目標(biāo)的運動狀態(tài)和外部形狀復(fù)雜多變,如光照變化、外形變化、目標(biāo)旋轉(zhuǎn)等,在這些情況下,其無法實現(xiàn)區(qū)域特征的匹配。在基于輪廓特征的跟蹤算法中,較經(jīng)典的是Snake模型[16],在實際應(yīng)用中,運動目標(biāo)的運動場景經(jīng)常存在遮擋問題,導(dǎo)致該類方法不能實時得到外部輪廓,實現(xiàn)輪廓信息匹配的難度較大,即不能對目標(biāo)進(jìn)行有效跟蹤。基于目標(biāo)特征的跟蹤算法通過目標(biāo)的一個或幾個特征信息(如目標(biāo)顏色、紋理、邊緣等)進(jìn)行匹配以尋找目標(biāo)的位置,實現(xiàn)對目標(biāo)的跟蹤[17],即使目標(biāo)的一部分被遮擋,也能夠通過部分特征點繼續(xù)對目標(biāo)進(jìn)行跟蹤,但當(dāng)目標(biāo)發(fā)生旋轉(zhuǎn)或者運動并非勻速或勻加速時,這種方法的部分特征會消失,這時跟蹤效果不夠理想。基于運動特征的跟蹤算法(如Kalman濾波算法[18]和粒子濾波算法[19])利用歷史視頻幀中目標(biāo)的運動信息,在整幅圖像范圍內(nèi)進(jìn)行搜索,找到能夠和前面視頻幀中目標(biāo)特征相匹配的目標(biāo)范圍,然后通過檢測技術(shù)將搜索限定在較小范圍內(nèi)。

運動目標(biāo)所處的場景多種多樣,這些場景對運動目標(biāo)的檢測和跟蹤帶來較大挑戰(zhàn)。例如,條紋狀背景會造成基于邊緣特征的跟蹤算法失效,或背景與運動目標(biāo)的顏色相近,使基于顏色特征的目標(biāo)跟蹤變得困難。光照變化也是運動目標(biāo)檢測和跟蹤中不可忽視的一個問題,在不同的光線下,人體目標(biāo)的衣著呈現(xiàn)不同的顏色,使基于顏色特征的跟蹤算法幾乎失效。雖然可采用不同的顏色系統(tǒng)來減輕光照變化對算法的影響,但是光照的變化仍然是困擾目標(biāo)跟蹤的一個重要因素。遮擋是目標(biāo)跟蹤場景中的常見情況,目標(biāo)可能被背景中靜止的物體遮擋,也可能被另外的運動目標(biāo)遮擋,或者由于自身旋轉(zhuǎn)而遮擋本身的某些信息以遮擋表現(xiàn)為目標(biāo)信息的逐漸丟失,而跟蹤算法的關(guān)鍵就是搜索足夠多的目標(biāo)信息以判定目標(biāo)所在,因此,遮擋給目標(biāo)跟蹤的結(jié)果帶來不確定性,可能導(dǎo)致目標(biāo)跟蹤不穩(wěn)定甚至丟失目標(biāo)等。

根據(jù)以上分析與討論,本文將影響運動目標(biāo)跟蹤算法性能的因素歸結(jié)為環(huán)境因素、目標(biāo)特征、跟蹤干擾因素3類,表1～表3分別為3類常見因素的具體描述。

表1 環(huán)境因素的具體情況Table 1 Specific situation of environmental factors

表2 目標(biāo)特征的具體情況Table 2 Specific situation of target characteristics

表3 圖源跟蹤干擾因素的具體情況Table 3 Specific situation of tracking interference factors of image source

1.2 圖像序列選取

本文選取7個因素作為運動目標(biāo)跟蹤算法性能評價時所考慮的因素,并對其水平進(jìn)行適當(dāng)?shù)膭澐?具體如下:

A因素表示背景與目標(biāo)特征相似,水平:是/否。

B因素表示形變,水平:有/無。

C因素表示遮擋,水平:有/無。

D因素表示水平面外旋轉(zhuǎn),水平:有/無。

E因素表示水平面內(nèi)旋轉(zhuǎn),水平:有/無。

F因素表示尺度變化,水平:有/無。

G因素表示亮度變化,水平:有/無。

水平值取1或2,各因素水平值劃分具體情況如表4所示。

表4 影響算法性能的各因素水平取值劃分Table 4 Value division factors levels affecting algorithmperformance

1.3 圖像數(shù)據(jù)選取

根據(jù)表4中列出的7個因素2個水平,選用L8(27)表[20]來進(jìn)行本文試驗。正交表如表5所示,其中,“有”表示這組圖像序列明顯包含該影響因素,如第7組數(shù)據(jù)集C、D和G因素最為顯著。依據(jù)該正交試驗表中的因素水平組合來安排本文測試。

表5 圖像序列的正交試驗表Table 5 Orthogonal test table of image sequence

在表5中,部分因素水平組合的圖像序列在實際情況中不易拍攝到,因此,可以考慮采用圖像合成[21]的方式,即將目標(biāo)融合到背景圖像中得到無法采集到的圖像。正交試驗方法是完全試驗和簡單對比試驗的結(jié)合,它所選出的數(shù)據(jù)具有代表性,因此,在運動目標(biāo)跟蹤算法評價中,圖像序列選取的應(yīng)該是能夠考核該算法的具有代表性的圖像序列。而在有些情況下,由于某種原因,部分因素水平組合所需的試驗場景并不能通過拍攝得到或者這部分圖像序列采集代價較高。通過人工合成這些不容易獲得的數(shù)據(jù)圖像序列成為一種有效手段,過程中的關(guān)鍵是使合成的目標(biāo)與背景更貼近,使之接近于真實的圖像序列。因此,圖像合成在圖像序列運動目標(biāo)檢測和跟蹤算法評價方面具有十分重要的意義。

1.4 試驗數(shù)據(jù)集

圖1所示為本文試驗所用數(shù)據(jù),其中,方框為數(shù)據(jù)集的基準(zhǔn)框,8行圖像分別代表了1組～8組的試驗數(shù)據(jù),每組有3個圖像序列,以避免指標(biāo)受圖像序列極端狀況的影響而導(dǎo)致試驗失敗。每組試驗選取的3個圖像序列數(shù)據(jù)均滿足該組試驗因素和水平組合的要求。對算法性能表現(xiàn)結(jié)果采用加權(quán)平均和的方式來得到本組試驗的最終準(zhǔn)確率結(jié)果。

圖1 試驗數(shù)據(jù)集Fig.1 Experimental dataset

2 正交試驗方案評價機制

在選定測試圖像序列之后,即可進(jìn)行算法測試和數(shù)據(jù)分析。基于正交試驗方法的運動目標(biāo)跟蹤算法性能評價框架如圖2所示。

圖2 基于正交試驗的運動目標(biāo)跟蹤算法性能評價框架Fig.2 Performance evaluation framework of moving targettracking algorithm based on orthogonal test

基于正交試驗的運動目標(biāo)跟蹤算法性能評價方法主要包括以下過程:

1)數(shù)據(jù)挑選。按照正交表挑選和組合8組滿足正交表因素水平組合要求的圖像數(shù)據(jù)。

2)算法測試。使用算法分別對8組圖像數(shù)據(jù)進(jìn)行目標(biāo)跟蹤,統(tǒng)計每組試驗的結(jié)果。

3)極差分析[22]。極差分析方法(簡稱R法)利用數(shù)理統(tǒng)計方法計算出正交表中該因素在其取值范圍內(nèi)試驗指標(biāo)變化的幅度,即根據(jù)極差R值來判斷各因素的主次、最優(yōu)的因素水平組合。極差R值計算如下,其中,如果Rj值越大,說明該因素對試驗結(jié)果的影響程度越大。

Kij=Tij/r

(1)

Rj=Tij(max)-Tij(min)

(2)

其中,i為水平數(shù),j為正交表中的列數(shù),即因素數(shù),r為某因素中相同水平重復(fù)試驗的次數(shù),Kij為第j列第i水平的試驗平均值,Tij為第j列第i水平的試驗結(jié)果yi之和,Tij(max)為第j列中的最大Tij值,Tij(min)為第j列中的最小Tij值,Rj為第j列的極差值。

4)驗證試驗。正交試驗是以少代多的試驗,根據(jù)試驗得出的因素水平組合并不一定最優(yōu),但是通過它可以獲得算法較好的性能表現(xiàn)。將通過試驗分析所得的優(yōu)選因素組合條件與已做試驗中的最好方案的因素組合條件進(jìn)行對比驗證,以確定其優(yōu)劣。

3 仿真結(jié)果與分析

本文以選取的圖像序列作為輸入,基于TLD算法和CXT算法對圖像序列中的目標(biāo)進(jìn)行檢測,依據(jù)檢測結(jié)果進(jìn)行極差分析,得出算法的性能評價結(jié)果。本節(jié)將從評價指標(biāo)、極差分析和試驗結(jié)果評估與分析等方面進(jìn)行討論。

3.1 評價指標(biāo)選取與構(gòu)建

運動目標(biāo)跟蹤算法性能評價標(biāo)準(zhǔn)有多種,如中心誤差、區(qū)域重疊率和準(zhǔn)確率等。中心誤差指預(yù)測中心點位置與標(biāo)注的中心位置的歐氏距離,但在實際應(yīng)用中,跟蹤失敗和框的尺寸導(dǎo)致中心誤差的意義不明確。重疊率S表示重疊面積所占的比例,計算如下:

(3)

其中,rt和ra分別表示跟蹤獲得的和真實獲得的邊界框。當(dāng)重疊率大于特定閾值t0(0

極差Rj在本文中用來表示某因素對算法性能影響的大小。Rj值越大,平均重疊率越小。構(gòu)造式(5)指標(biāo)作為算法在該因素下的得分情況,其能反映各影響因素之間的關(guān)系。

(4)

表6 2種算法在OTB和本文正交試驗方法下的性能表現(xiàn)對比Table 6 Performance comparison of two algorithms underOTB and text orthogonal test

圖3 CXT算法各影響因素的得分情況Fig.3 Score of each influencing factor of CXT algorithm

3.2 極差分析結(jié)果

圖4～圖7所示為各試驗組下的TLD和CXT算法性能表現(xiàn)對比,括號內(nèi)數(shù)字為AUC值,前8組為算法在各組圖像序列下的性能表現(xiàn),根據(jù)這8組性能表現(xiàn)結(jié)果進(jìn)行極差分析,最后一組為試驗分析得出的組合因素水平下的算法性能表現(xiàn)。表7、表8所示為算法測試與極差分析結(jié)果。根據(jù)表6～表8的分析結(jié)果得出,7種因素對算法性能影響的強弱關(guān)系為:目標(biāo)形變影響最大,然后依次是目標(biāo)遮擋、平面外旋轉(zhuǎn),而光照變化、目標(biāo)尺度變化、背景相似、平面內(nèi)旋轉(zhuǎn)等因素對算法性能影響稍弱。根據(jù)圖3、表6可以看出,本文正交試驗對CXT算法的各因素得分情況與OTB基本一致。根據(jù)OTB對CXT算法的評估結(jié)果可以看出,算法在目標(biāo)形變因素下的重疊率最低,因此,目標(biāo)形變因素對算法性能影響最大,然后依次是目標(biāo)遮擋、平面外旋轉(zhuǎn)等。顯然,本文得出的因素對算法性能影響的強弱關(guān)系結(jié)果與OTB相一致。

圖4 TLD算法成功率隨像素誤差閾值的變化Fig.4 Success rate of TLD algorithm changing with pixelerror rate

圖5 TLD算法成功率隨重疊率閾值的變化Fig.5 Success rate of TLD algorithm changing with overlaprate threshold

圖6 CXT算法成功率隨像素誤差閾值的變化Fig.6 Success rate of CXT algorithm changing with pixelerror threshold

圖7 CXT算法成功率隨重疊率閾值的變化Fig.7 Success rate of CXT algorithm changing with overlaprate threshold

表7 算法測試結(jié)果Table 7 Results of algorithm tests %

表8 極差分析結(jié)果Table 8 Results of range analysis

根據(jù)優(yōu)選結(jié)果可以看出,TLD算法在有光照變化、無尺度變化、無目標(biāo)遮擋、無目標(biāo)形變、無快速運動、有平面外旋轉(zhuǎn)、無背景相似、無平面內(nèi)旋轉(zhuǎn)的最優(yōu)化組合條件下性能表現(xiàn)最佳。顯然,最優(yōu)組合未包含在正交試驗設(shè)計表中,為對正交試驗的優(yōu)化結(jié)果進(jìn)行驗證,本文對算法在最優(yōu)組合條件下的表現(xiàn)進(jìn)行測試。按照優(yōu)選結(jié)果,選取平面外旋轉(zhuǎn)和光照變化2種因素最為顯著的圖像序列組合,圖8所示為最優(yōu)組合數(shù)據(jù)集。TLD算法在最優(yōu)因素水平組合(見表9)上準(zhǔn)確率達(dá)到了0.71,中心誤差為10.00,遠(yuǎn)低于其他組。與正交表中的各組指標(biāo)值進(jìn)行比較,發(fā)現(xiàn)正交試驗設(shè)計方法所得優(yōu)化組合結(jié)果有效。對于CXT算法,其在各因素對算法性能影響的強弱關(guān)系方面也得到了與TLD接近的結(jié)果,而且優(yōu)選組合結(jié)果的表現(xiàn)優(yōu)于其他組,圖9所示為該算法的最優(yōu)組合數(shù)據(jù)集。

圖8 TLD算法最優(yōu)組合場景數(shù)據(jù)集Fig.8 Dataset of TLD algorithm with optimal combination setting

表9 2種算法性能表現(xiàn)最佳的因素水平組合Table 9 Factor level combination of two algorithms withoptimal performance

圖9 CXT算法最優(yōu)組合場景數(shù)據(jù)集Fig.9 Dataset of CXT algorithm with optimal combination setting

4 結(jié)束語

本文提出一種基于正交試驗的運動目標(biāo)跟蹤算法性能評價方法。通過引入正交試驗設(shè)計,實現(xiàn)以較少的試驗次數(shù)和數(shù)據(jù)對不同影響因素和水平下的TLD和CXT算法的性能評價,得出各影響因素之間的強弱關(guān)系以及算法性能表現(xiàn)較好時的水平組合。仿真結(jié)果表明,該方法所得出的結(jié)論與實際情況相符。應(yīng)用正交表設(shè)計運動目標(biāo)跟蹤算法性能評價系統(tǒng)是一種高效、快速且經(jīng)濟(jì)的方法,其也為其他圖像處理算法的性能評價提供了借鑒和參考。下一步將考慮對因素水平進(jìn)行多級量化,以優(yōu)化得分精度并拓展適用場景。