基于仿射變換模型的圖像跟蹤系統(tǒng)的實現(xiàn)

翟春艷，陳文博

（中國電子科技集團(tuán)公司 第二十七研究所，河南 鄭州 450047）

隨著現(xiàn)代戰(zhàn)爭的發(fā)展，越來越需要對目標(biāo)進(jìn)行遠(yuǎn)距離的精確定位和跟蹤。傳統(tǒng)跟蹤以毫米波雷達(dá)為傳感器，具有探測距離遠(yuǎn)，不受氣象環(huán)境影響等優(yōu)點，但存在有源工作易暴露己方，角分辨精度較低，易受電磁干擾等缺點。由于圖像跟蹤充分利用了高分辨率的圖像信息，在近程（幾公里至幾十公里）具有無源工作隱蔽性好、抗電磁干擾、在海上應(yīng)用中可低角度工作、無多徑干擾、對小目標(biāo)分辨力強(qiáng)、跟蹤精度高、可選擇攻擊點和發(fā)射后不管等優(yōu)點，在現(xiàn)代武器系統(tǒng)中獲得了越來越多的應(yīng)用，成為警戒搜索、跟蹤和制導(dǎo)系統(tǒng)的重要組成部分。

但是，在武器系統(tǒng)中的圖像處理基本上都是針對連續(xù)的運動圖像，不論是目標(biāo)的運動，還是武器系統(tǒng)自身的運動，觀測到的圖像序列存在著目標(biāo)相對背景的運動、由傳感器運動造成的場景圖像的整體運動、以及由于視角變化使得目標(biāo)物體表現(xiàn)出圖像形態(tài)的不穩(wěn)定、目標(biāo)物體的平面旋轉(zhuǎn)、尺度變化、三維空間旋轉(zhuǎn)、照度變化、非線性幾何畸變、局部或整體遮擋、部分背景圖像變化等。所有這些因素都使得基于圖像信號處理的目標(biāo)檢測、識別、跟蹤處理系統(tǒng)的設(shè)計面臨挑戰(zhàn)，即需要努力提高算法與系統(tǒng)的魯棒性。

基于運動模型的跟蹤采取特定的目標(biāo)運動模型來實現(xiàn)跟蹤。運動模型越詳盡精確，對目標(biāo)物體之運動變化的描述能力就越強(qiáng)，以其為基礎(chǔ)的算法就能夠得到更高的定位精度，獲得更好的跟蹤效果。在目標(biāo)運動模型中，平移模型僅包含目標(biāo)在水平、垂直方向上的位移兩個參數(shù)，對目標(biāo)運動變化的刻畫能力過于簡單，無法有效地適應(yīng)目標(biāo)在圖像中通常會發(fā)生的縮放、旋轉(zhuǎn)甚至錯切等變化。另外，傳統(tǒng)的互相關(guān)匹配算法[1]采用固定尺寸的矩形跟蹤框，在目標(biāo)發(fā)生尺度變化時容易產(chǎn)生誤差。而且隨著模板的更新，誤差通常會不斷累加，導(dǎo)致跟蹤框逐漸飄移，最終很容易丟失目標(biāo)。六參數(shù)的仿射變換模型不僅包含了位移模型中的水平和豎直位移參數(shù)，還包含了描述目標(biāo)旋轉(zhuǎn)、比例放大等變化的參數(shù)，可以描述物體所發(fā)生的平移、縮放、二維旋轉(zhuǎn)、錯切等運動變化。在實際應(yīng)用中，圖像目標(biāo)通常會發(fā)生尺度、旋轉(zhuǎn)等變化；另一方面，目標(biāo)與圖像采集設(shè)備之間的距離通常較遠(yuǎn)，其三維變化常可以用二維變化來近似，所以，在兼顧跟蹤效果和計算效率的考量之下，本圖像跟蹤系統(tǒng)選擇使用了六參數(shù)的仿射變換運動模型。

1 仿射變換模型的建立

仿射變換是一種基本的幾何變換，可以用來描述圖像在二維空間中的旋轉(zhuǎn)、尺度變化和位移[2-3]。仿射變換共有6個自由度。仿射變換是一種線性變換，即具有將平行線變換成平行線、有限點映射到有限點的一般特性。它可以描述3D空間中的目標(biāo)到2D平面的成像過程，具體表現(xiàn)可以是各個方向尺度變換、系數(shù)一致的均勻尺度變換或變換系數(shù)不一致的非均勻尺度變換及剪切變換等。仿射變換具有平移、旋轉(zhuǎn)和縮放不變性。

以模板圖像中心為坐標(biāo)原點建立坐標(biāo)系，那么模板圖像（目標(biāo)圖像）表示為 I（X）。 模板圖像中的像素點 X=（x，y）經(jīng)仿射變換后，變?yōu)檩斎雸D像中的點Y，其中X和Y之間存在仿射關(guān)系：Y=X+U。U 為 X 和仿射系數(shù) a=（a0，a1，a2，a3，a4，a5）的函數(shù)U（X，a）=（u，v）[4]。

其中x和y是相對于模板圖像中心的水平和垂直坐標(biāo)，u和v表示仿射變換后的圖像在水平和垂直方向的變化量。

若用 I（X+U（X，a））來表示模板圖像 I（X）經(jīng)過仿射變換后在輸入圖像中的對應(yīng)區(qū)域，則在灰度不變性前提下有公式成立：

上面的公式利用仿射變換關(guān)系將模板（目標(biāo)）圖像和輸入圖像之間建立起了關(guān)系。

2 圖像跟蹤系統(tǒng)組成及硬件設(shè)計

圖像跟蹤系統(tǒng)追求對目標(biāo)測量的精確性，對背景和干擾的抑制能力和數(shù)據(jù)處理的實時性，而這些性能都取決于處理算法的有效性和系統(tǒng)硬件設(shè)計。基于仿射變換模型的目標(biāo)跟蹤算法性能上優(yōu)于傳統(tǒng)的歸一化互相關(guān)和平均絕對差圖像跟蹤方法，但是這種性能的改進(jìn)是以增加數(shù)據(jù)處理的計算量為代價換的，而且許多計算是浮點運算，并且算法運算是迭代進(jìn)行，每次處理的時間是不盡相同的。因此在進(jìn)行系統(tǒng)硬件電路設(shè)計時，要根據(jù)系統(tǒng)要求的技術(shù)指標(biāo)在數(shù)據(jù)處理的實時性、硬件系統(tǒng)的規(guī)模、系統(tǒng)調(diào)試難度上進(jìn)行權(quán)衡，確定最佳方案。

圖像跟蹤系統(tǒng)硬件電路采用雙DSP+FPGA的結(jié)構(gòu)。硬件電路包含視頻采集轉(zhuǎn)換、數(shù)據(jù)處理、視頻輸出以及串口通信單元。其中DSP子系統(tǒng)是整個系統(tǒng)的核心，它承擔(dān)了整個圖像跟蹤系統(tǒng)的數(shù)據(jù)處理的任務(wù)，是跟蹤算法的實現(xiàn)環(huán)節(jié)。系統(tǒng)的硬件電路設(shè)計框圖如圖1所示。

圖1 系統(tǒng)硬件電路設(shè)計框圖Fig.1 Design diagram of system hardware circuit

基于仿射變換模型的跟蹤算法是一個復(fù)雜的浮點數(shù)據(jù)計算過程，將占用和耗費大量的硬件資源和運算時間，DSP采用TI公司最新的高速浮點數(shù)字信號處理器TMS320C6713。考慮到DSP子系統(tǒng)在進(jìn)行數(shù)據(jù)運算時，只依靠DSP內(nèi)部的數(shù)據(jù)存儲空間有可能不夠，DSP外掛兩片靜態(tài)存儲器（CY7C1041V33）作為擴(kuò)展存儲器，并掛接一片F(xiàn)LASH（AT29LV010A）作為DSP自舉時的程序存儲器。

系統(tǒng)從攝像機(jī)輸入PAL制式的視頻數(shù)據(jù)，利用EL4501進(jìn)行視頻的直流嵌位和同步分離，嵌位后的視頻通過TJ1031進(jìn)行A/D轉(zhuǎn)換。同步分離產(chǎn)生的同步信號作為系統(tǒng)的基準(zhǔn)時序信號，在FPGA時序電路中生成同步的系統(tǒng)時鐘，行列計數(shù)等信號。圖像數(shù)據(jù)是在電視信號的正程中采集，為了避免信號的沖突，本場的圖像數(shù)據(jù)只能從本場的場逆程起始點處開始處理或者從下一場的正程起始點處開始處理。然而電視信號的逆程十分短，根本不能完成數(shù)據(jù)運算，因此即使是從本場的場逆程起始點處開始處理，處理的時間仍然會跨越到下一場的正程中。為了滿足數(shù)據(jù)處理的需要，在圖像幀存方面，本設(shè)計采用了雙倍于圖像大?。?56×256，64 kB）的雙口RAM——IDT70V19（128 kB×9 bit）作為圖像存儲器。 這樣可以將相鄰兩場的圖像數(shù)據(jù)分別存儲在圖像存儲器的上下半?yún)^(qū)中，避免一旦處理速度跟不上導(dǎo)致的數(shù)據(jù)沖突問題。同時為了使系統(tǒng)能夠適應(yīng)不同的處理速度的要求，系統(tǒng)還可以設(shè)置圖像存儲器的工作模式為按場采集或者按幀采集。圖像存儲器按場和按幀工作模式的示意圖如圖2所示。

2個DSP協(xié)同工作，可以并行工作，共同完成一個任務(wù)，也可以獨立工作，分別完成不同的任務(wù)。主DSP利用外部UART芯片作為接口，和操控系統(tǒng)通過RS422異步串口進(jìn)行通信。在本設(shè)計中計算機(jī)操控系統(tǒng)通過RS422串口來控制圖像跟蹤系統(tǒng)的工作，圖像跟蹤系統(tǒng)也通過串口輸出偏差信息。數(shù)據(jù)處理完成后，將原始電視視頻信號同代表數(shù)據(jù)處理結(jié)果的字符，圖形信號進(jìn)行疊加后輸出到監(jiān)視器顯示。系統(tǒng)的硬件電路結(jié)構(gòu)框圖如圖3所示。

3 系統(tǒng)軟件設(shè)計

圖2 存儲器工作模式示意圖Fig.2 Diagram of memory working model

圖3 硬件電路結(jié)構(gòu)框圖Fig.3 Structure of hardware circuit

本圖像跟蹤系統(tǒng)初始目標(biāo)捕獲由人工完成。操控人員在視場中選定目標(biāo)區(qū)域，并根據(jù)其圖像數(shù)據(jù)建立起初始模板。然后，依次讀入下一幀輸入圖像。對于當(dāng)前讀入的輸入圖像，在灰度不變性前提下，依仿射變換模型存在模板數(shù)據(jù)和輸入圖像之間的灰度分布等式關(guān)系，以該等式中的仿射變換參數(shù)為待定變量。在給定仿射參數(shù)初始估計值的基礎(chǔ)上，通過求解仿射參數(shù)增量的方式來求解最終仿射參數(shù)。以仿射參數(shù)增量為待定變量，按特定的相似性度量[5]和誤差映射準(zhǔn)則建立起模板和準(zhǔn)目標(biāo)之間的誤差評價函數(shù)，算法的目標(biāo)就在于使該誤差評價函數(shù)得到極小值。以該函數(shù)對仿射參數(shù)增量之各分量的偏導(dǎo)數(shù)為零建立起方程組，采用牛頓迭代最優(yōu)化方法求解該方程組，迭代收斂后得到仿射參數(shù)增量，也就得到了針對當(dāng)前幀輸入圖像的最終仿射參數(shù)。按該仿射參數(shù)到輸入圖像中截取相應(yīng)區(qū)域，得到當(dāng)前幀中的目標(biāo)位置和姿態(tài)。

最后，將上一幀的仿射變換參數(shù)值作為下一幀的仿射參數(shù)迭代初始值，并按照對舊模板數(shù)據(jù)和目標(biāo)數(shù)據(jù)作加權(quán)相加的方式對模板數(shù)據(jù)進(jìn)行更新，然后使用該仿射參數(shù)初始值和新模板數(shù)據(jù)進(jìn)行下一幀跟蹤。

在按照某組仿射參數(shù)到輸入圖像中截取相應(yīng)區(qū)域的過程中，原象素點坐標(biāo)值在經(jīng)仿射變換后得到的通常不是整數(shù)值，此時需要進(jìn)行插值處理。這里采用計算量合理同時插值效果也較為理想的雙線形插值方法來截取準(zhǔn)目標(biāo)數(shù)據(jù)。

算法中，在對模板圖像數(shù)據(jù)和準(zhǔn)目標(biāo)圖像數(shù)據(jù)作相似性度量時，出于加強(qiáng)抗光照變化魯棒性能的考慮，對模板數(shù)據(jù)和準(zhǔn)目標(biāo)數(shù)據(jù)進(jìn)行了去均值歸一化[6]的處理。在牛頓法迭代計算過程中，預(yù)先指定最大迭代次數(shù)。若迭代次數(shù)超過了該預(yù)設(shè)上限但是仍未能達(dá)到判斂精度要求，則認(rèn)為目標(biāo)在當(dāng)前幀中不存在或跟蹤失敗。

系統(tǒng)軟件流程圖如圖4所示。

4 實驗結(jié)果

為了比較仿射變換跟蹤和互相關(guān)跟蹤兩種方法的優(yōu)劣，在序列圖像上進(jìn)行了兩種跟蹤算法的對比。這些序列圖像上包含了各種運動姿態(tài)的目標(biāo)。序列圖像中蘇30飛機(jī)經(jīng)過尺度放大、姿態(tài)調(diào)整等飛行狀態(tài)，之間經(jīng)過了315場。

下面給出平移模型的互相關(guān)跟蹤算法和仿射變換模型的跟蹤算法進(jìn)行跟蹤的一些實驗結(jié)果，以進(jìn)行對照比較。兩種算法的跟蹤結(jié)果如圖5所示。

從圖5（a）可以看出，由于飛機(jī)目標(biāo)發(fā)生了平面旋轉(zhuǎn)，基于平移模型的互相關(guān)跟蹤算法無法自適應(yīng)調(diào)整跟蹤框以適應(yīng)目標(biāo)的姿態(tài)變化。隨著目標(biāo)旋轉(zhuǎn)角度的增大，跟蹤框所覆蓋的目標(biāo)區(qū)域變得越來越少，最終容易丟失目標(biāo)。

圖4 系統(tǒng)軟件流程圖Fig.4 Flow chart of system software

圖5 仿射變換跟蹤和互相關(guān)跟蹤比較的結(jié)果圖Fig.5 Comparison result of affine transform tracking and correlation tracking

圖5 （b）顯示，在同樣的初始條件下，當(dāng)飛機(jī)發(fā)生尺度、角度方面的變化時，基于仿射模型的跟蹤能動態(tài)地調(diào)整跟蹤框的形狀和旋轉(zhuǎn)角度，從而有效地適應(yīng)著目標(biāo)的姿態(tài)變化，獲得了較好的跟蹤結(jié)果。同時從圖中可以看出，對應(yīng)于目標(biāo)的小幅度三維旋轉(zhuǎn)，跟蹤框從矩形變化成了平行四邊形，在一定程度上適應(yīng)了目標(biāo)的三維旋轉(zhuǎn)，從而較為理想地實現(xiàn)目標(biāo)發(fā)生復(fù)雜變化情況下的魯棒跟蹤。

5 結(jié)束語

文中從建立仿射變換模型出發(fā)，提出了跟蹤系統(tǒng)的設(shè)計方案，設(shè)計了一種基于仿射變換模型的實時圖像跟蹤系統(tǒng)。該系統(tǒng)易于硬件實現(xiàn)，實時性高，跟蹤效果良好，滿足工程應(yīng)用要求。并且在設(shè)計中考慮到了硬件電路的通用性，因此該硬件電路還可以作為一個通用的電視跟蹤算法的實驗平臺。

[1]李尊民.電視圖像自動跟蹤的基本原理[M].北京：國防工業(yè)出版社，1998.

[2]曾文峰，李樹山，王江安.基于仿射變換模型的圖像配準(zhǔn)中的平移，旋轉(zhuǎn)和縮放[J].紅外與激光工程，2001，30（1）：18-20.ZENG Wen-feng，LI Shu-shan，WANG Jiang-an.Translation，rotation and scaling changes in image registration based affine transformation model[J].Infrared and Laser Engineering，2001，30（1）:18-20.

[3]徐宏文，郭紹忠.投影理論基礎(chǔ)[M].天津：天津大學(xué)出版社，1991.

[4]王曉靜，王鐵軍，許高升.一種基于仿射變換模型的圖像自動對準(zhǔn)方法[J].戰(zhàn)術(shù)導(dǎo)彈技術(shù)，2008（5）：73-77.WANG Xiao-jing，WANG Tie-jun，XU Gao-sheng.A new image registration approach based on affine transformation model[J].Tactical Missile Technology，2008（5）:73-77.

[5]王振華，董明利，祝連慶，等.一種基于極幾何和仿射變換的圖像匹配方法研究[J].工具技術(shù)，2007（12）：74-77.WANG Zhen-hua，DONG Ming-li，ZHU Lian-qingetal.Image matching method based on epipolar geometry and affine transformation[J].Tool Engineering，2007（12）:74-77.

[6]于晨，劉宇.基于模板匹配技術(shù)的運動物體跟蹤方法研究[J].自動化技術(shù)與應(yīng)用，2007，26（8）： 68-70.YU Chen，LIU Yu.Visual tracking of a moving target based on template matching[J].Techniques of Automation and Applications，2007，26（8）:68-70.