紅外圖像實(shí)時(shí)跟蹤系統(tǒng)

系統(tǒng)組成及工作原理

實(shí)時(shí)紅外圖像自動(dòng)跟蹤系統(tǒng)，對(duì)紅外成像傳感器獲取的地面場(chǎng)景圖像數(shù)據(jù)中指定目標(biāo)區(qū)域進(jìn)行實(shí)時(shí)自動(dòng)跟蹤，實(shí)時(shí)解算出目標(biāo)在圖像場(chǎng)景中的精確位置，并輸出目標(biāo)偏離系統(tǒng)視軸的方位，通過伺服控制回路，驅(qū)動(dòng)穩(wěn)定平臺(tái)跟蹤目標(biāo)。同時(shí)，圖像跟蹤系統(tǒng)接受來自外部控制系統(tǒng)的控制命令和數(shù)據(jù)，并按總體通訊協(xié)議要求向外部控制系統(tǒng)回送跟蹤系統(tǒng)的狀態(tài)、圖像數(shù)據(jù)和系統(tǒng)關(guān)鍵參數(shù)。

根據(jù)系統(tǒng)總體要求，選擇Altera公司Strafix系列的EPlS25。實(shí)時(shí)圖像跟蹤系統(tǒng)總體框圖如圖1所示，圖像跟蹤系統(tǒng)接受來自紅外成像焦平面視頻數(shù)據(jù)流，通過視頻信號(hào)行場(chǎng)和像素時(shí)鐘用來確定視場(chǎng)中每個(gè)像素的空間位置，視頻信號(hào)分為兩路處理，一路經(jīng)過系統(tǒng)中的NiosⅡ相關(guān)跟蹤部分作自動(dòng)跟蹤處理，另一路通過采集和顯示邏輯送到ICD監(jiān)視器用來觀察系統(tǒng)跟蹤情況。啟動(dòng)相關(guān)跟蹤之前，系統(tǒng)通過遠(yuǎn)距離的RS485接收目標(biāo)位置和大小參數(shù)，將選定目標(biāo)分割后的數(shù)據(jù)保存到目標(biāo)模板存儲(chǔ)區(qū)，形成初始模板。利用模板對(duì)目標(biāo)進(jìn)行跟蹤，對(duì)跟蹤結(jié)果進(jìn)行預(yù)測(cè)外推，得到目標(biāo)的坐標(biāo)參數(shù)誤差后，通過RS232控制伺服系統(tǒng)對(duì)目標(biāo)進(jìn)行跟蹤。為了減小外圍電路使用，系統(tǒng)采用對(duì)二值化后的數(shù)據(jù)進(jìn)行相關(guān)匹配方式。考慮到EPlS25帶有1944576bits的RAM，因此利用RAM模塊用來做高速相關(guān)匹配模板存儲(chǔ)區(qū)，例化兩場(chǎng)圖像數(shù)據(jù)需要120000bits，僅占片內(nèi)RAM總?cè)萘康?％。

跟蹤算法

目前有多種算法可用于目標(biāo)跟蹤。為了發(fā)揮FPGA實(shí)現(xiàn)并行算法的優(yōu)勢(shì)和NiosⅡ的靈活性，系統(tǒng)采用自遞歸的Otsu分割和相關(guān)跟蹤算法對(duì)紅外目標(biāo)進(jìn)行穩(wěn)定跟蹤，為了提高跟蹤精度，克服分割后的噪聲干擾，采用形態(tài)學(xué)方法去除噪聲突出目標(biāo)。整個(gè)算法的實(shí)現(xiàn)過程如圖2所示。

目標(biāo)分割

目標(biāo)圖像的分割效果尤其是有效地使目標(biāo)從背景中分離出來是保證系統(tǒng)穩(wěn)定跟蹤的關(guān)鍵。系統(tǒng)采用自遞歸的Otsu的聚類分割法。用聚類準(zhǔn)則分割圖像，當(dāng)目標(biāo)在圖像中占有適當(dāng)?shù)谋壤龝r(shí)，分割結(jié)果比較好，而且算法比較簡(jiǎn)單，有利于實(shí)時(shí)處理。然而對(duì)小目標(biāo)圖像卻不能把目標(biāo)從背景中分割出來，經(jīng)常會(huì)把很多背景錯(cuò)分為目標(biāo)，為此，我們提出了利用Otsu準(zhǔn)則對(duì)圖像進(jìn)行自遞歸分割。即在第一次Otsu方法分割之后，將分割得到的亮像素再次利用Otsu分割準(zhǔn)則計(jì)算得到新的分割閾值。

相關(guān)跟蹤

相關(guān)跟蹤算法將系統(tǒng)的基準(zhǔn)圖像(即模板)在實(shí)時(shí)圖像上以一定的偏移值平移，然后根據(jù)一定的相似性度量準(zhǔn)則對(duì)基準(zhǔn)圖像和與基準(zhǔn)圖像同樣大小的實(shí)時(shí)圖像塊進(jìn)行相關(guān)匹配，最匹配的那個(gè)位置就認(rèn)為是目標(biāo)位置。考慮利用FPGA實(shí)現(xiàn)算法，系統(tǒng)采用絕對(duì)差相關(guān)算法。

為了保證系統(tǒng)實(shí)時(shí)性，減小算法對(duì)圖像RAM的使用量，采取如下方式對(duì)算法進(jìn)行優(yōu)化：圖像經(jīng)過分割后得到二值化圖像，運(yùn)用異或運(yùn)算處理來代替相關(guān)度的復(fù)雜計(jì)算：即將圖像和模板的二值灰度函數(shù)進(jìn)行異或運(yùn)算，其最小值即為正確匹配位置。

目標(biāo)預(yù)測(cè)

在目標(biāo)跟蹤過程中，根據(jù)目標(biāo)在運(yùn)動(dòng)過程中具有軌跡的連續(xù)性的特點(diǎn)，首先利用目標(biāo)過去的位置信息預(yù)測(cè)當(dāng)前位置，然后在預(yù)測(cè)點(diǎn)周圍一定范圍內(nèi)進(jìn)行匹配。這樣既能減少計(jì)算量，在一定程度上又能排除其它物體對(duì)跟蹤的影響，從而保證匹配的可靠性。系統(tǒng)中采用最佳線性逼近預(yù)測(cè)法。

模板刷新

相關(guān)跟蹤算法進(jìn)行跟蹤時(shí)，用事先存儲(chǔ)好的模板在波門范圍內(nèi)進(jìn)行匹配，尋找最佳匹配點(diǎn)。在跟蹤過程中，隨著視場(chǎng)范圍內(nèi)場(chǎng)景的變化，目標(biāo)形體的變化，需要及時(shí)更新模板，使得模板始終正確地反映要跟蹤地目標(biāo)。

系統(tǒng)采用模板的自適應(yīng)刷新。根據(jù)相關(guān)峰確定是否更換模板，若所尋找到的相關(guān)峰同某個(gè)閥值比較，若小于該閥值，則認(rèn)為此時(shí)的目標(biāo)已經(jīng)和模板存在較大的差距，此時(shí)應(yīng)該及時(shí)更新模板。經(jīng)大量試驗(yàn)，閥值選取0.985有較好的跟蹤效果。

跟蹤算法實(shí)現(xiàn)

為了滿足系統(tǒng)實(shí)時(shí)性，系統(tǒng)采用NiosⅡ的定制指令和VHDL編寫硬件算法加速器保證系統(tǒng)運(yùn)行速度，在系統(tǒng)目標(biāo)跟蹤算法中，對(duì)需要循環(huán)迭代浮點(diǎn)處理的Otsu分割和運(yùn)動(dòng)預(yù)測(cè)算法，采用自定義的單精度浮點(diǎn)運(yùn)算指令加速計(jì)算結(jié)果，表1所示為采用自定義浮點(diǎn)指令和軟件實(shí)現(xiàn)浮點(diǎn)運(yùn)算性能對(duì)比。定制指令邏輯和NiosⅡ的連接在SOPCBuilder中完成。NiosⅡCPU配置向?qū)峁┝艘粋€(gè)圖形用戶界面，在該界面中可導(dǎo)入設(shè)計(jì)文件，設(shè)置定制指令名，并分配定制指令所需的CPU時(shí)鐘周期數(shù)目。系統(tǒng)生成時(shí)，NiosⅡIDE為每條用戶指令產(chǎn)生一個(gè)在系統(tǒng)頭文件中定義的宏，可以在c或c＋＋應(yīng)用程序代碼中直接調(diào)用這個(gè)宏。

系統(tǒng)的相關(guān)匹配算法采用VHDL語言硬件并行實(shí)現(xiàn)，并且作為Avalon總線的用戶外設(shè)集成到NiosⅡ中實(shí)現(xiàn)算法的硬件加速單元。通過SOPC Builder中元件編輯器在GUI下將用戶邏輯封裝成一個(gè)NiosⅡ的用戶外設(shè)。這樣用戶可以像Altera提供的外設(shè)元件一樣使用自定義的邏輯組件。

圖3為硬件實(shí)現(xiàn)相關(guān)匹配算法原理圖，主要包括一個(gè)帶圖像行移位FIFO的模板寄存器組和目標(biāo)模板生成模塊、集成相關(guān)運(yùn)算的Avalon總線接口。

實(shí)驗(yàn)結(jié)果

系統(tǒng)在夜間對(duì)2公里外的多云天空中靶機(jī)目標(biāo)進(jìn)行跟蹤實(shí)驗(yàn)，圖像格式為384×288，在目標(biāo)對(duì)比度大于10％的基礎(chǔ)上，跟蹤目標(biāo)的最小尺寸可達(dá)到3×3，最大尺寸可達(dá)50×50，穩(wěn)定跟蹤的目標(biāo)尺寸可達(dá)4×4，跟蹤速度可達(dá)60像素／幀以上，對(duì)有薄霧的情況下，仍能對(duì)目標(biāo)進(jìn)行穩(wěn)定跟蹤，如圖4中a、b、c、d，a為背景單一的情況下穩(wěn)定跟蹤，b為較復(fù)雜背景時(shí)穩(wěn)定跟蹤，c為目標(biāo)形狀稍有變化時(shí)跟蹤。d為目標(biāo)遠(yuǎn)離情況下仍能有效跟蹤，因此，系統(tǒng)滿足在復(fù)雜背景下跟蹤天空目標(biāo)的要求。(因版面有限，本文已作部分刪節(jié)，完整版請(qǐng)登陸www.eepw.com.cn查閱。)