一種實時圖像跟蹤處理系統實現技術研究

賀 瑩，王 闖

(中航工業西安航空計算技術研究所，陜西 西安，710065)

?

一種實時圖像跟蹤處理系統實現技術研究

賀 瑩，王 闖

(中航工業西安航空計算技術研究所，陜西 西安，710065)

實時圖像跟蹤處理能力是嵌入式系統中影響系統性能的核心因素。提出一種小型化低功耗的實時圖像跟蹤處理系統的設計方法，利用FPGA硬件化并行化處理的特性完成外部紅外及白光相機圖像采集控制及濾波預處理，利用DM648處理器實現了一種基于概率密度統計的目標跟蹤算法實現對指定目標的持續跟蹤，使用RS422串行總線接收主控端發送的控制指令并實時發送檢測出的目標位置信息。系統采用多功能子模塊疊層的架構保證系統具有較小的體積，并實現了50 f/s的圖像處理速度，保證了圖像跟蹤的實時性。

現場可編程門陣列；目標跟蹤；實時圖像處理

0 引言

實時圖像跟蹤處理技術在導彈末端制導、火炮光瞄控制器、特種狙擊槍目標自動鎖定等領域中有著廣泛的應用，但是視頻圖像由于信號維度高，對其處理所需要的計算復雜度高，故在目標跟蹤系統，尤其是嵌入式實時目標跟蹤系統中，對圖像序列的實時處理能力一直是影響系統性能的核心因素[1]。

本文提出一種小型化低功耗的實時圖像跟蹤處理系統的設計方法，利用FPGA硬件化并行化處理的特性[2]完成外部紅外及白光相機圖像采集控制及濾波預處理，利用DM648處理器實現了一種基于概率密度統計的對指定目標進行持續跟蹤的算法，使用RS422串行總線接收主控端發送的控制指令并實時發送檢測出的目標位置信息。整個系統實現了50 f/s的圖像處理速度，保證了圖像跟蹤的實時性。同時，系統采用多功能模塊疊層的架構保證系統具有較小的體積。

1 系統結構

實時圖像跟蹤處理系統的輸入輸出接口如圖1所示。

圖1 圖像跟蹤處理系統結構圖

系統主要完成以下功能：

(1)白光紅外切換功能：根據主控板控制指令，選擇白光相機或紅外相機的圖像進行輸出顯示。

(2)觀察跟蹤切換功能：接收到主控板發送的鎖定信號離散量有效時，由觀察模式轉入跟蹤模式；當目標丟失，跟蹤模塊向主控板發送跟蹤觀察切換指令時，由跟蹤模式轉入觀察模式。

(3)白光及紅外相機控制功能：根據主控板控制指令，對白光及紅外相機進行手動背景校正、手動快門校正、極性設置、圖像對比度調節、圖像亮度調節、圖像增強及系統參數復位等功能配置。

(4)彩色屏控制功能：根據主控板控制指令，對彩色屏進行圖像上下翻轉、圖像左右翻轉、亮度調節等配置。

(5)目標跟蹤能力：能夠追蹤簡單或復雜背景下的運動目標，目標丟失后，跟蹤模塊向主控板發送目標脫離指令，并回到觀察模式，重新等待用戶發送鎖定有效標志。

(6)指示目標方向功能：當在白光相機2X模式下進行跟蹤時，若指示標志(“T”標)與鎖定標志不在一個畫面上顯示，則顯示“T”標所在位置的圖像，并給出鎖定目標的位置指示(8個方向的箭頭)。

2 系統關鍵技術

2.1 視頻疊加及處理技術

系統接收外部兩路視頻，1路為3G-SDI高清白光視頻，1路為PAL-D紅外視頻，內部產生4路不同狀態的PAL-D字符疊加視頻，輸出1路PAL-D視頻。

輸出視頻要在紅外和白光源之間進行切換，并與4種狀態的字符顯示模式進行疊加；對于白光視頻，需要使用雙線性插值算法將其由逐行1 920×1 080@50 Hz縮小到720×576的分辨率大小，或根據指定的坐標在其周圍裁剪720×576大小的圖像。

在模塊內部根據BT.656協議產生四路字符疊加視頻，用以形成四種模式的字符顯示界面，根據控制指令選擇一路與外視頻采用α疊加算法處理形成輸出視頻。

系統對外部輸入PAL-D視頻及3G-SDI視頻均設計信號檢測電路，當無視頻信號輸入時，在畫面上以藍色屏幕警示，以便調試和故障判斷。

2.2 基于概率密度統計的目標跟蹤算法

根據設計要求，系統要能夠追蹤簡單或復雜背景下的運動目標。故需要首先分析并記錄目標的特征信息，并對視頻中每一幀圖像進行處理，檢測出目標所在的特征區域[3-4]。

在圖像跟蹤中常用的算法是光流法和均值漂移算法，考慮算法的復雜度并根據本設計采用FPGA實現圖像處理的特點，以目標中心周邊20×20矩形區域的統計直方圖概率分布為特征，對視頻中每一幀圖像進行匹配運算，概率統計特性最為一致的區域即為跟蹤目標。設計出實時圖像跟蹤處理算法如下：

(1)利用手動方式十字記號對準目標區域，得到當前目標中心。

(2)提取目標感興趣區域(ROI)，利用該區域計算彩色圖像的直方圖函數。

(3)利用上一步得到的彩色圖像直方圖函數對目標圖像整體區域進行概率反向投影，得到反投影圖像。

圖2 實時圖像跟蹤算法流程

(4)計算當前區域的概率均值，利用均值漂移的方式得到概率最大的中心區域，得到新的ROI區域。

(5)如果沒有得到ROI區域則認為跟蹤失敗，返回步驟(1)重新對準目標。

(6)認為當前的ROI區域為目標所在的區域，完成目標跟蹤。

(7)對下一幀返回步驟(2)進行跟蹤。

實時圖像跟蹤算法流程如圖2所示。

3 系統詳細設計

系統采用層疊結構設計，包含四個子模塊，分別為圖像處理模塊(IPM)、電源模塊(PSM)、視頻處理模塊(VPM)和輸入輸出接口模塊(IOM)；四個子模塊之間采用板間連接器連接，生產無需導線焊接，符合小型化要求。系統結構如圖3所示。

各模塊的簡單功能介紹及接口關系如表1所示。

表1 系統子模塊組成及功能說明

3.2 系統工作模式設計

系統具有觀察模式和跟蹤模式兩種工作狀態。系統上電時，默認處于觀察模式。

(1)觀察模式

上電，默認白光1X模式輸出(可根據主控指令在白光1X顯示、白光2X顯示和紅外顯示之間切換)，圖像上疊加角度、方位、距離、氣象信息等字符，顯示鎖定標志(符號為“+”，默認為圖像中心，該位置可根據主控板指令進行調節)。

圖3 圖像跟蹤模塊系統結構圖

(2)跟蹤模式

圖4 圖像跟蹤系統工作過程[4] 范志銘,蘇成悅,鄭俊波,等. FPGA圖像識別與目標跟蹤系統[J]. 微型機與應用, 2014,33(18): 45-47.

當檢測到鎖定信號的下降沿后進入跟蹤模式時，第一步，記錄鎖定目標坐標，并在目標上將鎖定標志變為8X8紅色“.”,此后，圖像跟蹤模塊要能夠一直跟蹤目標，使得鎖定標志始終壓住目標，并轉入第二步；在跟蹤過程中若目標脫離鎖定，則向主控板發送跟蹤觀察切換指令，并返回觀察模式。第二步：主控板發送指示標志顯示指令，在指示坐標位置顯示紅色“T”形標志。第三步：當“T”標志與“.”標志連續三幀圖像重合時，“T”標變為藍色，并向主控板發出目標瞄準信號(離散量，低有效)，若兩個標志脫離重合但“.”標未丟失，則瞄準信號置無效，“T”標變為紅色，并返回第三步起始狀態；若目標丟失，則置瞄準信號無效，向主控板發送跟蹤觀察切換指令并返回觀察模式。

圖像跟蹤系統工作過程如圖4所示。

4 結束語

本文介紹了一種實時圖像跟蹤處理系統實現技術，充分利用FPGA硬件化并行處理的特性完成多路視頻的采集及預處理，利用DM648處理器實現了一種基于概率密度統計的目標跟蹤算法，實現對指定目標的持續跟蹤，并達到了實時的處理速度。該系統具有較小的體積和功耗，在安防監控及軍工等領域具有廣闊的應用前景。

[1] 王闖，史忠科. 實時車輛排隊長度圖像檢測系統及FPGA硬件實現[J].交通運輸系統工程與信息, 2012,12(3): 65-72.

[2] 楊欽, 周云飛, 胡永兵. 基于FPGA的視頻圖像采集與顯示系統設計[J]. 計算機工程與設計, 2013,34(6): 1988-1992.

[3] 陳利杰. 光電成像跟蹤系統的緊密耦合信息處理平臺技術研究[D]. 北京: 中國科學院大學, 2012.

A fast loading method of TigerSHARC DSP based on FPGA

He Ying, Wang Chuang

(Xi’an Aeronautics Computing Technique Research Institute, AVIC, Xi’an 710065, China)

Real-time image tracking ability is the key factor in the embedded system. This paper presents a method of designing miniaturized low-power real-time image tracking processing system, based on the hardware parallel characteristics of FPGA, which can complete external infrared and white camera image acquisition and filtering.The method adopts DM648 processor to implement a tracking algorithm based on probability density statistics to achieve continuous tracking of the target, receiving control instruction of master and sending the detected real-time position information of target through RS422 serial bus.The system has a small volume by the usage of multi-function structure, and realizes 50 f/s image processing speed and the real-time performance of image tracking.

field programmable gate array (FPGA); target tracking; real-time image processing

TP752.1

A

10.19358/j.issn.1674- 7720.2017.14.014

賀瑩，王闖.一種實時圖像跟蹤處理系統實現技術研究[J].微型機與應用，2017,36(14)：43-45，48.

2017-02-16)

賀瑩(1986-)，女，碩士，工程師，主要研究方向：計算機系統結構、高速信號處理等。