中波紅外制導模擬系統圖像處理單元設計

劉曼曼，軒新想，路　新，吳金中

(中國電子科技集團公司第三研究所，北京 100015)

?

中波紅外制導模擬系統圖像處理單元設計

劉曼曼，軒新想，路新，吳金中

(中國電子科技集團公司第三研究所，北京 100015)

作為紅外制導模擬系統的重要組成部分，該系統基于MFC設計開發了后端圖像處理軟件，主要完成以下功能：紅外視頻的顯示、目標檢測、多種算法的目標跟蹤(包括質心跟蹤、相關跟蹤以及基于這兩種算法的組合跟蹤)、視頻壓縮存儲以及系統控制和狀態顯示。在不增加任何硬件設施的前提下為系統實現了錄像功能，且軟件的自動目標提取有效彌補了彈上跟蹤器的不足，為導引頭操控提供了極大便利。

目標檢測；目標跟蹤；相關跟蹤；質心跟蹤；視頻壓縮存儲

中波紅外制導模擬系統用于模擬外軍典型紅外成像制導導引頭，為光電對抗外場和室內激光干擾/損傷體制驗證提供效應物，驗證并等比推算激光對導引頭光電系統干擾/損傷效應，獲取干擾/損傷閾值及干擾光斑尺寸對導引頭目標提取能力的影響等。通過與其他電子對抗裝備相結合，可為紅外成像制導武器的光電對抗作戰效能評估、系統戰技指標論證、作戰過程論證等提供良好平臺。

1　系統組成

中波紅外制導模擬系統主要由彈上分系統和地面分系統組成。彈上分系統包括光學艙和跟蹤控制電子艙兩部分，光學艙主要由二維陀螺穩定轉臺、熱像儀等部分組成，跟蹤控制艙主要由陀螺伺服穩定板、主控板、視頻跟蹤處理板、電源板等單元組成。地面分系統主要由操控臺和圖像處理單元等組成，圖像處理單元主要包括工控機、圖像采集卡以及綜合顯控軟件。系統的組成框圖如圖1所示。

圖1　中波紅外制導模擬系統組成框圖

系統的工作流程如下：首先由彈上光學艙的熱像儀完成視頻的前端采集，采集到的視頻送至彈上跟蹤器做跟蹤處理，同時由跟蹤器提出一路送至圖像處理單元的圖像采集卡，由綜合顯控軟件完成圖像的顯示、處理和壓縮存儲等。系統由地面操控臺或者圖像處理單元的綜合顯控軟件發起系統控制，控制信號送至彈上主控板和伺服穩定控制板，從而完成整個系統的聯動。

2　圖像處理單元

圖像處理單元即本文設計的主要內容，集系統控制、系統狀態顯示、目標檢測、目標跟蹤以及視頻壓縮存儲等多種功能于一套軟件上。圖像處理單元由工控機、圖像采集卡、232轉422控制器以及上位機綜合顯示控制軟件組成，上位機綜合顯控軟件采用多線程技術，通過采集卡驅動獲取圖像數據，根據系統狀態信息進入不同的處理線程，完成不同的系統功能。本圖像處理單元結構圖如圖2所示。

圖2　圖像處理單元結構圖

綜合顯控軟件主要功能集中于圖像處理和單點數據通信，因此采用MFC窗口類應用程序結構，所需的支撐環境如表1所示[1]。

表1綜合顯控軟件支撐環境

操作系統WindowsXPSP3編程環境VisualStudio2008支撐工具OpenCV2.3.1Microsoft.NETFramework3.0MSCOMM32串口控件大恒VTX系列采集卡SDK

3　綜合顯控軟件功能模塊

在對系統各個功能之間的關系進行深入分析之后，將綜合顯控軟件的功能歸納為6個模塊，功能模塊圖如圖3所示。

具體功能如下：

1)視頻顯示：由采集卡對彈上光學艙獲取的模擬視頻信號進行數字化，綜合顯控軟件操控采集卡驅動獲取數字化之后的圖像數據，在指定窗口進行實時顯示；

2)系統狀態顯示：由232轉422控制器接收彈上主控板下發的系統狀態信息，經解析后在界面相應位置實時更新系統各項狀態信息，包括紅外傳感器當前視場、圖像極性等設置信息，彈上跟蹤器當前設置信息，以及當前伺服控制系統的架位角、角速度、當前系統的工作模式等信息；

3)系統控制：由軟件界面上傳感器控制區、彈上跟蹤器控制區以及系統工作模式控制區等交互按鈕進行系統控制數據的更改，軟件設計定時器，定時將控制數據發送至彈上主控板，進行系統響應；

4)目標檢測：由軟件界面上開啟自動目標提取功能后，圖像處理線程自動進入目標檢測算法模塊，將提取出的目標用綠色矩形框標識出，以備進入跟蹤處理；

5)目標跟蹤：軟件設計了質心跟蹤、相關跟蹤兩種算法，跟蹤過程中可手動切換跟蹤算法，同時設計了自動切換跟蹤算法的策略，并將之作為第三種跟蹤方式(組合跟蹤)供用戶選擇，軟件為不同的跟蹤算法設計了不同的跟蹤波門，方便識別；

6)視頻壓縮存儲：軟件可啟動視頻記錄功能，將采集到連續圖像壓縮編碼為H.264視頻流，并以錄制的起止時間為文件名(2015122-175519.h264表示本視頻是從2015年12月2日17點55分19秒開始錄制的)存儲在D：VideoData目錄下。

4　圖像處理算法詳細設計

4.1目標檢測

目標檢測是一種基于目標幾何和統計特征的圖像分割過程。圖像分割算法一般基于亮度值的基本特性之一：不連續性和相似性[2]。經典的基于亮度不連續性的分割算法有角點檢測、線檢測、邊緣檢測等，而基于相似性的分割算法如門限處理、區域生長、區域分離和聚合等。

本系統紅外導引頭用于驗證激光對導引頭光電系統干擾/損傷效應，獲取干擾/損傷閾值及干擾光斑尺寸對導引頭目標提取能力的影響。激光照射下紅外成像為特定尺寸和亮度的光斑，通常的紅外圖像為灰度圖，因此，本文選取最大穩定極值區域(Maximally Stable Extremal Regions，MSER)算法進行目標提取。本算法基于灰度圖進行處理，具有如下特點：

1)對于圖像灰度的仿射變化具有不變性；

2)區域的支持集相對灰度變化穩定；

3)可以檢測不同精細程度的區域。

MSER算法基本原理是對圖像進行二值化，二值化閾值取[0， 255]，這樣二值化圖像就經歷一個從全白到全黑的過程。在這個過程中，有些連通區域面積隨閾值上升的變化很小，這種區域就叫MSER，數學定義如下

(1)

式中：Qi表示第i個連通區域的面積；Δ表示微小的閾值變化。當v(i)小于給定閾值時認為該區域為MSER。然而這樣只能檢測到圖像中的暗區域，因此對原圖進行一次MSER檢測后需要將其反轉，再做一次MSER檢測用于檢測圖像中的亮區域，兩次操作分別稱為MSER+和MSER-。

目前MSER的代碼實現有OpenCV,IDIAP,VLFeat三種算法庫，由于本文設計的圖像處理單元還有許多其他功能需要借助OpenCV完成，因此MSER部分代碼選用OpenCV庫的MSER類實現[3]，結合光斑目標的幾何形狀特性，完成從檢測出的眾多候選MSER區域中選出最終的目標區域。目標檢測模塊流程如圖4所示。

圖4　目標檢測算法流程圖

由于MSER算法復雜耗時，本文圖像處理單元僅對部分圖像進行處理，系統中選取圖像中心200×200像素區域(前端紅外探測器輸出的有效圖像分辨率為640×512，且假設目標一般出現在圖像視場中心部分)，可檢測的最小目標區域為3×3像素。根據光斑形狀一般為圓形的特征，濾除長寬比過大的目標，且光斑為高亮度區域，因此選取平均亮度最大的區域為最終的目標區域，輸出其具體位置，之后在原始輸入圖像上相應位置調用OpenCV繪圖函數畫上綠色矩形框。系統的目標檢測效果圖如圖5所示，圖中整幅畫面的分辨率為640×512，較大的方框為相關跟蹤算法120×120搜索波門，中間較小的方框為目標檢測算法框出的目標區域。

圖5　目標檢測效果圖

4.2目標跟蹤

到目前為止，目標跟蹤領域已經涌現出大量成熟算法，如均值漂移法(Mean-shift)及改進的均值漂移法(Camshift)，粒子濾波法(Partical filter)，基于對運動目標建模的方法，基于Kalman濾波的目標跟蹤等[4]。每種算法都有各自的適用場景和局限性。

本文設計的目標跟蹤用于配合導引頭上伺服系統完成跟蹤閉環控制，原則上屬于攝像頭運動下的目標跟蹤，攝像頭運動時就無法獲取固定的背景模型，這種情況下對目標的特征描述和目標跟蹤算法要求較高。常用的方法有質心跟蹤、邊緣跟蹤、相關跟蹤以及組合跟蹤算法。文中實現了質心跟蹤、相關跟蹤以及組合跟蹤算法。

4.2.1質心跟蹤

這種跟蹤方式主要用于跟蹤有界目標[5]，背景和目標的差異較大，且目標完全在視頻畫面內，跟蹤時需要用一些圖像預處理算法，如對比度增強、圖像去噪、雙極性增強等。算法過程如下：

結合上文的目標檢測，如果用戶選擇開啟自動目標提取功能的狀態下進入質心跟蹤過程，那么算法取MSER目標檢測模塊輸出的可疑目標中心位置區的60×60像素作為質心算法的輸入圖像，如果用戶未開啟自動目標提取功能，則將整個圖像中心的60×60像素作為質心算法的輸入圖像，根據當前目標的極性(黑目標/白目標)將圖像進行二值化，背景像素值為0，目標像素值為1，然后按照式(2)進行目標質心計算，輸出目標質心位置(k，l)。

(2)

圖6　質心跟蹤效果圖

需要指出的是：1)質心跟蹤算法的核心是二值化算法，如果所選二值化算法不能很好地“切”出目標，跟蹤將發生偏差，嚴重者可導致整個導引頭出現飛車現象。本文選用大津法(OTSU)進行二值化，算法核心思想是選擇一個閾值，使得目標像素與背景像素類間方差最大，所選閾值即二值化的分割閾值。大津法對一般圖像均能表現出良好的分割特性，尤其適用于具有雙峰直方圖的圖像。2)輸出的質心位置(k，l)是基于80×80像素區域的坐標，需要將其映射至768×576全圖坐標系下，進而引導伺服系統(前端熱象儀分辨率為640×512，經采集卡采集添加黑邊后形成768×576圖像)。

4.2.2相關跟蹤

相關跟蹤算法的本質是模板匹配，即在一幀圖像內尋找目標模板的位置，根據預先定義好的相關算法計算目標模板與全圖或波門內子區域的相關系數，找到最匹配的子區域即目標位置。

相關跟蹤算法有三個基本問題，首先是模板大小的選擇，模板大小的確定往往是一個經驗值，緊帖目標輪廓的模板或者包含太多背景的模板都不好，前者的模板太小，對目標的變化太敏感，容易丟失目標。后者正相反，目標變化的時候算法卻沒有反應。一般而言，目標所占模板的比例在30%～50%為佳。其次是匹配算法選擇，比較經典的匹配算法有平方差匹配、標準平方差匹配、相關匹配、標準相關匹配、相關系數匹配、標準相關系數匹配。這幾種匹配算法從簡單(平方差匹配)到復雜(標準相關系數匹配)，匹配精度越來越高，運算量也逐漸增大。最后是搜索策略，在搜索時，最笨的方法就是暴力式逐行遍歷搜索，把圖像中的每一個子區域都計算一遍。但實際上目標往往只在一個非常小的區域出現，很多地方根本沒必要計算。所以在搜索時，如果當前位置的相關系數小于一定閾值或者該位置離上一幀的目標中心很遠的時候，搜索的步長可以加大，反之則減小搜索步長，或者將搜索區域限定在目標可能出現的子區域，這依賴經驗值來確定子區域的大小和位置。

本文的相關跟蹤算法模板大小確定為60×60像素，搜索波門大小為120×120像素，選用波門內逐行逐列遍歷搜索。模板的選取取決于當前是否開啟自動目標提取功能，如果開啟自動目標提取功能的狀態下進入相關跟蹤過程，則取MSER算法提取出的可疑目標中心60×60像素區域為模板，下一幀圖像到來時在可疑目標中心的120×120像素區域進行搜索匹配，找到最匹配中心點后保存本中心點位置為目標中心點，以后每次的搜索區域均為上一幀目標中心點的120×120像素區。如果用戶未選中自動目標提取功能，則摳取整幅圖像中心點的60×60像素區域為模板，后續處理同上。這里匹配算法選擇標準相關系數匹配法。一般可根據式(3)完成相關系數計算

(3)

相關跟蹤效果圖如圖7所示，圖中方框為相關算法模板圖像大小60×60像素，十字絲為當前視場中心位置，圖中跟蹤的是一架直升機。

圖7　相關跟蹤效果圖

4.2.3組合跟蹤

組合跟蹤算法即將兩種具有互補特性的跟蹤算法組合使用，一般適用于目標尺寸、表面、特征改變很大的場景(如艦船在波濤洶涌的大海里航行)。本文將相關跟蹤和質心跟蹤組合起來，可以有效處理目標由近及遠由清楚變模糊的跟蹤過程。

當目標由近及遠或由遠及近運動時，目標與背景的對比度會發生明顯變化，對于激光光斑，距離的遠近還會造成成像光斑大小變化。當目標與背景對比度較低時，由于二值化分割算法會產生較大誤差，這時已不適合質心跟蹤算法，但相關算法仍能得到令人滿意的跟蹤效果，因此在軟件設計時開啟一個算法判決線程，線程中實時計算當前目標模板(目標中心60×60區域)二值化后目標面積大小，如果目標面積大于1/4模板大小即切換至相關跟蹤過程，否則進入質心跟蹤過程。

4.3視頻壓縮存儲

為了將實驗過程作為素材保留下來，紅外制導模擬系統需要錄像功能，在不添加任何硬件外設的前提下，本文嘗試用軟件實現視頻的壓縮存儲。

目前視頻的編解碼技術已非常成熟，其中H.264憑借其高壓縮比和優秀的畫質表現占據了視頻壓縮存儲及傳輸的主要市場。本文根據原始圖像制式(PAL制，768×576@25 f/s)選用H.264的3.0級和主類(Main Profile@Level 3.0)。H.264的類(Profile)規定了一組特定的編碼功能，主類(Main Profile)支持隔行視頻，采用B片的幀間編碼和加權預測的幀間編碼，支持利用基于上下文的自適應的算術編碼(CABAC)，主要用于數字廣播電視與數字視頻存儲[6]。而H.264的級別(Level)則規定了分辨率、碼率、幀率等視頻本身的特性，3.0級別支持的視頻類型為D1格式720×576， PAL制視頻與此分辨率接近。

現有的支持軟件壓縮編碼的算法庫有FFMpeg組織的AVCodec類等，本文即借助此類實現視頻壓縮，壓縮之前需要先初始化編碼器，將RGB顏色空間變成YUV4∶2∶0格式，然后調用FFMpeg的avcodec_encode_video函數完成壓縮，同時將壓縮碼流寫入文件，存入D：VideoData目錄下。

5　綜合顯控軟件流程及界面設計

綜合顯控軟件采用多線程實現上述各功能。系統初始化時需提前分配好所要使用的內存，主要是圖像顯示緩存和圖像壓縮緩存，圖像采集回調函數中進行內存搬移，填充顯示緩存，進行跟蹤處理時直接處理顯示緩存中的數據，處理完成后立即顯示。為了能夠在跟蹤狀態記錄視頻數據，需要額外拷貝出一份圖像數據用于壓縮存儲，因此開辟一份壓縮緩存。軟件在設計之初應考慮好內存的使用邏輯，避免過多分配無用內存空間，以及無用的內存搬移。

軟件啟動后即開啟圖像處理線程、圖像壓縮線程、圖像采集回調以及串口接收線程，主線程中設計定時器，定時刷新界面及發送控制數據。圖像處理線程在沒有進行目標提取和目標跟蹤的情況下僅做顯示處理，圖像壓縮線程在不進行記錄的時候僅空循環。在圖像處理線程、圖像壓縮線程和圖像采集回調中需要處理好共享內存的保護，使用線程鎖時需謹慎，避免死鎖、線程饑餓等問題。

綜合顯控軟件流程圖如圖8所示。

本著美觀和交互友好性的原則，本系統軟件界面設計截圖如圖9所示。

圖9　軟件界面設計(截圖)

軟件界面主要分為四大區域，左上圖像顯示區，中上狀態顯示區，右上系統控制區和下方跟蹤誤差波形顯示區。圖像顯示區根據當前系統工作模式以及當前所選視頻類型顯示相應圖像，如圖所示為外置形心跟蹤狀態的圖像，波門內顯示為二值圖。狀態顯示區用文字顯示當前伺服工作狀態、紅外熱像儀以及彈上跟蹤器的當前設置，用羅盤更形象地顯示當前伺服的架位角信息。系統控制區則選用了常用的按鈕進行系統控制和傳感器等設備控制。下方跟蹤誤差波形顯示區實時顯示當前的跟蹤誤差，如果點擊右側開始記錄按鈕，則將跟蹤誤差跟蹤算法等信息寫入日志文件，存儲于D：LOG文件夾下，以備后續用以排查問題。

6　小結

本系統圖像處理單元在一般綜合顯示控制軟件的基礎上增加了圖像處理及視頻壓縮存儲的功能，其中的自動目標提取功能極大提高了目標捕獲的便捷性，比彈上跟蹤器必須要求目標進入波門內才可進入跟蹤的工作方式向前邁進了一大步。在不增加額外硬件設備的條件下，使用軟件進行視頻壓縮存儲也極大方便了用戶儲備實驗數據的需求，從這兩點來說軟件設計是合理而成功的，不足之處在于輸出控制數據的時鐘還不夠精確，達不到伺服系統要求的精確20 ms給出一幀數據的跟蹤誤差，在跟蹤精度上還有待提高，此外界面的工業化設計也需進一步完善。

[1]劉書智.Visual C++串口通信與工程應用實踐[M].北京：中國鐵道出版社，2011.

[2]岡薩雷斯.數字圖像處理[M].北京：電子工業出版社，2010.

[3]毛星云，冷雪飛.OpenCV3 編程入門[M].北京：電子工業出版社，2015.

[4]蔡榮太，吳元昊，王明佳，等.視頻目標跟蹤算法綜述[J].電視技術，2010，34(12)：135-138.

[5]熊偉，謝劍薇.光電跟蹤控制系統導論[M].北京：國防工業出版社，2009.

[6]張志偉，向健勇，朱學濤.視頻壓縮新標準H.264的新特點[J].電子科技，2004(8)：49-51.

劉曼曼(1983— )，女，工程師，主研圖像處理及軟件；

軒新想(1982— )，工程師，主研結構設計；

路新(1983— )，工程師，主研伺服系統軟硬件設計；

吳金中(1965— )，研究員，主要研究光電偵察系統設計。

責任編輯：時雯

Image processing unit of mid-wave infrared guidance system

LIU Manman，XUAN Xinxiang，LU Xin，WU Jinzhong

(TheThirdInstitudeofCETC，Beijing100015，China)

As an important part of the infrared guidance system， an image processing software is developed based on MFC in this system. Functions as below are supplied by the software， such as infrared image display， target detection， target tracking (including centroid tracking， correlation tracking and the combination tracking based on the two algorithms)， video compression and system control and status display. Video recording without any other hardware equipment is realized， and at the same time the software makes up for the lack of the auto target detection for the system， which provides great convenience for the manipulation of the infrared lead.

target detection；target tracking；correlation tracking；centroid tracking；video compression

TP274+.2

A

10.16280/j.videoe.2016.08.006

2016-07-04

文獻引用格式：劉曼曼，軒新想，路新，等.中波紅外制導模擬系統圖像處理單元設計[J].電視技術，2016，40(8)：31-37.

LIU M M，XUAN X X，LU X, et al.Image processing unit of Mid-Wave infrared guidance system[J].Video engineering，2016,40(8)：31-37.