復雜背景下紅外小目標自適應檢測跟蹤

董小虎，傅瑞罡，高穎慧，李 飚

(國防科技大學 電子科學學院 ATR重點實驗室，長沙 410073)

0 引 言

基于紅外圖像的目標檢測與跟蹤一直是目標識別領域的研究熱點。紅外成像技術依靠接收目標自身的紅外輻射工作，具有可見光成像和雷達無法代替的優勢，使其具有極高的軍事和民用價值。軍事方面，紅外目標檢測與跟蹤技術在預警系統、精確打擊武器和防空系統等領域中發揮著重要作用。民用方面，被廣泛應用于安全警戒、刑偵、森林防火和消防等領域[1]。

目前，紅外弱小目標的檢測與跟蹤算法主要分為兩類：先檢測后跟蹤算法[2-3]和先跟蹤后檢測算法[4-7]。

先檢測后跟蹤算法首先利用目標檢測算法將單幀圖像中的所有候選目標從原始圖像中分割出來，在此基礎上根據目標短時運動的軌跡連續性，對所有候選目標做進一步確認，去偽存真。這類算法邏輯清晰，實現簡單。但當目標信噪比較低時，分割出的疑似目標中很可能不包含真實目標，導致算法失效。

先跟蹤后檢測算法則是直接對潛在候選目標進行跟蹤，然后利用目標的時空特性，對所跟蹤目標進行真偽判別，進而實現真實目標的提取。這類算法對目標信噪比的要求不高，在搜索目標軌跡時，一旦搜索到正確的目標軌跡，就有可能檢測到目標。典型的實現方法有管道濾波方法[8]、卡爾曼濾波[9]、貝葉斯估計[10]及粒子濾波方法[11]等。

本文以圖1所示公開數據集為背景，進行檢測跟蹤方案的設計。電子目標自身信噪比較低，因此，本文選用先跟蹤后檢測算法。

圖1 公開數據集示例圖

Fig.1 Sample images of the public datasets

由于圖1所示的六段數據在成像距離、目標大小和背景復雜度上各不相同，這就要求設計方案必須具有一定的自適應能力。通過數據分析可知，方案設計時需要克服以下問題：

(1)紅外圖像存在壞點，由于壞點尺寸和小目標相當，若不能有效剔除壞點，將會產生虛警。

(2)紅外目標在不同背景/場景下呈現出不同的特性。天空背景下，紅外目標尺寸較大，多表現為擴展目標/面目標，相鄰兩幀的目標之間存在交疊；地面背景下，紅外目標尺寸較小，多表現為點目標。

(3)地面背景下，目標可能飛向紅外相機，導致目標在圖像序列中表現為長時間靜止。因此運動目標檢測模型需要具備甄別該現象的能力并能做出相應的措施。

(4)地面背景下，目標可能進入熱區域，導致目標-背景灰度對比度下降。因此不能以目標-背景灰度對比度高作為唯一檢測依據。

(5)在圖像采集過程中存在相機抖動，影響目標檢測和跟蹤效果。因此需要通過圖像配準，將圖像統一在同一坐標系下。

(6)data2及測試集中可能存在多個目標，因此需要解決多目標的數據關聯問題。

(7)由于對紅外目標檢測跟蹤算法有時間限制，在選擇具體方法時需綜合考慮效率和性能。

1 紅外小目標自適應檢測與跟蹤方案

本文設計方案如圖2所示。在獲得輸入圖像后，首先做傳感器的壞點檢測及剔除，保證圖像質量，然后，對圖像的背景/場景分類，并針對不同場景設計不同的紅外目標檢測算法。如前所述，圖像配準的作用是為了將目標統一到同一坐標系，保障后續檢測與跟蹤算法的有效性。由于天空背景沒有穩定的配準參照物，因此只針對地面背景做配準。針對地面背景下的目標，采用基于幀差法的紅外目標檢測方法，并面向目標長時間靜止和目標-背景灰度對比度下降的情況分別提出了應對措施。針對天空背景下的目標，使用基于RSS[12]的目標檢測方法。在檢測得到目標備選點后，使用帶標簽GMPHD濾波器[13]對這些備選點濾波，從而獲得備選點的運動狀態及標簽。由于復雜背景下目標檢測存在大概率的虛警和漏檢等，目標初始軌跡通常是斷續的。因此, 需要通過引入軌跡整理將間斷軌跡重新連接，并進一步去除虛警。

圖2 方案流程圖

Fig.2 Scheme flow chart

2 紅外序列圖像預處理

2.1 基于鄰域灰度變化率的壞點檢測及剔除

由于在制造工藝、運輸和儲存方法等方面的不足，紅外相機會存在一小部分不正常的感光單元，一般稱之為壞點。壞點通常表現為壞暗點或壞亮點，大小一般只有一個像素，其亮度不受周圍像素亮度的影響，在每幀中基本不變。以壞亮點為例，如圖3(a)所示，其周圍像素的亮度不受該點的影響。然而，對于普通亮點來說，如圖3(b)所示，其周圍像素的灰度會受其影響，有一定的亮度。

目前處理壞點的方式有兩種：一種是事先記錄壞點位置信息并保存，后續根據記錄的位置信息剔除壞點，但圖1公開的數據集并未提供壞點的相關信息，因此，這種方式不適用；另一種是使用全局濾波器過濾壞點，這種方法無需掌握壞點的先驗位置信息，但是全局濾波會對圖像邊緣信息造成較大損失。

圖3 普通亮點和壞亮點所成的像

Fig.3 Normal pixel and dead pixel in infrared image

本文綜合上述兩種方法的優缺點，提出了一種壞點自動檢測并剔除算法。壞點自動檢測方法的基本思想是根據壞點亮度始終不變，且周圍像素不受其影響的特點，在序列圖像中利用中心點(待處理的點)和其周圍領域點的灰度變化判斷該點是否為壞點。定義像素點(i,j)的鄰域灰度變化為B(i,j)：

(1)

壞點替代算法主要有相鄰元替代法和線性插值法兩種。相鄰元替代法有左鄰域點替代和上鄰域點替代兩種方式。當壞點橫向排列時，用上鄰域點替代，當壞點縱向排列時，用左鄰域點替代；線性插值法對壞點的周圍點進行加權計算，給壞點重新賦值，這種方法會增加算法的復雜性并占用資源?？紤]到效率，本方案采用相鄰元替代法。

本文提出的算法無需事先記錄壞點信息，能夠自動檢測圖像壞點，且對圖像邊緣信息基本沒有影響。圖4是紅外圖像壞點剔除前后的對比，算法自動檢測出的壞點，如圖4(a)所示; 圖4(b)是壞點剔除后的結果。由圖中可以看出，本文對壞點的定位非常準確，同時替換壞點后，圖像的邊緣信息損失很少。

圖4 壞點檢測及剔除效果示意圖

Fig.4 Dead pixels detection and the image without dead pixels

2.2 基于灰度一致性的場景分類

在不同場景下采用不同的目標檢測算法，因此，在檢測前需要對紅外圖像做場景分類。由于天空背景下的紅外圖像灰度起伏較小，地面背景下的紅外圖像灰度起伏較大，并且紅外圖像的灰度一致性可以度量其灰度起伏程度。因此，本文通過量化輸入圖像的灰度一致性判定其場景種類。灰度一致性的定義如下：

(2)

其中：m,n分別表示紅外圖像的行數和列數。如果灰度一致性的值較小，則表明圖像灰度起伏小，對應天空背景。反之，則表明圖像灰度起伏大，為地面背景。由于灰度一致性的計算可以繼承壞點檢測的中間結果，因此效率非常高。

2.3 基于相位相關的圖像配準算法

由于圖像采集過程中紅外相機存在抖動，目標成像坐標系不統一，影響目標檢測和跟蹤效果，因此，在檢測跟蹤前，必須對序列圖像做配準。圖像配準意在尋求兩幅圖像之間的變換模型，使兩幅有重疊區域的圖像在同一坐標系下顯現。目前，圖像配準算法大致可以劃分為四類：基于區域的配準、基于特征的配準、基于混合模型的配準和基于物理模型的配準[14]。本文考慮配準效率，選擇基于相位相關的圖像配準算法?；谙辔幌嚓P的圖像配準算法是一種基于區域的配準算法，配準效率極高，可應對圖像的平移和亮度變化。

考慮圖像只存在發生平移的情況：設g(x,y)是由f(x,y)平移(x0,y0)后得到的圖像，滿足：

g(x,y)=f(x-x0,y-y0)

(3)

且g(x,y)和f(x,y)對應的離散傅里葉變換(Discrete Fourier Transform, DFT)分別為G(u,v)和F(u,v)，則有

G(u,v)=e-j2π(ux0+vy0)F(u,v)

(4)

這兩幅圖像間頻域的互功率譜為

(5)

式中：G*為G的復共軛；|F(u,v)G*(u,v)|表示G(u,v)F*(u,v)的幅值譜。

P(u,v)的離散傅里葉逆變換(Inverse Discrete Fourier Transform, IDFT)為

F-1(P(u,v))=F-1(ej2π(ux0+vy0))=δ(x-x0,y-y0)

(6)

其中:F-1(·)表示IDFT運算。由式(6)知，IDFT的運算結果除了在(x0,y0)處存在脈沖響應外，在其他地方為0。因此通過尋找互功率譜傅里葉逆變換的最大值，便可測量出兩幅圖像間的平移量。

若圖像還存在亮度變化，則亮度變化因子可以記為

(7)

如上所述，基于相位相關的圖像配準算法采用了快速傅里葉變換及逆變換直接求取變換參數，與基于特征的配準方法相比，避免了尋找、匹配控制點對所帶來的繁瑣與誤差，因此效率非常高。圖5為data6公開數據集和data5公開數據集圖像配準后拼接形成的場景圖，實驗表明，基于相位相關的圖像配準算法足以達到實際配準要求。

圖5 圖像配準后拼接所得的場景圖

Fig.5 Scene image after image matching and mosaicing

3 紅外目標檢測

針對天空/地面不同場景，本文采用不同算法檢測紅外目標。地面背景通常比較復雜，采用幀差法；天空背景相對簡單，采用基于RSS的紅外目標檢測方法[12]。

3.1 基于雙閾值多幀差法和跳幀多幀差法的目標檢測

幀差法被廣泛應用于運動目標檢測，該算法將圖像序列的當前幀與前n幀做差求和，獲得一幅差分響應圖。若差分圖某位置的響應大于設定的閾值，則認為當前幀的該位置存在運動目標。

典型的二幀差法(n=1)使用相鄰兩幀圖像作差分。記圖像序列中的某一幀為k，則該幀圖像可表示為

fk(x,y)=Fk(x,y)+Bk(x,y)+nk(x,y)

(8)

其中：Fk(x,y)為圖像前景即運動目標；Bk(x,y)為圖像背景；nk(x,y)為圖像噪聲。將第k+1幀和第k幀圖像做差分，可得到差分圖dk+1(x,y)為

dk+1(x,y)=fk+1(x,y)-fk(x,y)=

[Fk+1(x,y)-Fk(x,y)]+

[Bk+1(x,y)-Bk(x,y)]+

[nk+1(x,y)-nk(x,y)]

(9)

由于背景沒有運動，噪聲隨機，因此式(9)的后兩項接近為0，對差分圖幾乎無響應，差分圖只會在運動目標處形成峰值。取閾值t，若dk+1(x0,y0)>t×max(dk+1(x,y))，則認為在(x0,y0)處存在疑似目標。為了增加算法的魯棒性，同時減小噪聲擾動影響，本文采用多幀差法檢測目標：計算相鄰6幀(n=5)的差分圖，閾值t設為0.7。理想的差分圖效果如圖6(a)所示，可以斷定，圖6(a)的峰值處一定存在運動目標。圖6(b)為對應的檢測結果，檢測結果正確。在實際檢測中，由于紅外目標不一定為點目標，在獲得運動目標坐標后，需要回溯到原圖像尋找完整目標。假設幀差法獲得的運動目標坐標灰度為v，則在該坐標周圍，灰度在[0.9v,1.1v]區間內的坐標點都是目標，取其質心得到目標備選點。

圖6 幀差法的差分圖及檢測所得目標

Fig.6 Difference map and detection results of the frame difference method

然而，由于閾值的單一性，上述幀差法無法應對以下兩種特殊情況，如圖7所示。

情況一：目標長時間靜止。

當目標長時間靜止時，如圖7(a)所示，差分圖的整體響應比較平均，幀差法失效，表現為差分圖沒有明顯峰值，檢測得到多個目標備選點，但其中不一定包含真實目標。

圖7 單閾值幀差法的局限性

Fig.7 Limitation of the single thresh frame difference method

為了判定第k幀是否出現了目標可能靜止的情況，本文定義“有效檢測幀”：若帶標簽的GMPHD濾波器將某幀目標備選點與前一幀關聯在一起，則該幀為有效檢測幀。

有效檢測幀檢測到的目標在一定程度上是可信的。如果第k幀檢測到多個目標，同時第k-1幀為有效檢測幀時，則認為目標在第k幀可能靜止。此時，增大多幀差法的幀間距，執行跳幀的多幀差法，可以重新獲得目標的運動信息。

情況二：目標與背景的灰度對比度下降。

當目標進入熱區域或目標本身成像灰度降低時，可能會導致目標位置的響應被周圍其他雜波淹沒，如圖7(b)所示。為了緩解該問題，本文提出雙閾值多幀差法，定義“目標鎖定狀態”：若帶標簽的GMPHD濾波器將連續N幀的目標關聯在一起，則該目標處于鎖定狀態。

圖8 單閾值多幀差法和雙閾值多幀差法檢測結果圖

Fig.8 Detection results of the single thresh multi-frame difference method and dual-threshold multi-frame difference method

3.2 基于RSS的目標檢測方法

通過數據分析得知，圖1所示數據集，天空背景下的紅外小目標是一個閉合的連通區域，具有以下四個基本特性：

(1)呈現斑點形狀；

(2)信息熵較??；

(3)強度近似均勻；

(4)與其局部鄰域有較高的灰度對比度。

因此，本文利用文獻[12]提出的RSS算法檢測天空背景下的紅外目標，利用了天空背景下紅外目標的局部穩定性(對應特征1-3)和局部顯著性(對應特征4)，檢測效果好。算法的具體步驟如下：

步驟一：用穩定性抽取器，生成穩定圖；

步驟二：用顯著性檢測器，生成顯著圖；

步驟三：將穩定圖和顯著圖對應元素相乘得到特征圖；

RSS算法的檢測流程如圖9所示。

圖9 RSS檢測算法流程圖

Fig.9 Flow chart of RSS detection algorithm

4 紅外目標跟蹤

在得到目標備選點后，要對備選點做濾波，辨識備選點是否來源于從前幀目標，并更新備選點的狀態。

傳統的多目標跟蹤采用數據關聯技術，基本思想是首先假定各個目標相互獨立運動，然后按照關聯規則將從前幀目標與備選點準確關聯。數據關聯技術容易實現、計算量較小，適用于信噪比高且目標密度小的環境。當目標跟蹤環境復雜，目標個數增多時，數據關聯算法的計算量非常大。與數據關聯技術不同，基于隨機集理論的多目標跟蹤算法直接估計目標狀態。

概率假設密度(PHD)濾波器[15]是一種基于隨機有限集的多目標跟蹤算法。帶標簽的GMPHD[13]通過為每一個高斯項附加一個標簽信息實現對目標的辨別，通過對標簽的管理實現對目標軌跡的管理。

5 軌跡整理

由于復雜背景下目標檢測存在大概率的虛警和漏檢等，帶標簽GMPHD濾波后產生的目標初始軌跡通常是斷續的。因此需要引入軌跡整理將間斷軌跡重新連接并進一步去除虛警。

第一步：計算跟蹤的紅外目標數量。紅外目標數量通過平均各幀檢測到的目標數量得到。本文基于有效檢測幀計算紅外目標數量，計算結果的可信度更高。

第二步：根據帶標簽GMPHD的濾波結果對軌跡做甄選。若軌跡長度大于6幀，則大概率是目標，記為集合A；若軌跡長度大于2幀，則小概率是目標，記為集合B；若軌跡長度小于等于2幀，則一定不是目標，將其去除。

第三步：計算集合A軌跡間的相關矩陣。矩陣元素為所有軌跡的兩兩相關因子。若兩條軌跡在幀號上有交疊，則其相關因子為0；若第i條軌跡與第j條軌跡不相交，則其相關因子置為1/dij，dij為兩條軌跡之間的首尾幀目標之間的距離。相關因子越大，表明兩條軌跡越相關。在計算得到相關矩陣后，根據相關矩陣連接斷續的軌跡，獲得若干段長軌跡。由于第一步已計算得到跟蹤的紅外目標數，因此，將長軌跡的長度作為其是否為候選輸出的判定標準：若目標數為1，則候選最長的軌跡；若目標數為2，則候選長度前二的軌跡，以此類推。

最后，將集合B的軌跡根據“幀號不重復、距離最小化”的原則插入目標軌跡中以彌補漏檢，并輸出最終的目標軌跡，如圖10所示，圖中的紅色線條為紅外目標最終的運動軌跡。

6 實驗結果

經統計，本文設計的紅外小目標檢測與跟蹤方案在公開數據集上精準檢測率為98.60%(精準檢測指檢測結果位于真值的3×3像素范圍內)，正確檢測率為0.76%(正確檢測指檢測結果位于真值的3×3像素范圍外，9×9像素范圍內)，漏檢率為0.63%，虛警率為0.20%(虛警指檢測結果位于真值的9×9像素范圍外)，如圖11所示。本文方法在第二屆“空天杯”決賽線上測試中得到103 434分，排名第一，對于多類背景下的弱小目標自適應檢測跟蹤具有參考價值。

圖10 目標運動軌跡圖

Fig.10 Trajectories of the moving targets

圖11 本方案在公開數據集上的檢測結果統計圖

Fig.11 Statistical chart of detection results of the scheme in public datasets

7 結 論

本文針對紅外弱小目標檢測跟蹤問題提出了一套系統性的方案。方案立足于“空天杯”競賽公開數據集，在設計時綜合考慮了傳感器成像、紅外相機位移、目標所處場景多樣、多目標軌跡關聯等問題，具有以下創新點：

(1)針對壞點可能導致誤檢，提出了一種壞點自動檢測算法，該算法能夠自動檢測圖像壞點并剔除，對圖像邊緣信息影響很小。

(2)針對目標所處場景多樣，提出了一種基于灰度一致性的場景分類算法，該算法能夠自動分類場景，分類精度高。

(3)針對地面背景下的紅外目標目標，采用幀差法，分別提出了跳幀多幀差法和雙閾值多幀差法以應對目標長時間靜止和灰度對比度下降兩種情況。實驗表明，兩種算法均可以極大地提高目標軌跡的連續性。