基于局部對比度背景估計的紅外小目標檢測方法

趙騫，韓金輝，徐茂，陳園園

（周口師范學院 物理與電信工程學院，河南 周口 466001）

紅外精確制導、紅外預警、海上搜救等領域中，被測目標與傳感器之間的距離通常很遠。由于光學系統和焦平面陣列性能的限制，圖像中目標通常僅占據幾個像素且灰度值較小，容易導致較低的檢測率[1]。此外，由于視野中樹木、房屋、云層、海浪和其他隨機因素的存在，原始紅外圖像中可能存在各種類型的復雜背景，例如高亮度背景[2]、背景邊緣[3]和高亮度孤立點噪聲(pixelsized noises with high brightness，PNHB)等[4]，給目標檢測帶來嚴重干擾，導致較高的虛警率。

在現有的紅外小目標檢測領域，研究者為實現高檢測率和低虛警率，提出了多種檢測方法，主要包括基于序列的算法和基于單幀的算法?；谛蛄械乃惴▋A向于利用多幀之間的運動信息檢測目標，因此即使目標在某些幀中被遮擋，仍可以取得良好的檢測性能。但基于序列的算法通常有較大的計算量，在某些應用中無法滿足實時性要求?；趩螏乃惴▋H使用單幀內的信息，因此常具有較快的檢測速度。此外，基于單幀的算法可作為某些基于序列的算法的基礎模塊進行使用。本文正是基于單幀的檢測算法的進一步的改進。

到目前為止，已有大量基于單幀的檢測算法被提出，例如空域濾波[5]、頻域濾波[6]、形態學濾波[7]、背景估計[8-10]和機器學習(包括監督學習[11]和無監督學習類型[12])等。但是，復雜背景下的紅外小目標檢測仍然是一個具有挑戰性的問題。

近年來，研究人員發現人類視覺系統(human visual system，HVS)的一些特性，可在紅外小目標檢測中發揮巨大潛力。根據生物學研究發現，區分對比度是人類視覺系統最重要作用之一[13]。在紅外小目標檢測領域中，由于典型目標(例如飛機、導彈、卡車、坦克、輪船等)通常具有比其周圍環境更高的溫度，因此紅外圖像中的目標通常比其直接鄰域要稍亮，即目標附近存在一定的局部對比度值。因此，基于局部對比度的檢測算法通常可以獲得比傳統算法更好的性能。基于局部對比度的算法易于實現，并且具有較低的算法復雜度。

基于局部對比度的算法中的關鍵問題之一，是如何確定局部對比度的計算公式。研究者們已提出了許多種局部對比度定義，通?？梢詫⑵浞譃閮深?，即基于差值的局部對比度和基于比值的局部對比度[14]。基于差值的局部對比度算法通過計算當前位置與其局部相鄰區域之間的灰度差，可以消除高亮度背景。此類型算法包括高斯函數拉普拉斯濾波器(Laplacian of Gaussian，LoG)[15]，高斯函數差分濾波器(difference of Gaussian，DoG)[16]，Gabor 函數差分濾波器(difference of Gabor，DoGb)和改進Gabor 函數差分濾波器(improved difference of Gabor，IDoGb)[17]，中心?四周累積差分度量(accumulated center-surround difference measure，ACSDM)[18]和基于多尺度塊的對比度度量(multiscale patch-based contrast measure，MPCM)[19]等。其中一些算法更利用了局部的方向信息，以更好地抑制背景邊緣，例如IDoGb、ACSDM 和MPCM。但是，如果目標非常暗，則目標與其直接鄰域之間的灰度差將非常小，可能導致檢測率較低。

基于比值的局部對比度算法將當前位置與其局部相鄰區域之間的灰度比作為增強因子，用于對當前位置進行增強。此類型算法包括局部對比度度量(local contrast measure，LCM)[20]、改進的局部對比度度量(improved local contrast measure，ILCM)[4]、新型局部對比度度量(noval local contrast measure，NLCM)[21]和加權局部差異度量(weighted local difference measure，WLDM)[22]等。其中的大多數方法都利用方向信息來更好地抑制背景邊緣。但比值型算法不能有效地消除高亮度背景，因為盡管高亮度背景的增強因子比較小，但如果其原始亮度遠大于目標，其最終增強結果仍可能大于實際目標的增強結果，導致較高的虛警率。

概括來說，目前的局部對比度方法通常具有兩個共同的缺陷。首先，現有算法在計算當前位置的局部對比度時，直接將當前位置的局部相鄰區域作為基準背景值，但如果背景過于復雜，則該基準值可能不夠精確，進而導致計算得到的對比度信息失準。其次，大多數現有的局部對比算法是單一的差值形式或比值形式，盡管一些研究者試圖將兩者結合使用以獲得更好的檢測性能，但相關研究并不充分。例如，ILCM 和NLCM 都是比值型的局部對比度算法，它們利用DoG 濾波器(差值型算法)作為預處理來首先消除高亮度背景，但是，這導致算法的結構變得復雜，任何環節出現錯誤都可能導致檢測失敗。其他多環節算法，例如LCM+LoG[23]、LCM+支持向量機(support vector machine，SVM)[24]和LCM+局部自相似(local self similar，LSS)[25]等，也具有類似的局限性。

此外，深度神經網絡的應用也延伸到了紅外目標檢測領域。朱斌等[26]使用深度神經網絡架構對紅外與可見光雙通道圖像進行處理，以檢測低空無人機目標；侯晴宇等[27]基于深度學習理論，提出了一種名為RISTDnet 的卷積神經網絡；戴一冕等[28]將LCM 作為模塊嵌入到卷積神經網絡中。

本文在背景估計(background estimation，BE)的基礎上，提出了一種新的最大均值背景估計算法。該方法在計算當前位置的對比度時，可以獲得更準確的基準背景值。然后，將基于差值與基于比值的局部對比度相結合，在原始輸入圖像與估計背景之間提出比差聯合局部對比度度量(ratio-difference joint local contrast measure，

RDLCM)，可增強不同大小的真實目標，同時抑制各種類型的復雜背景。在BE-RDLCM 計算得到的顯著性圖中，真實目標會被凸顯出來，然后使用閾值操作即可提取目標。

1 問題描述

圖1 給出了包含真實小目標的紅外圖像的例子，用以直觀地說明真實目標和各種干擾之間的差異。圖2 是圖1 中所涉及的各種成分的三維局部分布，包括真實目標(以TT 表示)、普通背景(以NB 表示)、高亮度背景(以表HB 示)、背景邊緣(以EB 表示)和PNHB。

圖1 包含真實小目標的紅外圖像Fig.1 A sample of real IR image

在圖2 中，可以看到紅外小目標和干擾因素存在如下特點：

圖2 各種成分的三維局部分布Fig.2 3D distributions of different types of components

1)真實目標一般會出現在平坦、均勻的背景區域中，并且通常比其直接鄰域更亮，這是因為在大多數實際應用中，目標通常會更熱。但是，目標位置的突出程度一般很小，有必要對其進行增強。另外，由于光學系統的點擴散特性[24]，真實目標通常具有一定的面積(很小，但通常大于1×1)，且從中心向四周均勻衰減，沒有各向異性。

2)普通背景通常是較暗且平坦的，因此在灰度值和局部對比度方面都不突出。

3) 高亮度背景具有較大的灰度值(可能比TT 還大)，但內部的灰度分布較為平坦，因此在局部對比度方面不明顯。

4)背景邊緣的兩側灰度值不同，因此在兩側之間存在局部對比度信息。但是，背景邊緣通常沿特定方向分布，這與TT 的方向特性明顯不同。

5)PNHB 在局部對比度和方向特征上具有類似于真實目標的模式。但是，PNHB 通常是由隨機因素引起的，并且它僅作為單個像素出現，這與真實目標明顯不同。

2 雙層均值最大化背景估計

從第1 節的分析可以看出，真實目標與其他干擾之間的最大區別是真實目標在局部具有一定的對比度，故基于HVS 的算法傾向于使用局部對比度來提取真實目標。局部對比度的本質是當前位置的像素值與其基準值之間的差異，現有算法通常直接使用當前位置的相鄰區域作為基準值，但是，當背景復雜時，基準值可能不夠準確，因此會給出不正確的對比度信息，從而導致檢測性能較差。

針對上述問題，本文通過引入背景估計的思想，提出新的局部對比度計算框架。背景估計算法可以看作一種特殊的空間域算法，它通過對相鄰區域進行合理的計算，來獲得當前位置的估計背景，因此與直接使用相鄰區域相比，會更加準確，尤其是在背景復雜的情況下。

到目前為止，研究者們已經提出了許多種背景估計算法，例如最大均值濾波、最大中值濾波[8]、二維最小均方差濾波(two dimensional least mean square，TDLMS)[9-10]等方法。應該注意的是，真實目標在面積、方向性等方面與其他干擾因素不同，因此在紅外小目標檢測領域進行背景估計時，需要注意兩個問題，一是應當對目標進行遮蓋，以便在真實目標及其估計的背景之間獲得明顯的差異；二是有必要考慮方向性信息，以便識別背景邊緣。然而，現有背景估計算法通常未能兼顧這些問題。例如，TDLMS 算法在估計過程中使用了一個雙層窗口。內層窗口用于遮蓋小目標，外層窗口用于捕獲背景，但是未使用方向信息，因此無法抑制背景邊緣；最大均值和最大中值濾波算法利用了方向信息，但是沒有針對小目標進行遮蓋，因此真實目標及其估計背景之間的差異可能不夠明顯。

本文提出了一種新的最大均值算法來構造背景估計。該方法具有一個雙層窗口，如圖3 所示。半徑為Rin的內層窗口用于遮蓋小目標，因此其大小不應小于真實目標。半徑為Rout的外層窗口用于捕獲局部的周圍背景，并且劃分為8個方向，以利用方向信息來抑制背景邊緣。H是Rin和Rout之間的差。顯然，H越大，參與運算的有效像素將越多。但是，如果Rin和H太大，則外部窗口將太大，可能會引入更多的干擾。

圖3 算法所使用的雙層窗口結構Fig.3 Double-layer window structure used in our algorithm

對于位置(p,q)，第i個方向上的有效像素的均值定義為

式中：i=1,2,…,8 表示第i個方向；Ii，j是在第i個方向上的第j個有效像素的灰度值；H是內層窗口和外層窗口之間的寬度，如圖3 所示。

然后，像素(p,q)的背景估計被定義為

式中：max()函數用于獲取位置(p,q)的最大均值結果。

另外，有必要分析當(p,q)是不同類型的像素時的情況，如圖4 所示。

圖4 不同類型的像素時的BE 情況Fig.4 Cases for different types of pixels when calculating BE

1)如果(p,q)是真實目標TT，由于真實目標通常比它的近鄰更亮并且從中心向四周逐漸衰減，因此可以很容易地得出：

此時B(p,q)將小于I(p,q)，即

2)如果(p,q)是普通背景NB，由于背景通常是平坦的，因此M(p,q)在所有8個方向上都接近原始灰度值I(p,q)，因此B(p,q)也將接近I(p,q)，即

3)如果(p,q)是高亮度背景HB，結論將類似于NB，即

4)如果(p,q)是背景邊緣EB 并且在較亮的一側，則M(p,q)在某些方向上可能小于I(p,q)，但在其他方向上將與I(p,q) 接近，因此最終的B(p,q)和I(p,q)將彼此接近，即

如果(p,q)在較暗的一側，最終的B(p,q)甚至將會大于I(p,q)，即

5)如果(p,q)是PNHB，結論將類似于真實目標的情形：

從上面的討論可以看出，在進行最大均值背景估計之后，TT 和PNHB 的估計值將小于原始灰度值，而NB、HB 和EB 的估計值將與原始灰度值接近，這將有助于在后續步驟中區分它們。

應該指出的是，本文所提出的最大均值算法與原始的最大均值算法[8]之間存在兩個主要區別。首先，在本文算法中使用了雙層窗口，其中內層窗口用于掩蓋小目標，從而可以使獲得的BTT和ITT之間的差異更明顯。其次，該算法總共使用了8個方向，而非4個方向，因此該算法可以更好地利用方向信息。

對于給定的輸入圖像I，背景估計的計算過程為：1) 原始圖像I,參數Rin,H；2) 構建參數為Rin和H的雙層窗口，如圖2 所示；3)按照從上到下，從左到右順序滑動窗口，遍歷整幅圖像；4)根據式(1)和(2)計算每個像素位置的背景估計值；

5)按順序保存結果，得到背景估計矩陣B。

3 比差聯合局部對比度度量

背景估計完成后，在計算當前位置的局部對比度時，將以當前位置的估計背景為基準。

現有的局部對比度算法多采用差值形式或者比值形式，未能同時結合兩者的優勢。本文提出了一種在原始輸入圖像和估計背景之間的比差聯合局部對比度測量方法，可以增強不同大小的真實目標，并抑制各種復雜的背景，無需預處理環節，從而使算法結構更加簡潔。圖5 給出了帶背景估計的比差聯合算法的整體流程圖。

圖5 基于背景估計的比差聯合局部對比度度量算法流程圖Fig.5 Flowchart of the proposed BE-RDLCM algorithm

首先，考慮到真實目標通常比其背景估計值更亮，并且面積大于1×1，為了增強真實目標，將(p,q)位置處的增強因子定義為

其中B(p,q)是根據背景估計方法得到的位置(p,q)的背景估計值，V(p,q)是原始圖像中以(p,q)為中心的K個像素的平均灰度值，即

其中K為參與計算的像素數，計算方法為

然后，將位置(p,q)的比值形式局部對比度定義為

顯然，當(p,q)是真實目標TT 時，由于真實目標通常比其直接鄰域稍亮，因此有

這意味著真實目標得到了增強。

當(p,q)是NB 或HB 時，由于背景通常是平坦的，所以會有

其值小于真實目標的增強因子。

當(p,q)是EB 時，在較亮一側可以得到

在較暗一側則為

顯然，無論在哪一側，該值都比真實目標值小。

對于灰度值接近甚至稍大于真實目標的PNHB，將有

但由于PNHB 通常以單個像素出現，只要式(11)中的K大于1，根據式(13)，它的比值形式局部對比度值將小于TT 的值，即

由上述分析可知，比值型的局部對比度可以有效增強真實目標。但是，對于灰度值遠大于TT的HB，雖然其增強因子值較小，根據式(13)，其增強后的值仍可能大于真實目標的值，即，

這可能導致檢測率減低和虛警率上升。

為消除高亮背景，本文將比值形式與差值形式的局部對比度結合為一體，在原始圖像與估計得到的背景之間，定義位置(p,q)處的BE-RDLCM定義為

對于給定的輸入圖像I，BE-RDLCM 的計算過程為：1)輸入原始圖像I、參數Rin、H、L；2)使用背景估計算法計算出B矩陣；3) 使用大小為(2L+1)×(2L+1)的窗口遍歷原始圖像；4)在每個像素位置根據式(11)和式(12)計算矩陣V；5)根據式(14)，在V矩陣與B矩陣之間計算每個像素位置的BE-RDLCM 值，可以得到矩陣D。

從前文討論中可知，經過BE-RDLCM 計算后，真實目標將最為突出，而其他干擾因素都可以得到較好的抑制。因此，在本章中，使用一個簡單的閾值操作來對目標進行提取。定義閾值為

式中：μ和σ分別是BE-RDLCM 矩陣的均值和標準差；kth是一個給定的參數，實驗顯示通常取2～8為宜。在BE-RDLCM 中，只有大于Th 的像素點被輸出為目標像素點，其他像素點都被認為是背景。

4 實驗與對比

使用6個包含小目標的真實紅外圖像序列(超過800 幀) 來檢驗算法的性能。具體內容如下：1)描述這6個圖像序列的特點。2)分析討論關鍵參數Rin、H和L的選擇。3)對本文算法實際性能進行了檢驗，并將本文方法與若干當前主流檢測算法進行比較。

算法實驗的硬件環境為Intel Core i5 2.6 GHz處理器、8 GB 內存的計算機，軟件環境為MATLAB R2016b。

4.1 序列特征

在實驗中使用了6個具有不同背景類型和不同目標大小的真實IR 序列。圖6 給出了每個序列的樣本。表1 給出了不同序列的特點，例如幀數量、圖像分辨率、目標編號、每個目標的尺寸大小等。從圖6 和表1 可以看出，目標通常很小且暗淡，而背景則非常復雜，它們可能具有高亮度和復雜的邊緣。另外，噪聲也是降低圖像質量的因素之一。

圖6 實驗樣本Fig.6 Sample images

表1 實驗序列特征Table1 Characteristics of different sequences

4.2 參數設置

對于關鍵參數的選取和優化進行討論，例如用于背景估計的Rin和H，以及用于BE-RDLCM計算的K。

1)參數Rin和參數H

Rin決定了圖3 中內層窗口的面積。由于內層窗口用于遮罩真實目標，因此Rin不應小于目標半徑，否則估計的背景與原始值之間的差異將不夠明顯。

H是Rin和Rout之間的差。顯然，H越大，參與運算的有效像素將越多，這意味著將更好地抑制隨機白噪聲。但是，如果Rin和H太大，則窗口面積將過大，容易引入更多的干擾，特別是如果目標在復雜背景附近時。

為了確保內層窗口可以全部或大部分遮蓋目標，內層窗口的面積應接近紅外小目標的典型最大值。根據文獻[29]，在實際應用中，目標大小通常為5×5 至7×7，因此9×9 的內層窗口將足夠，即建議將Rin設置為4。此外，為了在噪聲抑制和干擾引入之間尋求平衡，建議使用H為3 或4。

2)參數K

式(11)和(12)中的K用于抑制亮度接近或略大于真實目標的PNHB，因此建議將K設置為大于1 的值，即L應大于0。但是，如果K太大，則真實目標也會被平滑，尤其是當目標區域較小時。為了尋找平衡，建議將K設為9(即L設為1)。

4.3 檢測性能測試

為了檢驗算法的檢測性能，圖7 給出了使用本文算法對6個序列代表幀的檢測流程和結果。

從圖7 中可以看到，使用本文算法在6個序列的代表幀中均可成功檢測出小目標，并且沒有出現任何虛警。這證明了本文算法的有效性。

圖7 本文算法對6個序列的檢測流程與結果Fig.7 Processing and detection results for the six sequences using the proposed algorithm

4.4 與現有算法的性能比較

為了進一步驗證所提算法的優勢，實驗中選擇了6個主流算法進行比較，包括DoG[30]、MPCM[19]、ILCM[4]、NLCM[21]、WLDM[31]和RLCM[14]。上述算法中的參數值大多是取原作者推薦值。

圖8 給出了算法比較的結果，此處使用了ROC 曲線作為衡量指標，其中虛警率(false positive rate，FPR)與檢測率(rue positive rate，TPR)分別定義為

圖8 不同算法比較的ROC 曲線Fig.8 ROC curves using different algorithms

式中：Ntotal為像素點的總數；Nfalse為虛警的數量；Ntrue為真實目標的數量。

從圖8 可以看出：

DoG 的檢測性能通常最差，因為它是一種差值形式的局部對比度算法，不能有效地增強小目標。此外，它沒有利用方向信息，也無法區分背景邊緣。

MPCM 也是一種差值形式的局部對比度算法，但是它采用多尺度檢測，因此通?？梢詫崿F比DoG 更好的檢測性能。但是，MPCM 無法在一些序列上有效檢測，比如，序列2、序列4、序列5 等。

WLSM 是一種比值形式的局部對比度方法，可以有效地增強小目標，因此通?？梢垣@得比DoG 更好的性能。但是，WLDM 在序列1、序列2、序列3 等序列上的性能不是很好。

ILCM 是一種兩環節形式的比差局部對比度方法，因此它通常比單一比值形式或差值形式算法具有更好的性能。此外，在ILCM 中利用了方向信息來更好地抑制復雜的背景邊緣。但是，ILCM 仍然無法在一些序列上有效檢測，比如序列1、序列2 等。

NLCM 的情況與ILCM 相似，并且它們的性能在大多數序列中也相似。

作為一種新提出的多尺度局部對比度方法，RLCM 在大多數情況下都比其他算法具有更好的檢測性能，因為它同時利用了比值運算和差值運算。但是RLCM 在某些序列上的性能不佳，例如序列5，這是因為RLCM 需要較大的計算區域(27×27)，因此在計算過程容易引入更多的干擾，導致算法不能給出正確的對比度信息。

本文所提方法由于引入了背景估計的思想，能夠獲得更精準的背景值。同時，比差聯合的思想結合了兩種運算的優勢，可以在增強目標的同時抑制復雜背景。另外，算法的窗口大小也更加靈活，所需計算區域比RLCM 更小。因此，本文算法在6個序列中均可取得較好的檢測結果，在所有對比算法中的檢測性能位居前列。

4.5 抗噪聲能力測試

噪聲是影響圖像質量和算法檢測性能的關鍵因素之一，圖9 給出了該算法在不同級別的隨機噪聲下的性能，以ROC 曲線作為衡量標準。6個序列均被測試，分別添加了方差為1、2、3、4 和5 的高斯白噪聲。從圖9 可以看出，在添加噪聲后，本文算法性能僅略有下降，這意味著算法對噪聲具有良好的魯棒性。

圖9 多種噪聲級別影響下的ROC 曲線Fig.9 ROC curves under different levels of noises

5 結束語

本文提出了一種用于紅外小目標檢測的局部對比度新方法BE-RDLCM。首先，引入背景估計的思想，以得到更準確的基準背景值，并提出了一種采用雙層窗口的最大均值背景估計算法。然后，在原始輸入圖像和估計的背景之間提出了一種比差聯合局部對比度度量算法，在增強真實目標的同時抑制不同類型的復雜背景。對包含不同背景類型和不同目標大小的6個真實紅外序列進行了實驗，證明了該算法的有效性和魯棒性。與現有的6 種主流檢測算法相比，該算法在檢測率和虛警率上均能取得較好性能，同時具有良好的抗噪聲能力。本文的貢獻可以總結如下：1)提出了一種新的局部對比度計算框架。在該框架中，引入了背景估計的思想，以當前位置的估計背景為基準值。該基準值用于計算當前位置的局部對比度，從而可以在復雜背景下得到更準確的局部對比度信息。2)提出了一種新的最大均值背景估計算法，該算法更適合于小目標檢測。這里主要采用雙層窗口，內層窗口用于遮蓋小目標，外層窗口被分為八個方向以抑制背景邊緣。3)在原始輸入圖像和估計背景之間提出了比差聯合局部對比度度量。它可以增強不同大小的真實目標并同時抑制各種類型的復雜背景，而無需預處理。