紅外單幀弱小目標檢測算法研究綜述

劉 征,楊德振,李江勇,黃成章

(華北光電技術研究所,北京 100015)

1 引 言

近些年來,紅外探測技術的應用深入到軍事、空間遙感以及民用等各個領域中,如紅外偵察預警、星載空間紅外探測、醫學紅外成像和汽車導航等諸多應用場景。作為紅外預警探測領域的關鍵技術,適應于不同復雜場景下的紅外弱小目標檢測算法一直受到國內外研究人員的廣泛關注。在目前光學系統的空間分辨率難以進一步提升的情況下,研究適用于不同作戰場景下的紅外弱小目標檢測算法,保證算法低虛警的同時提升算法的自適應性,以增強紅外預警探測系統遠距離檢測跟蹤的能力。因此作為紅外探測關鍵技術的弱小目標檢測算法,目前乃至將來仍然是一個值得去深入研究的課題。

紅外弱小目標檢測算法主要分為多幀檢測和單幀檢測,多幀檢測利用多幀圖像中運動目標的連續性和相關性實現紅外小目標檢測,而單幀檢測主要利用單幀圖像,提取小目標在紅外圖像中的梯度、灰度、對比度等特征,通過目標增強或背景抑制等方式實現弱小目標檢測,相比多幀檢測,具有復雜度低,執行效率高,便于硬件實現等優點。因此本文以單幀檢測算法為主線,著重闡述近些年來紅外單幀弱小目標檢測算法的研究現狀。

2 紅外弱小目標特征與檢測難點分析

紅外弱小目標這一定義分別指出了目標的兩個特性,即“弱”和“小”,其中“弱”指的是目標信噪比低、與背景之間的對比度差、紅外輻射強度弱；而“小”指的是目標像素少,檢測時難以獲得紋理信息,可考慮的信息只有灰度和位置。如圖1所示,圖1(a)為紅外小目標的實際圖像,圖1(b)為目標區域所對應的三維強度分布圖像。

(a)

通過觀察上圖可以看出,通常小目標在成像時距離較遠,成像質量差,其形狀類似圓形斑塊或點狀形式,灰度由中心點向四周邊緣緩慢擴散,無各向異性,而噪聲點常以孤立亮點或暗點形式出現,與目標相差較大,因此傳統研究常采用二維高斯函數對紅外小目標建模表示。但上述模型的建立是基于小目標尺寸不會發生較大范圍的變化且目標背景相對干凈這一假設,使得傳統小目標檢測方法能夠有效抑制背景雜波從而檢測出弱小目標。然而實際在對紅外弱小目標進行遠距離檢測跟蹤時,小目標常處于復雜背景環境下,如云層邊緣、地面強雜波干擾等,極易被背景雜波所淹沒,這時直接使用二維高斯函數建模往往是無效的。

3 紅外單幀弱小目標檢測算法分類

紅外單幀弱小目標檢測算法主要通過圖像預處理突出小目標同時抑制背景噪聲干擾,之后采用閾值分割提取疑似目標,最后根據特征信息進行目標確認。由于單幀檢測的算法復雜度較低,檢測效率高,因此目前絕大多數的高速運動目標檢測平臺等都是采用的單幀紅外弱小目標檢測算法。本文對近些年來提出的紅外單幀弱小目標檢測算法進行歸類總結,如下所示：

紅外單幀弱小目標檢測算法包括：①基于濾波的檢測算法；②基于人類視覺系統的檢測算法;③基于圖像數據結構的檢測算法;④基于深度學習的智能檢測算法。

下面將針對每類算法展開詳細介紹與分析。

3.1 基于濾波的檢測算法

由于紅外探測系統得到的單幀圖像中,紅外小目標的紋理、大小等特征信息往往難以獲取,通常紅外小目標檢測是基于小目標和背景之間的灰度差異。濾波方法的原理就是利用像素灰度差異來突出小目標,并去除周圍背景噪聲干擾。目前這類方法大體可分為空間域濾波和變換域濾波。

3.1.1 基于空間域濾波的檢測算法

空間域濾波主要是在空域上對紅外圖像進行處理,其基本原理是首先對圖像進行預處理,將濾波得到后的顯著圖通過閾值分割方法來檢測紅外弱小目標。近些年來空間域濾波的方法主要有以下幾類:

(1)空域高通濾波

高通濾波器是基于背景估計的方式,由于探測系統獲取的紅外圖像中小目標為亮點,而周圍背景一般偏暗,高通濾波基于這兩者之間的灰度差,從而將小目標從圖像中提取出來,同時去除背景和噪聲的干擾。空域高通濾波的優勢在于計算復雜度低,便于硬件實現,但是通常小目標所處環境復雜,背景灰度變化大,容易存在大量干擾噪點,所以面對這種環境時利用高通濾波進行檢測往往會導致虛警率很高,檢測性能達不到要求。

(2)最大中值、最大均值濾波

Max-Mean和Max-Median濾波最早于1999年應用于紅外小目標檢測,其中最大中值濾波主要通過固定模板逐步對紅外圖像中對應區域內的像素灰度值進行統計得出中值,從而降低邊緣信息對于檢測效果的影響。而最大均值濾波通過利用不同方向上的像素灰度值獲得均值,進一步求取最大值,即得到最大均值濾波輸出。這兩種算法能夠在保留的邊界同時抑制圖像中的噪點,使得目標得到增強,算法簡單,易于硬件實現,但算法容易受到窗口形狀和尺寸的影響,且不同圖像背景對濾波窗口要求不同。

(3)Robinson Guard濾波器

Robinson Guard濾波器的結構如圖2所示,其中心像素周圍無權值區域稱為保護帶,主要作用是保護帶內目標信息,還能夠對帶外背景邊緣進行檢測。

圖2 Robinson Guard濾波器結構

濾波原理是將當前像素灰度值與其模板最外層區域的像素灰度最大值進行比較,并將差值作為輸出。但是Robinson Guard濾波器缺點在于其不能夠自適應調整濾波窗口大小,濾波結果很容易受到小目標本身或干擾雜波的影響。為了解決傳統Robinson Guard濾波器的局限性,Zhang等人[1]在傳統Robinson Guard濾波器的基礎上進行改進,采用自適應調整Robinson Guard濾波器窗口大小的方式,并通過多尺度進一步優化獲得最優的濾波器窗口大小,能夠適用于不同大小的小目標,同時對于低信噪比的圖像,還具有很好的背景抑制能力和小目標增強能力。

(4)雙邊濾波算法

雙邊濾波(BF)算法主要通過在背景區域和目標區域之間自適應地改變兩個高斯濾波器的標準差以實現紅外小目標檢測。近期,Bae等人[2]在邊緣方向分析的基礎上提出一種基于雙邊濾波(BF)的紅外弱小目標檢測方法,該算法將BF濾波器作為背景預測器應用于小目標檢測,改進后的算法不僅具備傳統雙邊濾波算法較強的背景估計能力,同時相較傳統算法還提升了魯棒性和檢測效率。

(5)數學形態學方法

由于數學形態學處理算法復雜度較低且易于FPGA硬件實現,因此近些年來一直被作為紅外小目標檢測領域中的圖像預處理方法。其基本思想是通過選取具有一定形態的結構元素對紅外圖像進行相應數學運算,有選擇性地剔除圖像中部分區域特征,同時提取出小目標特征信息。如經典Top-Hat變換不僅能實現很好的背景抑制效果,還能提取出與結構元素相似的目標和少量干擾噪點,但其僅采用一種結構元素,難以體現出目標區域與周圍區域的差異。最近Zhu等人[3]提出一種基于Top-hat正則化與低秩張量相結合的紅外小目標檢測方法,該算法充分考慮目標的結構先驗知識和背景的自相關性,提高了小目標檢測的信雜比增益和穩健性。除了Top-Hat變換外,Zhao等人[4]提出一種基于形態學特征提取的紅外小目標檢測算法,該算法結合形態學特征提取與低秩稀疏分解方法抑制背景雜波的同時顯著提高了目標的信噪比。

(6)二維最小均方濾波器(TDLMS)

二維最小均方濾波器(TDLMS)從Wiener濾波器演變而來,主要是基于輸入紅外圖像,計算相應的模板參數,將其用于迭代過程中求取期望圖像和預測圖像之間的誤差函數,當誤差小于一定閾值時,停止迭代并輸出得到預測背景圖像,最后用原始圖像減去預測背景圖像得到小目標檢測結果。該算法通過多次迭代運算能夠對背景進行準確估計,自適應性較強。最近Lv等人[5]提出一種基于二維最小均方濾波(TDLMS)和基于鄰域灰度差(GSD)度量相結合的算法,用以運動點目標檢測問題,能夠有效去除殘留背景雜波干擾。張藝璇等人[6]提出一種自適應雙層TDLMS濾波的紅外小目標檢測算法,能夠有效降低虛警率但同時也犧牲了實時性。

3.1.2 基于變換域濾波的檢測算法

變換域濾波主要通過將原始圖像利用數學方法轉到變換域,根據目標和背景在變換域中所屬成分不同這一特性,在變換域進行處理,將處理后的結果逆變換為空間域從而實現小目標檢測,相比空間域濾波能夠更加直觀顯示目標和背景的特性,從而背景抑制效果得到增強,與此帶來的是算法計算復雜度的增加。目前應用較多的這類方法主要有頻域高通濾波、小波變換濾波、多尺度幾何分析[7]、二維經驗模式分解(BEMD)[8]以及離散余弦變換(DCT)[9]。

(1)頻域高通濾波

由于紅外圖像中的小目標通常比周圍背景的灰度值高,通過將時域信息變換到頻率域,利用頻域高通濾波器提取紅外圖像中的高頻小目標部分,同時濾掉低頻背景和噪聲,實現背景抑制并突出小目標。這類濾波器在紅外場景較為簡單的時候,濾波效果比較明顯,但是通常所處理的圖像往往處于頻率復雜的地面強雜波背景、卷云雜波干擾的環境下,此時濾波效果并不能滿足檢測需求。

(2)小波變換

小波變換算法的實質是通過構建不同尺度的小波函數去分解原始圖像,利用變換得到原圖像在多個尺度下的高、低頻信息,通過分析小目標特性,將高頻部分中的小目標從中檢測出來。考慮到傳統小波變換在高維情況下,難以充分利用圖像數據原有的幾何特征,后來在小波變換的基礎上提出了多尺度幾何分析的方法,吳文怡等人[7]將Contourlet變換應用于紅外弱小目標檢測,Contourlet變換的引入成功解決了小波變換對于二維圖像只能在水平、垂直和對角三個方向上進行分解這一局限性,對于每個尺度所分解的方向都具有靈活性。雖然該算法在小目標檢測性能上有所提升,但是該算法僅適用于目標點極少的紅外小目標檢測。

(3)二維經驗(BEMD)模式分解

經驗模式(Empirical Mode Decomposition,EMD)方法的提出很好地避免了小波分析對小波基和小波變換核的空間尺度的選擇,并且繼承了其多分辨率分析和時域分析的特性。而后由EMD推廣到了二維經驗(BEMD)模式分解,針對復雜背景下的紅外小目標檢測,解婷等人[8]提出一種基于二維經驗模式分解(BEMD)的新方法,通過引入了同組過濾器(PGF)和局部逆熵(LIE),能夠有效抑制背景噪聲和改善原始圖像信噪比,但是由于算法復雜度的增加導致了實時性不足,因此還難以滿足實際工程需求。

(4)離散余弦變換(DCT)

離散余弦變換(Discrete Cosine Transform,DCT)最先于1974年提出,該變換具有良好的去相關性,同時其只使用實數,相當于只有一半長度的傅里葉變換,可以減少一半以上的運算量,近些年來常用于信號處理和圖像處理領域中。Ding M等人[9]提出將離散余弦變換(DCT)應用于機載光電平臺的紅外目標檢測與識別的方法中,并取得了較好的檢測結果。相比傳統的離散傅里葉運算,采用DCT可以降低算法的計算量,適合進行硬件加速計算以應用于系統工程中。

3.2 基于人類視覺系統(HVS)的檢測算法

人眼可以快速定位到感興趣區域,并獲取其中的感興趣目標,這一行為主要是人眼根據對比度區別目標和背景而不是亮度,以此來獲取視覺顯著性區域。根據HVS的特性,紅外圖像中目標的顯著性特征主要包含對比度、大小、形狀等等。所以紅外小目標檢測中引入了局部對比度、視覺顯著性圖、多特征融合、多尺度等理論機制。

(1)基于局部對比度機制

由于紅外小目標一般與其周圍背景不連通,并且其本身的結構信息并不顯著,所以在紅外圖像的局部鄰域中,對比度是考量目標和背景之間關系最好的方式。如蔡軍等人[10]提出一種基于視覺對比度機制的紅外小目標檢測算法,該算法利用局部對比度(LCM)算子獲取顯著性區域,同時采用多尺度對比度進一步提升算法的魯棒性和檢測能力。由于傳統LCM算法對噪聲和背景抑制性能有限,潘勝達等人[11]提出一種基于雙層局部對比度機制(DLCM)的紅外弱小目標檢測算法,該算法只需計算單尺度的雙層對比度就可以實現不同尺寸的小目標檢測且實時性較好,考慮到實際工程應用中算法移植的可行性,后續算法還需進一步優化改進。

(2)基于多特征融合

基于多特征融合的方式也是人類視覺機制應用小目標檢測的一個研究方向,為了抑制背景雜波,通常需要考慮多個特征對小目標局部特性進行表征,如局部強度、梯度、局部灰度殘差等等。局部強度特性可以用來抑制強度值分布近似的均勻背景,而梯度特性可以用來檢測邊緣較強的背景,因為它們的梯度方向通常是一致的,并且在分布上與目標的不同。由此來看,結合不同特性可以起到有效抑制背景雜波的作用。如危水根等人[12]提出一種結合局部灰度殘差、局部強度和梯度三種特性相融合的紅外小目標檢測算法,該算法利用局部灰度殘差信息圖抑制平緩背景,局部強度均值約束信息圖剔除孤立背景點干擾,梯度方向約束信息圖剔除強邊緣雜波干擾,最后通過融合這3個特征信息圖并結合閾值分割實現弱小目標與背景的分離。

3.3 基于圖像數據結構的檢測算法

上述大部分方法都是從紅外小目標的變換域特征、對比度、梯度特征以及灰度分布等方面進行分析,從而實現背景抑制和目標增強。近兩年,相關學者提出了一個新的研究方向,即將圖像數據結構引入到紅外小目標檢測算法中,利用了紅外圖像中背景的非局部自相似性和目標的稀疏特性,即背景塊屬于同一低秩子空間,而目標相對整體圖像尺寸較小。目前比較典型的基于圖像數據結構的方法主要有以下兩種:

(1)紅外圖像塊(IPI)模型

由傳統的目標、背景和噪聲三大部分構成的紅外圖像模型推廣到利用非局部自相關特性的紅外塊圖像(IPI)模型,該模型主要將紅外弱小目標檢測問題轉化為恢復低秩和稀疏矩陣的優化問題,其典型的求解IPI模型的目標函數表達式如下:

(1)

其中,I、B、T分別對應紅外圖像塊矩陣,背景塊圖像矩陣和目標塊圖像矩陣;λ和μ均為可變權重參數。Yang等人[13]提出基于紅外圖像塊(IPI)模型的多尺度融合和參數調整的紅外小目標自適應檢測方法,對于高度變化的復雜場景具有很好的適應性且能夠保證較低的虛警率。由于上述采用IPI模型的方法通常需要將每個圖像塊矢量化為一列像素,而在此過程中,像素間的結構信息被破壞致使信息丟失,因此估計目標圖像并不夠準確。Zhang等人[14]提出一種基于圖像塊張量(IPT)模型的小目標檢測方法,將檢測任務由二維圖像層面擴展到三維張量層面,同時將小目標檢測問題轉化為分離張量的低秩部分和稀疏部分的優化問題,相比IPI模型提升了算法的檢測性能。由于這類算法實現時通常需要進行多次矩陣分解的迭代,而高維奇異值分解效率較低,耗時較長,所以在實時性上還需進一步改進以適用于實際工程中。

(2)穩健主成分分析(RPCA)

穩健主成分析(RPCA)方法的核心是將背景和小目標分離的問題轉換為采用數學的方式求解凸優化問題。樊俊良等人[15]將RPCA算法應用于弱小目標檢測中,通過對上述凸優化問題進行求解從而得到背景和目標前景圖像,最后從目標前景圖像提取出小目標,該算法對于簡單的混合場景具有較好的適用性。馬銘陽等人[16]改進了穩健主成分分析(RPCA)分割的方法用于目標粗提取,而后結合基于統計的多點恒虛警檢測(MCFAR)方法用于小目標精檢測,保證了紅外小目標的檢測精度。這類算法很大程度上降低了虛警率,但對于RPCA算法的求解速度問題還有待進一步優化。

3.4 基于深度學習的智能檢測算法

傳統的紅外小目標檢測算法中通常是根據小目標本身灰度值,鄰域背景信息等特征來進行檢測識別,這些算法選取的特征大多是基于人工的選擇,因此在算法設計中考慮的特征參數總是有限的,而深度學習能通過訓練提取數據中深層次的中層以及高層特征,用以目標表征,提升目標檢測的魯棒性。國內外學者在近幾年來相繼提出了許多基于深度學習的智能檢測算法。LIN等人[17]通過設計一種7層深度卷積神經網絡(CNN),實現對紅外小目標特征的自動提取以及對背景雜波的端到端抑制。該方法在背景抑制和目標增強方面均取得了很好的性能。Wang等人[18]設計了一種特征提取骨干網絡(MNET)用于紅外小目標檢測,該網絡兼顧了實時性與檢測精度,能夠實現105 f/s的檢測速率。鈕賽賽等人[19]利用經典模板匹配算法與Fast YOLO模型相結合用于紅外小目標檢測。該算法不足之處在于一旦圖像劣化或目標之間存在遮擋現象,難以準確檢測出圖像中的所有目標。

目前將深度學習應用于紅外小目標檢測最大的局限性在于,待檢測的紅外小目標尺寸過小,缺乏紋理、結構等特征,而神經網絡中往往采取下采樣操作,導致目標在特征圖上尺寸僅占據幾個像素,使得檢測器難以提取出有效特征,導致小目標檢測效果差；同時考慮到實際紅外工程應用中對算法的實時性和硬件負載能力均有限定,神經網絡架構移植到常用的FPGA+DSP硬件架構上的難度較大。

4 算法仿真與性能分析

為了進一步評估各類單幀檢測算法的性能,本文從背景抑制因子(BSF)、信雜比增益()以及算法平均運行時間(ms)這三種評價指標出發,選取近些年來具有代表性的幾種算法進行綜合檢測性能分析。其中BSF和SCRG分別用于度量算法的背景雜波抑制能力和目標增強能力,其值越大表明算法檢測性能越強。而算法平均運行時間取決于算法的運算量大小同時也能夠考量算法的實時處理速率與實際工程應用價值。本次實驗主要選取5個真實紅外圖像序列集對單幀檢測算法進行仿真實驗,實驗平臺統一選取Intel Xeon 4110 CPU @ 2.10GHz,Nvidia GeForce GTX 1080Ti,64G內存服務器,仿真軟件為Matlab2020b。仿真實驗結果如圖3及表1、表2所示。

圖3 典型單幀檢測算法的檢測結果與對應的三維灰度分布

表2 典型單幀檢測算法平均運行時間(單位：ms)

通過上述仿真結果看出,當小目標處于簡單的空天場景時,這幾種典型的檢測算法均取得了較為不錯的檢測結果。而當目標場景趨于復雜存在大量云層雜波干擾或處于云邊緣背景時,傳統的檢測算法Max-Median、LCM等算法處理后仍存在背景干擾點。從三維灰度圖中可以進一步看出,相比干凈背景下目標灰度峰值遠高于背景灰度分布,盡管經過算法處理,復雜背景下的干擾點灰度峰值仍與目標峰值接近,此時采用閾值分割方法極容易將干擾點判為虛假目標,導致算法虛警率增加。而近些年提出的IPI模型和CNN檢測算法在算法處理結果上明顯優于傳統算法,在不同的復雜紅外場景下均能有效檢測出目標,并剔除虛警點。

綜合背景抑制因子和信雜比增益指標可以得出,傳統的基于濾波的檢測方法Max-Median和Top-hat的背景抑制能力要優于提升目標對比度的LCM方法,而IPI算法在背景抑制性能上有所提升,基于深度學習的CNN檢測算法相較于傳統的檢測算法在整體性能上提升了幾個數量級。但是從算法運行時間來看,考慮到CNN在單幀檢測時需要進行大量浮點運算,因此在算法處理時間上要劣于傳統的濾波和視覺對比度LCM算法,而IPI算法需要進行矩陣迭代運算,導致算法計算量很大,因此消耗時間最長。

5 結論與展望

綜上所述,本文對近些年來提出的紅外單幀弱小目標檢測算法進行了系統性的梳理,并針對近些年來提出的紅外單幀弱小目標檢測方法分析了優勢與不足。結合當下紅外預警探測系統的發展需求以及各個領域逐漸引入人工智能思想的熱潮,可以預見未來紅外弱小目標檢測的發展趨勢如下:

(1)首先,考慮到紅外預警探測對探測距離、成像質量、復雜背景環境下的適應能力等需求的提高,在硬件上研制大規模、高分辨率、多波段、超高密度集成和輕型化的焦平面器件,仍然是推動紅外弱小目標檢測研究必不可少的一部分。

(2)其次,由于單一波段的紅外探測系統的性能總是有限的,由單波段檢測推廣到研究紅外多光譜融合探測技術,高光譜探測技術以及多傳感器信息融合技術,進行信息互補,實現預警系統一體化,有效解決單一波段或單一探測器探測性能的局限性。

(3)最后,創新和改進現有的紅外弱小目標檢測算法仍然是目前研究的重點。利用深度學習模型架構進行紅外弱小目標檢測,完善紅外弱小目標數據集,同步考慮神經網絡模型架構硬件移植的可行性,后續研究可以利用FPGA高速并行計算、低功耗的優勢,在FPGA上搭建神經網絡架構,加速神經網絡計算,保證算法的檢測效率與實時性。