楊德振喻松林*馮進軍李江勇王禮賀
機載復雜場景下的低虛警紅外目標檢測
楊德振1,2,喻松林1*,馮進軍2,李江勇1,王禮賀1
(1.華北光電技術研究所,北京 100015;2.北京真空電子技術研究所,北京 100015)
機載紅外光電探測系統進行下視復雜場景目標探測時,地面虛警干擾源同弱小目標在空間分布上一致,傳統算法會導致大量虛警。因此,提出一種基于運動目標特征的多維度特征關聯檢測算法。該算法首先對復雜場景進行特征點檢測,引入基于相對速高比的跳幀機制,對經過圖像配準的幀間圖像進行差分處理檢出候選目標。同時,結合基于核相關濾波的目標相似度方法進行多維多幀關聯,進一步抑制虛警并確認目標。實驗結果表明,在載機速高比大于30 mrad/s、系統幀時小于10 ms的機載環境下,該算法的平均檢測率達到99.13%,虛警率降至105。該方法在多種機載復雜場景下得到驗證,適合流水并行運算操作,滿足工程實踐需求。
目標檢測;機載環境;運動目標特征;核相關濾波;虛警抑制;并行流水操作
近年來,紅外目標檢測在機載電子領域的作用愈加突出。機載場景下目標分辨率低,可利用特征少,而且應用場景復雜多變,尤其是下視對地目標探測中,背景中涵蓋山川、海面、建筑等輻射源,復雜云層背景邊緣等,背景信息干擾大,極易產生虛警[1]。在軍事領域最大限度地抑制虛警,提供精確目標信息,才能實現復雜環境下的“先敵發現、先敵打擊”。因此,實現機載復雜場景下的低虛警有效探測成為紅外目標探測領域的研究重點。
近年來涌現出幾類優秀的目標檢測算法,Top-Hat[2]形態學濾波目標檢測是通過形態學特征進行卷積運算,提取潛在目標并抑制背景;基于低秩稀疏紅外塊圖像[3](IPI)的弱小目標檢測算法將目標檢測轉換成低秩恢復和稀疏矩陣優化的數學問題;顯著性局部對比度[4](LCM)的算法是通過計算圖像局部對比度來獲取顯著性區域,采用多尺度對比度提升檢測的魯棒性;基于相位相關差分相乘[5](PC-DM)的運動目標檢測方法,采用求互功率譜的反傅里葉變換極值來估計幀間偏移量,多幀差分圖像相乘得出目標位置。以上紅外弱小目標檢測算法均能較好地檢測目標,然而在抑制復雜背景的虛警能力方面,Top-Hat形態學濾波和LCM無法區分地面亮斑和弱目標的差異,極易產生虛警;基于IPI模型的目標檢測算法在將每個圖像塊矢量化為一列像素的過程中,像素間的結構信息丟失導致難以準確估計目標;PC-DM雖然采用幀間相消去除復雜背景雜波,但相鄰幀差分沒有考慮目標的機動特性,目標的不規則運動容易導致差分結果失效,進而產生虛警。針對下視常見的虛警干擾源,結合地面和云層虛警源在相鄰幀的空間一致性,即相對移動較固定的特點,本文基于載機與目標機的相對速高比引入跳幀機制,采用運動目標模型提取候選目標,結合多維度特征關聯確定目標的方法進行低虛警紅外目標檢測。
機載環境下視的典型背景多為復雜背景,復雜場景及傳統目標檢測算法的實現結果如圖1所示。

圖1 傳統算法的目標檢測效果
根據國際光學工程學會(SPIE)的定義,目標尺寸占用整幅圖像尺寸在0.1%左右[6]、目標圖像對比度占整幅圖像(16位)對比度大約為0.15%即為弱小目標。背景干擾源又稱為虛警源,信號處理領域常用雜波來定量地表征這些背景干擾對目標探測性能的影響。圖2為幾類典型虛警源與弱小目標的灰度分布,虛警源包括地面高亮背景與輻射源、復雜云層的背景邊緣和系統盲閃元。

圖2 弱小目標與常見虛警源灰度分布比較
眾所周知,弱小目標的空間分布灰度函數近似為高斯分布。從圖2可以看出,典型的地面虛警源也符合類高斯分布,而傳統目標檢測算法主要利用目標輻射灰度分布特性或者幾何特性來分類并提取目標,采用的方法包括基于空域、頻域、形態學的濾波、背景估計、人類視覺系統(HVS)、卷積神經網絡等[7]。然而在下視對地復雜場景下,以上方法在抑制虛警上的表現往往差強人意。針對軍事快速移動目標的特殊性,本文從目標運動模型出發,采用跳幀差分檢測的方式進行目標預提取,以達到抑制地面大量自輻射和反射虛警源的目的。
本文提出的紅外弱小目標檢測主要包括目標分割和目標關聯兩大部分,具體流程見圖3。針對機載環境的載機運動和目標機運動特性,本文首先對局部區域進行Harris[8]角點檢測提取背景特征點,同時引入基于載機、目標機相對速高比的跳幀機制進行幀間差分,接著基于KLT[9]光流法進行前后序列幀圖像的背景匹配,結合Ostu對圖像進行閾值分割得出潛在目標及其位置、大小、圖像模板等前景信息。在目標關聯部分,引入多幀關聯,并采用CSK相似度[10]、目標尺度、速度度量等多維度特征進行目標關聯。隨著關聯數量的增多,移動目標的置信度越來越大,關聯數量達到特性閾值的潛在目標為極可能目標,最后經過盲元剔除算法最終輸出目標信息。

圖3 紅外弱小目標檢測算法流程
目標分割算法的目的是從圖像中將疑似目標從背景中分割出來,在經過二值化處理后獲取潛在目標區域的信息。本文提出的算法先采用基于Harris的角點檢測方法進行多點校正,接著利用KLT光流法確定幀間背景圖像偏移量。為了在載機做大機動動作、光電探測設備擺掃和目標機前后幀間靜止或者緩慢運動時防止固定幀差法失效[11],采用基于相對速高比的跳幀機制進行背景差分。利用改進的三幀差分法對經過偏移量補償的幀序列進行做差求與,消除差分圖像移動弱小目標區域的“空洞”和“鬼影”現象[12]。最后,結合形態學濾波與Ostu算法進行自適應閾值分割得出目標前景信息。
311基于相對速高比的差分跳幀機制
幀差法對幀序列中連續的兩幀或者多幀圖像進行逐像素做差,提取差分圖像的極值點,一般就能檢測出移動目標[13]。而機載環境下,載機和目標機都有極強的運動性,導致目標在紅外焦平面的像移速度不確定,采用固定間隔的幀差無法有效提取運動目標。針對這一問題和算法的實時性要求,本文提出了基于相對速高比的差分跳幀機制。跳幀機制根據載機和目標機的空間關系和目標運動特性來動態確定前后差分圖像的幀差數。跳幀機制的引入有如下優點:
(1)隔幀或者隔多幀檢測,差分對象為當前幀與前某一幀,可降低算法的實時性要求;
(2)在預處理階段對噪聲多的幀跳過,不執行差分和后續關聯,可提升算法速度與關聯效率;
(3)結合機載環境和系統伺服信息對算法進行幀差調整,可提升圖像匹配的成功率進而提高算法的自適應性。
本算法提出的跳幀機制結合了紅外探測系統成像機理和目標相對運動模型,經過分析,影響圖像匹配的因素有:紅外探測系統載機的速高比、載機與目標機的相對速高比,紅外探測系統的擺掃速度、焦距、像元尺寸和系統幀頻,以及探測目標尺寸和移動目標的速度[14]。
考慮下視高速移動目標在像面上的移動速度,有:




即:



結合實際導航數據,帶入載機速高比、系統幀時、紅外焦平面像元參數,可自適應地切換差分跳幀值。圖4為載機進行大機動瞬間連續幀序列算法的預處理結果。通過本研究采用的跳幀機制與固定跳幀幀差法的效果對比可以發現,固定跳幀幀差法的差分結果出現很多虛警,而且差分后目標消失;基于相對速高比的差分跳幀法能有效提取高速運動目標區域,同時最大限度地抑制虛警。
312改進的Harris角點檢測

由Harris角點檢測[15]定義,首先采用高斯窗在圖像上平移,計算平移后像素灰度值的變化程度,得到:



其中矩陣為:

Harris角點檢測通過對比矩陣的兩個特征值,當兩個特征值都大于閾值則認為圖像在這一點上的灰度和曲率均有較大變化,即為角點。令為角點響應值:

(1)針對Harris角點檢測在噪聲中敏感的缺陷,在角點檢測之前預先進行了圖像降噪處理。
(2)為提高運算速度,采用LOCOCO[16]算法減少工作量,引入積分圖像減少高斯梯度和角點響應值的計算;引入圖像塊最大值替代在非極大值抑制(NMS)中逐點排序;每幀圖像僅提取20個角點。
(3)為了避免在跟蹤階段對目標區域進行角點匹配和減少雜散光成像干擾,并進一步提高運算速度,只針對特定區域進行角點檢測。
角點檢測結果是選取特征最強的多個角點,一旦找到當前幀圖像的多個角點就進行差分操作,得出機體運動和系統抖動引起的光流偏移量。
313基于KLT光流法的圖像配準
KLT光流算法[17]是光流法領域經典的目標跟蹤算法,常用于繪制運動目標的跟蹤軌跡,本設計采用KLT光流法獲取前后幀下視背景的偏移量。采用光流法有三個假設前提:
(1)背景特征點的亮度恒定;
(2)特征點的運動偏移矢量足夠小;
(3)背景中的點具有空間一致性。
這里介紹Lucas和Kanade[18]的KLT光流法的原理:假定光通量在相鄰幀中對相同特征點具有恒定強度,利用一階近似泰勒級數展開,有:





其中:

在算法實現中,為進一步提升算法速率,本研究引入了三層金字塔下采樣方法來減少遍歷時間;針對偏移量為小數的情況,采用線性雙插值算法在行列像素上逼近。
高幀頻紅外探測器的一個幀頻周期往往只有幾毫秒,除了快速移動的弱小目標,其他干擾源因為空間關系固定幾乎不會有位移,在場景校正時已經對其進行剔除。常用的目標關聯方法有灰度和顯著性的相似度、基于目標形狀特征、基于空間坐標的關聯度等方法。本文采用的目標關聯算法將近年來興起的CSK目標跟蹤算法[19]應用到目標關聯中。
321基于核相關的CSK目標相似度判定
弱小目標在相鄰幀或者臨近幀具備目標尺度不變性,基于速高比的跳幀機制保證了臨近幀目標位移量為當前幀目標的檢測鄰域。因此,采用基于核相關濾波的目標關聯算法能有效保證目標檢測的穩健度。信號處理中常利用卷積實現離散信號的傅里葉變換,CSK核相關濾波算法結合嶺回歸,采用循環移位矩陣對角化將圖像從空間域轉換到頻域進行運算,在保證檢測和跟蹤精度的前提下降低了運算復雜度,便于硬件實現。

322基于多維度特征的目標關聯
傳統的目標關聯算法需要同時滿足多個條件才符合目標關聯度的判定,類似于分類中的多層決策樹,通過訓練獲取最優分類器閾值。然而,將算法設計成多個階段實現會降低低虛警檢測的魯棒性,一旦一個階段有錯誤會影響最終的虛警抑制性能。因機載環境背景變化迅速、目標機機動性能高、太陽光照劇烈等因素影響,多個特征可能會存在突變,本文采用多維度特征關聯的方法,結合目標幀間位移量、目標尺寸和基于CSK核相關濾波的目標相似度作為判定準則。
假設相似度為最終目標判定標準,則:

經過以上步驟,算法實現了前后幀目標關聯。為實現低虛警,引入了多幀關聯算法,將本幀預選目標與之前多幀目標進行關聯,當關聯數大于閾值,在排除盲元的前提下則確信為本幀圖像的目標。
本文采用所提低虛警紅外目標檢測方法對機載下視復雜場景序列進行仿真;在兩個紅外數據集上,同其他優秀紅外目標檢測算法進行定性和定量的比較分析。
本文提出的下視復雜背景弱小目標檢測算法各分模塊的預處理結果,如圖5所示。首先,對經過跳幀機制選取的前后幀濾波圖像進行Harris[9]角點檢測,通過背景特征點進行匹配得出前后幀偏移量,角點檢測結果如圖5(a1)和圖5(a2)所示;圖5(b)是前后幀圖像場景校正后的差分結果,理論上差分圖像除了目標位移部位外其他像素點均為零值,但因受光照與大氣擾動、系統光學串擾、探測器暗電流噪聲和圖像配準誤差等因素的影響,差分圖像存在起伏雜波;針對移動目標差分后的正負偶子特性采用三幀差分算法,結合形態學和Ostu進行雜波抑制,結果如圖5(c)所示;圖5(d)展示了多幀目標關聯原理;基于CSK目標相似度計算得出的檢測結果如圖5(e)所示。仿真結果可以看出,本算法能準確檢測出目標并有效抑制虛警。

圖5 本文算法關鍵模塊預處理結果
國內外弱小目標檢測大多采用網上開源數據集進行仿真和分析,但開源紅外小目標數據集與實際機載試飛中采集的下視對地數據差異較大。為有效解決機載環境下存在的對地虛警問題,同時對提出的算法進行全面客觀地評估,這里分別對5個開源紅外小目標序列和實際采集數據進行了仿真驗證,選取基于低秩稀疏的紅外塊圖像(IPI)、基于Top-Hat形態學濾波、基于顯著性的局部對比度(LCM)等近年來紅外弱小目標檢測領域的優秀算法進行比較[21]。

圖6 基于紅外小目標開源圖像的算法結果對比
對上述幾種算法在紅外小目標開源序列進行了仿真復現,結果如圖6所示。可以看出,開源紅外序列背景雜波較少,信雜比較高,在開源的序列場景下,除了LCM算法在海天交接場景(序列2)出現漏檢,其他算法均能有效檢出目標。
然而,本文旨在研究機載復雜背景環境下低虛警目標的探測方法,目前國內外研究中虛警率最高、虛警抑制難度最大的就是對地下視的復雜場景目標檢測,顯然紅外小目標開源圖像序列的背景不在這一范疇內。為驗證本文算法的性能,從實際機載紅外探測系統獲取的大量數據中挑選多組典型復雜背景視頻建立數據集并進行測試,選取序列涵蓋了多種復雜背景、多個紅外波段、目標尺度變化、載機機動、不同速高比等場景,直觀的復雜場景高虛警序列如圖7所示,具體參數見表1。其中序列1,2,3,4為下視對地背景,序列5,6為下視對空云背景。為了表征抑制虛警難度,圖中展示了基于時空卷積神經網絡[22]的紅外目標檢測算法的硬件實現效果。
基于上述構建的機載紅外目標數據集,分別采用本文設計的算法與基于Top-Hat形態學濾波、基于低秩稀疏的紅外塊圖像(IPI)、基于顯著性的局部對比度(LCM)、基于廣義結構張量(GST)的弱小目標檢測算法對實驗結果進行定量分析;為了進一步顯示所提的算法與其他差分算法的區別,同時引用基于相位相關和差分相乘(PCDM)的紅外目標檢測方法進行對比。

圖7 機載下的紅外高虛警序列集示例
評價指標有背景抑制因子BSF、局部信雜比增益SCRg[23]、檢測率D和虛警率fa[24]。需要說明的是,每個序列樣本量為表1中的幀數,以下圖表計算的參量是紅外高虛警序列集的每一個連續幀系列的統計平均值,因差分算法經過形態學濾波抑制雜波效果顯著,統計時為方便量化,當本算法的背景抑制因子出現無窮大的情況則按照次優值統計,虛警率的統計標準為每十萬幀出現虛警的個數的均數。
表2為不同算法在機載紅外高虛警序列集的抑制因子BSF,表3為不同算法在機載紅外高虛警序列集的局部信雜比增益SCRg。可以看出,本文提出的算法在絕大部分驗證集中表現優異,能抑制背景雜波干擾,顯著提高目標信雜比。
表1機載紅外復雜背景數據集

Tab.1 Complex background airborne infrared data set
表2不同算法背景抑制因子(BSF)對比

Tab.2 Comparison of BSF of different algorithms
圖8為不同算法在機載紅外高虛警序列集的檢測率D。分析可知,本文算法在前5個序列集的檢測率最優;序列6的檢測率下降到92.13%,是因為光電系統在大范圍搜索過程中云層背景變化,出現了短暫無云干凈背景,難以提取背景特征點;序列3和序列5受太陽輻射的影響和探測器動態響應調整,出現暗目標,Top-Hat、LCM、IPI等算法的魯棒性不足,基于差分的算法則不受影響。
圖9展示了不同算法在機載紅外高虛警序列集的虛警率fa。顯然,相比于其他算法在下視復雜背景動輒上千的虛警個數,本文提出算法的虛警個數始終保持在個位數,虛警率小于105。同時,兩種基于背景差分的弱小目標檢測算法在下視對地復雜背景下抑制虛警的能力更強,但基于相位相關的背景差分算法在載機出現大機動時的自適應性能不佳,出現大量虛警。
表3不同算法局部信雜比增益(SCRg)對比

Tab.3 Comparison of SCRg of different algorithms

圖8 不同算法的檢測率對比

圖9 不同算法的虛警率對比
本文針對機載環境下視復雜場景下紅外弱小目標檢測虛警率高的問題,提出了基于運動目標模型的低虛警紅外目標檢測方法。通過基于相對速高比的跳幀幀差方法、改進的Harris角點檢測、基于KLT光流法的圖像配準得到抑制地面雜波虛警的預選目標;通過基于核相關濾波的CSK相似度判定,結合多維度特征關聯和多幀關聯,在保證檢測率的前提下,對地面亮斑、復雜云層背景邊緣和雜波噪聲等典型虛警源進行抑制。仿真結果和飛行實驗數據表明,所提出的方法在機載紅外高虛警序列集性能最優,在不同機載環境、多種復雜背景下仍能有效檢測出紅外弱小目標,平均檢測率達到99.23%,虛警率降至105。本文算法在JFM7VX690T現場可編程門陣列與FT-M6678多核數字信號處理器的國產平臺框架下實現硬件移植,滿足高幀頻的應用需求,為機載環境下低虛警紅外弱小目標檢測提供了一種新思路。
[1] DONG L L, WANG B, ZHAO M,. Robust infrared maritime target detection based on visual attention and spatiotemporal filtering[J]., 2017, 55(5): 3037-3050.
[2] MARVASTI F S, MOSAVI M R, NASIRI M. Flying small target detection in IR images based on adaptive toggle operator[J]., 2018, 12(4): 527-534.
[3] GAO C Q, MENG D Y, YANG Y,. Infrared patch-image model for small target detection in a single image[J]., 2013, 22(12): 4996-5009.
[4] CHEN C L P, LI H, WEI Y T,. A local contrast method for small infrared target detection[J]., 2014, 52(1): 574-581.
[5] 周許超,屠大維,陳勇,等. 基于相位相關和差分相乘的動態背景下運動目標檢測[J]. 儀器儀表學報, 2010, 31(5): 980-983.
ZHOU X CH, TU D W, CHEN Y,. Moving object detection under dynamic background based on phase-correlation and differential multiplication[J]., 2010, 31(5): 980-983. (in Chinese)
[6] BAI X Z, ZHOU F G. Analysis of new top-hat transformation and the application for infrared dim small target detection[J]., 2010, 43(6): 2145-2156.
[7] 范麗麗,趙宏偉,趙浩宇,等. 基于深度卷積神經網絡的目標檢測研究綜述[J]. 光學精密工程, 2020, 28(5): 1152-1164.
FAN L L, ZHAO H W, ZHAO H Y,. Survey of target detection based on deep convolutional neural networks[J]., 2020, 28(5): 1152-1164. (in Chinese)
[8] Shi J B, Tomasi C. Good Features to Track[C]. 1994June 21-23, 1994: 593-600.
[9] HE Q F, CHEN W J, ZOU D P,. A novel framework for UAV returning based on FPGA[J].
[10] HENRIQUES J F, CASEIRO R, MARTINS P,. Exploiting the circulant structure of tracking-by-detection with kernels[C].12:12, 2012: 702-715.
[11] PRASAD D K, PRASATH C K, RAJAN D,. Object detection in a maritime environment: performance evaluation of background subtraction methods[J]., 2019, 20(5): 1787-1802.
[12] LIU L, CHAI G H, QU Z. Moving target detection based on improved ghost suppression and adaptive visual background extraction[J]., 2021, 28(3): 747-759.
[13] 王梅,屠大維,周許超. SIFT特征匹配和差分相乘融合的運動目標檢測[J]. 光學精密工程, 2011, 19(4): 892-899.
WANG M, TU D W, ZHOU X CH. Moving object detection by combining SIFT and differential multiplication[J]., 2011, 19(4): 892-899. (in Chinese)
[14] 張玉欣. 基于面陣CCD的速高比計研究[D]. 北京:中國科學院大學, 2011.
ZHANG Y X.[D]. Beijing: University of Chinese Academy of Sciences, 2011. (in Chinese)
[15] LI Y S, LI Z Z, ZHANG C,. Infrared maritime dim small target detection based on spatiotemporal cues and directional morphological filtering[J]., 2021, 115: 103657.
[16] MAINALI P, YANG Q, LAFRUIT G,. Robust low complexity corner detector[J]., 2011, 21(4): 435-445.
[17] TOMASI C, KANADE T. Shape and motion from image streams: a factorization method[J]., 1993, 90(21): 9795-9802.
[18] TOMASI C. Detection and tracking of point features[J]., 1991, 91(21): 9795-9802.
[19] 吳燕茹,程詠梅,趙永強,等. 基于核Rayleigh商二次相關濾波器的紅外目標檢測[J]. 紅外與毫米波學報, 2011, 30(2): 142-148.
WU Y R, CHENG Y M, ZHAO Y Q,. Infrared target detection using kernel Rayleigh quotient quadratic correlation filter[J]., 2011, 30(2): 142-148. (in Chinese)
[20] HENRIQUES J F, CASEIRO R, MARTINS P,. High-speed tracking with kernelized correlation filters[J]., 2015, 37(3): 583-596.
[21] YANG L, YANG J, YANG K. Adaptive detection for infrared small target under sea-sky complex background[J]., 2004, 40(17): 1083-1085.
[22] LI M , LIN Z P, FAN J P,. Point target detection based on deep spatial tem poral convolution neural network[J]., 2021, 40(1): 122-132.
[23] ZHANG X Y, DING Q H, LUO H B,. Infrared small target detection based on directional zero-crossing measure[J]., 2017, 87: 113-123.
[24] 鞠默然,羅海波,劉廣琦,等. 采用空間注意力機制的紅外弱小目標檢測網絡[J]. 光學精密工程, 2021, 29(4): 843-853.
JU M R, LUO H B, LIU G Q,. Infrared dim and small target detection network based on spatial attention mechanism[J]., 2021, 29(4): 843-853. (in Chinese)
Low false alarm infrared target detection in airborne complex scenes
YANG Dezhen1,2,YU Songlin1*,FENG Jinjun2,LI Jiangyong1,WANG Lihe1
(1,100015,;2,100015,),:8511
When an infrared photoelectric detection system detects a target in a complex airborne scene, the spatial distribution of the ground false alarm interference source is consistent with the spatial distribution of the small dim target. Therefore, a multi-dimensional feature association detection algorithm based on moving target features was proposed herein. First, feature points were detected in complex scenes, and a frame skipping mechanism based on the relative velocity-height ratio was introduced. Candidate targets were detected by inter-frame image difference after image registration. Simultaneously, multi-dimension and multi-frame correlations based on the kernel correlation filter were used to suppress false alarms. In an airborne environment where the vehicle speed-to-height ratio is greater than 30 mrad/s and frame time is less than 10 ms, the average detection rate of this algorithm is 99.13%, and the false alarm rate is 10-5. This method was verified in various complex scenarios. In addition, it is suitable for pipeline parallel operation and meets the engineering needs.
target detection; airborne environment; moving target features; kernelized correlation filtering; false alarm suppression; pipeline parallel operation
TP391
A
10.37188/OPE.20223001.0096
1004-924X(2022)01-0096-12
2021-04-30;
2021-07-07.
國家863高技術研究發展計劃資助項目(No.2013AA7031066B);軍委科技委基礎加強基金資助項目(No.2019JCJQZD33600)
楊德振(1988),男,廣東汕頭人,博士研究生,2011年于東北大學獲得學士學位,2016年于電子科學研究院獲得碩士學位,主要從事數模混合集成電路設計、弱信號提取及圖像處理的研究。E-mail:yangdezhen88@126.com

喻松林(1966),男,江西宜春人,研究員,博士生導師,1988年于華中科技大學獲得學士學位,主要從事光電系統及其圖像處理、高性能紅外探測器設計與制備、新體制光電探測等方面的研究。E-mail:yusir8511@sina.com