復雜背景下的紅外探測虛警抑制方法研究

呂 弈,黃成章,史馨菊,祁海軍,喬志平,黃靜穎

(1.中國電子科技集團公司第十一研究所,北京 100015;2.國網冀北電力有限公司管理培訓中心,北京 102401 3.北京波普華光科技有限公司,北京 100015)

1 引 言

紅外弱小目標檢測技術在紅外告警設備、預警衛星中具有重要的作用。通過自動檢測算法可以使紅外設備自動識別并跟蹤人眼難以發現的弱小運動目標。在目標檢測任務中,算法在部分情況下會不可避免的產生錯誤的告警事件,稱為虛警[1]。虛警會導致不必要的資源浪費,并會致使用者降低警惕性,從而影響決策者的判斷,并影響整體作戰效能[2]。因此降低虛警率對于提高紅外目標檢測算法效用具有重要意義。

在紅外圖像中,弱小目標檢測任務的虛警率往往較高,因為其灰度特征呈小區域高斯分布,與紅外成像系統的噪聲、盲閃元[3]等干擾非常相似,使得現有紅外弱小目標檢測算法從圖像中提取出較多符合高斯特征分布的潛在目標點。此外,在飛機下視場景中,常常存在與目標紅外特性相近的地面亮斑,進一步增加了弱小目標檢測任務的難度。因此,紅外圖像中的目標檢測算法在提高檢測率的同時,會不可避免地將干擾錯誤地識別為目標,使得下視場景中的虛警率較高。而根據皮爾遜準則[4],紅外告警設備的指標要求紅外告警系統在保持虛警率不高于一定值的情況下,使檢測率盡可能提高。因此,虛警問題也成為限制紅外告警系統檢測率的重要因素。

目前常見的虛警抑制方法主要應用在三個階段,成像階段、檢測階段與后處理階段。在成像階段常用的方法為紅外成像噪聲抑制技術、盲閃元濾除技術等[5],此類方法雖然可以降低圖像中的噪聲以減少干擾,但對于紅外弱小目標特征也會產生一定的削弱,同時這類方法并不能解決與目標特征相似的下視場景虛警問題。

在檢測階段常用的方法可分為跟蹤前檢測(Detection Before Track,DBT)和檢測前跟蹤(Track Before Detection,TBD)兩類。DBT算法通過計算單幀圖像的檢測概率和虛警概率確定檢測門限,在分割后得到的二值化圖像序列中根據目標的運動特性進行目標軌跡關聯,剔除虛警點,實現目標跟蹤[6-8]。TBD 算法則先對所有候選目標運算運動軌跡,再根據同一目標灰度能量變化區分虛警[9-10]。這兩類方法可以有效利用時空信息找到目標,并濾除灰度特性不穩定的虛警,但同樣由于其對目標灰度特性的依賴,當地面亮斑灰度特征與弱小目標相似時,則難以區分。而地面亮斑灰度特征常常與目標極為相近,均符合高斯分布且灰度特征穩定,如圖1所示,因此僅通過灰度難以區分目標與虛警。

圖1 目標灰度特征與虛警灰度特征對比圖

在后處理階段,目前常見的虛警抑制算法主要分為兩類。一類是基于圖像分類算法對目標與虛警進行分辨,隨著近幾年深度學習的飛速發展,基于機器學習的目標分類算法[11-12]由于取得了不錯的精度而得到越來越廣泛的應用。但在紅外小目標檢測場景中,目標與虛警的灰度特征差異較小,且基于卷積神經網絡的目標分類方法缺乏對時間維度信息的利用,導致識別精度不高,在復雜場景下難以完成對虛警與目標的分辨。此外基于深度學習的方法往往有著較大的計算量,難以滿足工程中的實時性要求,因此難以實現各類場景的虛警抑制。另一類是基于圖像特征匹配的方法[13],通過對圖像的紋理特征進行提準,并進行幀間配準,以計算出兩幀圖像間的透視變換矩陣,進而換算出目標相對于背景的絕對速度,以分辨目標檢測結果是運動的目標還是靜止的虛警。但該方法運算量較大,在特征提取與配準步驟運算速度慢,難以滿足高實時性場景,且該算法為保持精度需要緩存多幀圖像信息,內存占用大,對硬件配置要求高。此外在一些場景下,如相機移動速度過快導致能匹配上的相同特征較少,或紅外圖像中的背景紋理特征較弱,都會導致配準運算無法實現,使該方法失效。

根據分析,影響紅外目標檢測算法的因素并造成虛警問題的因素主要包括以下三類:第一類客觀因素,由于地理原因,紅外圖像背景復雜多變、且從物理角度目標與干擾的紅外灰度特征相似導致難以區分;第二類系統因素,在許多情況下,圖像的成像質量較差,存在盲閃元、焦距不實、畫面存在抖動、拖影問題,以及信號處理系統運算能力限制問題;第三類人為因素,在一些情況下,相機會受人為控制而被動高速移動,使得目標運動特性非常不規律。如何使虛警抑制算法能夠在以上場景中均能正常工作,同時保持計算的高效性,是本文的主要研究目標。

針對以上問題,本文提出基于目標相對運動信息的紅外虛警抑制方法,實現了低運算量、高魯棒性、便于移植的虛警抑制技術。通過對上報目標進行運動信息提取,并分析目標間的相對運動關系,以構建運動信息匹配表,最終根據運動信息匹配結果進行投票信息選擇,以濾除檢測目標中的虛警。

2 方 法

本文中基于目標相對運動信息投票的虛警抑制系統分為三個模塊:一是基于歐氏距離的初始批次分配;二是基于自適應幀匹配的運動信息提取,三是基于相對運動關系的推理投票統計,算法的總體流程如圖2所示。

2.1 基于歐氏距離的初始批次分配

為便于集成應用,采用模塊化設計,輸入為所有候選目標在紅外圖像中的位置信息,輸出為濾除虛警后的保留下來的當前幀目標位置信息。因此在批次分配階段需要對每一個候選目標分配一個批次值,首先對輸入的所有候選目標位置進行保存,并基于歐幾里得距離遍歷所有的目標最近幀位置信息,尋找最符合的歷史位置鏈,完成對目標的關聯。對于無法關聯的目標,在這一過程將創建一個新的批次來存儲該目標的位置信息以及出現的幀號。對于可以關聯到批次的目標,保存出現的幀號以及位置信息到對應批次的信息中。完成對所有目標的批次分配后,將在這一幀出現的所有批次存儲到批次記錄表中。

2.2 基于自適應幀匹配的運動信息提取

在較為復雜的情況下,紅外弱小目標檢測算法輸出的目標信息可能是不穩定的,每一幀的上報內容可能存在以下幾種情況:只包含目標、只包含虛警、二者均包含或上報內容為空幾種情況。其次,紅外告警系統可固定于飛行器上,考慮到目標在圖像中的位置信息可能受機身抖動或視場變化影響而產生劇烈變化,僅考慮目標的運動信息是不準確的。由于成像系統抖動或視場變化對目標和虛警的影響都是相同的,因此在該場景下目標與虛警間的相對位置信息仍能保持穩定。根據以上分析,基于候選目標的相對位置關系進一步分析目標的運動特性,可以有效排除干擾,對運動目標進行準確判斷。

根據當前幀輸入目標結果,將所有出現的目標兩兩組合分別計算之間的相對速度。在計算兩目標間相對速度時,通過查找批次記錄表中這兩個目標最早出現的幀號,提取上報位置信息,并和當前幀兩目標位置按照如下公式進行計算可得。

(1)

其中,ΔVt2(P1,P2)代表P1和P2兩個目標批次在t2時刻的相對速度,Dt2(P1,P2)代表P1和P2兩個目標批次在t2時刻的相對歐式距離,t2代表當前時刻,t1代表兩目標最早同時出現的一幀。

(2)細煤泥系統處理能力不足。煤質較好時，壓濾機一個壓濾循環周期需11 min，5臺壓濾機處理能力105 t/h；煤質差時，泥化現象嚴重，小于320目粒級物料高達67.25%，煤泥沉降極慢，壓濾機一個壓濾循環周期需23 min以上，6臺壓濾機處理能力只有60 t/h，而且濾餅水分較高。按年入洗500萬t原煤計算，每小時需處理的細煤泥量為109 t，所以壓濾機處理能力明顯不足，這是洗水濃度居高不下的主要原因。

在計算得到多個目標間的相對運動關系時,可以發現虛警間的相對運動速度近乎為0,只有目標具有速度,因此可以快速并準確判斷出哪一個是真正目標。如圖3所示典型情況,目標1和目標2相對靜止,與目標3相對速度為10,則可判斷目標3為真正運動目標。

圖3 計算相對運動典型情況

此外,由以上分析可以得出兩個基本定理:(1)靜止目標間相對位移具有不變性;(2)目標間相對速度具有傳遞性。因此在運動信息提取階段,即使有兩個候選目標沒有在同一幀內同時出現過,依然可以通過將二者與另外一個候選目標計算相對速度,進而得出這二者間的相對速度,如圖4所示。

圖4 基于相對速度傳遞性計算相對運動關系情況

2.3 基于相對運動關系的推理投票統計

在投票統計階段,采用動態投票機制的方法,實現對運動目標的準確識別。動態投票機制對匹配時間范圍內出現的所有批次目標構建相對速度統計表,以目標為單位進行投票,保存一定迭代周期總票數作為目標結果。在推理投票過程中,包含以下兩種可以判斷目標信息的情況:

第一種情況,如圖5(a)所示,其中a代表目標自身為運動目標的情況;b代表只有一個目標在運動的情況,當所有目標相對自身速度均大于預定閾值速度時,所有其他目標均相對于自身在高速運動。這種情況下可識別為該目標自身為運動目標。

圖5 運動關系推理投票示例圖

第二種情況,如圖5(b)所示,當只有一個目標相對自身速度大于預定閾值速度時,可以視作該目標相對于其他大部分目標均靜止,只有一個目標在運動。這種情況下可識別為該高速目標為運動目標。

除以上兩種情況外,其他情況作為無法判斷處理。在完成運動目標判斷后,以每個目標為單位對運動的目標批次進行投票,并將每一輪投票結果進行保存。最終將統計一定輪次后的投票結果進行統計,票數最多的目標批次作為本算法的輸出結果。

3 實 驗

3.1 實驗設置

將本文方法與典型包含時空濾波、目標軌跡關聯與目標分類的紅外弱小目標檢測算法相結合,使用存在大量無法被識別的、與目標紅外特征相似的虛警的16位紅外圖像視頻數據進行測試。數據集共包括8個場景,其中4個場景同時包含目標與虛警,4個場景僅包含大量虛警而不包含目標。本文方法中的目標關聯歐式距離閾值大小為10(pix),判定運動的速度閾值設置為0.4(p/s)。實驗采用設備配置為Windows 10 64位系統,CPU為Xeon Silver 4110 2.2 GHz,內存為32 GB。

3.2 評價指標

本文采用虛警率(False Alarm Rate,FAR)、單幀運行時間(Time per Frame)兩個性能評價參量指標,進一步的對比了本文提出的方法的有效性。其中虛警率是檢驗裝備是否具有實戰價值的一項重要指標,用來表示虛警事件發生的頻率。虛警率的定義為“單位時間內系統發生虛警事件的平均次數”,其公式定義如下:

(2)

其中,nFA為發生虛警事件的次數;T為系統工作的總時間。

此外考慮到本文方法應用的場景下,目標與虛警特征均較為明顯,因此為了更詳細地展現本文數據集特征,對包含目標的場景數據中,還加入了目標信噪比的測量,具體公式定義如下:

(3)

其中,Er代表目標區域的均值;EB代表背景區域的均值;δB代表背景區域的標準差。

3.3 實驗結果

首先對典型紅外目標檢測算法進行了測試,在飛機下視包含大量地面亮斑的場景中,典型紅外目標檢測算法的檢測結果中包含大量虛警。之后,將本文提出的方法與典型目標檢測方法相結合,記錄了使用本文方案前與使用后的對比結果,包括每1000幀內出現的虛警批次數量及算法平均每幀運算消耗時間。實驗結果如表1所示,其中場景1至場景4包含目標,場景5至場景8不包含目標。

表1 不同場景下實驗結果

通過表中結果可以看出,本文提出的方法大幅度降低了各類場景下的虛警率,且運算速度較快,平均每幀運算時間僅0.78 ms。此外,實驗過程中記錄了輸出結果,并將典型目標檢測算法的輸出以實線方框繪制于紅外圖像中,本文方法輸出結果以虛線方框繪制于紅外圖像中。包含目標的場景實驗結果如圖6所示,不包含目標的場景實驗結果如圖7所示。其中圖6從左至右三張圖分別為從場景1至場景4中隨機選取的三幀截圖,圖7從左至右三張圖分別為從場景5至場景8隨機選取的三幀截圖。通過實驗結果可以看出,本文提出的方法不僅可以從包含大量虛警的候選目標中準確找到目標,同時可以在所有候選目標均為虛警的場景下保持虛警率為0。

圖6 包含目標場景的虛警抑制效果圖

圖7 不包含目標場景的虛警抑制效果圖

4 總 結

本文針對復雜場景下的紅外弱小目標檢測任務,提出了一種基于目標相對運動信息的高魯棒性紅外虛警抑制方法,在8種包含虛警的復雜場景下進行了實驗,包括背景相對相機靜止目標移動的場景、目標相對相機靜止虛警移動的場景、相機畫面劇烈抖動的場景以及所有檢測目標均為虛警的場景。實驗結果表明,本文提出的方法在以上場景中都能夠準確濾除虛警,同時可以在所有候選目標均為虛警的場景下保持虛警率接近為0。基于相對運動推理的方法可以有效實現復雜場景中的虛警抑制,在不同場景中表現穩定、快捷、濾除率高。