基于生物啟發(fā)模型的紅外小目標(biāo)檢測(cè)

李 斌,李秀紅,艾斯卡爾·艾木都拉

(新疆大學(xué)信息科學(xué)與工程學(xué)院,新疆 烏魯木齊 830046)

1 引 言

紅外復(fù)雜場(chǎng)景下的小目標(biāo)檢測(cè)研究的意義極其重要。首先,在軍事領(lǐng)域的導(dǎo)彈防空預(yù)警、導(dǎo)彈精準(zhǔn)制導(dǎo)和海上漂浮地雷偵查中發(fā)揮了非常重要的作用[1]。其次,現(xiàn)如今由于輕量化的小型無(wú)人機(jī)的普遍使用,導(dǎo)致存在邊防間諜無(wú)人機(jī)的威脅與在敏感設(shè)施中未經(jīng)授權(quán)的無(wú)人機(jī)的偵查偷拍的威脅,所以遠(yuǎn)距離檢測(cè)和監(jiān)視非法無(wú)人機(jī)至關(guān)重要。小目標(biāo)檢測(cè)也為小目標(biāo)跟蹤技術(shù)提供了基礎(chǔ)。由于諸如目標(biāo)對(duì)比度極低和背景復(fù)雜雜波較高[2]之類的問(wèn)題,在紅外圖像中準(zhǔn)確檢測(cè)非常小的目標(biāo)仍然是一項(xiàng)艱巨的任務(wù)。

紅外小目標(biāo)的檢測(cè)遇到的難點(diǎn)如下:①目標(biāo)距離非常遠(yuǎn)而導(dǎo)致目標(biāo)的形狀特點(diǎn)與紋理特點(diǎn)極其的少；②光學(xué)模糊的原因直接導(dǎo)致紅外小目標(biāo)在焦平面上發(fā)生畸變與點(diǎn)擴(kuò)展；③紅外小目標(biāo)的強(qiáng)度在不同的環(huán)境與天氣中不固定；④紅外小目標(biāo)的背景復(fù)雜且噪點(diǎn)高,比如存在海空背景、山地背景與高樓宇背景等等,復(fù)雜背景會(huì)導(dǎo)致陽(yáng)光反射、場(chǎng)景或云層變換等等問(wèn)題。

近幾年在紅外場(chǎng)景下的小目標(biāo)檢測(cè)方法可以分為兩大類:順序檢測(cè)算法和單幀檢測(cè)算法。關(guān)于順序檢測(cè)算法有:基于動(dòng)態(tài)規(guī)劃的算法[4]、基于最大似然估計(jì)的算法[5]、基于假設(shè)檢驗(yàn)的算法[6]；關(guān)于單幀檢測(cè)算法有:基于最大中位數(shù)和最大均值濾波器的算法[7]、基于二維最小均方自適應(yīng)濾波器的算法[8]、基于形態(tài)學(xué)濾波的算法[9]。

本文提出了基于生物視覺(jué)啟發(fā)模型的小目標(biāo)檢測(cè)方案(PLMC),主要思想來(lái)源于Brinkworth等所提出的小型昆蟲(chóng)視覺(jué)處理機(jī)制[10-11],文獻(xiàn)[11]根據(jù)蠅類具有檢測(cè)和跟蹤小型移動(dòng)物體的能力而提出了基于生物視覺(jué)的圖像處理思路,小型昆蟲(chóng)的視覺(jué)系統(tǒng)中的神經(jīng)元對(duì)于過(guò)濾目標(biāo)的復(fù)雜背景噪聲和雜波抑制的能力極強(qiáng)。本文將此思想嘗試應(yīng)用至紅外小目標(biāo)檢測(cè)中,擬解決紅外小目標(biāo)檢測(cè)中紋理信息不足、暗淡模糊和低目標(biāo)對(duì)比度等難點(diǎn)，PLMC方案流程圖如圖1所示。解決方案擬為基于感光細(xì)胞模型與大型單極細(xì)胞模型將紅外序列中的目標(biāo)信息增強(qiáng)且抑制背景雜波,增強(qiáng)信噪比,可通過(guò)改進(jìn)閾值分割小目標(biāo)。實(shí)驗(yàn)對(duì)比五種具有代表性、檢測(cè)率高、魯棒性不錯(cuò)且較新的算法,結(jié)果表明本文所提出的方案在較復(fù)雜場(chǎng)景中獲得了更高的檢測(cè)精度與魯棒性。

圖1 PLMC方案流程圖Fig.1 Flow chart of PLMC

2 PLMC檢測(cè)方案

本文提出的紅外小目標(biāo)檢測(cè)方案的流程如圖1所示。首先,輸入紅外序列幀,由感光計(jì)算模型增強(qiáng)目標(biāo)與抑制背景雜波,利用自適應(yīng)閾值消除了大多數(shù)背景雜波,從而獲得復(fù)雜背景下的可疑目標(biāo)像素；然后由LMC計(jì)算模型消除時(shí)空冗余與增強(qiáng)目標(biāo)對(duì)比度。經(jīng)過(guò)目標(biāo)增強(qiáng)處理后的圖像序列輸入閾值分割模塊,最后利用閾值分割出真實(shí)的目標(biāo),輸出目標(biāo)的位置信息。

2.1 感光模型

文獻(xiàn)[10]～[12]進(jìn)行了小型生物視覺(jué)系統(tǒng)對(duì)光強(qiáng)度變化的響應(yīng)的理論研究,研究了蜻蜓的感光細(xì)胞對(duì)強(qiáng)度自然時(shí)間序列的響應(yīng)。利用其對(duì)紅外小目標(biāo)做檢測(cè)時(shí),其模型的輸出與刺激的速度高度相關(guān),但與其他通常會(huì)影響目標(biāo)檢測(cè)任務(wù)的背景統(tǒng)計(jì)數(shù)據(jù)(如局部亮度或?qū)Ρ榷?高度相關(guān)。瞬態(tài)細(xì)胞模型可從背景中區(qū)分目標(biāo),而無(wú)需相對(duì)運(yùn)動(dòng)提示。感光模型代表了沿著擬議的通往目標(biāo)檢測(cè)神經(jīng)元途徑的神經(jīng)處理過(guò)程[13],嘗試將其應(yīng)用于紅外小目標(biāo)增強(qiáng),其計(jì)算模型推導(dǎo)如圖2所示。

圖2 感光計(jì)算模型Fig.2 Photosensitive computing model

感光模型第一階段:

第一階段在數(shù)值上模擬感光細(xì)胞的自適應(yīng)時(shí)間濾光機(jī)制。特點(diǎn):①其臨時(shí)逐像素操作可抑制紅外圖像的背景噪聲,增強(qiáng)目標(biāo)背景辨別力,擴(kuò)大信號(hào)可變性的可能范圍并動(dòng)態(tài)調(diào)整輸入圖像的暗區(qū)和亮區(qū)；②使用全局線性縮放,對(duì)輸入數(shù)據(jù)進(jìn)行每像素二階時(shí)域低通濾波和每像素增益可變；③可消除高頻,短時(shí)噪聲輸入像素的影響,并增強(qiáng)信號(hào),從而可在更寬的輸入范圍內(nèi)捕獲細(xì)節(jié)。

步驟一:設(shè)Pt為時(shí)間t的輸入像素,使用時(shí)間常數(shù)T對(duì)Pt進(jìn)行時(shí)間低通濾波,如式(1)。則可以通過(guò)時(shí)間低通濾波器式(1)計(jì)算出適應(yīng)水平Lt,如式(2),其中TL表示預(yù)設(shè)的適應(yīng)水平過(guò)濾時(shí)間常數(shù)。

(1)

(2)

步驟二:自適應(yīng)水平Lt用于通過(guò)Naka-Rushton變換[15]實(shí)現(xiàn)的色調(diào)映射過(guò)程,由式(3)計(jì)算變量和自適應(yīng)時(shí)間常數(shù)Tt,其中g(shù)s表示輸入幀速率,Tmax和Tmin是分別對(duì)應(yīng)于時(shí)間低通濾波器的最大和最小自適應(yīng)率的范圍參數(shù),Pmid是中點(diǎn)像素值(可從一組訓(xùn)練像素中估算出該值)。色調(diào)映射過(guò)程的結(jié)果,其場(chǎng)景暗區(qū)中的像素將具有更長(zhǎng)的時(shí)間常數(shù),并且比亮像素適應(yīng)性更慢。

(3)

步驟三:時(shí)間常數(shù)Tt用于通過(guò)低通濾波實(shí)現(xiàn)Pt的時(shí)間平滑式,可應(yīng)用多個(gè)低通濾波器來(lái)計(jì)算At,以實(shí)現(xiàn)更強(qiáng)的平滑度。自適應(yīng)水平Lt用于計(jì)算自適應(yīng)非線性增益因子,設(shè)Kmax是最大增益參數(shù),此過(guò)程使得紅外暗場(chǎng)景區(qū)域中的細(xì)節(jié)被自適應(yīng)地增強(qiáng)。綜上輸出式(4):

(4)

感光模型第二階段:

此階段由除數(shù)反饋機(jī)制組成,如圖2(a)所示。

步驟一:非線性除數(shù)反饋機(jī)制是通過(guò)反饋回路實(shí)現(xiàn),如式(5),其中MB是本階段的預(yù)設(shè)時(shí)間常數(shù):

(5)

步驟二:穩(wěn)態(tài)行是對(duì)平方根函數(shù)進(jìn)行建模,在時(shí)間t=0處初始化,即At是Bt的二次方。即可快速地適應(yīng)輸入強(qiáng)度,從而使像素能快速適應(yīng)紅外背景亮度變化的影響。

感光模型第三階段:

如圖2所示,此階段由低通濾波的指數(shù)除法反饋組成,可使感光模型能夠適應(yīng)強(qiáng)度的緩慢變化,同時(shí)保持時(shí)間一致性和對(duì)高頻變化的抵抗力。低通反饋環(huán)路為式(6),其中MC是此階段的預(yù)設(shè)時(shí)間常數(shù)。對(duì)穩(wěn)態(tài)對(duì)數(shù)響應(yīng)進(jìn)行建模,在t=0時(shí)初始化,即Ct是At的自然對(duì)數(shù)。指數(shù)縮放使該階段可以執(zhí)行輸入像素的顯著非線性重新縮放,進(jìn)一步壓縮了階梯狀的變化,有助于改善紅外小目標(biāo)的梯度對(duì)比度。

(6)

感光模型第四階段:

本階段用于限制感光模型的輸出范圍,隨著強(qiáng)度值的增加,響應(yīng)變得越來(lái)越非線性。使用Naka-Rushton非線性計(jì)算感光模型的最終輸出,如式(7),其中參數(shù)n為正偏移。感光計(jì)算模型通過(guò)將輸入同時(shí)壓縮為帶寬明顯較低的信號(hào)并改善信號(hào)變化范圍來(lái)減少視覺(jué)信號(hào)的冗余。最重要的是,不會(huì)丟失可能有用的紅外小目標(biāo)統(tǒng)計(jì)數(shù)據(jù),并且在信息量高的區(qū)域中,紅外小目標(biāo)背景對(duì)比度會(huì)增強(qiáng)。

(7)

2.2 LMC模型

文獻(xiàn)[14]～[15]測(cè)量了強(qiáng)度的自然時(shí)間序列及大型單極細(xì)胞(LMC)對(duì)這些時(shí)間序列的響應(yīng),小型飛行昆蟲(chóng)的大型單極細(xì)胞(LMC)具有增強(qiáng)目標(biāo)對(duì)比度功能。可推導(dǎo)出LMC計(jì)算模型如圖3所示。該LMC模型減少了視覺(jué)信息的冗余,可以增強(qiáng)紅外小目標(biāo)的對(duì)比度。

LMC模型第一階段:

先將感光計(jì)算模型輸出結(jié)果進(jìn)行標(biāo)準(zhǔn)化,從中減去一個(gè)小的正偏移量z(可從感光模型輸出的時(shí)空立方體中估計(jì)),如式(8):

Et=Dt-z

(8)

LMC模型第二階段:

為了逐步淘汰紅外背景中低頻長(zhǎng)期靜態(tài)場(chǎng)景元素,標(biāo)準(zhǔn)化輸出Et的可變時(shí)間高通濾波,暫時(shí)的高通濾波是通過(guò)低通濾波輸出的減法實(shí)現(xiàn)的。

步驟一:在Et上應(yīng)用低通濾波器(其自適應(yīng)水平ME通過(guò)等式中給出的類似色調(diào)映射過(guò)程計(jì)算出自適應(yīng)時(shí)間常數(shù)LE),再對(duì)其做減法,可得出高通濾波的輸出如式(9),其中ρ是預(yù)設(shè)的比例因子:

(9)

步驟二:使用預(yù)設(shè)時(shí)間常數(shù)平滑高通濾波的環(huán)繞抑制,最終輸出Gt。

LMC模型第三階段:

在紅外序列圖像的背景噪聲和多余的場(chǎng)景元素被抑制之后,通過(guò)空間高通濾波增強(qiáng)了紅外移動(dòng)小目標(biāo)的細(xì)節(jié)。通過(guò)使用可變且空間自適應(yīng)的中心環(huán)繞核進(jìn)行空間卷積來(lái)實(shí)現(xiàn)空間高通濾波器,如圖3所示。

圖3 LMC計(jì)算模型Fig.3 LMC computing model

LMC模型第四階段:

使用飽和非線性獲得LMC計(jì)算模型的最終輸出。

LMC模型處理負(fù)責(zé)消除時(shí)空冗余并增強(qiáng)紅外小目標(biāo)對(duì)比度。其通過(guò)淘汰不感興趣的場(chǎng)景元素(例如長(zhǎng)期的靜態(tài)明亮結(jié)構(gòu))來(lái)抑制混亂,并且在高信息內(nèi)容區(qū)域(有變化)中增強(qiáng)了場(chǎng)景的對(duì)比度,在低信息內(nèi)容區(qū)域(無(wú)變化)降低了場(chǎng)景的對(duì)比度。

2.3 改進(jìn)閾值分割方案

紅外小目標(biāo)的檢測(cè)類似于對(duì)雷達(dá)信號(hào)的檢測(cè),本文使用恒虛警率(CFAR)算法來(lái)計(jì)算自適應(yīng)閾值A(chǔ)T,如圖4可知,統(tǒng)計(jì)圖像中的背景雜波為高斯分布。

圖4 CFAR確定閾值示意圖Fig.4 A schematic of CFAR to determine thresholds

假設(shè)預(yù)處理圖像的尺寸為x×y,設(shè)f(m,n)為坐標(biāo)(m,n)處的像素灰度值,則預(yù)處理圖像的平均值μ的計(jì)算如式(10)所示。預(yù)處理圖像的標(biāo)準(zhǔn)偏差σ的計(jì)算過(guò)程如式(11)所示。

(10)

(11)

從恒定誤報(bào)率中獲得的閾值定義如式(12),其中AT表示自適應(yīng)閾值,P表示誤報(bào)概率：

AT=μ-σ(P)φ-1

(12)

對(duì)閾值做修改,結(jié)果如式(13),其中k為調(diào)整系數(shù)：

AT=μ-kσ(P)φ-1

(13)

紅外序列經(jīng)過(guò)感光模型計(jì)算之后,通過(guò)自適應(yīng)閾值分割,可以獲得復(fù)雜背景下的一些可疑的目標(biāo)像素,并消除了大多數(shù)背景雜波。再經(jīng)過(guò)LMC模型計(jì)算消除時(shí)空冗余后,可通過(guò)閾值分離出小目標(biāo)。

在紅外小目標(biāo)的復(fù)雜背景中最明顯的區(qū)域大概率就是目標(biāo)位置區(qū)域,將修改后的閾值式(14)應(yīng)用到PLMC,消除噪聲影響準(zhǔn)確分割目標(biāo)。式(14)中的a為閾值的調(diào)整參數(shù)：

(14)

以灰度值為測(cè)量數(shù)據(jù),其數(shù)值若高于當(dāng)前的閾值,則其像素可被確定為真實(shí)目標(biāo)像素。經(jīng)過(guò)閾值分離出小目標(biāo)后,最后輸出目標(biāo)的位置信息。

3 實(shí)驗(yàn)分析

本文所有實(shí)驗(yàn)均通過(guò)Python3.5在配備Intel(R)Core(TM)i7-8700 CPU @ 3.20 GHz CPU,NVIDIA GeForce GT 730和16 GB內(nèi)存的計(jì)算機(jī)上執(zhí)行。

3.1 數(shù)據(jù)集與評(píng)估指標(biāo)

本文實(shí)驗(yàn)為證明所提出紅外小目標(biāo)檢測(cè)方案具備有效性與實(shí)用性,選取了五種不同的復(fù)雜背景紅外小目標(biāo)數(shù)據(jù)集,見(jiàn)表1所示。五個(gè)示例幀中的標(biāo)注圈內(nèi)是待檢測(cè)的紅外小目標(biāo),每個(gè)復(fù)雜背景都含有層次不同的噪聲,比如云彩噪聲、樓宇噪聲與樹(shù)林山地噪聲,還有由于能量衰減和傳感器帶來(lái)的熱噪聲,特別是在高原雪山背景、森林山地背景與樓宇公路背景中的目標(biāo)信號(hào)極其的弱小,復(fù)雜的背景噪聲確實(shí)特別大,紅外小目標(biāo)隱蔽在了極強(qiáng)的熱噪聲中。

表1 復(fù)雜場(chǎng)景數(shù)據(jù)集Tab.1 Complex scene data set

本文使用常用定量評(píng)價(jià)指標(biāo)工作特性(ROC)曲線評(píng)估PLMC檢測(cè)方案的性能。ROC曲線表示真陽(yáng)性率(TPR)與假陽(yáng)性率(FPR)之間的變化關(guān)系[16],其中TPR表示檢測(cè)出的總的小目標(biāo)數(shù)量與真正的小目標(biāo)數(shù)量的比值,FPR表示檢測(cè)出總的偽目標(biāo)像素與圖像總像素?cái)?shù)的比值。

3.2 PLMC檢測(cè)過(guò)程

本文提出的PLMC紅外小目標(biāo)檢測(cè)方案為分步增強(qiáng)目標(biāo)法,圖5為PLMC方案在五種復(fù)雜背景下的目標(biāo)增強(qiáng)分解過(guò)程,其中(a1)～(a5)使用山脈天空背景數(shù)據(jù)；(b1)～(b5)使用森林山地背景數(shù)據(jù);(c1)～(c5)使用海洋天空背景數(shù)據(jù);(d1)～(d5)使用層遮擋背景數(shù)據(jù);(e1)～(e5)使用平原公路背景數(shù)據(jù)。按照設(shè)定步驟增強(qiáng)目標(biāo)與抑制背景雜波,消除時(shí)空冗余與增強(qiáng)目標(biāo)對(duì)比度。當(dāng)式(13)中k屬于范圍[7,14]、式(14)中a的范圍是[1.1,2]時(shí)可以獲得所有背景的最佳性能。

圖5 PLMC目標(biāo)增強(qiáng)處理過(guò)程Fig.5 PLMC target enhancement process

3.3 對(duì)比其他方案

本文對(duì)在紅外小目標(biāo)檢測(cè)方面的五種具有廣泛代表性、目標(biāo)檢測(cè)率較高、較新的、魯棒性不錯(cuò)的算法進(jìn)行比較。其中包含:一種較常用的紅外場(chǎng)景下的點(diǎn)狀目標(biāo)檢測(cè)算法IPI[IEEE.2012][17],四種較新的紅外小目標(biāo)檢測(cè)算法LIG[Elsevier.2018][18]、PSTNN[Remote Sens.2019][19]、NRAM[Remote Sens.2018][20]和MDDTM[激光技術(shù).2020][21]。則分別進(jìn)行一些實(shí)驗(yàn)來(lái)評(píng)估PLMC方案的檢測(cè)性能。

經(jīng)過(guò)一系列的實(shí)驗(yàn),GST、IPI、PSTNN、NRAM等算法和本文PLMC方案的對(duì)比檢測(cè)結(jié)果見(jiàn)圖6,其列出了不同方法在不同復(fù)雜背景下運(yùn)行后的三維灰度分布,其中橫行:(a1)～(a5)是LIG的結(jié)果,(b1)～(b5)是IPI的結(jié)果,(c1)～(c5)是PSTNN的結(jié)果,(d1)～(d5)是NRAM的結(jié)果,(e1)～(e5)是MDDTM的結(jié)果,(f1)～(f5)是PLMC的結(jié)果；豎列:(a1)～(f1)使用山脈天空背景數(shù)據(jù),(a2)～(f2)使用森林山地背景數(shù)據(jù),(a3)～(f3)使用海洋天空背景數(shù)據(jù),(a4)～(f4)使用云層遮擋背景數(shù)據(jù),(a5)～(f5)使用平原公路背景數(shù)據(jù)。

圖6 不同算法檢測(cè)結(jié)果的三維灰度分布Fig.6 The three-dimensional gray distribution of the detection results of different algorithms

通過(guò)對(duì)比觀察可得以下結(jié)論:①LIG算法、IPI算法和PSTNN算法在平原公路背景數(shù)據(jù)中出現(xiàn)明顯的錯(cuò)誤,如圖6(a5)所示,增強(qiáng)了假目標(biāo)而抑制了真目標(biāo)。②NRAM算法和LIG算法在云層遮擋背景數(shù)據(jù)中檢測(cè)失敗,如圖6(a4)、(d4)所示。③相比本文的PLMC方案,IPI、PSTNN、NRAM和MDDTM對(duì)于簡(jiǎn)單場(chǎng)景下的檢測(cè)結(jié)果挺好,但是對(duì)于略復(fù)雜的背景就顯得魯棒性較差,檢測(cè)效果不佳,對(duì)于真假目標(biāo)的區(qū)分表現(xiàn)性能不足,如圖6(b5)、(c5)、(d5)與(e5)所示。

圖7所示為四種復(fù)雜背景下的六種算法的ROC曲線。本文提出的PLMC方案的ROC曲線位于五個(gè)場(chǎng)景的曲線圖的左上角,這意味著本文提出的PLMC方案檢測(cè)率最強(qiáng)。由圖7可知:①單幀算法執(zhí)行的檢測(cè)通常很低,IPI算法、MDDTM算法和PSTNN算法在檢測(cè)方面表現(xiàn)良好,但明顯不如本文提出的方案好。②由圖7(d)可以看出,在較復(fù)雜的平原公路背景與中檢測(cè)小目標(biāo),本文的方案明顯比其他算法好。

圖7 不同算法在不同背景下的ROC曲線Fig.7 ROC curves of different algorithms under different backgrounds

綜上可得,通過(guò)本文PLMC方案,目標(biāo)顯著增強(qiáng),背景雜波得到抑制,這也表明本文方法可以顯著改善輸入圖像的SCR,在復(fù)雜場(chǎng)景下的魯棒性比其他算法都強(qiáng)。

4 結(jié) 語(yǔ)

本文提出了基于生物啟發(fā)模型的紅外小目標(biāo)檢測(cè)的方案,首先由感光計(jì)算模型增強(qiáng)目標(biāo)、抑制背景雜波且增強(qiáng)信噪比,通過(guò)自適應(yīng)閾值獲得復(fù)雜背景下的可疑目標(biāo)；然后由LMC計(jì)算模型消除時(shí)空冗余與增強(qiáng)目標(biāo)對(duì)比度；最后經(jīng)過(guò)閾值分割出真實(shí)小目標(biāo),輸出位置坐標(biāo)。經(jīng)過(guò)實(shí)驗(yàn)對(duì)比,本方案在普遍的小目標(biāo)復(fù)雜場(chǎng)景中獲得了更高的檢測(cè)精度。自適應(yīng)閾值與時(shí)間信息結(jié)合與紅外小目標(biāo)的跟蹤將是我們未來(lái)工作繼續(xù)研究的方向。