基于SCNN的紅外弱小目標(biāo)檢測(cè)算法研究

劉 芬,程勇策,鄭 堯,趙 濤

(1.中煤科工集團(tuán)重慶研究院有限公司,重慶 400039；2.中國電子科技集團(tuán)公司第三研究所,北京 100015；3.陸航研究所,北京 101121)

1 引 言

隨著紅外成像技術(shù)的逐漸成熟,基于紅外目標(biāo)的檢測(cè)或跟蹤方法已被廣泛應(yīng)用于諸多領(lǐng)域中。其中,紅外小目標(biāo)的檢測(cè)尤其重要[1-6]。在過去幾十年中,學(xué)者們提出了許多不同的檢測(cè)算法,但這些方法僅僅依賴的是圖像底層特征。當(dāng)背景變得復(fù)雜時(shí),使用傳統(tǒng)方法得到的結(jié)果可能并不理想,如圖1所示。從圖中可得知,當(dāng)紅外圖像模糊不清,存在大量噪聲時(shí),有些方法不能檢測(cè)出小目標(biāo)。傳統(tǒng)方法存在以下不足:1.依賴的結(jié)構(gòu)化特征缺乏魯棒性,導(dǎo)致在復(fù)雜場(chǎng)景下不能區(qū)分背景和小目標(biāo)；2.雖然已有一些方法采用了局部對(duì)比,但這些對(duì)比是在低層的視覺特征上進(jìn)行的,缺乏高層特征的認(rèn)知和理解。

圖1 不同方法的檢測(cè)結(jié)果

近年來,深度學(xué)習(xí)技術(shù)已被應(yīng)用到許多計(jì)算機(jī)視覺中,包括圖像分類,目標(biāo)跟蹤和目標(biāo)檢測(cè)[7-8]。其中,深度卷積神經(jīng)網(wǎng)絡(luò)能夠提取高層特征,大大提高了目標(biāo)檢測(cè)的性能。通過一定樣本的訓(xùn)練,CNN能夠?qū)W習(xí)到豐富的語義特征,相比于傳統(tǒng)底層特征,這些特征更能準(zhǔn)確代表物體的本質(zhì)。因此將CNN應(yīng)用到紅外小目標(biāo)檢測(cè)是可行的。但由于紅外小目標(biāo)不是十分明顯,并且只有灰度信息,與自然圖像的目標(biāo)存在巨大差異,所以一些基于CNN的自然圖像目標(biāo)檢測(cè)方法并不適用于紅外小目標(biāo)的檢測(cè),這要求我們尋求新的方法。

2 算法概述

CNN包括卷積層、池化層、全連接層、輸出層四種網(wǎng)絡(luò)結(jié)構(gòu),通過多層卷積和池化逐步擴(kuò)大圖像的局部特征,從而實(shí)現(xiàn)從底層到高層的認(rèn)知過程。但是CNN由于池化層的存在,會(huì)損失目標(biāo)本身的信息,所以CNN無法應(yīng)用于小尺寸目標(biāo)的識(shí)別問題。另外CNN網(wǎng)絡(luò)體現(xiàn)的是機(jī)器認(rèn)知過程,最終體現(xiàn)的特征也是目標(biāo)高層紋理解析,并沒有結(jié)合泛化良好的結(jié)構(gòu)化特征,因此CNN網(wǎng)絡(luò)不具備弱紋理目標(biāo)的識(shí)別能力。

針對(duì)上述問題,需要研究基于結(jié)構(gòu)化特征融合的SCNN算法,具體需要解決的關(guān)鍵問題包括:

(1)針對(duì)目標(biāo)尺度的變化,如何設(shè)計(jì)不同的卷積核,使得整個(gè)框架對(duì)弱小目標(biāo)的尺度變化具有魯棒性；

(2)直接使用傳統(tǒng)的池化操作會(huì)直接損失弱小目標(biāo)的信息,如何在不使用池化操作的同時(shí)還可以擴(kuò)大感受野而又不損失特征圖分辨率；

(3)泛化良好的結(jié)構(gòu)化特征如何引入傳統(tǒng)的CNN網(wǎng)絡(luò),如何與CNN自身獲取的高層語義特征相融合而又不互相沖突。

將SCNN算法應(yīng)用于紅外弱小目標(biāo)空間檢測(cè)時(shí),泛化良好的紅外弱小目標(biāo)結(jié)構(gòu)化特征包括:

(1)局部對(duì)比度特征

復(fù)雜背景下的紅外弱小目標(biāo)周圍9×9區(qū)域的局部對(duì)比度如圖2所示。

圖2 紅外弱小目標(biāo)在局部對(duì)比度示意

定義中心區(qū)域3×3鄰域的平均灰度為:

(1)

則目標(biāo)周圍9×9鄰域內(nèi),目標(biāo)局部對(duì)比度滿足:gc>gi(i=1,2,……,8),即在一定局部區(qū)域內(nèi)目標(biāo)平均灰度高于其鄰域灰度。

(2)灰度空間分布的高斯特性

在實(shí)際工程應(yīng)用中因目標(biāo)或成像探測(cè)設(shè)備的姿態(tài)、位置的變化,紅外成像圖像中的點(diǎn)目標(biāo)也很難有一個(gè)固定的形狀。當(dāng)成像距離足夠遠(yuǎn)的時(shí)候,對(duì)于探測(cè)系統(tǒng)來說,它的灰度分布特性符合光學(xué)點(diǎn)擴(kuò)散函數(shù)(PSF),即目標(biāo)灰度分布符合高斯分布。

(2)

在SCNN算法中引入上述結(jié)構(gòu)化特征后,通過去除池化層、改變卷積擴(kuò)展性、加入分層融合機(jī)制等算法,使其改進(jìn)后的SCNN更加適合紅外弱小目標(biāo)的空間檢測(cè)。

3 算法實(shí)現(xiàn)

本文提出一種雙通道CNN的結(jié)構(gòu)模型來進(jìn)行弱小目標(biāo)檢測(cè),通過將紅外弱小目標(biāo)的局部對(duì)比度等結(jié)構(gòu)化空間特征在低層卷積階段引入CNN網(wǎng)絡(luò),去除池化層,從而構(gòu)建SCNN弱紋理小尺寸目標(biāo)識(shí)別算法。

3.1 算法框架流程

模型的輸入是一幅紅外圖像,輸出是其對(duì)應(yīng)的檢測(cè)結(jié)果圖像,其中每個(gè)像素的大小表示該像素屬于小目標(biāo)的概率,值越大,越可能屬于小目標(biāo)。框架流程圖如圖3所示。每個(gè)通道的前部分所使用的卷積核大小是不同的,這樣每個(gè)通道能夠適應(yīng)不同大小的小目標(biāo),從而使得整個(gè)框架能夠?qū)π∧繕?biāo)的尺度變化具有魯棒性。由于弱小目標(biāo)的尺度很小,若使用池化操作,會(huì)損失關(guān)于小目標(biāo)的信息,這樣會(huì)導(dǎo)致后續(xù)的檢測(cè)不準(zhǔn)確。因此在中間部分,每個(gè)通道使用了不同的膨脹率進(jìn)行擴(kuò)張卷積,擴(kuò)張卷積的作用是擴(kuò)大感受野而又不會(huì)損失特征圖的分別率,從而能夠有效地保留小目標(biāo)的信息。通過進(jìn)行不同膨脹率的擴(kuò)張卷積操作,學(xué)習(xí)到了不同的語義特征,為了在不同層次上突出小目標(biāo),提出一種多層次局部對(duì)比(multi-level local contrast,MLLC)的模型,如圖4中MLLC部分所示。之所以計(jì)算局部對(duì)比,是因?yàn)樾∧繕?biāo)與周邊背景差異大,若所得局部對(duì)比越大,越可能是小目標(biāo)。在得到不同層次的局部對(duì)比之后,需要把他們進(jìn)行融合起來,本文提出一種分層次融合(hierarchical merge,HM)的方法,如圖4中HM部分所示。分層次融合即是把兩個(gè)通道中相同層次的局部對(duì)比進(jìn)行兩兩融合。然后把兩兩融合后的多層次結(jié)果再次融合,從而得到最終的融合特征。框架的后部分首先整合了分層次融合的結(jié)果以及兩個(gè)通道的淺層特征,這樣做是為了保留更多的語義信息,然后經(jīng)過多個(gè)卷積操作生成最后的檢測(cè)圖像。

圖4 MLLC和HM結(jié)構(gòu)

圖3中,卷積層參數(shù)表示為:conv-(卷積核大小)-(特征圖數(shù)量)-(膨脹率);“C”表示特征圖合并。

圖3 方法流程圖

圖3中,實(shí)際上每個(gè)通道計(jì)算4個(gè)層次的局部對(duì)比,即膨脹率取1,2,3,4,為了演示方便,這里只取膨脹率為1,2作為示例,“+”表示特征圖相加。

3.2 計(jì)算操作

其中本算法框架所涉及的計(jì)算操作如下:

(1)卷積操作可表示為:

Fl=W*Fl-1+b

(3)

其中,Fl表示第l層的特征圖;Fl-1表示第(l-1)的特征圖;W表示卷積核;b表示偏置項(xiàng);* 表示卷積操作。在卷積操作之后,一般采用非線性激活函數(shù),而使用的比較多的是修正線性單元(Rectified Linear Unit,ReLU)。

ReLU(x)=max(0,x)

(4)

(2)擴(kuò)張卷積可表示為:

(5)

其中,y(u,v)表示通過擴(kuò)張卷積后x(u,v)位置的對(duì)應(yīng)輸出;M,N分別表示卷積核的高和寬;r表示膨脹率。當(dāng)r=1時(shí),擴(kuò)張卷積變回傳統(tǒng)的卷積操作。圖5展示了使用不同膨脹率時(shí)對(duì)應(yīng)的卷積感受野。

圖5 膨脹率為1,2,3的3×3擴(kuò)張卷積(灰色塊為有效的卷積位置)

(3)局部對(duì)比[9](local contrast)表示為:

Fc=F-AvgPool(F)

(6)

其中,AvgPool(·)表示計(jì)算特征圖3×3范圍的均值。

(4)分層次融合表示為:

(7)

(5)兩通道合并表示為:

M=σ(W*Concat(H,C1,2,C2,2)+b)

(8)

(6)損失函數(shù)使用交叉熵?fù)p失,表示為:

(9)

其中,X={xi,i=1,…,|X|} 為圖像訓(xùn)練集;Z={zi,i=1,…,|Z|} 為對(duì)應(yīng)的真值圖像;Pr(zi=1|X;θ)由計(jì)算框架的輸出預(yù)測(cè)結(jié)果的sigmoid激活函數(shù)而得;θ表示整個(gè)框架所有權(quán)重參數(shù)的集合。

3.3 網(wǎng)絡(luò)訓(xùn)練

對(duì)300幅圖像(真實(shí)圖像以及合成圖像)進(jìn)行數(shù)據(jù)增廣,共2400張圖像進(jìn)行訓(xùn)練,訓(xùn)練直到損失函數(shù)收斂,共迭代了150次。圖6展示了部分原始圖像及對(duì)應(yīng)的人工標(biāo)注圖像示例。

圖6 紅外圖像及其人工標(biāo)注

4 實(shí)驗(yàn)結(jié)果及分析

圖7展示了不同方法在測(cè)試集上的部分代表場(chǎng)景下的檢測(cè)結(jié)果。第1列是原圖像,最后一列是本文方法的檢測(cè)結(jié)果,第2～5列是對(duì)比方法的檢測(cè)結(jié)果。

圖7 不同方法的檢測(cè)結(jié)果示例

表1給出了不同方法在部分圖像上的檢測(cè)率,可以看到,本文給出的算法性能最優(yōu),且具有良好的場(chǎng)景適應(yīng)能力。

表1 不同方法的檢測(cè)率

本文采用局部SNR增益(SNR gain,SNRG)來評(píng)估不同方法的檢測(cè)性能。局部SNR增益定義為:

(10)

(11)

其中,μt和μb分別是在檢測(cè)結(jié)果圖像中目標(biāo)區(qū)域和其周圍局部鄰域的平均像素值。

表2展示了不同方法在測(cè)試圖像上的SNRG結(jié)果,從表中可以看出本項(xiàng)工作取得的效果基本上優(yōu)于其他所對(duì)比的方法,說明本項(xiàng)工作的檢測(cè)性能得到較大的提升。

表2 不同方法的LCG對(duì)比

表2中“-”表示不存在,即小目標(biāo)以及其局部領(lǐng)域像素值均為0,導(dǎo)致計(jì)算檢測(cè)圖像的LC時(shí)出現(xiàn)分子和分母為0的情況。

5 結(jié) 論

提出了一種基于結(jié)構(gòu)化特征卷積神經(jīng)網(wǎng)絡(luò)(SCNN)的紅外弱小目標(biāo)檢測(cè)算法。通過將紅外弱小目標(biāo)灰度高斯分布,局部對(duì)比度強(qiáng)烈這兩個(gè)結(jié)構(gòu)化特征作為先驗(yàn)知識(shí)引入CNN網(wǎng)絡(luò)中,并對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測(cè)試,實(shí)現(xiàn)了對(duì)紅外弱小目標(biāo)的高可靠檢測(cè)。實(shí)驗(yàn)結(jié)果表明:與4種代表性紅外小目標(biāo)檢測(cè)方法相比,本文提出的方法能達(dá)到了更優(yōu)的效果,能夠滿足穩(wěn)定、準(zhǔn)確的要求。

復(fù)雜背景下的紅外弱小目標(biāo)所面臨的應(yīng)用場(chǎng)景非常復(fù)雜多變,面臨的干擾類型包括:多樣性地物、云層邊緣、云層的亮斑、傳感器壞元及閃元等。所以依靠起始訓(xùn)練的數(shù)據(jù)集很難實(shí)現(xiàn)所有場(chǎng)景的覆蓋,因此如何進(jìn)一步研究分布式遷移學(xué)習(xí)機(jī)理和較好地應(yīng)用深度學(xué)習(xí)方法進(jìn)行紅外弱小目標(biāo)檢測(cè)是未來研究工作的重點(diǎn)。