基于SSD框架的紅外弱小目標檢測技術研究

馬玉瑩,黃成章,黃靜穎,王偉丞

(華北光電技術研究所,北京 100015)

1 引 言

深度學習是機器學習算法中較為復雜的一類方法,它的引入使學術研究與工程應用更加接近于人們盼望達到的人工智能的目標。深度學習的概念由Geoffrey Hinton等人于2006年率先提出,通過建立真正深度神經網絡的訓練機制來模擬人腦的學習過程,并希望以模擬人腦的多層抽象機制來實現對圖像、語音及文本等數據的抽象表達,從而自動完成特征提取過程,減少人為干預。深度學習中涉及的理論眾多,網絡及其豐富,有眾多的應用領域和各自不同的適應方法,而卷積神經網絡作為當中的一個重要分支,在基于深度學習的目標檢測技術中,主要應用的便是深度學習中卷積神經網絡的相關部分。卷積神經網絡(Convolutional Neural Network,CNN)是深度學習中非常重要的一個網絡模型[1],被用來設計解決圖像識別等問題,能夠避免復雜的特征提取工作。

隨著光電探測系統對探測距離的要求日漸提高,從獲取紅外目標圖像的過程來看,在目標與探測器距離較遠時的一段時間內,開始時目標在成像平面上所占的像素很少,表現為一個對比度非常低的亮點,隨著距離的減小,通常在圖像中呈現為點狀的動目標。在該種情形下的目標搜索檢測任務的難度體現在很難用傳統的特征描述方法去提取弱小目標的特征。隨著卷積神經網絡技術在其他領域取得的巨大突破,越來越多的人開始研究基于卷積神經網絡的弱小目標探測技術[2],但無論是傳統圖像處理算法設計,還是基于卷積神經網絡的網絡模型訓練,都離不開圖像數據,圖像數據庫成為制約卷積神經網絡算法性能的關鍵因素之一。由于一切物體都會自發的輻射紅外信號,光電系統中能接收到視場內一切物體產生的背景輻射信號,背景輻射信號中包含大量的“雜波”信號,通常認為“雜波”是場景中的干擾目標探測與跟蹤性能的物體產生的“信號”,“雜波”已經成為制約光電系統性能的一個瓶頸,如何對“雜波”引起的虛警進行抑制,對提升光電系統的檢測指標起著至關重要的作用。

鑒于以上原因以及在紅外圖像中,目標與周圍的背景相比沒有明顯的亮度,且不能依賴于目標的灰度信息、目標的形狀和紋理等信息來區分目標與雜波,考慮到這些因素給檢測帶來的困難,本文提出了一種基于深度學習方法(SSD框架)的紅外弱小目標檢測技術來解決紅外弱小目標的遠距離探測和虛警抑制問題。

2 針對弱小目標的SSD檢測框架

深度學習的核心思想體現在“非監督特征學習”(Unsupervised Feature Learning,UFL)。深度學習不需要通過人工設計特征提取算法的傳統方式,而是讓機器在無監督的條件下提取和選擇特征,將基于特征表達的圖像識別等任務統一在同一個理論框架下[3]。基于深度學習的目標檢測框架SSD(single shot multubox detector)[4]是目前的主流檢測框架之一,該框架使用了特征金字塔結構進行目標檢測,檢測時在不同卷積層輸出的特征上同時進行Softmax分類和位置回歸,該算法檢測時綜合利用了淺層和深層的特征信息,因此對弱小目標能夠有較好的檢測精度。但是,紅外場景中的弱小目標與其他場景弱小目標相比,具有目標更小,更難以分辨的特性,然而現有的SSD網絡主要是基于VGG_16網絡,網絡層數較深,在卷積的過程中,紅外小目標的特征信息容易丟失,紅外小目標檢測效果仍然不夠理想。

針對上述問題,本文提出了一種基于雙閾值多尺度的SSD網絡框架。該網絡框架主要針對紅外圖像中的弱小目標檢測需求進行了兩方面的改進:第一,使用網絡層數較少的AlexNet替換SSD中的VGG_16,并且在卷積的過程中使用3×3的卷積核替換AlexNet中較大的卷積核,使得網絡既具有一定的復雜度,整體的感受野又不會太大,在卷積的過程中不至于丟失弱小目標的特征信息；第二,借鑒了從粗粒度到細粒度的二級檢測思想,設計了基于雙閾值的粗粒度檢測器和細粒度檢測器。在目標檢測任務中,對單閾值的設定往往要求比較高,閾值設置過高會漏掉許多真目標,導致檢測率降低,閾值設置過低則會混入假目標,導致虛警率高。本文設置了兩個閾值p1,p2(其中1>p1>p2>0),用于指導粗粒度檢測器和細粒度檢測器,緩解上述問題。

2.1 粗粒度檢測器

該粗粒度檢測器主要是基于SSD進行改進的,原始的SSD網絡結構如圖1所示,VGG_16網絡結構作為基礎,對VGG_16 conv4_3層及后續額外的網絡層的輸出特征圖進行多尺度的目標檢測。本文方法主要針對紅外弱小目標,目標比一般小目標更小,VGG_16網絡對于該類型目標來說,網絡太深,隨著卷積層數的加深,目標的特征信息可能丟失,因此本文方法使用卷積層數較少的AlexNet替換VGG_16,并且在卷積的過程中使用3×3的卷積核替換AlexNet中較大的卷積核,同時減少后續額外的網絡層數,具體網絡結構如圖2所示。在檢測過程中,將待檢測原始紅外圖像送入粗檢測器中,進行檢測,當檢測結果的置信值高于設定的閾值p1,直接標記該檢測結果；置信值低于閾值p2時,則判定該區域無目標；置信值大于p2且小于p1時,則送入細粒度檢測器做進一步更精細化的檢測。

圖1 SSD網絡結構圖Fig.1 SSD network structure diagram

圖2 本文方法網絡結構圖Fig.2 Network structure diagram of the method presented in this paper

2.2 細粒度檢測器

該細粒度檢測器的網絡結構與粗粒度檢測器相同。對于粗粒度檢測器中,檢測結果置信度均小于p1并大于p2的區域可能存在著目標,該目標可能由于目標太小或者受到部分遮擋等因素,識別的確定性降低。本文將該區域裁剪出來,使用雙三次上采樣的超分辨技術[5]提升該區域的分辨率,然后送入細粒度檢測器中,做進一步的目標檢測,當檢測結果的置信值高于設定的閾值p1,則標記該檢測結果,最后的檢測結果綜合了粗粒度檢測器和細粒度檢測器的結果。該操作僅對粗粒度檢測器中,不易檢測的區域進行更進一步的檢測,僅增加了少量的計算量。

3 紅外弱小目標檢測系統

紅外弱小目標檢測算法的整體流程如圖3所示:粗粒度檢測器對原始紅外圖像進行檢測,當檢測置信度大于閾值p1時,直接判定該類目標；當檢測結果的置信度小于閾值p1且大于閾值p2時,則對該區域進行上采樣,提高該區域的分辨率,然后送入細粒度檢測器中,進行更進一步的檢測。

3.1 雜波抑制

為了提高目標檢測的準確率,該方法在目標檢測前對圖像進行了噪聲抑制,減少噪聲干擾導致的虛警(如圖3所示)。紅外圖像中的盲閃元在空域中表現為孤立的點[6],而目標距離較遠時,在圖像中只有一到幾個像素。因此,在目標的檢測率較高時,會出現大量因盲閃元引起的虛警。傳統的空域濾波算法,如中值濾波,雖然能去除孤立的噪聲點,較好地保持物體邊緣,但是尺寸特別小的目標也會被濾除,從而降低小目標的檢測率。為了減小盲閃元對目標檢測性能的影響,首先采用了自適應平滑濾波,通過自適應平滑濾波,使得圖像的灰度值更加均勻,避免中值濾波的過程中,將小目標當成噪聲去除,該自適應平滑濾波的操作方式如下:

圖3 整體的檢測算法框架流程Fig.3 General framework flow of detection algorithm

其中,Kx,y表示以(x,y)為中心的自適應平滑濾波核;濾波核大小為(2P+1)·(2P+1)。

3.2 訓練損失函數

本文方法的損失函數與SSD算法一致,分成兩個部分,一部分計算通過Softmax類別的置信度損失,另一部分通過SmoothL1計算位置回歸。具體算法流程如下所示。

算法:基于雙閾值多尺度的SSD網絡框架訓練流程輸入:待處理紅外圖像,閾值p1和p2,批處理量nb輸出:含目標信息的圖像 1.對紅外圖像數據集進行目標檢測前噪聲抑制預處理得到數據集X^; 2.For num=1; num<迭代次數 do 3.從訓練集中隨機采樣待檢測圖像X^=x^(1),…,x^(nb) ; 4.獲取待檢測圖像對應的類別和位置標簽 C={c(1),…,c(nb)},L={l(1),…,l(nb)}; 5.將待檢測圖像送入粗粒度檢測器中,將檢測結果按照閾值大于p1和閾值大于p2且小于p1區域分別分成兩組g1和g2; 6.對g2中包含的區域進行雙三次上采樣,送入到細粒度檢測器中進行檢測; 7.計算訓練的損失函數,并通過梯度下降方式更新粗粒度和細粒度檢測器的參數。

4 實驗結果及分析

4.1 評價指標分析

虛警率:

檢測率:

紅外弱小目標檢測算法的性能指標主要包括檢測概率和虛警率。對于給定的算法,檢測概率和虛警率與檢驗圖像之間的關系非常相關。傳統的理論推導建模方法完全采取數學推導對目標特性與算法的檢測概率與虛警率的關系進行理論建模。由于在建模之前作了大量的假設和簡化操作,這種方法在準確性上與實際情況相差的較遠。實際上,檢測算法的性能不僅僅依賴于目標特性,而且與紅外圖像背景特性也有一定的關聯。

4.2 仿真結果分析

為了驗證算法的有效性,研究過程中構建了仿真數據庫,對確定的目標和干擾進行了半自動人工標注,獲取了大量的目標及干擾樣本數據集。為了提高模型的泛化能力,樣本的選取綜合考慮了各種環境因素(純空背景、云層背景及地面背景)影響,從各種場景中等比例的抽取了正樣本及負樣本,采用留出法構建了訓練集(70%)和測試集(30%)。為了真實有效的評估算法性能,本文利用具有代表性的環境因素(天空背景、云層背景、地面背景等)的圖像進行測試,將傳統算法的檢測概率和本文算法的檢測概率進行了測試統計和對比。在這里定義檢測概率:

其中,Na為圖像序列中檢測到真實目標個數;Nb為圖像序列中實際目標個數。

目標分類中,研究者們關心的是存在的目標的識別效果,識別率一般指檢測率,在上面的3種代表性場景中目標檢測率如表1所示,在確保虛警率滿足系統指標要求的前提下,算法的檢測率實現了最大限度的提升,其中天空背景的檢測率高達99%。

表1 不同復雜度場景的信噪比和檢測概率Tab.1 SNR and detection probability of scenarioswith different complexity

虛警的抑制效果以天空背景(場景1)、地面背景(場景2)、云層背景(場景3)這三類代表性場景為例,利用傳統目標檢測算法仿真效果如圖4所示,算法中加入深度學習模型后達到的效果如圖5所示。其中,天空背景的復雜度是最低的,檢測的難度也相對效低,地面和云層背景復雜度較高,傳統方法中預處理等雜波抑制過程的效果有限,還是會存在較多的虛警。

圖4 傳統目標檢測算法仿真效果Fig.4 Simulation effect of traditional target detection algorithm

圖5 本文目標檢測算法仿真效果Fig.5 Simulation effect of target detection algorithm in this paper

從上述圖像的處理結果來看,算法中未加深度學習模型時,在云層邊緣等梯度較大的區域,最容易產生虛警；算法中加入深度學習模型后,模型會根據每個像素點的局部區域計算置信度,只有置信度大于設定閾值時,才會將其作為候選目標,進行后續處理,可以較好地抑制虛警。

5 結 語

本文的創新點體現在以下兩個方面:利用真實紅外圖像建立了自己的數據庫,將深度學習技術應用到了紅外弱小目標檢測問題中；本文設置了兩個閾值用于指導粗粒度檢測器和細粒度檢測器,緩解了目標檢測任務中,對單閾值的設定要求高的問題。基于真實紅外序列圖像的實驗效果驗證了本文的提出的方法有效性,在很大程度上提高了紅外弱小目標的檢測概率的同時控制了虛警率,在光電系統目標探測過程中具有很強的實用性。