基于深度分割模型的小目標檢測

胡世根， 方 松， 盧金儀， 顏露新， 鐘 勝， 鄒 旭*

(1.華中科技大學 人工智能與自動化學院，湖北 武漢 430074； 2.華中科技大學 多譜信息處理技術國家級重點實驗室，湖北 武漢 430074)

小目標檢測廣泛應用于公共安全、道路交通、視頻監(jiān)控等領域，同時，在面向特定需求的任務中，更精確的小目標檢測意味著能夠為后續(xù)的識別、跟蹤等任務提供更有力的支撐，具有非常重要的應用價值，因此準確、快速、穩(wěn)定的小目標檢測十分重要。關于小目標的定義，目前還沒有統(tǒng)一的標準，一般情況下，將成像距離較遠、在圖像上往往小至幾十個甚至幾個像素，顯示為點狀并且具有低對比度和信雜比的目標稱為小目標[1]。

紅外成像情況下，場景中目標物體的紅外輻射較強，從而在圖像中形成局部顯著區(qū)域，根據(jù)這一特征，許多研究人員通過搜索圖像極值來檢測目標[4]。Tom等[5]提出了著名的Top-Hat 算子，通過開運算消除圖像中的高頻信息，然后利用其與原始圖像的差異來檢測目標。此外，受生物視覺的啟發(fā)，Wei等[6]提出了一種基于多尺度區(qū)域?qū)Ρ榷人阕?MPCM)的紅外小目標檢測方法，使用簡單的自適應閾值即可實現(xiàn)小目標分割。張騰[7]將尺度估計算法與MPCM算法中的PCM濾波相結(jié)合，提出尺度自適應的紅外弱小目標檢測算法SPCM。依據(jù)維恩位移定律，不同溫度的物體的輻射通量密度對應不同的探測峰值波長，不同波段的成像圖像記錄了目標多樣化的輻射特性，充分利用多波段成像探測信息能更加有效地提升小目標檢測的準確性。

目標檢測的傳統(tǒng)方法一般通過提取人為設計的圖像特征來進行檢測，然而傳統(tǒng)方法往往只對某些特定應用領域或者數(shù)據(jù)集有效，適用范圍窄。隨著深度學習的快速發(fā)展，陸續(xù)有研究者開始嘗試使用深層網(wǎng)絡模型檢測小目標。例如，唐聰?shù)萚8]分析了SSD方法在小目標檢測上不足的原因，提出了一種多視窗 SSD 目標檢測方法；馮小雨等[9]改進了Faster R-CNN算法，將其專用于空中目標檢測，取得了不錯的效果。然而小目標檢測的數(shù)據(jù)集規(guī)模有限，且深層網(wǎng)絡對小目標的特征難以提取等問題一直未能較好地解決。

現(xiàn)有的小目標檢測方法可以分為兩類：基于人工設計特征的傳統(tǒng)方法和基于深度學習的方法。傳統(tǒng)形式的檢測算法適應性差、魯棒性弱；基于深度學習或者神經(jīng)網(wǎng)絡的一些檢測算法又存在因目標面積占比小導致的特征維度低、目標/背景特征分界面不明確的缺點，從而造成實用性不佳等問題。

針對上述存在的問題，本文提出了基于深度分割模型的小目標檢測方法，為了進一步提升檢測性能、依據(jù)任務需求降低漏檢率，探索多波段信息對提升小目標檢測準確性的作用，利用深度特征融合的思想，將不同波段的圖像送入深度分割模型，通過融合不同波段的特征提取結(jié)果來得到檢測目標。在仿真數(shù)據(jù)集上的實驗結(jié)果表明，該方法在虛警率維持在同一量級的條件下，顯著降低了漏檢率，提高了小目標檢測的準確率。

1 提出的方法

現(xiàn)有基于深度學習的目標檢測方法大多使用邊框回歸(Bounding Box)方法實現(xiàn)目標的分類與定位，然而深度學習網(wǎng)絡中深層網(wǎng)絡感受野較大，使得它可以檢測的目標大小受到限制。而在紅外小目標檢測的應用背景下，需要檢測的目標大小可能小至幾十個甚至幾個像素，缺乏必要的紋理與結(jié)構(gòu)特征，背景區(qū)反而細節(jié)豐富，所以傳統(tǒng)的深度網(wǎng)絡難以對紅外圖像中小目標的特征進行有效的學習和提取。

本文跳出傳統(tǒng)的深度學習目標檢測方法，設計等寬的深度神經(jīng)網(wǎng)絡，即網(wǎng)絡的輸出與輸入圖像為長、寬、通道數(shù)相等的矩陣，輸出圖像以灰度值表示該點存在目標的概率，實現(xiàn)了目標點的檢測與分割，以端到端的方式進行訓練，解決了邊框回歸方法存在的缺陷。

1.1 基于全卷積的單波段小目標檢測分割模型

Zhang等[10]提出了一個前饋去噪卷積神經(jīng)網(wǎng)絡(DnCNN)用于圖像的去噪，使用了更深的結(jié)構(gòu)、殘差學習算法、正則化和批量歸一化等方法提高去噪性能。原網(wǎng)絡輸入為加入已知高斯噪聲或未知高斯噪聲的灰度圖，使用無噪聲原圖作為監(jiān)督設定損失，最終訓練結(jié)果可輸出噪聲圖，由此便可從添加噪聲的原圖減去網(wǎng)絡輸出，最終獲得去除噪聲的結(jié)果圖。

受文獻[10]啟發(fā)，筆者提出了用于小目標檢測的深度分割網(wǎng)絡模型，使用加入噪聲的紅外圖像仿真圖作為輸入、網(wǎng)絡的輸出為目標分布的概率圖。該模型可表示為

y=x+v

(1)

式中，y為輸入的包含目標的圖像；x為只包含噪聲與背景的圖像；v為殘差圖像。優(yōu)化目標是真實殘差圖像與網(wǎng)絡輸出之間的均方誤差(MSE)，以只包含目標點的二值圖像作為監(jiān)督設定損失。單波段小目標檢測分割結(jié)構(gòu)如圖1所示。

圖1 單波段小目標檢測分割模型結(jié)構(gòu)

網(wǎng)絡結(jié)構(gòu)可分為以下3個部分。

第1部分：Conv(3×3×c×64)+ReLU (c代表圖片通道數(shù))。

第2部分：Conv(3×3×64×64)+BN(Batch Normalization)+ReLU。

第3部分：Conv(3×3×64)。

為使每一層的輸入、輸出尺寸保持一致，防止產(chǎn)生人工邊界，網(wǎng)絡中每層都設定zero padding。此外，在第2部分每一層的卷積與ReLU之間都使用了批量標準化方法(BN)。

給定深度為D=20的網(wǎng)絡，3種類型的層展示在圖1中有3種不同結(jié)構(gòu)的層。

① Conv+ReLU：對于第1層，使用64個大小為3×3×c的濾波器被用于生成64個特征圖。這里的c代表圖像的通道數(shù)，本文訓練與測試圖像均為灰度圖，即c=1。

② Conv+BN+ReLU：對應于第2～(D-1)層，使用64個大小為3×3×64的過濾器，并且在卷積和ReLU之間使用批量歸一化方法。

③ Conv：對應于最后一層，c個大小為3×3×64的濾波器被用于重建輸出。

損失設定為

Loss=MSELoss(out,GT)

(2)

(3)

通過以上方法得到的改造深層網(wǎng)絡可以有效提升圖像特征利用的容量和靈活性，相較于邊框回歸能夠更有效地去除輸入圖像中的噪聲與復雜背景。端到端的網(wǎng)絡結(jié)構(gòu)能夠有效檢測目標點并實現(xiàn)分割，同時采用殘差學習和批歸一化可以加速訓練并提升性能。

1.2 基于全卷積的雙波段小目標檢測分割模型

不同波段的成像圖像記錄了目標多樣化的輻射特性，為了進一步提升小目標檢測的能力，本文提出了基于特征融合的雙波段小目標檢測分割模型。

不同波段的成像設備在成像機理方面存在較大差異。例如在夜視條件，中波紅外(MediumWave Infrared，MWIR)和長波紅外(LongWave Infrared，LWIR)要靠目標自身身輻射成像，而短波紅外(ShortWave Infrared，SWIR)則是利用常溫時物體反射夜光的輻射成像(自身輻射可忽略)，中高溫時既有物體反射夜光的短波紅外輻射，又有自身發(fā)射的足夠強的短波紅外輻射成像。故紅外探測波段的選擇需要綜合考慮探測器、目標輻射、背景輻射、大氣衰減等多種因素[11]。在特定情況下，上述因素對波段選擇的影響并不一致，故實際應用中應對各個因素進行綜合分析，從而做出最佳選擇。

高精度探測器在實際使用場景中通常在共光軸濾波片輪轉(zhuǎn)的條件下使用不同波段對同一場景成像。由于不同波段具有不同成像特性，不同波段的探測器適合不同的場景，對同場景成像獲得圖像所含的信息也有著不同的側(cè)重。基于此，本文進行了對不同波段的圖像進行特征融合、檢測分割一體化的研究，目的在于使檢測方法對變化的使用場景具有更強的魯棒性，同時充分利用不同波段圖像存在的特征信息，在單波段小目標檢測的基礎上進一步降低漏檢率。

網(wǎng)絡結(jié)構(gòu)如圖2所示，在上一節(jié)的基礎上加入了圖像融合的部分，使用雙波段圖像輸入同一網(wǎng)絡，在最后分別對二者使用1×1的卷積核進行卷積，最終進行疊加，目的在于提取不同波段紅外圖像中對目標點特征成像清晰的部分。

圖2 雙波段小目標檢測分割模型結(jié)構(gòu)

2 數(shù)據(jù)集

基于深度神經(jīng)網(wǎng)絡的方法在物體檢測任務中具有巨大優(yōu)勢，但是目前將它用于弱小目標檢測還面臨諸多困難，這類方法暫時未在小目標檢測中獲得類似于其他領域的明顯成功，主要有以下兩個原因：① 目標的尺寸小，深度神經(jīng)網(wǎng)絡難以提取弱小目標的有效特征，從而不能充分發(fā)揮出深度神經(jīng)網(wǎng)絡對目標的強大表達能力；② 是目標樣本數(shù)據(jù)庫的規(guī)模小，由于任務場景和目標類型的特殊性，通常難以獲取足夠數(shù)量的目標樣本構(gòu)建大規(guī)模的數(shù)據(jù)集，因此難以使深度神經(jīng)網(wǎng)絡得到充分訓練，進而難以取得令人滿意的檢測效果[12-13]。在可預見的未來，這兩個情況將很難得到改變[14]。為了驗證提出算法的有效性，制作了仿真數(shù)據(jù)集對提出的模型進行了驗證性實驗。仿真數(shù)據(jù)集制作過程如圖3所示。

圖3 仿真數(shù)據(jù)集制作過程

首先在背景圖像上覆蓋手動添加目標點的圖層，并添加合適概率的隨機噪聲，由此獲得的圖像用于仿真現(xiàn)實中拍攝的具有多目標點的圖像；在此基礎上對圖像進行非線性灰度變換，獲得的圖像用于仿真同一場景下不同波段的成像結(jié)果。最后將目標點圖層二值化，作為真值(Ground Truth)掩膜。

3 量化實驗對比分析

3.1 實驗環(huán)境

本文的實驗環(huán)境為Windows 10，電腦配置為GPU(NVIDIA GTX-2060 6 GB顯存)、CPU(i5-8300H)、16 GB內(nèi)存。選取所提出的仿真數(shù)據(jù)集作為訓練樣本，其中訓練集圖片為1300張、驗證集圖片為400張、測試集圖片400張。模型整體采用PyTorch框架搭建。設置訓練模型的初始學習率為0.001，選擇Adam優(yōu)化器。最大迭代次數(shù)為50次，每批次訓練2個樣本。

3.2 評價指標

為了定量評價提出模型的檢測性能，對比檢測結(jié)果與真實標注，計算實際目標數(shù)、漏檢數(shù)、虛警數(shù)，并由此得出漏檢率、虛警率作為評價指標。

評價指標計算過程如圖4所示，以圖4(a)輸入單波段檢測網(wǎng)絡獲得的檢測結(jié)果為例，介紹評價指標計算過程。

圖4 評價指標計算過程過程

① 首先以7×7的橢圓形核對圖4(b)所示的GT掩膜進行膨脹操作，獲得圖4(c)。

② 以灰度值10為閾值對檢測結(jié)果進行二值化操作，遍歷圖4(c)膨脹后的GT掩膜與圖4(e)二值化的檢測結(jié)果，若圖4(c)中像素點為255，便將圖4(e)同位置的像素點賦值為0，最終獲得顯示虛警點的圖4(h)。

③ 以7×7的橢圓形核對圖4(e)二值化的檢測結(jié)果進行膨脹操作，獲得圖4(f)。

④ 遍歷圖4(f)膨脹后的檢測結(jié)果與圖4(b)GT掩膜，若圖4(f)中像素點為255，便將圖4(b)同位置的像素點賦值為0，最終獲得顯示漏檢點的圖4(g)。

⑤ 以連通域處理函數(shù)分別對圖4(b)、圖4(f)、圖4(g)進行處理，獲得目標點數(shù)，虛警點數(shù)，漏檢點數(shù)。

3.3 實驗結(jié)果與分析

以灰度值Threshold=10為閾值二值化檢測結(jié)果圖，以上節(jié)方法分別計算傳統(tǒng)方法Top-Hat[5]、SPCM[7]和本文提出的單、雙波段小目標檢測分割網(wǎng)絡共4種檢測方法的性能指標，統(tǒng)計結(jié)果如表1所示。

表1 統(tǒng)計結(jié)果

由表1可知，屬于形態(tài)學處理方法的Top-Hat檢測方法對于背景復雜且包含噪聲的紅外圖像的目標檢測能力十分有限，虛警率與漏檢率極高。由圖5(b)可以看出，其主要原因在于部分復雜背景、噪聲與目標點的灰度值與周圍黑色背景有較大差異，在Top-Hat操作中會被檢測出來，最終被當作目標點顯示在檢測結(jié)果中，同時輸入圖像中個別目標點較為模糊，故統(tǒng)計結(jié)果中的虛警率極高，遠遠超出100%，漏檢率也較高。

SPCM方法可以在多尺度上對目標進行檢測，但該方法仍然無法解決濾波方法的局限，無法區(qū)分與目標點相似的噪點以及復雜背景的區(qū)域，如圖5(c)所示，檢測結(jié)果中的虛警點極多。所以，該方法在測試集上雖然能較好地檢測出目標點，但虛警率極高，基本無法應用在本文模擬的應用環(huán)境中。

圖5 各方法檢測結(jié)果樣例

對比本文提出的單、雙波段小目標檢測分割網(wǎng)絡的性能指標可知，二者均能將漏檢率、虛警率保持在較低水平，其中雙波段的檢測方法漏檢率極低只有0.051%，而虛警率相較于單波段檢測方法有小幅增長。主要原因在于本文提出的雙波段小目標檢測分割模型中的融合方法本質(zhì)上是深度特征的加權或操作，有利于充分利用多波段圖像中的目標點特征，降低漏檢率。

4 參數(shù)選擇討論

二值化閾值(Threshold)是本文提出的模型唯一需要控制的超參數(shù)。本節(jié)討論各方法在測試集上的性能受該參數(shù)的影響及參數(shù)的選擇。

本節(jié)實驗將閾值分為254階，分別計算各方法在各閾值階級上的虛警率和漏檢率，結(jié)果如圖6、圖7所示。可以看出本文提出的單、雙波段小目標檢測分割網(wǎng)絡的虛警率與漏檢率在較大的閾值范圍內(nèi)都保持在較低水平，其中單波段方法在更大的閾值范圍內(nèi)(6～235)表現(xiàn)出良好性能，虛警率、漏檢率均小于0.1%。

圖6 虛警-灰度閾值曲線

圖7 漏檢率-灰度閾值曲線

為進一步探究雙波段小目標檢測分割網(wǎng)絡的性能，在圖6、圖7的基礎上細化刻度，尋找最佳性能指標的閾值范圍。雙波段最佳二值化閾值選擇如圖8所示。由圖8可知，雙波段檢測方法的最佳性能優(yōu)于單波段方法，在閾值為137～176的范圍內(nèi)可使虛警率為0，漏檢率低于0.02%。實際應用中，可依據(jù)具體任務場景的先驗知識選取合適的閾值。實驗結(jié)果表明，閾值作為唯一需要控制的超參數(shù)，當其處于一段值域范圍內(nèi)時本文提出的模型均能取得具有實用性的小目標檢測結(jié)果，顯示了所提模型的魯棒性。

圖8 雙波段最佳二值化閾值選擇

5 總結(jié)與展望

本文針對低信雜比圖像中小目標因面積占比小導致的特征提取難的問題，提出了一種基于深度分割模型的小目標檢測算法，并進一步利用多波段特征融合的思想，通過融合不同波段的特征提取結(jié)果實現(xiàn)目標檢測。在仿真數(shù)據(jù)集上的實驗結(jié)果表明，該方法相較于對比方法能有效提高小目標檢測的準確率，促進了小目標檢測在視頻監(jiān)控、軍事偵查等領域的應用效果。本文提出的基于深度特征融合的雙波段小目標檢測模型本質(zhì)上是對雙波段特征圖的加權或操作，以降低對小目標的漏檢率，后續(xù)根據(jù)不同應用背景選擇不同融合策略，構(gòu)造不同融合模型，以及設計面向任務特點的數(shù)據(jù)增廣策略，以期進一步提升深度融合小目標分割模型的準確性和適應性。