基于關鍵點檢測的紅外弱小目標檢測

王強，吳樂天，王勇，王歡，楊萬扣，

1.東南大學 自動化學院，南京 210096

2.江蘇自動化研究所，連云港 222061

3.西北工業大學 無人系統技術研究院，西安 710072

4.南京理工大學 計算機科學與工程學院，南京 210094

軍事安全在國家安全中具有非常重要的地位，對敵方的飛機、坦克等目標的全天候檢測跟蹤具有很強的現實意義。作為一種新型技術，紅外圖像中的弱小目標檢測技術由于紅外成像只對溫度和材料特性敏感，可以彌補可見光圖像受光強等環境因素影響較大的缺點，成為傳統可見光檢測系統的有效補充。

紅外弱小目標檢測技術在軍事上廣泛應用于海上監視［1］、預警系統［2］、精確制導［3］等領域。因此紅外弱小目標檢測的精度與魯棒性顯得十分重要。但與一般的目標檢測相比，紅外弱小目標檢測有以下幾個特點［4］：

1） 目標尺寸小。由于成像距離遠，目標尺寸一般在3×3～9×9像素大小之間。

2） 目標信號弱。圖像的背景信息嘈雜，目標的信噪比較低，目標容易混入背景中。

3） 目標結構性特征不明顯。目標不具備明顯的紋理特征，目標的形狀隨目標不同而有很大差異。

由于紅外弱小目標檢測的巨大應用前景，關于紅外弱小目標檢測的方法很早就有學者研究。趙坤和孔祥維于2004年就提出了一種利用灰度差異的空域濾波器方法［5］，Hou和Zhang于2007年提出了一種基于頻譜殘差的檢測方法［6］，龍云利等于2011年提出了一種基于時空域融合自適應紅外背景雜波抑制算法［7］，澳門大學Chen等于2014年提出了一種利用局部對比度差異的檢測方法［8］。但這些基于手工設計的方法或多或少都存在著檢測率低、虛警率高、魯棒性差等缺點。

深度學習顯著地推動了計算機視覺的發展，隨著深度學習在目標檢測、語義分割等領域的成功應用，越來越多的人嘗試將深度學習的方法應用于紅外弱小目標檢測領域。Liu等提出了第一個基于卷積神經網絡的紅外弱小目標檢測方法［9］。張凱等也提出了一種基于卷積網絡的空中紅外目標抗干擾識別算法［10］。目前，主流的檢測方法是使用基于語義分割的方法，即通過分割輸出目標。由于紅外弱小目標數據集保密性強、公開數據集較少和本身目標尺寸小、信號弱等固有特點，把常規的基于深度學習的語義分割方法直接應用于該領域效果不理想［11］。專門為紅外小目標檢測設計的分割網絡往往雖精度較高但結構復雜，如Li等提出的使用稠密連接的檢測網絡（DNANet）［12］，Liu等提出的基于Transformer的紅外弱小目標檢測網絡［13］，這些網絡往往無法滿足輕量性與實時性要求，同時，基于語義分割的檢測算法容易出現“過分割”和“欠分割”現象，從而影響檢測結果。

在實際的應用中，紅外弱小目標檢測更加關注目標物體整體的檢測率與虛警率。由于紅外弱小目標相對于整張紅外圖像來說很小，受關鍵點檢測在人體姿態估計等領域的成功應用的啟發，嘗試著把目標當作一個“點”，通過關鍵點檢測的方法來進行定位研究，這是因為，基于語義分割的紅外弱小目標檢測方法，可以認為是“兩階段”的，即先獲得目標分割輪廓，再根據目標分割輪廓計算目標中心點，繼而計算目標檢測率與虛警率。上述方法存在以下2點問題：① 該兩階段檢測方法的檢測精度受限于分割輪廓的精度，分割階段的“過擬合”和“欠擬合”都會對后續判斷目標中心點坐標造成影響；② 該兩階段檢測方法的優化目標是使圖像中每一個像素點的分類（背景或目標）損失之和最小，把原本屬于同一個目標的像素塊切分成了單獨的像素點來優化網絡，與實際情況存在一定的差異。由于紅外圖像中的弱小目標較小，用關鍵點表示簡單便捷且符合實際，同時，在優化方法上，關鍵點檢測把目標當作了一個“整體”，直接優化目標中心點坐標，與評估指標更加切合，避免了兩階段檢測方法的劣勢。本文后續的大量實驗證明了基于關鍵點檢測方法的有效性。基于此，提出了一種基于關鍵點檢測的紅外弱小目標檢測方法（Keypoint-Net）。KeypointNet通過熱力圖（Heatmap）回歸來優化目標中心點（關鍵點）坐標，不僅網絡結構較為簡單，而且也保證了檢測結果具有較高的檢測率與較低的虛警率。

1 圖像語義分割

圖像語義分割任務是對于一個單通道或多通道圖像輸入，輸出與源圖像相同分辨率的圖像，該圖像中的每個像素點都有一個分類標簽［14］。2015年，Long等在經典分類網絡的基礎上首次提出全卷積網絡（Fully Convolution Network，FCN）［15］，采用編碼器-解碼器結構。該模型直接丟棄了最后用于分類的全連接層，轉而用卷積層替代。同時添加反卷積層進行上采樣，從而使輸出恢復成原圖分辨率，并對輸出的特征圖進行像素級別的分類。FCN可以進行密集學習并推理出每個像素點的類別，從而實現了端到端的分割輸出。經典的分類網絡結構與FCN結構如圖1和圖2所示。

圖1 分類網絡結構Fig.1 Structure of classification network

圖2 全卷積結構Fig.2 Structure of fully convolution network

隨著FCN在語義分割中的應用，語義分割有了突破性發展。隨后有研究者基于此提出了Unet［16］、Segnet［17］、Deeplab［18］等結構，這些網絡進一步研究了諸如如何充分利用上下文信息、如何進行特征融合等問題，使得分割的精度得到了顯著提高。

2 關鍵點檢測

關鍵點檢測廣泛應用于人體姿態估計、人臉關鍵點檢測等任務。人體姿態估計是為了檢測出人體的骨骼框架點（一般為17個），描繪出人體大致的骨骼框架。人臉關鍵點檢測是人臉檢測的重要組成部分，包括人臉部分五官區域的檢測，并將人臉的輪廓描繪出來。關于關鍵點坐標的學習方式主要有以下2種：

1） 坐標直接回歸法［19］。這是關鍵點檢測領域初期使用的方法，直接回歸關鍵點坐標，方式簡單，但存在收斂速度慢、泛化能力差等問題。

2） 熱力圖回歸法［20］。該方法是使用熱力圖作為關鍵點坐標的中間態，訓練過程中以目標點坐標為中心生成熱力圖，讓目標相似的位置輸出高響應值。推理過程中對推理出的熱力圖結果直接提取其峰值坐標就可獲得中心點坐標。該方法通過熱力圖作為中間態，提高了模型的泛化能力，減少了噪聲的影響，魯棒性更強。與“坐標直接回歸法”相比也不需要再設置全連接層，減少了網絡的參數。

3 算法介紹

針對基于語義分割網絡來進行紅外弱小目標檢測中出現的精度與網絡復雜度不可兼得等問題，受FCN及CenterNet［21］的啟發，提出了一種通過熱力圖回歸來直接定位目標中心點（關鍵點）坐標的網絡KeypointNet，與CenterNet相比：① KeypointNet輸入的是紅外圖像，針對紅外弱小目標的固有特點，設計了特有的信息融合模塊BST；② 通過編碼器-解碼器結構，KeypointNet最終預測的中心點的熱力圖與原圖尺寸保持一致，不需要再將預測的偏移量轉換回原始圖像上的坐標。與PointNet相比，KeypointNet的輸入是2D的紅外圖像，而非點云數據，因此，本文方法也沒有諸如PointNet中根據點云特點設計的模塊。KeypointNet通過熱力圖直接學習目標中心點的坐標，避免了語義分割網絡的“欠分割”與“過分割”對檢測結果造成的影響，從而保證了檢測速度與檢測精度。

紅外弱小目標檢測的重點是保證較高的目標檢測率與較低的目標虛警率，而一般用于紅外弱小目標檢測的語義分割網絡，均是通過間接方法，即先訓練出目標的輪廓再求中心點進而判斷上述指標，由于語義分割網絡對于小目標和邊界處的分割效果并不理想，容易造成目標“欠分割”和背景“過分割”，可能導致目標輪廓誤差較大，進而影響后續目標中心點的坐標計算，檢測效果較差。與語義分割網絡的思路不同，關鍵點檢測法直接獲得目標中心的坐標，與評估指標更加匹配，避免了因語義分割方法分割不準對檢測造成的影響，從而保證了檢測精度。同時考慮到熱力圖回歸比直接坐標點回歸學習方式更加簡單、魯棒性更強，因此將利用編碼器-解碼器結構［15］來構建通過熱力圖回歸的方式優化目標中心點坐標的網絡。檢測網絡的主要步驟如下：

1） 輸入一張圖片，設計編碼器進行特征提取得到中間特征圖。

2） 設計編碼器對中間特征圖進行特征融合，輸出最終的熱力圖。

3） 通過熱力圖的峰值來確定目標中心點坐標。

KeypointNet的整體結構設計如圖3所示。網絡的設計思想包含3點：

圖3 KeypointNet結構Fig.3 Structure of KeypointNet

1） 依據經典的編碼器-解碼器結構［15］，設計了一種由低層級顯著特征與高層級特征相融合的模塊（Bottom Salient to Top，BST），有效獲取了多尺度信息，低層級的較精確的位置信息與高層級的高語義信息相融合，有效增強了特征提取與表達能力。

2） 編碼器與解碼器之間使用了金字塔池化模塊（Pyramid Pooling Module， PPM）［22］，提取了不同感受野下的全局特征，有效融合了上下文全局信息，增強了特征的表征能力。

3） 網絡的標簽是以目標中心點的坐標為中心，根據高斯分布計算而來的目標點熱力圖，同時使用熱力圖回歸而不是坐標點回歸來優化目標中心點坐標，泛化能力更強。

網絡的模塊如下：

1） BST模塊。考慮到目標總體尺寸較小，而低層級的目標位置信息較為精確，受注意力機制［23-24］的啟發，設計了從低層級到高層級的特征融合模塊BST，如圖4所示。

圖4 BST模塊結構Fig.4 Structure of BST module

首先使用不同尺寸的池化層對低層級的信息進行提取與融合，獲得低層級的區域響應值最高的多尺度的顯著信息，降低了因目標尺寸大小不同造成的影響，用提取后的信息對具有高語義信息的高層級進行注意力加權，使得高層級具備高語義信息的同時也擁有了較為精確的位置信息。

2） PPM模塊［22］。如圖5所示，采用4種不同的池化尺寸，將特征圖池化到指定大小，再通過1×1卷積來降低特征圖通道數并上采樣到原特征圖尺寸，最后將所有的特征圖與原特征圖按通道連接。PPM模塊在池化過程中將特征圖池化到了不同大小，從而獲取了不同尺度下的全局信息。

圖5 PPM模塊結構Fig.5 Structure of PPM module

輸入圖像標記為I，輸出結果標記為S，輸入圖像到輸出圖像之間的變換記為

網絡的損失函數采用了SmoothL1Loss［25］，網絡的損失函數為

式中：S和G分別代表KeypointNet的熱力圖預測結果和熱力圖真值。

4 實 驗

4.1 數據集

目前，公開的紅外弱小目標檢測數據集較少，主要有以下2個：

1） NJUST-SIRST數據集［26］。本數據包含1×104個訓練樣本與100個測試樣本。本數據集中的紅外弱小目標圖像樣本是用實際的或仿真的弱小目標與實際的天空、海面、建筑物背景圖像隨機組合的，用于訓練的部分紅外圖像樣本及真實標簽圖如圖6所示。

圖6 訓練集樣本及真實標簽圖Fig.6 Samples of training set and ground truth

2） NUAA-SIRST數據集［12］。本數據集包含256個訓練集樣本、85個驗證集樣本和86個測試集樣本。本數據集中的紅外弱小目標圖像樣本由真實的紅外相機采集而來并加以人工標注，用于訓練的部分紅外圖像樣本及真實標簽圖如圖7所示。

圖7 訓練集樣本及真實標簽圖Fig.7 Samples of training set and ground truth

4.2 評價標準

考慮到紅外弱小目標檢測技術在實際中的應用特性，評價標準不宜采用關鍵點檢測方法中的諸如對象關鍵點相似性（Object Keypoint Similarity， OKS）［27］等評價指標，而采用紅外弱小目標檢測技術領域常用的目標檢測率與目標虛警率。

1） 檢測率。檢測率（Pd）是目標級別的評估指標，是檢測正確的目標數量與所有目標數量的比值，計算公式為

式中：Tcorrect和Tall分別表示檢測正確的目標數量與所有的目標數量。判斷目標點是否檢測正確的方法如下：如果預測的目標中心點坐標與實際的目標中心點坐標之間的像素偏差小于閾值，則認為該目標預測正確。

2） 虛警率。虛警率（Fa）是另一個目標級別的評估指標，僅僅追求檢測率是不夠的，檢測率的提升難免會增加誤檢測的概率，因此用虛警率來對誤檢進行衡量。虛警率是指預測錯誤的目標數量與預測的所有目標數量的比值，計算公式為

式中：Pfalse是預測錯誤的目標數量；Pall是預測的所有目標數量，當預測的目標中心點坐標與實際的目標中心點坐標之間的像素偏差大于閾值，則認為該目標預測錯誤。

4.3 實驗細節

4.3.1 數據標簽的獲取與處理

網絡的輸出是以弱小目標中心點為中心的熱力圖，而數據集中的標簽是二值化圖像，因此首先需要計算目標中心點坐標，并選擇合適的高斯半徑對中心點坐標按照高斯分布計算標簽圖，經處理后的目標標簽可視化熱力圖如圖8所示。

圖8 可視化熱力圖Fig.8 Samples of visual heatmap

4.3.2 實驗環境與參數

本實驗中采用2.6 GHz inter CPUE5-2650處理器，TITAN XP GPU，12 GB RAM硬件環境；Ubuntu16.04系統、Python、Pytorch軟件框架。判斷目標是否檢測正確的閾值設置為3個像素，用于計算高斯分布的高斯半徑為5，初始學習率為3×10-4，每經過10個訓練周期學習率降為10%，訓練的樣本批量大小為64，一共訓練100個周期。針對NJUST-SIRST數據集，將圖片的分辨率統一為128×128輸入網絡。針對NUAA-SIRST數據集，將圖片的分辨率統一為256×256輸入網絡。

4.4 實驗結果

對比了紅外弱小目標領域的主流算法，包括傳統的算法GST［28］、ILCM［29］、LIG［30］、NRAM［31］、PSTNN［32］、TLLCM［33］，基于深度學習的算法DNANet［12］、MDvsFA［26］。不同算法的結果如表1所示。表1顯示了在不同數據集上不同算法的Pd與Fa指標的大小，Pd指標越大越好，Fa指標越小越好。根據表1，KeypointNet檢測效果明顯優于傳統算法，雖然KeypointNet在2個數據集上檢測率分別比MDvsFA和DNANet差一些，但虛警率比它們低得多，綜合來看，基于關鍵點檢測的KeypointNet在目標級別的檢測具有最優的效果。

表1 不同算法的結果對比Table 1 Experimental results by different algorithms

同時，測試了3種基于深度學習的算法在GPU上每100張圖片（分辨率128×128）推理所需要的時間（表2）。根據表2，KeypointNet算法比DNANet和MDvsFA快的多，滿足實時性要求。綜合表1和表2，所提算法在檢測率、虛警率和實時性上取得了最佳的平衡。

表2 不同算法的推理時間對比Table 2 Inference time by different algorithms

圖9顯示了KeypointNet網絡的輸出效果，從左到右依次是輸入圖像、二值化標簽圖、編碼器的輸出結果、網絡輸出可視化熱力圖、熱力圖的峰值、熱力圖峰值與二值化標簽圖（即定位結果，包括目標中心點坐標）的疊加圖，可以看出，編碼器初步關注了目標點的位置（第3列），再經過設計的解碼器和特征融合模塊后，得到的熱力圖輸出（第4列）已經較為準確地關注到了目標區域，最終通過提取峰值（第5列）篩選掉了誤檢的目標，并在定位結果（第6列）中展示了預測的目標中心點的坐標數值。

圖9 KeypointNet的輸出結果Fig.9 Output results of KeypointNet

4.5 消融實驗

為了證明基于關鍵點檢測算法的有效性，將本文算法中采用關鍵點檢測的部分替換為采用一般語義分割的算法進行性能對比實驗，即將關鍵點檢測頭替換為分割頭，其余部分均保持不變，從而驗證基于關鍵點算法的有效性，如表3所示。從表3可以看出，雖然基于語義分割的算法檢測率有一定的提升，但虛警率卻無法保持較低水平，相反，基于關鍵點的檢測算法既能保證較高的檢測率，也能保證較低的虛警率，例如NJUST-SIRST上，雖然基于語義分割的方法比基于關鍵點的方法檢測率高了0.7%，但虛警率足足提高了2倍多，基于關鍵點的方法能夠在檢測率與虛警率上獲得最佳的平衡。

表3 不同檢測算法實驗結果Table 3 Experimental results by different algorithms

本實驗分析了獲取熱力圖標簽時高斯半徑的影響，如表4所示，包括高斯半徑r=3，r=5，r=10與r=15。根據實驗結果，高斯半徑較小時檢測率較低，容易漏檢，高斯半徑較大時虛警率較高，容易造成誤檢。綜合檢測率與虛警率2個方面來看，高斯半徑r=5處于中間值，根據此半徑進行高斯分布計算效果最好。

表4 不同高斯半徑的KeypointNet效果Table 4 Influence of different Gaussian radius on KeypointNet

實驗分析了網絡中的模塊（BST模塊與PPM模塊）對實驗結果的影響。為了具體分析這2個模塊作用，以不使用BST模塊和PPM模塊的網絡為基本網絡（Baseline），融合方式分別選取直接通道合并和使用BST模塊，編碼器與解碼器部分連接方式分別選取直接連接和使用PPM模塊，實驗結果如表5所示。

表5 模塊的KeypointNet影響Table 5 Influence of modules on KeypointNet

從表5可以看出，把目標看成點進行訓練，在不增加其他模塊時也具有相對較好的效果，這充分說明了基于關鍵點方法的紅外弱小目標檢測的可靠性。加入PPM與BST模塊后，網絡擁有了更高的檢測率和更低的虛警率，這驗證了相關模塊的合理性。

同時，分析了不同的損失函數對實驗結果的影響，選擇了回歸常用的MSE Loss，SmoothLl Loss［25］與人臉關鍵點檢測中常用的Wing Loss［34］進行對比分析，計算方式分別為

式中：x=|pred-target|；C=ω-ωln(1+ω/ε)；pred為預測值；target 為標簽值。ω和ε是Wing Loss中可調節的超參數，本文嘗試了ω=10，ε=2（Wing Loss 1）與ω=5，ε=2（Wing Loss 2）2種形式。各個損失函數的結果如表6所示。

表6 不同損失函數的KeypointNet效果Table 6 Influence of different loss functions on KeypointNet

從表6可以看出，Wing Loss在本網絡中效果較差，在訓練過程中收斂也很慢，這說明Wing Loss并不適合本網絡。根據表中數據，最終選取了回歸中廣泛使用的SmoothL1 Loss作為損失函數。

4.6 實驗分析

本文是對紅外弱小目標檢測領域的一種嘗試，嘗試將廣泛運用于姿態估計領域的關鍵點檢測技術運用于弱小目標檢測領域，把目標當作“點”，預測“點”的坐標。依據編碼器-解碼器結構及注意力機制的思想，實驗設計了Keypoint-Net網絡，通過該網絡提取特征并預測出熱力圖，根據熱力圖來獲取目標的中心點坐標。與通過分割來預測弱小目標的做法相比，本網絡把目標看作點，不僅減少了分割網絡中“欠分割”與“過分割”對最后結果的影響，也加快了檢測速度。

根據表1和表2中數據，部分傳統算法誤檢率非常高，本網絡的效果要明顯優于傳統算法；與深度學習算法相比，本網絡也具有很好的效果，同時推理速度也快很多。表3顯示了與基于語義分割算法對比，基于關鍵點的算法具有更好的效果。表4顯示了高斯半徑對網絡效果的影響，本網絡最重要的是通過預測熱力圖來獲取目標點的中心坐標，在訓練網絡的過程中需要構建標簽熱力圖，根據高斯分布來計算以目標點為中心的熱力圖，因此高斯半徑的選擇非常重要。表5顯示了BST模塊和PPM模塊對網絡效果的影響，驗證了本文設計模塊的有效性。表6顯示了不同損失函數對實驗效果的影響，人臉關鍵點檢測領域的Wing Loss損失函數在本網絡上效果不佳，經比較最終選取了回歸中廣泛使用的損失函數SmoothL1 Loss。

圖10顯示了傳統方法中的NRAM、PSTNN、深度學習中的MDvsFA和本文所提出的KeypointNet算法的輸出結果的比較，其中KeypointNet中左側的圖像為KeypointNet網絡的可視化熱力圖，右側的圖像為熱力圖與真實標簽圖的疊加圖。從圖10可以看出，在背景較為復雜時，傳統算法檢測效果不理想，容易漏檢，而基于語義分割的算法（MDvsFA）易出現“過分割”現象，導致虛警率偏高。相比于其他算法，本文所提出的算法有著更低的虛警率，有著更好的檢測效果。

圖10 不同算法的輸出結果Fig.10 Results of different algorithms

4.7 未來展望

圖11顯示了部分預測失敗的案例，第1行中，小目標與海面過于相似，KeypointNet出現了漏檢；第2行中，KeypointNet誤把塔吊的吊鉤當成了小目標，出現了誤檢，這也是后期工作需要進一步研究的地方。

圖11 部分預測失敗的案例Fig.11 Samples of failed predictions

針對紅外弱小目標檢測，提出了一種基于關鍵點檢測弱小目標檢測算法，在軍事方面具有重要應用價值，同時，航空遙感目標檢測也是一個研究熱點，研究人員針對高分辨率的遙感圖像，提出了很多檢測精度高、魯棒性強的算法，如DEA-Net［35］和CG-Net［36］等。這些算法在高分辨率的遙感圖像上檢測效果較好，但是對于小目標（目標大小只有幾個像素）的遙感圖像檢測效果仍有提升空間。未來，打算在已有基礎上，進一步探究適合航空遙感中的小目標檢測算法。

5 結 論

1） 本文從關鍵點檢測的角度來解決紅外弱小目標檢測問題，直接優化目標中心點坐標，確保了檢測速度，有效地保證了目標的檢測率與虛警率。

2） 本文提出了基于關鍵點檢測的紅外弱小目標檢測網絡KeypointNet，避免了語義分割網絡中“欠分割”與“過分割”對檢測結果造成的影響，保證了檢測速度與檢測精度，設計了一種特征融合模塊，有效提取了目標的多尺度信息，提高了檢測效果。

3） 在紅外弱小目標檢測領域中廣泛使用的NJUST-SIRST數據集和NUAA-SIRST數據集上的實驗表明，KeypointNet網絡能夠有效地平衡紅外弱小目標的漏檢率和虛警率，同時也具備較快的檢測速度，證明了算法的有效性，這也說明了關鍵點檢測思想在多領域有著一定的可拓展性。