基于深度學習的紅外目標檢測方法

蔡 娟

(廣州科技職業技術大學 信息工程學院，廣州 510005)

0 引言

遠距離探測紅外小目標在許多國防和反恐應用中是一項至關重要的任務。在以往的研究中，傳統的檢測方法無法有效檢測復雜環境中的目標[1]。因此，提出主要旨在提高紅外線的檢測精度。彈道修正引信上的小目標。在各種檢測方法中，熱紅外成像是一種被動模式有效檢測遠距離小目標。為了檢測紅外小目標，研究人員開發了基于圖像處理和機器學習技術的多項開創性工作，包括濾波、人類視覺系統(HVS)和低秩表示。然而，這些傳統方法有一些局限性?；跒V波的方法，如頂帽濾波器[2]和最大中值/最大均值濾波器[3]，只能抑制均勻背景雜波，但不能抑制復雜背景噪聲，導致高誤報警率和性能不穩定?；诠庾V殘差的方法[4]不能有效抑制背景中的雜波。基于局部對比度的方法[5]僅適用于高對比度目標，而不是暗淡目標。基于低秩表示的方法可適用于低SCR的紅外圖像[6]，但在復雜背景中具有小且變化形狀目標的圖像上仍然存在高誤報警率。除上述問題外，大多數傳統方法嚴重依賴手工制作的功能，這在處理具有挑戰性的案例時是次優且無效的。此外，手工特征的設計和超參數的調整需要專家知識和大量工程努力。Lu等人[7]考慮到目標檢測問題的復雜海空環境，采用了基于灰度腐蝕的邊緣提取算法，綜合利用灰度填充實現邊緣連接的目標。同時，利用最大連通面積標記法識別目標。Dong等人[8]提出了一種自適應形態學選擇方法，并將原始視覺注意模型中的圖像邊界顯著性衰減策略替換為邊界顯著性保留策略[9]。結合自適應二值化方法，在海天條件下準確檢測出小目標。然而，上述方法容易受到云和島嶼的影響，這將導致小目標檢測結果的漏報率更高。鄧等人[10]提出了一種通過多尺度模糊度量模型檢測嵌入復雜背景中的小紅外目標的有效方法，該模型可測量圖像中目標的確定性。首先利用模糊度量消除背景雜波和噪聲，然后采用簡單的自適應閾值分割目標[11]。雖然該方法有效，但會受到高亮度噪聲的影響。

圖1 SSD網絡結構圖

與可見圖像相比傳感器、雷達和激光[12]，紅外圖像傳感器具有抗干擾能力強、隱蔽性好、全天候工作的能力。文獻[13]設計了一個校正引信并為紅外圖像傳感器。但是，傳感器的重要參數沒有計算出來的。目標是使紅外圖像傳感器和引信優雅地融合在一起這有利于目標檢測。彈道修正引信可以通過增加圓誤差概率(CEP)來降低對迫擊炮的校正功能，無需對彈丸進行任何修改。一般來說，機載計算機根據檢測到的目標方位角計算校正值[14]。最近，基于目標特征的方法在各種目標檢測任務中表現出了良好的性能，這些任務旨在構建局部顯著性[15]。這些方法的主要思想是利用空間域中的局部信息構建顯著圖，然后在顯著圖上通過閾值分割將紅外目標與背景雜波區分開來。Han等人[16]提出IDoGb來增強圖像對比度，這種方法可以去除低頻雜波，但不能有效濾除高頻范圍內的噪聲和強雜波[17]。Dong等人[18]介紹了一種改進的VAM，它大大提高了目標顯著性，但耗時。此外，根據目標像素與相鄰像素之間的差異，許多方法都側重于基于局部對比度機制的目標顯著性增強。例如，Chen等人[19]提出了局部對比度測量(LCM)，它適用于檢測具有高局部對比度的目標。文獻[20]中，提出了改進的LCM(ILCM)，將圖像劃分為多個子圖像塊來計算顯著圖。ILCM可以提高檢測性能，但在高亮度復雜背景條件下，檢測率較差。隨后，研究人員相繼提出了多種基于對比機制的紅外目標檢測方法[21]，包括MPCM、NLCM、RLCM等[21]。例如，Wei等人[20]提出了MPCM來計算多尺度圖像塊的中心塊和背景之間的相似度。鄧等[22]利用局部熵對局部差異對比度進行了修正，利用目標與相鄰背景之間的局部灰度差異特性，實現了目標增強和背景抑制。這些基于局部對比度的方法易于實現，但對背景復雜、雜波強的紅外圖像檢測性能較差，會導致較高的誤報率。為了解決這個問題，通過分析導數子帶特性和周圍區域的劃分方案，提出了基于多向導數的加權對比度測量(MDWCM)[23]來檢測紅外小目標。然而，對于強風條件下拍攝的紅外海洋圖像，強波的導數特性與小目標相似，可能會導致嚴重的誤報。Zhao等人[24]提出了多形態輪廓(MMP)，以解決目標弱小的紅外圖像中背景雜波強度高的問題。然而，對于一些背景高度復雜的紅外圖像，檢測性能可能會嚴重下降。

針對以上方法在紅外圖像檢測中背景復雜情況下亮度不足檢測效率低，依靠灰度和形狀特征區分目標與雜波檢測困難等問題，提出一種基于密度-距離的最新檢測方法可以有效對復雜背景下紅外小目標檢測方法[25]。如前所述，提出方法主要目標是有效檢測小型紅外目標在彈道修正引信的應用中，并通過實驗證明提出方法可以處理與長距離、小變量大小相關的挑戰和真實紅外場景中的最小熱特征。 綜合性能是優于現有方法。主要貢獻包括：受過濾方法的啟發，提出了一種新穎的二維密度-距離空間利用圖像信息獲取密度峰值像素。提出了一種新的像素生長方法，有效抑制雜波。然后從密度峰值像素中選擇真實目標。彈道修正引信的適用性[26]。特別是，提出方法相較于現有方法保持了在不增加處理時間的情況下具有良好的檢測性能。

圖2 密度-距離檢測方法網絡結構圖

1 密度-距離檢測方法

1.1 細粒度檢測器

細顆粒探測器的網絡結構與粗顆粒探測器相同。對于粗粒度檢測器，目標可能存在于檢測結果置信水平小于P1但大于P2的區域。由于目標太小或部分被遮擋，目標的識別精度將定性降低。粗顆粒探測器主要在SSD的基礎上進行改進。原始SSD網絡結構如圖1所示。在這種方法中，使用卷積層較少的AlexNet替換VGG16，并使用3×3替換AlexNets中較大的卷積內核，以減少后續附加網絡層的數量。具體網絡結構如圖2所示。采用雙三次采樣的超分辨率技術[27]對區域進行切割，以提高區域的分辨率。然后將該區域發送到細粒度檢測器，以進行進一步的對象檢測。當檢測結果的置信值大于閾值P1時，將標記檢測結果。最終檢測結果結合了粗顆粒檢測儀和細顆粒檢測儀的檢測結果。此操作僅進一步檢測粗糙粒子檢測器中難以檢測的區域，并且只添加少量計算。

1.2 紅外圖像傳感器與引信的連接

由于缺乏公共數據集，該領域的大多數最先進方法仍然是高度依賴于目標/背景假設的非學習和啟發式方法。通常，大多數研究人員將單幀檢測問題建模為各種假設下的離群點檢測，例如，顯著離群點[28]，低秩背景中的稀疏離群點，平滑背景中的突出離群點[29]。然后，可以通過顯著性檢測、稀疏和低秩矩陣/張量合成或局部對比度測量來獲得異常值圖。最后，在給定一定閾值的情況下，分割出紅外小目標。當前遇到的主要挑戰是不同目標與成像系統之間的距離可能不同，因此紅外熱成像相機在實際檢測過程中接收不同的輻射能量。紅外圖像中捕獲的?？諈^域的目標較小且模糊，更靠近成像系統的目標更大且更清晰。結果，目標不再具有單一特征。這給海空環境中的遠程目標檢測帶來了更大的挑戰。鑒于這種情況，查閱文獻后沒有具體的解決方案。因此，提出了一種新的紅外海天環境搜索系統策略，通過收集所需的實驗數據并進行分析，以實現準確檢測任何目標這些方法存在對場景變化的不充分可辨別性和超參數敏感性。當迫擊炮飛行在末端彈道時，彈道參數和紅外圖像傳感器會直接影響檢測效果。因此，檢測算法應基于校正引信和紅外圖像的工作流程傳感器。 表1列出了常規迫擊炮彈道參數和彈道參數選用的紅外圖像傳感器。

根據迫擊炮彈道方程，末端飛行時間一般為探測距離為1 500 m，發射角為53°時，8 s內明顯地，這個時間對于高FPS的算法來說已經足夠了。然而，大部分時間都花在機載計算機計算和軌跡修正，留下很短的時間用于目標檢測[30]。同時，在末端軌跡開始時，俯仰彈丸的角度在積分

表1 紅外圖像傳感器參數

時間內迅速變化。這導致改變視野的背景。因此，經典的幀差法不應應用使用時域。合適的方法是檢測目標單個圖像。值得注意的是，在提出模型，紅外圖像傳感器的參數選擇基于在目標的大小，在目標之間的溫差的前提下并且可以檢測到背景。由于大多數電流的檢測范圍非制冷凝視微測輻射熱計遠大于1 500 m，紅外小目標在終端軌跡上的視野中清晰可見。然而，與導彈不同的是，迫擊炮發射階段造成的過載會損壞鏡頭組件。所以，使用穩定的同軸球面透鏡組件。之間的轉換關系紅外圖像傳感器和目標計算如下：

(1)

(2)

(3)

其中:f是紅外成像儀的焦距，R和H是檢測距離，目標的大小，h是像素陣列上可檢測目標的像素大小。這根據Johnson Criteria 的檢測程度，目標大小設置為1-line pair。選擇光譜帶7.5～13.5 μm的長波傳感器，因為熱目標發射的波長約為8～14 μm。Fovcol和Fovrow是垂直和水平視野,n、m和d代表數組格式和單個像素尺寸。這些參數用于計算等效檢測實驗紅外圖像傳感器。一般來說，引信需要檢測不同大小的多個目標[31]。此外，由于檢測距離長，目標通常只包含幾個像素，并且不超過圖像大小的0.15%。因此，紅外小目標檢測提出了基于單幅圖像的算法。該算法不應受到影響目標大小和背景。

1.3 自適應像素增長

值得注意的是，真實目標的檢測很容易混淆，其中一些密度峰值位于某些背景區域的邊緣。 因此，自適應像素增長(APG)算法用于消除虛假目標以保留真實目標。APG方法類似于區域增長的方法。 每個候選目標(像素)是被視為“種子”，由Tk(x,y) 表示，其中k是候選種子獲得的數量，(x,y)是像素的坐標。種子朝八字的方向生長相鄰的連接像素。 生長條件取決于灰度差異種子與其相鄰像素之間。 當差值小于閾值時，種子長一級，否則停止生長。用Th來表示自適應限制種子生長的閾值，如式(4)和(5)所示：

(4)

Pk(i,j)={(i,j)|x-m≤i≤x+m,y-n≤

j≤y+n,m2+n2≠0}

(5)

圖3 APG方法的過程

2 實驗與分析

本節首先對紅外圖像傳感器的參數進行驗證，以確保表明校正引信可以清晰地捕獲紅外目標。 然后，通過仿真實驗驗證提出方法的有效性、穩健性和實時性能。有兩個關鍵參數需要設置在接下來的實驗中。 首先，n設置為5，因為目標的數量檢測到的一般不超過5。那么，對于一個有幾個像素的小目標，種子周圍的相鄰像素的生長方向通常為3～5，占據8個方向的40～60%。 因此，η設置為0.4以限制真實的增長區域目標。 在以下所有實驗中，不需要任何進一步的參數更改。

2.1 紅外圖像傳感器檢測能力等效實驗

算法驗證的前提是紅外成像儀能夠清晰觀察紅外小目標。 為此，應考慮等效尺寸和溫差。使用 FLIR紅外成像儀實驗參數與表2 相同。 與一個連接的車輛模型用導電板代替紅外靶材。 溫度s傳感器由電池供電，通過其與導電板連接自己的溫度計。當周圍環境溫度T0已知時，溫度傳感器可以控制導電板的溫度T1保持溫差(T1-T0)。搭載紅外圖像傳感器由無人機實現遠距離探測。顯示了實驗條件在表2。

表2 實驗條件

根據數據，坦克的尺寸特征為2.3 m，紅外線的尺寸目標模型為0.1 m。 相應地，當實際檢測距離為1 500 m時，等效距離不應小于65 m。 同樣，溫差也應該是等價的，但它與檢測距離不是線性的。它需要是乘以大氣透射系數τa。 在參考文獻[8]中，范圍云量差的情況下，τa為0.3～0.7。 因此，τa設置為0.5，基于平均來說。 對于地面環境，當兩地溫差車輛目標和周圍環境平均為15 K，相當于溫差為7 K。

2.2 仿真結果分析

為了驗證算法的有效性，在研究過程中建立了仿真數據庫。通過對已識別的目標和干擾進行半自動人工標注，獲得大量目標和干擾樣本數據集。為了提高模型的泛化能力，在樣本的選擇中綜合考慮了各種環境因素。從每個場景中選擇適當比例的正樣本和負樣本，用保留法構建訓練集(70%)和測試集(30%)。為了真實有效地評估算法的性能，選取具有代表性環境因素的圖像進行測試，并將傳統算法的檢測概率與現有算法的檢測概率進行比較。提出算法檢測概率定義為：

(6)

其中:Na是圖像序列中檢測到的真實目標的數量；Nb是圖像序列中目標的實際數量。 在目標分類中，研究人員關注現有目標的識別效果，識別率一般指檢測率。 在滿足要求的前提下，最大限度地提高了算法的檢測率，天空背景檢測率高達99%。

表3 不同復雜度場景的信噪比和檢測概率

2.3 算法模擬

為了用新算法進行比較，即Top-Hat 方法，最少平方支持向量機方法(LS-SVM)[38]，基于高升壓的多尺度局部對比度測量(HBMLCM)，多尺度相對局部對比度測量(RLCM) 、多尺度基于補丁的對比度測量 (MPCM)和最小高斯的局部拉普拉斯(MinLocalLoG)。使用了接收器操作符特征(ROC) 曲線來比較算法的效果。 ROC 是由真陽性率(TPR)和假陽性率(FPR)，如下：

(7)

(8)

(a～e)是5個不同序列的比較結果，其中每個序列有200幀;(f)是序列2中的任何一幀圖像，主要用于具體解釋提出方法AUC值低的原因。圖4 不同算法的ROC曲線與相應AUC值的相關性

ROC曲線以FPR為橫坐標，TPR為縱坐標，從而提供檢測性能的定量比較。同時，該地區曲線下面積(AUC)是ROC曲線和橫坐標軸所包含的面積和縱坐標。準備了5個不同的200幀數據集進行評估。每一幀只有一個具有相應坐標的真實目標。為了被認為是正確的結果，檢測到的目標必須與真實目標的坐標相同。檢出率可視為AUC值，即在200幀中檢測到的真實目標的數量。同時，AUC值越高在一幀中檢測真實目標的性能更好。圖4顯示了ROC曲線和AUC值。紅色虛線代表提出的算法。從所有ROC曲線可以看出，所提出的算法一般具有較高的檢測精度。在序列3～5中，提出方法AUC值算法幾乎接近1。但是，序列2的檢測精度并不理想。這是由于更多的雜波和較低的目標灰度。例如，第二個序列圖10 f中的雜波多，面積小，嚴重干擾像素增長的步驟。提出方法的AUC值為6.02-5和9.03×10-5降低高于HBMLCM和LS-SVM。因此，提出方法的檢測率略低比 LS-SVM和HBMLCM差，但優于其他4種算法。然后，進行了運行時間測試。比較了時間消耗所有算法通過計算每個序列的200幀的平均時間，如所列。雖然提出算法的運行時間比其他4個慢算法，它不超過一個數量級并且具有更好的性能?？偲骄\行時間列在表的底部的運行時間所提出的方法幾乎等于 MPCM 的方法。與 MinLocalLog 相比，LS_SVM、HBMLCM 和 MPCM，提出算法的運行時間更多，分別為0.005 7、0.009 6、0.003 1和0.000 6 s，但仍處于同一數量級。 Top-Hat跑得最短時間，比所提出的算法低約3倍。 RLCM 擁有最大的計算量，超過大多數方法2個數量級。

3 結束語

提出方法的創新體現在以下兩個方面:利用真實紅外圖像建立自己的數據庫，將深度學習技術應用于紅外弱小目標檢測;提出設置了兩個閾值來引導粗粒和細粒探測器。該檢測器緩解了在目標檢測任務中設置單一閾值的高要求。3個實驗驗證了所提方法的魯棒性、有效性和適用性，并驗證了紅外圖像傳感器參數的正確性?？朔h程檢測的挑戰。其次，仿真表明該方法具有較好的抗噪聲檢測、多目標檢測和各種小目標檢測能力。同時，與6種最先進的算法相比，提出方法通過5種不同序列的ROC曲線和運行時間顯示出了完美的檢測精度和可接受的時間消耗。在控制虛警率的同時，大大提高了紅外弱小目標的檢測概率，在光電系統的目標檢測過程中具有較強的實用性。