基于YOLO智能網絡的紅外弱小多目標檢測技術

鈕賽賽，周華偉，朱婧文，邵艷明，李少毅

(1. 上海航天控制技術研究所，上海 201109； 2. 中國航天科技集團公司 紅外探測技術研發中心，上海 201109； 3. 西北工業大學 航天學院，陜西 西安 710072)

0 引言

彈載紅外圖像序列中包含多個弱小目標時，存在目標數量和位置不確定、信噪比低、缺乏背景統計的先驗信息等問題。因此，復雜環境下的弱小多目標檢測是一個具有挑戰性的研究課題[1]。

卷積神經網絡(CNN)因其強大的特征表征能力[2]，已被成功應用于目標檢測和識別領域，并獲得了極好的效果[3]。2016年REDMON等[4]提出了YOLO(you only look once)網絡，其實質是單個神經網絡的目標檢測系統，將目標探測問題看作是一個回歸問題，在保證檢測精度的同時，檢測速度得到顯著提升。YOLO網絡為紅外弱小多目標的檢測和跟蹤提供了新思路。

近年來，國內外學者針對紅外弱小多目標檢測和跟蹤問題進行了深入研究。龔俊亮等[5]結合弱小目標描述模型，提出了基于尺度空間的紅外弱小多目標檢測算法, 該算法對強雜波背景及高梯度邊緣目標檢測具有良好的效果，但是對原始數據要求較高，容易將圖像序列中存在變化的目標識別為新目標。聶洪山等[6]利用自適應目標分割和目標聚類，設計了一種針對紅外弱小目標的檢測方法，實現了信噪比大于4的目標檢測，但是當信噪比小于4時，無法有效檢測出目標。陳靜等[7]利用空域能量積累提高信噪比，實現弱小目標檢測，但是該方法只適用于天空背景。陸福星等[8]提出了形態學Top-hat變換結合改進的非線性擴散模型的濾波算法，用于增強紅外弱小目標信號，抑制復雜背景和噪聲，有效提高了紅外目標的檢測概率。王靖宇等[9]提出了一種基于多隱含層深度神經網絡的弱小無人機目標檢測模型，設計了包含多個隱含層的多通道深度神經網絡。吳帥等[10]系統總結了深度卷積網絡在目標檢測領域的發展和應用情況，該研究對于紅外弱小目標檢測具有一定的啟示。深度學習算法在可見光目標檢測領域取得了理想的效果，目前關于利用深度學習進行紅外弱小目標檢測的研究仍然較少。

本文借鑒YOLO目標檢測算法，提出一種適合復雜環境下紅外弱小多目標智能檢測的改進模型，利用經典的模板匹配算法和基于YOLO的智能網絡進行紅外弱小多目標檢測，通過實驗對比分析了兩種方法的檢測性能。本文首次針對彈載環境的紅外圖像場景開展了基于典型深度學習網絡模型的目標識別應用研究，相對于傳統模板匹配算法，基于深度學習的高維特征學習表征和推理可提升對紅外弱小目標及多目標的識別能力，促進彈載智能信息處理技術發展。

1 模板匹配的目標檢測算法

1.1 紅外圖像預處理

對于弱小目標而言，目標本身能量較弱，對雜波和噪聲較敏感，因此弱小多目標檢測中圖像預處理環節對于檢測效果的影響顯著。現有的圖像預處理方法眾多，常見的主要有中值濾波法、高通濾波法和自適應濾波法等[11-12]。本文采用雜波抑制和圖像增強對圖像進行預處理，然后將圖像作為模板匹配算法的輸入。

對于雜波和噪聲的抑制，可有效消除圖像中的麻點噪聲。鄰域平均法過程比較簡單，運算速度快，但會使目標邊緣模糊，因而本文采用鄰域平均法的一種改進方法——超限像素平滑法，對紅外圖像中的雜波進行抑制[13-14]。該方法可表示為

(1)

式中：T為選定的一個非負閾值；S為以圖像中每個像素為中心分別選取的一個鄰域；M為S域內包含的像素個數；f(x,y)代表處理前的圖像；g(x,y)代表雜波抑制后的圖像。

1.2 模板匹配算法原理

模板匹配算法是一種基于圖像相似度的識別跟蹤算法，將兩幅或多幅圖像在空間上對準，在整個圖像中搜索最接近目標模板的圖像，進而實現對目標的跟蹤。這種方法不需要對圖像進行分割和特征提取，保留了整幅圖的所有信息，對于信息不豐富的弱小目標檢測具有一定的優勢。

目標檢測過程就是利用已有的目標模板在整個圖像上平移，并評估模板與子圖的相似程度，選取子圖中與模板最為接近的部分作為目標檢測結果，輸出目標位置。模板匹配法原理如圖1所示，圖像大小為N×N。子圖在整個圖像上滑動，動態搜索與目標最相似的子圖，并確定該子圖區域為目標位置。

圖1 模板匹配算法示意圖Fig.1 Diagram of template matching algorithm

一般利用測度D(i,j)來衡量模板與子圖的相似程度，即

(2)

式中：T(m,n)代表模板；M是模板大小；Si,j(m,n)代表模板覆蓋下的候選區域圖；(i,j)代表區域圖左上角像素點在測試圖上的坐標；(m,n)代表區域圖內坐標。

1.3 匹配模板選擇和多目標檢測實現

在目標檢測開始前，選定圖像中的8個小目標作為匹配模板，通過實驗確定最佳模板。選擇的模板是經過濾波增強處理的紅外圖像，對于目標探測的效果較好。

針對多紅外目標，應用模板匹配算法進行了多次檢測。在仿真中，匹配超過兩次，則無法從模板中找出目標，因此本文采用經兩次匹配得到的結果作為目標。

2 基于YOLO的弱小目標檢測算法

2.1 YOLO模型簡介

YOLO網絡突出的優勢是網絡結構簡潔，一個CNN可同時預測多個邊界框，并且可給出每個邊界框中目標的置信概率。相比于其他高性能的目標檢測網絡，YOLO網絡在精度方面略有下降，但在速度方面遠勝于其他目標檢測網絡，如Faster RCNN等[15-16]。這對于軍用紅外探測跟蹤設備，尤其是紅外成像導彈等具有重要意義。YOLO網絡的另一個顯著優點是其對于較小目標的檢測也具有良好的效果。

2.2 基于YOLO的弱小多目標檢測模型

根據YOLO網絡的特點，結合紅外多目標檢測的具體實際，建立了基于YOLO的紅外弱小多目標檢測模型。原始的YOLO模型將圖像分為7×7個方格,每個方格用于預測兩個目標，輸出置信度和坐標。對于尺寸較小的目標，方格過于粗糙，對于弱小目標則誤差較大，因此本文將圖像分為14×14個方格，從而提高對于弱小目標的檢測效果。YOLO網絡的主要結構如圖2所示。

圖2 YOLO網絡結構Fig.2 Structure of YOLO network

每個檢測框中有5個參數用于描述檢測框中目標位置和類別，5個參數分別為(x,y,w,h,C)，其中(x,y)代表檢測框對應的最小網格中心，w、h分別代表檢測框的寬度和高度，C代表置信度。Bounding box的中心位置坐標是對某個網格的位置坐標的歸一化，因此(x,y,w,h)均介于0～1之間。該區域存在目標的概率P為

P=Pclassi|object×Pobject×PIoU=Pclassi×PIoU

(3)

式中：Pclassi|object為邊界框置信度下的條件概率；Pobject是邊界框概率；Pclassi是目標類別概率；PIoU為檢測框與目標的真實框之間的交并比，可表示為

(4)

式中：Bd為檢測框；Bgt為真實框。

2.2.1 紅外圖像預處理

紅外數據集中的數據格式為640×512的灰度圖像，為便于輸入YOLOv1，提高模型運算速度，對輸入圖像進行簡單的預處理，將圖像大小調整為448×448。

2.2.2 網絡結構的調整

YOLO網絡結構的基礎核心是Google-Net模型，它有深層和淺層兩個版本。深層結構含有24個卷積層，如圖3(a)所示；淺層結構含有9個卷積層，如圖3(b)所示。它們的卷積核主要為3×3、1×1的小卷積核，這對于捕捉圖像中的細節信息有一定的幫助。淺層YOLO可提升目標檢測速度，因此本文采用Fast YOLO(淺層YOLO)模型作為目標檢測模型的基礎模型，該模型包含9個級聯的卷積層和2個全連接層。

圖3 YOLO內部詳細結構Fig.3 Internal detailed structure of YOLO

2.2.3 模型訓練

對Fast YOLOv1網絡模型進行訓練，首先在ImageNet上進行預訓練，然后在對訓練好的網絡在紅外目標訓練集上進行訓練。為使輸出值范圍為[0,1]，需要對參數(x,y,w,h,C)進行歸一化處理。訓練的激勵函數在ReLU的基礎上進行了改進，主要是對產生的負數不再按零計，而是賦予一個0.1斜率的值，可表示為

(5)

訓練中的損失函數采用YOLO原文模型中提取的損失函數，即

(6)

式(6)中等式右邊第一項是邊界框中心坐標的誤差項，第二項是邊界框的高與寬的誤差項，第三項是包含目標的邊界框的置信度誤差項，第四項是不包含目標的邊界框置信度誤差項，最后一項是包含目標的單元格的分類誤差項。

2.3 算法流程

YOLO網絡將目標檢測問題看作一個回歸問題，不需要選擇滑窗或提取proposal的方式訓練網絡，而是直接選用全圖訓練模型。本文基于YOLO網絡的弱小目標檢測算法的基本過程為：

1)圖像初始化。將輸入圖像進行初始化，將其轉換為448×448的灰度圖像。

2)訓練YOLO網絡。利用訓練集中的數據，根據式(6)中的損失函數，對YOLO網絡的參數進行調整，完成對YOLO網絡的訓練。在訓練過程中，對模型中的超參數進行調整，結合弱小目標的尺寸特征，設置置信度。

3)測試。針對每張圖像，預測得到196(14×14)個bounding box及其概率。通常利用一個cell可直接預測出一個物體對應的bounding box，但是對于某些尺寸較大或靠近圖像邊界的物體，需要通過非極大抑制處理生成多個網格預測的結果。

3 實驗及結果分析

3.1 目標檢測效果評價

3.1.1 目標檢測率

檢測率代表在圖像中目標被檢測出來的比例，是目標檢測性能的重要依據。檢測率PD的計算式為

(7)

式中：ND為算法成功檢測出的目標數量；NT為圖像中的目標總數。

3.1.2 平均識別精度

(8)

式中：N為檢測框的數量。

3.2 圖像預處理結果分析

原始紅外圖像的灰度圖如圖4(a)所示，背景中有亮云、噪聲等復雜背景干擾，弱小目標已經難以分辨，對原始紅外圖像進行預處理后的結果如圖4(b)所示，需要檢測的目標特征更加明顯，大部分雜波干擾被抑制。因此本文所使用的圖像預處理方法對于紅外弱小目標檢測是有效的。

3.3 傳統算法的檢測結果

通過選擇目標模板，利用傳統的模板匹配算法進行目標檢測，檢測結果如圖5所示。圖5(a)為選定的目標模板，圖5(b)為模板匹配算法的檢測結果。可發現，模板匹配算法不能很好地檢測所有目標，漏檢率較高，其主要原因是目標在飛行過程中姿態變化較大，特征模板不匹配。同理，模板匹配算法也不適用于目標被云層遮擋、目標相互遮擋等情況。

3.4 實驗平臺及數據集介紹

實驗平臺操作系統為Ubuntu 16.04LTS, 配置兩塊Nvidia GPU(GTX 1080Ti)，16GB內存，2TB硬盤。

實驗數據集源于基于某紅外成像導引頭在航展上的測試數據，背景為多亮云環境下的9個典型飛機目標。采用一個目標跟蹤序列中的4 500幅圖片作為訓練集，另外500幅作為測試集。測試中，設置置信度閾值為0.8。

3.5 YOLO的檢測結果

在采用YOLO網絡進行測試實驗時，將外場測試數據分為3種典型場景類型：1) 無云層遮蔽且無相互遮擋；2) 部分目標被云層遮蔽；3) 部分目標之間相互遮擋。

3.5.1 無云層遮蔽且無相互遮擋

在無云層遮蔽且無相互遮擋的情況下，基于YOLO算法可將圖像中所有的目標較為準確地識別出來，識別效果明顯優于傳統的模板匹配算法。YOLO算法的目標檢測結果如圖6所示。

圖6 目標檢測結果1Fig.6 Target detection result 1

3.5.2 部分目標被云層遮蔽

在部分目標被云層遮蔽的情況下，YOLO算法可將未被遮蔽的目標檢測出來，但是對于目標被云層完全遮蔽或者部分遮蔽的情況，則不能正確地檢測出目標，此時YOLO算法的目標檢測結果如圖7所示。

圖7 目標檢測結果2Fig.7 Target detection result 2

3.5.3 部分目標相互遮擋

在部分目標相互遮擋的情況下，YOLO算法容易將多個相互遮擋的目標識別為同一目標，但是檢測框范圍沒有超出相互遮擋目標組合的范圍，且圖像中所有目標都被識別，此時YOLO算法的目標檢測結果如圖8所示。

圖8 目標檢測結果3Fig.8 Target detection result 3

3.6 仿真結果對比分析

根據仿真結果，分別統計模板匹配算法和基于YOLO網絡檢測算法的檢測率和平均識別精度，統計結果如表1所示。通過數據對比可看出，基于YOLO的紅外弱小多目標識別性能均優于傳統的模板匹配方法。

表1 檢測效果對比

4 結論

基于YOLO對紅外弱小多目標進行了檢測，并對比了傳統的模板匹配算法，可得出以下結論：1)YOLO算法在目標之間無相互遮擋且沒有云層遮蔽的情況下，可實現對紅外弱小多目標的準確識別；2)在相同情況下，YOLO算法的目標識別效果明顯好于傳統的模板匹配算法；3)在目標之間相互遮擋或者云層遮蔽的情況下，傳統的模板匹配算法和YOLO都無法準確地識別出圖像中的所有目標。因此，針對圖像劣化或目標部分被遮擋的紅外弱小目標檢測還需要做進一步研究：一方面是通過樣本增廣方法研究擴大訓練/測試集的樣本容量，提升網絡模型的泛化能力；另一方面是設計針對彈載有限樣本紅外圖像的專用網絡模型，進一步提升紅外弱小多目標智能檢測識別能力，并在上述研究基礎上，開展深度學習網絡模型的嵌入式硬件實現研究。