一種巡邏執勤目標檢測算法研究 *

岳磊，袁建虎，楊柳，呂婷婷

（陸軍工程大學 野戰工程學院，江蘇 南京 210001）

0 引言

巡邏執勤目標與所處環境背景高度融合，檢測目標種類多樣，傳統方法檢測難度大、檢測精度低、實時性差等問題十分突出。隨著任務復雜程度加深，行動范圍擴大，對巡邏執勤目標的檢測要求逐漸提高，研究巡邏執勤目標檢測在軍事偵察、邊境治理、引導打擊和反恐維穩等領域具有重要意義。

目前國內外眾多學者利用計算機視覺對無人機航拍目標、偽裝目標進行檢測，并已取得了一定成果。侯文迪［1］等提出了一種基于圖像金字塔光流計算與灰度、HOG（histograms of oriented gradents）特征匹配的綜合跟蹤算法，該方法證明對邊緣紋理較為豐富的偽裝色移動目標具有良好的跟蹤效果。蘇昂［2］提出了一種基于梯度方向直方圖特征和在線級聯Boosting 的檢測算法用于無人機圖像的車輛檢測，提升了無人機視角下車輛檢測性能。

傳統目標檢測方法主要依賴人工提取特征［3］，但由于當前巡邏執勤任務形式復雜多樣，涉及行人、車輛、牲畜等多種類型目標，且機動性、實時性要求高，傳統目標檢測算法已經難以滿足當前巡邏執勤任務的需要。此外，巡邏執勤目標在實際采集過程中，大都屬于運動目標，且采集環境多樣，這些因素容易造成圖像模糊等問題。因此，在這樣的情況下使用人工提取特征的方式進行目標檢測，效果較差。

當前，采用深度學習的方式進行目標檢測是重要的研究方向［4］，在軍事偵察、安防管控、維穩治安方面的應用也是研究重點［5］。通過深度學習的方法能夠有效解決傳統檢測方法只利用淺層特征信息、易受自然環境因素影響、檢測方法泛化性差的問題，同時提升巡邏執勤目標檢測精度，提高檢測效率，為相關任務執行提供幫助。當前，根據算法結構設計方式，將基于深度學習的目標檢測算法分為2 類：

第1 類是基于區域的兩階段（two-stage）檢測算 法，代 表 算 法 有Fast R-CNN［6］（region-based convolutional neural network），Faster R-CNN［7］等；兩階段算法主要是依據圖像中被檢測目標實際位置，提前選取候選區的方式進行訓練。

第2 類是一階段（one-stage）檢測算法，該類算法采用端到端檢測網絡，代表算法有YOLO［8-9］（you only look once），SSD［10］（single shot multibox detector）等。一階段算法對圖像進行檢測采用回歸方式，以這種方式找到檢測框類別及偏移量，得到最接近真實值的檢測框。趙曉楓［11］等對SSD 算法網絡添加殘差窗口模塊，并將優化后數據集的檢測結果作為評價指標，實驗證明評估效果較好。鄧小桐［12］等在RetinaNet 的骨干網絡（backbone）的殘差塊中嵌入注意力機制，有效實現了迷彩偽裝人員的檢測。SONG［13］等提出了一種改進的注意模塊I-ECANet（improved-efficient channel attention net），并在YOLOv3 網絡中的最后一層殘差層和每組殘差層卷積到I-ECANet 注意力模塊中，最后實驗證明對檢測反導遙感圖像檢測精度有較大提升，有廣泛應用價值。

然而，對于巡邏執勤任務具有較強實時性、復雜性、任務環境多樣、干擾因素多的情況，上述檢測算法性能就有所欠缺。為此本文針對復雜環境背景下巡邏執勤目標檢測圖像模糊、自然環境干擾造成檢測困難的問題，提出了一種多層注意力機制和多尺度特征融合的巡邏執勤目標檢測智能算法。本文主要貢獻點和創新點如下：①對有限的圖像數據進行擴充，使用自適應均衡處理、翻轉、旋轉、噪聲添加等增強處理。②搭建YOLOv5 檢測網絡，并在骨干網絡中引入ECA-Net 注意力機制模塊，以解決巡邏執勤圖像中背景對被檢測目標的干擾問題。③引入BiFPN（bi-directional feature pyramid network）結構，替換原始算法中的頸部網絡（neck）中的FPN+PAN （feature pyramid network+path aggregation network）結構，用以改善網絡結構，解決巡邏執勤目標尺度多樣問題。

1 YOLOv5 算法原理

YOLOV5 檢測模型主要組成為Input，Backbone，Neck，Prediction 共4 部分，其結構圖如圖1 所示。

圖1 YOLOv5 網絡劃分流程圖Fig. 1 Network partition flow chart of the YOLOv5

Input：將輸入圖像調整為640×640 的大小，然后進行數據增強、自適應錨框計算和縮放。

Backbone：相較 于YOLOv4 模型，YOLOv5 增 加了Focus 層、CSPNet［14］（cross stage partial network）層。Focus 對圖像進行切片處理，如圖2 所示；CSP結構改進了網絡結構設計方式，將推理過程中的計算量降低；SPP［15］（spatial pyramid pooling）層將特征層進行卷積；然后進行最大池化（maxpool），增大了網絡的感受野，同時也使非線性表達能力得到提升。

圖2 Focus 流程 示意 圖Fig. 2 Focus schematic of the process

Neck：將不同次的特征圖進行融合，減少語義信息的丟失，獲得更多的特征信息。在YOLOv5 算法中，使用FPN+PAN 的特征金字塔結構。FPN 將語義特征從頂部特征映射傳遞到較低的特征映射。同時，PAN［16］結構將定位特征從較低的特征圖傳遞到較高的特征圖中。這2 種結構共同加強了頸部網絡的特征融合能力。

Prediction：在YOLOv5 的預測端采用的是GIOU_Loss （generalized intersection over union loss）作為bounding box 損失函數，類概率分類采用交叉熵損失函數。函數定義式為

式中：IOU（intersection over union）為預測框和標記框的交并比；B為標注框；Bgt為預測框；C為預測框與標注框的最小外接矩形面積；B∪Bgt為兩個框的并集。

2 改進YOLOv5 巡邏執勤目標檢測算法

在網絡中添加注意力機制模塊對于提升算法檢測性能具有較好的作用，同時為保持特征信息提取性能和算法檢測速率，加入了多尺度特征融合模塊。本文所提出的多層注意力機制和跨尺度特征融合的巡邏執勤目標檢測智能算法檢測框架如圖3所示。

圖3 改進檢測算法框架Fig. 3 Improved detection algorithm framework

數據集進行標注、轉換格式、劃分測試集和驗證集，輸入到網絡中進行訓練，并獲得模型權重，然后使用改進算法進行檢測。

2.1 ECA-Net 注意力機制模型

為了解決巡邏執勤目標顯著度低的問題，在YOLOv5 模型的骨干網絡中添加ECA-Net（efficient channel attention）注意力機制模塊［17-18］，如圖4 所示。ECA-Net 在SENet 的基礎上進行了改進，采用不降低維的方式產生權重，能夠在實現復雜注意力模塊的同時，降低算法的復雜程度。

圖4 ECA-Net 注意力機制模塊Fig. 4 Efficient channel attention mechanism module

首先對特征通道進行全局平均池化，執行1×1卷積，然后產生通道權重系數，其中的卷積K（kernel size）代表了交互概率，采用如式（2）所示的自適應方法來確定K的方法。

式中：C為通道維 度；|t|為距離t最近的奇數；b和γ為線性函數關系，在這里本文將b設置為1；γ設置為2。

如圖5 所示，添加注意力機制模塊能夠提升圖像中被檢測目標的顯著性，減少其他干擾因素對圖像檢測帶來的影響，為模型性能的進一步提升發揮作用。

2.2 BiFPN 特征融合結構

YOLOv5 算法中在Neck 部 分 采用FPN+PAN 結構，在多尺度融合方面取得了良好的效果。但其計算較復雜，且針對當前任務圖像容易受環境因素影響，且尺度多樣，該結構存在特征提取利用不充分，造成損失誤差較大的情況。因此在Neck 部分引入雙向特征融合結構BiFPN［19］，如圖6 所示。

圖6 3 種特征網絡結構Fig. 6 Three feature network structure

相較于原來的Neck 結構，BiFPN 結構有4 點不同：①采用跨尺度連接以去除PAN 中對特征融合貢獻率低的部分，并在同一級別的輸入輸出之間添加更多的節點。②刪除對融合特征網絡貢獻較小的節點，簡化雙向網絡。③BiFPN 結構在原始輸入節點和輸出節點之間增加了額外的邊，盡可能多地提取特征。④該結果將每個雙向路徑作為特征層處理，并多次循環同一層。

3 模型訓練及結果分析

本文實驗使用PyTorch 框架，實驗中所使用的軟硬件環境如表1 所示。

表1 實驗環境配置Table 1 Experimental environment configuration

本文所用部分數據集是從巡邏執勤的視頻中截取，并結合國內外公開的圖像、視頻資料進行收集，共有樣本2 600 余張。將數據集進行了劃分，隨機選取600 張圖像作為測試集，其余圖像作為訓練樣本。

3.1 模型訓練

模型訓練過程：將圖像調整為640×640 大小，為防止過擬合和跳過最優解，將動量因子設置為0.93，并采用隨機下降法進行訓練。batch_size 為32。共訓練500 輪次，前300 輪訓練學習率為0.01，后200 輪訓練學習率為0.001。待損失函數和精度都逐漸穩定時，得到算法最優權重。

3.2 實驗過程

為驗證改進算法的有效性，使用AP（average precision）來對每一類檢測結果進行評估，并利用mAP（mean AP），即所有目標類AP 的平均值來衡量整個模型的性能。對于主觀評價結果，可以通過對比改進和未改進網絡處理后的圖片來評估模型的性能：

式中：TP，FP和FN分別為正確檢測數、誤檢數、漏檢數；AP為P-R曲線積分；N為檢測種類數量。為了檢測本文改進算法與YOLO 標準算法的優勢，進行了對比實驗。結果如圖7 所示。

IOU取0.5 時mAP為mAP@0.5，IOU取 不 同 值的mAP為mAP@0.5∶0.95。從圖7 中可以看出，改進算法和原始算法都具有較高的檢測精度。相較而言，本文算法在訓練迭代到200 輪次左右的時候，準確率上升至0.68 左右，并最終在300 輪左右時穩定至0.77 左右；改進Neck 部分能夠提前收斂，標準YOLOv5 算法訓練迭代到180 輪次左右時，準確率僅上升至0.55 左右，最終穩定至0.73 左右。

圖7 mAP@0.5 與 mAP@0.5：0.95 訓練變化曲線Fig. 7 mAP@0.5 and mAP@0.5：0.95 training change curves

3.3 結果分析

為了驗證本文引入的數據增強、ECA-Net、改進Neck 等部分的作用，進行了消融實驗進行驗證，相關結果如表2 所示。

表2 消融實驗結果對比Table 2 Comparison of ablation experiment results

表2 中第1 行為標準YOLOv5 網絡模型的實驗結果。

第2 行為訓練樣本進行旋轉、平移、自適應均衡處理及馬賽克增強等處理后送入模型進行訓練，精度提高了1.04 %。

第3 行、第4 行為引入ECA-Net 后，使用數據增強和不使用數據增強后的結果。從實驗結果可知，被檢測目標在復雜背景下的特征表達能力增強，模型檢測精度分別提高了2.97%和2.07%。

第5 行為綜合本文方法改進后的算法檢測結果，檢測精度達到了77.18%，相較于原始算法有一定提升，且具有較高的實際應用性。

為了進一步驗證改進算法的性能，將本算法與常見的One-stage 和Two-stage 算法進行對比，對比實驗結果如表3 和圖8 所示。

表3 各檢測網絡對比實驗數據Table 3 Comparative experiments with each detection network

從表中數據可知道，本文算法在檢測精度上略低于兩階段算法Faster R-CNN，在檢測速度上略低于YOLOv5，但也保持了較好的實時性［20］（FPS≥25即滿足實時性）和準確性。綜合來看，相較于其他檢測模型，本文改進模型能更好地滿足于巡邏執勤任務的實際需要。

第1 組被檢測目標為無人機視角下的行人目標，有2 種姿態存在，且身體有部分遮掩。實驗表示，雖然被檢測目標小，且存在遮掩、模糊的情況，但本文算法能以較高準確率、較少的損失值，更接近于真實框。

第2 組被檢測目標大小不一致，且隨著網絡的不斷加深，特征語義信息會由低維轉換成高維，每層網絡都會產生一定程度的丟失。本文算法引入BiFPN 后，減少了低價值特征的融合，縮短了底層特征和頂層特征之間的信息路徑，在一定程度上減少了被檢測目標因為目標小、被遮擋等原因帶來的誤檢、漏檢情況。

第3 組被檢測圖像存在檢測背景相似造成檢測困難、漏檢誤檢的情況。從檢測結果來看，各類檢測算法均存在漏檢的情況。SSD 檢測算法效果最差，僅檢測出1 個目標；Faster R-CNN 算法效果最好，檢測出4 個目標；YOLOv4 算法檢測出3 個目標；YOLOv5 和本文算法檢測出2 個目標，與原始YOLOv5 算法相比，本文算法檢測精度更好。由實驗結果分析得出：本文算法加入ECA-Net 后，利用該模塊將特征通道進行全局平均池化，產生通道權重系數，并通過不同的權重系數強化目標特征，提高了檢測精度。再結合BiFPN 結構，對于小尺度目標的特征信息挖掘能力更強，特別是對無人機俯拍目標的檢測效果更好。但對于大尺度背景相似目標的特征信息提取能力提升有限，并且因訓練樣本中，這一類樣本數量較少，不利于模型的優化訓練，從而導致本文算法與YOLOv4 和Faster R-CNN 相比，在這一類目標上的檢測性能略低。

第4 組被檢測圖像中含多個小目標，且背景干擾因素較多。實驗結果表明SSD 和Faster R-CNN 算法出現了漏檢的情況，而YOLOv4，YOLOv5 和本文算法均未出現漏檢，且本文算法更加接近于真實框。

4 結束語

為解決巡邏目標檢測效果差的問題，本文引入較為先進的單階段目標檢測算法YOLOv5，并基于該算法進行了針對性改進。雖然相較于其他檢測算法，YOLOv5 在平衡準確性和檢測效率上表現出較大的優勢，滿足實時性、高效性的要求。但在結合實際任務的需要進行分析時，指出了原始YOLOv5 算法檢測巡邏執勤目標時，存在因檢測目標尺度不一、所處背景復雜、自然因素較多等問題影響，導致漏檢、誤檢、部分目標檢測精度較低的情況。針對這些問題，在YOLOv5 算法模型的基礎上提出了一種基于多尺度特征融合和通道注意力機制的巡邏執勤目標檢測算法。首先通過圖像增強，擴充數據集的同時增強了算法的魯棒性；在Backbone 中引入ECA-Net 通道注意機制模塊，提高了被檢測目標在自然環境等復雜背景圖像的顯著性，進而提高了檢測精度；通過將Neck 替換為BiFPN，使被檢測目標的特征能夠得到更好的表達，降低了因巡邏執勤目標多樣、遮擋等情況造成的漏檢率和誤檢率。實驗結果表明，相較于原始算法，本文算法在多種復雜環境下的測試，具有較好的精度及實時性。

本文算法還存在一定的局限性及較大的提升空間，數據集還需進一步擴充。當利用本文算法檢測背景高度相似、陰影區域時，漏檢情況較嚴重；同時針對具體巡邏執勤任務，還需進一步結合任務情況進行實際應用，后期將對上述問題持續開展研究。