面向嵌入式系統的輕量級目標檢測算法

劉鴻志，王耀力，常青

（太原理工大學，信息與計算機學院，山西太原 030000）

航空圖像上由于目標尺寸小、擁擠以及被遮擋等因素而引起的精度下降問題是考驗算法性能的一大挑戰。另外，模型復雜度直接影響了目標檢測算法在內存和計算能力有限的無人機平臺上的部署工作，如何平衡檢測精度和算法復雜度是該文的出發點。

基于深度學習的主流目標檢測算法根據有無候選框生成分為雙階段目標檢測算法[1-2]和單階段目標檢測算法[3-7]兩類。基于低功耗和低能耗的需求[8]，選擇速度更快、精度有保證的一階段YOLO 系列作為基準檢測算法，使用參數剪枝的方法對過參數化[9]的網絡模型進行縮減[10-13]；同時，在多分類目標檢測任務后處理中提出了NCW 的方法，通過對分類目標采用加權框融合（Weighted Boxes Fusion，WBF）[14]與非極大值抑制（Non-Maximum Suppression，NMS）[15]相結合的方法進一步提升了模型檢測精度。

1 相關工作

1.1 YOLOv5相關理論

YOLOv5 是YOLO 系列檢測算法中的第五版，并有v5s、v5m、v5l、v5x四種不同大小的模型，其中v5s是網絡深度和寬度最小的模型，權重大小僅14.1 MB。YOLOv5 整體架構分為輸入端、Backbone 主干網絡、Neck 特征融合網絡、輸出端四部分，其中相較于YOLOv4 和YOLOv3 的Backbone 主干網絡，改動最大的部分在于YOLOv5 添加了Focus 結構。

Focus 結構將圖片進行類似臨近下采樣的切片操作，然后進行通道拼接，切片操作如圖1 所示。

圖1 切片操作示意圖

1.2 加權框融合

加權框融合(WBF)與NMS 直接過濾掉重復的邊界框不同，WBF 利用所用的邊界框，將多個框加權融合，通過式（1）調整置信度分數,通過式（2）、（3）融合邊界框坐標，生成新的目標框。最后通過式（4）或者式（5）對融合的框進行調整。

其中，T為每個目標預測出的Box 的數量，C為Box 的置信度分數，C'為Box 的原始置信度分數，x、y為Box 的坐標，N為預測模型的數量。

WBF 算法的運行步驟如下：

輸入：所有模型推理出的所有預測Bounding Boxes。

輸出：通過加權融合調整后的Bounding Boxes。

1.3 模型簡化

利用基于參數剪枝的方法對模型進行簡化，靈活性高，無需訓練復雜網絡，直接對訓練好的網絡進行剪枝。其具體步驟如下：

步驟1 設定參數稀疏化率閾值和剪枝率。

步驟2 使用預訓練模型初始化權重，進行網絡稀疏化訓練。

步驟3 通過觀察參數變化，根據剪枝率進行通道裁剪。

步驟4 對網絡進行適應性訓練。

步驟5 判斷是否符合性能要求，符合則結束剪枝，否則重復整個流程。

2 網絡算法設計

2.1 輸出端簡介

在目標檢測的后處理過程中，通常使用NMS對每個位置冗余框進行篩選，在YOLOv5 的輸出端，使用DIOU_NMS對處理目標重疊有很好的效果，相比于經典NMS，DIOU_NMS將IOU的計算方式更換為DIOU。

IOU 計算如式（6）所示：

其中，B為預測框的面積，Bgt為真實框的面積。

式（6）清晰地表達出了IOU 是兩個框的交并比，圖2 所示為兩種擁有相同IOU 不同位置分布的情況，顯然這種計算方式沒有考慮到預測框和目標框之間的歸一化距離，導致預測結果不準確。

圖2 相同IOU不同位置示意圖

中心點距離約束示意圖如圖3 所示，不僅考慮了兩個框之間的重疊面積，而且還考慮了兩個框的中心點距離。計算方式如式（7）所示：

圖3 中心點距離約束示意圖

其中，b是預測框中心點，bgt是真實框中心點，ρ是歐式距離，c是最小外接矩形的對角線長度。

無論是NMS 還是DIOU_NMS,都無法對模型推理出的預測框進行修正，導致網絡只能從錯誤中尋找最優解，影響了模型精度，因此，該文提出NCW 方法來改進目標框的預測。

2.2 輸出端改進

為了應對YOLOv5 推理預測出的目標框定位不準確問題，該文提出NCW 算法，在NMS 的基礎上，提出錯誤篩選算法，將明顯不符合矩形規則的預測框去除，進一步利用WBF 的方法調整預測框的置信度和坐標，提高預測精度。

模型推理會產生很多無效的邊界框，比如坐標x1＜x2，y1＜y2或者x1=x2，y1=y2等，如果將這些明顯不符合矩形規則的預測框加入到后續算法中，則增加了無用的計算量，影響算法檢測精度，因此通過提出的錯誤過濾算法對預測框進行處理。

由于WBF 不只是簡單地根據閾值刪除邊界框，而是重新對預測框進行加權計算，從而增加了算法復雜度，因此先使用NMS 進行預篩選，然后利用WBF 進行邊界框調整，以提高目標檢測精度。NCW算法流程如圖4 所示。

圖4 NCW算法流程

2.3 具體壓縮實現

文中采用的是基于批歸一化層通道數的剪枝方法，通過稀疏化訓練后，將對輸出結果影響較小的通道去掉，在最大限度保證精度的情況下對模型進行壓縮，從而減少了參數量的計算量，提高了推理速度。

在實現壓縮的過程中，稀疏化訓練是非常重要的一步，因為合適的縮放因子γ直接決定了剪枝率的選擇，進而導致了模型壓縮率和模型精度。根據先驗知識，γ從0.000 1 到0.001 不等，根據IOU 取0.5時的平均精度(mAP@0.5)指標和通道權重變化示意圖，將低于閾值的通道刪除，通過剪枝率得到閾值，一般認為剪枝率大于0.8時，模型精度會出現顯著下降。剪枝完成后，對模型進行微調，使其恢復精度。通道剪枝如圖5 所示。

圖5 通道剪枝示意圖

在進行稀疏化訓練之前，有一個重要的步驟就是將卷積層(Conv Layer)和批歸一化層拆分，方可對批歸一化層進行剪枝，因為YOLOv5 會將卷積層和BN 層進行融合。

3 實驗驗證

3.1 實驗數據及環境

該實驗通過Pytorch 深度學習框架實現NCWSYOLO 模型算法，訓練環境為Window10 操作系統，CPU 為Inter Core i9-9900K，GPU 為Nvidia RTX2080 Super，在嵌入式設備Nvidia Jetson TX2 上完成推理和測試。該文所用的數據集為10 分類的VisDrone 2019 無人機數據集[16]，其訓練和驗證圖片共7 019張，測試圖片有1 610 張。

3.2 數據預處理

由于VisDrone 的標注方式與YOLO 標注不同，先將txt 標注形式轉換為VOC 格式的xml，然后將VOC 格式轉換為YOLO 格式，即每張圖片保存為一個txt 文件，每一行為一個目標，包括目標類別、真實框中心點(x,y)坐標，以及框的寬度和長度。

官方配置文件給出的是基于COCO 數據集得出的3 組Anchor，并不適用于該文數據集，因此通過K-means 聚類方法對VisDrone 重新生成3 組共9 個Anchor。

3.3 NCW算法

在推理階段，NMS 會根據所設置的閾值，將重復的框去除，若IOU 閾值設置過大，則會保留過多的框，不僅會降低精度，同時會對WBF 算法造成大量的計算，增加模型的推理時間；如果IOU 閾值設置過小，則會出現漏標的情況，對模型精度造成很大影響，導致推理失敗，所以尋找一個合適的閾值是非常關鍵的一步。該文從官方給定的閾值0.7 開始，以0.05 為間隔探索最合適的閾值，選定置信度為0.5 時所有類別的精度(Precision，Pr)為主要評判指標，將F1值設為輔助指標。實驗結果如表1 所示。

表1 各閾值推理精度分析比較

通過實驗數據可以看出，當IOU 閾值為0.45時，精度為0.923，IOU 閾值為0.4 時精度增加了0.001，只發生了微量變化，從0.4 開始，盡管IOU 繼續降低，NMS 對預測框位置要求也越嚴格，對預測框的過濾程度也越高，但是精度并不會繼續增大。反之，當IOU 閾值增大，從0.5 開始，精度相應地開始降低，到0.7時，精度下降了接近兩個百分點，IOU 閾值從0.65到0.7，精度大幅降低了接近一個百分點，閾值增大精度下降，說明了NMS 保留了過多的冗余框，影響了網絡的預測精度。

從整個過程可以看出，雖然F1 保持在0.95 的高水平，但是預測精度最高為0.924，當網絡的推理效果不理想時，NMS 只能從錯誤的候選框中尋找最優的結果，也就是說最終結果的好壞早已由網絡決定，NMS 只是選定了相對最好的一組結果，因此將推理結果充分利用并加以修正，改善模型的檢測精度是該文引入WBF，提出NCW 算法的重要原因。

與NMS 的功能類似，WBF 也是對推理結果做最后篩選的，不同的是WBF 將多個框加權融合，生成一個新的預測框。如果只將NMS 替換成WBF，會引入大量的計算，使網絡推理變慢，增加不必要的開銷，NMS 可以快速過濾掉一些冗余框，因此將NMS作為WBF 的數據預處理部分引入到YOLOv5 中。

如前文所述，NMS 的IOU 設置過大，會保留大量的冗余框，無形中加大了WBF 的計算量；IOU 設置過小，保留的預測框過少，WBF 又起不到融合調整的作用；因此，選取一個合適的IOU 閾值，是NCW 算法發揮作用的關鍵。利用實驗獲得的先驗知識進行實驗，以F1 和Pr 為平價指標，其中F1 反映精度和召回率(Re)之間的平衡關系，先驗知識如表1所示，實驗數據如表2所示。

如表2 所示，某些Pr 很高，但是F1 值卻很低（如閾值為0.7 和0.4），說明Pr 和Re 之間沒有達到平衡，犧牲召回率換取精度的提升，所以應該舍棄，同理舍棄F1值很高但是Pr很低的情況（如閾值為0.5和0.7）。因此，在F1 大于0.925時，模型推理精度從0.93 到0.945 不等，選取F1 值和Pr 值最平衡的一組，當NMS/WBF為0.7，IOU 閾值為0.6時，F1 和Pr都為0.941，0.941 比原始網絡推理精度提升了3.9%，因此說明NCW 算法是有效的。

表2 不同NMS/WBF下各閾值推理精度分析比較

3.4 模型壓縮訓練

模型稀疏化訓練和通道剪枝是一個追求平衡的過程，稀疏化率過大，剪枝時會刪除過多有價值的通道，導致模型推理精度下降，稀疏化率過小，無差別的剪枝會損失大量的信息，因此尋找稀疏化率和剪枝率的平衡點是模型壓縮至關重要的環節。該文根據先驗知識，選取稀疏化率從0.005 到0.000 05 進行稀疏訓練，BN 層權重的變化圖如圖6 所示。在不同稀疏化率下，稀疏訓練精度(Pr)、召回率(Re)、平均精度(mAP@0.5)如表3 所示。

圖6 BN層權重變化示意圖

如圖6 所示，隨著稀疏化率的增大，BN 層權重逐漸趨近于0，當稀疏化率為0.000 05時，BN 層權重趨于正態分布，說明稀疏程度不夠，沒有把不重要的通道區分開；隨著稀疏化率的提高，BN 層權重逐漸向0靠近，結合表3 來分析，當稀疏化率為0.000 1時，mAP@0.5 最高，同時比原始訓練精度提升了2.8%，說明稀疏化訓練可以在一定程度上有效緩解訓練過擬合。但是隨著稀疏化率的進一步提升，mAP@0.5下降明顯，到0.001 時已經低于原始訓練精度，到0.005 時mAP@0.5 出現嚴重下降，當BN 層權重基本接近0，網絡過于密集，丟失了大量的信息。

稀疏化訓練完成后，根據設置的剪枝率進行剪枝，通道權重的絕對值小于設定剪枝率對應的閾值時，則刪除，如果出現某一層中所有通道的γ因子均小于閾值，為了保證網絡完整性，則保留該層中γ因子最大的一個通道。完成通道剪枝后，通過50 輪微調訓練恢復模型精度。該文選用mAP@0.5、參數量、浮點運數數、模型大小、閾值5 個指標來衡量剪枝效果。如表3 所示，選擇稀疏化率為0.000 1 時的模型進行剪枝實驗。

表3 不同稀疏化率下訓練結果

如表4 所示，剪枝率為0.7時，相比于0.6，平均精度出現了大幅度下降，說明剪枝率過大，剪掉了太多的通道。剪枝率為0.6 和0.5時，平均精度近似相同，但是參數量降低了24.3%，浮點數減少了11%，模型大小縮減了21.6%，相對于剪枝率為0.4，平均精度減少了1%，但是參數量降低了41.6%，浮點數減少了19.6%，模型大小縮減了39.4%，因此選取剪枝率為0.6 時的模型作為最終的模型。通過不同輸入尺寸的圖片進行測試，模型推理時間分別加快了29.8%、31.4%、43.9%。具體實驗結果如表5 所示。

表4 不同剪枝率分析比較

表5 嵌入式端模型推理時間

4 結束語

該文設計了一種面向嵌入式系統的輕量級目標檢測方法，提高了檢測精準度和速度。其中，所提的NCW 目標框過濾算法，彌補了NMS 算法對預測框過濾效果的不足，在保證召回率的前提下提升了精度；通過參數剪枝技術，使深度神經網絡可以部署到嵌入式端；通過K-means 聚類方法，針對VisDrone 數據集重新設計了三組Anchor。實驗結果證明了該方法的有效性，算法可以部署在嵌入式設備Nvidia Jetson TX2上，能夠在低功耗場景中對無人機圖像進行實時解析。下一步將繼續優化算法，以滿足更為復雜的高空視角下對小目標的檢測任務，使算法具有強大的泛化性。