一種輕量化目標檢測算法研究

余 進，史燕中，王春華，趙 倩，吳 蔚

(1.中國航天科工集團第二研究院，北京 100039； 2.北京航天長峰科技工業集團有限公司，北京 100039; 3.北京航天長峰股份有限公司，北京 100039)

0 引 言

計算機視覺技術廣泛應用于視頻偵查、自動駕駛、人臉識別等諸多領域。目標檢測作為計算機視覺領域的基礎研究方向之一，其任務是識別出圖像中的一個或多個目標，給出這些目標的位置信息和類別信息，從而能夠進一步實現后續任務和應用[1-2]。

目標檢測的研究最早開始于二十世紀六十年代，傳統的目標檢測算法是基于人工設計特征結合淺層分類器的框架，這類目標檢測算法雖然取得了不錯的效果，但冗余度高，運行速度慢，魯棒性不強，不能很好地表達多類目標的特征[3-4]。隨著近年來深度學習技術的發展，基于深度卷積神經網絡的目標檢測算法的識別準確率取得了巨大的提升。基于卷積神經網絡的目標檢測算法主要分為兩大類，一類是基于候選區域的目標檢測框架，如以Faster R-CNN[5]、Mask R-CNN[6]為代表的一系列目標檢測框架，這類檢測算法準確度較高，但檢測速度很難滿足實時性要求；另一類是基于直接回歸的目標檢測框架，如以YOLO[7]、SSD[8]、YOLOv3[9]等為代表的一系列模型，由于省去了提取候選區域的過程，檢測速度大大提升。

然而，基于深度卷積神經網絡的目標檢測算法對硬件的計算性能要求很高。在實際應用中，很多嵌入式設備和移動終端并不具備目前深度卷積神經網絡所需的計算性能。當前大多的目標檢測算法難以在這類設備上得到有效部署，因而對于模型輕量化的需求顯得尤為迫切。在這種情況下，近年來有一系列針對圖像分類任務而設計的輕量化卷積神經網絡模型被提出，包括Xception[10]、MobileNet[11]系列和Shuffle-Net[12]系列，雖然在目標檢測算法中引入這類輕量化模型可以極大地降低模型的參數量和運算量，但由于這類輕量化模型主要是針對圖像分類任務而設計的，所以并未針對目標檢測框架進行優化設計。

針對上述問題，該文以當前應用廣泛的YOLOv3目標檢測模型作為檢測框架，在研究分析當前一些常見的輕量化分類模型的基礎上，針對目標檢測的特點設計了一個新型的輕量化特征提取網絡TinyNet，用該模型取代YOLOv3的特征提取子網絡，并利用輕量化模塊進一步優化YOLOv3的檢測子網絡。實驗結果表明，相比于使用其他輕量化特征提取網絡設計的YOLOv3，新的網絡模型在檢測精度有所提升的基礎上，大大地降低了原模型的參數量，明顯提升了檢測速度。

1 相關知識

1.1 相關定義

Ground Truth (GT)：數據的真實標簽，對于目標檢測問題，Ground Truth包括圖像中物體的類別以及該圖像中每個物體的真實邊界框。

Intersection over Union (IoU)：交并比，即兩個區域的交集與這兩個區域的并集的比值。IoU的值代表了兩個區域之間的重合程度，IoU越大表示兩個區域的重合度越高。

True Positives (TP)：即正樣本被正確識別為正樣本，在目標檢測中表示被正確識別出來的目標。

True Negatives (TN)：即負樣本被正確識別為負樣本，在目標檢測中表示背景沒有被識別成目標。

False Positive (FP)：即負樣本被錯誤識別為正樣本，在目標檢測中表示背景被識別成目標。

False Negatives (FN)：即正樣本被錯誤識別為負樣本，在目標檢測中表示目標被識別成背景。

Precision：查準率，表示分類器認為是正類并且確實是正類的部分占所有分類器認為是正類的比例，定義如下：

(1)

Recall：查全率，表示分類器認為是正類并且確實是正類的部分占所有確實是正類的比例，定義如下：

(2)

1.2 YOLOv3目標檢測算法

YOLOv3是基于直接回歸的目標檢測算法，在檢測速度和精度上都取得了不錯的效果。YOLOv3算法將圖像劃分為S×S的網格，利用整張圖片的特征，對每個網格分別預測中心點落在該網格內的目標。對每個網格區域，網絡需要預測每個預測框的置信度和四個坐標值，以及預測框的類別概率分布。相比于之前的YOLO模型，YOLOv3使用了Darknet-19的改進版本Darknet-53作為特征提取網絡，DarkNet-19包含5個池化層和19個卷積層，并通過3×3卷積之間的1×1卷積對特征圖通道維數進行壓縮。DarkNet-53的改進主要體現在三個方面，用步長為2的卷積層替換池化層，使用跳層連接[13]結構，增加了網絡層數。整個檢測網絡輸出三個不同尺度的特征圖，采用多尺度的方法對不同大小的目標進行檢測，并借鑒了FPN[14]模型中的多層特征融合的思想，將深層特征上采樣后回傳給淺層特征以豐富淺層特征的語義信息，有效地提升了小目標的檢測精度。其網絡結構如圖1所示。

1.3 深度可分離卷積

基于深度卷積神經網絡的目標檢測算法通常對硬件的計算性能要求很高，為了能夠讓深度卷積神經網絡運行在一些嵌入式設備和移動終端中，近年來有一系列針對圖像分類任務而設計的輕量化卷積神經網絡模型被提出，比如MobileNet和ShuffleNet。這兩個輕量化模型均使用到了深度可分離卷積來減少計算量和參數量。

如圖2所示，在標準卷積中，卷積核通道數與需要進行卷積運算的特征圖通道數相同，卷積核需要與對應圖像區域中的所有通道進行點乘求和運算。假定輸入特征圖形狀是DF×DF×M，而輸出特征圖形狀是DF×DF×N，其中DF是特征圖的寬和高，而M和N指的是通道數，并假定輸入特征圖和輸出特征圖的分辨率是一致的。對于標準卷積核DK×DK，其計算量是：DK×DK×M×N×DF×DF。

圖1 YOLOv3網絡結構示意圖

圖2 標準卷積和深度可分離卷積示意圖

而深度可分離卷積將標準卷積分解為逐通道卷積(depthwise convolution)和點卷積(pointwise convolution)兩部分，在逐通道卷積中，卷積核只含一個通道，卷積核只與特征圖對應圖像區域內的單個特征通道進行點乘求和運算，特征圖的每個特征通道分別與不同的單層卷積核進行運算，所以卷積核的數量與需要進行卷積運算的特征圖通道數相同。

但是在逐通道卷積中，輸出特征圖的每一個特征通道只與輸入特征圖的某個特征通道有相關性，沒有整合利用輸入特征圖中的所有特征通道的信息。所以在逐通道卷積之后，采用點卷積進一步對深度可分離卷積的輸出特征圖進行運算，使用卷積核大小為1×1的點卷積可以在盡量降低運算量的情況下將所有的特征通道串聯起來，使得每一個輸出的特征通道能包含所有輸入的特征通道的信息，解決了深度可分離卷積在特征通道方向上信息流通不暢的問題。而對于深度可分離卷積，其計算量由逐通道卷積和點卷積兩部分組成：

DK×DK×M×DF×DF+M×N×DF×DF

深度可分離卷積與標準卷積的計算量相比，可以得到如下的比值：

通常來說，N是一個比較大的值，那么在采用3×3卷積核的情況下，DK=3，與標準卷積運算量相比，深度可分離卷積降低了9倍的運算量，極大地減少了運算量。

1.4 訓練方式

當前目標檢測模型通常是在預訓練模型的基礎上微調獲得的，具體來說，就是把在ImageNet數據集上預訓練好的模型作為目標檢測模型的特征提取網絡，然后保持預訓練模型的參數值不變，在目標檢測數據集(如VOC、COCO)上訓練模型得到檢測子網絡的權重。然而，使用預訓練模型也給修改模型網絡結構造成了不便，因為這意味著當模型的網絡結構出現調整后，需要在ImageNet數據集進行預訓練，由于ImageNet數據集的圖片數量很大，也就意味著需要花費很長時間來得到預訓練模型。ScratchDet[15]中提出的一種從頭開始訓練的方式，不使用預訓練模型直接在目標檢測數據集上進行訓練。具體而言，在設計的特征提取網絡中，保證在每一個卷積層后存在批量歸一化層，由于批量歸一化層可以使得優化過程更加平滑，使得梯度更加穩定，從而允許更大的搜索空間和更快的收斂速度，同時還降低了網絡訓練過程中出現收斂性問題的可能。這種方式極大地提高了修改模型網絡結構的效率。

2 算法設計

2.1 輕量化主干網絡的設計

該文借鑒當前一些輕量化分類模型中的深度可分離卷積設計了一個針對目標檢測任務的輕量化主干網絡TinyNet，該網絡采用模塊化設計方式，通過將輕量化模塊有序地連接最終形成模型的整體結構。設計的輕量化模塊如圖3所示，其中左圖表示輸入和輸出特征圖分辨率相同的模塊，右圖表示降采樣模塊。兩種模塊都包含兩個分支，一個分支包含卷積核大小為3×3的深度可分離卷積，另外一個分支包含卷積核大小為5×5的深度可分離卷積。由于使用到了不同大小的卷積核分支，實現了多尺度的感受野融合，進而提高了輕量化主干網絡對不同尺度目標的適應性。在左圖所示的模塊中，由上一模塊輸入的特征圖在特征通道方向上被平均拆分為兩部分，再分別經由這兩個不同大小的卷積核分支進行卷積運算之后拼接到一起，然后使用一個1×1的卷積核對不同通道的特征進行融合，最后與跳層連接傳送來的輸入特征進行元素級別加法運算并輸出。而在右圖所表示的降采樣模塊中，每個分支直接對所有上一模塊輸入的特征通道進行卷積運算。

圖3 TinyNet的基本模塊

網絡的整體結構如表1所示，網絡結構設計思想與VGG類似，堆疊的使用卷積操作，只不過這里堆疊的是該文設計的輕量化模塊。

按照特征圖分辨率大小的不同，網絡被分為了不同的階段(Stage)。在第一階段中，特征圖進行了1次降采樣，分辨率縮減為原圖的1/2；在第二階段中，特征圖又進行了1次降采樣，分辨率縮減為原圖的1/4，依此類推，整個網絡一共被劃分為5個階段，最后一個階段輸出的特征圖的分辨率已經縮減為原圖的1/32。在前兩個階段中，僅僅使用到了降采樣單元，其中第一階段使用到的是標準卷積的降采樣單元，而第二階段使用到的是該文設計的輕量化降采樣單元。在第三、四、五個階段，除了使用到了一個輕量化降采樣模塊，還分別堆疊了4個、5個和3個步長為1的輕量化模塊。

表1 TinyNet網絡結構

2.2 輕量化目標檢測網絡的設計

該文借鑒了YOLOv3的檢測網絡結構，通過將設計的輕量化主干網絡TinyNet替換YOLOv3中原有的Darknet-53網絡，得到了輕量化模型Tiny-YOLOv3。保持了YOLOv3目標檢測框架與Darknet-53網絡的銜接方法，即分別將TinyNet中分辨率為8倍、16倍、32倍降采樣特征層的最后一層作為輸出分支，并與回傳的深層特征進行融合后再進行輸出。為淺層特征提供了語義特征，從而提高了物體識別能力。然后，進一步使用輕量化模塊對YOLOv3檢測子網絡中的標準卷積單元進行替換得到一個端到端的輕量化目標檢測模型，完成了輕量化模型Tiny-YOLOv3+的設計，替換后的檢測子網絡結構如圖4所示。

3 實驗測試

3.1 實驗環境與實驗參數

該文保證所有實驗的運行環境保持一致，硬件環境為NVIDIA 1080Ti顯卡和Intel i7-7700H處理器，16G DDR4內存；軟件環境為Ubuntu16.04操作系統；實驗框架為MXNet開源框架。考慮到實驗硬件和軟件的限制，并結合從頭開始訓練的特點，所有實驗的網絡輸入分辨率為416×416；批量大小設為32，初始學習率設為0.01，學習率調整策略采用cosine；使用SGD+Momentum的優化方法，并設置動量為0.9；最大循環迭代次數設為100 K。

圖4 輕量化模型Tiny-YOLOv3+結構示意圖

3.2 實驗數據集

該文使用PASCAL VOC數據集和BDD100K數據集分別進行實驗。其中PASCAL VOC數據集是一個包含Person、Bird、Cat、Cow、Dog、Horse、Sheep、Aeroplane、Bicycle、Boat、Bus、Car、Motorbike、Train、Bottle、Chair、Table、Plant、Sofa、Monitor等20個類別物體的目標檢測數據集，該文使用PASCAL VOC2007和PASCAL VOC2012的trainval部分的16 551張圖片作為訓練集，使用PASCAL VOC2007的test部分的4 952張圖片作為測試集。BDD100K數據集是伯克利大學發布的當前規模最大、最多樣化的公開駕駛數據集。BDD100K包含10萬張用于道路目標檢測的圖片，包含Bus、Light、Sign、Person、Bike、Truck、Motor、Car、Train、Rider等10個類別。其中訓練集包含7萬張標注圖片，驗證集包含1萬張標注圖片，測試集包含2萬張圖片。

3.3 評價指標

采用PASCAL VOC2012的評價標準mAP(mean Average Precision)作為模型檢測性能的評價指標，計算方法如下：首先針對每個類別，按照目標檢測模型預測結果的置信度對樣本進行排序，再逐個樣本地將置信度作為樣本被分為正負樣本的閾值，累計計算查準率(Precision)和查全率(Recall)，然后繪制P-R(Precision and Recall)曲線，將PR曲線上的所有召回率相同的點分為一組，共分成n組，記第i組的最大精度值為Pi，并記該類別在測試集中的所有實例個數為N，則AP的計算公式為:

(3)

最后計算不同類別AP值的均值即為mAP。mAP的值越高，說明檢測模型的檢測效果越好。

3.4 實驗結果

該文從模型精度、參數量和運行速度三個方面對比了直接使用輕量化分類模型(MobileNet和ShuffleNet v2)作為YOLOv3特征提取子網絡的目標檢測模型，和該文設計的輕量化目標檢測模型Tiny-YOLOv3以及Tiny-YOLOv3+，實驗結果如表2和表3所示。

表2 PASCAL VOC數據集實驗結果對比

表2表示的是不同模型在PASCAL VOC數據集上的實驗結果，通過對比Tiny-YOLOv3和YOLOv3-MobileNet、YOLOv3-ShuffleNet的結果可以發現，使用該文設計的TinyNet作為YOLOv3的特征提取網絡，與使用MobileNet相比，mAP值提高了1.7個百分點，參數量降低了21%，推理速度提高了13%；與使用ShuffleNet v2相比，在推理速度幾乎一致的情況下，mAP值提高了4.1個百分點，參數量降低了17%。這說明該文針對目標檢測任務所設計的輕量化特征提取網絡TinyNet優于現有的輕量化特征提取網絡。

值得注意的是，與ShuffleNet v2在圖像分類任務上的效果要優于MobileNet不同(ImageNet數據集Top1準確率74.9% VS 70.6%)，ShuffleNet v2在YOLOv3目標檢測框架下的實驗結果不如使用MobileNet的實驗結果，這也說明將針對分類任務的輕量化模型直接作為目標檢測框架的特征提取網絡是值得商榷的。

通過對比Tiny-YOLOv3和Tiny-YOLOv3+可以發現，在將YOLOv3的檢測子網絡進行輕量化處理后，在檢測精度略微下降的情況下，網絡權重減少了54%，并且推理速度得到明顯提升。最后通過對比Tiny-YOLOv3+與YOLOv3-MobileNet的實驗結果可知，Tiny-YOLOv3+在精度略微提升的情況下，參數量大大降低，推理速度提升明顯，對比Tiny-YOLOv3+與YOLOv3-ShuffleNet的實驗結果可知，Tiny-YOLOv3+在推理速度略微提升的情況下，參數量大大降低，明顯提升了檢測精度。

表3 BDD100K數據集實驗結果對比

表3表示的是不同模型在BDD100K數據集上的實驗結果，對比Tiny-YOLOv3+與YOLOv3-MobileNet、YOLOv3-ShuffleNet的實驗結果可以發現，在推理速度略微提升的情況下，Tiny-YOLOv3+同樣得到了比YOLOv3-MobileNet和YOLOv3-ShuffleNet更優的實驗精度和更少的參數量。在兩個數據集上不同的實驗結果均說明該文針對目標檢測任務設計的輕量化特征提取網絡TinyNet優于現有的輕量化特征提取網絡。

4 結束語

針對當前輕量化模型沒有針對目標檢測任務的特點進行網絡結構設計的問題，借鑒深度可分離卷積的思路，通過引入多尺度的特征融合模塊，設計了一個針對目標檢測任務的輕量化模型Tiny-YOLOv3+。相比于使用其他輕量化特征提取網絡設計的YOLOv3，設計的輕量化目標檢測模型在實驗精度略微提升的情況下，大大降低了模型的參數量，明顯提升了檢測速度。實驗的訓練和推理過程仍舊是在高性能計算機上進行，下一步將考慮將檢測模型移植到嵌入式設備上進一步進行研究。