基于改進YOLOv3的輕量級目標檢測算法

王燕妮,賈瑞英

(西安建筑科技大學信息與控制工程學院,陜西 西安 710055)

0 引言

目標檢測是計算機視覺領域的一個基本問題,旨在對對象進行分類并預測目標所在位置[1]。它的應用十分重要與廣泛,比如常見的紅外探測技術[2]、智能視頻監控[3]、車道線檢測[4]等。

傳統的目標檢測算法主要基于手動提取特征,如常用于行人檢測的方向梯度直方圖(histogram of ooiented feature gradient, HOG)[5]與支持向量機(support vector machine, SVM)[6]算法。傳統算法對滑動窗口的區域選擇策略沒有針對性,且冗余設計的窗口特征對于多樣性的變化未達到較好的魯棒性,這些任務目前的解決方法是基于卷積神經網絡的方法。

基于卷積神經網絡的目標檢測算法依據速度可分為兩階段目標檢測與單階段目標檢測。兩階段目標檢測算法先提取出候選目標邊界框,然后做分類和邊界框回歸任務,如經典的Faster-RCNN[7],但該模型檢測效率低,速度上無法滿足實時的要求。單階段目標檢測算法將兩階段融合在一起,采用了“錨點+分類精修”的實現框架。單階段檢測算法(single shot muitibox detector,SSD)[8]結合了回歸思想與anchor box機制,提取到一系列離散化的bounding boxes,但SSD算法對本身較小的目標檢測效果較差。快速目標檢測算法(you only look once, YOLO)[9]系列算法將目標檢測任務轉化為一個回歸問題,在網絡預測窗口使用全局信息,這使得檢測精度大大提高。

近些年來,卷積神經網絡在計算機視覺領域取得了很大進展,在目標檢測領域也取得了一定的成果。Shuffle Netv2[10]與Mobile Netv2[11]網絡通過在主干中加入深度可分離積(depthwise separable convolutions, DSCs)[12]或神經搜索結構(neural architecture search, NAS)[13]減小參數模型及運算參數量。輕量化的網絡層出不斷,文獻[14]提出的基于部署的檢測網絡輕量化程度高,但檢測精度有限。文獻[15]通過引入ShuffleNet中的通道打亂機制減小識別船舶模型。但上述模型在減小參數量的過程中,網絡的一些固有特征被弱化了。VGNetG網絡[16]嘗試使用邊緣檢測器替換可學習的深度分類卷積層,通過減少映射中的冗余提高模型參數效率和推理速度。

基于YOLOv3的輕量級檢測算法通過低成本操作得到更多的特征圖信息,借鑒特征對齊融合網絡(feature-align pyramid networks,FaPN)[17]改進的FSSA模塊有效融合信息;通過嵌入改進交叉注意力[18](improved criss cross Attention,ICC-Attention),增加模型對空間位置的關注,兼顧檢測精度與速度,減少目標物誤檢,提升檢測效率與網絡目標定位能力。

1 YOLOv3模型

YOLOv3模型是經典的多尺度目標檢測模型,以整張圖作為輸入,以回歸邊界框的位置和邊界框所屬的類別作為輸出。模型在檢測時首先將輸入圖片劃分為S×S個網格,每個網格負責檢測目標物中心點落在網格內部的物體;然后通過計算每個網格中預測框的置信度得分,采用非極大值抑制算法(non-maximum suppression, NMS)[19]選出置信度最高的預測框來實現初步目標的定位與分類;最后利用損失函數訓練各類誤差并進行最小值尋優,完成目標的精確定位與分類。模型由檢測主干、融合網絡、檢測頭三部分組成。

1.1 檢測主干Darknet53

YOLOv3模型以Darknet53作為主干網絡進行特征提取。主干網絡含有5個殘差塊,每個殘差塊均使用大量的卷積與跳躍連接有效提取多個尺度的語義信息。每個殘差塊由圖1所示的1×1卷積與3×3卷積及殘差邊組成。為達到更高效的精度,主干網絡制造更深更復雜的網絡,但模型規模同時增大,訓練參數多,檢測速率低下。

圖1 殘差模塊Fig.1 Residual module

1.2 特征融合金字塔

YOLOv3的頸部融合網絡(feature pyramid networks, FPN)[20]對主干提取的三個特征層重新處理,將不同感受野的特征圖進行信息融合。如圖2所示,特征融合金字塔是自頂向下的,采用多尺度融合的方式對淺層和中層目標進行特征融合,構成三個不同尺度的目標定位與語義信息的融合層,增強網絡語義信息的表達能力。

圖2 FPN特征融合網絡Fig.2 Feature pyramid networks

1.3 檢測頭

YOLO Head由兩個卷積組成,卷積核大小分別為3×3與1×1,前者用于特征整合,后者用于調整通道數,最后輸出檢測目標的位置與類別置信度信息。

2 改進的輕量級檢測算法

為改善YOLOv3模型的不足,改進后模型首先使用輕量深度卷積網絡VGNetG高效提取特征信息;其次使用特征尺度感知FSSA模塊動態融合[21]多尺度上下文信息[22];最后ICC-Attention模塊收集給定像素的上下文信息算法,在計算資源較少的情況下提煉關鍵目標的上下文信息,減少漏檢誤檢情況。算法整體框架圖如圖3所示。

圖3 改進算法整體框架圖Fig.3 Overall frame diagram of the improved algorithm

2.1 主干網絡

改進算法使用輕量化主干VGnetG模型提取特征。下采樣模塊與恒等映射模塊如圖4所示。圖4(a)中,下采樣模塊先通過步長為2的深度可分離卷積(depthwise separable convolutions, DSCs)來加倍通道數、減半分辨率并提取特征,再通過點卷積來擴展通道并重用這些特征。

圖4 下采樣模塊與恒等映射模塊Fig.4 Down-sampling module and identity mapping module

深度可分離卷積將標準卷積分解為用于空間濾波的輕量級深度卷積和用于特征生成的點卷積。由于帶有深度卷積核卷積會導致特征圖重復與計算冗余,因此網絡使用恒等映射來代替部分深度卷積。下采樣模塊中僅擴展通道部分由逐點卷積生成來重用特征,提高推理速率。半恒等模塊用恒等映射模塊替換一半的深度卷積,且輸入的右半部分組成最終輸出的左半部分,輸出的右半部分由逐點卷積生成,在保持塊寬度的同時減少點卷積以更好重用特征。改進后的算法主干中每個stage層由圖4(a)與4(b)兩個模塊疊加而成。VGNetG模型詳細網絡參數如表1所示。

表1 VGNetG網絡結構Tab.1 VGNetG network structure

2.2 嵌入注意力機制

注意力機制指人類在觀察周圍物體時,選擇性地聚焦在關鍵物體上,同時忽略其他事物的一種策略。

2.2.1改進的交叉注意力

長距離依賴性也叫非局部上下文信息[23]。要準確完成目標檢測,獲得長距離依賴性非常必要。

圖5(a)所示的非局部注意力模塊首先使特征圖A每個位置生成一個自適應的注意力圖B,并對輸入特征圖A做某種轉化C,然后對B和C進行加權和,獲得每個位置的上下文信息D,即密集連通注意力,這需要很多計算力,不適合對速度與精度要求較高的YOLO系列算法。

圖5 非局部注意力和改進的交叉注意力Fig.5 Non-local block and improved criss cross attention

如圖5(b)所示,重復的交叉注意模塊只需兩次遍歷十字位置上的信息便可采樣到所有像素的上下文信息F來增強位置表示,且注意力參數都是共享的,模塊復雜度小。交叉注意力使用兩個連續的注意力取代原有密集通道注意力,僅在十字交叉方向上聚合信息,極大降低了注意力的時間與空間復雜度。

ICC-Attention模塊解決了目標檢測中語境信息不足的問題,其使用兩個連接圖來代替常見的單個密集連接圖,在提高參數運算效率的情況下,有效獲取全圖上下文信息,適合改進的算法。

2.2.2微交叉注意力MCC-Attention

組成改進交叉注意力的微交叉注意力如圖6所示。首先,輸入特征圖H∈RH×W×C經過全局平均池化操作,然后進行卷積核大小為k×k卷積操作,并經過Sigmoid激活函數得到各個通道的權重,最后將權重與原始輸入特征圖對應元素相乘,得到的特征圖輸入到交叉注意力機制中,沿空間維度展開得到矩陣H′∈RN×C,其中N=H′·W,C表示不同圖像區域的高維向量。

圖6 微交叉注意力Fig.6 Micro criss cross attention

給局部特征映射H′ 應用兩個具有1×1濾波器的卷積層分別生成兩個映射Q與K,在Q空間維的每一個位置u上,可以得到一個向量,同時從K中提取與位置u在同一行或同一列的特征。進一步通過Affinity操作,在H′上應用另一個1 × 1濾波的卷積層,生成V∈RC×W×H′進行特征自適應。

Affinity操作指在Q空間維度u的每個位置上,計算與K同行或同列元素的相關性。

2.3 FSSA融合網絡

FSSA模塊通過計算兩組未對齊特征的偏移量,給底層特征提供準確的位置信息與高層特征融合,進而減少目標物漏檢。特征尺度感知FSSA模塊結構圖如圖7所示。

圖7 FSSA融合模塊Fig.7 FSSA fusion module

2.3.1特征選擇模塊FSM

特征選擇模塊通過SE注意力(squeeze and excitation)[24]為輸入特征建立含有豐富細節語義信息的特征映射,通過全連接來保留高權重噪聲點,增強感受野。為減少邊界信息損失,FSM模塊在計算得到輸入重要矩陣U后,繼續縮放新特征圖并引入特征選擇層,完成包含空間細節的重要特征圖的精確分配,進而自適應地重新校準通道響應。

圖8 圖像選擇模塊FSMFig.8 Feature selection module

首先,輸入特征圖到注意力模塊中,特征重要性建模層fm(·)學習這些信息來建模每個特征圖的重要性,并輸出重要度矩陣U;其次使用重要度矩陣U得到縮放后的特征圖,并將其添加到原始特征圖上;最后,在特征映射上引入特征選擇層fs(·)(即1×1 conv層以提高效率),用于有選擇地維護重要的特征映射和刪除無用的特征映射以減少信道?？偟膩碚f,FSM的過程可以公式化為

(1)

2.3.2特征尺度感知模塊FSA

尺度感知模塊(feature scaled aware,FSA)通過研究人類視覺的感受野(receptive fields, RFs[25])結構有效整合錯位信息。模塊動態選擇合適的尺度特征,并通過自學習進行融合。

圖9 特征尺度感知模塊FSAFig.9 Feature scare aware

尺度感知模塊中不同大小的卷積核類似于不同的感受野,不同空洞率的空洞卷積為每個分支分配偏心距可擴大感受野。其完成所有分支拼接與1×1卷積操作后生成感受野空間陣列,模擬人類視覺空間陣列,獲取并對齊特征層的上下文信息,捕獲多尺度特征信息。

3 實驗與分析

3.1 實驗數據

基于YOLOv3的輕量級算法使用的是經典的目標檢測數據集PASCAL VOC數據集[26],包含20個類別。在訓練階段,算法使用PASCAL VOC2007 trainval與PASCAL VOC2012 trainval作為訓練集和驗證集,使用PASCAL VOC2007 test作為測試集來測試。數據集中各類目標均勻分布,保證了實驗的有效性。

3.2 評價指標

算法的評價指標為mAP(均值平均精度)。在目標檢測中,mAP是所有類別的平均精度求和除以所有的類別,取IOU=0.5時的mAP值。P-R曲線即精準率-召回率的關系曲線圖,即在坐標系上做以precision和recall為縱、橫軸坐標的二維曲線。

3.3 訓練過程

實驗配置環境如下：CPU為AMD EPYC 7302H、GPU為NVIDIA GeForce RTX3090、CPU顯存為24 GB、硬盤內存為50 GB。訓練過程的優化參數如下：訓練的epoch為140,設置每批次輸入網絡的圖像數為32。訓練采用兩步驟訓練法,首先凍結骨干網絡訓練前20個epoch,初始學習率為0.001,每迭代一次,學習率下調5%;從第21個epoch開始,解除凍結的骨干網絡,初始學習率設置為0.000 1,且每迭代一次,學習率也下降5%。此訓練方式有助于保持模型深層的穩定性,提升網絡對多尺度目標物的檢測能力。

3.4 實驗結果

在輸入圖片尺寸為416×416時, 改進算法的檢測精度為84.1%,比SSD算法檢測精度提高6.9%,并且檢測速度符合實時檢測速率。另外, 和兩階段算法的 Faster R-CNN 相比, 算法在輸入圖片像素尺寸為416×416的情況下, 檢測精度超過輸入圖片像素尺寸為1 000×600的Faster R-CNN算法。

3.4.1檢測結果圖對比

為更直觀地體現本網絡的性能,選取了部分圖片來展示算法在PASCAL VOC2007 test下的檢測結果圖如圖10所示?？梢钥闯鯵OLOv3檢測中均有漏檢,改進后的算法檢測出圖10(a)中有像素交叉時漏檢的person類,和復雜背景下的圖10 (c)中的cow類。說明YOLOv3模型對小尺度目標物不敏感,改進后的算法均可以檢測出圖10(e)中的boat類、圖10(g)中的sheep類。從以上結果得知,改進的算法對漏檢、小目標的物體檢測有一定的泛化能力。

圖10 檢測算法結果對比Fig.10 Comparison of detection algorithm results

3.4.2消融實驗

本文改進方法以YOLOv3為基線做出三個改進：采用輕量化的檢測主干、改進的交叉注意力與特征尺度感知模塊。為了評估引進的模塊在PASCAL VOC 2007 test數據集上的影響,在此數據集上進行消融實驗,定性分析各模塊的檢測性能結果如表2所示。

表2 不同模塊精度對比結果Tab.2 Accuracy comparison results of different modules

3.4.3不同算法檢測速度與精度對比

為了驗證算法的檢測性能,將改進算法和SSD、YOLOv3、YOLOv4[27]、YOLOv3-tiny[28]進行實驗對比。從表3可以看出,與SSD、YOLOv3相比,基于YOLOv3的輕量級目標檢測算法的運算量與參數量都成倍減少。與YOLOv3-tiny相比,雖然運算量與參數量相差不大,但精度mAP增長17%。改進算法精度雖遜色于YOLOv4,但需要的運算力更小。

表3 PASCAL VOC2007 test數據集下檢測速度與檢測精度對比Tab.3 Comparison of detection speed and detection accuracy in the PASCAL VOC2007 test dataset

圖11為6 個算法檢測精度的對比折線圖,紅色折線圖表示為改進算法的精度圖走向?？梢郧逦乜闯?算法在car、cow、table、dog、mbike、person、sheep、sofa、train、tv這10個類都達到了最高精度。

圖11 數據集上20種類別 AP對比Fig.11 AP comparison of 20 categories

綜上表明改進后的輕量級算法檢測參數量小。若在相同的參數量下,改進算法不僅能準確識別出更多的目標數量,且對相似目標的辨別能力更強,特別是對小目標和密集圖像等檢測難的目標,效果有顯著提升。上述實驗充分說明改進后的方法有利于改善小目標、密集目標等的漏檢情況。

4 結論

為解決當前檢測模型難以適配在便攜式移動設備與嵌入式平臺的問題,基于YOLOv3的輕量級目標檢測算法充分使用豐富的上下文信息來解決困難目標漏檢問題。首先使用VGNetG作為主干,并在網絡中引入改進的交叉注意力模塊以提取更多上下文信息,增強網絡對關鍵信息的辨別能力;其次,對于原網絡的融合機制進行改進,引入FSSA網絡融合更豐富細節的低分辨率的特征,從而進一步提高網絡在密集目標環境下的檢測效果。

基于YOLOv3的輕量級目標檢測算法在PASCAL VOC 2007測試集上的檢測精度達到了84.1%,檢測速度達到47幀/s,參數量為5.37 M,證明該算法具有實時性和一定魯棒性。改進后的算法需要進一步完善算法的速度,可針對各個模塊進行優化,全面提升網絡在復雜場景下目標檢測性能。