改進YOLO v4-tiny的火焰實時檢測*

王冠博，趙一帆，李 波，楊俊東，丁洪偉

(1.云南大學信息學院,云南 昆明 650504；2.云南民族大學電氣信息工程學院，云南 昆明 650031)

1 引言

在現實生活中，火災具有傳播速度快、破壞性強等特點，嚴重威脅著自然環境和社會安全。因此，構建一個快速、有效的火焰識別系統具有重要的現實意義。

目標檢測是計算機視覺領域的一項挑戰性任務。近幾年，得益于深度神經網絡的發展及硬件計算能力的提升[1,2]，目標檢測取得了一系列重大突破，如SSD(Single Shot Multibox Detector)[3]、YOLO(You Only Look Once)[4-7]系列等算法在速度和精度二者之間達到了均衡，在實際中得到了廣泛應用。YOLO v4-tiny是YOLO系列輕量級網絡的最新改進，與YOLO v4相比，模型的參數量已大幅縮減，適合部署在移動設備上，但其計算量和準確度仍有改進的空間。

針對火焰實時檢測的實時性需求，以及火焰特征復雜、火焰檢測易受周圍環境干擾的特點，為了能在算力有限的移動設備上部署更高效的目標檢測模型，本文對YOLO v4-tiny進行了改進，在縮小模型尺寸的同時提升了模型的準確性與實時性。本文做的改進主要有以下3點：

(1)采用結構化修剪的方法對YOLO v4-tiny的卷積核進行了修剪。針對火焰圖像噪聲干擾較大、明暗度差別較大且火焰尺寸大小不一的特點，采用膨脹卷積擴大模型的感受野，并修改CSP(Cross Stage Partial connections)模塊的部分卷積核尺寸，提出沙漏型CSP-ResNet結構；

(2)為使模型在網絡淺層即可獲取不同尺度的火焰特征，在模型的前端加入CSP-RFBs(Receptive Field Block)結構，增大模型的感受野，生成具有更高分辨率的特征；

(3)為了使模型能夠檢測不同尺度的火焰圖像，在網絡深層采用了改進型SPPs(Spatial Pyramid Pooling)，對多重感受野進行進一步融合。

2 相關工作

2.1 基于深度卷積神經網絡的目標檢測方法

基于深度學習的目標檢測依靠卷積和池化技術已達到優異性能，但其參數量和計算成本比較大，無法部署在移動平臺上。現實中的目標檢測任務(如自動駕駛)旨在有限的計算能力下達到最佳精度，這促使研究人員提出了一系列速度更快、精度更高的輕量級網絡結構，主要包括Retinanet[8]，Xception[9]，MobileNetV1[10]，MobileNetV2[11]，MobileNetV3[12]，ShuffleNet[13]和ShuffleNet V2[14]。

2.2 膨脹卷積

膨脹卷積首先出現在DeepLab[15]中，其通過稀疏式的卷積操作來生成具有更高分辨率的特征圖，同時保持相同的參數量，無需增加計算成本即可捕獲更大區域信息，已被廣泛應用于語義分割任務中大規模上下文信息的合并[16]。這種設計也被一些目標檢測器采用，如R-FCN(Region-based Fully Convolutional Network)[17]和DetNet(Deterministic Networking)[18]，以提高檢測速度和準確性。針對火焰圖像場景復雜、噪聲干擾較多且火焰形態不一等問題，若要進一步提升模型檢測的準確率，需要擴大模型的感受野以獲取更密集的特征。此外，采用膨脹卷積代替傳統卷積，并不會對圖像特征進行壓縮，在處理單類別問題和較大尺度物體時，具有明顯優勢。

2.3 感受野

在卷積神經網絡CNN(Convolutional Neural Network)中，感受野可決定某一層輸出結果中一個元素對應的輸入層的區域大小。在人體關鍵點檢測、圖像分割等領域，已有采用增大感受野的方法來提高模型性能的研究。Luo等[19]提出了有效感受野的概念，采用擴張卷積和逆高斯分布的權重初始化等方法，抵消感受野的高斯分布影響。Singh等[20]提出了HetConv,在大幅減少參數量的前提下擴大了感受野，同時保證了卷積操作的低延遲和準確性。

在目標檢測領域，也可以通過增加感受野的方法來提高模型的特征提取能力，改善模型性能。感受野塊RFB(Receptive Field Block)把人類視覺中的感受野機制引入目標檢測，增加模型的感受野，增強了輕量級網絡結構的特征表示。TridentNet[21]以ResNet-101為骨干網絡，引入膨脹卷積層增加模型感受野，使模型可適用于多尺度特征提取。

Figure 1 Structure of YOLO v4-tiny network

3 模型設計

3.1 YOLO v4-tiny網絡結構

YOLO v4-tiny網絡結構如圖1所示。為了減少計算量，YOLO v4-tiny僅采用了3個級聯的CSP-ResNet[21]模塊，逐步輸出具有更高分辨率的特征圖。網絡的檢測層分別連接2種尺寸的YOLO層，分別對輸出的特征圖進行分類和定位，并未采用其它技巧來提升模型性能。

YOLO v4-tiny的模型中端采用3個CSP-ResNet(如圖2所示)進行特征提取。CSP-ResNet將CSPNet與ResNet[22]進行有效結合，將梯度變化集成至特征圖，可在減少計算量的同時保證模型的準確率。

Figure 2 Structure of CSP-ResNet

與YOLO v3-tiny堆疊卷積層和池化層的方法不同，YOLO v4-tiny采用了3個殘差模塊來提取圖像特征。YOLO v4-tiny網絡深層采用了512的卷積濾波器，模型參數量較大，影響了模型的檢測速度。此外，模型均采用3×3的卷積核，這就使得模型的感受野受限，不利于多尺度特征提取。

為了解決YOLO v4-tiny的問題，本文提出了改進型YOLO v4-tiny。改進型YOLO v4-tiny旨在在算力有限的移動設備上處理速度更快、準確率更高、性能更好。首先，本文減少了模型參數，并在模型中端的CSP-ResNet引入膨脹卷積，提出沙漏型CSP-ResNet結構。為了解決YOLO v4-tiny感受野有限的問題，在不大量增加額外計算參數的情況下，本文提出了改進型CSP-RFBs并將其應用于模型網絡淺層，以獲取具有更高分辨率的特征。此外，本文在網絡深層采用了改進型CSP-SPPs，對多重感受野進行進一步融合。圖3為改進后的YOLO v4-tiny結構圖。

3.2 改進型YOLO v4-tiny的網絡結構

3.2.1 模型參數修剪

本文主要采用調整卷積層濾波器數目的方法對YOLO v4-tiny進行修剪。由于模型剪枝不是本文的主要研究工作，因此采用了一種同時修剪多個卷積層濾波器數量的剪枝方案。

目前的模型修剪方法大多是在VGG(Visual Geometry Group)和ResNet等大型神經網絡模型上進行的，而用于YOLO v4-tiny、MobileNet和ShuffleNet等的剪枝方法很少,其中一個主要原因是輕量級模型的冗余度明顯低于重量級模型。

表1為模型參數修剪前后網絡結構對比。本文主要對模型中卷積層的濾波器數量進行了修剪。對于具有修剪彈性的層，這種修剪方法可以去除網絡中的重要部分，并且可以在短時間內通過重新訓練來恢復準確性(小于原來的訓練時間)。然而，當敏感層的一些過濾器被修剪或大部分網絡被修剪時，可能無法恢復原來的準確性。本文的消融實驗結果顯示，修剪后模型的參數量僅為原始模型的32.9%，權重文件大小為原始模型的55.7%,但模型的準確率僅比原始模型下降了2.2%，這充分表明了本文采用的修剪方法的有效性。

Figure 3 Structure of improved YOLO v4-tiny network proposed in this paper

3.2.2 改進骨干網絡

為減少模型的計算量，本文對YOLO v4-tiny卷積濾波器數量進行了修剪，并將CSP-ResNet模塊兩端的卷積核尺寸改為1×1，其結構如圖4b所示。這確實大幅度減少了模型的計算量，但帶來了準確度損失，如表1 所示。為了在縮減參數的同時盡可能提高模型的準確性，受MobileNext中沙漏型殘差瓶頸結構的啟發，本文嘗試將膨脹卷積層加入CSP-ResNet，提出沙漏型CSP-ResNet結構，如圖4c所示。

Table 1 Comparison of network structures before and after model pruning

Figure 4 Structure of CSP-ResNet before and after pruning

圖4a為YOLO v4-tiny中CSP-ResNet的原始結構，包括由b層3×3卷積核組成的基礎層、b/2層3×3卷積核組成的ResNet、b層1×1卷積核組成的過渡層。圖4b為修剪參數后的CSP-ResNet層，對模型的參數進行了大量修剪，基礎層3×3的卷積核修改為1×1卷積核，模型的整體結構與圖4a的保持一致。圖4c為本文提出的沙漏型CSP-ResNet，在圖4b基礎上，在基礎層和過渡層中加入了膨脹卷積層。

膨脹卷積最初來自DeepLab[15]，可在保持參數量和相同卷積核尺寸的情況下獲取更高分辨率的特征。

膨脹卷積既帶有常規卷積層的卷積濾波功能，也具有池化層的泛化作用。此外，膨脹卷積不會隨著步長Stride的增加而減小特征圖尺寸。膨脹卷積支持指數級拓展的感受野，在模型中采用膨脹卷積的操作不會丟失分辨率和覆蓋范圍。膨脹卷積的平面計算層如圖5所示。感受野的尺寸呈指數增長，模型的參數量則為線性增長。

Figure 5 Planar computational layers of the 3×3 convolution kernel at different expansion rates

膨脹卷積可擴大模型的感受野，以獲取更高分辨率的特征圖。將膨脹卷積應用于CSP-ResNet的基礎層和跨階段連接層，可以極小的計算代價拓寬CSP-ResNet感受野，緩解梯度混淆的問題,進而提升模型性能。

Figure 6 Structure of RFB

表2為在對模型進行參數修剪后，不同的膨脹率對模型性能的影響，其中BFLOPs(Billion FLoat Operations Per second)表示每秒鐘執行的百萬次浮點運算次數。膨脹卷積不會額外增加模型的參數量，因此3組實驗的參數量相同。但是，較大膨脹率的膨脹卷積層在計算過程中需要更多的推理時間，且權重較大，這會直接影響模型的推理時間。因此，采用更大的膨脹率后模型的準確率略有提升，但模型的FPS下降了0.4。膨脹率設為1時，即為普通卷積。當膨脹率為2和4時，模型的FPS分別下降了0.2和0.4，但模型的準確率提升了4.8%，這表明膨脹卷積層的引入是有效的。綜合考慮模型的準確率和實時性，本文選取膨脹率為2的膨脹卷積層。

Table 2 Inflated convolutional layers performance comparison of pruned model with different ratios

3.2.3 擴大模型的感受野

Bochkovskiy[7]在YOLO v4中提到，擴大模型的感受野是一種以較小推理成本提高目標檢測準確性的方法。由于火焰圖像尺度變化較大，模型的沙漏型CSP-ResNet結構的膨脹卷積可對大尺度的火焰圖像進行檢測處理，但膨脹卷積由于網格效應，在檢測小物體時性能較差。如果能在模型淺層獲取較小尺度的火焰特征，將有助于模型針對較小火焰的識別與檢測。為了在模型淺層就能獲取到更高分辨率的特征圖，且不大量增加計算量，本文在模型前端加入CSP-RFBs。RFB借鑒了Inception的多分支結構，加入了膨脹卷積層，可使輕量級CNN模型提取到更深層特征，有效擴大了模型的感受野。RFB的結構包括多分支卷積層和膨脹卷積層，其結構如圖6所示。

RFB網絡中采用了多尺度的膨脹卷積，并設置瓶頸結構減少特征圖的通道數。為獲取更高分辨率的特征，RFB的每個分支都在正常卷積運算后面連接不同尺寸的膨脹卷積運算。最終，將所有的分支進行級聯合并特征圖。與RFB不同，RFBs(圖7)采用3×3的卷積層來替換5×5的卷積層，以減少RFBs的參數量。然而，這種方法并不適用輕量級目標檢測網絡。

Figure 7 Structure of RFBs

Figure 8 Improved CSP-RFBs

為了達到速度與實時性的均衡，本文在RFB的基礎上提出了實時性與準確性均衡的CSP-RFBs。Wang等[22]引入了CSPNet,這種結構可以應用于各種CNN的架構中，減少了模型的參數量和計算量。此外，CSPNet的結構可以減少網絡的推理時間，已被廣泛應用于目標檢測的YOLO v4、YOLO v4-tiny等算法。因此，本文將CSPNet的網絡結構與RFBs相結合，提出了CSP化的RFBs，圖8為其結構圖。

RFBs是為了大型目標檢測網絡設計的，參數量較大。雖然RFBs采用了1×3和3×1的卷積層，但對于輕量級的目標檢測來說，仍然存在較多的冗余參數。因此，為了進一步降低計算成本，增加網絡中非線性模塊的數量，本文采用多個1×1 卷積層來加深和拓寬網絡結構。此外，本文還在1×1卷積層中加入非線性激勵層，以增強網絡的表現力。然而，僅修改卷積核尺寸并不能達到預期的效果，所以本文還改進了RFB的結構，在RFBs中加入了一個Shortcut層，以增強特征表達。為了進一步增強輸出特征，本文提出了CSP-RFBs。CSP-RFBs增加了3個3×3的卷積層和深度分離的卷積，使模型能夠獲得更深的特征，增強CSP-RFBs的魯棒性。

為了驗證CSP-RFBs的有效性，本文將RFBs與改進型RFBs、CSP-RFBs在火焰數據集上進行對比。表3為分別采用RFB、RFBs和改進型RFBs時模型的性能對比。RFB是針對通用型大型卷積神經網絡設計的，因此模型參數量最大，實時處理速度最慢。采用RFBs之后，模型的參數量得到了縮減，準確率和FPS也得到了進一步提升。采用本文提出的改進型CSP-RFBs之后，模型的參數量得到進一步縮減，整體性能優于RFB的和RFBs的。

Table 3 Model performance comparison respectively using RFB, RFBs, and improved RFBs

3.2.4 改進型CSP-SPPs

由于真實火焰圖像的尺寸變化較大，為了使模型可以檢測不同大小的火焰圖像，使模型整體具有較強的魯棒性，本文在模型深層將不同尺寸的特征進行了融合。He 等[23]首先提出SPP結構，將空間金字塔匹配模塊融合至卷積神經網絡，并采用了最大池化層。YOLO v3、YOLO v4和Scaled-YOLO v4均對SPP進行了改進，并達到了最優效果。但是，這些改進的SPP結構都是為參數量和計算量都比較大的大型目標檢測網絡設計的，并不適用于輕量級目標檢測網絡。因此，本文對SPP重新進行了設計，分別刪除了CSP-SPP中的1×1和3×3卷積層，如圖9所示。消融實驗結果表明了改進型CSP-SPPs的有效性。

Figure 9 Structure of CSP-SPP and improved CSP-SPP

Table 4 Models performance comparison respectively using SPP, CSP-SPP,and improved CSP-SPPs

表4為修剪后的模型分別采用SPP、CSP-SPP和改進型CSP-SPPs時的性能對比。由于SPP是針對大型目標檢測網絡設計的，基礎層的卷積層較多，參數量較大，因此采用SPP后，模型的參數量最大，實時處理速度最慢。采用CSP-SPP之后，模型的參數量和權重文件大小得到縮減，實時處理速度提升了14，但模型的準確率下降了0.3%。采用改進型CSP-SPPs之后，模型的參數量和權重文件大小分別減少了0.301 BFLOPs和1.8 Mb，準確率和FPS分別提升了2.4%和1.2。因此，在移動設備采用改進型CSP-SPPs是有效的。

4 實驗及結果分析

4.1 實驗平臺與數據集

本節在NVIDIA RTX 2080Ti平臺上訓練改進型YOLO v4-tiny，在NVIDIA Jeston Xavier NX開發板上測試FPS。NVIDIA Jeston Xavier NX開發板具有384個CUDA核心，48個tensor核心和2個NVIDIA引擎，性能是NVIDIA Jetson TX2的10倍以上，具有精確多模式的AI推理功能，在15 W功率下AI性能可達21 TOPS(Tera Operations Per Second)。以下實驗采用15W 2核心的功率模式進行測試。

Table 5 NVIDIA RTX 2080Ti vs NVIDIA Jetson Xavier NX

本文采用的實驗火焰圖像數據集分別來自kaggle火焰數據集(https://www.kaggle.com/phylake1337/fire-dataset)、火焰公開數據集(http://signal.ee.bilkent.edu.tr/VisiFire/)以及互聯網采集，一共967幅火焰圖像,其中，70%(711幅)組成訓練集，30%(256幅)組成測試集。所有數據集均用LabelImg進行標注。

本文實驗以YOLO v4作者提供的模型參數為基礎，經過大量實驗選取最優參數，并對部分參數進行了調整。本實驗采用DarkNet框架在2080Ti平臺上對改進型YOLO v4-tiny進行訓練，它是一個用C和CUDA編寫的開源神經網絡框架，支持CPU和GPU。模型默認輸入圖像尺寸為416×416，采用SGD優化器，批量大小設為64，動量為0.9，學習率在初期設為0.002 61，在迭代至訓練次數的80%和90%時，學習率分別降至初始值的10%和1%，迭代次數設為8 000。

4.2 消融實驗

為了證明改進方法的有效性以及每個模塊對模型的影響，本文首先對YOLO v4-tiny的網絡參數進行了縮減，之后依次加入CSP-RFBs模塊、沙漏型CSP-ResNet模塊和改進型CSP-SPPs模塊分別進行實驗。表4為消融實驗結果，實驗結果包括準確率(mAP)、模型權重文件大小、模型參數量和實時處理速度FPS。

Figure 10 Comparison of detection results between YOLO v4-tiny and the improved model in this paper

由表6可知，對YOLO v4-tiny的模型參數進行修剪之后，模型的參數量僅為2.23 BFLOPs，模型的權重文件大小為13.1 Mb，約為原始模型的55.7%。由于參數量和模型的計算量得到了極大縮減，因此模型的推理時間也大幅減少，FPS提升了20.6，但同時也帶來了準確率的損失，模型的準確率相比原始模型的下降了2.2%。加入CSP-RFBs后，在淺層網絡擴大了模型的感受野，僅額外增加0.13 BFLOPs的計算量，模型的準確率卻得到了14.6%的提升。由于增加了一個CSP網絡層，因此模型的FPS下降了5.3。加入沙漏型CSP-ResNet模塊后，參數量增加了0.06 BFLOPs，模型的準確率得到了進一步的提升。由于膨脹卷積層的加入，模型的權重文件大小增加了2.9 Mb，FPS損失了6.3。最后，在模型中加入改進型CSP-SPPs模塊，參數量僅增加了0.03 BFLOPs，模型的FPS與之前相比并無較大變化，但準確率得到了1.8%的提升。因此，本文在減小模型尺寸、減少計算量的基礎上，提升了模型的檢測精度和檢測速度。

Table 6 Analysis of the ablation experimental results of the improved YOLO v4-tiny model

圖10為YOLO v4-tiny與本文改進模型針對火焰圖像的檢測結果對比圖。從圖10中可看到，在較為簡單的檢測場景中，本文改進模型的準確度均優于原始模型的。在檢測目標較多、火焰尺度變化較大的復雜場景中，原始模型會出現漏檢、虛檢情況。本文提出的改進模型在實際檢測中，準確度和檢測效果均有較大提升，模型整體優于原始模型。

4.3 與其他輕量級目標檢測模型性能對比

本節選取SqueezeNet SSD、MobileNet SSD與改進型YOLO v4-tiny進行對比，數據集同樣采用火焰數據集，在NVIDIA RTX 2080Ti平臺上進行訓練，在NVIDIA Jetson Xavier NX平臺上進行測試，與前文實驗環境保持一致。

表7為模型性能對比的實驗結果。從表7可以看出，改進型YOLO v4-tiny在權重、參數量和FPS方面均取得了較好的結果。改進型YOLO v4-tiny的參數量約為SqueezeNet SSD的54.6%，權重文件大小減小了5.9 Mb，mAP提高了17.3%，實時處理速度也高于SqueezeNet SSD的。MobileNet SSD的準確率高于表6中的YOLO v4-tiny的準確率。為了進一步比較MobileNet SSD與改進型YOLO v4-tiny的性能，本文對MobileNet SSD的卷積核進行了修剪，在保證模型參數量相近的情況下，比較模型的性能。修剪卷積核之后的MobileNet SSD的模型權重文件大小和FPS均有較大改進，但準確率卻急劇下降。因此，就整體性而言，改進型YOLO v4-tiny是一種部署在計算能力有限平臺上的競爭模型。

Table 7 Comparison with other lightweight target detection models on the flame dataset

5 結束語

本文提出一種針對火焰實時檢測的改進型輕量級目標檢測模型。本文在YOLO v4-tiny的基礎上，對模型參數量進行了縮減。為達到準確率與實時性的均衡，本文首先對CSPNet模塊進行改進，增強了模型特征提取能力；之后加入RFBs模塊以擴大感受野，使模型可獲取到更高分辨率的特征圖；最后在網絡深層加入改進型CSP-SPPs，對多重感受野進行進一步融合。實驗結果表明，本文提出的改進YOLO v4-tiny模型的整體性能均優于YOLO v4-tiny的，但針對復雜場景的火焰檢測，會出現虛檢和誤檢的現象，這是由于網絡較淺，學習能力較差。因此，為解決這個問題，接下來準備將特征金字塔網絡進行輕量化改進，并將其應用至輕量化檢測模型，以獲得更優的性能。