改進YOLOX 火災(zāi)場景檢測方法的研究*

張劍飛 柯 賽

（黑龍江科技大學(xué)計算機與信息工程學(xué)院 哈爾濱 150022）

1 引言

傳統(tǒng)的火災(zāi)檢測有基于煙霧和溫度的傳感檢測，也有通過電動閥和排氣閥的數(shù)據(jù)檢測。隨著深度學(xué)習(xí)的發(fā)展，喻麗春［1］等使用改進的Mask R-CNN，通過自下向上的特征融合以及改進的損失函數(shù)實現(xiàn)對火焰的高精度檢測。吳凡［2］將YOLOv3［3］的主干網(wǎng)絡(luò)替換為Densenet121 提升網(wǎng)絡(luò)對火焰和煙霧的特征提取能力，并引入Focal Loss。趙民［4］等提出基于CenterNet［5］算法的復(fù)雜環(huán)境目標(biāo)檢測技術(shù)。李欣?。?］等使用深度可分離卷積來改進火焰檢測模型，并使用多種數(shù)據(jù)增強技術(shù)提高檢測精度。雒朝輝［7］使用基于YOLOv4框架的無人機進行實時火焰檢測。

然而上述方法的模型相對復(fù)雜，計算量大，檢測目標(biāo)單一，難于部署。為解決這些問題，本文提出了一種改進的T-YOLOX 檢測模型，對火災(zāi)場景下的火焰、煙霧以及受災(zāi)人員進行檢測。

該方法基于YOLOX［8］架構(gòu)，結(jié)合輕量級注意力模塊對每個通道權(quán)重做調(diào)整，從而提升網(wǎng)絡(luò)整體的特征提取能力；添加通道混合模塊，提高各通道間交流能力，抑制過擬合；將主干網(wǎng)絡(luò)最后一層換為MobileViT［9］模塊，使用這個輕量級的Transformer［10］模塊來增強主干網(wǎng)絡(luò)對全局特征的學(xué)習(xí)能力。通過實驗，驗證了本文方法的有效性和優(yōu)越性。

2 相關(guān)工作

2.1 YOLOX

YOLOX 是YOLO 系列工作之一，綜合了YOLO系列網(wǎng)絡(luò)優(yōu)點，擺脫先驗框約束，使用YOLOv4［11］的特征提取網(wǎng)絡(luò)CSPDarknet 架構(gòu)，引入YOLOv5 的Focus通道增廣技術(shù)，運用Mosaic數(shù)據(jù)增強，創(chuàng)新的加入解耦預(yù)測頭和SimOTA動態(tài)正樣本匹配方法。

2.2 Transformer

Transformer 作為近期具有開創(chuàng)性的第四代神經(jīng)網(wǎng)絡(luò)，在CV領(lǐng)域產(chǎn)生了巨大的影響。先是ViT［12］（Vision Transformer）將圖片視為文本進行處理，取得了極佳的效果。而后BoTNet［13］用Transformer 模塊替換卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）最后一層，強化了主干網(wǎng)絡(luò)對全局信息的捕捉能力。

3 改進的YOLOX算法：T-YOLOX

盡管YOLOX 已經(jīng)具有了良好的檢測性能，但針對本文所要解決的問題，仍然存在以下改進方面。

1）YOLOX 的CSPLayer 層包含大的殘差邊，殘差操作在有效避免深層網(wǎng)絡(luò)梯度消失的同時會將夾雜的噪聲一同送入深層網(wǎng)絡(luò)，這會對主干網(wǎng)絡(luò)的訓(xùn)練產(chǎn)生影響。

2）殘差操作會將輸入特征拼接到輸出特征上，但是單純地對特征層進行拼接操作，效果并不理想，會存在通道信息難以良好融合的問題。

3）YOLOX 使用基于CNN 的CSPDarknet 主干網(wǎng)絡(luò)。通過卷積核捕捉局部特征信息，但這樣會忽視全局特征信息之間的關(guān)系。

因此，針對YOLOX在火災(zāi)場景檢測上的不足，本文提出T-YOLOX模型，其模型架構(gòu)如圖1所示。

圖1 T-YOLOX模型架構(gòu)

3.1 輕量級注意力模塊

殘差操作會將不必要的噪聲帶入下一層網(wǎng)絡(luò)，對網(wǎng)絡(luò)訓(xùn)練產(chǎn)生影響。本文在CSPLayer 上添加輕量級注意力模塊，通過對殘差邊施加注意力，進而對每個通道權(quán)重做調(diào)整，以此來削弱噪聲對網(wǎng)絡(luò)訓(xùn)練的影響。

其原理是通過特征融合和殘差變換在強化通道信息的同時弱化噪聲影響。模塊主要包含三個分支，X1 首先借助全局均值池化（AvgPool）操作壓縮高維特征，隨后通過全連接層（fully connected layers，F(xiàn)C）以及δ（ReLU）激活函數(shù)對特征做FX1壓縮操作，如式（1）：

隨著我國政府積極推廣PPP模式，降低了電力設(shè)計企業(yè)進入非電行業(yè)的門檻，除了參與PPP項目的設(shè)計和咨詢業(yè)務(wù)，還能與其他企業(yè)組建聯(lián)合體作為投資方參與PPP項目的建設(shè)和運營，獲得穩(wěn)定的投資收益和工程收益，實現(xiàn)多元化發(fā)展。

完成后再通過全連接層（FC）以及σ（Sigmoid）激活函數(shù)做擴展得到FX2，并將最終抽取的注意力權(quán)重FX2施加到X2上，過程如式（2）、（3）所示：

另外Input 會在堆疊的殘差塊上的進行特征提取操作得到X3，最后X2 與X3 通過拼接（⊕）操作匯聚在一起。輕量級注意力施加流程如圖2 所示。

圖2 輕量級注意力施加流程

3.2 Channel Shuffle通道混合技術(shù)

引入Channel Shuffle［14］（CS）模塊，對完成拼接操作的特征層做通道混合操作，以此來提升通道間交流。特征層拼接操作如式（4）所示：

該方法在相同的計算資源下，能強化通道間交流能力，避免過擬合，具體演示流程如圖3所示。

圖3 Channel Shuffle演示流程

3.3 輕量級Transformer：MobileViT

將主干網(wǎng)絡(luò)最后一層替換為MobileViT Block，以此來提升網(wǎng)絡(luò)對全局以及局部信息的感知能力，強化主干的特征提取能力。MobileViT Block 對給定輸入特征X∈RH×W×C（其中C、H、W分別表示張量的通道、高度和寬度）先后使用n×n卷積（n=3）編碼局部空間信息以及1×1 卷積將張量投影到高維空間（d 維，其中d＞C），進而調(diào)整得到XL∈RH×W×d，接著對特征做通道展平（Unfold）操作得到XUnfold∈RP×N×d其中P=w·h，P代表寬（w）高（h）的patch像素數(shù)（w≤n，h≤n），N=HW÷P，N代表patch 的總份數(shù)，隨后通過Transformer 模塊對patch 間信息進行編碼，得到XG∈RP×N×d，操作如式（6）所示：

為避免丟失patch 之間的位置信息以及每個patch 內(nèi)部的像素信息，隨后將XG∈RP×N×d重新堆疊（Fold）還原得到XFold∈RH×W×d。然后將XFold送入1×1 卷積網(wǎng)絡(luò)，將其投影到低維空間（C 維）得到X?∈RH×W×C，通過將X? 與X拼接（Concat）得到X?∈RH×W×2C，最后利用n×n卷積（n=3）融合局部特征X?與全局特征X獲得輸出Y∈RH×W×C。MobileViT Block的結(jié)構(gòu)如圖4所示。

圖4 MobileViT Block整體結(jié)構(gòu)

4 實驗

4.1 數(shù)據(jù)集

針對早期火焰數(shù)據(jù)集圖像分辨率不高，信息反饋能力偏弱的問題。本文自制了火災(zāi)數(shù)據(jù)集，檢測內(nèi)容包含火焰、煙霧以及受災(zāi)人員三類。從網(wǎng)絡(luò)上搜取火災(zāi)相關(guān)的數(shù)據(jù)，將采集到的數(shù)據(jù)進行篩選后整理出5000 張照片。使用LabelImg 工具構(gòu)建火災(zāi)數(shù)據(jù)集，數(shù)據(jù)集包含F(xiàn)ire、Smoke、Person 三類，圖像的標(biāo)注信息會保存在xml文件中。

關(guān)于本次實驗使用的火災(zāi)數(shù)據(jù)集，共有火焰標(biāo)注7000 個左右，煙霧以及人員的標(biāo)注2000 個左右。借助可視化數(shù)據(jù)圖5（a）可以看出目標(biāo)框中心位置分布均勻，圖5（b）顯示目標(biāo)框相對圖片的占比程度。不難發(fā)現(xiàn)，標(biāo)注數(shù)據(jù)的分布和占比均勻且多樣。

圖5 數(shù)據(jù)可視化

4.2 數(shù)據(jù)增強

圖6 Mosaic數(shù)據(jù)增強

4.3 實驗環(huán)境

本次實驗在Python3.8，CUDA11.1，PyTorch 1.9.1 環(huán)境上進行。 所有模型均在NVIDIA RTX3060 GPU上進行訓(xùn)練和測試。

在網(wǎng)絡(luò)訓(xùn)練前，對模型使用了Kaiming 初始化［15］。訓(xùn)練時，數(shù)據(jù)集按照8∶2 劃分為訓(xùn)練集和測試集，并從訓(xùn)練集中抽取10%作為驗證集，輸入的圖片張量為（640，640，3），使用Adam優(yōu)化器以及余弦退火學(xué)習(xí)率進行訓(xùn)練，訓(xùn)練批次為4，初始化學(xué)習(xí)率為0.0001，訓(xùn)練總共進行300次迭代。

4.4 評估指標(biāo)

本文采用目標(biāo)檢測模型常用評估指標(biāo)mAP（Mean Average Precision）以及FPS（Frames Per Second）進行模型評估。AP 指PR（Precision-Recall）曲線下面積、mAP 指每個類別AP 的均值，AP 以及mAP 值越大越好。Precision 和Recall 的計算公式如式（7）～（8）所示：

TP（True Positives）表示被分為正樣本，且分對的；FP（False Positives）表示被分為正樣本，但分錯的；FN（False Negatives）表示被分為負(fù)樣本，但分錯的。

4.5 實驗設(shè)計與結(jié)果分析

關(guān)于實驗，T-YOLOX 模型的訓(xùn)練損失如圖7所示。通過該圖可以發(fā)現(xiàn)，隨著訓(xùn)練輪數(shù)的不斷增加，Loss 曲線逐漸趨于平穩(wěn)。當(dāng)Epoch 達到200 左右后，模型逐漸收斂，訓(xùn)練過程未出現(xiàn)過擬合現(xiàn)象。

圖7 Loss曲線

本文共設(shè)計了一組消融實驗和一組對比實驗，為符合模型部署要求，本次實驗選取“-s”輕量級規(guī)格。通過消融實驗檢驗本文不同改進部分對網(wǎng)絡(luò)性能的影響，隨后再通過T-YOLOX 與主流網(wǎng)絡(luò)（CenterNet、YOLOv3）的對比實驗，綜合分析模型性能。

4.5.1 消融實驗

為分析本文改進部分對模型性能的影響，共設(shè)計三組實驗對不同的改進進行分析，每組實驗均在相同訓(xùn)練參數(shù)，不同模型內(nèi)容上進行測試。模型性能檢測結(jié)果如表1 所示，其中“√”代表在改進模型中使用的策略，“×”代表在改進模型中未使用的策略。對表1 進行分析可見：改進1 添加Channel Shuffle 模塊提高了通道間交流能力，避免了過擬合，mAP 有所提升。改進2 在此基礎(chǔ)上添加輕量級注意力模塊，引入注意力加強邊后，提升了通道對空間信息的注意力，同時弱化噪聲對深層網(wǎng)絡(luò)的影響，mAP 提升了1.05%。改進3 加入MobileViT 模塊，將CNN 與Transformer 進行融合，以此實現(xiàn)主干網(wǎng)絡(luò)對局部以及全局信息的學(xué)習(xí)能力，mAP提升了1.02%。

表1 不同改進方法的實驗結(jié)果

4.5.2 模型對比

為了驗證T-YOLOX 改進模型的檢測性能，將其與主流目標(biāo)檢測模型YOLOv3、CenterNet、YOLOX 做對比實驗，對比實驗結(jié)果如表2 所示。由表2分析可知，T-YOLOX算法的mAP 達到了69.54%，較原始YOLOX 算法提高了2.24%，結(jié)合表中Fire、Somke、Person 三類的平均AP 值進行分析可得，本文方法檢測火焰、煙霧以及受災(zāi)人員的AP 值比原始YOLOX 算法均有不同程度的提高，相比其他主流目標(biāo)檢測模型（CenterNet、YOLOv3）具有更好的檢測性能。同時在檢測受災(zāi)人員方面T-YOLOX有明顯的優(yōu)勢，在保證高精度檢測的同時，模型的FPS 并未出現(xiàn)大幅度下降，檢測速度與主流模型相比仍然具有一定優(yōu)勢。

表2 主流目標(biāo)檢測模型性能對比

5 結(jié)語

本文針對現(xiàn)有目標(biāo)檢測模型難以在復(fù)雜火災(zāi)場景下對火災(zāi)場景進行及時高效的反饋問題，提出了一種改進YOLOX 的火災(zāi)場景檢測模型T-YOLOX。該方法在YOLOX 模型基礎(chǔ)上，引入了強化通道交流能力的Channel Shuffle 模塊，施加通道注意力權(quán)重的CSPLayer_attention 模塊，以及將CNN與Transformer相融合的MobileViT模塊。檢測效果如圖8 所示。實驗表明，本文所提出的檢測方法，針對復(fù)雜火災(zāi)場景有良好的性能表現(xiàn)。

圖8 T-YOLOX檢測效果展示