基于改進(jìn)YOLOv3的火災(zāi)識(shí)別關(guān)鍵技術(shù)研究

楊 萍，房可佳，謝元莎

（陜西科技大學(xué) 電子信息與人工智能學(xué)院，陜西 西安 710021）

0 引 言

火災(zāi)給人類社會(huì)帶來的危害是無法估量的，每年都會(huì)因?yàn)榛馂?zāi)而造成大量的生命、財(cái)產(chǎn)損失，尤其在教學(xué)樓、倉庫等大型封閉環(huán)境，發(fā)生火災(zāi)的后果更是不堪設(shè)想。因此，關(guān)于火災(zāi)實(shí)時(shí)準(zhǔn)確檢測(cè)的研究具有重大的現(xiàn)實(shí)意義。鑒于火災(zāi)的復(fù)雜性和不確定性，傳統(tǒng)的感溫、感煙、感光以及復(fù)合型的火災(zāi)探測(cè)器不可避免地受到監(jiān)控環(huán)境的面積、高度、濕度、粉塵、氣流等因素的影響。近年來逐漸普及的網(wǎng)絡(luò)攝像頭可以用來很好地采集圖像和視頻，為火災(zāi)檢測(cè)提供信源。隨著深度學(xué)習(xí)算法的不斷優(yōu)化、嵌入式硬件性能和算力的不斷提升，圖像識(shí)別的精度和實(shí)時(shí)性能都得到飛速的發(fā)展，使圖像識(shí)別應(yīng)用到火災(zāi)檢測(cè)成為可能?；诖耍疚奶岢隼蒙疃葘W(xué)習(xí)算法進(jìn)行圖像識(shí)別，從而實(shí)現(xiàn)火災(zāi)檢測(cè)和預(yù)警。

1 基于改進(jìn)的YOLOv3的火焰檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)

YOLO（You Only Look Once）是一種基于深度神經(jīng)網(wǎng)絡(luò)的對(duì)象識(shí)別和定位算法。主要是設(shè)置先驗(yàn)框，利用全卷積做預(yù)測(cè)；選用殘差網(wǎng)絡(luò)，采用多尺度特征圖做預(yù)測(cè)等。其最大的特點(diǎn)是運(yùn)行速度快，處理速度可以達(dá)到45幀/s；當(dāng)網(wǎng)絡(luò)較小時(shí)甚至可以達(dá)到155幀/s，而且在精度相當(dāng)?shù)那闆r下，YOLOv3的速度是其他模型的3～4倍。YOLOv3借鑒了殘差網(wǎng)絡(luò)結(jié)構(gòu)，形成更深的網(wǎng)絡(luò)層次進(jìn)行多尺度檢測(cè)，提升了小物體檢測(cè)效果。因此，YOLO是非常適用于火災(zāi)檢測(cè)的，能夠有效提高實(shí)時(shí)性。為了提高火災(zāi)檢測(cè)的實(shí)時(shí)性和準(zhǔn)確性，本文主要對(duì)YOLOv3算法從以下三方面進(jìn)行改進(jìn)：

（1）檢測(cè)卷積層參數(shù)的修改

原始YOLOv3算法的損失函數(shù)是針對(duì)多類別目標(biāo)的檢測(cè)。本文將損失函數(shù)設(shè)計(jì)成只包含單一類別目標(biāo)，其中損失函數(shù)由四部分組成：預(yù)測(cè)邊界框中心坐標(biāo)損失、預(yù)測(cè)邊界框?qū)捀邠p失、有無目標(biāo)置信度損失和預(yù)測(cè)目標(biāo)類別損失，則網(wǎng)絡(luò)各尺度特征圖檢測(cè)的輸出張量的維度為3×（4+1+1）=18，因此各尺度檢測(cè)卷積層的卷積核數(shù)目設(shè)置為18。

（2）基礎(chǔ)特征提取網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)

YOLOv3算法的主干網(wǎng)絡(luò)中包含52層卷積層，而DenseNet模型建立的是前面所有層與后面層的密集連接，每一層的輸入都是來自前面所有層輸出的并集，層與層之間的連接變得更緊密。本文借鑒DenseNet網(wǎng)絡(luò)中的密集連接思想，將主干網(wǎng)絡(luò)中的殘差模塊用密集連接模塊來代替。通過特征重用可以在高層特征提取時(shí)利用更低層級(jí)的特征，減輕特征丟失對(duì)網(wǎng)絡(luò)性能的影響。此外，GoogleNet中的多分支結(jié)構(gòu)是對(duì)不同大小卷積核卷積結(jié)果進(jìn)行拼接的一種結(jié)構(gòu)，它對(duì)輸入特征圖進(jìn)行四個(gè)分支的操作處理后，將四個(gè)分支得到的特征圖進(jìn)行融合。多分支結(jié)構(gòu)一方面增加了網(wǎng)絡(luò)的寬度，另一方面增加了網(wǎng)絡(luò)對(duì)尺度的適應(yīng)性。本文借鑒GoogleNet的多分支結(jié)構(gòu)，在基礎(chǔ)特征提取網(wǎng)絡(luò)中使用多分支結(jié)構(gòu)替代原殘差模塊中的標(biāo)準(zhǔn)卷積，在不增加計(jì)算量的情況下增強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜度，便于提取更為豐富的特征用于檢測(cè)。

本文不是只使用密集連接結(jié)構(gòu)或者只使用多分支結(jié)構(gòu)，而是將二者結(jié)合來構(gòu)建網(wǎng)絡(luò)。組合結(jié)構(gòu)如圖1所示，多分支結(jié)構(gòu)提取圖像多尺度特征，并且在各分支上使用卷積核進(jìn)行降維，能大大降低網(wǎng)絡(luò)的復(fù)雜度。組合模塊將這兩種方法相結(jié)合，將密集連接模塊的標(biāo)準(zhǔn)卷積替換為多分支結(jié)構(gòu)，對(duì)四個(gè)分支提取到的特征進(jìn)行融合，再實(shí)現(xiàn)組合模塊中與前面層的融合。

圖1 組合結(jié)構(gòu)

（3）檢測(cè)模塊的改進(jìn)

對(duì)于實(shí)際場(chǎng)景中的圖像或視頻，物體目標(biāo)隨著拍攝位置的不同，圖像上的尺度也會(huì)不同。由于存在這種尺度不一的目標(biāo)，就需要檢測(cè)系統(tǒng)具備檢測(cè)出不同尺度目標(biāo)的能力。卷積特征圖低層的特征語義信息比較少，但是目標(biāo)位置信息準(zhǔn)確；高層的特征語義信息比較豐富，但是目標(biāo)位置信息比較粗略。YOLOv3算法采用特征金字塔融合以及從底層到頂層的特征提取方式，越往頂層，圖像空間分辨率越低，但是圖像中的抽象語義信息將逐層增加，然后從頂層到底層進(jìn)行特征融合，并分別在每一層進(jìn)行預(yù)測(cè)，實(shí)現(xiàn)多尺度下的目標(biāo)檢測(cè)。其中，較小的特征圖對(duì)尺寸較大的行人會(huì)有較好的預(yù)測(cè)能力，較大的特征圖對(duì)尺寸較小的行人具有更好的預(yù)測(cè)能力。但是YOLOv3算法仍然存在將小尺度目標(biāo)漏檢的情況，本文針對(duì)這一問題，將多分支結(jié)構(gòu)融入YOLOv3 的檢測(cè)模塊中，使得 YOLOv3 在原有多尺度檢測(cè)基礎(chǔ)上的每一個(gè)尺度的特征檢測(cè)中又可以獲取兩種不同的感受野。其中，一個(gè)3×3卷積的感受野較小，保留了更多細(xì)節(jié)信息，可以較好地檢測(cè)小尺寸目標(biāo)；兩個(gè)堆疊的3×3卷積對(duì)應(yīng)較大的感受野，包含了更多語義信息，可以較好地檢測(cè)大尺寸目標(biāo)。由此，在8倍下采樣、16倍下采樣和32倍下采樣條件下得到的三種尺寸特征圖的檢測(cè)結(jié)果中又能分別獲得兩種不同的感受野，更為充分地檢測(cè)各尺寸目標(biāo)的特征，從而增加網(wǎng)絡(luò)的檢測(cè)精度并減少漏檢情況，提升網(wǎng)絡(luò)對(duì)各尺度目標(biāo)的識(shí)別能力。改進(jìn)的算法網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 改進(jìn)的YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)

2 火災(zāi)檢測(cè)系統(tǒng)設(shè)計(jì)

根據(jù)系統(tǒng)功能要求和深度學(xué)習(xí)算法的特點(diǎn)，設(shè)計(jì)系統(tǒng)的結(jié)構(gòu)如圖3所示。

圖3 系統(tǒng)結(jié)構(gòu)

系統(tǒng)主要由以下五部分組成：

（1）環(huán)境檢測(cè)模塊：由分布于不同空間的網(wǎng)絡(luò)攝像頭、煙霧傳感器、溫度傳感器等構(gòu)成，實(shí)現(xiàn)環(huán)境參數(shù)的采集。

（2）AI模塊：AI算法的載體。在服務(wù)器訓(xùn)練完成之后，將優(yōu)化和改進(jìn)后的YOLOv3算法部署到NVIDIA GPU中，實(shí)現(xiàn)邊緣計(jì)算，降低對(duì)帶寬的要求，提高系統(tǒng)的實(shí)時(shí)性。

（3）LoRa網(wǎng)絡(luò)：將識(shí)別和處理后的火災(zāi)結(jié)果利用LoRa網(wǎng)絡(luò)上傳至網(wǎng)關(guān)。

（4）網(wǎng)關(guān)：將識(shí)別結(jié)果上傳至上位機(jī)和移動(dòng)端。

（5）上位機(jī)：根據(jù)接收的結(jié)果判斷是否開啟火災(zāi)報(bào)警，實(shí)現(xiàn)火災(zāi)定位和最優(yōu)路徑規(guī)劃，完成系統(tǒng)運(yùn)行狀態(tài)的存儲(chǔ)等，使用戶和管理員可以實(shí)時(shí)查詢系統(tǒng)的狀態(tài)。

3 實(shí)驗(yàn)結(jié)果及分析

搭建實(shí)驗(yàn)平臺(tái)，并利用服務(wù)器對(duì)深度學(xué)習(xí)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，網(wǎng)絡(luò)訓(xùn)練的軟硬件配置見表1所列。將訓(xùn)練完成的基于改進(jìn)的YOLOv3火焰檢測(cè)模型部署到NVIDIA GPU中，通過攝像頭采集視頻信號(hào)，對(duì)圖像進(jìn)行識(shí)別處理，結(jié)果如圖4所示。

圖4 基于改進(jìn)的YOLOv3算法的火焰檢測(cè)結(jié)果

表1 實(shí)驗(yàn)平臺(tái)軟硬件配置

4 結(jié) 語

針對(duì)火焰識(shí)別中小目標(biāo)和實(shí)時(shí)性的特點(diǎn)，選用改進(jìn)的YOLOv3進(jìn)行圖像識(shí)別和檢測(cè)，以實(shí)現(xiàn)火災(zāi)報(bào)警。搭建了訓(xùn)練神經(jīng)網(wǎng)絡(luò)的軟硬件平臺(tái)，完成網(wǎng)絡(luò)訓(xùn)練，并利用該網(wǎng)絡(luò)對(duì)攝像頭采集的圖像進(jìn)行識(shí)別。結(jié)果表明，該火焰檢測(cè)模型識(shí)別精度高、實(shí)時(shí)性好，對(duì)火災(zāi)檢測(cè)和報(bào)警具有較大的實(shí)際意義。