基于YOLOv8的火災煙霧檢測算法研究

王晨燦,李 明

(重慶師范大學 計算機與信息科學學院,重慶 401331)

0 引言

近年來發生的大面積火災主要來源于森林和工廠,對公共設施和生態資源造成了不可估量的損失。如何根據火和煙的特性來提高火災檢測的整體性能,成為當前研究的重點。目前,火災檢測研究主要是基于深度學習算法的研究,該研究大致可以分為基于目標分類模型的火災煙霧檢測算法、基于目標分割模型的火災煙霧檢測算法、基于目標檢測模型的火災煙霧檢測算法[1]。

基于目標分類模型的火災煙霧檢測算法是對輸入的火災圖像輸出一個fire或smoke標簽,用于判斷圖像中是否含有該類別的目標信息。陳俊周等提出了如何提取動態煙霧紋理信息的解決方案,通過將靜態特征與動態特征相結合的方法,使煙霧檢測的場景適應能力得到極大提升,但由于火災早期目標比較小,檢測出的背景區域較大,由此增加了模型的復雜度[2];殷亞萍等使用高斯混合模型提取目標特征,通過選擇分支進行卷積操作,有效提高了模型檢測的準確率,但該方法容易產生空洞現象[3];He等基于融合多尺度特征的方法提升區分小煙霧以及類煙物的能力,但該方法只適用于濃霧的火災場景,且不能識別出煙霧的具體位置,對火災應急救援存在一定的局限性[4]。

基于目標分割模型的火災煙霧檢測算法是根據火災蔓延的趨勢,在目標識別的基礎上進一步提取煙霧和火焰的形狀、大小等信息。Khan等采用輕量化的EfficientNet卷積神經網絡和DeepLabv3+網絡對煙霧圖像進行先分割后分類,能夠有效降低誤檢率[5-7];Pan等設計了一套森林火災預警系統,將分類、檢測和分割集成到一個混合模型中,對火災的煙霧和火焰信息進行綜合評估,再根據相應的算法得出該場景下的火災類別,但模型比較大,訓練非常復雜,不能滿足火災現場實時檢測的要求[8]。

基于目標檢測模型的火災煙霧檢測算法是針對多個火焰目標進行定位和圖像分類,需要在原始圖像中將目標用矩形框標出。Lin等結合Faster RCNN 與3DCNN 模型進行煙霧檢測,提高了目標定位的準確率以及檢測精度,但由于在檢測過程中候選框的生成和分類是分兩步進行的,因此模型較復雜、檢測速度慢、模型泛化性差[9-11];Park等將Elastic融入YOLOv3網絡的Backbone模塊,通過隨機森林分類器判別目標是否為火焰,該方法能夠有效檢測復雜場景下的火災信息,但模型較大且對運算推理的算力要求高,不能滿足實時機載設備巡檢的要求[12];謝書翰等基于單階段目標檢測算法使用K-means聚類得到適合煙霧的錨框,避免了圖像中無關信息的干擾,該方法在增加參數量和降低計算速率的條件下提升了檢測精度[13];Xu等提出了一種像素級與目標級融合的顯著目標檢測算法,針對開放空間中的煙霧進行檢測,在很大程度上保留了圖像的原有特征信息,但網絡本身存在特征利用不充分的情況,導致平均分類性能偏低[14]。

基于目標檢測模型具有實時性強、能精準獲取定位信息的優勢,本實驗選用典型的YOLO算法進行火災煙霧檢測研究,針對上述檢測模型存在的問題,提出適用于各類場景的Fire-YOLOv8輕量化模型。

1 原始網絡

繼YOLOv5之后,Ultralytics公司在2023年1月發布了YOLOv8,該版本可以用于執行目標檢測、實例分割和圖像分類任務。整個網絡結構由4部分組成:輸入圖像,Backbone主干網絡獲得圖像的特征圖,Head檢測頭預測目標對象和位置,Neck融合不同層的特征并將圖像特征傳遞到預測層。

1.1 YOLOv8算法的優勢

1)相比于YOLOv5和YOLOv7算法,YOLOv8在訓練時間和檢測精度上得到極大提升,而且模型的權重文件只有6 MB,可以部署到任一嵌入式設備中,它憑借自身快速、高效的性能可以很好地滿足實時檢測的需求。

2)由于YOLOv8算法是YOLOv5的繼承版本,對應提供了N、S、M、L、X等不同尺度的模型,用于滿足不同場景的需求,在精度得到大幅提升的同時,能流暢地訓練,并且能安裝在各種硬件平臺上運行。

3)在輸入端,YOLOv8算法使用了Mosaic數據增強[15]、自適應錨框計算[16]等方法。Mosaic數據增強是通過隨機縮放、隨機裁剪、隨機排布的方式進行拼接,豐富檢測數據集。自適應錨框計算是網絡在初始錨框的基礎上輸出預測框,通過差值計算、反向更新等操作計算出最佳錨框值。

4)在輸出端,YOLOv8算法使用解耦頭替換了以往的耦合頭[17](見圖1),將分類和回歸解耦為兩個獨立的分支,通過解耦使各個任務更加專注,從而解決復雜場景下定位不準及分類錯誤的問題。同時,YOLOv8算法還借用了DFL 的思想[18],采用 Anchor-free目標檢測方法[19],讓網絡更快地聚焦到目標位置的鄰近點,使預測框更接近于實際邊界框區域。

圖1 YOLOv5用到的耦合頭與YOLOv8用到的解耦頭

1.2 YOLOv8算法在火災檢測中的問題

1)YOLOv8針對一般的物體檢測沒有問題,相比其他算法具有明顯的優勢。但火災存在諸多不確定性,若要利用火焰及煙霧的特性提前預判火災的擴散趨勢,就需要網絡在實際場景中對火焰的走勢以及煙霧的變化形態不斷地學習,并迭代更新網絡參數,才能對火情做出更準確的判斷。

2)YOLOv8原始網絡在輸入端共有5種尺度的檢測層,但真正參與特征提取運算的只有P3～P5層,它們分別生成8、16、32倍下采樣特征圖信息。這3種尺度的檢測層只能識別出火災場景中分辨率為8×8以上的目標特征信息,不能有效識別分辨率小于8×8的目標信息,這在很大程度上限制了該算法對火災早期預警的效果。

3)目前已有的火災數據集大部分是基于火焰信息進行標注的,但對于一些復雜場景,只有火焰的特征信息很難滿足實時檢測任務的需求。例如,最初的小火苗很容易被其他物體遮擋,YOLOv8算法還不能穿透遮擋物體來提取特征信息。本文利用物體燃燒過程中煙霧的流動性,在數據集中增加煙霧檢測特性,通過煙霧和火焰兩者的特征信息進行綜合判別,從而解決在復雜場景下進行火災早期預警的問題。

2 Fire-YOLOv8網絡

2.1 增加小目標檢測層

目標檢測層使用Anchor-free方法,其原理是直接檢測物體的中心區域和邊界信息,將分類和回歸解耦為兩個子網格,分別計算子網格中的預測像素點到真實框4條邊界的直線距離,由此得到預測框的位置信息。子網格中每個點的中心度C為:

(1)

式中:l為像素點到真實框左邊界的距離,r為像素點到真實框右邊界的距離,t為像素點到真實框上邊界的距離,b為像素點到真實框下邊界的距離。

由式(1)計算可知,在進行邊框回歸分支訓練時,像素點越遠離目標中心區域,中心度的值越小,特征提取的誤差將越大。

在原始YOLOv8網絡中,預設了圖像大小為640×640的9種不同寬高比的預選錨定框,并為每一個目標檢測層分配3種錨定框,但受錨定框的尺寸限制,不能對微小的火苗進行標定。為了解決這一問題,在原始網絡現有的3個目標檢測層的基礎上再增加一個更小的目標檢測層。此檢測層輸出特征圖的大小為160×160,可以有效提取分辨率在8×8以下的煙火圖像信息,能夠滿足復雜場景下早期火災預警的要求,較好地解決了YOLOv8模型不能精確識別小火焰目標的問題,效果如圖2所示。

圖2 不同檢測層的預選錨定框

2.2 Focus層

借鑒YOLOv5版本的思路,在圖像進入Backbone前對其進行focus處理,即對圖像進行切片操作。在圖片中每間隔1個像素取值,得到4張圖片,使圖片的長和寬分別減半,通道數擴展為原來的4倍。該操作類似于2倍下采樣,但是可以保證圖片信息不丟失(以YOLOv8網絡為例,輸入大小為640× 640 × 3的原始圖像,通過Focus層對其進行切片操作,得到320 × 320 × 12的特征圖)。在網絡輸入端使用一個Focus層代替三層卷積操作,經過替換后參數量變少了,從而達到提升推理速度的效果。同時,充分的特征提取能將數據多變性對mAP的影響降至最低。

2.3 BottleneckCSP模塊

在網絡的特征提取部分,采用BottleneckCSP模塊替換之前的C2f模塊(見圖3)。該模塊由Bottleneck和CSP結構[20]組成,能夠對網絡殘差特征進行學習,并調整特征圖的深度和寬度。與原網絡中的C2f模塊相比,BottleneckCSP模塊能減少內存消耗和計算瓶頸。子模塊Bottleneck通過卷積計算改變數據的通道數,Bottleneck的瓶頸層有多種形式,標準形式是進行一個1×1和3×3的卷積后加上其本身的短路連接,由此可以在主干特征提取階段減少運算參數量,既保證了推理的速度和準確性,還減小了模型尺寸,使模型更加輕量化。

圖3 BottleneckCSP與C2f模塊結構

2.4 模型預訓練與遷移學習

YOLO算法雖然具備很強的普適性,但在不同場景下,尤其是針對小數據量進行訓練時,需要對應用場景做具體適配。遷移學習能較好地滿足個性化模型的適配要求[21],即在網絡預訓練階段采用遷移學習進行模型自適應調參,找到火災場景檢測的最佳權重參數,流程如圖4所示。首先,將煙火樣本數據集在YOLOv8模型中進行訓練,訓練n次后,選擇最優的一組模型繼承下來,確定自適應層;然后,保留確定好的各層權重信息,并遷移到Fire-YOLOv8網絡中,每次解鎖1個遷移層,依次微調并查看模型的提升效果;最后,將實驗調試后的自適應層權重文件保留下來,與煙火數據集進行訓練,生成火災檢測的權重文件:Fire-YOLOv8n.pt。以此通過自適應調整后的網絡模型,可以挖掘煙霧與火焰之間的深層次關系,對于火災的變化趨勢具有一定的預測性。

圖4 遷移學習自適應調參流程

2.5 構建火災檢測網絡

本文在原始YOLOv8網絡的基礎上進行上述幾個部分的設計,構建Fire-YOLOv8火災檢測網絡框架(見圖5),用于煙火檢測的實驗研究。

圖5 Fire-YOLOv8整體網絡結構

3 實驗及結果分析

3.1 構建數據集

3.1.1數據集采集

為了解決現有煙火數據集存在的場景單一、類火類煙物干擾、小目標難以識別等問題,本實驗運用爬蟲技術收集各大網站上的火災視頻及圖像,將收集到的視頻進行逐幀提取,并與各類場景下的火災和煙霧圖像進行混合,制作出一個場景較為全面的數據集。該數據集既包含森林、城市、工廠等背景下的大型火災煙霧圖像,也包含打火機、蠟燭、燃氣灶、香煙等背景下的小目標火焰煙霧圖像。同時,為區分類火類煙的場景信息,本實驗在數據集中加入10%的負樣本進行參照學習,以達到降低誤檢率的效果。

3.1.2數據集處理

首先,將各類火災場景圖像進行去噪、增強、背景混合等處理后,共得到6 800張圖像,構成本實驗的煙火數據集。其次,在labelImg軟件中分別對每張圖像進行數據標注,根據火災的屬性將數據集分為兩類,標簽分別為fire、smoke。最后,將標注好的數據集按照7∶2∶1的比例劃分為訓練集、驗證集和測試集,生成images和labels兩類文件,供網絡模型進行訓練和驗證。

除此之外,從處理后的6 800張圖像中挑選出分辨率高、目標效果顯著的圖像,共198張,再進行亮度增強、對比度增強、旋轉任意角度、復合縮放等處理,對標注信息的定位框反復校驗之后,將得到的數據集作為YOLOv8模型的樣本數據集。

3.2 實驗設計

3.2.1實驗環境

實驗中采用的硬件環境包括:CPU為AMD R7-5800H,工作頻率為3.20 GHz,內存大小為16 G,顯卡為Nvidia GeForce RTX3050+RTX3090,攝像頭為1080P全高清IR攝像頭。軟件環境采用Python 3.9.13、PyTorch 1.13.0,GPU加速器為CUDA 11.4。

模型預訓練權重采用YOLOv8n.pt和YOLOv8s.pt,將輸入圖片的分辨率統一設置為640×640,訓練中采用SGD函數進行參數優化,將初始學習率設置為0.01,Batch-size設置為8,每次實驗設置200個epoch。

3.2.2評價指標

本研究通過實驗來評估改進的Fire-YOLOv8算法,采用精確率、召回率、Fβ分數、平均準確率、平均精度均值和幀率作為算法的性能評價指標。樣本分類標準如表1所示。

表1 樣本分類標準

1)精確率P(Precision),又稱為查準率、正確率,計算公式為

(2)

2)召回率R(Recall),又稱為查全率,計算公式為

(3)

3)Fβ分數,是精確率和召回率的調和平均數,計算公式為

(4)

式中:β的取值通常為0.5、1、2。本實驗中將β的值設置為1,即用F1表示,值域在[0,1]之間。

4)平均準確率AP(Average Precision),是單個類別的平均分類性能,即P-R曲線與第一象限所圍成的面積,計算公式為

(5)

AP值越高,表示模型對這個類別的檢測精度越高。

5)平均精度均值mAP(mean Average Precision),是所有類別的平均分類性能(即所有類別的AP值)的平均值,計算公式為

(6)

式中,(AP)i表示第i類的AP值,當預測框與真實框的重合度為0.5時,表示為mAP@0.5。本實驗中的mAP@0.5涉及兩個二分類問題的疊加,因此在推理過程中將n值取為2進行計算。

6)幀率,即每秒鐘能夠處理的幀數,單位為FPS (Frame Per Second),用于評估模型在實際任務中的檢測速度,幀率越大,說明檢測速度越快。

3.3 結果分析

3.3.1性能對比實驗

本文將自建的數據集分別用在原網絡的YOLOv8n與改進網絡的Fire-YOLOv8n模型中進行訓練,在同時訓練200個epoch的情況下,得到mAP@0.5和F1變化曲線。由圖6和圖7可知,Fire-YOLOv8n模型的平均分類性能和F1得分曲線更加趨近于1,且在訓練150個epoch后結果趨于穩定。

圖6 模型改進前和改進后的mAP@0.5對比情況

圖7 模型改進前和改進后的F1變化趨勢

3.3.2算法對比實驗

為進一步驗證改進算法與以往算法在火災檢測上的性能差異,本實驗選擇目標檢測領域經典的SSD、YOLOv5、YOLOv7、YOLOv8、Fire SSD[22]和Fire-YOLO算法[23]進行對比實驗,所有實驗均在同一實驗環境、同一數據集下進行,經各算法訓練后的模型性能如表2所示。

表2 不同模型的性能對比

由表2可知:相比以往改進的Fire SSD模型和Fire-YOLO模型,本文改進模型的mAP@0.5分別提高了36%和19%;相比傳統的SSD算法,YOLO算法的整體性能有了顯著提高,特別是在檢測速度方面,YOLO目標檢測算法可以在實時檢測任務中進行快速部署;YOLOv8模型與之前發布的YOLOv5和YOLOv7輕量化模型相比,圖像的檢測速度分別提升了345%和235%;在模型的大小方面,本文改進模型的大小僅為8.4 MB,相比于SSD、Fire SSD、Fire-YOLO模型,可以很好地滿足嵌入式設備對火焰檢測模型輕量化的要求。

3.3.3消融實驗

在實驗后期階段,為了驗證采用不同改進策略對原始網絡的影響程度,針對輕量化的YOLOv8n和YOLOv8s兩個模型分別進行了4組消融實驗,即增加小目標檢測層、使用Focus層對圖像進行切片操作、將特征提取模塊改為BottleneckCSP、引入遷移學習,實驗結果如表3和表4所示。在每組實驗中,除了引用遷移學習策略時用到前期構建的樣本數據集外,其余實驗均在同一個煙火數據集和相同的訓練參數下完成。

表3 不同改進策略對YOLOv8n模型的影響

表4 不同改進策略對YOLOv8s模型的影響

由表3可知:在網絡中增加一個小目標檢測層之后,原模型的各項性能均得到明顯改善,mAP@0.5直接在原模型的基礎上增長了5個百分點;在對模型采用樣本數據集進行遷移學習之后,不僅mAP@0.5增長了2.7%,而且模型檢測的精確率達到97.1%;在檢測速度方面,由于將原來的3個目標檢測層增加到4個,相應的網絡層數有所增加,所以網絡檢測速度降低了,但仍然領先當下絕大部分的火災檢測模型。

在網絡深度不變的情況下,本實驗將網絡寬度增加一倍,經訓練后得到Fire-YOLOv8s模型。增加此模型是為了進一步考查網絡的泛化性能,即在網絡更復雜的情況下,通過添加以上4種策略是否仍然具備漲點的可能性。由表4可知:網絡的整體性能與Fire-YOLOv8n相比得到進一步改善,該網絡對火焰和煙霧的檢測精確率達到97.2%,mAP@0.5達到96.1%。若將該模型部署到嵌入式設備中進行實時火災檢測,模型的大小、檢測速度、平均分類性能等參考指標都達到較高水平。

3.3.4測試結果

相比于以往模型,該模型最大的優勢體現在對類火的陽光、類煙的云層均能進行有效辨識。為了驗證模型對復雜環境中的火焰和煙霧的檢測效果,本文使用從網絡上隨機采集的多個場景圖像在Fire-YOLOv8n模型中進行驗證,結果如圖8所示。

圖8 不同場景下的檢測結果

由輸出結果可知:改進算法所生成的模型在煙火檢測的準確度上有顯著提高,而且在有環境干擾以及物體遮擋的情況下也能準確辨識火焰和煙霧的具體位置。

4 結論

將Fire-YOLOv8算法用于火災的早期預警系統,不僅能檢測出小火焰目標,還能有效區分類火、類煙等干擾信息。本文將該算法與其他算法進行對比實驗,證明了該算法的先進性,結論如下:

1)改進后的算法可以通過火災的蔓延趨勢及煙霧的變化形態不斷地學習,迭代網絡參數,優化網絡性能;融合煙霧特征的火災檢測模型能對遮擋住的早期火焰目標進行火災識別,降低了原來由單一目標檢測造成的漏檢率;在網絡中加入大量負樣本圖像進行學習后,生成的模型在實際任務中能夠有效過濾燈光、云彩等類火類煙的實際場景信息,降低了由相似顏色特征造成的錯檢率。

2)通過增加更小的目標檢測層,解決了小目標難以提取的難題;特征提取使用BottleneckCSP模塊、運用樣本數據集進行遷移學習等方法,使模型參數進一步減少,能在各種嵌入式設備中進行快速部署。

3)實驗表明,改進后的輕量化模型Fire-YOLOv8n的檢測精確率達到97.1%,F1分數達到95%,mAP@0.5達到95.7%,檢測速度達到192 FPS,模型大小僅為8.4 MB。基于以上指標,該模型能滿足在開放式的環境下進行實時檢測的要求。

另外,由于不同材料在燃燒過程中產生的火焰和煙霧的顏色特征存在差異,可能造成模型的檢測精度不理想,如塑料、石油等化工原料。我們將進一步研究顏色、形狀、紋理3種特征間的關系,并通過拼接實驗來提升算法性能。