基于YOLOv3 和光流的船舶火災檢測?

馬世玲 袁 偉 俞孟蕻

（1.江蘇科技大學計算機學院 鎮江 212100）（2.江蘇科技大學電子信息學院 鎮江 212100）

1 引言

船舶是水運的核心工具，承擔著大量的運輸任務。火災是一項威脅船舶安全的重要因素。據國際 海 事 組 織（IMO）的 統 計 報 告 顯 示［1］，2009年-2019 年，造成船舶折損的前三個原因分別是沉船、擱淺和火災，火災事件相對較少但危害極大。船舶是漂浮于水面上的獨立個體，整體結構由熱傳導性極強的鋼板構成，內部區域復雜，通道寬度有限，上述的種種特性會給火災救援和人員逃生帶來極大困難。在火災的發展過程中，煙霧往往是先于火焰出現在火源點，初期階段火災危害較小，及早發現并處理火情，能夠有效控制火災波及范圍，減少損失。現有的船舶火災檢測系統主要依賴于各種點傳感器探測火災，然而其具有檢測延遲、誤報率高、易受海上周圍環境影響的特點，有一定局限性。采用視頻檢測方法相較于點傳感器，可以依附于現有的攝像機監控系統，同時能獲得更具體的火災信息。視頻檢測適應性廣、響應速度快，是一種有效且快速的檢測方法。

近年來，視頻檢測方法多采用深度學習，主要是基于卷積神經網絡的各種衍生算法［2］。大體上可以分為兩類，一類是采用分類和預測框的二階段算法，如RCNN 系列［3］；一類是采用回歸思想的單階段算法，如YOLO 系列［4］、SSD 系列等［5］，較于前者速度快，檢測精度有一定下降。文獻［6］提出一種CNN 結構，能在同一體系結構內實現特征提取和分類。文獻［7］使用Faster R-CNN 提取火災區域并進行多維紋理分析，大大減少因顏色類似產生的誤報。文獻［8］探討對比了先進的CNN 模型在火災檢測下的效果，對比結果體現了YOLOv3 在火災檢測中的高準確度和極快的速度。大多數基于CNN 的火災檢測算法僅僅考慮了圖像所攜帶的圖像信息，這樣很容易對周圍類似火焰或者煙霧的目標產生誤判。為了解決這個問題，一些算法在考慮火災空間特征的同時，也加入了時間特征，提高模型的檢測性能。文獻［9］利用CNN 和LSTM 分別提取煙霧的圖像信息和時間信息，并利用注意力機制提取關鍵幀，優化分類過程。文獻［10］結合ELASTIC-YOLOv3 和Fire-tube，提取圖像信息和時域的光流信息，并對光流信息進行再處理，以此來檢測夜間火焰，有效地降低了誤判率。文獻［11］在YOLOv3 骨干網絡的基礎上利用空洞卷積模塊提取上下文信息，實現了對火焰的檢測。當前的火災研究在準確度上已有了高水準，但是在誤檢問題上仍有改進空間。

為了提高火災視頻的檢測性能，本文提出基于YOLOv3 和光流的算法，該算法充分考慮火災視頻的靜態信息和動態信息。光流特征能夠反映煙霧或者火焰在當前背景下的移動情況，YOLOv3 作為一種快速高效的算法，對后續的應用有一定的輔助作用。本文算法提取視頻中的光流特征作為動態信息，并結合視頻幀的RGB 信息，采用YOLOv3 算法，進行對火災視頻的檢測。

2 算法理論

2.1 光流

在視頻檢測中，光流是常用的運動信息，被定義為空間運動物體在觀察成像平面上的像素運動的瞬時速度［12］，能夠表征物體在相鄰幀中的運動信息。現有的光流計算技術按照理論基礎與數學方法分為以下類別［13］：基于梯度的方法、基于匹配的方法、基于能量的方法、基于相位的方法、神經動力學方法。Farnback［14］算法是一種利用多項式求解稠密光流的方法，針對煙霧和火焰這類紋理較多的目標，有較好的效果。光流計算方法有兩個重要假設：1）相鄰幀之間的亮度恒定；2）相鄰幀之間的物體運動微小。

Farnback 利用二次多項式模擬圖像中的像素鄰域，從多項式展開系數估計光流［15］。

其中x=(x,y)T是某個像素點的坐標，Α是一個對稱矩陣，b是一個向量，c是一個常數。

對于上一幀圖像中某一點像素有系數Α1,b1,c1，該像素移動d，則對于當前幀圖像對應點有系數Α2,b2,c2，根據f1(x)=f2(x-d)可推得：

對于相鄰幀圖像，選用平均值表示真實值：

同時引入：

可得

由此推導出光流大小。

2.2 YOLOv3網絡

YOLO 系列是端到端的網絡結構，采用回歸思想，在整張圖片信息的基礎上進行預測，在速度上超越了其他的滑窗式算法。相比于YOLO 系列的初期版本YOLOv1 和YOLOv2，YOLOv3［16］堆疊多層卷積結構，借鑒多種算法，進行多種改進，使得檢測效果在速度和精度上都能保持高水準。

YOLOv3 的特征提取網絡Darknet-53 借鑒了Resnet［17］，引入了殘差模型（Residual Block），殘差基本單元是由1×1 和3×3 的卷積構成的，其結構如圖1 所示，這種結構減少了網絡層數過深時梯度消失的風險，加強了網絡的學習能力。Darknet 由多組1×1 和3×3 卷積層構成，在一定程度上減少了參數量和計算量，而且深層的網絡結構，能更好地表達特征，有助于提高檢測效果。

圖1 YOLOv3的殘差基本單元

YOLOv3 還借鑒了FPN（Feature Pyramid Networks）［18］，利用多尺度融合在大中小三個尺度上進行目標檢測。淺層特征中幾何特征豐富，深層特征中語義特征豐富，三個尺度互為補充，使得檢測效果更好。YOLOv3 簡要的網絡結構如圖2 所示，先采用Darknet-53 網絡提取特征，再運用多尺度檢測，在三個尺度上進行回歸檢測。

圖2 YOLOv3的簡要網絡結構

2.3 網絡總結構

利用深度學習進行火災檢測時，常使用火災中產生的煙霧和火焰作為檢測目標。在獲取的火災視頻中，火災圖像表現為RGB 形式，展示了火災區域的顏色、紋理、輪廓等特征。僅僅使用圖像上表現的特征用作檢測很容易與相似的目標發生混淆。火災視頻是時間軸上每一幀靜態火災圖像的有序排列，從中提取的光流體現了動態信息。本文將光流圖像和RGB 圖像進行像素級融合，同時獲取靜態信息和動態信息。與背景區域的光流特征相比，火災區域的光流特征在像素上的R、G、B 值普遍偏高，為了增強可視化效果，此處將RGB 圖像和光流圖像以一定的加權比例融合。然后利用YOLOv3 網絡提取煙霧和火焰的深層次特征，其結構示意圖如圖3所示，從相鄰RGB圖像中提取出光流之后，火災區域有別于背景區域，顯示出不同的色彩紋理。

圖3 網絡結構示意圖

2.4 遷移學習

遷移學習是一種機器學習方法，從目標檢測任務的相關性出發，能夠將在大型數據集中學習到的知識遷移到數據量偏小的數據集中［19］。建立深度學習下的火災檢測模型需要龐大的數據以及與之對應的人工標注，但是現有的火災數據集沒有統一標準，數據量偏小，很容易過擬合，影響模型的檢測能力。現有的目標檢測任務以大型數據集作支撐，如ImageNet 數據集、COCO 數據集等。這些數據集中的各種目標類別豐富、數量龐大。雖然這些數據和火災的表征特征不是完全一樣，但是深度學習是針對圖片本身提取邊緣、紋理等特征，這種特征提取的能力具備普適性，對于火災檢測有借鑒的空間。

3 實驗與分析

3.1 實驗數據集

利用仿建的船舶艙室，分別點燃木材、電纜等船用物品，模擬單個船舶艙室發生火災的情形，同時使用攝像機記錄過程。由于數據量偏少，還使用了網絡上公開的火災視頻數據，雖然其場景與船舶艙室不同，但是火災表現出的特征是一樣的，仍可用于訓練。本文實驗中使用的其余視頻數據，分別來自土耳其比爾肯特大學數據集、意大利薩萊諾大學數據集、韓國啟明大學數據集、中國科學技術大學火災科學國家重點實驗室數據集［20］以及部分在網絡上搜集的火災視頻數據。

從視頻數據集中挑選不同場景下的火災視頻80 段，分別提取含有火災目標的部分視頻幀，每隔五幀進行光流提取，最終共獲得3000 張的RGB 圖像以及相應的光流圖像。在訓練模型之前進行RGB圖像與光流圖像的融合，為了增加模型的魯棒性，加權融合比例在0.3~0.7 內隨機選取。經處理后采用LabelImage 軟件對數據集進行標記，并隨機選取80%作為訓練集，其余20%作為測試集。由于數據集容量偏小，為了防止過擬合問題，采用隨機縮放、翻轉、色域扭曲等數據增強方法對原始數據集進行擴展。同時在訓練過程中采用遷移學習方法，利用YOLOv3 在COCO 數據集上的預訓練模型作為源域，遷移到火災檢測領域，凍結YOLOv3 網絡的前端參數進行再訓練。

3.2 實驗結果與分析

本文的實驗環境為Ubuntu 18.04系統、內存Intel Core i7-8700K、圖形處理器GeForce GTX 1080、深度學習框架Keras。

本文采用平均精度均值（mean Average Precision，mAP）衡量模型性能，此外，計算了對于單張圖片的處理時間，以原始視頻幀為處理對象，計算單張圖像的處理時間，對火災的實時檢測有一定的借鑒意義。

分別使用YOLOv3、Faster R-CNN［21］以及本文算法進行火災檢測。實驗結果如表1 所示。本文算法相較于原始的YOLOv3 算法，模型檢測能力沒有明顯區別，對于煙霧的檢測性能略好一些。Faster R-CNN 在煙霧檢測模型上表現最優，但是速度遠遠落后于另外兩種算法。本文算法由于需要進行光流的處理占據了一定的計算資源，因此耗費時間略長。在火災的發展過程中，火災區域是隨著時間不斷變化的，對視頻進行近距離的抽幀檢測并不影響對火災結果的判斷，因此可以滿足實時檢測的需求。

表1 不同算法的對比結果

部分圖像的檢測效果如圖4 所示，圖4（a）、（b）、（c）分別為使用YOLOv3 算法、Faster R-CNN算法以及本文算法的檢測效果，都能夠準確地檢測火災區域。在本文算法中，由于煙霧和火焰在圖像上的流動性，使得捕獲的火災圖像中增添了顏色的多樣性。考慮以上信息，在火災檢測中使用YOLOv3是比較好的方式。

圖4 三種算法下的檢測效果

為驗證算法在實際視頻處理中的性能，另取6段與訓練集數據不同的視頻，進行進一步的分析，所取視頻如圖5 所示。圖5（a）、（b）為煙霧視頻，圖5（c）、（d）為火焰視頻，圖5（e）、（f）則為人員燈光干擾、車輛干擾下的干擾視頻。此處僅采用YOLOv3算法和本文算法進行驗證。

圖5 檢測視頻

對視頻均選取部分片段并以每兩幀的方式進行檢測，利用真陽性率TPR（True Positive Rate）以及真陰性率TNR（True Negative Rate）來評判算法性能，檢測結果如表2 所示，不可獲得的數據用“-”表示。從對比結果來看，本文算法的檢測率和誤報率綜合較優。相較于原始的YOLOv3 算法，本文算法針對煙霧部分有明顯的改善作用。煙霧在RGB模式下有不同的顏色形式，多為灰白色、灰黑色，增加了光流的比例后，增強了目標區域的特征表達，使之更容易被檢測出。一般情況下占據視頻畫面較大的火焰本身顏色較為突出，增加光流的部分對于此類火焰沒有大的提升空間，但是針對于小區域顏色不明顯的火焰有一定的增強特征表達的作用。本文算法能有效識別火災目標，抗干擾能力強，不易受人員、燈光、車輛等干擾影響。

表2 視頻檢測結果對比

4 結語

船舶的消防安全是重要問題，一旦發生火災，要盡早發現火情。圖像檢測方案專注于圖像本身所表達的信息，而視頻檢測方案額外增添了運動信息，煙霧和火焰初期在小范圍內蔓延，具有豐富的運動信息。基于YOLOv3 網絡，提出了一種融合靜態信息和運動信息的火災視頻檢測方法。建立火災視頻數據集，提取幀內特征來獲取靜態信息，提取光流特征來尋找幀間目標運動信息，并利用遷移訓練方法，采用YOLOv3 算法達成目標檢測。實驗結果表明，該方法能夠有效減少視頻檢測中煙霧和火焰的誤檢，保證火災的識別精度，抽幀檢測時能夠滿足實時檢測的需求，綜合性能較優。