基于光流改進與YOLOv3的煙霧檢測方法

李澎林，章軍偉，李 偉

(浙江工業大學 計算機科學與技術學院，浙江 杭州 310023)

火災是一種頻發災害，對人們的生產生活構成嚴重的威脅和破壞，而早期煙霧實時檢測與報警對火災救援極為重要。傳統的火災檢測裝置探測范圍小、設備成本高，且極易受天氣光照等影響，火災誤報率較高。隨著圖像識別技術的發展和視頻監控設施的廣泛應用，基于視頻的煙霧識別方法成為國內外學者的研究熱點。

煙霧特征主要由色彩、紋理等靜態特征和湍流、飄動等動態特征組成[1]，對煙霧識別的研究也主要集中在煙霧特征提取算法上。李筍等[2]提出了一種基于煙霧色彩圖像增強和MSER檢測的煙霧算法，通過增強色彩變換突出煙霧區域用于圖像分割并檢測。Yuan等[3]通過分析煙霧的亮度和飽和度，利用積分圖提取Haar特征進行煙霧檢測。Qureshi等[4]采用靜態背景模型通過差分的方法提取前景目標檢測和分割移動區域。董蘭芳等[5]提出了一種基于圖像分離檢測方法，通過混合高斯模型和統計非參數方法結合暗通道得到候選煙霧區域，并進一步提取局部二值模式特征使用支持向量機進行分類和判別。Dimitropoulos等[6]提出了使用HSV顏色模型中的3 個通道以及HOG特征形成4維3D塊組成一個張量，然后提出高階線性動態系統(h-LDS)進行分析，通過大量特征提取和分類的文獻表明：提取單獨一個或者多個特征和圖像預處理方面的增強并不能滿足綜合復雜環境的煙霧檢測，隨著深度學習方法在目標識別領域的廣泛應用，通過大數據樣本訓練、自學習，以實現特征提取和分類器的聯合優化，彌補了目標復雜特征刻畫帶來的不足。陳俊周等[7]采用時空卷積網絡進行煙霧檢測，其中空域CNN和時域CNN分別關注靜態紋理和動態紋理，后者基于前者二次識別。Yin等[8]提出了基于循環神經網路的煙霧檢測網絡。高豐偉等[9]采用均濾波的方法先對視頻幀進行過濾，結合卷積神經網絡和動態紋理特征提出了一種混合矩陣的判定方法。文獻實驗結果表明：深度學習方法相較于特征提取方法有著更好的準確性，但檢測效率還有待提升；同時，端對端的網絡結構忽略了連續幀間的聯系，也忽略了煙霧的動態特征。

綜上所述，筆者提出一種基于光流改進和YOLOv3[10]的煙霧檢測方法。該方法通過實時性網絡YOLOv3網絡進行煙霧樣本訓練，得到煙霧檢測模型。在具體煙霧檢測過程中，通過改進光流算法，建立連續視頻幀間聯系，實現對煙霧動態前景的第一次初篩；進而結合已得到的煙霧檢測模型，進入YOLOv3網絡進行二次煙霧檢測。實驗證明：運用筆者方法進行煙霧檢測，檢測的精度及效率均有一定的提升。

1 整體算法流程

基于光流改進和YOLOv3的煙霧檢測方法包括改進光流算法動態前景提取和YOLOv3網絡檢測兩個部分：第一部分通過改進的光流算法對運動區域圖像進行捕捉和分割，去除不符合煙霧動態特征的區域完成第一次篩選；第二部分對于處理好之后的視頻幀通過YOLOv3模型對煙霧區域進行二次篩選，檢測出視頻幀中的煙霧。整體流程圖如圖1所示。

圖1 煙霧檢測流程圖

2 YOLOv3模型與訓練

2.1 YOLOv3模型

基于煙霧檢測實時性要求，在煙霧檢測算法上選擇了實時性強且準確率較好的YOLOv3目標檢測算法。該算法是一種單步法檢測算法，通過在一個神經網絡模型中進行預測目標區域和目標類別進行測算。相較于Faster R-CNN和Marsk R-CNN等兩步法的網絡，其具有相近的準確性，又有這些網絡所不具備的實時性優勢。

YOLOv3采用了新的resnet思想的darknet-53網絡結構，如圖2所示。在網絡中加入殘差模塊，并采用3 個不同尺度的特征圖來進行對象檢測，能夠檢測到更加細粒度的特征。網絡的最終輸出3 個尺度分別為1/32，1/16和1/8的特征圖。在第79層之后經過幾個卷積操作得到的是1/32(13×13)的預測結果，下采樣倍數高，這里特征圖的感受視野比較大，因此適合檢測圖像中尺寸比較大的對象，這個結果通過上采樣與第61層的結果進行張量拼接，再經過幾個卷積操作得到1/16的預測結果，適合檢測中等尺度的對象，第91層的結果經過上采樣之后在于第36層的結果進行張量拼接，經過幾個卷積操作之后得到的是1/8的結果，它適合檢測小尺寸的對象。最后，相對于YOLOv2預測對象類別時不再使用softmax而是改成使用logistic的輸出進行預測。這樣的操作能夠支持多標簽對象。

圖2 YOLOv3 結構圖

2.2 模型訓練

通過對常見的火災場景進行數據采集和檢測實驗，最終選定4 個場景的煙霧視頻進行切分成幀、標定并制作成煙霧數據集。本次數據集中共有6 000 張不同分辨率且場景各異的煙霧圖片，然后輸入到YOLOv3網絡模型中進行訓練。具體步驟為

1)數據集制作。首先，在不同場景進行煙霧的視頻錄制，對錄制完成的視頻進行視頻幀抽取；其次，對數據集圖片進行圖片預處理包括圖像增強、濾波去噪和圖片篩選等操作；最后，對數據集圖片的煙霧區域標定和對應的煙霧坐標信息作為訓練模型的輸入。

2)模型訓練。反復多次訓練模型和參數調整，結合同步訓練結果和網絡本身結構最后設定初始學習率為0.001，單位輪數為8，最大迭代次數為100 次。損失函數如圖3所示。由圖3可知：訓練輪越多，損失函數越小，跟期望輸出也就越接近。

圖3 平均損失函數圖

3 疑似煙霧區域篩選

對疑似煙霧的區域篩選：首先利用改進光流算法完成對動態區域的一次篩選，然后將框定的動態區域輸入到YOLOv3網絡完成二次篩選并最終檢測煙霧。

3.1 改進光流算法一次篩選

3.1.1 LK光流算法

煙霧的產生環境復雜多變，煙霧的特征容易受到周圍環境的影響，給單幀圖像的識別造成困難。在諸多煙霧特征中，動態特征最為明顯，光流法通過分析連續視頻幀間的聯系可以快速、高效地框定動態區域檢測動態特征。同時，通過提取視頻中的動態區域，可以有效地減少靜態區域的非煙霧圖像的識別和錯檢，從而保證視頻煙霧的檢測準確和高效。

光流算法是一種基于像素點運算的算法，通過估算兩幀圖像之間變化捕捉運動像素點，最早由Lucas和Kanade提出[11]，故簡稱為LK光流算法。光流算法適用的條件[12]：1)亮度恒定，一個像素點隨著時間變化其亮度值是恒定不變的；2)小運動，在很小的時間內不會引起運動目標的劇烈變化；3)空間一致性，相鄰像素點運動一致。

假定t時刻空間中的一點(x,y)亮度值為I(x,y,t)，那么該點在一小段時間Δt內運動到新的位置(x+Δt,y+Δt)，新的亮度值為I(x+Δt,y+Δt,t+Δt)。由于該點在時間段Δt內其相鄰運動像素點之間的亮度值不變?I(x,y,t)/t=0，由于亮度恒定I(x,y,t)=I(x+Δt,y+Δt,t+Δt)且圖像運動微小，通過泰勒展開并忽略其二階無窮小得約束方程為

IxU+IyV+It=0

(1)

式中：U和V分別為光流沿X軸和Y軸的速度矢量；Ix和Iy分別為像素點(x,y)在t時刻的偏導數。將像素點帶入式(1)，通過最小二乘法[13]得光流向量為

(2)

通過光流軌跡和邊緣輪廓點可以判定煙霧的大致運動區域，有效地分離出動態前景以及靜態背景，處理效果如圖4所示。由于煙霧的動態運動這一重要特征，可以將靜態區域劃定為非煙霧區域，從而完成煙霧第一次粗篩。傳統LK光流算法可以有效分離出動態前景和靜態背景，但由于火災發生時周圍環境因素復雜多變，如風向、風速等因素會影響煙霧的擴散，從而導致煙霧整體輪廓復雜且模糊。同時，煙霧本身的濃度稀薄、擴散速度過快等體態特征也導致了煙霧整體輪廓的復雜模糊、稀薄煙霧區域的漏檢以及煙霧區域的缺失。

圖4 LK光流法處理結果

3.1.2 改進光流算法動態區域提取

對不同場景的煙霧進行對比和分析得出傳統的LK光流算法提取前景的不足，通過分析光流特征點的分布建立二維坐標系并記錄離坐標軸最遠的光流特征點。在通過傳統光流法得到的特征點的基礎上，對動態區域進行擴大和矩形框定。通過改進光流算法對動態前景的提取和粗篩，可以有效減少檢測的運算量和對靜態場景區域的誤檢情況。具體改進步驟如下：

1)輸入視頻幀，以左上角為原點O對視頻中的圖象建立直角坐標系[14]，如圖5(b)所示。計算超定方程組式(2)并記錄每一個特征點橫坐標放入特征點坐標集合X:{x1,x2,x3,…,xn}，縱坐標放入Y:{y1,y2,y3,…,yn}，進而估算光流的運動軌跡，顯示光流的運動軌跡。

圖5 動態前景區域圖

2)通過集合X計算出相對于y軸的最近距離xmin和最遠距離xmax。同理，計算出相對于x軸的最近距離ymin和最遠距離ymax。

3)通過(xmin,ymin)和(xmax,ymax)兩組坐標劃定動態區域[xmax∶xmin,ymax∶ymin]為煙霧動態前景區域。考慮到由于煙霧本身如濃度、速度等形態學特征導致光流算法特征點的漏檢等情況，引進α和β兩個調節量用于擴大動態前景區，改進后的動態前景區域為[xmax+β∶xmin-β,ymax+α∶ymin-α]，如圖5(b)虛線區域所示。當煙霧應用場景為室外等受風影響較大煙霧變化較快的場景α和β需設定較小，動態區域明顯。當煙霧檢測應用場景為室內等受風影響較小煙霧變化緩慢的場景α和β需設定較大來防止前景區域過小來帶的檢測不準的情況。實驗表明：根據α和β兩個調節量的改變可以更好地適應不同煙霧場景下的檢測。

4)將劃定后的區域作為第一次煙霧的疑似區域進行圖像分割。在原圖的基礎上提取出圖片的動態前景區域。大量實驗表明：改進的光流算法可以有效、準確地完成圖片的動態前景提取。針對操場、竹林和大樓這3 個不同的場景進行實驗對比，實驗結果如圖6所示。圖6(a)為不同場景下沒有處理的原圖；圖6(b)為光流法處理后帶有煙霧輪廓的效果圖；圖6(c)為改進光流算法處理過后的效果圖。由圖6可知：在不同場景下，改進的光流算法可以有效地提取出動態前景所覆蓋的大部分范圍，同時對動態前景輪廓進行適當擴大。

圖6 光流法改進前后效果對比圖

3.2 YOLOv3模型二次篩選

將一次篩選框定的動態前景區域輸入YOLOv3模型完成煙霧的二次篩選，如圖7所示。YOLOv3通過特征提取網絡對輸入的圖像提取特得到一個N×N的維度為N×N×(B×(5+C))的特征圖,其中N為網格的數目；C為網格類別數目；B為網格負責目標數目。在特征圖上確定先驗框(cx,cy,pw,ph)，如圖8虛線矩形框所示。其中cx和cy為網格中心到圖像左上角的距離；ph和pw分別為先驗框的高和寬。通過輸入的特征圖預測輸出的(tx,ty,th,tw,to)，其中tx和ty用來偏移先驗框到中心檢測框；pw和ph則用來縮放先驗框到檢測框大小；to為置信度。通過非極大抑制算法進行處理，得到最后的檢測框(bx,by,bw,bh)，如圖8實線框所示。其中bx和by表示預測目標的坐標；bw和bh表示預測目標的寬和高，具體計算公式為

圖7 YOLOv3識別效果圖

圖8 Bounding box坐標

(3)

4 結果與分析

4.1 實驗環境

所有仿真結果基于Inter(R)Core(TM)i7-7700HQ@ 2.80 GHz處理器，16 GB內存，操作系統為Ubuntu 16.04，編程語言使用Python 3.6，使用PyCharm 2018開發環境編寫算法，每幀圖像分辨率為640×480。

4.2 準確率對比

為了驗證筆者模型的可行性，選取了特征提取算法Haar[15]，YOLOv3算法和筆者算法進行煙霧檢測和對比分析。選取操場、車內、住宅和工廠這4 類火災易發點進行實驗。針對煙霧檢測的準確效果好壞，采用了查全率recall和誤檢率N兩個評價標準對實驗結果進行分析評價，表達式為

recall=TP/(TP+FN)

(4)

N=FN/(TP+FN)

(5)

式中：TP為正確檢測為煙霧的視頻幀數；FN為錯誤檢測為煙霧的視頻幀數。筆者從查全率和誤檢率兩個方面對煙霧檢測的效果進行評價，可知在不同場景下的煙霧檢測效果有較大的差異。但是筆者算法相較于Haar和YOLOv3兩種算法，有效提高了煙霧檢測的準確率，降低了誤檢率，具有較好的魯棒性。不同算法在各場景中的查全率和誤檢率如表1所示。

表1 不同算法在煙霧視頻檢測中的查全率和誤檢率

不同算法在各場景下的煙霧檢測效果如圖9所示。由圖9可知：相同算法在不同場景中識別效果亦有差異。由于煙霧特征極易受到周邊環境因素的影響，如操場和住宅這兩處代表場景，容易受到風的影響導致煙霧的稀薄程度變化迅速。Haar算法未能對稀薄特征的煙霧區域進行完整的框定僅提取出部分煙霧，在工廠這一場景中Haar算法對于非灰白色煙霧場景提取效果也較差。因早期煙霧檢驗煙霧范圍小等特點，Haar算法和YOLOv3算法對煙霧檢測的效果并不理想，對中期煙霧檢驗煙霧特征則較明顯、透明度較小。YOLOv3算法和筆者算法可以準確地完成煙霧框，但是相對于YOLOv3算法，筆者算法在框定范圍上更為精確，漏檢和誤檢率相對較小。

圖9 不同算法在各場景下的煙霧檢測效果圖

4.3 檢測速度對比

筆者算法通過對煙霧動態特征進行捕捉，選取實時性較好且目標識別高效的YOLOv3網絡，可以很好地完成早期煙霧的檢測。火災前期煙霧實時檢測對火災發生時的及時報警撲救有重大意義，因此，可選取從第一幀煙霧出現至第一次檢測到煙霧的時間作為煙霧檢測的一個評價指標，稱為初次煙霧檢測時間指標，記為ts。現選取戶外、室內和車內等3 處場景，對Haar，YOLOv3和筆者算法進行分析對比實驗，具體實驗結果如表2所示。

表2 不同算法的初次煙霧檢測時間

由表2可知：因早期煙霧體積小、煙霧稀薄等特征[16]相對不明顯，傳統人工特征提取算法Haar對煙霧早期目標的檢測效果較差，只能檢測中期較大煙霧的情況。YOLOv3和筆者算法可以及時、有效地檢測煙霧，二者在實時性上效果相當。不同場景對煙霧實時性檢測的效果也不盡相同，風況、光照等因素對戶外首次檢測到煙霧時間的影響要明顯大于室內、車內等場景。

5 結 論

通過對煙霧數據的研究，提出了一種基于傳統光流算法改進與YOLOv3的煙霧檢測模型。該模型首先改進了傳統光流算法，完成了視頻幀圖像動態前景的框定，有效地降低了靜態區域的煙霧錯檢和漏檢的概率；進而利用訓練好的端對端網絡YOLOv3進行二次篩選；最終框定煙霧的具體區域和位置，將傳統的特征提取識別問題轉化為線性回歸問題，有效地避免了因有限特征不足帶來的識別上的弊端。實驗結果表明：該模型具有較高的準確性和魯棒性。但是，實驗中也反映出了筆者算法存在的不足，如煙霧距離視頻采集點較遠，煙霧邊緣變化緩慢引起前景提取困難，從而導致識別效率的降低，后續的研究將針對該問題進行算法優化。