基于視覺的煙火監(jiān)控云臺算法研究

李博 劉磊

摘要：火災給人們的生命財產(chǎn)安全帶來了嚴重威脅，做好火災預防有著重要意義。基于人工智能和嵌入式控制技術，開發(fā)了一套基于視覺的嵌入式煙火監(jiān)控云臺，用于公共區(qū)域的煙火實時監(jiān)控與預警。該云臺使用NumPy算法庫對視頻圖像進行快速預處理，以提高煙火檢測的準確度和處理速度；使用Yolov5檢測算法對視頻圖像中的煙霧和火焰進行分類識別，通過選取大量不同的火焰和煙霧場景制作數(shù)據(jù)集，得到煙火視頻圖像的檢測模型，可以實現(xiàn)大范圍的煙火監(jiān)控與跟蹤。實驗表明，該算法可以實現(xiàn)通用場景下的煙火快速識別、檢測與預警。

關鍵詞：云臺系統(tǒng)；圖像識別；深度學習；煙火監(jiān)控

火焰給人類帶來了許多益處，對火的合理利用是促進人類科學發(fā)展的一個重要因素，但使用不慎就會造成火災。隨著現(xiàn)代工業(yè)技術的發(fā)展，工廠、倉庫等工業(yè)場景逐漸增加，火災的隱患也隨之變大，給人們的日常生活及生命財產(chǎn)安全帶來嚴重威脅，很有可能導致難以估計的后果。因此，在火災發(fā)生早期發(fā)現(xiàn)火災并及時預警，對于保護人民安全、維護社會秩序有著十分重要的意義。

現(xiàn)如今，隨著火災探測技術的發(fā)展，出現(xiàn)了基于傳感器和基于視頻的兩種主流火災探測技術。傳統(tǒng)的基于傳感器火災檢測技術，使用感煙、感光、感溫等傳感器來檢測火災的發(fā)生[1]，存在易受環(huán)境影響限制、延時高、誤報率高等問題，當面對多變的情況時，不能進行精確的火焰探測。針對這些問題，文章基于機器視覺、嵌入式控制技術以及深度學習等技術，搭載了通用煙火監(jiān)控云臺系統(tǒng)，可實現(xiàn)對公共區(qū)域煙霧、火災的實時監(jiān)控及預警。

1 基于顏色空間的火焰識別

1.1? 圖像預處理

高斯濾波器是一種根據(jù)高斯函數(shù)的形狀來選擇權值，對圖像進行線性平滑操作的濾波器。高斯濾波對于濾除服從正態(tài)分布的噪聲非常有效，其被廣泛應用于圖像處理中的去噪、過濾和平滑等處理環(huán)節(jié)中。通過實驗對比，文章選擇使用高斯濾波對煙火圖像進行預處理。

1.2? 火焰判據(jù)及檢測結果

火焰可以基于顏色特征進行識別，最常見的火焰檢測研究基于火焰的RGB和HIS顏色空間[2]，并以此為根據(jù)創(chuàng)建了火焰檢測的顏色模型，主要以紅色分量的色調(diào)和飽和度設定判斷依據(jù)，進而分割火焰和背景，對火焰進行識別。

RGB顏色模型主要是根據(jù)顏色分量的大小不同提取火焰特征檢測火災。火焰的紅色分量（R）的值往往很大，綠色分量（G）次之，藍色分量（B）的值較小，所以有紅色分量（R）大于綠色分量（G），綠色分量（G）大于藍色分量（B）[3]。 依照火焰的這一顏色特征，有以下判定依據(jù)：

（1）

其中，S是HIS顏色空間中的S分量，表示顏色的深淺程度；RT是紅色分量的設定閾值，ST是飽和度的設定閾值。為了避免被背景照明影響，被提取出來的火焰的飽和度需要大于一個值從而避免錯誤檢測。根據(jù)火焰的檢測結果，RT最佳取值為115到135，ST最佳取值為55到65。使用該判據(jù)進行檢測，檢測結果如圖1-b、e所示。

基于以上檢測結果，在進行火焰檢測時，對火焰的判據(jù)進行進一步的完善，增加火焰像素點的紅色通道像素值大于整幅圖像紅色通道所有像素點的平均像素值這一判據(jù)，整體對火焰的判斷依據(jù)如式（2）所示：

（2）

當使用該火焰檢測方法對視頻中的火焰進行檢測時，需要挨個讀取每一幀圖像，之后遍歷每一幀圖像的每個像素點，獲取每個像素點的像素值并進行顏色飽和度的判定，判斷該像素點是否符合火焰的判定依據(jù)。這種檢測方法使得程序在運行時的速度比較緩慢，尤其是在檢測視頻中的火焰時會產(chǎn)生較大的延遲。針對該問題，文章應用NumPy庫對算法進行改進。NumPy可以直接對整張圖片的像素值進行處理，避免了遍歷每個像素點的操作，大幅減少了檢測的時間，提升了整體的檢測的速度，確保了視頻火焰檢測的實用性，可以對火災進行實時檢測。應用改進后的方法對圖像進行檢測，檢測結果如圖1-c、f所示。從檢測結果來看，改進后的顏色空間模型在對火焰進行檢測時取得了更好的效果，獲得的二值圖像更加符合實際的火焰區(qū)域，同時檢測的速度也有所提升。

2 基于背景減除法的煙霧檢測

背景減除法是一種常用煙霧檢測、識別方法，經(jīng)常被用于視頻圖像檢測[4]。由于模型中被檢測目標和背景是分開的，故該背景減除法用于動態(tài)的視頻圖像特征檢測中往往能得到較好的處理效果。文章使用基于混合高斯模型的背景減除法，該方法分離被檢測目標和背景的判斷依據(jù)是根據(jù)像素點的變化率，一般把變化緩慢的區(qū)域作為背景，變化快的區(qū)域識別為被檢測目標[5]。

2.1? 模型初始化

假設每個像素用K個高斯函數(shù)描述，第K個高斯的權重為，那么在時刻t，背景像素Xt的高斯模型可以描述為：

（3）

其中，，

。

使用上述模型對背景像素進行描述之后，背景的每個像素就通過高斯序列來描述，其中的每個高斯都有一個權重，K值一般取值為3到5，K值越大，算法處理波動的能力就越強，抗噪性能越好，背景建模效果也會更加穩(wěn)定，不過隨著K值的增加算法復雜度也會提高，背景建模速度也會變慢。

2.2? 目標檢測

高斯序列要求按照權重比（/σ）降序排列。這樣，用前B個權重之和大于閾值T的高斯函數(shù)來描述實際的背景模型，后面的高斯函數(shù)由于權重小于閾值，所占權重太小，因此不被用于描述背景。B的表達式為：

（4）

對于一個新時刻N的像素值XN，使其遍歷表示背景模型的高斯模型序列，看其是否符合某個高斯模型，當?shù)谝粋€滿足公式（5）的高斯模型為第k個，且k＜B，則認為該點是前景，否則為背景。

（5）

2.3? 參數(shù)更新

初始化預先定義幾個高斯模型，也就是第一個滿足公式（6）的高斯模型，進行如下式的參數(shù)更新。

（6）

其中，α為學習率。

判斷視頻分幀后每一幀圖像的每個像素能否跟某一高斯模型匹配，選取其中最匹配的模型作為背景模型，為識別被檢測目標做準備。

綜合以上預處理以及檢測方法對視頻中的煙霧進行檢測，檢測結果如圖2所示，能夠達到煙霧檢測要求。

圖2? 視頻煙霧的檢測結果

3 基于Yolov5的視頻圖像煙火檢測

由于煙火監(jiān)控的應用場景各異，為了達到更準確的監(jiān)控效果，文章利用上述的火焰識別和煙霧檢測算法，結合Yolo算法，搭建了視頻圖像煙火檢測深度學習平臺，綜合圖像處理和大數(shù)據(jù)的技術優(yōu)勢，完善煙火檢測云臺。

3.1? 深度學習框架搭建

Yolo算法把對圖像中物體的檢測問題轉化成回歸問題，即通過幾個邊界框來對物體的種類和數(shù)量進行分類[6]。相比于Faster R-CNN算法，Yolo算法的MAP（平均精度）值較低，但是FPS（畫面每秒傳輸幀數(shù)）值較高，所以具有更快的計算速度，因此在檢測不是特別復雜的圖像，或者檢測相對簡單的物體時具有更大優(yōu)勢。

文章使用YOLOv5s網(wǎng)絡結構模型對實時煙火視頻進行檢測。YOLOv5s結構簡單、訓練速度快，但檢測的平均精度偏低，因此多用于大視野、大體積的目標識別檢測。文章使用PyTorch庫搭建深度學習框架，PyTorch框架的運行速度快，接口設計靈活，封裝設計簡潔，具有靈活性和實用性。

3.2? 視頻煙火檢測過程及結果

文章根據(jù)云臺的應用場景，從互聯(lián)網(wǎng)獲得包含煙霧和火焰的圖片340張，使用LabelImg工具導入圖片，對圖像中物體的類別進行標注，完成打標簽工作。使用前文所述方法對圖片中的煙霧和火焰進行標注。使用打完標簽的數(shù)據(jù)集進行訓練，將Batch Size大小為16，Epoch大小設置為300，執(zhí)行訓練命令，訓練完成后得到Yolov5深度學習算法生成的權重文件。

使用訓練生成的模型對視頻和圖片中的煙霧和火焰進行檢測識別，檢測結果如圖3所示，其中a為煙火綜合檢測，b為煙霧檢測，c為多火焰檢測，d為爆炸場景檢測。

a? ? ? ? ? ? ? ? ? ? ? ? ? ?b? ? ? ? ? ? ? ? ? ? ? ? ? ? ?c? ? ? ? ? ? ? ? ? ? ? ? ? ?d

圖3? 圖像中的煙霧和火焰檢測結果

從視頻和圖片中的檢測結果可以看出，對于特征明顯的煙霧和火焰取得了較好的檢測結果。對于視頻中的全部煙霧不能全部識別，但是仍然能判斷出圖像中大部分存在的煙霧以及火焰，對整體的檢測效果沒有太大的影響。同時，應用該模型也可以在一定程度上對爆炸的結果進行檢測。

4 結語

文章使用NumPy算法庫和Yolov5深度學習檢測算法，對監(jiān)控云臺中煙火視覺識別算法進行了研究，該算法可以用于公共區(qū)域的煙火實時監(jiān)控與預警。實驗表明，該算法可以實現(xiàn)通用場景下的煙火快速識別、檢測與預警。

參考文獻：

[1]朱曉妤，嚴云洋，劉以安，等.基于深度森林模型的火焰檢測[J].計算機工程，2018，44（7）：264-270.

[2]盧結成，吳龍標，宋衛(wèi)國.一種火災圖像探測系統(tǒng)的研究[J].儀器儀表學報，2001（4）：437-440.

[3]萬纓，韓毅，盧漢清.運動目標檢測算法的探討[J].計算機仿真，2006，23（10）：221-226.

[4]張小駿，劉志鏡，陳昆.一種基于像素梯度信息的背景減除法[J].計算機科學，2015，42（8）：300-304.

[5]胡皓然，王穎.結合HSV空間陰影消除的高斯混合模型背景減除方法[J].電子設計工程，2018，26（7）：31-34+39.

[6]杜晨錫，嚴云洋，劉以安，等.基于YOLOv2的視頻火焰檢測方法[J].計算機科學，2019，46（6）：301-304.

Research on smoke and fire monitoring PTZ algorithm based on vision

Li Bo1， Liu Lei2

（1.Tianjin Shengda Fire Industrial Corporation， Tianjin? 300381;

2.Tianjin University of Science and Technology， Tianjin? 300222）

Abstract：Fire has brought a serious threat to people's life and property safety. It is of great significance to do a good job in fire prevention. Based on artificial intelligence and embedded control technology， this paper develops a set of vision based embedded fireworks monitoring PTZ for real-time monitoring and early warning of fireworks in public areas. The PTZ uses NumPy algorithm library to quickly preprocess video images to improve the accuracy and processing speed of fireworks detection. Yolov5 detection algorithm is used to classify and recognize the smoke and flame in the video image. By selecting a large number of different flame and smoke scenes to make data sets， the detection model of fireworks video image is obtained， which can realize a wide range of fireworks monitoring and tracking. Experiments show that the PTZ algorithm can realize the rapid recognition， detection and early warning of fireworks in general scenes.

Keywords：PTZ system; image recognition; deep learning; fireworks monitoring