基于YUV色彩空間的煙霧區域提取方法

朱家輝 趙志瑛 賈靜靜

（太原師范學院 山西省晉中市 030619）

1 引言

目前現存主要煙霧檢測方法可以分為傳感器煙霧檢測技術和計算機視覺煙霧檢測技術，前者出現時間較早且技術較為成熟，廣泛用于商業和民用消防領域，但實時性不足，很難對火災規模進行估計。近些年視頻監控技術的成熟，催生了基于計算機視覺檢測的煙霧檢測技術。目前基于計算機視覺的煙霧檢測技術已經成為煙霧檢測領域的主要研究方向。

在基于計算機視覺的煙霧檢測技術中，大多數方法用到了早期的機器學習算法，例如支持向量機（Support Vector Machine, SVM）。這些算法在簡單的分類或者回歸問題上有著不錯的表現，因此也被頻繁拿來應用在煙霧檢測領域。Miranda 等人[1]對多種顏色模型統計煙霧圖像的像素值分布，通過Relief 特征分析煙霧在顏色模型的顏色分量，并進行煙霧檢測；Chen[2]對小波方法中純色物體造成的干擾進行修正，提出對比度圖像的概念，對當前幀與背景幀進行小波變換，由高低頻比檢測運動區域是否為煙霧；Russo 等人[3]使用局部二值模式(Local binary patterns, LBP)提取煙霧紋理特征，使用機器學習方法對煙霧進行分類；Appana 等人[4]利用時空序列上的能量分析和Gabor 變換對幀間差分圖像中的煙霧模式進行建模，但幀間差分的采樣間隔依賴于煙霧本身的運動,很難自適應地指定采樣間隔。

上述方法中，基于傳統機器學習檢測方法主要通過在像素空間中提取疑似煙區，然后使用機器學習方法對疑似區域進行檢測。這種方法具有較高的實時性，所需要的計算量小，但泛化能力較差。有一些基于小波變換以及其變種的檢測方法，所需時間復雜度較高，實時性較差。在現有檢測方法的基礎上，本文提出一種簡單且適用性強的煙霧區域提取方法，主要可以分為兩部分：運動區域提取和定位煙霧區域。監控視頻在轉儲后首先進行運動區域提取，根據算法所能達到的實時性和視頻采集幀數確定切割成幀的間隔，再對幀序列進行運動區域提取，最后對疑似煙區定位并從當前幀圖片中裁剪下煙霧區域等待后續煙霧檢測。

2 基于像素梯度的運動區域提取

本節主要研究如何通過像素梯度提取相鄰幀中的運動區域。監控視頻背景相對固定，極少出現全畫幅的位移，所以相鄰或者相鄰時間段內監控畫面中發生動態變化的區域就成為了運動區域。

上述公式中R、G、B 分別對應圖像中RGB 三個色彩通道的值，值域[0,255]，Grey 值代表灰度，公式將整個圖像轉化為灰度圖。然后根據灰度圖求整個圖像的像素梯度。圖像像素梯度是指圖像對應的灰度圖中，某像素點的灰度值在x 和y 方向上的變化率，像素梯度經常用于圖像銳化濾波以及圖像的邊緣檢測，是特征提取的一個重要領域。在提取像素梯度時經常會用到一些微分算子，較常用的一階微分算子有Roberts 交叉梯度算子、Prewitt 算子和Sobel 算子，二階微分算子有Laplacian 算子和LOG 算子[6]。其中Sobel 算子常用來表達微分和梯度的一種操作，Sobel 算子核可以用迭代的方式去構造，通常使用3×3 的大小去計算像素梯度，在水平和垂直兩個方向的算子核為：

圖1：運動區域提取

圖2：噪聲去除

圖3：YUV 空間的疑似煙區定位過程

圖像中某一點像素的梯度可以表示為：

其中Sobel 為對應x、y 方向的算子核，Area 為以某一點為中心，大小為3×3 的灰度矩陣。可以根據這一點在x、y 方向上的像素梯度計算出邊緣檢測方向G 以及幅值Θ，其中

圖像像素梯度矩陣提供在整個圖片中所有像素點在領域中的梯度，這就為運動區域的檢測提供了參考，對鄰幀和當前幀的像素梯度矩陣使用幀差法，差分后得到的矩陣就是像素梯度差分矩陣[7]，矩陣中非零元素即是在幀間隔內發生變化的像素，非零元素的坐標即是圖像中發生變化的像素坐標，如圖1。

3 噪聲處理

上述方法在理論上可以對此矩陣中非零元素區域做疑似煙霧區域定位，但在進一步的實驗中發現許多干擾因素，例如隨機噪聲、環境光變化和采集設備本身的抖動，這些因素會使視頻采集設備對靜止場景采集產生的相鄰幀帶有微小的抖動誤差，這種抖動誤差往往使像素梯度差分矩陣中絕大多數元素非零。

表1：煙霧色彩在Y、U 通道的數值分布

表2：疑似煙霧定位的準確性驗證

針對這種情況，本文選擇采用高斯濾波預處理以及閾值過濾等手段來減少采集設備本身對運動區域提取造成的影響。高斯噪聲普遍存在于數字圖像中，圖像在數字化和傳遞過程中會遭受到不同噪聲的干預，這種干預不僅會影響人對于圖像的觀感，也影響圖像復原、分割、特征提取、圖像識別等工作的進行[8]。對噪聲的處理工作主要有兩方面，一方面是在計算梯度前對圖像進行高斯濾波降噪，分別使用高斯濾波和中值濾波消除高斯白噪聲和椒鹽噪聲；另一方面是學習在應用場景下的噪聲在計算像素梯度矩陣時所產生誤差均值的經驗值，以此作為閾值過濾掉噪聲所帶來的影響。

在噪聲過濾后，對前后兩幀梯度矩陣的差分就可以大致提取出在采集兩幀圖像的時間段內發生變化的主要運動區域，如圖2。

4 疑似煙霧區域定位

運動區域提取雖然提取到了相鄰圖像中運動的區域，但是對這樣提取的運動區域直接進行目標檢測無法產生理想的檢測結果。因為這些運動區域有可能受到其他因素的干擾，比如擺鐘和風扇等本身就運動的物體，還有人和寵物等動物走動也會產生運動區域，這些運動區域屬于非煙霧區域。對這樣包含大量“噪聲”的運動區域進行目標檢測不僅會消耗大量的計算資源[9,10]，而且會降低檢測精度和實時性，所以需要進一步使用疑似煙霧區域定位運動區域中存在的疑似煙霧區域。

在談及新能源混合動力汽車之前，先了解一下傳統意義技術層面上對混合動力汽車的定義—混合動力汽車也被稱為復合動力汽車，其動力輸出部分或全部依靠車載的內燃機提供，并根據對其他動力源(如電動源)的依賴程度分為弱混、輕混、中混和重混(全混)，根據其動力輸出的分配方式分為并聯、串聯和混聯。

煙霧區域通常具有煙霧的可辨別特征，例如利用圖像能量分布、紋理特征和顏色特征等方式區別煙霧區域與非煙霧區域。顏色是煙霧在視頻信息中的重要特征，在火災發生的初期，燃燒物的溫度較低，煙霧一般呈白色或灰白色。計算機內大多數圖像顯示的顏色空間為RGB，這種顏色空間根據人眼識別的顏色定義，采用加法混色法對紅綠藍三原色不同比例的疊加來產生對應的顏色。RGB顏色空間是顯示器系統中最常用的顏色空間，但是由于采用這種顏色空間的圖片或者視頻的色彩，亮度，飽和度三個量混合在一起，難以對圖像進行數字化調整，所以在科學研究中一般不采用RGB顏色空間。YUV 顏色空間大多用于彩色電視系統中，其原理是對輸入的彩色圖像信號進行分色處理，計算出像素點的亮度信號Y和兩個色差信號U、V。由于煙霧粒子對光線有阻攔作用，相較于RGB，在YUV 上進行煙霧檢測能夠同時統計顏色特征和光照強度特征，顏色信息和亮度信息相互獨立，所以由YUV 統計的煙霧模型更準確[11]。

一般情況下RGB 轉YUV 顏色空間的轉換方式為：

經視頻采集設備采集產生的圖像通過上述方式轉換為YUV 顏色空間的圖像，其中Y 是亮度分量，U、V 是色度分量，煙霧的顏色特性導致大部分煙霧在YUV 色彩空間中具有顯著特點。本文根據煙霧區域亮度分量與色度分量的關系總結出YUV 顏色空間的煙霧分布規則：

式中Scolor為煙霧分布矩陣，其中非0 的數值代表圖像中的疑似煙區，SYUV(x,y)代表疑似煙霧點（x,y）處的YUV 顏色值，Y(x,y)、U(x,y)分別代表(x,y)處在亮度分量上的Y 值和在色度分量上的U 值，Tmax 和Tmin 分別代表閾值的上界和下界，在對現有數據集的不同煙霧進行對比后，得到常見煙霧色彩在YUV 顏色通道里的數值分布，如表1 所示。

根據不同色彩煙霧的分布適應性的選取閾值，以達到對不同的煙霧進行疑似煙區定位的效果。圖3 表示上述方法在YUV 顏色空間對煙霧的定位效果。

5 實驗結果分析及結論

實驗所用計算機CPU 為AMD 3700X, 主頻3.6GHz，內存為32GB DDR4 內存，內存頻率3200MHz，顯卡為NVIDIA RTX 3080，顯存10GB。根據算法所實現的程序所需要的環境依賴為：Windows 10 x64 操作系統，Python3.6，OpenCV 4.2 等。

實驗所使用數據集包含網絡中搜集得到的總時長14 分鐘的視頻以及室內場景的30 分鐘視頻，按照25FPS 的幀率切割成幀，總計約51000 張圖片。其中包含煙霧的視頻占據總時長的60%，剩余則為無火焰和煙霧的正常監控視頻。選取較符合室內監控圖像質量和場景下，包含不同顏色煙霧的圖片數據共計450 張，使用IOU驗證算法的準確性，結果如表2 所示。在驗證算法提取煙區準確率時，以定位煙區和人工標記煙區的IOU 大于0.75 為閾值，IOU 大于或等于此閾值的樣本判定為定位成功，小于此閾值的樣本則判定為定位失敗。

根據表2 數據分析，本文提出的算法對不同顏色火焰的圖像樣本具有較高的準確率。結合機器學習高效、簡單的特性，進一步提高了在計算機視覺方向上對煙霧的檢測能力。