徐守坤 符心宇 封曉晨 王雨生 石 林
(常州大學信息科學與工程學院 江蘇 常州 213164)
六氟化硫(SF6)是一種被廣泛應用于電力、化工行業的絕緣氣體,且具有無色無臭的性質,其泄漏會對設備與環境都造成巨大的損害,尋找一種及時、有效的SF6泄漏檢測方法尤為重要。傳統的SF6泄漏檢測方法很多,但大多利用其物理性質,借助設備進行檢測,這些方法不僅需要大量人力,且無法自動檢測。相關工作者利用SF6能夠較好吸收紅外光波的原理,提出了基于紅外成像技術的SF6泄漏檢測方法[1],在紅外技術支持下,SF6呈現出黑色煙霧狀。過去幾年中,很多圖像煙霧檢測算法被提出。文獻[2-3]提出幾種煙霧檢測方法,如結合聚合Gabor核和局部二值模式(LBP)的煙霧識別方法、結合Gabor網絡與紋理特征的煙霧識別方法。Yin等[4]提出一種用于煙霧檢測的歸一化卷積神經網絡,在提取特征的同時對數據進行歸一化處理,獲得了不錯的檢測精度。衛鑫等[5]針對采樣的每幀煙霧特征具有極大的相似性,提出一種深度卷積長短期記憶網絡的火災煙霧檢測模型。
本文針對傳統SF6泄漏檢測方法準確性不高且耗時耗力等問題,將紅外成像技術與機器學習結合,提出一種新的SF6泄漏檢測方法,提取紅外技術下SF6泄漏的顏色及運動特征,利用加入膨脹卷積[6]的改進卷積神經網絡進行分類,在增大感受野的同時,可以避免空間信息的丟失,在實際對SF6的檢測中具有比經典CNNs更好的檢測效果。實驗證明,本文方法不僅能夠對SF6氣體進行全天候、多角度自動檢測,而且具有較高的檢測準確率。
高斯模型的原理就是使用高斯正態分布函數來精確地量化事物,將事物分解為K個高斯分布[7],并且使用K個高斯分布的加權和來描述事物場景。一般來說,K的值越大,高斯混合模型處理場景變化的能力就越強,K的值一般取3~5。使用混合高斯模型能夠快速準確地提取疑似泄漏區域。
1.1.1高斯建模函數
在混合高斯模型中,設Xi,t為t時刻圖像中某像素點的取值,則模型的概率密度函數如下:
(1)

f(Xi,t,μi,t,Σi,t)=
(2)
式中:n為像素點的維數;β值是控制背景高斯分布個數的閾值。
1.1.2背景的劃分及更新
混合高斯模型之所以能夠準確劃分背景與運動區域,是因為它可以不斷地根據像素的變化進行背景的劃分與更新。在模型的概率密度函數中,ωi,t表示某單個像素值在第i個高斯分布產生的概率占P(Xi,t)的比例。一般來說,ωi,t的值越大,則第i個高斯分布越接近背景,而標準差σi,t(通常取2.5~3.5)越小,高斯分布越穩定。所以在混合高斯模型中,K個高斯分布按照權值ωi,t與標準差σi,t的比值從大到小進行排列,選取前B個高斯分布作為背景[10],其中b表示B值所能取得的最小值:
(3)
β值的含義是作為背景的高斯分布B在像素的整個概率分布中所占的權重,β過小會導致背景圖像分布為單峰,反之則會是多峰,在一般情況下β取值為0.7。將權值較大的高斯分布作為背景,將權值較小的高斯分布用作描述運動目標。
視頻中的背景不是一成不變的,混合模型需要一直更新背景。如果像素值Xi,t滿足:
|Xi,t-μi,t-1|≤2.5σi,t-1
(4)
則當前像素值與第i個高斯模型匹配,然后更新高斯模型參數,其權值、均值、方差的更新公式為:
(5)
式中:θi,t的值在模型匹配時取1,如果不匹配則取0;ρ=α×f(Xi,t,μi,t,Σi,t)為均值、方差更新率,α為模型的學習率。高斯混合模型就是在不斷更新背景的過程中,提取出運動區域。
卷積神經網絡(CNN)最早是由Lecun等[8]提出用于手寫數字識別領域,并迅速在該領域占據霸主地位。強大的CNN在圖像識別、運動分析、人臉識別、自然語言處理及腦電波分析方面都有極大突破。與傳統的神經網絡相比,其優勢體現在局部感受野和權值共享上。圖1為卷積神經網絡的網絡結構,由輸入層、卷積層、池化層、全連接層、輸出層等部分構成。其卷積層能夠特征提取,卷積層中的每個神經元分別連接到上一層的局部感受野提取特征;池化層充當特征過濾器,池化操作一般有最大池化和平均池化兩種,池化操作的目的在于減少參數矩陣的尺度,加快運算速度,一定程度上可防止過擬合。

圖1 卷積神經網絡結構
紅外成像技術下的泄漏SF6為運動目標,具有豐富的特征,單單提取一種特征對其進行檢測,不能滿足SF6檢測的快速變化要求。本文首先通過混合高斯模型[9](GMM)將其放入HSV顏色空間[10]進行分析,得到其顏色特征;然后在疑似泄漏區域進一步提取其動態特征,即不規則運動特征,通過提取SF6泄漏的顏色特征與運動特征,能夠適應不同場景下的煙霧類氣體檢測;最后使用膨脹卷積代替卷積神經網絡(CNN)中的池化層。實驗證明,膨脹卷積神經網絡(DCNN)與經典的CNNs網絡相比,具有更好的分類效果。通過DCNN對提取出來的泄漏區域進行判斷,并準確地在視頻幀上標記出泄漏位置。SF6檢測算法流程如圖2所示。

圖2 SF6檢測算法流程
以某紅外SF6泄漏視頻為例,采用混合高斯模型背景建模方法提取其疑似泄漏區域,通過EM算法來進行參數估計。部分參數初始值設定為K=5、β=0.7、α=0.005、n=3。
混合高斯算法能夠較準確地提取運動候選區域。圖3所示為混合高斯模型提取到的候選區域,其中:圖3(a)為原始SF6泄漏視頻;圖3(b)中白色區域為利用混合高斯模型提取到的運動區域,但是由于SF6泄漏的位置較為固定,在一段時間的檢測之后,模型會將連續運動的區域自動判定為運動區域,造成一定程度上的誤檢,所以單單使用混合高斯模型來檢測SF6泄漏是不夠精確的。

圖3 混合高斯模型算法效果圖
對于SF6的泄漏檢測,高斯混合模型具有較好的優勢,但是對于一些運動物體的干擾,還是不能較好地分辨,所以本文將采用合適的特征提取算法,提取SF6的顏色及運動特征,進一步提高識別SF6的泄漏位置的準確率。
HSV是根據顏色直觀特性提取特征的一種顏色空間,其中:H代表色調;S代表飽和度;V代表明度。圖4所示為HSV顏色圓錐模型。

圖4 HSV顏色圓錐模型
H的范圍為0°到360°,0°的位置為紅色,沿逆時針方向旋轉,綠色在120°的位置,藍色和品紅分別在240°和300°的位置。
S描述的是顏色與光譜色的對比程度,顏色越接近光譜色,飽和度就越大,一般飽和度的取值范圍0%到100%。
V表示色彩的明亮程度,這與發光體的亮度有關,與物體本身的透光程度也有關系,其取值范圍也為0%(黑)到100%(白)。
通常,圖像存儲在計算機中時,其存儲與顯示都是以RGB形式來進行的,但是HSV對于用戶來說是一種更加直觀的顏色模型,所以本文在HSV顏色空間中處理圖像數據。像素從RGB轉換到HSV顏色空間的公式如下:
(6)
(7)
V=max(R,G,B)
(8)
本文檢測的SF6氣體本身無色無味,但是在紅外成像儀下,卻呈現出黑灰色。將紅外SF6泄漏圖片所有像素點映射到HSV顏色空間當中,為了方便計算首先將圖片的三分量H、S、V映射到0~255之間:
(9)
由于計算機中所有圖像的默認值都會按照RGB的值處理,所以將圖片轉換到HSV空間時,圖像會發生較大變化。圖5所示為某SF6泄漏圖像放入HSV顏色空間中的效果圖,其中圖5(a)為原始圖像,圖5(b)為放入HSV顏色空間轉換后的圖像。

圖5 轉換到HSV顏色空間的效果對比
圖6是一幅從SF6泄漏視頻中截取的小圖像塊,將其從RGB顏色空間轉到HSV顏色空間中,分析其特征。

圖6 SF6泄漏圖像塊
HSV像素分布效果如圖7所示。圖7(a)為將SF6泄漏圖像塊所有像素映射到HSV空間的三維效果圖,x、y、z分別對應了H、S、V三個分量。由于像素分布較多且雜亂無章,看不出規律,所以將三維空間中的像素分布分別映射到三個平面上,將H、S、V兩兩組合,生成二維圖像。圖7(b)為HSV三維圖像向S-V平面投影得到的二維圖像,可以看出,S值較小的區域,像素分布很多,而V值的分布比較廣泛,沒有明顯的特征。圖7(c)為HSV三維圖像向S-H平面投影得到的二維圖像,可以看出,像素都分布在S值較小部分,而H值的分布較廣,也沒有明顯的特征。圖7(d)為HSV三維圖像向V-H平面投影得到的二維圖像,圖中V值的分布與H的分布都沒有明顯的特征。

(a) H-S-V像素分布圖3D

(b) S-V平面投影圖像

(c) H-S平面投影圖像

(d) V-H平面投影圖像圖7 HSV像素分布效果圖
將大量圖片放入HSV顏色空間中進行對比,得到如下結論:存在SF6泄漏區域的飽和度S一般較低,經過實驗選取S值為70,而SF6泄漏運動時亮度V提升,取視頻前50幀的平均亮度作為閾值。所以區域飽和度S低于70且亮度值V大于視頻前50幀平均亮度值時,判定該區域為疑似泄漏區域。
圖8所示為經過HSV顏色空間處理與原始圖像的效果對比圖,圖8(a)為原始圖像,圖8(b)中被黑色區域覆蓋的為SF6泄漏區域。通過顏色特征分析,可以進一步對候選區域進行篩選。

圖8 HSV顏色空間泄漏區域確定
2.3.2SF6泄漏運動特征分析
對比多個SF6泄漏視頻,其泄漏呈現出不規則性。一般來說,SF6的密度比空氣大得多,其開始的運動方向都為朝下,因受拍攝環境的影響,其泄漏軌跡往往會向四周擴散,整體運動呈現出不規則性。而煙霧的局部運動也是不規則的,這種運動特性是別的物體所不具備的,所以根據SF6泄漏運動的不規則性,可以進一步判斷SF6泄漏的運動區域。
同樣面積的兩個物體,一個是光滑規則的閉環曲線,一個是參差不齊、不規則的閉環曲線,兩者相比,不規則的曲線長度一定要比規則的曲線長度長。圖9為不規則性原理的示意圖,其中圖9(a)是邊緣規則曲線,而圖9(b)是面積與圖9(a)相同但形狀不規則的曲線,可以看出,不規則曲線長度明顯要長。

圖9 不規則性原理示意圖
SF6在發生泄漏時,受氣壓、溫度、氣流等影響,泄漏時呈現出不規則的形狀,通過計算每一幀的像素變化來實現SF6泄漏檢測是非常困難的,因此引入一個不規則度(Irregularity)[11]的概念,其計算公式如下:
(10)
式中:S1為使用混合高斯模型提取出來的疑似泄漏區域面積;S2為提取出來的疑似泄漏區域的最小外接矩陣的面積。S1、S2的值用其包含的連通區域的像素總數來描述。
給定一個閾值?,根據式(11)來區分是否為擴散的SF6泄漏區域。
(11)
式中:Area=1代表該區域為擴散的SF6泄漏區域,反之則不是。
通過計算多個SF6泄漏視頻的不規則度IRR,最終得到實驗需要的閾值?,如圖10所示,圖10(a)、(b)分別為兩組SF6泄漏視頻,圖10(c)、(d)分別為它們的IRR分布圖。可以看出,IRR的值大多分布在0.1到0.7之間,而且小于0.6的分布占絕大多數,通過多組實驗比對,IRR的分布同樣滿足這一特點,所以設定不規則度的閾值?為0.6。

(a) SF6泄漏視頻1 (b) SF6泄漏視頻2

(c) 視頻1的IRR分布圖

(d) 視頻2的IRR分布圖圖10 SF6泄漏不規則度分析

(a) 膨脹率r=1 (b) 膨脹率r=2 (c) 膨脹率r=4圖11 膨脹卷積結構單個神經元感受野
雖然CNN的分類效果已經很不錯,但它仍有以下問題。首先是卷積層的問題,卷積層通過一組矩陣與前一層網絡神經元的輸出矩陣相乘,即卷積計算,來得到某些特征,它具有平移不變性,這意味著,同一目標的輕微位置變化,可能不會激活那些識別目標的神經元;其次是池化層的弊端,池化操作會導致內部數據結構丟失以及空間層級化信息丟失。
基于上述情況,引入一種新穎的卷積方法——膨脹卷積。該算法既可以增大感受野,還可以避免池化操作而導致諸多細節和空間信息的丟失。膨脹卷積誕生于圖像分割領域,它在原始卷積的基礎上增加了一個r參數,能將卷積核擴張到膨脹系數所約束的尺度中,并將原卷積核中未被占用的區域填充0。圖11為膨脹卷積單個神經元感受野的示意圖,其中r代表卷積核的膨脹系數,其有效卷積核高計算公式如(12)所示,有效卷積核寬計算公式如式(13)所示。
hconv=fh+(fh-1)×(r-1)
(12)
wconv=fw+(fw-1)×(r-1)
(13)
式中:fh為原卷積核的高;fw為原卷積核的寬。
膨脹卷積的計算方法是通過卷積核沿著像素點逐步移動,移動到了某個像素點之后,特征圖對應的位置數值再與卷積核模塊做點積運算。膨脹卷積的感受野計算公式為:
k′=r(k-1)+1
(14)
膨脹卷積產生的特征圖分辨率計算公式為:
(15)
式中:k′為膨脹卷積核尺寸;k為原始卷積核尺寸;r為膨脹率;d為填充的數據大小;s表示步長。
不難看出,膨脹率r=1的時候,膨脹卷積與卷積是等價的,與卷積神經網絡的池化層相比,膨脹卷積具有快速擴大感受野、避免空間信息丟失的功能,在圖像數據需要全局空間信息進行分析時,能夠得到很好的應用。SF6是一種不規則的氣體,對其泄漏進行檢測,需要根據其空間信息進行判斷,所以使用膨脹卷積神經網絡來檢測SF6氣體泄漏分類效果更佳。圖12所示為本文使用的膨脹卷積神經網絡(DCNN)的網絡結構。

圖12 膨脹卷積神經網絡模型圖
本文中使用的膨脹卷積神經網絡共包含一層輸入層、三層卷積層、兩層膨脹卷積層、一層池化層、兩層全連接神經網絡層和一層輸出層。模型相關超參數如表1所示。

表1 網絡模型超參數

續表1
本文使用的膨脹卷積神經網絡(DCNN)在卷積神經網絡結構上,將前兩個池化層替換成膨脹率為2的膨脹卷積,減少了空間信息的丟失,在卷積層與全連接層中使用了修正線性單元(Rectified Linear Unit,ReLU)函數[12]作為激活函數,使用方差為0.1的正態分布來隨機生成卷積核的權值,其中偏置的值為1。ReLU函數公式如下:
f(x)=max(0,x)
(16)
全連接層部分采用了DropOut[13]的方法來防止過擬合,其原理是減少神經元之間復雜的共通關系,減少了一些特征相互依存的情況,從而提升整個神經網絡的效率,一般設置DropOut為0.3或者0.5,本文選擇0.5。如圖12所示,本文網絡中使用了兩個全連接層,最后一個Softmax層用于分類,兩個全連接層用于從前一層得到的特征圖中提取特征向量,為了研究不同組件的有效性,本文進行了實驗對比,實驗結果如表2所示,本文具有兩個全連接層的改進卷積神經網絡性能最佳,但去掉兩個全連接層的其中一個時,其性能略差,若將兩個全連接層全部去掉,網絡失去收斂效果。因為,當沒有前兩個全連接層時,提供給Softmax分類器的特征維數會非常高,忽略了反向傳播,所以全連接層對于網絡是不可缺少的一部分。表2所示為不同全連接層對檢測效果的影響結果分析,表明兩個全連接層的神經網絡對于SF6的檢測效果更佳。

表2 不同全連接層數量對比實驗結果
在輸出層使用了Softmax函數作為激活函數,傳統的Lenet-5卷積神經網絡的輸出層有10個神經元,而本文的目的只需要判斷SF6是否泄漏,所以將輸出神經元的數目修改為2,減少了輸出層的運算量。
本文使用Linux搭建實驗開發平臺,選用Ubuntu16.04作為操作系統,GPU選用NVIDIA GeForce GTX 1080Ti,CUDA8.0,CUDNN6.0,內存為12 GB。實驗使用Tensorflow深度學習框架進行模型的訓練和測試。為了證明本文方法的優越性,本文使用Tensorflow框架在同樣的實驗環境下實現了其他深度卷積神經網絡,如Lenet-5、Alexnet。在此硬件環境下,訓練一個周期的DCNN需要90 s,對紅外SF6視頻的識別速度大約為15~20幀/s。
3.1.1數據來源及整理
SF6氣體因其肉眼不可見的性質,其圖像視頻的獲取大多來源于紅外熱成像儀的拍攝,雖然其檢測的重要性較高,但是并沒有成熟的公共數據集,本文主要通過以下兩種方式采集SF6泄漏視頻數據:(1) 通過Youtube、Youku等視頻網站視頻爬取;(2) 以GF306紅外氣體成像儀現場采集。圖13為部分采集到的紅外SF6泄漏視頻幀。拍攝的場景及測試部位有法蘭、閥門、室內外GIS設備、密度繼電器等。視頻大小都為320×240,每秒25幀,在紅外拍攝條件下,整體呈現出黑灰色且亮度較暗,噪聲類型主要為高斯噪聲。

圖13 部分SF6泄漏視頻
3.1.2數據集預處理及數據增強
1) 數據集的去噪處理。為了降低圖像的噪聲,增強圖像的固有特性,本文對紅外SF6泄漏視頻進行圖像預處理,由于SF6泄漏視頻的采集大多是通過紅外成像儀拍攝得到,受拍攝環境、傳輸過程的影響,會產生一些圖片噪聲,這決定了圖片質量的好壞,對圖像的識別準確率會有一定的干擾。所以在檢測之前,需要對其進行濾波去噪,本文采用的是高斯濾波法。高斯濾波是一種線性濾波,在處理高斯噪聲時效果較佳,可以有效保護圖像的邊緣信息。本文采用雙線性插值算法對視頻進行歸一化處理,該算法不僅對圖像縮放效果好,而且其運算效率也很高,最終將視頻歸一化為320×240。本文最后輸入到膨脹卷積神經網絡進行訓練的圖片是32×24像素的小圖片,使用小圖片進行訓練能夠有效地減少運算量,提升檢測速度。
2) 數據增強。深度卷積神經網絡通常有數百萬需要學習的參數,想要通過卷積神經實現高準確率,一方面需要大量的訓練圖像,另一方面需要圖像樣本的均衡性。本文通過數據增強技術[6],將SF6圖像樣本和非SF6圖像樣本進行水平翻轉、垂直翻轉,從訓練集中產生更多的訓練數據。將新生成的樣本與原始樣本進行混合,在不改變正樣本與負樣本比例的同時,生成了更大更平衡的訓練集,對整個系統的檢測性能有了不錯的提升。如表3所示,Set1為測試所用數據集,測試集中的正負樣本圖片都是從紅外SF6泄漏視頻中裁剪出來的,Set2為沒有使用數據增強技術的原始數據集,Set3為使用數據增強技術對數據集進行擴充。擴充后的數據集中的圖片統一為32×24的小圖片,其中:黑灰色煙霧圖片一部分來源于文獻[14]的公開數據集,一部分是裁剪自SF6視頻中的泄漏圖像塊;非泄漏煙霧圖片一部分來源于公開的煙霧檢測負樣本數據集[14],另一部分裁剪自泄漏視頻中對應的非泄漏區域,如設備、墻壁等。

表3 數據集描述
為了檢測算法的效果,使用本文的方法對采集到的SF6泄漏視頻進行檢測,圖14所示為本文系統最終輸出的結果示意圖,系統標記出識別為SF6泄漏的小塊圖像在原視頻幀中的位置。

圖14 部分SF6泄漏視頻檢測結果示意圖
通過觀察與分析,紅外成像儀拍攝的SF6泄漏視頻主要有以下特點:紅外SF6呈黑灰色煙霧狀;泄漏速度較快,泄漏擴散的畫面與畫面背景類似;視頻的每一幀都是泄漏幀。
本文方法會根據檢測結果生成整個檢測環節中的報警幀數,通過統計準確報警、錯誤報警、漏檢的幀數,計算整個系統的準確率、誤檢率及漏檢率,實現SF6泄漏檢測的客觀評價。
表4為部分紅外SF6泄漏視頻的檢測分析,其中S表示泄漏幀數,T表示正確檢測到泄漏的幀數,N1表示漏報幀數,N2表示誤報幀數。可以看出,設備穩定、正常拍攝條件下的SF6視頻泄漏檢測效果不錯,誤報數和漏檢數比較少,說明本文使用方法檢測的報警率較高;但如果設備晃動,泄漏量少或泄漏不明顯;有較多干擾因素在的話,就容易出現誤報、漏報的情況。

表4 部分紅外SF6泄漏視頻檢測分析

續表4
為了更加客觀地評估本文的方法,將多個測試視頻的檢測數據進行統計,計算平均準確率、漏檢率和誤檢率[15]。記平均準確率為AR,漏檢率為LR,誤檢率為FR,泄漏幀數為S,漏報幀數為N1,誤報幀數為N2,測試的視頻數為n,i表示測試視頻,計算公式如下:
(17)
經過多次實驗,本文方法的準確率保持在82%左右,檢測的效果比較好,具有一定的抗干擾能力,魯棒性高,缺點是還有一定程度的漏檢。
為了驗證本文使用的膨脹卷積神經網絡具有較好的效果,本文將其與幾個經典的CNN進行了對比實驗,如Lenet-5[16]、Alexnet[17]、ZF-net[18]。使用這幾種網絡分別對進行數據增強以后的Set2進行訓練,訓練采用隨機組合的方法,每次隨機抽取100幅圖片進行分類訓練,一共抽取1 000組數據。隨機組合的好處在于對小數據集能夠達到大數據集的訓練效果。表5所示為幾種網絡訓練的精度對比。

表5 本文網絡與經典CNN的精度值比較
可以看出幾種CNN網絡都能得到不錯的訓練精度,但是在實際的SF6泄漏檢測過程中,膨脹卷積神經網絡結合本文提取SF6泄漏特征的幾種方法,其檢測的效果明顯更佳。采用4種網絡分別對Set1和Set2進行訓練,然后對紅外SF6泄漏視頻的檢測進行評估,結果如表6所示。可以看出,本文使用的DCNN取得了最高的AR值和最低的LR值。在Set1上,Alexnet取得了較低的FR值,但是DCNN在AR值和LR值上明顯高于Alexnet;ZF-net在Set2上擁有較好的AR和FR,但是其擁有過多的可學習參數,在速度上明顯不及DCNN。總之,本文使用的DCNN在SF6這類煙霧類氣體檢測當中,擁有比Lenet-5、Alexnet和ZF-net更好的檢測性能。

表6 與不同CNN的對比實驗
針對傳統SF6泄漏大多依靠人力檢測的問題,本文提出一種基于多特征融合及膨脹卷積神經網絡的紅外SF6泄漏檢測方法,采用圖像處理算法結合深度學習網絡對紅外技術下SF6泄漏進行檢測。實驗證明,本文方法具有較好的檢測效果,為實現遠距離實時檢測SF6泄漏提供了理論依據。該方法可以應用在人員不易接觸、距離較遠的高壓電氣設備中,不僅對SF6實現了檢測,而且節約了人力,保障了相關工作人員的安全。
未來可以將本文方法與SF6泄漏的濃度檢測相結合,工作人員可以根據泄漏的程度大小采取不同的處理方法,進一步提高SF6電氣設備的監管力度,保障電力生產作業安全運行。