融合多尺度特征的前景分割方法在高壓開關柜異物遮擋檢測中的應用

姜鴻飛，晏忠泰，楊科，彭德中

(1. 四川大學計算機學院，成都 610065；2. 中國煙草總公司四川省公司專賣監督管理處，成都 610094；3. 中國煙草總公司四川省公司法規處，成都 610094)

0 引言

變電站是電力系統中電力輸送和轉換的樞紐，在整個電力系統中有著非常重要的作用，變電站中的高壓開關柜控制和保護著電力的傳輸與配送，需要對其運行狀態進行實時的檢查。由于開關柜元器件設備種類繁多且狀態復雜，傳統中對開關柜的檢查依靠人力巡視來實現，其中一項重要的任務是檢查開關柜是否有被異物覆蓋；與此同時，近年來隨著智能化的推廣，越來越多的變電站采用無人化的智能巡檢實現對變電站設備尤其是高壓開關柜的檢查，基于監控圖像利用計算機視覺的方法進行狀態識別是最常用的實現方法之一，而在進行狀態識別之前，也有必要首先進行一次異物的遮擋檢測確保算法可以得到完整的設備圖像。

恒定環境狀態下的開關柜異物遮擋檢測本不是一件非常困難的事情，然而當環境光變化較大、攝像頭分辨率低且畸變嚴重等情況下，情況將變得比較復雜，一些傳統的異常檢測方法在這樣的環境下容錯率將變得很低。為了解決這個問題，本文嘗試將視頻中運動目標檢測的基于深度神經網絡的前景分割方法應用于靜態視頻幀的異物遮擋檢測，并通過實驗驗證其可行性。

1 相關工作

1.1 異物檢測

異物檢測是一項常見的圖像處理與計算機視覺的任務，廣泛應用于鐵路侵限異物檢測、電力系統輸電線異物檢測、溶液異物檢測等場景。

基于傳統計算機視覺算法的異物檢測方法大量應用于這些場景，例如，在變電站智能巡檢機器人異物檢測任務中，趙小魚等人[1]針對巡檢機器人拍攝的圖像存在視角變化的問題，首先從圖像中提取SIFT特征并在模板圖片中進行配準，然后再對圖像進行二值化處理，利用“不變矩”算法進行相似度評價，從而對圖像中是否存在異物進行判斷；在輸電線異物檢測任務中，Huang等人[2]將任務分為兩步，首先采用基于LSD的級聯拓撲濾波提取出輸電線的輪廓，并通過線段聚類來找出輸電線區域，然后利用顯著性計算來提取輸電線區域上的異物；針對無人機拍攝圖像，Cao等人[3]利用OTSU閾值分割方法對圖像進行二值化將待測輸電線從天空等背景中提取出來，然后運用形態學閉合運算結合形態學特征約束方法將異物從前景中分割出來實現異物的檢測。這些傳統異物檢測算法的設計通常依賴于特定的應用場景，并且對于復雜場景檢測效果欠佳。

近幾年，許多研究嘗試將深度學習目標檢測方法應用于異物檢測，例如，Wang等人[4]將SSD、DPM和R-CNN三種目標檢測模型應用于輸電線異物檢測，通過實驗對比驗證了深度學習目標檢測方法在異物檢測任務中的可行性；Li等人[5]在YOLOv3網絡的基礎上，結合深度可分卷積和特征金字塔提出了用于檢測飛機機身、發動機葉片等結構裂紋的檢測網絡YOLOv3-lite，在幾乎不損失精度的情況下大幅提高了檢測速度。然而，目標檢測算法通常適用于檢測預先指定的異物類型，并不適用于檢測模型未見過的隨機異物。

1.2 前景分割

監控視頻中的運動目標分割近年來是計算機視覺領域一項研究熱點，在交通車輛跟蹤、行人動作識別、異常行為檢測等場景有著廣泛的應用，一種主流的方法是前景分割。傳統方法多采用背景建模，例如Stauffer和Grimson[6]最早使用高斯混合模型(GMM)對視頻幀中的背景像素進行概率建模，此后基于高斯混合模型的背景減除法憑借其優秀的自適應能力和分割性能得到廣泛的關注，至今仍然是主流的前景分割方法之一，該方法需要通過連續的視頻幀來更新背景模型，也因此在靜態視頻幀的分割任務中效果欠佳。

近年來深度學習在計算機視覺各領域任務大放異彩，也包括運動目標分割任務。Braham和VanDroogenbroeck[7]首次將卷積神經網絡(CNN)應用于前景分割，提出了ConvNet模型，該模型提取每個像素周圍的圖像塊(Imagepatches)結合對應的背景模型圖像塊輸入網絡對該像素進行分類，判斷該像素是否屬于前景，但受限于圖像塊的大小，模型對于大目標分割效果不佳。針對這個問題，Wang等人[8]提出了一個多尺度輸入的級聯分割網絡模型，通過輸入三個尺度的輸入提高大尺寸目標的分割準確率，并利用網絡級聯取代條件隨機場(CRF)來提高像素間的關聯關系，大幅度提高了分割精度，但這種基于圖像塊的像素分類模型主要適用于前景物體在顏色、尺寸以及形狀等相似的情況，對于差異較大的物體分割效果較差。于是，Lim和Keles[9]在多尺度輸入結構的基礎上，提出了一種基于encoder-decoder結構的分割網絡FgSegNet，通過decoder網絡生成前景概率圖，有效地提高了在前景物體差異較大時的分割能力；隨后，Lim和Keles[10]在FeSegNet模型基礎上引入了特征池化模塊(FPM)取代多尺度輸入，提出FgSegNet-S模型，在不損失分割精度的基礎上有效降低了計算復雜度。

1.3 本文方法

變電站高壓開關柜的異物遮擋檢測難點主要有四點：

(1)復雜的背景環境，包括擁有許多顏色、形狀各不相同元器件的開關柜面板，隨時都有可能發生狀態改變的元器件，以及不穩定的環境光，會對異物檢測產生干擾；

(2)異物的種類是隨機的，在顏色、形狀、尺寸等特征上差別較大，部分異物與背景的開關柜面板中的元器件特征相似，難以通過一種有效的特征進行描述；

(3)攝像頭可能會產生焦距、對焦位置、旋轉位置的變化；

(4)缺乏有效的訓練數據集。

以上，傳統的計算機視覺算法難以有效適應復雜背景，基于深度學習的目標檢測算法難以檢測隨機異物，現有方法無法滿足該場景下的異物遮擋檢測；考慮異物檢測的目標，即從相對固定但存在部分光線和干擾物變化的背景中將前景的遮擋異物檢測出來，與運動目標分割任務的目標相似，于是考慮將運動目標分割任務中的基于深度神經網絡的前景分割方法應用于異物檢測。

本文嘗試以FgSetNet-S[10]為基礎模型，針對異物形狀和尺寸多樣的問題，引入多尺度特征融合，針對缺乏有效數據集的問題，人工合成開關柜異物分割數據集，并通過實驗驗證模型的可行性。實驗表明，本文所述模型相比其他模型在異物分割數據集上擁有更好的分割效果。

2 模型結構

模型由特征提取器、多尺度特征卷積模塊和反卷積解碼器三個部分組成，如圖1所示。

圖1 模型總體結構圖

2.1 特征提取

特征提取器用于提取輸入圖像的特征，并用于后續的高層次語義操作。卷積神經網絡在圖像特征提取方面的能力大大強于傳統基于手工設計的圖像特征提取器，例如在場景語義分割網絡SegNet[11]中，模型采用了修改的VGG16[12]網絡作為特征提取器，該網絡移除了VGG16網絡中的全連接層，保留了所有的卷積層和池化層，并設計了與之結構對稱的decoder網絡。鑒于異物分割任務的特殊性，為了防止基于單一背景的數據訓練產生模型過擬合，本文所述模型采用的特征提取器在移除VGG16網絡全連接層后，繼續移除第4、5卷積塊，僅保留前3層卷積塊。3層卷積塊分別輸出3個尺度的特征圖，這些特征圖將被用于后續的多尺度特征融合。

2.2 多尺度特征卷積

輸入圖像經過特征提取網絡多次卷積運算提取特征之后，在網絡的輸出層轉化為高維度特征圖，高維度特征圖包含豐富的圖像語義信息，但會由于經過了多次池化采樣操作而在一定程度上丟失一些細節信息，不利于模型對小尺寸的目標進行分割。FgSegNet-S[10]通過特征池化模塊(FPM)，運用膨脹卷積，在最后一層特征圖進行運算得到5個感受野不同的特征圖，并合并為最終的多尺度特征圖，但膨脹卷積僅擴大了感受野，并未針對小目標的分割有實質提升。于是，本文提出多尺度特征卷積模塊，在特征池化模塊(FPM)的核心結構基礎上，融合低層特征，以期同時針對大尺寸目標和小尺寸目標進行效果提升。

多尺度特征卷積模塊如圖2所示，特征提取模塊輸出了三個尺度的特征層，定義為F1、F2、F3，三者尺寸相對于輸入圖像分別為1/2、1/4和1/8。F1通過一個步長為2的3×3卷積操作，尺寸減半，輸出尺度為1/4的特征圖f1；F2通過步長為1的3×3卷積操作，尺寸保持不變，輸出尺度為1/4的特征圖f2；對于F3，特征圖分別通過一個3×3普通卷積、一個膨脹率為8的3×3膨脹卷積和一個膨脹率為16的3×3膨脹卷積操作得到三個擁有不同感受野的1/8尺度的特征層，后分別經過三個步長為2的3×3反卷積操作，尺寸提升一倍，輸出尺度為1/4的特征圖f3、f4和f5。輸出的5個特征圖的通道數均為64，最后將這5個特征圖進行拼接合并，得到一個尺度為1/4、通道數為320的合并特征圖Fout。Fout后續進行批歸一化(BatchNormalization)操作來對來自不同分支輸出數據組成的訓練批數據進行分布歸一化，提高模型的收斂速度，然后通過線性整流函數(ReLU)提高模塊的非線性，最后進行dropout操作隨機凍結訓練時的模型參數防止模型過擬合。

圖2 多尺度特征卷積

2.3 反卷積解碼

反卷積解碼模塊用于將多尺度特征圖進行多次上采樣實現特征信息的解碼，生成尺寸同輸入圖像的描述前景和背景目標性的概率圖，概率圖經過閾值過濾得到像素級別的二分類結果，得到最終的前景mask。

模塊的結構如圖3所示，網絡包含4個反卷積塊，其中t_block 1、t_block 2、t_block 3擁有相似的結構。以t_block 1為例，來自多尺度特征卷積模塊的尺度為1/4、通道數為320的特征圖首先通過步長為1的1x1反卷積操作降維到64通道，目的是降低計算復雜度提高計算效率；隨后特征圖通過步長為1的3×3反卷積操作，保持尺寸和通道數不變；最后特征圖通過步長為1的1×1反卷積進行維度擴大，通道數提升到512。t_block 2的結構大致與t_block 1相似，不同的是特征圖在經過1×1反卷積降維后，通過步長為2的3×3反卷積操作，尺寸擴大一倍，輸出尺度為1/2的特征圖。t_block 4擁有兩個反卷積層，特征圖首先通過步長為2的3×3反卷積操作，尺寸進一步擴大，隨后經過1×1反卷積操作降維到1，輸出尺度為1、通道數為1的特征圖，最后特征圖的每一個像素通過sigmoid函數計算得到像素二分類概率，得到最終的分割概率圖，概率圖的每一個像素值代表輸入圖像中對應像素屬于前景的概率。

圖3 反卷積解碼模塊

3 異物分割數據集的構建

異物檢測不同于運動目標分割，現有的針對運動目標分割的研究大多是在CDNet2014[13]和SBI2015[14]等開源數據集上進行模型構建，模型大多在同一段視頻中抽幀進行訓練和測試。開關柜異物檢測的一個難點是，分割任務是在離散的視頻幀上進行的，并且異物的種類和形狀是多樣且隨機的，難以構建足夠多的有效的真實數據集用于模型的訓練和測試。針對這個問題，本文嘗試利用開關柜背景圖片和異物圖片，設計數據集合成算法人工合成開關柜異物檢測數據集。

3.1 合成素材

數據集的合成素材包括作為背景的開關柜離散幀和作為前景的隨機異物。開關柜背景圖分8次采集，其中前五次于同一天按照固定時長的不同時間段采集，每隔3分鐘采集一次；后每隔一周在同一開始時間各采集一次，共采集3次。高壓室中共有33個監控攝像頭，除其中一個攝像頭監測1個開關柜，其余32個攝像頭各監控兩個相鄰的開關柜，共采集到33×8幅視頻幀，包含開關柜65×33個，作為合成素材，另外單獨采集一批質量較好的視頻幀，經過人工校正和標注開關柜位置后作為模板圖片用于圖像校正。異物前景圖像采集于MSCOCO[15]數據集，COCO數據集是微軟構建的用于圖像目標檢測、分割和關鍵點檢測等任務的大型數據集，共包含91個類別30余萬張圖像，本文從COCO 2017訓練集中選取包含book、kite、cat和bird 4個類別的圖像，利用分割數據標簽裁切出4個類別的目標圖像共計9837張，這些目標圖像將被作為異物圖像用于數據集的合成。

3.2 合成流程

數據圖像合成的流程如算法1描述。異物圖像集F由異物圖像及其蒙版構成的二元組組成，蒙版m根據f的分割標簽生成，用以過濾f中的背景。開關柜圖像集Bn為n個由對應開關柜圖片組成的集合，這些圖片由開關柜所在的視頻幀根據對應標注截取而得。GTn為經過人工矯正的開關柜模板圖像，與Bn對應。預處理集P包含隨機亮度、隨機對比度、隨機高斯噪聲、隨機模糊等預處理操作。

算法1:合成數據集輸入:異物圖像集F開關柜數量n開關柜圖像集Bn開關柜模板圖像GTn圖像預處理函數集P要生成的每個開關柜的樣本數s過程:1 生成的數據集G=?2 for i=1,2,3,…,n do3 for j=1,2,3,…,sdo4 從F中隨機選取(f,m)5 從Bi中隨機選取b6 選取GTi為gt7 以gt為模板對b進行單應性變換校正8 隨機縮放比例λ=rand(100,500)/ f的高度9 對f和m按比例λ縮放

4 實驗

4.1 實驗數據

本文實驗所用數據集由上一章節提到的合成算法合成。數據集共包含130000張圖片，由65種帶有合成異物的不同開關柜圖片組成，每一種開關柜各包含2000張圖片。數據集按照4 ∶1的比例從各開關柜子數據集種劃分組成訓練集和測試集，分別共包含104000張圖片和26000張圖片。數據集部分樣本如圖4所示。

圖4 部分數據樣本

4.2 實驗參數設置

本文模型使用PyTorch深度學習框架進行搭建。模型中的dropout參數設置為0.5，訓練batch_size設置為8，圖像輸入尺寸為224×448，對模型輸出的概率圖施加閾值為0.5的閾值過濾來對像素進行二分類，模型采用Adam優化器來最小化損失，學習率設置為0.0001，最大訓練輪次設置為100，訓練過程中保存F1值最大的模型。模型采用加權交叉熵損失函數，對假陰性施加更高的懲罰以解決類別不平衡的問題，對于第i幅輸入圖片，模型的損失函數為：

(1)

4.3 對比試驗

本文將所提模型與CascadeCNN[8]、FgSegNet-M[9]和FgSegNet-S[10]三種主要模型在合成的數據集上進行實驗對比，通過F-measure、PWC和MCC三種指標進行對比。

F-measure由precision和recall兩個指標通過調和平均計算而來，通過對兩個指標的綜合衡量緩解單一準確率或召回率無法準確評價模型性能的問題，取值范圍為[0，1]。在給定混淆矩陣的TP、TN、FP、FN值的前提下，F-measure、precision和recall可分別通過以下公式計算而來：

(2)

(3)

(4)

PWC即Percentage of Wrong Classification，表示分類錯誤樣本占總數的百分比，取值范圍為[0，100]，定義如下：

(5)

F-measure指標對類別不平衡非常敏感，例如當一幅圖片中全部為背景時，如果分類結果完全正確F-measure的值反而為0。為了解決這個問題，引入對不平衡樣本不敏感的MCC指標進行評價：

(6)

MCC的取值范圍為[-1，1]，值為1時表示分類結果與標簽值完全一致，為-1時表示分類結果完全相反。

4.4 實驗結果

實驗結果如表1所示。

表1 各方法的實驗結果對比

實驗結果顯示，本文方法在F-measure、PWC和MCC三種指標上均優于對比的三種方法。FgSegNet兩種模型方法結果相近，表明通過特征融合獲得多尺度特征的方式與通過多尺度輸入平行運算的方式在分割結果上效果相近，而特征融合相比平行運算有效降低了計算復雜度，提高了訓練和預測速度，說明通過特征融合的方式獲得多尺度特征的方式在開關柜異物遮擋數據集上是可行的。FgSegNet兩種模型的效果均優于CascadeCNN，兩者最大的一個區別是CascadeCNN核心思想是基于圖像塊的像素分類，FgSegNet系列是基于encoder-decoder結構的編碼重建像素分類，相比前者，后者通過高層特征重建更容易獲得更大的感受野和更強的像素間的相關性。本文方法基于FgSegNet-S模型，針對開關柜異物遮擋任務進行改進，效果優于上述三種方法。開關柜異物遮擋檢測任務的不同之處在于：其一，輸入圖像是離散的抓取視頻幀，且異物的狀態和形狀不定；其二，模型是在由65個不同開關柜視頻幀組成的數據集上進行訓練和測試，并非單一背景。因此，對比模型并不完全適用于開關柜異物遮擋檢測任務，不同開關柜背景大致相同，但會在元器件狀態、文字等細微部分存在差別，本文方法通過融合低維特征提高了模型對細微背景差別的分割精度，降低了假陽性分類，提高了分割的精確率。

5 結語

本文針對變電站高壓開關柜異物遮擋檢測的任務，通過人工合成的方式構建了一個開關柜異物遮擋數據集用于模型的訓練、測試和評價，將運動目標分割任務的前景分割方法應用于異物遮擋檢測，并針對視頻幀離散、背景不固定等問題進行模型結構的調整和改進，融合多尺度特征信息提高對背景細微差別的分割精度，并通過實驗驗證了該思路是可行的。本研究的一個不足之處是人工合成的數據集圖片由于背景模板的選取不夠豐富和前景異物相較于背景顏色差異過于明顯等原因相較于真實情況存在較大的分布差異，導致在合成數據集上訓練的模型難以直接應用于實際場景，若要解決這個問題，可以考慮的方法有：采集更多的開關柜背景圖片；通過光照歸一化和風格遷移調整前景異物同背景光照和顏色一致；采集一定量的人工標注的真實遮擋圖像融入合成數據集提高數據集的真實性等。