基于改進GrabCut的絕緣子缺陷檢測

左 鈺，劉 偉+，馬玉騏，郭觀凱,2，譚帥帥

(1.山東理工大學 電氣與電子工程學院，山東 淄博 255049；2.中國科學院 中國工程院遵義院士工作中心，貴州 遵義 563000)

0 引 言

絕緣子作為輸電線路中不可或缺的絕緣控件，在輸電線路中起著電氣絕緣和機械固定的作用[1]。絕緣子“掉串”故障檢測主要分為3個步驟[2,3]：絕緣子檢測、絕緣子分割與缺陷定位。文獻[4]采用YOLO進行絕緣子檢測，再通過對絕緣子的隨機一致采樣來擬合絕緣子主軸，最后對主軸方向進行水平投影，從而進行絕緣子缺陷定位。文獻[5]根據絕緣子的幾何特征，對盤片進行橢圓檢測，然后通過最近鄰分類器定位盤片位置，根據盤片間歐式距離判定故障位置。文獻[6]采用OTSU分割算法將絕緣子與背景分離，經形態學濾波后采用最小二乘法擬合主軸基線，沿主軸方向對絕緣子進行掃描，根據像素點個數定位掉串區域。以上方法在特定場景下可獲得良好的檢測效果，但復雜背景下的分割效果較為一般，面對相互重疊、遮擋的絕緣子檢測效果不夠穩定。

針對因絕緣子背景復雜、重疊、遮擋等因素導致檢測效果不佳的問題，本文提出了一種絕緣子“掉串”檢測方法。首先由改進SSD網絡模型識別并定位圖像中的絕緣子，然后通過改進GrabCut算法實現絕緣子分割，最后采用形態學處理法對絕緣子進行缺陷識別。改進GrabCut算法融入了圖像的位置信息與顯著性信息，因此可自動分割出圖像中的絕緣子，且分割效果有了顯著提升。形態學處理法可對相互遮擋、重疊的絕緣子串共同檢測，檢測效果受重疊遮擋現象影響較小，且易于實現，適用于背景復雜條件下。

1 方法流程

基于機器視覺的絕緣子缺陷檢測方法大體可分為兩種，一種是基于深度學習技術的絕緣子缺陷識別法，它直接使用含缺陷絕緣子的數據集進行模型訓練，只需在訓練集圖像中標注故障位置便可完成故障檢測，其有著實現簡單、泛化能力強等優點，但該方法對數據集的要求較高，需要大量含有缺陷絕緣子的航拍圖像參與訓練，另外，航拍圖像中絕緣子缺陷區域往往較小，這將使得網絡識別精度較低；另一種則是采用傳統圖像處理技術識別絕緣子,并對其進行分割及故障檢測，該類方法的優點是對數據集和硬件的要求較低、特定場景下檢測精度高，但其有著泛化能力弱、調參復雜等缺陷。本文綜合考慮模型的泛化能力與檢測精度兩種因素，將深度學習與傳統圖像處理技術相結合，首先通過深度學習技術對圖像中的絕緣子串進行識別，再通過圖像處理技術進行分割與缺陷檢測。本文的絕緣子缺陷檢測主要分4個步驟。流程如圖1所示：

圖1 方法流程

(1)采用改進SSD算法識別出圖像中的絕緣子串，并獲取絕緣子的位置信息；通過多種顯著性檢測方法對航拍圖像進行顯著性度量，從而提取圖像的顯著性信息；

(2)將絕緣子位置信息與圖像顯著性信息提供給改進GrabCut模型，分割出圖像中的絕緣子；

(3)對已分割的絕緣子圖像進行形態學處理，檢測出故障絕緣子，并定位故障區域；

(4)將故障區域在原始圖像中標記出。

2 絕緣子分割算法

2.1 改進SSD算法

SSD網絡是目前主流的目標檢測網絡之一[7]，它由Faster R-CNN和YOLO的檢測模型衍生而來。檢測過程中，網絡采用端對端的訓練方案，采用不同分辨率的特征圖分別對目標做預測，再對不同特征圖的預測分數加權平均。本文采用SSD算法對絕緣子進行識別與定位，以提取絕緣子的位置信息，減少背景區域對故障識別帶來的干擾。

航拍圖像質量受天氣、光照、背景等因素影響，這些干擾因素會導致定位不準，目標識別穩定性差等問題，原始SSD網絡中，前端卷積網絡采用VGG16，VGG16存在網絡感受野較小的缺陷，它將導致目標特征提取不充分，從而影響檢測精度。為此，本文對原始SSD網絡做了改進，采用ResNet101替代原始SSD網絡前端的VGG16，增加了網絡的深度，提高了網絡在復雜背景下對絕緣子的識別能力。同時ResNet101引入的殘差網絡，降低了因網絡深度增加而導致的梯度彌散或梯度爆炸的風險。為解決因局部細節信息丟失而導致的網絡對小目標識別能力不足的問題，本文在SSD網絡引入了膨脹卷積[8]，在不增加額外參數的前提下增大了感受野，解決了信息丟失問題，從而提高了網絡對小絕緣子串的抓取能力。改進SSD網絡結構如圖2所示。殘差網絡中，對第4層和第5層進行膨脹系數為2和膨脹系數為4的膨脹卷積。

圖2 改進SSD網絡結構

2.2 顯著性信息的提取

圖像的顯著性反映了某像素點與圖像其它區域像素的差異[9]。顯著性主要衡量的是像素間對比度的關系，高對比度區域更容易吸引人的注意。相比RGB顏色空間，Lab顏色空間可較為直觀的反應圖像亮度特征和顏色特征，更符合人類感知。因此，本文顯著性度量環節在Lab顏色空間內進行。

局部顯著圖可以突出絕緣子邊緣信息，但不能很好地展現對比度變化平緩的目標內部區域；全局顯著圖可均勻地突出前景信息，對目標的邊緣描繪效果則較為一般；而頻域顯著圖具有較好的抑制高頻噪聲的特點，但某些前景信息可能會缺失。顯著性效果對比如圖3所示。

圖3 顯著性效果對比

3種顯著性檢測方法各有其獨特的優點和缺點。為此，本文從多角度度量圖像的顯著性，采用不同的算法，分別遍歷航拍圖像每個像素點的局部顯著值、全局顯著值和頻域顯著值，并生成相對應的顯著圖，然后采用均值法將顯著圖進行特征融合[10]，對融合后顯著圖像進行對比度加強，最后將對比度加強后的像素點顯著值轉換為概率值，將其作為約束條件添加至改進GrabCut模型的區域項。最終顯著圖如圖4所示。

圖4 最終顯著

本文對圖像局部顯著值的計算采用AC算法[11]，該算法采用Lab空間的歐式距離來衡量距離特征，通過改變一個感知單元的鄰域大小來實現圖像多尺度顯著值的計算，局部顯著值為多尺度特征顯著值的均值，圖像的局部顯著值如式(1)所示

(1)

全局顯著值用于衡量某像素點與整幅圖像所有像素點間的對比度關系，全局顯著值如式(2)所示

(2)

計算圖像的頻域顯著值，首先需對圖像進行低通濾波，然后通過計算Lab顏色空間中每個像素和圖像的平均像素值的歐式距離即可得出。采用DOG算子對圖像進行低通濾波后，頻域顯著值如式(3)所示

(3)

根據式(1)、式(2)、式(3)，采用均值法將3種顯著圖進行特征融合，生成融合顯著圖

(4)

其中，Sl(x,y)、Sg(x,y)、SF(x,y) 分別表示圖像的局部顯著值、全局顯著值和頻域顯著值，Sfuse(x,y) 表示融合后的顯著值。

(5)

將顯著圖中的顯著值轉換為概率信息，以便轉換成約束條件添加至GrabCut分割算法區域項。首先采用sigmoid函數將融合后的圖像的顯著值Sfuse(x,y) 進行歸一化。為避免顯著圖中低顯著值的像素點對分割造成的干擾，將概率小于0.1的區域排除到顯著區外。顯著性信息的轉換如式(6)、式(7)所示

(6)

(7)

式中：Sn表示像素點經歸一化后的顯著值結果，PSal(vi) 表示顯著性信息判別該點為前景點的概率。

2.3 改進GrabCut算法

GrabCut是在GraphCut基礎上改進的圖像分割算法，在使用GrabCut分割算法時需手動設置輸入圖像的前景框[12]，算法將對圖像中每個像素點分配GMM中的高斯分量，經不斷的參數學習與分割估計后可將前景與背景的分離。為實現絕緣子圖像自動且精準的分割，本文對傳統GrabCut分割算法做了改進，用SSD算法識別出的矩形區域對圖像進行初始化，取代手動設置前景框的過程；將圖像的顯著性信息作為約束條件，加入到GrabCut分割算法的區域項，使混合高斯模型與顯著性信息相結合，共同對區域像素進行分割估計，從而實現圖像最小分割。

首先構造一個包含區域項和邊界項的損失能量函數E(α)， 損失能量值最小時，便達成了圖像的最小分割；然后將能量函數映射成一個帶有權值的圖，把前景背景分類問題轉化成最大流/最小分割問題。用SSD網絡檢測得到的矩形框對圖像進行初始化，目標矩形框外設定為背景區域，矩形框內為未知區域；并將圖像的顯著性信息設計成約束項融合到能量函數的區域項中，從而實現圖像自動且精確的分割。損失能量函數E(α) 如式(8)所示

(8)

式中：EGS表示區域項能量，EV表示邊界項能量，αn表示圖像點n分割結果，αn∈{0，1}分別表示前景點與背景點。向量α由每一個像素的標簽值αn組合而成，z表示像素點的像素值，區域項Ds由混合高斯模型與顯著性信息乘以相應的權值并相加得到，用來約束αn使其和觀察標簽θ一致。邊界項S(αm,αn,z) 用于約束相鄰像素的標簽一致性。能量函數的邊界項可用式(9)表示

(9)

式中：αm、αn分別表示像素點m和n的前景背景標簽，z表示像素點的像素值，γ取50，β取值隨圖像的對比度不同而不同，圖像對比度越高則β取值越大，區域項DGS如式(10)所示

(10)

式中：vi為圖像中某像素，αn取值為0或1，分別代表目標和背景，P(vi|αn) 表示像素點vi屬于αn的概率，Pgmm(vi‖αn) 表示混合高斯模型計算出的每個像素點屬于αn的概率，PSal(vi) 表示顯著性信息判別該點αn=1的概率，k用來分配混合高斯模型和顯著性信息在區域項中的權值。

混合高斯模型判別的像素點前景背景概率差值越小，圖像的顯著性信息對區域項貢獻越大。若前景背景概率差值不大于0.6時，區域項DGS由混合高斯模型與圖像顯著性信息共同參與約束；前景背景間的概率差值大于0.6時，k取1，此時，混合高斯模型判別效果良好，無需顯著性信息參與約束。式(11)為混合高斯模型的權重k表達式

(11)

初始化完成后，為每個像素點分配GMM高斯分量，對GMM的參數進行學習優化。通過GMM參數與顯著性約束條件對像素點進行聚類，落入前景區域的像素點被分割為前景點，落入背景區域內的像素點被分割為背景點，落入邊界上的像素點被分割為未知點。再對未知區域的像素點進行重新分配，依此迭代，直至能量損失函數收斂。

3 形態學處理法故障檢測

輸電線路中，絕緣子串大多成對出現，線路巡檢過程中，由于無人機飛行軌跡受高壓線路、桿塔、樹木等因素限制，拍攝高度與拍攝角度也會受限，這將不可避免地使得圖像中存在大量相互重疊、遮擋的絕緣子。而對于絕緣子重合遮擋較多的輸入圖像，常用的擬合基線法的檢測效果并不理想。為此，通過觀測絕緣子的結構特征，本文提出一種形態學處理法識別故障絕緣子，并定位故障區域。

形態學圖像處理將數學形態學作為工具，從圖像中提取對于表達和描繪區域形狀有用的圖像分量，比如邊界、骨架以及凸殼等[13]。絕緣子串由一個中心軸和一定數目的橢圓形盤片拼接而成，其幾何形狀有著明顯的周期性、方向性與均勻性，相較于其它絕緣子檢測方法，形態學處理法檢測效果受重疊遮擋等干擾因素影響較小，具有較高的魯棒性，且有著算法簡單，容易實現等優點。形態學處理法故障檢測步驟為：

(1)將GrabCut算法分割出的絕緣子區域放縮至尺寸相同或相近，并將放縮后的圖像二值化。如圖5(a)所示；

(2)將圖5(a)使用小卷積核進行閉運算，以平滑絕緣子串的非故障區域。如圖5(b)所示；

(3)將圖5(a)使用大卷積核進行閉運算，以平滑絕緣子故障區域。如圖5(c)所示；

(4)對圖5(b)與圖5(c)進行異或運算；并采用小卷積核對異或結果進行開運算，去除非故障區的干擾像素，便可定位故障區域。如圖5(d)、圖5(e)所示；

(5)記錄5(e)中高亮區域的位置，并在原圖像中將故障區域標記出。如圖5(f)所示。

圖5 故障檢測步驟

4 實驗結果與分析

在Windows10平臺下運行，GPU為NVIDIA GTX1080Ti，CPU為Intel Core i7-6700 3.4 GHz，內存32 GB，采用caffe框架，python3.7環境，深度學習加速庫為CUDA 8.0結合CUDNN5.1。航拍圖像分辨率為1920*1080。訓練樣本為3600張圖片，測試樣本為2000張。共迭代57 000次，其中，前3.7×104次學習率設置為10-4，后2×104次學習率為10-5。動量參數為0.9，圖像批次為8。

改進SSD網絡中，膨脹卷積的引入使得網絡對圖像中的小絕緣子目標能力更強，采用ResNet101替代網絡前端VGG16則提升了復雜背景下網絡對小絕緣子的辨識能力。圖6為改進SSD網絡測試結果。

圖6 改進SSD網絡測試結果

本文將改進SSD網絡與原始SSD網絡、YOLO-V3作對比，表1記錄了三者各自的檢測精度(P)與召回率(R)，從中可看出，相較原始SSD網絡，改進SSD網絡的精度和召回率分別有2.4%和0.6%的提升，精度與召回率均強于YOLO-V3。

表1 不同網絡性能對比

圖7為OTSU分割法、傳統GrabCut算法、改進GrabCut算法的分割效果對比圖，分割圖像來自SSD識別框內。圖7(a)中OTSU法和傳統GrabCut法都未能將絕緣子與其后面的背景電塔分離，改進算法由于顯著性信息的加入，桿塔部位被成功排除在前景區域外；圖7(b)中由于背景與絕緣子顏色較為接近，OTSU分割法效果并不理想，傳統GrabCut法識別的絕緣子邊緣縫隙處混入了部分背景信息，而改進算法實現了較好的分割效果；圖7(c)中OTSU法分割結果中蘆葦區域目標未被完整分割，傳統GrabCut算法中絕緣子出現邊緣缺失，改進算法獲得了較為準確的結果。分割結果表明，改進的GrabCut算法不僅能實現圖像的自動分割，對復雜環境下的絕緣子分割效果也表現較好。

圖7 各種方法分割效果對比

航拍圖像中，絕緣子串大多成對出現，相互重疊、遮擋現象較為常見。圖8(a)中絕緣子重疊現象比較嚴重，且很難將兩串絕緣子分割開。圖8(b)為文獻[6]方法的直線擬合圖，由于分割算法無法將兩絕緣子串分離，絕緣子串很難形成一個完整輪廓，受背景像素干擾，經最小二乘法擬合出的主軸基線發生偏移，致使掃描過程中count值的統計結果不正確，進而使得檢測結果出錯。圖8(c)為文獻[6]法檢測結果，灰色橢圓表示故障位置。本文檢測方法的優勢在于，可通過形態學操作對多條相互遮擋、重疊的絕緣子串共同處理，從而完成缺陷檢測。圖8(d)為經本文改進GrabCut算法分割出的絕緣子圖像。圖8(e)為將不同卷積算子閉運算的圖像經異或運算后再開運算結果，高亮區域即為缺陷位置。圖8(f)為本文方法的故障定位結果，白色橢圓表示標記出的故障位置。

圖8 故障檢測對比

圖8中可看出，兩絕緣子串與背景顏色較為接近，改進GrabCut算法分割效果良好；重疊遮擋現象使得兩鄰近的絕緣子串難以分離，形態學處理法將多條絕緣子串歸為整體、共同檢測，成功定位出故障區域。檢測結果表明，針對部分相互遮擋、重疊的絕緣子，本文方法仍能有效識別出故障絕緣子，并準確地定位缺陷位置。

本文從絕緣子測試集中隨機抽出200張含缺陷絕緣子的航拍圖像，經改進GrabCut算法分割后進行缺陷定位，其中，186張圖像中絕緣子缺陷位置得到了準確定位，11張圖像中有絕緣子存在錯檢，3張圖像中有絕緣子被漏檢，錯檢的絕緣子大多發生在絕緣子兩端。實驗結果表明，在復雜環境下，該缺陷檢驗方法具有較高的魯棒性，在實際工程中，可用于輔助無人機巡檢。

5 結束語

本文提出了一種絕緣子掉串檢測方法。首先通過改進SSD算法獲取絕緣子位置信息，然后通過改進CrabCut算法分割出圖像中的絕緣子，最后采用形態學處理法識別出缺陷絕緣子并進行缺陷定位。改進SSD算法提高了網絡對圖像中絕緣子的識別精度。有顯著性信息參與的GrubCut算法對圖像具有良好的分割效果；形態學處理法缺陷檢測魯棒性較高，且更為容易實現。本文提出的絕緣子檢測方案仍需進一步優化，今后應針對圖像分割邊緣效果方面加以研究改進。