一種小樣本條件下的絕緣子外套裂紋缺陷圖像識別方法

李新海，曾令誠，盧泳茵，林悅德，曾新雄

(廣東電網(wǎng)有限責(zé)任公司中山供電局，廣東 中山 528401)

0 引言

絕緣子作為一種重要的絕緣設(shè)備，其主要作用是確保載流導(dǎo)體與地之間形成可靠的絕緣。絕緣子外套表面污染、針孔腐蝕、裂紋等缺陷逐漸向內(nèi)發(fā)展，導(dǎo)致芯棒受潮，最終導(dǎo)致絕緣子斷裂，這是絕緣子由缺陷發(fā)展成故障的特點[1]。其中，表面裂紋是導(dǎo)致故障可能性更高且發(fā)展速度相對快的急性癥狀。因此，對絕緣子表面裂紋進行有效的識別[2-3]，評估其缺陷的嚴(yán)重程度，能避免絕緣子故障的突然發(fā)生[4-7]。

目前絕緣子外套裂紋缺陷圖像的準(zhǔn)確識別需要大量樣本來進行模型訓(xùn)練，而實際中可用于模型訓(xùn)練的裂紋缺陷圖像數(shù)據(jù)集嚴(yán)重不足，從而導(dǎo)致裂紋缺陷故障識別精度不高、訓(xùn)練過擬合等問題。在小樣本條件的基礎(chǔ)上進行圖像識別的方法分為傳統(tǒng)的機器學(xué)習(xí)法和遷移學(xué)習(xí)兩種方法。雖然第二種方法相比第一種更能夠利用深度學(xué)習(xí)網(wǎng)絡(luò)的多層結(jié)構(gòu)的作用[8-11]，使下層特征慢慢遷移到上層，但是在識別準(zhǔn)確率、以及小物體目標(biāo)檢測等方面，仍無法滿足實際應(yīng)用需求。本文提出了一種基于圖像增強變換以及元學(xué)習(xí)[12-16]的數(shù)據(jù)處理方法，并與U-Net圖像分割網(wǎng)絡(luò)結(jié)合，實現(xiàn)了在小樣本下條件下進行絕緣子裂紋缺陷識別的目的。

本文提出的小樣本絕緣子外套裂紋缺陷圖像識別方法思路如圖1所示。

圖1 小樣本絕緣子外套裂紋缺陷圖像識別方法思路

本文提出的小樣本絕緣子外套裂紋缺陷圖像識別方法包含以下處理過程：1)利用圖像旋轉(zhuǎn)、局部放大和高斯模糊等數(shù)據(jù)增強方法對小樣本絕緣子外套圖像數(shù)據(jù)集進行擴充；2)提取在源域數(shù)據(jù)集上預(yù)訓(xùn)練模型的權(quán)重和模型特征(全連接層之外)，利用遷移學(xué)習(xí)方法在目標(biāo)數(shù)據(jù)集上進行訓(xùn)練；3)對在目標(biāo)數(shù)據(jù)集訓(xùn)練上訓(xùn)練得到的模型進行微調(diào)，得到最終絕緣子裂紋缺陷識別模型。

1 圖像數(shù)據(jù)集增強方法

實際變電站運行中很難獲得大量絕緣子外套裂紋缺陷圖像樣本，在這種情況下可使用圖像數(shù)據(jù)增強技術(shù)解決裂紋缺陷圖像數(shù)據(jù)量不足的問題[17-19]。目前有效的數(shù)據(jù)增強技術(shù)可通過幾何變換的平移、剪切、旋轉(zhuǎn)和縮放來實現(xiàn)，也可采用增加濾波、調(diào)整圖像亮度、清晰度和銳化圖像的像素變換方法來實現(xiàn)[20-21]。

在數(shù)據(jù)處理的過程中，為了保留更多有效的原始信息，應(yīng)盡量減少圖像處理的次數(shù)。由于絕緣子外套多為圓柱形的特點，本文結(jié)合幾何變換中的圖像旋轉(zhuǎn)、局部放大和像素變換方法中的高斯模糊的方法對絕緣子外套原始圖像樣本集進行擴充，實現(xiàn)數(shù)據(jù)集的增強目的。

圖像旋轉(zhuǎn)是指以圖形上的某一點為定點旋轉(zhuǎn)一定的角度，產(chǎn)生一幅新圖形的過程。通常選用圖像的中心作為旋轉(zhuǎn)的原點，即旋轉(zhuǎn)前和旋轉(zhuǎn)后圖像中各點與中心的相對位置一致。圖像旋轉(zhuǎn)的具體坐標(biāo)計算示意圖，如圖2所示。

圖2 圖像旋轉(zhuǎn)原理

使用圖像旋轉(zhuǎn)技術(shù)處理后的絕緣子外套圖像結(jié)果，如圖3所示。

圖3 裂紋缺陷絕緣子圖像的旋轉(zhuǎn)處理

局部放大圖像部分區(qū)域的像素數(shù)目，從而達(dá)到突出部分區(qū)域特征的效果，稱之為圖像局部放大。在對圖片進行局部放大時，以圓為特征進行局部處理，并且在形變過程中遵守在圓形區(qū)域內(nèi)，越靠近變形中心O點的點形變越明顯。圖像局部放大處理示意圖如圖4所示。

圖4 局部放大原理

使用局部放大算法對絕緣子外套裂紋缺陷圖像進行處理，經(jīng)過局部放大處理后的絕緣子外套裂紋缺陷圖像，其裂紋開裂特征更加明顯。結(jié)果如圖5所示。

圖5 絕緣子圖片的局部放大

使用高斯模糊圖像處理技術(shù)增強絕緣子外套裂紋缺陷圖像數(shù)據(jù)集，高斯模糊處理使得絕緣子外套裂紋缺陷圖像在各個方向上具備相同的平滑程度，不改變原圖像的邊緣走向，保證了特征點和邊緣的特征不被高頻信號污染。絕緣子外套裂紋缺陷圖像高斯模糊處理的效果，如圖6所示。

圖6 高斯濾波前后的圖像對比

2 用于絕緣子外套裂紋缺陷識別的U-Net網(wǎng)絡(luò)

U-Net網(wǎng)絡(luò)是一種全卷積神經(jīng)網(wǎng)絡(luò)，最早用于語義分割，由于其呈現(xiàn)U形結(jié)構(gòu)，因此取名為U-Net。與普通全卷積神經(jīng)網(wǎng)絡(luò)相比，其優(yōu)勢在于：1)可通過小型數(shù)據(jù)集達(dá)到很高的正確率，適合小樣本數(shù)據(jù)集應(yīng)用；2)網(wǎng)路結(jié)構(gòu)簡單；3)通過下采樣和上采樣的過程，保證了特征圖包含更多的細(xì)節(jié)特征，圖像邊緣更加精細(xì)。

U-Net由下采樣和上采樣兩部分組成。左半部分是下采樣過程，也稱為特征提取，該部分由2個3×3 ReLu卷積層和1個2×2 max pool池化層反復(fù)組成，形成了下采樣過程。右半部分是上采樣過程，也稱為擴展路徑，該部分由反卷積層、特征拼接和2個3×3 ReLu 卷積層反復(fù)組成，形成上采樣過程，最后輸出特征分割結(jié)果，保證了最后恢復(fù)出來的特征圖融合了更多的細(xì)節(jié)特征，同時也融合了不同尺度的特征，U-Net網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。

圖7 U-Net網(wǎng)絡(luò)示意圖

以絕緣子外套圖像處理為例，一開始網(wǎng)絡(luò)輸入一張大小700×700 pixel的絕緣子外套圖像，經(jīng)過下采樣處理后，則會得到大小分別為696×696 pixel、344×344pixel、168×168pixel、80×80pixel和36×36pixel的特征圖。然后U-Net網(wǎng)絡(luò)再對36×36pixel特征圖做反卷積，得到72×72pixel的特征圖，這個72×72pixel的特征圖與之前的80×80pixel的特征圖進行合并，合并過程中把80×80pixel特征圖進行裁剪以適應(yīng)72×72pixel特征圖的大小，然后對拼接后的特征圖進行卷積和上采樣，得到136×136pixel特征圖，再與之前的168×168pixel特征圖拼接，卷積，再上采樣和拼接，一共進行4次上采樣處理，最后得到1張大小為516×516pixel的預(yù)測結(jié)果圖，如圖8所示。

圖8 U-Net的絕緣子外套圖像特征分割過程

3 絕緣子外套裂紋缺陷識別U-net的訓(xùn)練

元學(xué)習(xí)(meta-learning)是一種能讓模型具備“學(xué)會學(xué)習(xí)”能力的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，該方法核心思想是基于任務(wù)的學(xué)習(xí)，通過學(xué)習(xí)任務(wù)中的特征表示，從而在新任務(wù)上泛化[22-25]。其優(yōu)勢在于：1)有效解決傳統(tǒng)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)泛化能力不足的問題；2)解決了數(shù)據(jù)樣本不夠造成過擬合的問題；3)可以實現(xiàn)模型在已有知識的基礎(chǔ)上快速學(xué)習(xí)新的任務(wù)；4)實現(xiàn)通過小樣本即可快速學(xué)習(xí)新知識[25-27]。

3.1 基于元學(xué)習(xí)的訓(xùn)練方法

假設(shè)元學(xué)習(xí)在獲取元知識過程中采樣自任務(wù)分布p(T)，從任務(wù)分布中采樣M個源任務(wù)，如式(1)所示。

(1)

(2)

式中：?為學(xué)習(xí)過程的參數(shù)；?*為訓(xùn)練后獲得的最優(yōu)參數(shù)。元學(xué)習(xí)測試從任務(wù)分布中采樣Q個任務(wù)，采樣過程如式(3)所示。

(3)

(4)

式中θ為最終每個任務(wù)訓(xùn)練得到的參數(shù)。式中自適應(yīng)地針對每個任務(wù)訓(xùn)練其參數(shù)，從而達(dá)到泛化的過程。

元學(xué)習(xí)的損失為N個任務(wù)的測試損失之和，定義第n個任務(wù)的測試損失為ln，則對于具有N個任務(wù)的元學(xué)習(xí)，總損失如式(5)所示。

(5)

元學(xué)習(xí)的流程是：通過訓(xùn)練數(shù)據(jù)集和驗證數(shù)據(jù)集得到具備較強泛化能力的初始網(wǎng)絡(luò)參數(shù)，在測試任務(wù)中網(wǎng)絡(luò)模型將進行幾次梯度下降操作，以達(dá)到學(xué)習(xí)新任務(wù)的目的，然后對學(xué)習(xí)后的效果進行驗證，訓(xùn)練和測試流程示意圖如圖9所示。

圖9 元學(xué)習(xí)訓(xùn)練流程

本文通過使用元學(xué)習(xí)方法對U-Net神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，得到一個更有潛力、更易收斂于一個全局loss最優(yōu)的網(wǎng)絡(luò)，然后在目標(biāo)應(yīng)用域(絕緣子外套裂紋缺陷數(shù)據(jù)集)進行新任務(wù)學(xué)習(xí)，從而得到一個適用于絕緣子外套裂紋缺陷圖像識別的網(wǎng)絡(luò)。解決了傳統(tǒng)機器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型在小樣本數(shù)據(jù)集中出現(xiàn)泛化能力不足、過擬合和對新任務(wù)適應(yīng)性較差的問題。

3.2 基于元學(xué)習(xí)的訓(xùn)練過程

研究時首先通過在網(wǎng)絡(luò)收集的大量混凝土裂紋缺陷圖像組成源域數(shù)據(jù)集，使用元學(xué)習(xí)方法訓(xùn)練U-Net裂紋缺陷識別網(wǎng)絡(luò)，使網(wǎng)絡(luò)具備初步識別裂紋缺陷任務(wù)學(xué)習(xí)能力。然后在小樣本絕緣子外套裂紋缺陷數(shù)據(jù)集上進行元學(xué)習(xí)訓(xùn)練，絕緣子外套裂紋缺陷識別網(wǎng)絡(luò)訓(xùn)練流程如圖10所示。

圖10 元學(xué)習(xí)訓(xùn)練及絕緣子裂紋圖像識別流程圖

在圖10中，絕緣子外套裂紋缺陷圖像識別網(wǎng)絡(luò)訓(xùn)練過程包括以下幾個關(guān)鍵過程。

1)數(shù)據(jù)集擴充。利用圖像旋轉(zhuǎn)、圖像局部放大和高斯模糊方法對絕緣子外套裂紋缺陷圖像數(shù)據(jù)集進行擴充；

2)裂紋特征標(biāo)注。利用圖像標(biāo)注工具，人工對絕緣子外套裂紋缺陷圖像進行標(biāo)注；

3)生成訓(xùn)練數(shù)據(jù)集。根據(jù)元學(xué)習(xí)方法生成支持集、查詢集和測試集3個數(shù)據(jù)集；

4)訓(xùn)練模型。加載從混凝土裂紋缺陷圖像數(shù)據(jù)集訓(xùn)練得到的U-Net網(wǎng)絡(luò)模型，此時，網(wǎng)絡(luò)已經(jīng)具備學(xué)習(xí)任務(wù)的能力，對其進行參數(shù)初始化，開始在絕緣子外套裂紋缺陷數(shù)據(jù)集上的訓(xùn)練；

5)測試驗證網(wǎng)路模型。訓(xùn)練結(jié)束后對網(wǎng)絡(luò)模型進行測試驗證，將預(yù)處理后的絕緣子圖像輸入U-Net網(wǎng)絡(luò)模型中進行預(yù)測，并得到輸出的Feature Map；最后，根據(jù)Feature Map中輸出的置信度，結(jié)合算法設(shè)定的閾值判斷是否存在裂紋特征；若置信度超過了算法設(shè)定的閾值，則可以通過Feature Map獲取裂紋的位置、長度以及寬度等特征信息，驗證后得到最終模型。

4 方法驗證與分析

實驗平臺為工作站。處理器為Intel Xeon E5，內(nèi)存128 GB，8塊GPU顯卡GTX2080TI。軟件框架結(jié)構(gòu)為基于TensorFlow 2.0的深度學(xué)習(xí)框架。

實驗選用Kodak SL10可拆卸微型智能鏡頭進行絕緣子外套裂紋缺陷圖像采集，對于較高處的絕緣子設(shè)備，則將鏡頭固定至絕緣桿上，并通過藍(lán)牙控制鏡頭進行拍攝。拍攝過程中使用專用架子和升降固定裝置，消除絕緣桿擺動影響，避免對人身和設(shè)備造成傷害。除此之外，可通過使用無人機進行拍攝獲取絕緣子圖像。圖像采集設(shè)備如圖11所示。

圖11 絕緣子圖像采集設(shè)備

通過上下左右和環(huán)繞等形式對絕緣子多角度全方位拍攝，獲取更完備充分的絕緣子圖像。而且，即使由于現(xiàn)場變電設(shè)備安裝位置和環(huán)境導(dǎo)致不能全方位獲得絕緣子圖像，根據(jù)絕緣子老化程度相對比較均衡等先驗知識，也可判斷出其背面更有可能存在裂紋。現(xiàn)場采集到的絕緣圖像如圖12所示。

圖12 變電站內(nèi)拍攝絕緣子圖像

4.1 網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)的選擇

本文實驗源域的裂紋實驗數(shù)據(jù)采用網(wǎng)絡(luò)上公布的混凝土裂紋缺陷圖像數(shù)據(jù)集，并按照元學(xué)習(xí)方法把數(shù)據(jù)分為支持集、查詢集和測試集，數(shù)據(jù)集的劃分詳見表1所示。

表1 元學(xué)習(xí)源域訓(xùn)練實驗數(shù)據(jù)

通過圖11的圖像采集設(shè)備對絕緣子外套裂紋缺陷進行拍照采集，將采集到的變電設(shè)備絕緣子圖片作為原始樣本，根據(jù)第1節(jié)所述數(shù)據(jù)增強方法，對原有數(shù)據(jù)集進行擴充，得到增強后的約2 000張數(shù)據(jù)集，并對數(shù)據(jù)集進行標(biāo)注，最后拆分為Support Set、Query Set以及Test Set。處理前后的變電設(shè)備絕緣子數(shù)據(jù)集圖如圖13和表格2所示。

圖13 絕緣子數(shù)據(jù)集的數(shù)據(jù)增強

表2 絕緣子外套數(shù)據(jù)集分布情況

采用U-Net網(wǎng)絡(luò)模型實施訓(xùn)練。網(wǎng)絡(luò)的訓(xùn)練參數(shù)詳見表格3所示。

4.2 裂紋缺陷識別精度與模型收斂對比分析

分別對使用元學(xué)習(xí)方法和不使用元學(xué)習(xí)的裂紋缺陷識別模型進行了實驗對比。選取batch size為6、迭代次數(shù)為300，對U-Net模型進行訓(xùn)練。

不使用元學(xué)習(xí)方法對U-Net網(wǎng)路進行訓(xùn)練和測試，其精度曲線和損失函數(shù)曲線如圖14所示；使用元學(xué)習(xí)(小樣本學(xué)習(xí))方法，其精度曲線和損失函數(shù)曲線如圖15所示。

圖14 不使用元學(xué)習(xí)的U-Net精度曲線和損失函數(shù)曲線

圖15 使用元學(xué)習(xí)U-Net精度曲線和損失函數(shù)曲線

結(jié)合圖14—15可以分析得到：1)從U-Net精度度量曲線上分析，使用元學(xué)習(xí)方法和不使用元學(xué)習(xí)方法，對U-Net網(wǎng)絡(luò)精度影響并不是很大；2)從損失函數(shù)曲線上分析，使用元學(xué)習(xí)方法后，U-Net的收斂速度明顯快于不使用元學(xué)習(xí)方法。

對是否使用元學(xué)習(xí)方法分別進行試驗，結(jié)果表明不使用元學(xué)習(xí)方法的識別成功率明顯低于使用元學(xué)習(xí)方法，如表4所示。

表4 是否使用元學(xué)習(xí)方法試驗結(jié)果對比

4.3 缺陷識別實例

使用本文方法得到絕緣子外套裂紋缺陷識別最終模型，對180張絕緣子圖片進行裂紋缺陷識別實驗，實驗過程中裂紋缺陷識別結(jié)果如圖16所示。

圖16 絕緣子外套缺陷圖像識別結(jié)果

通過實驗可得，使用元學(xué)習(xí)方法對絕緣子外套缺陷網(wǎng)絡(luò)進行訓(xùn)練，可有效縮短網(wǎng)絡(luò)收斂的時間，同時網(wǎng)絡(luò)模型的效率和精度也有一定的提升。由圖15可得，模型對絕緣子外套裂紋缺陷的識別準(zhǔn)確率達(dá)到100%，在180張絕緣子圖片進行缺陷識別實驗中，其中36張的絕緣子存在裂紋缺陷，本方法可準(zhǔn)確識別了36張，成功率達(dá)到100%。

5 結(jié)論

本文提出在小樣本數(shù)據(jù)集的基礎(chǔ)上通過增強變換擴充數(shù)據(jù)集，并在此基礎(chǔ)上引入基于元學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)預(yù)訓(xùn)練模型實現(xiàn)了絕緣子外套裂紋缺陷的識別。經(jīng)過實驗分析和對比得到結(jié)論如下。

1)通過圖像旋轉(zhuǎn)、圖像局部放大以及高斯濾波等圖像增強變換的方法對原始小樣本絕緣子外套數(shù)據(jù)集規(guī)模進行擴充，解決了神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練數(shù)據(jù)不足的問題。

2)使用元學(xué)習(xí)通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)構(gòu)建了一個更有潛力、更易收斂于一個全局loss最優(yōu)的網(wǎng)絡(luò)。解決了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)泛化能力不足和過擬合的問題。

3)實現(xiàn)模型在已有知識的基礎(chǔ)上快速學(xué)習(xí)新的任務(wù)，通過小樣本即可快速學(xué)習(xí)新知識。

4)本文首次提出U-Net與元學(xué)習(xí)相結(jié)合方式，將U-Net作為語義分割網(wǎng)絡(luò)實現(xiàn)絕緣子外套裂紋缺陷的目標(biāo)檢測，解決訓(xùn)練時由于樣本數(shù)不足而導(dǎo)致的網(wǎng)絡(luò)過擬合以及網(wǎng)絡(luò)精度不足等問題。

5)通過實驗證明了使用基于數(shù)據(jù)增強變換和元學(xué)習(xí)的U-Net網(wǎng)絡(luò)模型進行絕緣子開裂圖像識別算法的可行性。

6)對180張絕緣子圖片進行裂紋缺陷識別，其中36張的絕緣子存在裂紋缺陷，本方法可準(zhǔn)確識別所有36張，成功率達(dá)到100%。

7)本文所提方法也為變壓器運行絕緣子的故障診斷、無人值守變電站以及機器人智能識別絕緣子開裂提供了新的思路。