面向電力缺陷場景的小樣本圖像生成方法

何宇浩，宋云海，何 森，周震震，孫 萌，陳 毅，閆云鳳

（1. 南網超高壓公司電力科研院，廣州 510000；2. 浙江大學 機械工程學院，杭州 310027；3. 浙江大學 海南研究院，海南 三亞 572000；4. 浙江大學 電氣工程學院，杭州 310027）

0 引言

能源是保障我國國民經濟持續發展的基礎，發電規模的不斷擴大對電力設施的運維提出了新的挑戰。同時，智能化電力系統運維也是我國實現能源結構轉型的關鍵環節。電力設備的運行狀態會隨著各種外部因素而改變，一旦出現故障，會影響電力系統的安全穩定運行，從而對生產生活造成重大影響。因此，需要對電力設備的缺陷進行及時的監測并處理，研究如何實現電力設備缺陷管理也具有重大的實際應用價值［1］。

傳統的電力設備圖像缺陷識別算法對圖像特征提取能力不足，且依賴于人工特征設計，無法滿足現有電力設備缺陷種類較多的場景。基于視頻圖像的電力設備缺陷檢測方法能夠自主學習目標特征從而完成對設備缺陷的檢測，可以代替人工巡檢，降低時間成本和勞動力成本［2-5］。近年來，隨著計算能力的提升，基于深度網絡的設備缺陷檢測方法成為研究熱點。趙振兵等人［6］發現基于深度學習的檢測模型可以有效地將部件目標及其缺陷從復雜的輸電線路航拍圖像中提取出來，有效節省了人工設計特征的時間。圍繞輸電線路上的絕緣子、金具以及螺栓研究了基于深度學習的小目標檢測。Siddiqui 等人［7］提出基于卷積神經網絡的設備檢測框架，可以在高度雜亂的環境中檢測17 種不同類型的電力線路絕緣體。然而，基于深度學習的檢測方法依賴于大量且種類豐富的數據集，現有的圖像增強方法難以獲得與實際場景相近的缺陷數據，導致針對電力場景設備缺陷檢測方面鮮有行之有效的方法。

GAN（生成對抗網絡）［8-9］近年來在高質量保真圖像生成方面取得了重大進展。但是GAN存在模型收斂緩慢，網絡難以適應不同圖像域等問題，使得訓練一個高性能的圖像生成器需要不斷調整超參數，進而耗費大量的時間。同時，如何提升圖像質量，使其更具真實性也是目前圖像生成中的一大挑戰［10］。基于此，針對現有電力場景下，缺少可供深度學習網絡訓練所需的海量場景圖像樣本的問題，本文提出利用基于LoFGAN（局部融合生成對抗網絡）的圖像生成方法，生成高質量且逼真度高的多樣數據，進而解決電力場景設備缺陷圖像數據稀少的問題。

針對圖像生成網絡還存在特征獲取不全面等問題，已有學者做出了研究。例如具有自注意力機制的變換器［11］能夠充分利用上下文信息來指導動態注意力矩陣的學習，從而增強深層視覺特征表示。因此，可以通過其提高圖像生成網絡的特征提取能力，從而豐富生成圖像的細節信息。同時，為了使模型能夠快速適應不同的圖像域，將不同圖像域中的通用表征遷移到不同的圖像域中，形成多樣的虛擬圖像，本文引入新的正則化方案來提高模型的泛化性和魯棒性。

全文創新點如下：

1）基于語義相似性匹配圖像間的局部表征，設計了一個面對上下文的小樣本圖像生成器。所提出的生成器能夠提高對細節特征的提取能力，從而保證了生成圖像的多樣性和真實性。

2）為解決魯棒圖像生成模型對海量訓練數據的依賴問題，引入基于LC-散度的正則化損失來優化圖像生成模型在有限數據集上的訓練效果，以此提高訓練模型的魯棒性和泛化性。

3）通過小樣本圖像生成方法來解決電力缺陷場景稀缺的問題，提出改進的LoFGAN。實驗結果證明所提出的方法能夠有效解決電力場景中設備缺陷圖像稀少、采集困難等問題。

1 圖像生成方法

1.1 GAN

GAN［12］是生成式模型的一個分支，它通過對抗學習來訓練模型，利用生成模型和判別模型的互相博弈學習產生較好的輸出。由于GAN在擬合數據分布方面的優勢，因此在圖像生成［13］、圖像編輯［14］到圖像-圖像翻譯［15］方面效果顯著。其原因主要歸功于訓練圖像的無限供應，即需要大量的訓練數據作為支撐。然而，在數據有限的情況下，判別器很容易過度擬合，這使得模型難以收斂。最近，部分研究人員提出了一些先進的數據增強策略［16-17］，用于在有限的數據下訓練GAN，但這些方法主要是為無條件生成而設計的。為了解決生成式對抗網絡在有限數據集上訓練的弊端，本文試圖用小樣本學習的方式來解決這個問題。通過在數據類別方面做出限制使得GAN為一個新的類別生成大量逼真且多樣的圖像。

1.2 小樣本圖像生成方法

小樣本圖像生成方法的目的是根據給定一部分未知類別的圖像，生成真實且多樣的圖像。基于優化的方法FIGR（基于Reptile 工具實現小樣本圖像生成）［18］和DAWSON（域自適應小樣本生成）［19］將對抗性學習與元學習方法（即Reptile［20］和MAML（與模型無關的元學習）［21］）相結合，但是該方法所生成圖像的質量較低，不適用于實際應用。對于基于融合的方法，GMN（生成匹配網絡）［22］和MatchingGAN（基于匹配的小樣本圖像生成）［23］用VAE（變分自編碼器）和GAN將匹配網絡從小樣本分類任務推廣到小樣本生成任務。F2GAN（先融合再填充的GAN）［23］通過增加一個非局部注意融合模塊來改進MatchingGAN，以融合和填充不同層次的特征來生成圖像。但是這些方法將高水平的圖像特征與全局系數相融合，這將給生成的圖像帶來更多的混疊偽影和更少的多樣性。此外，全局重建損失被用來約束模型，使其生成的圖像看起來像輸入圖像的加權堆疊，這將進一步損害生成的質量。LoFGAN［24］通過選擇、匹配和替換局部表征，在更細的層次上融合深層特征，并使用基于局部的重建損失來減少混疊偽影。

2 缺陷樣本生成網絡

2.1 改進的LoFGAN總體網絡框架

本文所提出的改進后的LoFGAN 總體框架圖如圖1 所示，圖中由兩部分組成：生成器和判別器。其中，生成器包括編碼器、LFM（局部融合模塊）［24］、解碼器、判別器。LFM 隨機選擇編碼器特征圖中的一個作為基礎，將其余特征作為參考，并通過局部選擇、局部匹配和局部替換來融合它們。本文對生成器做出了改進，在生成器中引入CoT（基于上下文的轉換模塊）提高了編碼器對輸入圖像的特征提取能力，從而能夠學習更多圖像細節，提高最終生成圖像的真實性。

圖1 改進的LoFGAN總體框架Fig.1 Overall framework of the improved LoFGAN

小樣本圖像生成網絡需要合適的損失函數來使得生成分布和真實分布之間的距離盡可能逼近。在圖1 中包含了三個損失函數，分別為對抗損失Ladv、分類損失Lcls和局部損失LLocal。

對抗損失：本文引入Hinge version GAN loss［25］作為對抗損失，來限制生成器使其生成令判別器無法區分的真實圖像。對抗損失的表達式如下：

式中：D（·）代表判別器的結果；X代表真實圖片；x代表由生成器構造的圖片；上標D和G分別代表判別器和生成器，下同。

分類損失：本文的分類損失遵循ACGAN（基于輔助分類器的GAN）［25］，其中，應用輔助分類器將輸入圖像分類到相應的類別中。具體而言判別器旨在對真實圖像進行分類；生成器在保持與輸入圖像相同的標簽的同時生成圖像。本文用來輔助分類器的分類損失可以表示為：

式中：c（·）代表真實圖像的類別。

局部損失：本文引入了局部重建損失來解決當輸入圖像未對齊時，加權圖像集將具有混疊偽影的問題。其思想是在圖像級再現特征級局部融合過程，即針對獲得的粗略融合圖像LFM（X，α），通過損失變量LGlocal來約束生成圖像x：

式中：||·||1代表L1-范數。

結合以上三個損失函數，將它們相加以得到網絡的總損失函數如式（4）所示：

2.2 基于上下文的轉換模塊

CoT［26］的優勢在于能夠有效捕獲圖像中的細節特征。基于此優點，本文引入CoT 構建生成器中的編碼器，利用輸入K之間的上下文信息來優化動態注意力矩陣的學習，從而增強了網絡的特征表征能力。

CoT 結構如圖2 所示，首先通過3×3 卷積對輸入K進行上下文編碼，獲得輸入的靜態上下文表示，隨后進一步將編碼K與輸入的Q連接起來，通過兩個連續的1×1 卷積來學習動態多頭注意力矩陣。學習到的注意力矩陣乘以輸入值以實現輸入的動態上下文表示。最后將靜態和動態的上下文表示的結果作為CoT的輸出。

圖2 CoT結構Fig.2 Structure of the CoT

改進的編碼器如表1所示。本文所提出的編碼器有五個層級組成，在第一個層級首先對輸入的維度提高并保持圖像的尺度不變，然后經過4個層級來對輸入圖像的尺度一步步縮小，減少計算壓力，提取高維特征。在后四個層級中，本文構建了一個Block結構，在Block中包含了一個1×1的卷積、一個CoT以及一個3×3的卷積。前兩者保持特征的維度不變來提取特征圖中的深層特征，后者使用一個3×3 的卷積來提高特征圖的維度。這樣的結構能夠很好地提升編碼器的特征提取能力，使得生成器能夠進一步生成具備真實圖像細節特征的圖像。

表1 編碼器的結構Table 1 Structure of the encoder

2.3 正則化優化方法

針對電力場景設備缺陷數據較少的問題，本文使用正則化優化方法使得GAN能夠通過少量數據達到優異的訓練效果。目前大多數GAN模型都是通過使用基于最小化真實數據分布和生成數據分布之間的f-散度的思想來構建對抗損失。已有的研究往往聚焦于在f-散度的基礎上提出了基于JS-散度和基于χ2-散度，結合神經網絡去擬合數據之間的分布［12，27］。但是針對小樣本訓練場景，GAN將很難找到數據的分布情況。基于此，本文引入基于LC-散度的正則化損失作為判別器的損失，其好處在于網絡在有限的數據集下可以有效保障GAN模型訓練的魯棒性。

對于兩個離散分布Q（x）和P（x），f-散度可表示為：

式中：f是一個凸函數并且f（1）=0。該計算過程代表著對兩個離散分布的積分過程。

假設C（G）代表生成器，為了找到修正優化判別器的虛擬目標函數，則C（G）可以表示為：

其中，Δ（pd||pg）即LC-散度，可表示為：

由于f-散度是非負的，因此須保證λ＜1/2α。

3 實驗設置

3.1 數據集處理

本文共采集了1 865張來自電力變電站中各個場景的缺陷圖像，包括呼吸器油封破損、表盤模糊、表盤破損等。根據設備缺陷情況在圖中的位置，將背景濾除，僅保存包含電力設備缺陷的部分，其好處在于濾除對模型訓練無關的背景信息，加快模型的訓練速度。如圖3所示，通過背景剔除處理，本實驗共截取了2 178張設備缺陷圖像，并將預處理后的圖片分辨率統一定為128×128。

圖3 設備缺陷圖像Fig.3 Images of defective equipment

按照每一個缺陷的標注位置的中心進行截取，選取能夠包含標注邊界的最大外接正方形來截取設備缺陷圖像。本文將收集的缺陷圖片整理為10類缺陷，這10 類缺陷的類別和數據如表2 所示。在訓練過程中，將采用8類圖像作為訓練時的可見圖像，將另外2類作為不可見的圖像。

表2 10類設備缺陷的信息Table 2 Information of ten kinds of equipment defects

3.2 實驗環境配置

本文所提方法的試驗環境配置基于Ubuntu16.04.1（Linux 4.15.0-142-generic），其搭載的服務器裝載了一塊Inter CPU（Intel（R） Xeon（R）Gold 6242R CPU@3.10 GHz）、一塊帶有24 GB顯存的NVIDIA GPU（GeForce RTX 3090）以及256 GB 內存。設置訓練的Batch-size 為16，迭代輪次為100 000。

4 實驗結果與分析

4.1 定量分析

通過計算真實數據Sreal和生成數據Sgen之間的FID（Frechet 起始距離）和LPIPS（學習感知圖像塊相似度）［28］分數來評估模型的性能。

FID 通過從原始圖像視覺特征統計方面的相似度來衡量兩組圖像的相似度，FID 分數越低代表兩組圖像越相似。LPIPS 能夠度量兩張圖像之間的差別，其值越低代表兩張圖像越相似。如表3所示，本文針對采集到的電力缺陷數據集在FID與LPIPS兩個指標上開展了定量對比。引入的對比方法有：FIGR［18］、MatchingGAN［23］、DAWSON［19］和LoFGAN［24］。

表3 網絡的定量評估Table 3 Quantitative network evaluation

本文所提出的改進LoFGAN 在FID 和LPIPS上分別取得了154.23 和0.264 7，與其他網絡相比所取得的分數是最小的。而FID 和LPIPS 的值越小，代表圖像生成網絡的性能越優異。因此可以看出，本文所提出的改進LoFGAN 相比其他網絡能夠更好地應用于電力設備缺陷圖像生成。

4.2 定性分析

本文對所提出的網絡進行了定性分析，從生成圖像的視覺效果來證明本文所提方法的優越性。通過將不可見的類別圖像輸入給訓練好的圖像生成模型，模型根據輸入的圖像生成一系列的虛擬圖片。如圖4所示，模型根據輸入的缺陷圖像確定其缺陷類型，然后根據該缺陷的主要特征結合其他全局特征生成虛擬的缺陷圖像。從圖4中可以看到，輸入類別以鳥巢和蓋板破損為例，左側三列圖像為真實圖像，其他圖片均是模型根據輸入圖像構造的生成圖像。生成的圖像具備真實性和多樣性，同時對不同場景下的缺陷圖片都具有較好的處理效果，具有較強的魯棒性。模型不僅保留了原始缺陷的主要特征，還結合了在其他缺陷類別圖像上學習到的特征。

圖4 提出的模型根據輸入生成的結果Fig.4 Outputs generated by the model based on the inputs

5 結語

目前由于缺陷數據量不充足，工作人員無法通過人工智能技術訓練一個缺陷目標檢測器來對缺陷進行精準識別。本文針對電力場景缺陷樣本不足的問題開展相關研究，提出使用小樣本圖像生成方法來解決電力缺陷圖像稀少的問題。首先，通過CoT構建網絡的生成器部分，提高GAN對圖像細節特征的提取能力；其次，通過引入LC-散度的正則化損失來優化模型在有限缺陷數據集上的訓練效果，提高模型的泛化能力；最后，基于LoFGAN，結合上述方法，提出改進的LoFGAN，并在實驗部分證明本文所提出的圖像生成模型能夠有效地解決電力場景缺陷圖像稀缺的問題。在未來的研究中，團隊將進一步探究生成樣本逼真度與模型的檢測精度的關系，從而研究更加有效的小樣本圖像生成方法。