基于邊緣增強生成對抗網絡的電力設備熱成像超分辨率重建

劉云峰，楊晉彪，韓晉鋒，彭軼灝，趙洪山

(1. 國網晉城供電公司，山西省晉城市 048000；2. 國網陵川縣供電公司，山西省陵川縣 048300；3. 華北電力大學電力工程系，河北省保定市071003)

0 引 言

紅外熱成像技術通過信號處理與光電轉換等手段，精確量化探測到的熱量并以圖像的形式將物體的溫度分布狀態直觀表現出來，實現全像面遠距離準確測溫[1]。隨著科學技術的飛速發展，各個領域對紅外熱成像技術的需求日益增加，但由于人工合成材料成本較高，導致高分辨率熱成像傳感器非常昂貴，尤其在當前電力物聯網技術廣泛用于電力設備態勢感知的形勢下，為了降低在線監測技術的成本，已有很多熱成像在線監測傳感器采用較低分辨率的熱成像技術來實現電力設備健康狀態評估。低分辨率的熱成像圖像如何清晰化已成熱點研究問題。

超分辨率重建是指試圖復原衍射極限以外數據的過程，是計算機視覺和圖像處理中將低分辨率圖像恢復為高分辨率圖像的一類重要圖像處理技術，在醫學成像、超光譜圖像、衛星成像、人臉成像等領域中均有廣泛的應用[2-6]。重建方法可以分為3類：基于插值的方法、基于重建的方法和基于學習的方法。其中，基于插值的方法如BiCubic雙三次插值[7]等實現簡單，但線性模型的局限性，使得它們在恢復高頻細節上不太理想。基于稀疏表示的技術重建，通過先驗知識增強了線性模型的重建效果[8]； 這類技術假定任意的自然圖像均能被字典中的元素稀疏表示，但該方法計算復雜，需要大量的計算資源。基于學習的方法是近年比較流行且有效的方法，通過大數據進行機器學習，能夠極大恢復高頻細節。

基于卷積神經網絡的超分辨率重建 (super-resolution using convolution neural network，SRCNN)是深度學習用在超分辨率重建上的開山之作[9]，通過利用3層卷積網絡進行低分辨率圖像到高分辨率圖像的非線性映射擬合，完成超分辨率重建。加速的超分辨率卷積神經網絡[10](accelerating the super-resolution convolutional neural network, FSRCNN)、高效的亞像素卷積神經網絡[11](efficient sub-pixel convolutional neural network, ESPCN)和超深度卷積的超分辨率網絡[12](super-resolution using very deep convolutional networks, VDSR) 等深度學習網絡對SRCNN中的特征提取、網絡架構等方向進行改進，使得超分辨率重建圖像具有更高的峰值信噪比評價指數，但在圖像的逼真視覺效果上依然不佳。2017年基于生成對抗網絡的超分辨率重建[13](super-resolution with generative adversarial network, SRGAN)被Christian Ledig等學者提出，其使用生成對抗網絡(generative adversarial network, GAN)進行訓練，用均方誤差優化SRGAN的生成器網絡，再在訓練好的視覺幾何組(visual geometry group, VGG)模型的高層特征上計算感知損失對SRGAN進行優化，使得超分辨率成像結果峰值信噪比雖然不是最高，但是具有逼真的視覺效果。2018年，增強型超分辨率生成對抗網絡[14](enhanced super-resolution generative adversarial networks, ESRGAN)被Wang X等學者提出，它去除了生成器網絡的歸一層(batch normolization, BN)，并用密集網絡模塊(densenet block)替換了原始的殘差網絡模塊(residualnet block)使得訓練難度變化不大的同時提高了輸出質量，并用相對平均GAN來改進判別器，使得生成器恢復了更加真實的紋理細節。對抗生成網絡成為近年研究的熱點，帶感受野模塊的極限感感知超分辨率網絡[15](perceptual extreme super-resolution network with receptive field block, RFB-ESRGAN)、真實世界的單圖超分辨率重建[16](real-world single image super-resolution, RealSR)、Cycle-in-Cycle生成對抗網絡[17](cycle-in-cycle generative adversarial networks, CinCGAN)、基于雙生成對抗網絡的超分辨率重建[18](super resolution with dual generative adversarial networks, SRDGAN)、基于Wasserstein距離的生成對抗網絡[19](Wasserstein generative adversarial networks, WGAN)以及基于面部先驗的人臉超分辨率重建[20](face super-resolution with facial priors, FSRGAN)等方法通過對生成對抗網絡結構進行改進或與特定領域的知識進行結合產生了一系列創新成果。生成對抗網絡獨有的網絡結構和良好的重建效果令其在超分辨率重建領域中越來越受廣大學者歡迎。

從SRCNN到SRGAN都是在解決可見光圖像的超分辨率重建問題，但紅外熱成像圖像是通過測量物體向外輻射的熱量獲得的，與可見光圖像相比，具有分辨率差、對比度低、信噪比低、視覺效果模糊、信息量少等特點。

本文根據紅外熱成像圖像與可見光圖像的特征區別，在SRGAN網絡結構的基礎上，提出一種改進的邊緣增強生成對抗網絡(edge enhancement super-resolution generative adversarial network，EE-SRGAN)對熱成像圖像進行超分辨率重建。增加殘差收縮網絡(residual shrinkage network, RSN)模塊，并提取邊緣特征進行加強訓練，以獲得更好的重建效果，最后利用紅外圖像數據集對所提方法進行驗證。

1 原始生成對抗網絡(GAN)

原始生成對抗網絡[21]是由Ian Goodfellow等研究人員于2014年提出的一種新型無監督學習神經網絡結構，由生成器網絡和判別器網絡2個神經網絡組成，其中生成器網絡利用輸入信息生成一個偽造數據，而判別器網絡判斷偽造數據的真實性，通過2個網絡的零和博弈，達到一個生成以假亂真數據的生成對抗模型。

判別器的訓練目標是為了最大化正確標注實際數據和生成器生成數據。生成器的訓練目標則是為了盡量減少判別器得出正確答案的概率。因此，GAN的訓練任務可以看成函數V(G,D)的極大極小博弈:

(1)

式中：Pdata(x)為輸入數據分布；Pz(z)為生成器生成數據分布；D(x)為判別器網絡中輸入為x的輸出；G(z)為生成器網絡中輸入為z的輸出。

當判別器無法確認生成器網絡生成的數據真假時，訓練過程停止，從而達到生成器與判別器之間判定誤差的平衡。

2 改進的邊緣增強生成對抗網絡

EE-SRGAN網絡結構由生成器網絡(G)和判別器網絡(D)兩部分構成，通過生成器網絡和判別器網絡的對抗學習，輸入低分辨率(low-resolution, LR)圖像獲得高分辨率(super-resolution, SR)圖像。相對于SRGAN，EE-SRGAN針對紅外熱成像信噪比低的特點，在生成器網絡中引入殘差收縮網絡[22]，利用殘差收縮網絡中的軟閾值部分，對紅外熱成像的噪聲影響進行一定的消除。同時，針對低分辨率紅外熱成像對比度低以及視覺效果模糊的特點，對生成器生成的圖像和原始圖像進行邊緣提取，獲得圖像邊緣信息生成器生成的數據邊緣和輸入的數據邊緣，從而對電力系統熱成像的邊緣部分進行針對性的加強重建，提高了圖像邊緣數據的重建效果，從而增強了重建圖像的峰值信噪比。同時，邊緣數據的有效恢復，也降低了重建圖像與原圖的協方差等數據，進而提高了重建圖像和原圖的結構相似性，EE-SRGAN模型結構如圖1所示。圖1中，生成器模型輸入LR圖像以及其邊緣提取圖像SLR，生成仿造的SR圖像。判別器模型通過輸入LR圖像、SR圖像以及它們的邊緣提取圖像，區分這個樣本是不是真實樣本，并分別將損失函數floss_D以及floss_G反饋給判別器和生成器進行迭代優化。

圖1 EE-SRGAN模型結構原理圖Fig.1 Model structure of EE-SRGAN

2.1 殘差收縮網絡

為了消除重建過程中可能存在的噪聲影響，同時提高訓練的穩定性，將生成器G中的殘差網絡改為殘差收縮網絡。

殘差收縮網絡是一種注意力機制下的深度學習網絡，通過在殘差網絡中引入信號降噪算法中的軟閾值化，刪除絕對值小于某個閾值的特征，同時將絕對值大于閾值的特征向零收縮。在去噪聲的同時，也減小了深度學習算法遭遇梯度彌散或梯度爆炸的風險。殘差收縮網絡塊如圖2所示。

圖2 殘差收縮網絡(RSN)Fig.2 Residual shrinkage network (RSN)

圖2中，C為輸入數據的通道數，W和H為輸入數據的長度和寬度，K為卷積核個數，Conv為卷積層，FC為全連接層，RELU為線性整流函數，BN為歸一層，Sigmoid為S型函數，ST為軟閾值化過程，M為乘法運算，Sum為加法運算。

2.2 邊緣增強的判別器網絡

判別器采用深度卷積神經網絡中具有優良特征提取性能的VGG網絡，以預訓練的16層VGG 網絡作為主體對圖像進行特征提取。在判別圖像真偽時，將判別器模型的目標函數修改為:

(2)

式中：PSdata(x)為輸入的邊緣數據分布;PSz(z)為生成器生成的邊緣數據分布。

2.3 邊緣損失函數

損失函數是生成對抗網絡中的生成網絡和判別網絡對于最大最小問題進行優化時的約束。

(3)

式中：r為放大倍數；IHR為高分辨率數據分布；ILR為低分辨率數據分布；SSobel(·)為邊緣數據提取函數。

通過對對抗損失、內容損失、邊緣損失以及正則化損失進行加權，得到本文的損失函數為：

(4)

3 實驗分析

3.1 實驗設置

算法代碼基于Pytorch框架，深度學習服務器的GPU為NVIDIA GTX1080Ti，運行內存為16 G，顯卡運算平臺為CUDA10.1，CUDNN7.6.4。實驗中的訓練集由FLIR熱數據集[23]中的800張紅外熱成像圖，以及作者自行拍攝的200張電力設備紅外熱成像圖共同構成，其中，FLIR熱數據集中選取的800張紅外熱成像圖包含行人、車輛、動物等各類紅外熱成像圖。將數據集中的原始圖像重新采樣分割為200×200像素大小的圖像作為高分辨率訓練圖像，并對高分辨率訓練圖像進行4倍下采樣從而得到50×50像素的低分辨率訓練圖像。

實驗選取了傳統方法中的雙三次插值和深度學習下的原始SRGAN與本文的EE-SRGAN進行比較。將峰值信噪比(peak signal-to-noise ratio, PSNR)和結構相似度(structural similarity, SSIM)作為圖像重建質量客觀評價指標。

3.2 穩定性分析

傳統的雙三次插值方法不具備迭代過程，因此穩定性不作考慮，SRGAN方法及本文的EE-SRGAN方法的峰值信噪比以及結構相似性指標隨迭代次數變化結果如圖3、4所示。

圖3 PNSR隨迭代次數變化過程Fig.3 Change process of PSNR with the number of iterations

由圖3和圖4可以看出，本文提出的EE-SRGAN方法的PSNR與SSIM指標曲線均比SRGAN方法的指標曲線更穩定。這是由于本文使用了深度殘差收縮網絡，有效減少了梯度爆炸和梯度彌散的風險。

圖4 SSIM隨迭代次數變化過程Fig.4 Change process of SSIM with the number of iterations

3.3 重建效果分析

為了進一步展現本文方法的優勢，本文采用BiCubic雙三次插值、SRGAN、EE-SRGAN這3種方法同時對4類電力設備熱成像圖像進行實際重建實驗測試，采用圖像處理中的指標PSNR以及SSIM進行評估，其具體結果如表1所示。EE-SRGAN的平均PSNR指標較BiCubic插值方法有約2.5 dB的提高，較SRGAN方法有約1.4dB的提高，圖像質量更良好。在SSIM方面，EE-SRGAN的平均SSIM指標較BiCubic方法提高了約14.35%，較SRGAN方法提高了約4.8%。表明EE-SRGAN在亮度、對比度以及結構差異上，更接近原始圖像。

表1 不同算法放大4倍重建紅外圖像評估結果Table 1 Evaluation of reconstructed infrared image magnified 4 times with different algorithms

此外，實驗對提取了重建結果的邊緣數據進行單獨評估，得到3種方法重建結果邊緣灰度圖的客觀評價結果，如表2所示。由于圖像邊緣是圖像包含信息最豐富的地方，也是圖像區域屬性發生突變的地方，在低分辨率圖像包含的低緯空間中，邊緣信息的支撐集較高分辨率圖像中的支撐集損失極大，因此，邊緣信息的恢復往往非常有限，導致重建結果的邊緣圖像指標較低。在邊緣圖像的平均PSNR指標上，EE-SRGAN的結果較BiCubic插值以及SRGAN方法分別有約2 dB以及0.6 dB的提高，且在邊緣圖像的平均SSIM指標上，EE-SRGAN達到了BiCubic插值的2倍以上，較SRGAN也提高了約6.35%，表明EE-SRGAN在邊緣數據上較其他2種方法有著顯著優勢，體現了邊緣增強的有效性。

表2 不同算法放大4倍重建紅外圖像邊緣數據評估結果Table 2 Evaluation of edge data of reconstructed infrared image magnified 4 times with different algorithms

3種方法的重建圖像如圖5所示，并將細節紋理放大至左上角以方便比較，從左到右依次為原圖、低分辨率圖像、BiCubic重建圖像、SRGAN重建圖像、EE-SRGAN重建圖像，并將重建結果的邊緣提取圖像進行比較，如圖6所示。由圖5可知，本文方法在清晰度方面提升明顯(見圖5(a))，且無明顯的顆粒感(見圖5(b))，恢復的絕緣子邊緣處更加清晰(見圖5(c))，色彩恢復更加貼合原圖(見圖5(d))。對圖6的邊緣數據進行比較，也可以發現本文的EE-SRGAN方法的邊緣線條更加細致。通過以上比較可知，本文的EE-SRGAN方法在局部細節上以及邊緣紋理上均有更好的視覺效果。

圖5 重建效果圖Fig.5 Comparison of reconstruction results

圖6 重建邊緣效果圖Fig.6 Edge comparison of reconstruction results

結合以上分析，3種重建方法中，本文所提的EE-SRGAN方法的重建效果以及邊緣細節恢復情況無論在客觀指標還是主觀視覺上均優于BiCubic及SRGAN方法，具有較高的工程實用意義。

4 結 論

本文通過分析紅外熱成像圖像的特性，結合信號降噪方法中的軟閾值化以及圖像處理中的邊緣提取，將SRGAN改進為更加適合紅外熱成像圖像的EESRGAN算法，通過紅外熱成像數據集進行訓練擬合，達到了較好的效果。實驗證明，本文的方法在電力設備熱成像圖像的重建中，有效提高了重建圖像的峰值信噪比和結構相似性，具有較強的實用價值。