基于改進的DeblurGAN的指針式儀表圖像去模糊方法研究

承永宏 胡旭曉 王永力 丁楠楠 汪威

摘? 要：針對指針式儀表圖像的聚焦模糊問題，提出使用基于改進的DeblurGAN網絡的圖像去模糊處理方法。由于原始網絡輸入輸出大小均為256×256，修復的圖像分辨率相對較低，本文將網絡作出相應調整，使其輸入輸出大小更改為512×512，并采集制作了模糊數據集，實驗結果表明修復的圖像質量得到了很大的提升。

關鍵詞：指針式儀表;圖像去模糊;改進的DeblurGAN

Abstract： To resolve the issue of blurring image of dashboard pointer of an instrument caused by camera focal length， the paper proposes an image deblurring method based on an improved DeblurGAN algorithm. Because the input and output sizes of original network are only 256×256， the resolution of restored image is low and the repair effect is poor. The study adjusts the network to change the sizes of input and output to 512×512， and generates datasets of pointer instruments. The experimental results show that the quality of the repaired image has been greatly improved.

Keywords： pointer instrument; image deblurring; improved DeblurGAN

1? ?引言（Introduction）

在電力系統的變電站中，大部分設備都會配備各種指針式儀表，以檢測各項數據指標，保障設備穩定安全地運行。在過去，儀表數據檢測記錄都依靠人工去觀察，檢測費時費力，且長時間觀察儀表讀數的精度可靠性都會降低[1]。隨著技術的進步，自動巡檢方法開始出現在變電站中，基于視覺圖像方法進行指針讀數自動識別，速度和準確率都有了很大的提升。但是，在巡檢機器人拍攝表盤圖像時，由于無法實現對表盤的自動聚焦，導致最終獲取的圖像會有不同程度的模糊問題，這給后續指針智能讀數帶來許多困難。近年來，隨著深度學習的快速發展，出現了許多基于卷積神經網絡的圖像去模糊處理方法，超分辨率技術[2]可以將圖像中低分辨率的部分恢復出高清圖像，但是訓練時需要的數據集制作相對困難。Nah等人提出使用CNN網絡直接修復模糊圖像，取得了較好的效果[3]。Orest Kupyn等人在2018年提出的DeblurGAN網絡結構簡單，修復速度快，而且去模糊能力相比其他去模糊網絡更加出色[4]。本文在DeblurGAN的基礎上，對其網絡結構進行調整，提高了模糊圖像修復后的效果。

2? 生成式對抗網絡（Generative adversarial networks）

生成式對抗網絡是由GoodFellow等在2014年提出[5]，該網絡由兩個相互對抗的生成器模型和鑒別器模型組成。生成模型是指我們可以根據任務、通過模型訓練由輸入的數據生成文字、圖像、視頻等數據，鑒別器模型主要用于對生成模型生成的數據與真實數據做判斷，其結構圖如圖1所示。

生成器的目標是盡可能使生成的數據接近真實數據，從而使鑒別器無法分辨生成的數據與真實數據之間的差異;鑒別器的目標則是盡可能將真實數據與生成的數據區別開來。GAN的核心原理可以使用公式（1）表示：

式（1）中，x表示真實圖片，z表示輸入生成器網絡（Generator， G）的噪聲，而G（z）表示G網絡生成的圖片。D（x）表示判別器網絡（Discriminator， D）判斷真實圖片概率，因為x就是真實的，所以對于D來說，這個值越接近1越好。而D（G（z））是D網絡判斷G生成的圖片的是否真實的概率。

3? ?改進的DeblurGAN（Improved DeblurGAN）

GAN網絡由于其生成的圖像更加符合人類感知，近年來，研究者們在GAN的基礎上提出了許多優秀的網絡模型應用于圖像修復、圖像風格轉換等領域，取得了較好的應用效果。本文研究使用的DeblurGAN主要用于解決由于相機運動導致的圖像模糊問題。

3.1? ?DeblurGAN原理

式（2）中，IB和IS分別表示模糊圖像和對應的清晰圖像，符號*表示卷積運算，N表示噪聲。傳統去模糊問題在已知模糊核的情況下可以通過一個反卷積操作修復模糊圖像。由于大量數據中，每張圖像的模糊核不盡相同，加之噪聲影響，該方法很難操作。而DeblurGAN網絡的目標則是在沒有關于模糊核的任何先驗信息的情況下，將模糊圖像IB作為輸入，恢復出對應的清晰圖像IS。在訓練階段，以成對的模糊圖像和清晰作為輸入，生成器網絡G和鑒別器網絡D以GAN對抗的方式進行訓練，待訓練完成后，去模糊處理的整個過程由訓練后的G網絡單獨完成。

該網絡的損失函數由兩部分組成，即對抗損失LGAN和內容損失LX，其表達式如式（3）所示。

3.2? ?DeblurGAN的網絡結構

傳統提取特征的卷積層在網絡深度達到一定程度之后，會出現梯度彌散等問題，ResNet網絡由于存在殘差連接（Skip connection），將輸出表述為輸入和輸入的一個非線性變換的線性疊加，使得梯度彌散問題得到解決，所以能夠提取到較深層次的特征。生成器網絡結構中提取深度特征采用的就是ResNet網絡，如圖2所示，輸入圖像為三通道大小為256×256的RGB圖像，首先經過一次卷積操作，然后下采樣兩次，經過九個ResBlock塊操作，最后再上采樣兩次，經過卷積激活函數之后與輸入的模糊圖像加起來作為輸出。

鑒別器網絡結構如圖3所示，其輸入為256×256的三通道圖像，經過五層卷積網絡后，輸出為一個30×30的矩陣， 代表著圖像中一個比較大的感受野，相比于輸出單個值的鑒別器效果更好。

3.3? ?網絡結構的改進

由于DeblurGAN網絡的輸入大小為256×256， 原本數據集中圖像大小約為800×900，在輸入網絡訓練之前對數據集中圖像尺寸縮放后，圖像特征相對減少，像素就會相對模糊一些，因此考慮將其網絡輸入大小更改為512×512。在保持網絡整體結構不變的前提下，分別在生成器網絡的九個ResBlock結構前后各加入卷積核為3×3的卷積層、歸一化層和激活層，即加深一層特征提取，但原本在ResBlock層中的特征圖大小不變。在鑒別器網絡（圖3）的第二層后加入卷積核為4×4的卷積層、歸一化層和激活層，使鑒別器的輸出大小與更改網絡前的大小相同均為32×32。

4? ?實驗分析（ Experimental analysis）

4.1? ?數據集與訓練細節

該去模糊網絡需要有成對的模糊圖像和清晰圖像，本實驗所使用的圖像是通過變電站巡檢機器人所拍攝，通過固定鏡頭方向，人為調節焦距獲取不同程度的模糊圖像和與之對應的清晰圖像，采集到的圖像有872對，在訓練之前，對數據集進行增廣處理，通過剪切、旋轉、翻轉等處理手段，使數據集擴展到2438對。并將數據集隨機分為訓練集和測試集，其中訓練集1750對，測試集688對。

此次實驗在Ubuntu 16.04操作系統下進行，處理器為Intel i7-9750H，顯卡為NVIDIA? GTX1660ti，使用PyTorch框架搭建深度學習平臺。訓練周期預設為300，初始學習率設置為0.0001，前150個周期學習率均采用初始值，后150個周期內的學習率按線性衰減至0，參數優化選擇Adam優化算法。

4.2? ?實驗結果

去模糊效果的評價采用圖像峰值信噪比PSNR和結構相似度SSIM，在測試集上的實驗數據詳見表1，從表中可以看出峰值信噪比在接受范圍內，SSIM值較高，表明修復的圖像相對較好。改進后的網絡部分測試圖像如圖4所示，從結果圖中可以看到較為模糊的表盤經過修復變得清晰了，指針與刻度較為明顯，這對于后續的角度法、梯度法等[8，9]讀取表盤讀數有很大幫助。

5? ?結論（Conclusion）

圖像模糊問題嚴重影響圖像處理的結果，本文針對變電站指針式儀表的圖像模糊問題，對DeblurGAN網絡進行了改進，在實際采集到的數據集上進行的實驗表明，其對儀表特定場景的去模糊效果較好，對于實際工程中的應用有很大的指導意義。

參考文獻（References）

[1] 韓紹超，徐遵義，尹中川，等.指針式儀表自動讀數識別技術的研究現狀與發展[J].計算機科學，2018，45（6A）：54-57.

[2] Zhang Kai， Zuo Wangmeng， Zhang Lei. Deep Plug-and-Play Super-Resolution for Arbitrary Blur Kernels[C]. IEEE Conference on Computer Vision and Pattern Recognition， 2019： 1671-1681.

[3] Nah S， Kim T H， Lee K M. Deep Multi-scale Convolutional Neural Network for Dynamic Scene Deblurring[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2017： 257-265.

[4] Orest Kupyn， Volodymyr Budzan， Mykola Mykhailych， et al. Deblurgan： Blind motion deblurring using conditional adversarial networks[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018： 8183-8192.

[5] I. Goodfellow. Nips 2016 tutorial： Generative adversarial networks. arXiv preprint arXiv：1701.00160， 2016.

[6] 孫全，曾曉勤.基于生成對抗網絡的圖像修復[J].計算機科學，2017，45（12）：226-261.

[7] 唐浩漾，孫梓巍，王婧，等.基于VGG-19混合遷移學習模型的服飾圖片識別[J].西安郵電大學學報，2018，23（06）：91-97.

[8] 李偉，任青青，胡艷俠，等.一種復雜指針式儀表的讀數自動識別算法[J].計算機技術與發展，2017，27（3）：201-204.

[9] 佘世洲，宋凱，劉輝，等.一種電力指針式儀表示數自動識別的魯棒方法[J].計算機技術與發展，2018，28（4）：192-195.

作者簡介：

承永宏（1991-），男，碩士生.研究領域：圖像處理.

胡旭曉（1965-），男，博士，教授.研究領域：圖像處理，機器視覺.本文通訊作者.

王永力（1995-），男，碩士生.研究領域：圖像處理.

丁楠楠（1996-），男，碩士生.研究領域：圖像處理.

汪? ? 威（1997-），男，碩士生.研究領域：圖像處理.