單一霧霾圖像RGB值先行驗證去霧算法研究

馬瑞強 張善俊

摘 ?要：針對單一霧霾圖像的去霧算法，通常以顏色增強與先行驗證較為常用，目前結合深度學習應用于霧霾圖像處理算法也常出現，并且取得了一定的成果和應用。本研究受兩個傳統的先行驗證算法，即黑通道先行驗證與彩度灰度值先行驗證方法的啟發，通過深入研究修復后霧霾圖像與無霧圖像RGB值的先行驗證，發現其兩者存在的相關性的統計規律，基于這一特點利用卷積神經網絡進行學習，使得霧霾圖像得到了修復，并取得了較為理想的視覺效果。后通過PSNR評價結果表明，霧霾圖像修復的理論結果與目測的實踐結果基本吻合，從而也證實了本研究所采用的RGB值先行驗證算法具有一定的實用價值。

關鍵詞：單一霧霾圖像;RGB值先行驗證;黑通道先行驗證;彩度灰度值先行驗證;峰值信噪比;評價機制

中圖分類號：TP391.41 ? ? ?文獻標志碼：A ? ? ? ? 文章編號：2095-2945（2020）01-0001-06

Abstract： For the single fogging image defogging algorithm， it is usually used to color enhance and the prior. At present， it is often used in fogging image processing algorithm using combining with deep learning， then it has made some achievements and applications. This study is inspired by two traditional prior algorithms， there are dark channel prior and color attenuation prior. Through in-depth research on the prior of RGB value of repaired fogging image and non fogging image， we find the statistical law of their correlation. Based on this feature， we use convolutional neural network for deep learning， so that fogging image can be repaired， and take the ideal visual effect is obtained. Finally， the peak single to noise ratio evaluation results show that the theoretical results of fogging image restoration are basically consistent with the results of visual inspection practice， which also confirms that the RGB value prior algorithm used in this study has a certain practical value.

Keywords： single fogging image; RGB Value Prior; dark channel prior; color attenuation prior; peak single to noise ratio; evaluation mechanism

1 概述

薄霧是一種自然現象，它會模糊場景、降低可見度和改變顏色。這對攝影師來說是一個惱人的問題，因為它會降低圖像質量。它還威脅到許多應用程序的可靠性，如室外監視、物體檢測和空中成像。因此，在計算機視覺/圖形技術中，去除圖像中的模糊是很重要的。但是，由于其數學模糊性，通常輸入只是一幅圖像，消除模糊度具有很高的挑戰性。在本論文中，科研工作者曾提出一個簡單但有效的圖像先行驗證，稱為黑通道先行驗證，以消除單一圖像的霧。黑通道先行驗證是室外無霧圖像的統計特性：這些圖像中的大多數補丁應包含至少一個顏色通道中的暗像素。使用之前的霧度成像模型，我們可以輕松恢復高質量的無霧度圖像。經驗表明，這種簡單的先行驗證在各種情況下都是強大的，并且優于許多以前的方法。

首先，圖像去霧處理技術是計算機視覺系統與研究領域中一個非常有意義的論題，是一個新型的學科研究方向，具有廣闊的應用前景。其相關研究成果可以廣泛地應用于日常圖片處理、視頻監控、航拍、安全輔助駕駛、汽車自動駕駛、水下圖像分析、工業自動焊接焊縫的實時跟蹤等諸多領域。雖然該領域的研究已在國內外蓬勃發展，但是，受霧霾圖像復雜性和拍攝環境多變性制約，目前已有的霧霾圖像清晰化處理的算法研究和研究成果亟待完善，依然存在諸多難點問題，尚未得到有效解決。

其次，客觀科學的去霧處理效果評價體系，是衡量去霧效果優劣的重要依據，目前對此領域的優秀研究成果不多。具有較好的適用性與可靠性的評價方法，是去霧圖像處理研究深入推進的重要保障，除現有比較成熟的圖像質量評價手段之外，對去霧圖像處理后效果清晰化評價算法，可靠性不足，有必要深入研究。

近年來，分階段的研究成果都是基于該算法所代表的霧濃度感知特性，突破和改進了以往大氣散射模型的使用。通過大量的白天室外霾圖像樣本，計算出霧氣濃度和霧識別的統計特征，包括局部標準差、局部平均值等一系列統計特征。利用顏色飽和度和圖像熵對原始圖像進行多尺度細化恢復。這是一種基于學習特征的方法。這種方法能很好地得到除霧后的圖像，在圖像清晰度、對比度和細節恢復方面，基于各種物理模型的去霧算法的結果更符合人眼的主觀要求。基于物理模型的圖像去霧算法從霧的退化原理和模糊機理出發，從物理原因的角度分析了大氣散射對霧圖像物理模型的恢復、退化過程中物理退化模型的建立、物理模型的反演等問題。退化過程中，可以獲得無霧圖像，達到渾濁圖像的清晰度效果，且圖像信息損失相對較小，因此逐漸成為圖像除霧領域的研究熱點。這種消霧算法對圖像處理具有很強的針對性，在盡可能保留原始圖像信息的前提下，呈現出自然的消霧效果。在計算機視覺中，大氣物理模型常用于圖像處理和計算機視覺。

深度學習一般有三種方式。它包括有監督學習、無監督學習和混合深度學習。深度學習突破了傳統機器學習和基于淺層結構的信號處理技術的局限性。由于非凸優化問題的逐步求解，深度學習在圖像處理等領域取得了一定的突破。作為一種本質上具有層狀非線性結構的深度模型，其構造和學習的深度特征表示無疑將大大提高傳統淺層模型的泛化能力。明顯的非凸優化目標形式所引起的局部優化將阻礙基于梯度的bp算法的有效實現。通過對優化初始點的無監督預訓練方法的改進，得到了該問題的一些經驗解。伊恩·古德塞爾在2014年提出了一個創意一代對抗網絡模式。該算法賦予人類思維模式兩種主要模式：生成模式和判別模式。利用生成模型進行訓練和學習，利用判別模型判斷生成模型是否接近真值，直到判別模型不再判斷生成模型是否為真或假。近年來，該技術已應用于圖像除霧處理，取得了良好的效果。最后一種基于深度學習的圖像去霧方法，結合一定的神經網絡結構，采用不同的深度學習技術來訓練去霧模型。研究者提出了一種自適應多列深度神經網絡用于圖像去霧，這也是一種自編碼的去霧方法，該方法對有缺陷和模糊的數字圖像的復原和去霧有很好的效果。也有圖像重建算法，如可訓練的非線性反應擴散模型。通過對非線性擴散模型的改進，該算法更適合于圖像恢復。

以上基于神經網絡的圖像除霧方法大多優于傳統的除霧算法，從除霧圖像的細節到除霧圖像的性能指標都比較突出。隨著算法的不斷改進，深度學習除霧算法在層數上深化后，會出現一些技術問題，如網絡層數過大時模型訓練困難，梯度容易產生離散或爆炸，模型學習效果不明顯等。進一步提高圖像除霧效果是非常困難的。基于以上情況，本課題組正在研究基于深度學習技術的圖像去霧算法，并研究如何訓練出更好的去霧模型，如何提高模型的訓練速度和收斂速度。這一研究領域具有較大的實用價值。

2 物理模型

5 結論

本算法同樣是針對單一霧霾圖像所提出的一種去霧算法，受黑通道先行驗證與彩度輝度先行驗證的啟發，試圖從另外一個自然規律角度尋找先行驗證規律，提出一種圖像RGB-Histogram先行驗證理論，并且得到了證實。實踐證明，這種方案是可行的。主要是結合無霧圖像的RGB值和去霧圖像的RGB值，先行驗證其規律性，通過對抗神經網絡做深度學習，生成訓練RGB模型，最后利用這個訓練模型對單一霧霾圖像修復。目測的結果來看，本去霧算法具有比較理想的效果。然后，再利用峰值信噪比對實驗結果進行了評價，并且，與之前的基于黑通道先行驗證與彩度輝度先行驗證的研究成果進行了對比，證明本算法具有一定的優越性，同時又為業界提出了一個新的先行驗證理論。

參考文獻：

[1]KIM J Y，KIM L S，HWANG S H. An advanced contrast enhancement using partially overlapped sub-block histogram equalization[J].Circuits and Systems for Video Technology， 2002，11（4）：475-484.

[2]Zuide [Zuide 04] ZUIDE R VELD K.Contrast limited adaptive histogram equalization[M]. Graphics Gems IV. San Diego，CA，USA： Academic Press Professional，1994：474-485.

[3] McCA ?R TNEY E J，TRANSLATED P N，Mao Jietai，et al.Optics of the atmosphere[M]. Beijing： Science Press，1988.

[4]TAN.Visibility in bad weather from a single image[C].IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2008：1-8.

[5]Kaiming He， Jian Sun， and Xiaou Tang， "Single Image Haze Removal Using Dark Channel Prior"， IEEE Conference on Computer Vision and Pattern Recognition， 2008.

[6]Tarel J Ps Hautiere N. Fast visibility restoration from a single color or gray level image[C]. IEEE， International Conference on Computer Vision， IEEE， 2010：2201-2208.

[7]Q.Zhu， J.Mai， L.Shao， Single Image Dehazing Using Color Attenuation Prior， International journal of computer vision， 2012，98（3）：263-278.

[8]TANG K， YANG J， WANG J. Investigating haze-relevant features in a learning framework for image dehazing [C]. IEEE Conference on Computer Vision and Pattern Recognition， Columbus： IEEE， 2014：2995-3002.

[9]CAI B， XU X， JIA K， et al. Dehazenet： An end-to-end system for single image haze Removal [J]. IEEE Transactions on Image Processing， 2016，25（11）：5187-5198.

[10]REN W， LIU S， ZHANG H， et al. Single image dehazing via multi-scale convolutional Neural networks [C]. European Conference on Computer Vision， Amsterdam： Springer International Publishing， 2016：154-169.

[11]Zili Yi， Hao Zhang， and Ping Tan Minglun Gong. DualGAN： Unsupervised Dual Learning for Image-to-Image Translation. In IEEE International Conferenceon Computer Vision， pages 502-510， Venice， Italy， October 2017.

[12]Wangmeng Zuo， Dongwei Ren， Shuhang Gu， Liang Lin， and Lei Zhang. Discriminative learning of iteration-wise priors for blind deconvolution. InCVPR，pages 3232-3240， Boston， MA， Jun. 2015.

[13]Kai Zhang， Wangmeng Zuo， Yunjin Chen， Deyu Meng， and Lei Zhang. Beyond a gaussian denoiser： Residual learning of deep CNN for image de-noising.IEEE Trans. Image Processing， 26（7）：3142-3155，2017.

[14]R.Ma， S.Zhang， An Improved Color Image Defogging Algorithm using Dark Channel Model and Enhancing Saturation， International Journal for Light and Electron Optics， vol.180 （2019），pp997-1000.

[15]C. A. B. R. H. S. a. P. E. S. Z. Wang， Image ?quality assessment： ?from error ?visibility ?to ?structural ?similarity， IEEE Trans. Image Processing， vol. 13， no. 4， pp. 600-612， 2004.