基于圖像分割和對(duì)抗訓(xùn)練的去霧算法*

謝勇 賈惠珍 王同罕 雷初聰 徐鎧珈

（1.東華理工大學(xué)江西省放射性地學(xué)大數(shù)據(jù)技術(shù)工程實(shí)驗(yàn)室 南昌 330000）（2.寧波大學(xué)計(jì)算機(jī)科學(xué)技術(shù)研究所 寧波 315211）

1 引言

由于氣候變化或者空氣污染，不可避免地產(chǎn)生含霧圖像。然而，圖像質(zhì)量的各個(gè)方面都容易因霧的存在而退化，尤其是在顏色和紋理等方面容易被影響，從而造成圖像的模糊失真等問題。近來，為了解決這類問題，許多學(xué)者在霧圖去霧方面做出了巨大努力，許多經(jīng)典的算法也孕育而生。現(xiàn)今，主要可分為如下兩種典型的圖像去霧方案。

基于特征和先驗(yàn)，這類去霧方法往往側(cè)重于對(duì)透射圖的估計(jì)，這不可避免地使特征和先驗(yàn)的選擇成為一個(gè)難點(diǎn)。有以下三種典型的霧圖特征和先驗(yàn)：1）對(duì)比度。Tan［1］在統(tǒng)計(jì)中發(fā)現(xiàn)，相比于含霧圖，無霧圖像在對(duì)比度方面的數(shù)值是較高的，于是利用實(shí)現(xiàn)含霧圖像的局部對(duì)比度最大化進(jìn)而實(shí)現(xiàn)對(duì)含霧圖像的去霧處理。2）暗通道先驗(yàn)。在實(shí)驗(yàn)中，He［2］發(fā)現(xiàn)，無霧圖像的暗通道幾乎為零，于是將暗通道作為估計(jì)透射圖的工具，并且利用大氣模型重新計(jì)算構(gòu)造無霧圖像，從而實(shí)現(xiàn)除霧。3）顏色衰減先驗(yàn)。在前人的基礎(chǔ)上，Zhu［3］發(fā)現(xiàn)并利用霧的濃度與其亮度減去其飽和度的值是成正比這一規(guī)律，引入基于場景深度（景深）的線性模型來解析霧圖景深，從而重新計(jì)算構(gòu)造無霧圖像。

基于學(xué)習(xí)的去霧方法，按照學(xué)習(xí)方式的不同，分為基于分步學(xué)習(xí)去霧算法和基于端到端學(xué)習(xí)的去霧算法。對(duì)于分步學(xué)習(xí)的去霧算法，其與傳統(tǒng)的去霧方法相似，對(duì)通過預(yù)測得到的中間變量依賴性強(qiáng)。例如，Cai［4］對(duì)人工先驗(yàn)特征分析，針對(duì)性地設(shè)計(jì)了DehazeNet 模型，從而實(shí)現(xiàn)對(duì)透射圖的更加準(zhǔn)確預(yù)測。無獨(dú)有偶，Ren［5］也構(gòu)建了一種用于精準(zhǔn)預(yù)測透射圖的多尺度的卷積神經(jīng)網(wǎng)絡(luò)（MSCNN），其利用兩個(gè)不同尺度的神經(jīng)網(wǎng)絡(luò)模型精準(zhǔn)實(shí)現(xiàn)透射圖的預(yù)測。由于上述算法都忽視了預(yù)測的大氣光值的合理性，Li［6］利用線性變化，對(duì)大氣散射模型［7］進(jìn)行重構(gòu)，將模型的多個(gè)中間變量融合成一個(gè)等價(jià)的變量，從而進(jìn)一步引出了AOD_Net［6］，以實(shí)現(xiàn)無霧圖像的直接預(yù)測。

很多圖像處理工作均可看作是多個(gè)圖層的混合與分離問題。例如，當(dāng)圖像受霧影響，我們可以將其視為兩層的混合物：一層是沒有霧的背景層，另一層是霧層。GAN 在零和博弈中網(wǎng)絡(luò)內(nèi)部不斷相互對(duì)抗優(yōu)化，從而達(dá)到生成更加真實(shí)的假圖像的同時(shí)實(shí)現(xiàn)對(duì)真假圖像的識(shí)別。在此基礎(chǔ)上，受深度對(duì)抗分解［10～14］的啟發(fā)，本文提出了一種基于圖像分割和對(duì)抗訓(xùn)練的去霧算法，在參數(shù)訓(xùn)練時(shí)，其首先將一張清晰圖和一張霧圖作為輸入，隨機(jī)進(jìn)行線性或者非線性圖像融合，得到一張含霧的混合圖。其次，引入一個(gè)分離器將之再次分離成新的清晰圖和霧圖，利用兩張?jiān)瓐D和分離之后的兩張分離圖，利用交叉計(jì)算誤差作為損失函數(shù)，對(duì)分離器進(jìn)行訓(xùn)練優(yōu)化，充分學(xué)習(xí)霧圖特征。再者，引入一個(gè)鑒別器，對(duì)分離器處理完之后的圖進(jìn)行鑒別，鑒別混合圖分離與否。在整個(gè)訓(xùn)練過程中，保證最小化分離器誤差的同時(shí)，實(shí)現(xiàn)鑒別器鑒別率的最大化。在去霧時(shí)運(yùn)用訓(xùn)練得到的模型，對(duì)霧圖通過圖像分割，從而達(dá)到去霧的目的。

2 相關(guān)工作

2.1 大氣散射模型

常用大氣散射模型［7］來對(duì)霧圖的成像原因進(jìn)行描述，對(duì)其公式重寫如下：

式中，F(xiàn)(x)，C(x)，A(x)分別代表霧圖，無霧圖，大氣光值。y(x)代表各像素的透射率，x則代表整幅圖像的每一個(gè)像素的位置。

假設(shè)大氣成分是均勻，即L(x)不變時(shí)，那么則可對(duì)透射率y(x)重寫為

其中，β，d(x)分別代表大氣衰減系數(shù)，景深。

顯而易見，該模型去霧效果受景深和大氣光值的影響較大。在去霧過程中，僅霧圖對(duì)研究人員是已知的，對(duì)于透射圖和霧氣的分布，研究人員很難對(duì)其進(jìn)行預(yù)測，而且對(duì)于透射圖以及霧氣的不準(zhǔn)確估計(jì)也可能導(dǎo)致誤差的累積，很容易導(dǎo)致最終的去霧結(jié)果達(dá)不到預(yù)期。

2.2 生成對(duì)抗網(wǎng)絡(luò)及其改進(jìn)

生成對(duì)抗網(wǎng)絡(luò)（即GAN）是一種深度學(xué)習(xí)模型，由Goodfellow 等［14］設(shè)計(jì)提出。GAN 主要由兩部分組成，一個(gè)生成器G，一個(gè)判別器D。基于零和博弈的思想，生成器G試圖在生成樣本時(shí)獲得盡可能真實(shí)的結(jié)果，同時(shí)判別器D盡可能將樣本生成與真實(shí)樣本更加精確地區(qū)分開來，即盡可能區(qū)分假圖和真圖。起初，GAN 剛現(xiàn)世的時(shí)候，以生成具有良好感知質(zhì)量的圖像而名噪一時(shí)，但模型坍塌以及梯度分散等問題仍存在，并沒有沒有得到有效解決。為了解決以上問題，Arjovsky 等［13］提出衡量不相交部分之間的距離時(shí)，JS 散度并不適用，從而利用Wasserstein 距離W(q,p)對(duì)生成樣本和真實(shí)樣本的距離進(jìn)行衡量，由此進(jìn)一步提出了稱為WGAN 的GAN 的改進(jìn)版本。對(duì)于WGAN 的損失函數(shù)，可具體表示如下：

其中，?代表一組非線性函數(shù)（滿足利普希茨連續(xù)），Pg代表生成樣本的數(shù)據(jù)分布，Pr代表真實(shí)樣本的數(shù)據(jù)分布，訓(xùn)練WGAN 時(shí)，判別器D 遵循利普希茨函數(shù)的連續(xù)性，從而使判別值約等于K*W(Pr,Pg)，K代表利普希茨常數(shù)，規(guī)定了判別器梯度值的上限，W(Pr,Pg)則代表Wasserstein 距離，在WGAN 網(wǎng)絡(luò)訓(xùn)練時(shí)，判別網(wǎng)絡(luò)的權(quán)值被規(guī)定為[-c,c]，通過這一方式，權(quán)值參數(shù)的界限得以確保，從而限制其梯度信息。

3 本文算法

本文算法訓(xùn)練流程及去霧流程如圖1、圖2 所示。在訓(xùn)練時(shí)，輸入的清晰圖與霧圖首先進(jìn)行基于稀疏表示的圖像融合，融合混合之后的圖像進(jìn)入分離器D，通過計(jì)算交叉計(jì)算損失，進(jìn)入鑒別器C，以判別混合圖像分離與否，同時(shí)鑒別器C 也在訓(xùn)練過程中參加訓(xùn)練，不斷優(yōu)化模型參數(shù)，使分離器D 最小化的同時(shí)鑒別器C 最大化。通過訓(xùn)練得到的分離器模型對(duì)霧圖進(jìn)行處理，實(shí)現(xiàn)去霧。

圖1 訓(xùn)練流程

3.1 圖像融合

在對(duì)圖像進(jìn)行圖像分割訓(xùn)練前，本文算法利用基于稀疏表示的圖像融合對(duì)霧圖和原圖進(jìn)行融合。融合框架如圖2所示。

圖2 去霧

3.1.1 高頻部分融合

由左向右，由上自下，將圖像分為m*m個(gè)像素塊，用一個(gè)單獨(dú)的矢量代表一個(gè)像素塊，用矢量v1和v2 表示大小為A*B的源圖像x1 和x2，矢量的大小則表示為m2((A-m+1)(B-n+1))。每個(gè)矢量的稀疏表示則是通過OMP 算法實(shí)現(xiàn)。從而得到用來表示v1 和v2 的稀疏矢量v11 和v22 。v11 和v22 的融合規(guī)則為當(dāng)列矢量對(duì)應(yīng)的1范數(shù)都是最大值時(shí)，對(duì)應(yīng)的列矢量即為融合列矢量V，則：

融合后的霧圖y的矢量可表示為

其中，Z為已經(jīng)學(xué)習(xí)過的字典原子。

最后，融合圖像通過y進(jìn)行重構(gòu)。將V中的每一列矢量逐步歸位，融合恢復(fù)成m*m的圖像塊。對(duì)于重構(gòu)的圖像，重構(gòu)像素值為幾個(gè)塊值之和，最后比上疊加次數(shù)得出高頻部分的融合圖像。

圖3 融合框架圖

3.1.2 低頻部分融合

低頻部分較高頻部分的融合方式稍簡單一些，即取各系數(shù)絕對(duì)值的最大值為融合后的稀疏。最終得出融合后的霧圖可表示為

其中，f(.)表示圖像融合。

3.2 分離器

分離器進(jìn)行圖像分割，實(shí)現(xiàn)去霧，如圖4所示。

圖4 圖像分割實(shí)現(xiàn)去霧

以下部分，主要對(duì)本文分離器損失函數(shù)進(jìn)行介紹。

這一部分是本文算法的核心，通過分離器D 對(duì)進(jìn)行圖像融合之后的霧圖進(jìn)行圖像分離，得到分離之后的圖像x11 和x22，對(duì)于x11 和x22 的輸出順序本文算法沒有進(jìn)行特殊規(guī)定，即分離器D分離出來的圖片x11 和x22 輸出順序是隨機(jī)的，本文算法在計(jì)算源圖像x1，x2 與分離器D 分離出來的圖像x11，x22 的損失時(shí)，應(yīng)該將所有的輸出情況考慮在內(nèi)，即交叉計(jì)算：(||x11-x1||1,||x22-x2||1) 以及(||x11-x2||1,||x22-x1||1)。在對(duì)抗訓(xùn)練中，損失函數(shù)進(jìn)行迭代優(yōu)化，充分學(xué)習(xí)霧圖特征，使其分離參數(shù)取得損失的最小值。即：

則整個(gè)數(shù)據(jù)集上的損失為

其中，xi（i=1，2，3，…）代表圖像集中的所有圖像。

3.3 鑒別器

基于圖層具有不可避免的模糊性，分離器D 沒有利用手工約束以及基于數(shù)字統(tǒng)計(jì)的約束，而是通過對(duì)抗訓(xùn)練，不斷學(xué)習(xí)優(yōu)化分離器D。為了進(jìn)一步鑒別經(jīng)過分離器D處理之后的霧圖分離與否，引入一個(gè)鑒別器C，鑒別器C 不考慮經(jīng)過分離器D 進(jìn)行分離處理得到的兩個(gè)輸出圖像的順序，通過訓(xùn)練來實(shí)現(xiàn)區(qū)分輸出(x11,x22)和一對(duì)源圖像(x1,x2)，損失函數(shù)L進(jìn)一步具體表達(dá)為

其中xi（i=1，2，3…）為圖集的所有圖片，xii 為分離之后的圖片（即x11，x22）。值得一提的是，在鑒別器C 輸入的末端，只是簡單地將分離器D 分離出來的兩張圖片x11 和x22 在通道維度上簡單的進(jìn)行連接，以此來模擬分離出來的兩張圖片的聯(lián)合概率分布。從而表現(xiàn)出分離器D 與鑒別器C 在對(duì)抗訓(xùn)練中不斷最小化分離器誤差的同時(shí)，實(shí)現(xiàn)鑒別器鑒別率的最大化的過程。在圖像進(jìn)行圖像融合，分解，加權(quán)平均以及分離器D 鑒別器C 對(duì)模型進(jìn)行充分訓(xùn)練之后，充分學(xué)習(xí)得到霧圖的特征。概括得出最終結(jié)果：

4 實(shí)驗(yàn)與結(jié)果分析

4.1 圖像庫和評(píng)價(jià)標(biāo)準(zhǔn)

為了驗(yàn)證本文算法的有效性，訓(xùn)練及實(shí)驗(yàn)時(shí)均使用RESIDE［16］數(shù)據(jù)集，在定性與定量兩個(gè)層面上，本文算法與現(xiàn)在較為經(jīng)典的去霧算法進(jìn)行實(shí)驗(yàn)比較。在客觀評(píng)價(jià)指標(biāo)的選用上，使用峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）作為評(píng)價(jià)指標(biāo)。PSNR 反映的是圖像結(jié)構(gòu)信息完整性程度，顯而易見，其數(shù)值越大，即代表圖像的完整性程度越高，即噪聲對(duì)圖像的影響也就越小。SSIM 反映的是圖像結(jié)構(gòu)的相似性，其數(shù)值越大，即代表相似性程度越高，即失真程度也就越小。

4.2 算法性能比較

在設(shè)計(jì)分離器D 時(shí)，本文算法使用了UNet［15］。在分離器D 中，本文算法沒有進(jìn)行批量歸一處理，顯然本文算法工作量得以大大減少，提高了效率。同時(shí)為了提高效率，本文算法沒有采取增加網(wǎng)絡(luò)層數(shù)的方式，而是將通過鑒別器C 處理之后得到的輸出圖像尺寸進(jìn)行調(diào)整，設(shè)置一個(gè)相對(duì)較小的值：64*64，用來捕捉整幅圖像。在構(gòu)建鑒別器C時(shí)，用4*3 全卷積作為標(biāo)準(zhǔn)的FCN。在默認(rèn)參數(shù)的設(shè)置上，使用batch_size=2，learning_rate=e-4 的Adam優(yōu)化器，并訓(xùn)練200epochs。

4.2.1 主觀視覺效果對(duì)比

本文算法與經(jīng)典去霧算法［19，21～22］實(shí)驗(yàn)對(duì)比結(jié)果如圖5 所示。顯而易見：對(duì)于室內(nèi)圖像，從人眼主觀視覺上即可很直觀地看出，DCPDN［19］、EPDN［21］、文獻(xiàn)［22］算法均或多或少存在顏色扭曲、色彩失真、塊效應(yīng)等問題，在很大程度上并沒有實(shí)現(xiàn)去霧，反而加重了含霧圖像的模糊程度，去霧效果不佳。反觀本文算法的去霧結(jié)果，可以直觀看出，去霧之后的圖像在紋理結(jié)構(gòu)上保真度較高，更加清晰自然，對(duì)于室內(nèi)和室外霧圖的去霧處理，均有相當(dāng)優(yōu)秀的去霧效果。

圖5 主觀視覺效果對(duì)比

4.2.2 客觀性能指標(biāo)對(duì)比

通過含霧圖像與處理之后得到無霧圖像進(jìn)行對(duì)比，使用PSNR和SSIM這兩種客觀評(píng)價(jià)指標(biāo)來評(píng)判圖像去霧處理之后的效果。實(shí)驗(yàn)結(jié)果如表1 所示。

表1 客觀性能指標(biāo)對(duì)比

由表1 可知，相比于現(xiàn)存的一些經(jīng)典的去霧算法，在SSIM 指標(biāo)上，本文算法的數(shù)值較高，說明去霧前后的圖像在結(jié)構(gòu)上本文算法更為相似，在圖像紋理細(xì)節(jié)保持方面表現(xiàn)更加突出；另外，在PSNR指標(biāo)上，本文的去霧算法也明顯占有優(yōu)勢(shì)。這說明經(jīng)過本文算法在像素級(jí)上進(jìn)行去霧之后的圖像與原始的不含霧的清晰圖像差異小，噪聲對(duì)處理之后的圖像的影響更小，去霧處理之后的圖像更加清晰真實(shí)。

4.2.3 時(shí)間復(fù)雜度對(duì)比

本文算法同上述較為經(jīng)典的去霧算法，同時(shí)對(duì)75 幅相同霧圖進(jìn)行去霧處理，平均去霧耗時(shí)定義為75 幅霧圖去霧總耗時(shí)比上圖像總數(shù)量得到平均去霧時(shí)間（s）。本文實(shí)驗(yàn)硬件環(huán)境和軟件環(huán)境，硬件環(huán)境：CPU：Intel（R）Core（TM）i5-6300HQ CPU@2.30GHz；GPU：NVIDIA GeForce GTX 950M；內(nèi)存：8GB；軟件環(huán)境：64bit Windows10；Anaconda3-5.3.1；python 3.6。由表2 可知，本文算法在去霧時(shí)間上相對(duì)而言效果較好，對(duì)于對(duì)響應(yīng)時(shí)間要求較高的應(yīng)用領(lǐng)域?qū)嵱眯暂^強(qiáng)。

表2 去霧時(shí)間對(duì)比

5 結(jié)語

本文提出了一種基于圖像分割和對(duì)抗訓(xùn)練的去霧算法，在參數(shù)訓(xùn)練時(shí)，其首先將一張清晰圖和一張霧圖作為輸入，隨機(jī)進(jìn)行線性或者非線性圖像融合，得到一張含霧的混合圖。其次，引入一個(gè)分離器將之再次分離成新的清晰圖和霧圖，利用兩張?jiān)瓐D和分離之后的兩張分離圖，利用交叉計(jì)算誤差作為損失函數(shù)，對(duì)分離器進(jìn)行訓(xùn)練優(yōu)化，充分學(xué)習(xí)霧圖特征。再者，引入一個(gè)鑒別器，對(duì)分離器處理完之后的圖進(jìn)行鑒別，鑒別混合圖分離與否。在整個(gè)訓(xùn)練過程中，保證最小化分離器誤差的同時(shí)，實(shí)現(xiàn)鑒別器鑒別率的最大化。通過訓(xùn)練得到的分離器模型對(duì)霧圖進(jìn)行圖像分割，實(shí)現(xiàn)去霧。實(shí)驗(yàn)結(jié)果表明，與經(jīng)典的去霧算法相比較，在主觀視覺效果和客觀指標(biāo)上，本文提出的算法都處于現(xiàn)存算法的前列，而且本文算法時(shí)間復(fù)雜度較低，實(shí)用性更強(qiáng)。但本文算法穩(wěn)定性還有待改進(jìn)，這是下一步工作的重點(diǎn)。