基于深度殘差生成對抗網(wǎng)絡(luò)的本征圖像分解算法

王 照 陳恩慶

1(河南護(hù)理職業(yè)學(xué)院公共學(xué)科部 河南 安陽 455000)2(鄭州大學(xué)信息工程學(xué)院 河南 鄭州 450000)

0 引 言

圖像信息的提取是圖像領(lǐng)域研究中最基礎(chǔ)的方面，通過將圖像分解為固有成分是許多計(jì)算機(jī)視覺和圖形任務(wù)的有效預(yù)處理手段[1]。本征圖像分解技術(shù)就是通過提取反照率和亮度兩個(gè)本征圖來更直觀地獲得圖像的顏色和光照信息，從而提高圖像分割、對比度增強(qiáng)等算法的性能[2-3]。

由于本征圖像分解技術(shù)的重要性，研究人員對該技術(shù)進(jìn)行了廣泛的研究。目前，大多數(shù)方法是基于特定圖像理論的算法，如圖像序列法[4]、Retinex模型算法[5]等。這些傳統(tǒng)算法在提取圖像細(xì)節(jié)特征方面存在弱點(diǎn)，遇到光照不均或材質(zhì)條件復(fù)雜的自然場景時(shí)性能明顯下降。近年來，隨著人工智能被廣泛關(guān)注，基于機(jī)器深度學(xué)習(xí)的技術(shù)被廣泛應(yīng)用到計(jì)算機(jī)科學(xué)的很多領(lǐng)域中，本征圖像分解方向也不例外。Janner等[6]提出了一種基于解釋輸入圖像來學(xué)習(xí)本征圖像分解的方法，該方法利用RIN網(wǎng)絡(luò)將圖像分解管道連接在一起，通過給定單個(gè)圖像來預(yù)測反射率、形狀和照明條件。Baslamisli等[7]提出了一種基于CNN學(xué)習(xí)與Retinex模型相結(jié)合的本征圖像分解方法，該方法采用數(shù)據(jù)集訓(xùn)練CNN網(wǎng)絡(luò)，通過基于物理的反射模型來指導(dǎo)學(xué)習(xí)過程，以及利用反射率和陰影漸變信息來獲取固有圖像，從而提高算法模型的計(jì)算速度。Yuan等[8]提出了使用聯(lián)合并行學(xué)習(xí)進(jìn)行本征圖像分解的方法，該方法利用并行卷積神經(jīng)網(wǎng)絡(luò)分別學(xué)習(xí)具有不同空間特征和數(shù)據(jù)分布的反照率和明暗度，同時(shí)將基于傳統(tǒng)圖像的梯度先驗(yàn)引入損失函數(shù)中，通過結(jié)合基于物理方法和基于數(shù)據(jù)驅(qū)動(dòng)的方法的優(yōu)點(diǎn)來改善學(xué)習(xí)模型的性能。Liu等[9]開發(fā)了用于本征分解的增強(qiáng)型殘差密集本征網(wǎng)絡(luò)，該網(wǎng)絡(luò)通過構(gòu)建增強(qiáng)型殘差密集塊來達(dá)到充分利用分層功能的目標(biāo)，并且將圖像物理成像原理設(shè)計(jì)為重建損失函數(shù)，確保觀測和估計(jì)分量的乘法之間的一致性，提高模型的本征分解性能。

本文針對現(xiàn)有方法分解質(zhì)量不高、紋理細(xì)節(jié)不夠清晰的現(xiàn)象，提出一種基于深度殘差生成對抗網(wǎng)絡(luò)的本征圖像分解算法。該算法是在全卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，加入了端到端的殘差網(wǎng)絡(luò)模塊和生成對抗網(wǎng)絡(luò)，并提出一個(gè)由數(shù)據(jù)損失、數(shù)據(jù)梯度損失和對抗損失三項(xiàng)組成的加權(quán)損失函數(shù)用于監(jiān)督網(wǎng)絡(luò)的訓(xùn)練過程。本文算法可以在不需要任何物理先驗(yàn)和幾何信息前提下，實(shí)現(xiàn)單幅圖像本征分解。

1 相關(guān)知識(shí)

1.1 生成式對抗網(wǎng)絡(luò)

生成式對抗網(wǎng)絡(luò)(Generative Adversarial Networks，GANs)是由Goodfellow等提出，靈感來源于博弈論中的二人零和博弈思想。GANs的圖片生成能力特別強(qiáng)大，因此被廣泛應(yīng)用于圖像修復(fù)、圖像合成、超分辨率等方面[10]。

生成對抗網(wǎng)絡(luò)的基本框架是由一個(gè)生成模型G和一個(gè)判別模型D組成，該網(wǎng)絡(luò)通過對抗過程用于迭代更新生成模型的性能。GANS的流程由圖1給出。

圖1 生成對抗網(wǎng)絡(luò)的流程示意圖

可以看到，生成模型G通過真實(shí)數(shù)據(jù)樣本x的訓(xùn)練，生成新的數(shù)據(jù)樣本G(z)作為判別模型D的輸入，而D是一個(gè)二分類器，用于判斷輸入樣本是來自于原始數(shù)據(jù)x還是由生成模型產(chǎn)生G(z)。整個(gè)GANs過程中網(wǎng)絡(luò)生成模型G與判別模型D同時(shí)在運(yùn)行，判別模型的目標(biāo)是降低D(G(z))出現(xiàn)的概率，使其盡可能接近0，生成模型的目標(biāo)則是保證G(z)與x盡可能地相近，兩者之間不斷地循環(huán)往復(fù)，直到二者在博弈中達(dá)到納什平衡。生成式對抗網(wǎng)絡(luò)的目標(biāo)函數(shù)可以表示為：

Ez,P(z)[log(1-D(G(z)))]

(1)

式中：x是真實(shí)數(shù)據(jù)樣本；z表示潛在表征；P表示概率分布；E表示期望。

1.2 殘差網(wǎng)絡(luò)

殘差網(wǎng)絡(luò)(Residual Networks，ResNets)[11]是在2015年被提出的，該網(wǎng)絡(luò)由殘差塊構(gòu)成，主要通過跳躍連接將模型中的某一層激活信息迅速反饋給更深層。該網(wǎng)絡(luò)的優(yōu)點(diǎn)是通過跳躍連接有效加深網(wǎng)絡(luò)訓(xùn)練深度，提高識(shí)別準(zhǔn)確率，從而解決了深度卷積神經(jīng)網(wǎng)絡(luò)隨著深度的增加會(huì)導(dǎo)致梯度彌散、梯度爆炸、退化問題的產(chǎn)生。

圖2為殘差網(wǎng)絡(luò)的殘差塊結(jié)構(gòu)示意圖。可以看出，殘差網(wǎng)絡(luò)是在傳統(tǒng)網(wǎng)絡(luò)的基礎(chǔ)上引入跳躍連接，而且ResNets中存在兩種映射關(guān)系：恒等映射和殘差映射。恒等映射是將淺層C(l)的信息x在保持輸出不變的情況下通過跳躍一層或者n層傳遞到更深層C(l+n)的節(jié)點(diǎn)；殘差映射是指目標(biāo)輸出值H(x)=F(x)+x與輸入值x之間的差值，即中間層輸出值F(x)。ResNet網(wǎng)絡(luò)訓(xùn)練的目標(biāo)是將殘差結(jié)果逼近于0。

圖2 殘差網(wǎng)絡(luò)的基本模塊

2 算法簡介

本征圖像分解就是將由彌散材料組成的圖像以像素為單位拆分成反照率A和陰影S的乘積：

I(x)=A(x)·S(x)

(2)

式中：I表示輸入圖像；x表示像素。

由于本征分解問題是不適定的，A和S存在許多滿足上述方程式的可能性都遵循上述解，并且I的大小取決于未知的采集參數(shù)，例如曝光、光照等。 因此，基于深度學(xué)習(xí)研究的學(xué)者采用“尺度不變”理論，即遵循I=αA·βS。這要求分別對α和β進(jìn)行手動(dòng)優(yōu)化，但是會(huì)容易引起失真和不一致性[12]。相反，本文認(rèn)為為了使A和S的后續(xù)原則化和聯(lián)合標(biāo)準(zhǔn)化，能量守恒非常重要，即按照I=αA·S/α調(diào)整α。A是由物理屬性定義的，應(yīng)被視為絕對值，該絕對值對于照明變化和采集噪聲是不變的。

2.1 網(wǎng)絡(luò)架構(gòu)

(3)

2.1.1預(yù) 測

圖3 本文網(wǎng)絡(luò)的整體架構(gòu)示意圖

2.1.2殘差學(xué)習(xí)

輸入圖像I與陰影S(或反照率A)具有很多共同點(diǎn)，因此識(shí)別函數(shù)存在一個(gè)良好的初始估計(jì)值。但是，當(dāng)解決方案接近真值時(shí)，CNN容易出現(xiàn)發(fā)散和不穩(wěn)定的情況。而殘留網(wǎng)絡(luò)可以很好地解決深度網(wǎng)絡(luò)的這一缺點(diǎn)，基于此點(diǎn)考慮，本文將殘差模塊引入提出的分解網(wǎng)絡(luò)中，以方便估算S。

圖4給出了圖2中CNN分支的具體組成情況，該分支學(xué)習(xí)了從I到S的映射。該網(wǎng)絡(luò)中的一個(gè)殘差塊由兩個(gè)64通道的3×3卷積層組成，每次卷積操作后使用批量歸一化作為網(wǎng)絡(luò)的正則化。然后，進(jìn)行ReLU。在第二次卷積的ReLU之前完成與輸入的逐元素求和。本網(wǎng)絡(luò)分支中存在10個(gè)依次連接的殘差塊。 最后，因?yàn)樯删W(wǎng)絡(luò)是完全卷積的，因此它可以在測試時(shí)處理任何大小的圖像。

圖4 殘差生成器網(wǎng)絡(luò)示意圖

2.2 損失函數(shù)

(4)

首先，數(shù)據(jù)損失項(xiàng)可以確保預(yù)測值適應(yīng)真實(shí)數(shù)據(jù)。本文采用一種對規(guī)模敏感的措施，可以保證全局強(qiáng)度的一致性。 因此，將該損失項(xiàng)定義為反照率和陰影的L2范數(shù)：

(5)

其次，對于數(shù)據(jù)梯度損失，由于反照率和陰影都會(huì)呈現(xiàn)出銳利的不連續(xù)性，需要進(jìn)行平滑。為了有利于顯示變化估計(jì)以及避免過度平滑，在反照率和陰影的梯度上用L2范數(shù)補(bǔ)充損失：

(6)

由于典型的CNN容易產(chǎn)生視覺偽像，因此，為避免偽像的產(chǎn)生，為A和S引入了對抗性損失。鑒別器網(wǎng)絡(luò)采用兩個(gè)二進(jìn)制CNN分類器，兩個(gè)分類器可以表示為：DA(A)和DS(S)。鑒別器網(wǎng)絡(luò)的目的是區(qū)分生成網(wǎng)絡(luò)輸出的數(shù)據(jù)與真實(shí)數(shù)據(jù)之間的差異范圍。因此，生成器網(wǎng)絡(luò)的目的就是欺騙鑒別器，使其無法區(qū)分生成圖像與真實(shí)圖像。

(7)

鑒別器在生成器訓(xùn)練迭代期間是固定的，它僅用作感知度量。通過鑒別器的反向傳播可以將誤差信息轉(zhuǎn)化為更具表現(xiàn)力形式，從而豐富了誤差信息，指導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)能力。但是，其缺點(diǎn)是強(qiáng)度可能會(huì)超過來自較深處的其他誤差信息，因此需要在式(4)中加入權(quán)重因子λ。鑒別器的體系結(jié)構(gòu)遵循標(biāo)準(zhǔn)的分類體系結(jié)構(gòu)：卷積層和最大池化層在前，后面是幾個(gè)完全連接層，鑒別器網(wǎng)絡(luò)架構(gòu)如圖5所示。

圖5 鑒別器網(wǎng)絡(luò)架構(gòu)示意圖

鑒別器使用二進(jìn)制分類損失函數(shù)進(jìn)行訓(xùn)練：

(8)

3 實(shí) 驗(yàn)

本文所有實(shí)驗(yàn)在一臺(tái)配置為Intel(R) Core(TM)i7- 7820X CPU @3.60 GHz和8 GB RAM的機(jī)器上進(jìn)行，所有測試均在TensorFlow環(huán)境下實(shí)現(xiàn)。生成網(wǎng)絡(luò)在批次大小為5的8 000次迭代過程中得到了有效的訓(xùn)練。由于生成器網(wǎng)絡(luò)的最初估算很差，因此在前400次迭代中不使用對抗訓(xùn)練來提高訓(xùn)練穩(wěn)定性。然后，采用與生成器同樣的參數(shù)對鑒別器進(jìn)行訓(xùn)練：在迭代過程中，3個(gè)鑒別器使用固定生成器進(jìn)行更新，然后生成器采用固定鑒別器更新。根據(jù)經(jīng)驗(yàn)，參數(shù)λ=10-4在執(zhí)行任務(wù)時(shí)最為有效。本文采用ADAM優(yōu)化方法，學(xué)習(xí)率從10-4開始，隨后降低到10-6。最后，遵循雙重交叉驗(yàn)證程序來產(chǎn)生測試結(jié)果，該結(jié)果是使用在相互測試和訓(xùn)練集上訓(xùn)練的網(wǎng)絡(luò)進(jìn)行的兩次評估的平均值。

3.1 數(shù)據(jù)集

本文采用MPI Sintel數(shù)據(jù)集[8]進(jìn)行測試。Sintel是一部開源的計(jì)算機(jī)動(dòng)畫短片，其中包含復(fù)雜的室內(nèi)和室外場景。出于研究目的，從中選取多種格式，如固有的陰影和反照率，形成了MPI Sintel數(shù)據(jù)集。數(shù)據(jù)集包含18個(gè)序列，其中17個(gè)序列由50幀組成，另一個(gè)序列由40幀組成，共計(jì)890幀。反照率圖像是在沒有照明的情況下渲染的，陰影圖像包括照明效果，并且是通過使用恒定的灰色反照率進(jìn)行渲染而生成的。本文將數(shù)據(jù)集中的圖像隨機(jī)分配一半用于訓(xùn)練，另一半則用于測試。在訓(xùn)練過程中，使用標(biāo)準(zhǔn)的數(shù)據(jù)增強(qiáng)技術(shù)，即在以[0.8,1.2]區(qū)間內(nèi)的隨機(jī)因子進(jìn)行縮放，以最大15°的隨機(jī)角度旋轉(zhuǎn)以及使用隨機(jī)水平鏡像，可能性為0.5。

3.2 評價(jià)指標(biāo)

為了進(jìn)行定量評估，必須選擇誤差指標(biāo)。考慮經(jīng)常使用的指標(biāo)：兩個(gè)與數(shù)據(jù)相關(guān)的指標(biāo)(si-MSE和si-LMSE)和一個(gè)基于感知?jiǎng)訖C(jī)的指標(biāo)(DSSIM)。 但是，由于這些指標(biāo)對規(guī)模不敏感，因此需要另外考慮對規(guī)模敏感的指標(biāo)。

3.2.1尺度不變度量

尺度不變均方誤差si_MSE的數(shù)學(xué)公式可以被定義為：

(9)

尺度不變局部均方誤差si_LMSE的數(shù)學(xué)公式可以表示為：

(10)

結(jié)構(gòu)相似性SSIM是一種出于感觀動(dòng)機(jī)的度量，它考慮了多個(gè)獨(dú)立的結(jié)構(gòu)和亮度差異。本文將采用其差異度量形式DSSIM：

(11)

3.2.2規(guī)模感知指標(biāo)

本文認(rèn)為反照率具有獨(dú)特的物理價(jià)值，在提取時(shí)應(yīng)該嚴(yán)格遵守式(2)的理論原則。因此，(A,S)對應(yīng)該是唯一的。采用下面兩個(gè)數(shù)據(jù)指標(biāo)，用于測量與一致性聯(lián)合尺度相關(guān)的重建偏差。

傳統(tǒng)的對比例敏感的指標(biāo)是MSE，用于衡量總體目標(biāo)，在數(shù)值上會(huì)盡可能接近真實(shí)值：

(12)

相對尺度均方誤差rs_MSE：

(13)

此措施僅允許相對比例優(yōu)化，以便保留以下關(guān)系：

I=αA·S/α

(14)

因此與式(2)一致，即這種措施可以容忍相對一致的強(qiáng)度變化，同時(shí)必須保留整體強(qiáng)度以及結(jié)構(gòu)信息。

3.3 測試結(jié)果

本文采用MPI Sintel數(shù)據(jù)集進(jìn)行測試，利用尺度不變度量和規(guī)模感知指標(biāo)進(jìn)行評估本文算法的性能，并且與ParCNN[8]、ERDIN[9]、ADM-ALM[13]等方法進(jìn)行對比驗(yàn)證。

圖6給出了MPI Sintel數(shù)據(jù)集中選擇的圖像的視覺比較。可以看到，文獻(xiàn)[13]的測試結(jié)果中紋理細(xì)節(jié)模糊，文獻(xiàn)[8]、文獻(xiàn)[9]可以實(shí)現(xiàn)平坦的反照率，但是無法保留細(xì)節(jié)并產(chǎn)生鋸齒狀邊緣。相比較而言，本文模型產(chǎn)生可恢復(fù)更好細(xì)節(jié)的高質(zhì)量圖像，在空間和顏色域中的清晰度更高，反照率圖中可以看到清晰的背景輪廓，陰影圖中可以很好地觀測到圖中人物頭發(fā)。

圖6 MPI Sintel數(shù)據(jù)集中選擇的圖像的視覺比較

表1-表3給出了測試圖像在尺度不變度量和規(guī)模感知指標(biāo)上的定量評估結(jié)果。可以看出，相對于其他本征圖像分解算法，本文方法的分解性能更佳，對噪聲更具魯棒性，對局部結(jié)構(gòu)錯(cuò)誤的糾正能力強(qiáng)，而且擁有更好的泛化能力。

表1 在Sintel圖像分割上進(jìn)行兩次交叉驗(yàn)證后的測試結(jié)果

續(xù)表1

表2 Sintel圖像在基于感知?jiǎng)訖C(jī)的指標(biāo)的測試結(jié)果

表3 Sintel圖像在規(guī)模感知指標(biāo)上的測試結(jié)果

4 結(jié) 語

本文提出一種基于深度殘差生成對抗網(wǎng)絡(luò)的本征圖像分解算法，用于解決現(xiàn)有方法分解質(zhì)量不佳、紋理細(xì)節(jié)分解不夠清晰的問題。該算法是基于一個(gè)全卷積神經(jīng)網(wǎng)絡(luò)，引入端到端的殘差網(wǎng)絡(luò)模塊和生成對抗網(wǎng)絡(luò)。為了避免網(wǎng)絡(luò)過擬合現(xiàn)象的產(chǎn)生，提出一個(gè)由數(shù)據(jù)損失、數(shù)據(jù)梯度損失和對抗損失三項(xiàng)組成的加權(quán)損失函數(shù)用于監(jiān)督網(wǎng)絡(luò)的訓(xùn)練過程。本文算法在不需要任何物理先驗(yàn)和幾何信息前提下，實(shí)現(xiàn)了單幅圖像本征分解。實(shí)驗(yàn)結(jié)果表明，本文方法比其他分解算法具有更明顯的性能優(yōu)勢，而且獲得的反照率對尺度敏感性高。