基于生成對抗網絡的圖像風格遷移

0 引言

圖像風格遷移是目前計算機視覺領域的研究熱點．風格遷移的目的是將一幅圖像轉換成另一幅或多幅具有特定目標的圖像,例如:輸入一張純色馬的圖片,輸出的是斑馬的圖片;輸入一張油畫的圖片,輸出的是中國畫的圖片;等等．圖像風格遷移不僅可以顯著降低獲取相關數據集的成本,而且還可以創建源數據以外的新圖像,所以利用生成模型擴大研究數據集可有效提高深度學習網絡模型的訓練質量．

Goodfellow等[1]提出一種生成對抗網絡模型,該模型由生成網絡和判別網絡組成,這兩個網絡在互相博弈的過程中優化彼此．隨著判別網絡的辨偽能力不斷增強,生成網絡產生的數據將更接近真實數據,生成對抗網絡與其他網絡相比具有更好的數據生成能力,因此生成對抗網絡在圖像生成和風格遷移領域得到了廣泛應用．Isola等[2]提出的Pix2Pix模型作為有監督圖像風格遷移的代表作,它通過有監督訓練成對圖像,得到的是一對一的風格遷移圖像．雖然Pix2Pix模型得到的生成圖像接近真實圖像,但是該模型的訓練需要大量的成對圖像數據,而現實中收集成對數據集較困難,限制了其推廣應用．Zhu等[3]提出的CycleGAN不需要訓練成對的數據集,它是無監督風格遷移任務的經典模型,并且僅使用生成器和判別器完成圖像域的風格遷移,首次實現了不成對圖像之間的變換,在風格遷移領域得到了廣泛的應用,但該模型并不能生成多樣的結果．針對CycleGAN生成結果單一的問題,Zhu等[4]提出的BicycleGAN是一種基于條件遺傳算法的混合模型,結合了cVAE-GAN[5]和cLR-GAN[6]的優點,學習兩個圖像域之間的多模態映射,有助于產生更多樣化的結果．Park等[7]提出的CUT將對比學習應用到圖像風格遷移,實現了一種輕量級的圖像風格轉換模型．盡管已有方法將一幅圖像轉換成另一幅或多幅圖像時表現良好,但是由于輸入生成器的生成圖像與真實圖像存在域差異,因此在模型收斂后得到的生成圖像往往伴隨著噪聲和細節信息的丟失,使得圖像風格遷移的質量仍有提升空間．在網絡訓練過程中數據之間的整體差異較小,存在較多極端值干擾的情況下,往往會導致模型訓練變得不穩定．

本文針對上述問題,提出了以下幾個方面的改進:

1)將殘差模塊引入BicycleGAN的生成器,解決GAN再訓練中容易出現的退化現象;

2)將注意力機制引入BicycleGAN的生成器,在提取圖像局部特征的同時,又注意全局特征,獲得更多的圖像特征,并使得圖像風格轉換過后的圖像與真實圖像保持特征一致性;

3)判別器每層卷積后面加入譜歸一化,使得判別器和生成器在對抗訓練中趨于穩定;

4)引入感知損失,能夠穩定訓練,提升生成圖像的質量．

1 相關工作

1.1 BicycleGAN

1.2 殘差塊

在深度學習中,網絡的層數越多,意味著能夠提取到的特征越豐富,并且越深的網絡提取的特征越抽象、越具有語義信息[8],但如果簡單地增加深度,會導致退化問題．隨著網絡層數增加,在訓練集上的準確率趨于飽和甚至下降．為了解決這種退化現象,ResNet被He等[8]提出,其結構如圖2所示．殘差網絡的思想就是將網絡學習的映射從X到Y轉為學習從X到Y-X的差,然后把學習到的殘差信息加到原來的輸出上即可．即便在某些極端情況下,這個殘差為0,那么網絡就是一個X到Y的恒等映射．殘差塊一個通用的表示方式是:

圖2 殘差網絡結構Fig.2 Residual network structure

yl=h(xl)+F(xl,Wl), xl+1=f(yl),

(1)

其中,xl和xl+1分別是第l層的輸入和輸出,F是一個殘差函數,h(·) 是恒等映射,f(·)是激活函數．殘差網絡跳過了一些網絡層直接與后面某一層的輸出結果進行連接．隨著深度的增加,可以獲取更高的精度,因為其學習的殘差越準確．本文通過在生成器中引入殘差模塊,使得網絡訓練過程更加簡單,有效緩解了網絡退化的問題．

1.3 注意力機制

人的眼睛可以有選擇性地看自己關注的事物,從而忽略一部分不感興趣的信號,重點聚焦自己感興趣的事物,這就是注意力機制．注意力機制能夠使得模型在生成圖片過程中可以自己關注不同特征區域．如圖3所示,輸入數據通過卷積初始化,使用數量為C/K(k=8)且大小為1×1的卷積核來對輸入數據執行卷積運算,以獲得特征圖f(x)和g(x),使用一個數量為C且大小為1×1的卷積核對輸入數據執行卷積運算以獲得特征圖h(x)．經過局部自我注意特征圖計算,重新調整特征圖尺寸．然后計算f(x)與g(x)轉置相乘,通過softmax歸一化后得到Attention Map．再讓Attention Map與h(x)每個像素點相乘,得到自注意力feature maps．

圖3 自注意力機制結構Fig.3 Self-attention mechanism structure

其數學表達式如下:

(2)

在局部信息的基礎上增加全局信息得到:

(3)

注意力層的最終輸出為

yi=γoi+xi．

(4)

前一個隱藏層的圖像特征向量x∈RC×N,轉化為3個特征空間f(x)、g(x)和h(x),βj,i表示合成第j個區域時模型關注第i個區域的程度,然后輸出注意力層是o=(oi,o2,o3,…,oj,…,oN)∈RC×N,再乘以一個初始化為0的可學習權重γ,并且添加特征向量x,通過反向傳播不斷更新．本文在生成器網絡中引入自注意力機制,使其能夠充分發現圖像內部表征的整體性和長期依賴性,有效地降低了訓練的計算量,使得訓練更加穩定．

1.4 譜歸一化

譜歸一化 (Spectral Normalization,SN)[9]通過限制每一層的頻譜范數來約束判別器的 Lipschitz常數,從而提高生成對抗網絡的穩定性．譜歸一化與其他歸一化方法相比計算成本較小,不需要額外的超參數調整．它通過約束判別器D中每層f的權重矩陣的L2矩陣范數來控制Lipschitz常數．對于線性層f(x)=Wx,給出了它的Lipschitz范數如式(6)所示．根據定義,其中σ(W)代表矩陣W的L2矩陣標準,它也等于W的最大奇異值．

(5)

(6)

如果為每層選擇的激活函數a的Lipschitz范數為1,根據范數相容性,可以獲得判別器D中的Lipschitz范數的邊界,如不等式(7),其中L是D的層數．

(7)

因此,需要一種頻譜歸一化方法來確保σ(W)始終等于1,譜歸一化如等式(8)所示:

(8)

2 基于生成對抗網絡的風格遷移模型

2.1 生成器模型

本文改進和優化了原始GAN的生成器部分,引入殘差塊和自注意力機制,使得在圖像風格遷移過程中生成圖像的真實性有較大提高,改善了生成圖像的質量．所設計的生成器由編碼器、轉換器、解碼器三部分組成,編碼器由卷積神經網絡組成、轉換器由自注意力機制網絡層與殘差網絡塊結構組成、解碼器由反卷積神經網絡組成,生成器網絡如圖4所示．

圖4 生成器網絡Fig.4 Generator network

整個生成器的網絡結構參數配置如表1所示,編碼器和轉換器使用實例歸一化 (Instance Normalization,IN)[10]和ReLU 激活函數,解碼器最后一層使用Tanh 激活函數．自注意力機制有助于在圖像的相鄰區域之間建立長期的、多層次的依賴關系．本文通過在生成器中引入自注意力機制,更好地在局部依賴基礎上增加全局依賴,這有助于生成器合成更逼真的風格遷移圖像．為了避免因網絡層數的增加而導致梯度消失的問題,本文在生成器中引入殘差塊,模型的訓練速度得到提升,殘差網絡層與層之間的跳躍連接可以保留原圖一部分沒有進行風格遷移的完整信息,從而提高了圖像風格遷移后的視覺效果．

表1 生成器網絡結構參數配置

L1(G,E)=EA～P(A),Z～P(Z)‖z-E(G(A,z))‖1,

(10)

(11)

G是生成器,D是判別器,E是編碼器,λ為設置的超參數,嵌入Z的潛在編碼被生成器網絡用來保持接近實際測試時間分布p(z),L1損失可以體現重構后的圖像輪廓,GAN能更好地銳化圖像的清晰度．

2.2 判別器模型

本文判別器網絡采用Wang等[11]提出的 PatchGAN 作為模型的判別器,用來對輸入的生成圖像與真實圖像進行真偽判別．判別器網絡如圖5所示．

圖5 判別器網絡Fig.5 Discriminator network

PatchGAN將輸入的圖像劃分為70×70的多個小塊,小塊代表輸入圖像的感受野,然后對每個圖像塊進行真偽判斷,其輸出二維矩陣中每一個元素的值表示每個圖像塊是真實樣本的概率,每個圖像塊真實概率的平均值作為最終整體圖像的判定結果．該判別器可以很大程度上保持圖像的高分辨率和細節．為了緩解梯度消失從而增加模型的穩定性,本文在判別器每層卷積后面加入譜歸一化．判別器的網絡結構如表2所示．

表2 判別器結構參數配置

2.3 感知損失

Johnson 等[12]利用感知損失增強圖像細節．為了生成圖像的真實視覺效果,本文使用感知損失來優化生成網絡．感知損失依賴訓練的VGG16模型提取圖像高級特征.先提取生成圖像和原始圖像的特征,然后計算它們之間的差異．為了最大限度地減少細節的丟失,應用感知損失來提高細節保護能力,如等式(12)所示:

(12)

其中,x是輸入數據,c是輸入目標屬性標簽,G(x,c)是生成的數據,φ是特征提取函數,d、w和h分別表示深度、寬度和高度．損失函數將通過真實圖像卷積獲得的特征與通過生成圖像卷積獲得的特征進行比較,以使內容信息和全局結構信息接近．

3 實驗與結果分析

3.1 實驗平臺與數據集

本文實驗環境如表3所示．

表3 實驗環境

本文使用Facades數據集和AerialPhoto&Map數據集作為實驗數據集．Facades數據集包含不同領域風格的建筑物圖像,AerialPhoto&Map數據集包含Google Maps網站上獲取的紐約市及其附近的衛星航拍圖與導航路網圖匹配圖像．本研究工作分別取Facades數據集中的400幅圖像和AerialPhoto&Map中的1 096幅圖像作為實驗數據集．Facades數據集中320幅圖像用作訓練集,80幅圖像用做測試集,AerialPhoto&Map數據集中600幅圖像用做訓練集,496幅圖像用作測試集．

3.2 實驗結果

在Facades和AerialPhoto&Map數據集上分別進行了圖像風格遷移實驗．為了驗證本文方法的有效性,將本文方法的實驗結果與Pix2Pix、Cyclegan、CUT、BicycleGAN進行了對比．

3.2.1 在Facades數據上實驗結果

Facades數據集上的實驗結果如圖6所示,目的是將輸入語義圖還原為真實建筑圖像．圖6中第1列是輸入的建筑語義圖像,第2、第3、第4和第5列分別為Pix2Pix模型、Cyclegan模型、CUT模型和BicycleGAN模型的圖像風格遷移實驗結果,第6列為本文方法的實驗結果．

圖6 Facades數據集實驗結果Fig.6 Experimental results on Facades dataset

從圖6中可以看出:

1)第1行,Pix2Pix沒有完整轉換出語義圖像的建筑屋頂信息,風格遷移的建筑圖像屋頂有缺失;Cyclegan的顏色不一致,建筑上方顏色偏淡,無法顯示均勻一致的外墻顏色,處理的色彩不夠真實;CUT風格遷移的建筑圖像發生了大量缺失,建筑的墻體四周殘缺,不能很好地填充完整的建筑圖像;BicycleGAN對廣告牌的轉換能力欠佳,建筑下方的廣告牌出現了黑影;本文方法能夠完整提取語義圖像信息,補全建筑整體外觀,顯示均勻一致的建筑外墻顏色,下方廣告牌的轉換沒有嚴重形變和黑影出現,優于前4種風格遷移模型．

2)第2行,前4種模型風格遷移的建筑圖像均出現了下方大門的形變,線條扭曲,外墻磚的顯色模糊,本文方法風格遷移的細節比較前4種模型更好,大門的線條沒有扭曲,外墻磚的紋理能夠清晰顯示．

3)第3行,CycleGAN風格遷移的建筑圖像中護欄和窗戶兼容能力較差,有護欄的窗戶均出現了形變;BicycleGAN風格遷移的建筑圖像下方出現了大量陰影,色彩偏暗;本文方法可以更好地顯示建筑圖像中窗戶下方的護欄,色彩明亮,更接近真實建筑的顏色．

3.2.2 AerialPhoto&Map數據集實驗結果

AerialPhoto&Map數據集上的實驗結果如圖7所示,目的是將輸入語義圖還原為真實航拍衛星圖像．圖7中第1列是輸入的地圖語義圖像,第2、第3、第4和第5列分別為Pix2Pix模型、Cyclegan模型、CUT模型和BicycleGAN模型的航拍衛星圖像風格遷移實驗結果,第6列為本文方法的實驗結果．

圖7 AerialPhoto&Map數據集實驗結果Fig.7 Experimental results on AerialPhoto&Map dataset

從實驗結果可以看出,前4種模型對水系的語義無法有效提取,本文方法對水系的提取能力較好．第1行:Pix2Pix風格遷移的航拍衛星圖像中將水系生成草坪,道路圖像也失真,紋理不清晰;CycleGAN 對復雜建筑的航拍衛星圖像轉換效果較差,出現了移位和交錯的模糊圖像;本文方法更接近真實效果,道路圖像紋理清晰．第2行:CUT對林地和道路的色調信息提取較差,林地的顏色偏暗,風格遷移的質量不能滿足人眼主觀認知;BicycleGAN風格遷移的航拍衛星圖中右下方道路被草坪遮擋,道路提取效果較差;本文方法可以更好地展示邊界位置,草坪沒有遮擋道路．第3行:前4種模型方法風格遷移的航拍衛星圖中建筑屋頂未能清晰顯示,本文方法可以有效顯示建筑屋頂,很好地提取了邊界位置的道路．

3.3 評價指標

為了客觀地反映不同模型的生成圖像的效果,采用峰值信噪比(PSNR)和結構相似性(SSIM)指標來評價生成圖像．這兩個指標常用作圖像處理的評價指標．兩幅圖像之間較高的PSNR值表示生成圖像和原始圖像之間失真較小,即生成圖像質量較高．SSIM反映了生成圖像在亮度、對比度和結構方面與真實圖像的相似性．SSIM越接近1,兩幅圖像之間的相似性越高,表明生成的圖像更符合公眾的視覺感知效果．

PSNR是評價彩色圖像質量的客觀標準．計算公式如下:

(13)

(14)

其中,H和W分別代表圖像的寬度和高度,(i,j)代表每個像素點,n代表像素的位數,X和Y分別代表兩幅圖像．由于PSNR指數也有其局限性,不能完全反映圖像質量和人的視覺效果的一致性,所以采用SSIM指數做進一步的比較．SSIM是一種度量兩個圖像相似性的標準．通過將模型繪制的圖像與原始彩色圖像進行比較,可以驗證該算法的有效性和準確性．計算公式如下:

(15)

表4 PSNR分數對比

表5 SSIM分數對比

由表4和表5可以看出,本文方法的PSNR分數和SSIM分數均高于前4種方法,說明本文方法能夠生成更豐富、更生動的圖像內容．在Facades數據集上,本文方法的PSNR值比第二高的BicycleGAN模型高2.103 9 dB,SSIM分數比第二高的CUT模型提高了0.031 7．在AerialPhoto&Map數據集上,本文方法的PSNR值比第二高的CUT模型高2.135 1 dB,SSIM分數比第二高的CUT模型提高了0.102 8．CUT模型通過引入對比學習能夠專注于兩個域之間共性的部分,但忽略兩個域之間的差異性部分,使得圖像輪廓不清晰,本文方法引入自注意力機制增強了遠距離像素之間的連接,能夠使得風格遷移的圖像獲得更清晰的邊緣．BicycleGAN在多目標任務中表現良好,但模型捕捉局部和整體之間的內部映射關系的能力較弱,本文通過引入感知損失,使得細節方面的表現優于其他模型．從PSNR來看,本文方法生成的圖像質量更高,和原始圖像之間失真較小．從SSIM來看,本文方法生成的圖像在亮度、對比度和結構方面與真實圖像更相似．

3.4 消融實驗

為了驗證自注意力機制、譜歸一化和感受損失在風格遷移效果上的有效性,本文設計了一組消融實驗．本文方法是在原BicycleGAN的基礎上加入了自注意力機制、譜歸一化和感知損失改進而來．實驗采用控制變量法進行,將自注意力機制、譜歸一化和感知損失3種改進方案分別命名為A、B、C,設計了4組實驗進行對比．實驗所生成的風格遷移圖像如圖8所示．

從圖8可以看出,自注意力機制可以優化全局細節,無論是建筑圖像的窗戶線條還是航拍衛星圖像的道路線條都能完整顯示,提升圖像質量．譜歸一化和感知損失能夠使得圖像風格遷移更穩定的同時提升圖像信息提取能力,原圖像在航拍衛星圖像的建筑屋頂出現了被草地覆蓋使得顯示不夠清晰,改進方案使得圖像的建筑屋頂與草地分明,細節處理更優．實驗結果的PSNR分數對比客觀指標如表6所示,SSIM分數對比如表7所示．

表7 消融SSIM分數對比

由表6和表7客觀指標可以看出,在Facades和AerialPhoto&Map數據集上,自注意力機制、譜歸一化和感知損失的改進均有助于提升PSNR和SSIM分數,圖像風格遷移效果有明顯提升．說明添加的模塊在提高圖像風格遷移的質量和保真度方面是有效的,采用本文方法生成的圖像更加真實,且風格遷移的圖像細節更加豐富．

4 結論

傳統的BicycleGAN網絡模型在圖像風格遷移過程中圖像細節不清晰,訓練不穩定,有時會出現梯度爆炸的現象．本文對BicycleGAN進行了改進,在生成器中引入殘差塊,改善模型訓練的退化現象,利用自注意力機制獲得更多的圖像特征,使得生成圖像更接近真實圖像．在判別器中引入譜歸一化,提高訓練穩定性,提升判別能力．同時引入感知損失,提升了圖像生成質量．實驗結果表明,本文方法與傳統的風格遷移模型Pix2Pix、Cyclegan、CUT、BicycleGAN相比,圖像生成質量和視覺效果有較大提高,PSNR分數和SSIM分數有較大提升．