深度卷積神經網絡下的圖像風格遷移算法

李 慧，萬曉霞

武漢大學 印刷與包裝系，武漢430079

1 引言

圖像風格遷移技術的使用在日常生活中已經越來越廣泛，通常是將藝術家的作品風格遷移到普通照片上，使遷移后的照片具有藝術感；或者是將兩張真實照片進行風格遷移，使白天變成黑夜，陰天變成晴天等。針對這些想法，許多學者提出了一些圖像風格遷移的算法。然而，好多方法得到的圖像出現內容扭曲、邊緣內容細節丟失的問題。

Gatys等人[1-3]提出Neural Style的方法，模擬人類視覺的處理方式，經過訓練多層卷積神經網絡（CNN），使計算機辨別并學會藝術風格，從而用到普通照片上，使生成的圖像極具藝術感，而這些圖像有內容扭曲、細節丟失的現象。隨后，Gatys等人[4]又對自己的工作進行了改進，加強了風格遷移中對細節的控制，可以控制風格遷移程度，而對圖像內容沒有控制。Johnson等人[5]提出Fast Neural Style 的方法訓練好一個風格模型之后，GPU通常只需要運行幾秒便生成對應的風格遷移結果，提高了風格遷移的運行速度，而生成圖像效果沒有改進。Luan 等人[6]在Gatys 的工作基礎上加強改進，控制了風格遷移的內容細節[7-8]。Li C等人[9]的CNNMRF是馬爾可夫隨機場（MRF）模型和訓練過的深度卷積神經網絡（DCNN）的組合算法，用風格圖像中最相似的區域匹配每個輸入神經區域，減少了不準確的特征轉移，保留了內容圖像的具體特征。

2017年Huang X等人[10]通過編碼-解碼結構加速了風格遷移，但由于自編碼器結構中，解碼器信息損失的問題沒有解決，導致圖像的遷移結果中紋理呈現“塊狀”，在分割邊緣上尤其明顯。2017年Li Y[11]等人對自適應實例規范化（Adaptive Instance Normalization，AdaIN）添加了白遷移（Whitening transform）和顏色遷移（Coloring transform）合稱為（WCT），WCT 使風格遷移在特征的選取和色彩的校正上有了一定改觀。2019 年CVPR 上，Puy G 等人[12]針對AdaIN 添加了運行時損失和正則項，使得風格遷移的網絡結構可以更加靈活。Park D Y[13]等人針對AdaIN添加了底層特征注意力，也就是風格注意力，解決了非邊緣處長時間域上紋理分布一致性的問題。Yao Y 等人[14]針對AdaIN 添加了高層特征注意力，即主題注意力，解決了多個主題圖像下紋理遷移混亂的問題。近年來的風格遷移文獻主要以AdaIN為基礎進行改進，并未涉及圖像分割邊緣上的風格遷移，未能解決圖像細節丟失和圖像扭曲的問題。

所以，針對這些問題，在圖像風格遷移算法加入了語義分割算法和摳圖算法（Matting）[8]。語義分割和Matting算法有很多種。Long等人[15]首次使用全卷積神經網絡（Fully Convolution Networks，FCNs）對圖像進行端到端分割，從抽象的語義特征直接對像素進行分類。Deeplab方法[7]使用空洞卷積來擴大感受野，條件隨機場算法來改善分割結果，后來又使用了編碼譯碼結構。DilatedNet[16]方法直接去掉池化層，使用擴張卷積的方法實現了去掉下采樣的同時而不降低網絡的感受野的效果。Chuang Y Y等[17]提出的貝葉斯摳圖法從待處理像素的范圍里采樣相關聯的像素，根據圖像像素點的顏色值特征，建立像素顏色模型，再用極大似然法來估計Alpha 值。Levin A 等[8]的閉合式摳圖算法允許Alpha 值從已知區域傳播到未知區域，提出拉普拉斯矩陣。Chen Q 等[18]提出的KNN 摳圖算法采用HSV 顏色和像素點坐標兩種特征，通過在特征空間取k 個最近鄰點計算得拉普拉斯矩陣再計算alpha值。這些用于圖像風格遷移中的語義分割或者Matting算法都不能獨自分割出清晰的圖像邊緣，所以在風格遷移時，這些圖像邊緣都是隨機遷移特征，導致邊緣模糊。只有將兩種方法結合起來才能得到精細的邊緣，從而完成更準確的圖像風格遷移。

為了克服圖像風格遷移出現的圖像扭曲、內容邊緣細節丟失等問題，本文使用深度卷積網絡模型進行圖像風格遷移，先對輸入圖像進行DilatedNet[16]的語義分割得到內容圖像和風格圖像分割掩膜（Mask），將Mask添加到輸入圖像作為附加通道，抑制圖像在轉換過程中的“溢出”；再用Matting[8]算法進行邊緣銳化，定義最小二乘懲罰函數來增強輸入圖像真實性；然后使用優化后的風格遷移算法進行內容和風格重建，生成圖片。最后，將該方法與Neural Style 改進方法[4]和CNNMRF[9]方法生成的圖片進行分析比較。本文方法將語義分割和Matting 算法相結合得到邊緣更清晰的分割圖像，進行此種風格遷移可以很好地解決圖像扭曲和細節丟失的問題，得到更真實的風格遷移圖像。

2 基于深度卷積神經網絡的圖像風格遷移方法

深度卷積神經網絡（Deep Convolutional Neural Networks，DCNNs）[19]是一種帶有卷積計算的具有深層結構的前饋神經網絡（Feedforward Neural Networks）[20]。如今深度卷積神經網絡已經廣泛地應用于圖像處理領域，圖像風格遷移便是使用了深度卷積神經網絡進行輸出圖像的內容和風格重建。圖像風格遷移中有兩類圖像，一類是風格圖像，通常是藝術家作品，一類是內容圖像，一般是真實照片。風格遷移就是將風格圖像的藝術風格經過深度卷積神經網絡遷移到內容圖像上，而內容圖像的具體內容如物體、形狀都不發生改變。

2.1 神經網絡圖像風格遷移基礎算法

Gatys的Neural Style[3]方法為圖像風格遷移的基礎算法。該方法使用了19 層VGG 卷積網絡中的16 個卷積層和5個池化層的特征空間。

為了要生成效果好的風格遷移圖像，該方法定義了兩個損失函數，一是內容損失函數（contentloss），要求使輸出圖片在內容細節上與輸入的內容圖片極盡相似；二是風格損失函數（styleloss），要求使輸出圖片在風格上與風格圖像極盡相似。計算輸出圖像，內容圖像和風格圖像之間的損失，P 為輸入的內容圖像，A 是風格圖像，O 為輸出的圖像。則內容損失函數為：

其中，L 為卷積層總數，l 表示深度卷積神經網絡的第l層卷積層。并且和是它們在層中的相應特征表示。在每個層中，存在Nl個濾波器，每個濾波器具有大小為Dl的矢量化特征映射。

該方法使用Gram矩陣表示圖像的風格特征。其中是第一層中矢量化特征映射和之間的內積：

則風格損失函數為：

最后得到最小化的總損失函數為：

其中，αl和βl分別是內容和風格重建的加權因子，Γ為平衡內容和樣式兩個權重的權重。

2.2 卷積神經網絡在圖像風格遷移中的應用

深度卷積神經網絡已經廣泛地應用于圖像處理領域。圖像風格遷移使用深度卷積神經網絡的方法將風格圖像的特征逐層遷移到內容圖像上，即圖像在原空間的特征表示變換到一個新的特征空間，較好地保存圖像信息[21]。

圖像語義分割的使用深度卷積神經網絡分離圖像的前景和背景以便更好地進行風格遷移。在圖像風格遷移任務中訓練的深度卷積神經網絡通過以下方式實現語義分割：（1）將所有完全連接的層轉換為卷積層；（2）通過卷積層增加特征分辨率。然后，使用雙線性插值將圖像上采樣，以達到原始圖像分辨率，產生完全連接的CRF的輸入，從而細化分割結果[7]。

使用深度卷積神經網絡的圖像語義分割方法可以解決圖像風格遷移中遇到的圖像扭曲和內容細節丟失的問題，本文通過改善神經網絡圖像風格遷移基礎算法并結合圖像語義分割算法對圖像進行真實性的圖像風格遷移。

3 改進的卷積神經網絡的圖像風格遷移算法

卷積神經網絡圖像風格遷移算法得到的輸出圖像都很好地學習了風格圖像的紋理與顏色，但輸出圖像的內容出現扭曲與內容細節丟失的情況。本文在圖像風格遷移基礎算法中加入了語義分割和Matting[8]的算法，使得圖像內容細節完好，輸出圖像更具真實性。通常情況下語義分割只能做到將圖像大體分割，而邊緣不清晰，所以本文在采用Dilated Convolution[16]的語義分割算法后再引入Matting[8]的方法，使得圖像邊緣分割得更加清晰。

3.1 帶有語義分割的風格損失函數

圖像語義分割是計算機視覺領域十分重要的算法之一，該算法中計算機自動地從輸入圖像中分割出對象區域，識別該區域的內容并進行標記。本文方法使用擴張卷積來擴大感受野[22]，進行圖像密集特征提取，使用空洞金字塔池化（Spatial Pyramid Pooling，SPP）[7]來處理多尺度問題；使用了條件隨機場（Conditional Random Field，CRF）[23]來改善分割邊界的結果，后來又使用了編碼譯碼結構。本文使用的語義分割方法能夠解決圖像風格遷移溢出的問題。該方法生成內容和風格圖像的分割掩膜（Mask），將Mask添加到輸入圖像上作為附加通道，通過連接分割通道和更新風格損失來增強風格遷移算法。增強風格損失函數為：

其中，C 是語義分割掩碼中的通道數，Ml,c[]· 表示層l中分段掩碼的通道c，而Gl,c[]· 是對應于Fl,c[]· 的Gram矩陣。對掩模進行下采樣以匹配卷積神經網絡的每一層處的特征映射空間大小。

3.2 最小二乘懲罰函數

圖像是由前景和背景組成，在不同的圖片中前景與背景的比例不同，在只有背景時，前景所占比例為0%；而在只有前景時，背景所占比例為0%。這個比例值被定義為一個未知數a。將圖像I 作為輸入，圖像I 是由前景圖像F 和背景圖像B 的合成。假設第i 個像素的顏色是對應的前景色和背景色的線性組合。αi是像素的前景不透明度。則AlphaMatting[24]表達式為：

此Matting[8]算法利用圖像的顏色特征進行α 值的傳播，使α 值從已知區域傳播到未知區域。該算法推測得到未知像素的α 值并推理出該像素點的顏色呈線性相關關系。通過計算矩陣，將函數表達式轉化為關于α的二次型形式得：

其中L 為拉普拉斯矩陣（Matting Laplacian Matrix）[8]，該矩陣L 可由圖像局部像素點的顏色計算得到。

Matting算法[8]將圖像前景與背景分離，避免了圖像在進行風格遷移中的圖像溢出的現象。圖像溢出現象有草地的風格溢出到天空中，得到的圖像效果極差。但Matting 算法[8]得到的前景與背景的分離圖像的邊緣不夠清晰，還需要更加精細的銳化。

在上述Matting的基礎上定義一個最小二乘懲罰函數[8]來最小化誤差的平方，尋找最佳匹配，確保不會在圖像風格傳輸期間丟失圖像細節。最小二乘懲罰函數為：

矩陣MI為懲罰因子，表示標準線性系統最小化，該矩陣僅依賴于輸入圖像P，輸入圖像P 有N 個像素，MI是為通道c 中輸出圖像O 的矢量化版本。

3.3 優化后的風格遷移算法

其中，L 是卷積層的總數，l 表示深度神經網絡的第l層卷積層。Γ 是控制風格損失的權重。αl和βl是層的權重。λ 是最小二乘懲罰函數的權重。Lm是內容損失函數。是增強風格損失函數。Lm是最小二乘懲罰函數。

3.4 算法結構

本文的圖像風格遷移算法先引入語義分割和Matting算法對內容和風格圖像進行分割，再使用預先訓練的VGG-19[25]卷積神經網絡進行特征提取，最后生成圖片。圖1為本文的圖像風格遷移算法結構圖。

4 實驗與分析

4.1 實驗方法

實驗中將一組彩色照片作為測試圖像，一次測試包括一對圖像，一對圖像中有一張內容圖像和一張風格圖像。將每對圖像進行裁切，使同對圖像尺寸大小一樣。然后，使用本文方法和Neural Style 改進方法[4]、CNNMRF[9]方法進行圖像風格遷移實驗，將得到的輸出圖片進行主觀對比評價。分析本文方法中語義分割和Matting[8]部分得到的語義掩膜邊緣清晰程度，判斷本文方法后期是否需要進一步改進。分析輸出圖像的紋理和顏色遷移效果，判斷本文方法是否解決圖像扭曲和內容細節丟失問題。

4.2 參數設置

實驗使用Python 3.7.1 結合pytorch[26]深度學習框架，運算平臺為8 核i7 處理器，利用GTX1060 顯卡進行GPU加速。本文的方法使用預先訓練的VGG-19[25]作為特征提取器，選擇conv4_2 層作為內容表示，此層的αl=1，所有其他層的αl=0。conv1_1，conv2_1，conv3_1，conv4_1 和conv5_1 層作為風格表示，這些層的βl=1/5，其他層的βl=0。據Luan[6]的圖像風格遷移方法所知，太小的λ 值不能防止圖像失真，過大的λ 值又會抑制風格遷移，所以最佳參數為Γ=102，λ=104。

4.3 實驗結果分析

在進行了一系列不同類別的圖像風格遷移實驗之后，挑選出實驗效果較好的8組實驗分別進行算法運行時間比較，主觀視覺分析和質量評估。

圖1 本文的圖像風格遷移算法結構圖

記錄三種方法對8組圖片進行實驗的運行時間，進行比較。本文算法較為復雜，與Neural Style改進方法[4]和CNNMRF[9]相比運行時間較長是一定的，后期還需要多加努力進行改進。但是本文算法生成的圖像與Neural Style 改進方法[4]和CNNMRF[9]相比效果較好。表1 為Neural Style改進方法[4]、CNNMRF[9]和本文方法的代碼運行時間。

表1 三種算法的各組圖運行時間 s

本文方法的語義分割與Matting[8]階段實驗得到的內容和風格圖像的Mask 圖像如圖2 所示。A、B、C、D、E、F、G、H 組的圖片從左到右分別是內容圖像、內容圖像的Mask、風格圖像、風格圖像的Mask。分析內容圖像和風格圖像的Mask 圖像邊緣分割情況，判斷本文方法所用的語義分割與Matting[8]結合的方法是否能實現有效分割，為以后工作的改進提供實驗基礎。

分析圖2可知，A組的內容和風格圖像的Mask圖像的邊界處過于圓滑；B 組的內容和風格圖像的Mask 圖像中原本規則的建筑物的形狀十分不規則；C組的內容和風格圖像的Mask 圖像中只粗略分割，其中黑色部分為天空和湖水；D、E 組的內容和風格圖像的Mask 圖像中邊界平滑分成兩部分，風格圖像的Mask 圖像中的帆船未能分割出來；F組的內容和風格圖像的Mask圖像中邊緣不規則不能分割成花瓶的形狀，且風格圖像的Mask 圖像中并未能分出前后背景；G、H 組的內容和風格圖像的Mask圖像中，人物邊緣不精細，頭發絲未能分割出，且有的臉型不完整。綜上所述，本文實驗方法得到的內容和風格圖像的Mask圖像中出現邊緣銳化程度不夠的問題，但較為清晰，有利于風格遷移。

三種風格遷移算法實驗最終得到的輸出圖像如圖3 所示，分為a、b、c、d、e、f、g、h 組。每組圖像從左到右，包括內容圖像、風格圖像、Neural Style 改進方法[4]、CNNMRF[9]方法以及本文方法的輸出圖像。

圖2 內容、風格和Mask圖像

圖3 內容圖像、風格圖像和三種算法的輸出圖像

對實驗得到的Neural Style改進方法[4]、CNNMRF[9]和本文方法的輸出圖像進行具體分析。

（1）Neural Style改進方法[4]可以很好地遷移風格圖像的紋理和顏色，但紋理會遍布整個內容圖像，使內容圖像發生扭曲、丟失內容細節，圖像內容的邊緣模糊。

其中，圖3 的a、b、d、f、g 和h 組中的Neural Style 改進方法[4]輸出圖像將風格圖像的顏色和紋理很好地遷移到了內容圖像上，而內容圖像細節嚴重丟失，內容邊緣模糊。a組的輸出圖像天空與樹木細節丟失，圖像模糊；b 組的輸出圖像出現嚴重圖像扭曲；d 組輸出圖像天空部分出現扭曲模糊；f 組的內容圖像的花瓶在輸出圖像中完全消失，其輸出圖像與風格圖像十分相似；g組的輸出圖像扭曲，人臉細節丟失，五官模糊，頭發紋理消失；h組的輸出圖像人臉面部細節丟失，邊緣模糊，人臉周圍背景扭曲。出現問題區域如圖4紅框所示。

c 和e 組的輸出圖像效果較好一些，但其中有些部分出現了模糊，那些部分丟失了具體的圖像內容。出現問題區域如圖5紅框所示。

圖4 Neural Style改進方法輸出圖像問題區域示意圖

圖5 Neural Style改進方法輸出圖像問題區域示意圖

（2）CNNMRF[9]方法部分圖片很好地轉移了風格圖像的紋理，保留了內容圖像的顏色，同時又將風格圖像的顏色融合進去，最終生成的圖片呈現雪花狀，但還是能夠看到內容圖像的一些大體內容，內容細節模糊，無圖像扭曲現象。而人臉的風格遷移效果極差。

其中，圖3的a、b、c、d、e、f中的CNNMRF[9]方法生成的圖片可以看出，圖像中的內容仍然可見，而細節模糊，無扭曲現象。

圖3的g、h中的CNNMRF[9]方法生成的圖片可以看出，人物臉部內容完全丟失，且出現異常扭曲的現象，圖片也未能很好地遷移風格圖像的紋理，生成的圖片看不出人臉特征，效果極差。圖6 即為g 和h 中CNNMRF[9]方法生成的圖片的內容損失區域示意圖。

圖6 CNNMRF方法輸出圖像內容損失區域示意圖

（3）本文的方法由于進行了精確的邊緣分割，可以很好地遷移風格圖像的顏色和內容，但是風格圖像的紋理在輸出圖像上幾乎沒有體現，輸出圖像的內容細節保存完好。解決了Neural Style 改進方法[4]和CNNMRF[9]方法遇到的圖像扭曲、細節丟失的問題。

其中，圖3的a、b、c、d、e組為風景圖片的風格遷移，本文方法很好地遷移了風格圖像的顏色，特別是圖片中的天空和湖水的顏色。a組將傍晚的景色換成了藍天白云，樹木草地除保持原主色外，整體偏藍色調；b組直接由白天變為了夜晚，但輸出圖像天空顏色不均勻；c組湖水和天空顏色遷移得比較好，雖然未能學習到風格圖像中的燈籠燈光，但整體得到輸出圖片效果較好；d組輸出圖片與內容圖像相比整體亮度變高，顏色偏藍，但山的顏色不夠均勻；e 組輸出圖像很好地學習了風格圖像的顏色保留了內容圖像的細節，完成效果較好。b 和d 組本文的方法出現顏色不均勻區域如圖7紅框所示。

圖7 本文方法的輸出圖像問題區域示意圖

f 組輸出圖像背景很好地學習了風格圖像的顏色，花瓶色調也變為黃色，整體風格遷移效果很好。g組輸出圖像人物左右側亮度不同，顏色不均勻，但整體顏色為風格圖像顏色，內容無損失，圖像也無扭曲。h組人物左中右三部分顏色不均勻，且顏色遷移不完全，但圖像整體內容無損失，圖像無扭曲，人物邊緣清晰。g和h組輸出圖像出現顏色不均勻分區表示如圖8所示。

圖8 g和h組輸出圖像顏色不均勻分區示意圖

針對上述選出的8 組實驗圖像以及結果（a、b、c、d、e、f、g、h 組的內容圖像、風格圖像、Neural Style 改進方法[4]和CNNMRF[9]方法輸出圖像以及本文方法輸出圖像），找到30 位同學，讓他們觀察圖像并針對圖像內容細節是否完好和圖像是否扭曲進行評估，選出他們認為內容細節完好和圖像無扭曲現象的方法。根據調查數據得到圖9 的圖像內容細節完好評估統計圖和圖10 的圖像無扭曲現象評估統計圖。

圖9 8組圖像內容細節完好評估人數統計圖

圖10 8組圖像無扭曲現象評估人數統計圖

據圖9 可知，c、d、e、h 組的圖像內容細節評估中選擇Neural Style transfer 的人數在16.7%～40%，選擇CNNMRF[9]方法的人數在3.33%～16.67%，而其余組80%以上的人都選擇的本文實驗方法。這表明CNNMRF[9]方法得到的風格遷移圖像有明顯的內容細節丟失的現象，Neural Style 改進方法[4]的圖片好評占比也不高，反映了本文的圖像風格遷移方法得到的圖像內容細節完好。

據圖10可知，在a、c、e、h組中圖像無扭曲選擇Neural Style改進方法[4]和本文方法的人數相當，證明這幾組都沒有明顯的圖像扭曲現象。在a組中，三種方法各占比26.67%、33.33%、40%，差距不大，三種方法圖像扭曲現象都不明顯。b、c、d、e、f、g、h組中選擇CNNMRF[9]方法的人數占比極低，而b、d、f、g 組70%以上都選擇了本文方法，表明生成的圖像基本無扭曲的現象。

綜上所述，本文的帶有語義分割并結合Matting[8]算法的圖像風格遷移方法在圖像內容細節和圖像無扭曲現象的評估中，好評約占70%，且從生成圖像來看，本文方法生成圖像也是三種方法中效果最好的，達到了解決以前風格遷移算法出現內容細節丟失、圖像扭曲問題的目的。

5 結束語

針對圖像風格遷移算法生成圖像出現的扭曲、內容邊緣細節丟失問題，研究了一種基于深度卷積神經網絡的帶有語義分割的圖像風格遷移算法。該算法結合了Matting算法和語義分割的方法將圖像的前景和背景分開，定義了最小二乘懲罰函數來加強圖像邊緣的真實性。最后，將改進的圖像風格遷移算法進行實驗。對得到的內容圖像和風格圖像Mask圖像的邊緣銳化效果分析可知，本文的方法對邊緣銳化程度不夠，需要進一步改進。通過Neural Style改進方法、CNNMRF方法和本文方法實驗得到的效果圖像和主觀評估統計圖分析對比，進一步證明了提出的算法能夠解決圖像風格遷移遇到的圖像扭曲和內容邊緣細節丟失的問題。若能再對語義分割和Matting 算法作進一步改進，加強邊緣細節分割，會得到更好的風格遷移效果圖像。