基于空洞卷積神經網絡的藝術圖像風格重建算法

吳德軍 沈整

摘? 要：針對普通卷積神經網絡提取圖像特征能力表現欠佳的問題，提出一種利用空洞卷積神經網絡對藝術圖像和照片做融合重建的算法。通過設計不同融合程度的損失函數實現對藝術圖像紋理信息和照片中內容表現的特征提取，利用隨機梯度下降算法對整體的損失函數做迭代改進，實現藝術圖像風格和內容的融合重建。實驗結果表明，文中方法相比于使用普通卷積神經網絡融合特征的方法具有更高的可靠性和更優秀的表現。

關鍵詞：空洞卷積;神經網絡;損失函數

中圖分類號：TP391? ? ? ? ?文獻標志碼：A? ? ? ? ?文章編號：2095-2945（2020）03-0029-02

Abstract： In order to solve the problem of poor performance in extracting image features of ordinary convolutional neural network， an algorithm for fusion reconstruction of artistic images and photos using empty convolutional neural network is proposed. By designing the loss function of different fusion degrees， the feature extraction of the texture information of art images and the content expression of photos is realized， and the stochastic gradient descent algorithm is used to improve the overall loss function iteratively， so as to realize the fusion and reconstruction of the style and content of art images. The experimental results show that the proposed method has higher reliability and better performance than the method using common convolutional neural network.

Keywords： dilated convolutionals; neural network; loss function

1 概述

圖像風格重建是圖像處理領域中經典的問題之一，輸入兩張圖像A和B，重建一張融合了A的內容和B的風格的新圖像。這在圖像及視頻的后期處理中有著十分廣泛的應用。學術界和工業界在2015年前就已經可以在保護目標圖像結構不受損的前提下通過非參數的紋理合成方法合成類似的人造紋理，如HEEGER等[1]曾提出通過融合圖像的Laplace金字塔和Steerable金字塔的方法來盡可能多地捕捉圖像的空間特征，這為卷積神經網絡使用許多不同濾波器捕捉圖像空間特征方法的提出帶來了啟發，這種方法雖可在維持感知特性不變的前提下生成較高質量的紋理，但無法為紋理的生成定義一個直觀穩定的數學模型。

卷積神經網絡的提出和快其在圖像特征提取任務上的卓越表現使得將深度學習的理論和方法應用到圖像風格重建領域成為當前研究的熱點。GATYS等[2]提出的方法通過訓練卷積神經網絡來模擬人類視覺對圖像的處理方式，讓計算機學習輸入的藝術圖像的風格和內容圖像的輪廓表現，融合生成具有指定風格的目標圖像。在此之后出現的基于普通卷積神經網絡提取圖像特征后融合重建的方法大都把關注點和改進點聚焦在神經網絡深度的簡單堆砌上，雖然可以帶來細膩度更高的合成效果，但激增的參數量和計算量，令單幀圖像的平均重建時間慢如老牛，嚴重影響了其在移動端等算力弱、存儲小的平臺上的部署，這在很大程度上限制了圖像風格重建技術的實用性和可行性。

針對這些問題，本文從卷積神經網絡的核心-卷積核切入，提出一種利用空洞卷積神經網絡對藝術圖像和照片做融合重建的算法。通過設計不同融合程度的損失函數滿足不同特征提取的要求，采用隨機梯度下降法對重建效果做迭代更新，實現藝術圖像風格和照片內容的融合重建。

2 卷積神經網絡

如圖1所示，卷積神經網絡是一種仿造生物視覺機制構建的、具有稀疏連接特點的前饋神經網絡。能夠以較小的計算量對格點化特征，如像素和音頻進行學習。大量的實驗表明，卷積神經網絡提取圖像特征的特點為：底層捕捉圖像紋理，高層保留圖像內容。

3 空洞卷積核

如圖2所示，利用空洞卷積核可在不丟失信息且不引入額外參數的情況下，擴大卷積運算的感受野，使其采集較大范圍內的特征信息[3]。在大小為l×l的卷積核中每兩個元素間插入m個空洞，其卷積運算的有效面積可擴大為（l+4m）×（l+4m）。

4 損失函數

基于小節2中卷積神經網絡提取圖像特征的特點，本文分別定義了內容損失函數和風格損失函數：內容損失函數只計算空洞卷積神經網絡的高層特征相關性，記作Lcontent;風格損失函數則將所有層的特征相關進行融合，記作Lstyle;定義算法整體的損失函數為Ltotal=？琢Lcontent+？茁Lstyle，？琢和？茁分別為圖像風格重建算法中內容損失和風格損失的權重。

5 實驗結果

參與實驗的圖像集由1張內容圖像和5張風格圖像組成。圖像大小均為1920×1080。模型的構建及算法實現基于Google開源的深度學習框架TensorFlow實現，部分實驗結果如圖4所示。可知風格重建后生成的圖像具有豐富艷麗的藝術風格的同時，沒有丟失鐘樓和教堂的內容輪廓，表現良好。

6 結束語

為提高圖像風格重建技術的實用性和可行性，針對其重建效率低、表現不自然等問題，使用空洞卷積核代替傳統卷積核做圖像特征提取的卷積運算，獲得了更好更快的圖像風格重建效果。

參考文獻：

[1]Heeger DJ. Pyramid-based texture analysis/synthesis[C]//Proceedings of International Conference on Image Processing， October 23-26，1995， Washington， D.C.， USA. New York： IEEE， 1995： 229-238.

[2]Gatys L A， Ecker A S， Bethge M. A neural algorithm of artistic style[J]. Computer Science， 2015.

[3]CHEN L C， et al. Deeplab： semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected crfs. [J]. IEEE transactions on pattern analysis and machine intelligence. 2017 Apr 27;40（4）：834-48.