基于語義分割的圖像風格遷移技術研究

李美麗，楊傳穎，石 寶

內蒙古工業大學 信息工程學院，呼和浩特010100

1 引言

計算機圖形學是計算機科學領域的一個重要分支，隨著計算機圖形學方面的硬件與軟件的不斷發展和改進，將圖形渲染技術分為真實感渲染技術與非真實感渲染技術，真實感渲染技術忠實地反映客觀事物的外觀和細節，更適合表達剛性曲線，而非真實感繪制會根據圖像內容自適應區分前景和背景，更加適合描述自然現象，它們的研究方法和對象既相互補充又相互交叉。

深度學習以其能快速提取高級抽象特征的優勢被應用于提取圖像的風格化特征和內容特征，成為圖像風格遷移領域的主流技術。實際上，圖像風格遷移是一種特殊的遷移學習，是一種借助計算機技術處理圖像的紋理、顏色、風格、線條等信息來改變圖像效果的技術。它是將一張藝術作品圖片的風格轉移到另一張圖片上，最后生成一張帶有某種風格的內容圖片。為了模擬藝術家的這種表現力，引入圖像分割方法，將風格轉化進行約束，由于蒙古族服飾顏色多為紅黃藍三原色，所以將其約束到彩色空間變換，對特定區域進行風格遷移，提升了風格遷移后輸出圖的效果。

神經風格遷移的三個主要應用領域是媒體社交、輔助用戶創作和游戲場景渲染領域，風格遷移技術來源于歷史悠久的風格化繪制技術。風格遷移技術在藝術創作中，可以將大師的精美藝術作品風格遷移到其他圖片上，使得結果圖帶有了大師的風范。這一智能創作應用在游戲制作中，對游戲動畫人物塑造和背景渲染都有極大的幫助。如果將帶有濃烈民族文化特征的圖片進行遷移，也是對物質文化遺產和非物質文化遺產的繼承和弘揚。

在神經風格遷移算法之前的風格遷移方法有基于筆劃的渲染、基于圖像類比的方法、圖像濾波方法和紋理合成方法等，這些傳統的風格遷移方法有一個共同的思想就是借助局部特征的統計模型來描述風格，這極大地限制了在實際中的應用。

2015年Gatys等人[1]開創性地提出了一種神經藝術風格遷移算法，以簡潔明了的方式闡明了神經網絡的風格化思想，無需繁瑣的手工建模，就能生成新穎風格化圖像。2016年相繼發表了另一篇論文[2]，該論文進一步闡述風格遷移的方法，引入了白噪聲圖片，通過借助VGG19 網絡提取的輸入圖像的特征進行重建圖像，使得圖像的風格和內容的分離和合成成為可能。Johnson等人[3]受到Gatys 等人的研究成果的影響，提出了一種實時的快速神經風格遷移方法，該方法用感知損失函數來替代逐像素差距的損失函數來訓練前饋網絡，基于有優化的方式對比，得到三個數量級的提速。Dumoulin 等人[4]在Johnson的基礎上提出了更靈活的風格遷移模型，采用多個風格共用一個模型的方式，緩解了模型存儲耗費空間大的問題。Li等人[5]將生成的馬爾科夫隨機場作用在深度卷積神經網絡上進行圖像合成任務，該任務增強了Gatys等人的框架，通過用維持圖像風格的MRF正則項來替代Gram 矩陣匹配。Ulyanov 等人[6]提出了另一種反饋卷積神經網絡，應用多層次的網絡結構，產生大量任意大小的相同紋理，將給定照片的藝術風格遷移到任意圖像上，引入生成網絡減少迭代次數，提高了訓練速度，縮短了圖片生成時間，對局部細節的處理優于之前的方法，然而由于風格圖片是真實照片，存在內容不匹配、扭曲等問題，使得遷移效果不佳。2017年Luan等人[7]提出了一種深度照片風格遷移方法，提出局部仿射變換正則項，用此方法防止生成的真實照片扭曲失真，解決了生成圖像扭曲不匹配問題。Liao等人[8]提出了一種新的視覺屬性遷移方法。該方法針對的是兩張具有不同內容卻有相似語義的圖像，利用高層抽象特征建立起兩張圖片的語義對應關系，與之前的算法不同的是，提出深度圖像類比的方法，該方法適用于輸入圖像是真實照片，輸出也是真實照片的任務，即達到像素級別的遷移，進而使用一種由粗到細的策略建立最近鄰域并生成風格化結果。Zhu 等人[9]針對非成對的數據集，提出了一種通用型的圖像到圖像的訓練模式，并且提出了結合循環一致損失和對抗網絡損失進行模型的訓練，此種方法解決了沒有成對數據集的問題，適用性更廣。2018年Chelaramani 等人[10]提出一種可以在句子與圖像之間進行跨模態的新穎風格遷移方法。建立在圖像到圖像遷移上的創新機制上，將整體心理圖像整理成一個句子，并以有意義的方式自動傳遞給特定的圖像。2019 年Nguyen等人[11]重新定義了多模態，并引入了一種簡單的多模態和任意風格遷移方法，通過向單峰方法注入噪聲來實現多模態和任意風格傳遞的方法。這種新穎的方法不需要任何可訓練的參數，并且可以容易地應用到具有單獨的風格編碼子網的任何單峰式傳輸方法的文獻中。

目前存在的方法都是只針對特定數據采取特定方法的遷移技術，不具一般性，與現有的方法相比，本文提出的方法在對任意樣式進行泛化和可視化處理的同時，能夠有效地進行前反饋方式的風格遷移，不需要學習每一個單獨的風格，通過訓練一種用于圖形重建的自動編碼器來進行圖像生成過程，將前饋通道中的增白和著色變換結合起來，以匹配內容和風格特征之間的統計分布和相關性。

2 數據預處理

數據增廣是一種解決圖像數據不足的常用方法。通過對訓練圖像做一系列隨機改變，產生相似但又不同的訓練樣本，從而擴大訓練數據集的規模，由于采集的數據圖片大概為582 張。通過數據增廣方法增加到1 080張，大大降低模型對某些屬性的依賴，提高了模型的泛化能力。主要用到的數據增廣方法有縮放變換、裁剪、變換顏色、旋轉、平移等變換，其中部分結果如圖1所示。

圖1 預處理后的圖

3 蒙古族服飾風格遷移方法

3.1 風格遷移方法

神經網絡以其能快速提取高級抽象特征的優勢，被廣泛應用于提取圖像特征，成為圖像風格遷移領域的基本技術。風格遷移的基本思想很簡單，在保留目標圖像內容的基礎上，將另一張圖片風格應用在目標圖像上，生成的風格化圖像具有原來內容圖片的內容的同時帶有風格圖片的風格，本文是在圖像風格遷移的基礎上，進一步地要求輸入圖像均為高清的、具有圖像真實細節的圖像，尤其是風格圖像，而不是一些具有明顯藝術家風格的風格圖像，所合成的圖像結合了內容圖像的真實細節和風格圖像的風格。

圖像風格遷移研究步驟大體分為兩部分，第一部分提取圖像的內容和風格特征，第二部分將兩種特征融合生成目標圖像。然而在已有的風格遷移研究結果中，結果圖存在不同程度的扭曲和失真，基于這個棘手問題，為了保證圖像的保真性，提出了一種優化過程中目標函數的圖像寫實正則化參數項，將這個約束表示成一個完全可微的參數項，以此約束重構圖像用輸入圖像的局部仿射色彩變換防止扭曲，保證在輸入圖像映射到輸出圖像的過程中，點、線、面都不發生改變，盡可能減少內容信息失真，成功抑制生成圖像扭曲，在各種各樣的場景中生成了視覺效果相對較佳的真實風格化圖像。

假設給定一張內容圖片C和一張風格圖片S，采用目前應用廣泛的編碼-解碼器結構，使用VGG19 網絡作為編碼器提取圖片的內容和風格特征，借助已經訓練好的VGG19 網絡模型進行特征提取，編碼器權重使用由之前ImageNet 網絡訓練出的權重，此處借助遷移學習中的權重遷移方法，大大減少了工作量。同時訓練一個與之對應的解碼器，對圖片的內容和風格進行重建。

對于多層次的風格遷移，分別為VGG19的Relu_X_1層訓練五個重構解碼器，每個解碼器的架構對稱于VGG19 網絡架構，該技術的原理圖如圖2所示。

VGG19 網絡作為一個特征提取編碼器，由卷積層、池化層、全連接層組成。分別選用conv4_2作為內容表示，conv1_1、conv2_1、conv3_1、conv4_1、conv5_1 作為風格表示。同時訓練一個與編碼器對稱的解碼器，目的是將VGG19 網絡提取的特征轉化為原圖像，其本質是一個圖像重建任務，經過大量實驗不斷地調整編碼器和解碼器以達到最優。為了對不同層次提取的特征進行評估，選用VGG19 網絡的五個層的特征映射和相對應的五個解碼器。采用像素重構損失和特征損失對輸入圖像進行重構，如下式所示：

Iin表示輸入的圖像，Iout表示重構的輸出圖像，Φ表示使用預訓練模型VGG19 編碼器提取到的圖特征表示，λ是兩個損失函數的平衡參數。

為了更好地進行圖像風格遷移，將增白和著色變換WCT 應用到內容特征層，使內容特征的協方差矩陣與風格特征的協方差矩陣進行匹配，最后將轉換后的特征向前反饋，輸入到下面的解碼器層，從而獲得風格化后的圖像。

通過最小化L2范數的像素重構損失和特征感知損失之和來訓練解碼器，采用多層次風格化策略，在WCT[12]中將PhotoWCT 應用于不同層次的VGG19 特征，如圖3所示。

圖2 風格遷移架構圖

圖3 優化模型對比圖

PhotoWCT 和WCT 共享相同的編碼器架構和映射步驟。在PhotoWCT 中，用上池化層替換上采樣層。上池化層是與池化掩碼一起使用，該掩碼記錄在對應的池化層[13]中的每個最大池化區域上攜帶最大值的位置。通過比較WCT 和PhotoWCT 的風格化結果。PhotoWCT 風格化圖像具有更少的結構偽影。同時在實驗部分進行了一項用戶研究，以定量驗證PhotoWCT通常比WCT 有更好的風格化效果。

模型優化中，編碼層的構建結構不進行修改，只是在保存信息方面，上池化處理比上采樣處理能更好保存詳細信息，所以用上池化代替上采樣，減少了特征映射的空間信息的丟失，解碼器中的上采樣特征映射無法恢復輸入圖像的詳細結構，也就是說，需要將丟失的空間信息傳遞給解碼器，以便能夠重構圖像的詳細細節，圖像增白和著色變換功能表示為如下公式：

其中，是一個包含上采樣的解碼器，通過訓練解碼器來完成圖像重建，通過WCT 得到的結果圖直線邊界呈現鋸齒狀的模糊，使用圖像的增白跟著色變換WCT 避免此問題的發生。

對風格化后存在的偽影問題進行平滑調整，首先將所有像素表示為圖中的節點，并定義了一個關聯矩陣：

其中，N表示相似像素點的個數，定義平滑項和濾波項，建立模型優化這兩個目標項，將問題轉化為一個優化問題：

其中，yi表示PhotoWCT 風格化結果Y的顏色像素，ri期望的平滑輸出結果R的顏色像素，變量dii=是W 的度矩陣D 中的對角線元素，即D=diag{d11,d22,…,dNN}。在公式（4）中，λ控制著這兩個術語的平衡。

上述公式是基于圖的排序算法[14-15]得到的。在排序算法中，Y是一個二進制輸入，其中每個元素指示某個特定項是否為查詢，具體yi=1 表示yi是一個查詢，否則yi=0。最優解R是所有項目的排序值。此方法中，將Y設為PhotoWCT 樣式化的結果。基于對像素的相似性，R是Y的最優解。與最先進的方法[14]對比，本文算法利用可用的語義標簽映射獲得更好的風格化結果。當進行PhotoWCT 風格化時，對于每個語義標簽，分別利用內容和風格圖片中具有相同標簽的圖像區域的特征，計算一對投影矩陣Pc和Ps。用來對這些圖像區域進行風格化。使用語義標簽映射，可以更準確地執行內容和風格匹配。該算法不需要精確的語義標記。獲得良好的風格化效果圖。

3.2 圖像語義分割

圖像語義分割是一門交叉學科，涉及模式識別、計算機視覺、圖像分類等領域，在視頻檢測、工業自動化、虛擬現實VR等不同領域有廣泛的應用，語義分割是為圖像像素標記一個預先定義好的語義標簽，在此基礎上，在圖像的目標對象上加入語義信息，能夠根據圖像本身的紋理、場景和其他高層語義特征來得到圖像本身需要表達的信息，具有實用價值。本文采用的深度照片風格遷移算法通過對內容圖像進行語義分割的結果來指導風格遷移的過程，當算法精確地識別出像素的前背景時，就可以更精準地進行分割。

語義分割方法大體分為兩類，基于區域分類的分割方法和基于像素分類的分割方法。基于區域的分割方法根據區域生成算法和圖像塊劃分標準的不同，將其分為基于候選區域方法和基于分割掩膜方法；基于像素分類的圖像語義分割方法按照其學習方式的不同，可以分為全監督學習圖像語義分割方法、弱監督學習圖像語義分割方法、無監督學習圖像語義分割方法。

借助圖像的語義信息將圖像進行更加準確地分割。圖像分割是圖像處理到圖像分析的關鍵步驟，圖像分割是指根據灰度、顏色、紋理和形狀等特征把圖像劃分成若干個互不交疊的區域，并使這些特征在統一區域內呈現出相似性，而在不同區域間呈現出明顯的差異性。圖像分割領域研究人員提出了很多的研究方法[15]，較為普遍的方法有邊緣分割方法、閾值分割方法、區域生長方法、區域的分裂合并方法、直方圖分割方法以及結合特定理論工具的分割方法。但是并不存在一種廣泛適用的分割方法。

本文針對蒙漢服飾文化元素的遷移，采用特定空間聚類方法進行圖像分割，將圖像空間中的像素用對應的特征空間點表示，根據它們在特征空間的聚集對特征空間進行分割，然后將它們映射到原圖像空間，得到分割結果。采用K均值聚類算法與自然圖像摳圖相結合的技術，先設定K個初始類均值，然后將每一個像素劃分到離它最近的類，并且計算新的類均值，迭代執行前面的步驟直到新舊類之差小于某一閾值。

3.2.1 K 均值算法

K均值算法是一種常用的無監督的聚類算法，已在圖像模式識別中得到了廣泛的應用，K均值算法[16]的基本思想是通過找到K個聚類的中心，同時根據數據點與各中心的距離的大小，對每個質心計算質心與數據點之間的距離將數據點分配到距其最近的簇，對每一個簇，計算簇中所有點的均值并將均值作為質心，重復迭代直到質心不變或者變化很小時結束，最后將數據點全部進行了歸類。基本要求是在數據點構成的一個聚類中，聚類內部點之間的距離應該小于數據點與聚類外部的點之間的距離。也就是對目標函數的優化，直到將數據點全部進行了歸類。目標函數表示如下：

為每個數據點都分配一個權重ω(p)，設k為聚類的數目，πk表示第k個聚類，φ表示將數據點映射到高維空間，通過迭代的方式最小化目標函數，以此聚集數據點。用K均值算法實現圖像分割，K均值算法分割后的圖像如圖4所示。

圖4 K-means算法分割后的圖像

3.2.2 封閉式的摳圖算法

蒙古族服飾又稱蒙古袍，包括長袍、腰帶、靴子等，由于地域的不同，蒙古袍多以紅藍黃三原色構成，蒙古袍上的花紋呈現一定的對稱性，特別是腰帶、紐扣，都呈現出一定的平行性，基于該特點，本文采用交互式數字摳圖算法將圖像進行分割。取任一張蒙古族服飾圖片部分，各像素點符合一定的線性關系，如圖5 所示。其中，三維坐標系分別表示紅黃藍三原色，從圖中可以看出任意像素點可表示成一個線性關系。

圖5 像素分布三維圖

交互式數字摳圖是基于有限的用戶輸入從圖像中提取前景對象的過程，因為它在每個像素處都存在大量不適定，必須從一個單一的顏色測量中估計前景和背景顏色，以及前景不透明度。本文采用一種自然圖像摳圖的封閉形式解法[17]。對前景和背景顏色的局部平滑性進行假設，分析消去前景和背景顏色后，可以得到一個二次代價函數。通過解一個稀疏線性方程組來找到全局最優的透明度。此外，從封閉形式公式中分析稀疏矩陣的特征向量來預測解的性質，這與譜圖像分割算法中使用的矩陣密切相關。

給定任意一張圖片，可看成是由前景圖與背景圖組成，圖中的任意像素點可表示成一個線性關系式：

其中，ai前景不透明度，Fi表示第i個像素點的前景圖，Bi表示第i個像素點的背景圖。

對于三通道彩色圖片，將有三個方程七個未知數。方程組表示如公式（7）所示：

以上方程組有無窮多解。顯然，這是一個嚴重的欠約束問題，用戶交互需要提取一個良好的啞光。最新的方法期望用戶提供一個trimap 作為起點，trimap 是一個粗略的手繪分割方法，將圖像分為三個區域：前景（白色）、背景（黑色）和未知（灰色）。這樣一個嚴重的欠擬合問題就容易解決，該方法提供F、B和α的初始值。然后通過迭代非線性優化方法交替前景F、背景B以及α的估計。在實際中，為了取得好的實驗結果，trimap中的未知區域必須盡可能小。當α取值為0 或1，摳圖技術將是一種簡單的圖像分割。

在這種具有挑戰性的情況下，需要大量的經驗和用戶交互來構建一個能夠生成良好啞光效果的trimap。然而，trimap界面的另一個問題是用戶不能直接影響圖像最重要部分的啞光，混合像素。本文提出了一種從自然圖像中提取啞光的新方法。需要從前景F和背景顏色B的局部平滑度假設中推導出一個代價函數，并將其表示為：

其中，ωj表示包含j個像素點的小窗口，上面的代價函數包含一個關于α的正則化項。為了保持數值的穩定性而設定。假設圖像在第j個窗口中是常量，在沒有對其進行先驗檢驗之前，aj和bj就不能唯一地確定。當aj=0 意味著a是恒定在j窗口中的。此外，通過研究稀疏矩陣的特征向量相關矩陣用于光譜圖像分割算法。同時提供有用的提示信息，能夠更好地把握涂鴉的位置放置。

采用兩種摳圖算法相結合的方法得到的圖如圖6所示。

圖6 結果圖

4 實驗結果與分析

本實驗使用Google開源深度學習框架TensorFlow，同時使用由JetBrains 打造的編譯器pycharm，提高了python 語言開發的效率，使用NVIDIA 英偉達GTX 1080TI顯卡加快程序運行速度。

實驗中對λ 進行敏感度分析，平滑和擬合平衡系數，實驗表明λ 越大通過增白和著色處理后的結果更加準確可靠，λ 越小生成的圖片將會被過度平滑，為了找到一個合適的λ，采用網格搜索法，將估計函數的參數通過交叉驗證的方法進行優化來得到最優的學習算法。

在風格化之后對象邊界應該保持不變，所以以風格化和風格化后的邊界圖與原始內容圖的10個相似度作為標準進行衡量，用全局邊緣檢測HED 方法進行檢測邊界，應用全局最佳ODS和單圖最佳OIS兩個標準的邊界檢測指標。該指標越高表明保存了原始圖像更多的內容信息，如圖7所示。

圖7 λ 與檢測指標的折線圖

但是ODS 用于圖像分割，具有從消光問題公式推導出的新的親和函數。可以通過求解稀疏S 來有效地找到成本的全局最小值S 線性方程組，對真實圖像和合成圖像的實驗表明，該算法明顯優于其他使用二次代價函數的算法。

實驗中通過設置內容與風格的權衡參數，平衡兩者之間的比重，保證生成的圖像在內容不失真的情況下，達到最佳的風格化效果。λ 的取值效果演示如圖8所示。

圖8 不同λ 值對風格化影響結果對比圖

實驗中設置不同的λ 值，得到不同效果的結果圖，從圖8中可以看出當λ 取小于10-6的值時，實驗結果圖無明顯變化，實驗結果圖效果差異很小，所以，根據實驗結果，在接下來的訓練中λ 取10-6，達到最佳實驗效果。

根據輸入圖像分辨率的不同，如表1所示不同尺寸圖像在不同階段運行時間對比表。

表1 運行時間對比表 s

本實驗計算了不同分辨率下該算法的平均運行時間，從表1 中可以看出，隨著圖像分辨的增加訓練時間總體呈上升趨勢。而且詳細統計了增白著色變換階段和平滑階段不同分辨率圖像所用時間。本實驗提出的算法與目前最新的算法對比，雖然本實驗有一個封閉形式的解，而Luan 等人的實驗是依賴于非凸優化問題的解，為了風格化圖片，Luan等人解決了兩個非凸優化問題，其中第一個優化問題是第二個優化問題的初始解，該方法優于Luan等人的方法。

為了進一步提高速度，可以使用引導圖像濾波的近似平滑步驟，它可以平滑基于內容照片的PhotoWCT輸出圖。與原始算法相比，雖然采用圖像濾波近似平滑步長越長會導致性能略有下降，但速度增益較大，如表1所示。要風格化1 024×512 分辨率圖像，約僅需1.64 s，比Luan 等人實現的650.4 s 快1 000 倍。為了量化由于近似導致的性能下降，進行了額外的用戶研究來比較所提出的算法。

為了對圖像風格進行更精確的遷移，使用無監督學習K 均值聚類方法與自然摳圖算法相結合對目標對象的特定區域進行分割，并將給定的紋理樣式只傳遞給分割后的區域。實現了特定對象區域的局部風格遷移，這使得可以隨意改變給定圖像中對象的材質。同時，在模型優化中，用PhotoWCT 代替WCT 變換，減少了結果圖的偽影，實驗表明PhotoWCT 比WCT有更好的風格化效果，圖9是本文方法與其他方法的對比圖。

圖9 實驗對比圖

實驗對比結果表明此風格遷移算法有更強的魯棒性，而且研究的內容新穎，運行速度有顯著的提高，得到的結果圖更加地逼真，是本文的一個特點，而不像其他現有方法有明顯的的繪畫痕跡。

5 總結與展望

本文在現有的圖像處理技術的基礎上，將蒙漢服飾圖像應用到風格遷移中，采用圖像語義分割與神經風格遷移相結合的方法，研究圖像風格遷移在蒙漢服飾設計中的應用，采用一種快速的風格遷移算法，該算法使用損失函數的歸一化，在每次優化迭代過程中，調整損失值，使之等于1，這樣可以獨立設置所選風格層以及內容層的損失權重，在優化過程中，不斷調整權重。最后，確定風格與內容之間的相對最佳權重。此外，本實驗將蒙漢服飾應用到風格遷移中，是非物質文化遺產的發揚和傳承，有非常重要的研究意義。

本文在研究過程中存在很多的不足之處，值得進一步研究，例如在分割實現過程中，存在訓練集差異較大的圖片，分割能力會大幅減弱的問題，可以考慮對圖像預處理方法進行改進，使得圖像在輸入模型之前能夠自適應，根據與訓練集的差異進行調整；本文采用不同的方法對語義分割進行了研究，并將其應用到具體的場景中，初步挖掘語義分割的應用價值，還有待進一步挖掘它的應用潛力。此外，用到VGG19網絡提取圖像特征，該方法參數較多，占用內存空間較大，可以改用其他的提取特征的方法，減少參數和占用空間。風格遷移的應用場景很多，例如AI換臉、漫畫遷移、字體風格遷移、AI藝術創作、電影特效等等，這些場景都有待進一步深入研究。