多通道特征增強風格遷移算法

陳夢偉，毛 琳，楊大偉

(大連民族大學 機電工程學院，遼寧 大連 116605)

在圖像處理領域，圖像風格遷移是現階段的研究熱點之一。現有圖像風格遷移技術，對圖像整體風格映射遷移效果較為優越，但圖像特征在遷移映射過程中出現偏差，導致生成圖像內容失真，圖像還原質量有待進一步提高。

目前，風格遷移算法主要基于生成對抗網絡(Generative Adversarial Networks, GAN)[1]。由GAN衍生的網絡框架大致可分為單個生成對抗網絡和多個生成對抗網絡。

單個生成對抗網絡結構以原始生成對抗網絡GAN為基礎，是Goodfellow等人在2014年提出的一種新的生成式模型。GAN包括兩個網絡，分別是生成網絡和判別網絡，生成網絡使真實樣本遷移為虛假樣本，判別網絡用于判斷樣本真假，并引入對抗損失，通過對抗訓練使生成器能夠遷移高質量樣本圖像。但原始GAN并不成熟，存在著諸多問題，如梯度消失、模式崩潰(Collapse Mode)和降低生成圖像多樣性，嚴重限制GAN完成高質量風格遷移工作。隨后出現的CGAN(Conditional GAN)[2]在原始GAN基礎上增加約束條件，控制GAN生成器過于自由的問題，但其模型訓練不穩定，圖像特征不能保證被完整遷移，生成圖像還原度不高。Pix2pix[3]在CGAN的基礎上提出，用于有監督圖像到圖像翻譯任務，其生成器使用U-net網絡提取細節，判別器使用PatchGAN處理圖像高頻信息，增強兩個域之間圖像映射關系，生成清晰圖像。但Pix2pix必須使用成對數據集，這種一對一映射應用范圍十分有限，當輸入數據與訓練數據差距較大時，難以實現圖像內容一致的風格遷移。DCGAN(Deep Conditional GAN)[4]將卷積神經網絡和GAN結合起來，利用卷積網絡強大的特征提取能力提高GAN的學習效果，但DCGAN生成器隨著卷積加深，特征信息在傳遞過程中會產生部分丟失，生成圖像在內容上無法保持一致，生成圖像質量不高。BigGAN[5]通過將模型擴大得到性能提升，它在訓練中使用很大的批次，并且在卷積層設計上使用更大的通道數，使模型性能得到提升，但BigGAN的缺點也較為明顯，它的模型很大、參數多、訓練成本高，保持圖像完整內容特征的信息遷移需要以極高的性能成本為代價，可實施性和應用性不強。

多個生成對抗網絡結構以CycleGAN[6]最為經典，實現不同域之間圖像轉換，使用生成器和判別器完成圖像不同域之間的轉換，學習不同域之間隱含的映射關系，再添加循環一致項，提高不同域之間的轉換效果。但由于圖像在映射過程中特征提取能力不強，導致生成圖像在內容上部分信息映射出錯，圖像失真，風格遷移質量不高。幾乎同一時期提出的DiscoGAN[7]和DualGAN[8]同樣是基于多個生成對抗網絡，DiscoGAN強調不同域之間一對一的雙向映射關系，生成器采用常規卷積和反卷積結構，雖然在遷移過程中能夠保留關鍵屬性，但對于圖像細節的特征向量沒有很好地映射到生成圖像中，無法實現圖像內容高質量遷移。DualGAN生成器采用U-net對稱結構的編解碼形式，在編碼過程中能獲取更多特征信息，但特征以單通道形式進行傳遞，隨著網絡加深，局部信息無法完整傳遞，生成圖像無法保證內容風格遷移的一致性。

單個生成對抗網絡算法大多實現圖像的單向映射，在映射過程中圖像內容信息捕捉能力不足，使生成圖像內容不完整，生成質量不高。隨后出現的多個生成對抗網絡算法對不同圖像域之間形成雙向映射，使圖像在遷移過程中更好地保留特征信息，但多數算法是以單通道或少通道形式對特征信息進行提取傳遞，網絡在信息傳遞過程中存在風格內容特征映射出錯或丟失情況，且隨著網絡加深，特征誤差不斷累積，降低算法整體性能，使生成圖像內容特征多樣性較弱，風格遷移質量不高。

為使圖像在完成既定風格的遷移條件下，保證圖像特征信息映射的一致性，本文提出多通道特征增強風格遷移算法(Multi-channel Feature Enhancement Style Transfer Algorithm Based on CycleGAN, MCGAN)，在CycleGAN網絡基礎上，借用深度可分離卷積網絡思想，引入多通道特征提取機制，增強每個通道對圖像特征的非線性表達能力，獲取圖像更豐富的特征信息，使圖像內容特征得到有效提取，實現高質量遷移任務，能更好地應用于自動駕駛、工廠車間和天眼監控等領域，特別是環境昏暗場景。

1 MCGAN算法

基于CycleGAN圖像風格遷移算法，生成器由多層卷積構成，卷積以單通道形式對特征進行傳遞，特征在映射過程中出現偏差，圖像風格沒有被完整遷移，內容丟失，圖像還原質量不高。CycleGAN網絡生成圖像和MCGAN網絡生成圖像對比如圖1。

圖1 CycleGAN和MCGAN風格遷移對比圖

圖1a為原始冬天圖像，圖1b、圖1c分別為經過CycleGAN和MCGAN算法遷移生成的夏天圖像，與CycleGAN相比，MCGAN算法對目標邊緣特征更為敏感，可以明顯看出圖中山頂與天空交界處邊緣較為清晰，內容特征映射一致，生成圖像質量更高。

1.1 多通道特征增強模塊

多通道特征增強風格遷移算法借用深度可分離卷積網絡思想，引入多通道特征增強機制，增強網絡對圖像內容信息的提取能力。本方法將常規卷積分為兩個部分：多通道卷積和空間融合。將卷積層間相關性和空間相關性進行分開映射，獲取圖像更多特征，增強圖像特征信息。多通道卷積對圖像每個通道獨立執行卷積操作，在保持通道獨立性的同時，增強每個通道對圖像特征的非線性表達能力，讓網絡在每一次卷積中獲取更加豐富的特征。保證圖像內容特征在映射過程中的完整性。通過空間融合將上一層輸出的不同通道特征圖進行線性組合，保證通道前后特征維度輸出的一致性，整合多個通道特征圖信息，有效利用不同通道特征在相同空間位置上的特征信息，實現對不同通道的特征融合，提高風格遷移質量。多通道特征增強模塊如圖2。

圖2 多通道特征增強模塊

多通道特征增強算法中，多通道卷積公式：

(1)

式中，K代表多通道卷積的卷積核，大小為i×j，通道數為M。將K中第m個濾波器應用于大小為h×w特征圖F中的第m個通道，卷積后輸出在大小為k×l特征圖G的第m個通道。

空間融合公式：

(2)

式中，P為空間融合函數，將上一層通道數為M的每個通道輸出特征圖G使用空間融合方法，得到輸出尺寸不變特征圖Y，大小為k×l，通道數為N。圖像特征經過多通道獨立卷積，再進行相同空間位置信息融合，提取更加豐富的深層特征，保證圖像特征的多樣性，增強對圖像特征的表達能力，提高通道間特征非線性程度。

1.2 多通道特征增強可視化

為說明多通道特征增強效果，本文將CycleGAN網絡與MCGAN網絡特征熱力圖進行可視化對比，如圖3。其中，圖3a為原始圖像；圖3b為CycleGAN網絡算法經卷積輸出的特征熱力圖；圖3c為MCGAN網絡算法經多通道特征增強模塊輸出的特征熱力圖。

由圖3行(1)可見，在簡單風景圖像中，MCGAN網絡算法對不同類別的邊緣及區域特征信息劃分更為精準，利于遷移成與原圖相似度更高的圖像，在行(2)中，當圖像中樹木色彩及輪廓較為接近時，MCGAN網絡算法比CycleGAN網絡算法能更好區分相似樹木邊緣信息，使圖像在遷移過程中更好地增強目標多樣性特征。在行(3)中，MCGAN網絡算法比CycleGAN網絡算法能更好地處理山峰紋理和樹木邊緣輪廓信息，獲取圖像邊緣特征信息更加豐富，在遷移中有效還原圖像中目標細節紋理特征，提升風格遷移生成圖像質量。

1.3 網絡結構

MCGAN網絡生成器結構如圖4。主要由編碼器、轉換器和解碼器三部分組成。由于編碼器負責圖像特征提取，因此主要對編碼器部分進行改進，以增強網絡對圖像特征的提取能力，豐富圖像特征信息，提高圖像遷移質量。改進后的編碼器在原始網絡基礎上加入多通道特征增強模塊，提高網絡對圖像特征映射的準確性，增強特征非線性表達能力。轉換器用來組合提取到的不同特征，并利用這些特征信息，確定如何將圖像的特征向量從原域(輸入圖像)轉換為目標域(生成圖像)的特征向量。解碼器由兩層反卷積和一層卷積組成，采用反卷積逐級將高維特征向量重新復原成圖像低級特征，最后將獲取的特征送入一層卷積得到風格遷移后的生成圖像。

圖4 MCGAN網絡生成器結構

算法實施步驟如下：

步驟1：特征提取。將尺寸為256×256×3的原始圖像輸入網絡中，首先經過一個7×7卷積模塊，將3通道圖像變為64通道。其次通過多通道特征增強模塊，使用3×3多通道卷積對每個通道進行獨立卷積，輸出每個通道對應特征圖，再經過空間融合方式，對不同通道輸出特征圖進行融合，輸出特征維度為256×256×64。對通道維度和空間維度分開映射，獲取圖像更豐富的特征，為后續特征映射重構圖像提供更多的內容信息。然后通過兩個卷積模塊，進一步全面獲取圖像特征信息，第一個3×3卷積模塊輸出特征維度為128×128×128，第二個3×3卷積模塊輸出特征維度為64×64×256。

步驟2：圖像轉換。采用6層殘差塊使圖像特征向量從原域轉換到目標域，通過這種殘差塊的結構，將輸入特征信息傳遞輸出，較大程度上保護特征信息再傳遞過程的完整性和一致性。經過殘差網絡后輸出特征維度為64×64×256。

步驟3：特征還原。采用兩層反卷積將輸入的高維特征向量重構為圖像的淺層特征，重建圖像目標屬性和色彩紋理等特征信息。第一層反卷積輸出特征維度為128×128×128，第二層反卷積輸出特征維度為256×256×64。

步驟4：生成圖像。最后一層卷積對步驟3輸出的特征維度調整，得到最終尺寸為256×256×3的生成圖像。

2 仿真分析

2.1 仿真設計

本算法使用NVIDIA GeForce 1080Ti顯卡，在Ubuntu16.04環境中配置Pytorch0.4.1深度學習框架，訓練和測試風格遷移網絡模型。使用CycleGAN網絡算法中提供的1 231對冬-夏季圖片和995對蘋果-橘子圖片，圖像大小256×256。對網絡進行訓練，訓練網絡模型時，批尺寸設定為1，學習率設定為0.000 1，迭代次數為200次，在前100次迭代中保持相同學習率，從100次起學習率線性下降。

為評估生成圖像的清晰度和多樣性，體現風格遷移生成圖像的效果，采用Inception得分(Inception Score, IS)作為評價生成圖像清晰度和多樣性的指標，這里的清晰度并不是指圖像分辨率的高低或圖像邊緣是否清晰，而是指圖像中目標物體的歸類是否清晰，代表生成圖像中目標分類的準確性。生成圖像的多樣性也很重要，傳統GAN易發生模式坍塌，即生成器在與判別器的對抗過程中找到一種能較為容易地騙過判別器的模式，從而生成這種模式圖像的概率會越來越大，導致生成圖像趨于一致而多樣性降低。具體計算公式：

(3)

IS評價指標只考慮生成圖像的質量，無法反映生成圖像與原始圖像之間的特征空間距離分布，因此采用Fréchet Inception距離(Fréchet Inception Distance, FID)作為評估生成圖像與原始圖像之間的特征距離映射關系。具體計算公式如下：

(4)

式中：μr表示原始圖像的特征均值；μg表示生成圖像的特征均值；∑r表示原始圖像的特征協方差矩陣；∑g表示生成圖像的特征協方差矩陣；Tr表示矩陣對角線上元素的總和。當均值之差的平方越小，協方差也越小，它們相加之和FID越小時，說明生成圖片和真實圖片特征越相近，即圖像質量越高。

2.2 仿真結果

本文在1 231對冬-夏季節場景數據集上進行實驗仿真測試，記錄和統計在冬-夏季節場景數據集上MUNIT[9]風格遷移算法、CycleGAN算法和MCGAN算法的實驗結果，結果對比見表1。

表1 冬-夏季節場景數據集仿真結果

從表1仿真結果可以看出，對比現有風格遷移算法，本文提出的MCGAN算法實驗結果在IS和FID評價指標上均有所提高。其中IS評價指標在冬-夏季數據集上，MCGAN算法相較于MUNIT提高15.9%，相較于CycleGAN提高6.2%；在FID評價指標上，MCGAN算法相較于MUNIT提高31.9%，相較于CycleGAN提高25.7%。MCGAN算法在完成所需風格遷移的條件下，在一定程度上提高了生成圖像內容特征的完整性，圖像內容映射過程特征保持不變。CycleGAN網絡和MCGAN網絡在冬-夏的風格遷移結果對比如圖5。

在圖5中，如行(1)可見，CycleGAN網絡生成夏天圖像，圖中右側樹木并沒有遷移為夏天綠色樹木，風格遷移不完整，而MCGAN網絡不僅風格遷移較為完整，細節部分的天空山頂邊緣處特征映射一致。如行(2)可見，CycleGAN網絡生成夏天圖像，左邊雪地以及樹木仍舊保持遷移前風格，風格遷移質量不高。而MCGAN網絡遷移的夏天風格較為真實，色彩還原度較高，細節處的雪地和樹木遷移效果也十分優越。如行(3)可見，CycleGAN網絡生成夏天圖像，圖中右側雪地遷移效果不佳，圖像還原度不高，而MCGAN網絡生成夏天圖像更加逼真，雪地遷移為綠地，風格特征遷移較為一致，圖像色彩更加真實，遷移質量較高。

圖5 CycleGAN和MCGAN風格遷移對比圖

在995對蘋果-橘子靜物數據集上進行實驗仿真測試，記錄和統計在蘋果-橘子靜物數據集上MUNIT風格遷移算法、CycleGAN算法和MCGAN算法的實驗結果，結果對比見表2。

表2 蘋果-橘子靜物數據集仿真結果

從表2仿真結果可以看出，對比現有風格遷移算法，本文提出的MCGAN算法實驗結果在IS和FID評價指標上均有顯著提高。其中IS評價指標在蘋果-橘子數據集上，MCGAN算法相較于MUNIT提高5.5%，相較于CycleGAN提高9.3%；在FID評價指標上，MCGAN算法相較于MUNIT提高34.4%，相較于CycleGAN提高24.4%。MCGAN算法在完成既定風格的遷移條件下，保證生成圖像內容特征的一致性。CycleGAN網絡和MCGAN網絡對蘋果-橘子的風格遷移結果對比如圖6。

在圖6中，如行(1)可見，當圖像中包含大量蘋果目標時，CycleGAN對蘋果紋理和邊緣風格遷移效果較弱，內容特征映射出現偏差導致遷移效果不佳，圖像還原度不高。而MCGAN能更好地對多目標圖像進行風格遷移，遷移生成的橘子在色彩及紋理等方面更加真實。如行(2)可見，當圖像背景單一且包含少量目標時，CycleGAN網絡遷移的橘子，由于特征映射出錯導致橘子失真，遷移質量不高，而MCGAN在保證背景遷移一致條件下，遷移生成的橘子更具真實性。如行(3)可見，當圖像前景和背景色彩相差較大時，CycleGAN不能保證對圖像前景和背景遷移效果的一致性，而MCGAN遷移后的圖像，不僅橘子遷移效果較為優越，而且對圖像背景的草地同樣實現較為成功的遷移。

圖6 CycleGAN和MCGAN風格遷移對比圖

3 結 語

為保證風格遷移前后圖像特征信息的一致，確保圖像內容特征一一映射，提高圖像還原度，本文提出MCGAN風格遷移算法，引入多通道特征增強機制，采用多通道獨立并行卷積，最后空間融合方式，提高通道間特征非線性表達能力，增強網絡對圖像內容信息的提取能力，豐富圖像特征，保證圖像特征信息一致，提升風格遷移算法性能，使之更好地應用于自動駕駛、天眼監控和工廠車間等領域，尤其是環境昏暗和天氣惡劣等場景中。后續工作中，將進一步提升風格遷移生成圖像的像素分辨率，提高圖像清晰度。