基于最強引力的空間非對齊圖像數據風格遷移

劉洪麟,帥仁俊,陶 靜,張秋艷

1(南京工業大學 計算機科學與技術學院,南京 211816) 2(南京工業大學 經濟與管理學院,南京 211816)

1 引 言

圖像風格遷移是一種使用卷積神經網絡將一張圖片的語義內容與不同風格的圖片融合起來的技術[1].圖像風格遷移已經在影視和游戲領域有了較為廣泛的應用,比如Prisma相機、電影特效和游戲場景設計.電影《Come swim》中的情節是一半現實和一半夢境,夢境的畫面就是經過該技術處理后得到,這種方法得到的渲染方式顯然比直接運用電腦繪制具有更高的性價比.就此制片方還寫了一篇題為《運用神經風格轉移實現印象派風格在電影“Come Swim”中的應用》的論文.該技術目前使用較多的損失函數有L1、L2和Gram損失,前兩者是逐像素損失函數,后者是全局損失函數.在圖像風格化任務中,這些損失函數的使用會出現很多問題,其中主要出現的問題是圖像風格化不徹底和風格化區域選擇錯誤.

針對上述問題,本文提出了一種最強引力損失函數,使用該損失函數替換風格化技術中的所有損失函數.替換后生成圖片的質量有較為明顯的提升,為上述問題提供了較好的解決方案.

2 背 景

2.1 相關工作

目前,有很多著名的學者在圖像風格遷移方面進行研究.基于深度學習的圖像風格化是源于Gatys等人[2]的研究工作.他們運用卷積神經網絡取得了很好的紋理合成效果.同時,他們又考慮如何運用卷積神經網絡將一張圖像的紋理遷移到另一張圖片上.于是,他們提出了一種藝術風格的神經網絡算法[3].Risser[4]等人在Gatys的基礎上添加梯度直方圖損失進行約束,紋理合成和風格遷移的效果均優于Gatys的算法.Li等人[5]使用MRF(馬爾科夫隨機場)損失函數替換Gram損失函數,利用MRF的空間布局限制,提高生成圖像的質量.Johnson等人[6]使用感知損失訓練一個前置轉換網絡,圖片風格化的速度提升了3個數量級.但網絡每次只能轉換一種風格,如果要切換風格,必須重新訓練轉換網絡.

2.2 相關理論

圖像風格遷移即使一張普通的圖片具有另一張圖片的風格,其基本原理為:假設給定了一張內容圖片c和一張風格圖片s,生成一張圖片g.g圖片在內容上與c相似,風格上與s相似.其中使用了VGG-19網絡提取圖片的內容與風格,該技術的原理如圖1所示.

圖1 風格遷移原理圖Fig.1 Schematic diagram of style migration

卷積神經網絡每層的輸出為若干個特征圖(Feature map),本文用al表示l層卷積神經網絡的輸出.根據Gatys等人的研究,使用Gram矩陣可以提取圖片的紋理特征,即風格[7].生成圖g與圖片c與的內容損失為:

(1)

G(al)為Gram計算,生成圖g與圖片s的風格損失為:

(2)

則總損失函數為:

Ltotal=Lcontent+Lgram

(3)

基于迭代優化的圖像風格遷移方法步驟如下:

Step1.隨機初始化g,即隨機選取像素的白噪聲圖作為VGG-19的輸入;

Step2.求出整體損失函數Ltotal;

Step3.使用梯度下降法優化方法最小化總體損失函數Ltotal的值;

Step4.如果Ltotal收斂或小于指定閾值,則停止迭代;否則轉step2.

3 方法實現

3.1 高維度特征點選取

特征圖al為VGG-19的第l層的輸出,其形式為[nH,nW,nC],nH、nW和nC分別為特征圖的高、寬和通道數.令i=nH,j=nW,k=nC.根據公式(2),使用不同通道的特征進行Gram矩陣計算可以提取圖片的風格.本文高維度風格特征點選取

圖2 高維度特征點選取Fig.2 High-dimensional feature points selection

方法如圖2黑色立方體部分所示,(i,j)位置特征點表達形式為(aij1,aij2,aij3,…,aijk),其中al共有i*j個高維度風格特征點.同理高維度內容特征點如灰色立方體所示,al中有j*k個高維度內容特征點,其表達形式為(a1jk,a2jk,a3jk,…,aijk).i、j和k均為整數.

3.2 最強引力原理

最強引力方法是將圖片與目標圖片看作是一些高維度特征點的集合,如果兩張圖片相似,則對應高維度特征點也互相吸引.因此,本文提出了引力的概念用來衡量這些高維度點的吸引力程度,示意圖見圖3.圖3中白色圓圈表示生成圖x的高維度特征點,黑色圓圈表示目標圖y的高維度特征點,生成圖x中的所有特征點都會通過黑色箭頭在目標圖y中匹配到與自身引力最強的特征點.圖3(a)中y的所有特征點都被x匹配到,可以稱x與y基本相同.圖3(b)中y的大部分特征點被x匹配到,可以稱x與y相似.圖3(c)中y的極少數特征點被x匹配到,則稱x與y不相似.

圖3 基于最強引力的圖片相似度衡量示意圖Fig.3 Image similarity measurement diagram based on the maximum gravitation

本文提出的最強引力方法主要是受到牛頓萬有引力的啟發:宇宙中每個質點都以一種力吸引其他各個質點,這種力與各質點的質量的乘積成正比,與它們之間距離的平方成反比.圖片中高維度特征點不同于真實物體,不存在質量這一指標,所以本文將生成圖x與目標圖y中高維度特征點的“質量”的乘積設置為常數1,高維度特征點之間的“距離”rij可以如下表示:

(4)

其中ε為修正參數,值為1e-5.dij為xi與yj的余弦距離,表達式為:

(5)

(6)

xi與yj之間的引力Gij表達式為:

(7)

將引力Gij歸一化可得:

(8)

圖片x和目標圖y都是高維度特征點的集合,可以將它們表示為:X={xi}和Y={yj}.令|X|=|Y|=N(若|X|≠|Y|,從較大的圖片中抽取N個高維特征點),則基于最強引力的圖片相似度衡量公式可以表示為:

(9)

3.3 最強引力損失函數

根據本文提出的最強引力原理,則最強引力損失函數表達式如下所示.其中al(x)和al(y)表示VGG19網絡的第l層輸出的特征圖.

LMG(x,y,l)=-log(MG(al(x),al(y)))

(10)

本文給出的最強引力損失函數不僅適用于內容損失,同時也是用于風格損失.將原風格遷移技術中總體損失函數改進為:

Ltotal=LMG(g,c,lC)+LMG(g,s,ls)

(11)

LMG(g,c,lC)和LMG(g,s,ls)分別表示基于最強引力的內容損失函數和風格損失函數,g為生成圖,c為內容圖片,s為風格圖片.其中lC=conv4_2,ls={conv3_2,conv4_2}[8].

基于最強引力的圖像風格遷移方法步驟如下:

1.隨機初始化g,即隨機選取像素的白噪聲圖作為VGG-19的輸入;

2.在VGG-19的conv4_2層提取內容圖片c的高維度內容特征點,并計算生成圖g與內容圖c的最強引力內容損失;

3.在VGG-19的conv3_2和conv4_2層提取風格圖片s的高維度風格特征點,并計算生成圖g與風格圖s的最強引力風格損失;

4.求出最強引力整體損失函數Ltotal;

5.使用梯度下降法優化方法最小化總體損失函數Ltotal的值;

6.如果Ltotal收斂或小于指定閾值,則停止迭代;否則轉2.

4 實驗結果及分析

4.1 實驗環境

本文的實驗環境是Python3.5.5,處理器為i7-6800K,內存32G,運行Linux操作系統,同時配備GTX1080Ti顯卡,研究方案主要基于開源的機器學習框架TensorFlow.

4.2 實驗結果

為了測試最強引力損失函數在處理空間非對齊圖像數據任務中的魯棒性,本文使用一張具有高斯噪聲的圖片作為輸入,一張空間非對齊的無噪聲原圖作為目標圖片,運用迭代優化進行圖片降噪處理.結果如圖4所示.

圖4 基于最強引力損失函數的空間非對齊圖片降噪結果對比圖Fig.4 Comparison of noise reduction results of spatially non-aligned pictures based on the maximum gravitation loss function

由于L1是逐像素損失函數,用L1對空間非對齊圖像的處理效果很差,所以得到了一張很模糊的圖片.本文提出的最強引力損失函數是基于語義相似的的區域進行迭代優化,無論目標圖片如何變換,該方法的迭代優化策略永遠是麋鹿→麋鹿,草→草,樹→樹.

基于卷積神經網絡圖像增強技術的訓練集是空間對齊的圖像數據,但這種低像素→高像素空間對齊的數據集通常很難獲取.使用本文提出的方法可以降低其對數據集的要求,即使用語義內容相似的低像素→高像素,不必要求圖片嚴格的逐像素對齊.實驗結果如圖5所示.

圖5 基于最強引力損失函數的圖像增強對比圖Fig.5 Image enhancement comparison based on the maximum gravitation loss function

該部分的實驗內容是基于Ignatov[9]的CNN圖像增強架構,數據集來自DPED(DSLR Photo Enhancement Dataset).圖5中(b)馬爾科夫隨機場損失和(c)最強引力損失使用的是空間非對齊圖像數據,(d)使用的是空間對齊圖像數據.因為(d)原損失函數中包含逐像素損失,如果使用空間非對齊數據訓練前置網絡,會造成總損失函數無法收斂的問題[10].本文使用增強圖像和目標圖片計算其PSNR(峰值信噪比)及SSIM(結構相似性)的平均值,其平均值如表1所示.

由表1可以看出,本文的提出的LMG明顯優于LMRF,并且其PNSR和SSIM的值很接近使用空間對齊數據訓練的結果.因此在空間對齊圖像數據無法獲取的情況下,本文的方法提供了一個很好的解決方案.

表1 增強圖像的PNSR和SSIM平均值
Table 1 Average PNSR/SSIM results on enhanced image

損失函數PNSRSSIMLMRF+非對齊圖像數據 17.860.8805LMG+非對齊圖像數據 19.020.8916 原損失函數+對齊圖像數據19.970.9181

上述兩個實驗證明了最強引力損失函數在處理空間非對齊圖像數據任務中具有很好的魯棒性,最后將該損失函數應用于圖像風格遷移技術,結果如圖6所示.

圖6 圖像風格遷移對比圖Fig.6 Image style transfer comparison

Gatys等人的損失函數為Lcontent+Lgram,Li等人的主要損失函數為Lcontent+LMRF,本文使用的是最強引力損失函數.圖6第一行和第二行圖片風格化結果中,Gatys和Li等人的方法出現了風格化不徹底的問題.比如第二行的上海和拉斯維加斯風格化結果中,Gatys和Li等人結果中的大廈都達到了風格化的要求,但是天空明顯出現了風格化不徹底的問題.第三行和第四行風格化結果中Gatys和Li的方法出現了風格化區域錯誤的問題.比如麋鹿和梅花鹿風格化中,Gatys和Li結果里的部分草的顏色變為梅花鹿身上的色彩,風格化區域出現了偏差.Gatys和Li的方法在大部分情況下可以滿足風格化要求,針對上述問題本文特意選取具有干擾性的圖片進行風格化.從圖中可以看出,本文的方法一直表現良好,并沒有出現上述兩個問題,同時也說明了本文為圖像風格化效果不理想問題提供了一個較好的解決方案.

5 結束語

針對圖像風格遷移技術中圖像風格化不徹底和風格化區域選擇錯誤的兩個問題,本文提出了一種基于語義學的最強引力的解決方法.實驗結果證明,該方法能夠很好的處理上述兩個問題,風格化圖片質量有較明顯提升.同時本文對空間非對齊圖像降噪和圖像增強實驗證明,最強引力方法在處理空間非對齊圖像具有很好的魯棒性.本文的方法是通過特征點與特征點之間的迭代優化來最小化損失函數,所以對圖像中物體空間位置限制不足[11].下一步的工作準備將本文的方法與空間偏移方法相結合,以此實現更復雜圖像的風格遷移[12].