基于生成對抗網的中國山水畫雙向解碼特征融合外推算法

符 濤 陳昭炯 葉東毅

(福州大學計算機與大數據學院 福州 350108)(1746098280@qq.com)

中國畫簡稱“國畫”,是我國傳統的繪畫形式.山水畫是國畫的一個重要分支,以山川等自然景觀為主要的繪制題材.如何對山水畫進行計算機仿真在圖像處理領域一直是一個富有挑戰性的課題.隨著深度學習的快速發展,將其用于中國山水畫仿真已經成為一個新興的研究方向[1].近期有相關工作[2-4]基于語義標簽圖生成完整的仿真山水畫,而本文則思考山水畫仿真中的一個新問題：輸入一幅山水畫,如何構建一個仿真系統使之能夠模擬山水畫的繪制特點和布局結構進而自動外推出山水畫邊界外的內容,輸出一幅筆觸形態過渡自然、語義內容連貫多樣、畫面視野更加開闊的中國山水畫?本文稱該問題為畫作外推問題.該研究有助于歷史畫作的殘卷分析、基于畫作風格的再創作、輔助畫家進行構思等工作,并可應用于藝術教育、廣告宣傳、影視等領域.

畫作外推是受到圖像外推的啟發而提出的研究問題.圖像外推是指給定一幅無損完整圖像,相關方法分析圖像邊界的輪廓信息及語義內容特征繼而延伸擴充原圖的過程.由于圖像外推的對象是攝影照,屬于真實感圖像,外推的內容需要對人眼產生逼真且自然的效果,因此圖像外推的任務是具有挑戰性的.山水畫外推與圖像外推不同之處在于其外推內容是山水畫,屬于非真實感圖像.非真實感圖像具有畫家獨特的筆觸形態和精心設計的布局結構,其間融入了畫家豐富的思想情感,并賦予其復雜的高層次語義信息,以此留下美好的想象空間和視覺享受,與真實感圖像追求的“極致細節、惟妙惟肖”不同的是,山水畫外推更加強調藝術真實感[5].

迄今為止,針對山水畫外推研究尚未見到公開的文獻報道,相關研究主要是面向真實感圖像的外推,其方法主要以深度學習為主,比較典型的思路是通過生成對抗網(generative adversarial network, GAN)[6]來建模實現的.2018年,Sabini等人[7]提出了一種基于GAN的對抗學習方法來預測圖像邊界之外的內容.該網絡采用生成器和鑒別器的組合,生成器用于生成虛擬的外推圖像,訓練過程中鑒別器用于鑒別生成的外推圖像和原圖像是否一致以幫助生成器生成符合原有圖像分布的外推圖像.該方法能夠粗略地外推簡單自然場景圖像,這表明將對抗學習方法應用于圖像外推是可行的;2019年,Guo等人[8]提出了一種基于結構感知和視覺注意力機制[9]的圖像外推策略,該外推方法包括粗推和精推2個過程,分別進行結構感知性粗略外推和視覺注意性精細外推,該網絡可以預測輸入圖像外推部分的全局結構,但難以生成與輸入圖像結構風格一致的外推圖像且無法獲得具有合理邊界細節的真實感結果;2019年,Lin等人[10]提出了CoCo-GAN模型，其中生成器以空間坐標為條件,通過部件生成圖像；鑒別器通過全局一致性、局部外觀和邊緣交叉連續性來鑒別外推圖像和真實圖像,該網絡能夠感知坐標,將多個已知小塊圖像互不重疊的拼接在一起生成大塊圖像,也即完成一種圖像外推,但存在訓練過程中難以生成完整的圖像以及生成圖像的局部結構會帶有較多斑駁等問題;2019年,Teterwak等人[11]將圖像修復方法應用于圖像外推,發現外推圖像會產生語義不一致的模糊現象,于是在修復網絡中引入了語義條件,加強網絡對外推圖像的語義內容鑒別,該方法在簡單自然場景圖像中可以取得較好的效果,但對一些復雜場景圖像的外推表現得卻不夠理想;2020年,Zhang等人[12]提出了一種圖像外推方法,將注意力機制應用于外推網絡結構,并引入了2階段網絡來提高圖像生成的質量.該方法較以往的外推方法生成的外推圖像在視覺上更為真實,但在局部上仍然會產生扭曲或模糊的現象;2020年,Kasaraneni等人[13]研究了基于GAN的圖像修復的相關工作,發現修復網絡不能很好地應用到圖像外推,反之亦然,故提出了一種既能用于圖像修復又能用于圖像外推的方法,該方法在全局上可以外推出比較合理的圖像結構,但在局部上仍然會產生扭曲或馬賽克的現象;2020年,Hoorick等人[14]在研究前人的圖像外推方法之后,認為GAN在延伸圖像邊界方面有較強的潛力,于是借鑒圖像修復網絡的模型結構設計出一個上下文編碼器和一個鑒別器,并將其作為對抗網絡的博弈雙方以完成圖像外推.同時,還將L2正則化項作為損失函數的一部分以提高上下文編碼器的生成圖像質量,該方法可以基本學習到圖像的淺層特征,但外推方式僅僅是簡單的復制黏貼;2021年,Wang等人[15]提出了一種基于草圖引導的圖像外推方法,允許用戶獲得個人定制的外推結果.該方法首先采用整體對齊模塊使得外推部分逼近全局視圖;其次,利用草圖對齊模塊使得外推部分反向生成的草圖與訓練時提供的草圖一致.通過草圖指導的方式,生成器會更加關注細節,并對指導草圖敏感.該方法需要借助草圖標簽安排好整個圖像全局尺度上的布局,生成結果在多樣性方面表現欠佳.

從以上分析可知,基于生成對抗網的圖像外推方法具有可行性和一定的效果,但外推結果會產生語義內容不一致的扭曲、模糊、斑駁以及馬賽克等現象,并且上述工作主要是針對自然場景攝影照片進行的,未涉及山水畫獨有的紋理結構和布局特點.中國山水畫是對自然山水的抽象和藝術化的表達,落筆前要勾勒出山水畫大致的輪廓,安排好全局尺度上的布局;后續山石、云水和植被是山水畫的3個主要構成因素,其中又以山石為重,畫家構造多種皴法來表現山石紋理特征及其植被形態,這是第2個尺度上的描繪;最后還會對山水畫進行細節上的點綴、局部線條的豐富,這是小尺度上的細化.由于中國山水畫這種布局和多尺度的藝術表現手法與自然攝影照片有很大的不同.因此,要實現山水畫外推的關鍵是如何加強對山水畫布局特征和不同尺度語義信息的學習和模擬,使得山水畫外推部分既和原有內容語義相關聯,又能符合山水畫的布局特點,同時在不同尺度語義內容表現上更合理、自然.

本文針對山水畫外推這一新問題,提出了一種可以模擬畫家的繪制特點和布局結構、實現大幅畫作生成的中國山水畫外推算法.算法基于GAN的框架,設計并訓練了一個新的雙向解碼特征融合網絡(bidirectional decoding feature fusion generative adversarial network, BDFF-GAN),主要包含以下2個方面的工作：其一,提出了一種新的雙向解碼特征融合生成器UY-Net.UY-Net在現有U型網絡(U-Net)生成器[16]的基礎上增設了一個多尺度解碼器,增強了不同尺度特征之間的連接交融,同時每一層雙向解碼的結果還通過條件跳躍連接進一步相互融合,以利于山水畫不同尺度的語義特征和紋理特征的傳遞與學習;其二,設計并采用了全局鑒別器和局部鑒別器[17]相結合的鑒別器網絡結構.全局鑒別器將整幅山水畫作為輸入來控制外推結果的全局一致性,局部鑒別器將山水畫邊界周圍的小區域作為輸入來提高布局結構的連貫性和小尺度內容的生成質量.

實驗結果表明,本文算法生成的外推山水畫能較好地模擬山水畫的筆觸形態、布局結構等多尺度內容,不僅能夠保持語義的連貫性,還可以在不同語義內容間進行合理的過渡,特別是在多次遞歸外推的結果上有比較明顯的體現.此外,本文還設計了一種新的用戶交互方式以實現布局可控的外推效果,該方式通過邊界引導線的方式控制外推部分的輪廓走向,擴展了上述BDFF-GAN網絡的生成多樣性和應用互動性.

1 算法思想

1.1 算法工作流程圖

本文算法的工作流程如圖1所示,用戶輸入一幅山水畫,經過本文訓練的BDFF-GAN網絡,外推出山水畫左右2邊界外的內容,輸出一幅筆觸形態過渡自然、語義內容連貫多樣、畫面視野更加開闊的中國山水畫.上述過程完成了山水畫的1次外推,將山水畫的前一次外推結果再放入本文訓練的BDFF-GAN網絡,可產生山水畫的遞歸外推結果.算法的核心在于BDFF-GAN網絡的結構設計與模型訓練.

1.2 面向山水畫外推的BDFF-GAN網絡分析

GAN由Goodfellow等人[6]在2014年提出,該模型由生成器和鑒別器2個模塊構成,鑒別器計算樣本來自真實訓練數據的概率,生成器生成新樣本來騙過鑒別器,生成器和鑒別器相互博弈,最終使得生成器能夠生成符合訓練數據分布的新樣本.正如引言所述,基于GAN的圖像外推方法對攝影照片的外推具有可行性和一定的效果.有鑒于此,本文借鑒GAN的思想設計了雙向解碼特征融合的網絡結構BDFF-GAN,完成一幅尺幅較窄的山水畫的邊界外推,輸出一幅圖幅較寬、內容協調一致、語義內容過渡自然的山水畫.

從輸入山水畫內核到外推山水畫的生成,BDFF-GAN網絡模型結構的設計需要考慮3個方面:其一,山水畫外推需要維持原圖整體的結構統一,所以要根據山水畫的整體布局合理生成外推內容,即全局一致性;其二,給定的山水畫內核內容需要與外推內容在邊界附近具有相似的語義特征和筆觸形態,即語義連貫性;其三,在完成從輸入山水畫到外推山水畫的生成后,需要保證外推的內容足夠完整、層次足夠豐富、筆觸特點足夠明顯,即山水畫多尺度內容的自然性.

圖2是BDFF-GAN網絡的原理圖,網絡訓練輸入的是以原作山水畫x經過掩碼Mask作用后的輸入山水畫Image和掩碼Mask構成的二元組z=Image+Mask(參見圖6),雙向解碼生成器G學習輸入山水畫Image的布局結構特征和筆觸形態等多尺度信息,生成符合輸入山水畫Image特征分布、輪廓線條勾勒皴擦的外推山水畫G(z).鑒別器D從山水畫整體布局、局部線條等方面判斷生成的外推山水畫G(z)是否為原作山水畫x,并輸出外推山水畫G(z)為真的概率值，當該值大于1/2時,鑒別器D認為生成結果G(z)為真;當該值小于1/2時,鑒別器D認為生成結果G(z)為假;當該值等于1/2時,此時生成器G的生成結果G(z)無論是在整體布局還是筆觸形態等各方面都非常接近原作山水畫x,鑒別器D無法判斷生成的外推山水畫G(z)是真是假,雙向解碼生成器G和鑒別器D達到納什均衡,訓練過程結束,獲得的雙向解碼生成器G就可用于外推用戶輸入的山水畫左右2邊界外的內容.

Fig. 2 Schematic diagram of bidirectional decoding generator and discriminator of BDFF-GAN圖2 BDFF-GAN雙向解碼生成器和鑒別器原理圖

為了保證外推山水畫和原作山水畫的語義內容、筆觸手法等多尺度信息的一致性,本文使用L1正則化項對外推山水畫和原作山水畫的相似性進行約束.最終本文山水畫外推網絡損失函數outBDFF-GAN設計為

(1)

其中,Mask代表掩碼,x代表原作山水畫,z代表原作山水畫經過掩碼Mask作用后的輸入山水畫Image和掩碼Mask的二元組,G(z)表示生成器生成的外推山水畫,D(x)表示x為原作山水畫的概率,D(G(z))表示G(z)為原作山水畫的概率,λ表示正則系數,‖ ‖1代表L1正則化,°代表圖像像素間的點乘.

上述基于GAN的深度網絡結構、改進的雙向解碼生成器UY-Net、全局和局部相結合的鑒別器以及考慮了內容一致性的損失函數形式,使得本文的BDFF-GAN模型能夠較好地滿足山水畫外推預想的要求.

2 網絡結構設計

圖5為本文所設計的雙向解碼特征融合網絡結構BDFF-GAN.其中,雙向解碼生成器UY-Net網絡學習和模擬山水畫的不同尺度語義內容用于生成外推山水畫;鑒別器網絡包含一個全局鑒別器和一個局部鑒別器,用于引導雙向解碼生成器生成的外推山水畫在整體布局結構和局部細節上更加接近原作山水畫.下面具體分析生成器和鑒別器的設計過程.

Fig. 3 Comparison of differences between landscape photography and Chinese landscape painting圖3 山水攝影照與中國山水畫的差異對比

2.1 山水畫的特點及網絡設計思路

正如引言中所述,中國山水畫與山水攝影照片不同,在布局和多尺度表達上有著獨特的方式和技法.以圖3為例,以往用于外推的山水攝影圖大多類似圖3(a)的形態,布局比較隨意自然、山水紋理比較單一,細節層次感不夠豐富,因此針對山水攝影照片的外推算法在布局和多尺度表現上無需有較高的要求,就可達到較好的效果;觀察圖3(b)中的山水畫,可以看出山石、云水以及植被的布局錯落有致,畫面主體為山峰,布局上有著清晰的山形輪廓,其間又采用荷葉皴的技法來體現山的筋脈,同時還夾雜著一些短線條增強巖石紋理,這種整體布局上的藝術性和多尺度的表現方法就需要外推模型考慮更多的因素.

本文正是著眼于此,在生成器的設計方面提出了多尺度關聯的跳躍連接方式,同時采用雙向解碼的方式進行尺度的互補和融合;在鑒別器設計上采用全局鑒別器和局部鑒別器相結合的方式,既考慮在整體布局結構上的學習能力又兼顧局部范圍細尺度的特征刻畫.

2.2 現有生成器的不足分析

現有GAN的生成器常通過引入一系列的卷積神經網絡(convolutional neural network, CNN)[18]來做無監督訓練,利用其良好的特征提取能力提升生成網絡的學習效果,使得GAN能夠在大規模數據上學習到一系列有用的特征.而在山水畫的外推問題上,山石、云水、植被等對象就是一系列的結構和語義特征,網絡生成的外推山水畫需要具備和這些對象特征相似的結構,而不能是其他隨意的特征.雖然CNN具備這種特征提取和學習的能力,但是多次的卷積操作會丟失部分山水畫較小尺度的結構信息;其次,山水畫具有特定的紋理特征和布局結構,山石、云水以及植被等自然景物都是經過畫家精心設計的景物造型,被賦予復雜而豐富的高層次語義信息,注重輪廓線條和語義內容之間的一致性,除了保證外推部分不同語義內容之間合理的過渡之外,還要求外推內容的紋理細節和輪廓線條與輸入山水畫具有相似的粒度感和線條感,因此單純的CNN結構難以滿足這些要求.

2015年,Ronneberger等人[16]提出了對稱式的U型長連接U-Net網絡模型,該模型采用的是編碼器和解碼器相結合的網絡結構,并在編碼器和解碼器的同層添加了長連接.這種U型結構的編碼器可以捕獲訓練樣本的語義信息；解碼器可以對訓練樣本進行準確定位；中間的長連接能夠結合編碼器和解碼器同層的語義特征,特征提取效果超過了CNN[19-20],不少基于GAN的圖像生成模型都采用U-Net網絡作為生成器模型.

為了測試U-Net生成器在山水畫外推中的性能,本文在GAN網絡中將U-Net作為生成器模型用于山水畫外推,生成結果如圖4所示.可以看出,該網絡學習到了山水畫的部分語義特征,但在其筆觸手法和布局結構上表現得還不太理想,外推部分的植被等尺度較小的對象均存在輪廓和線條呈馬賽克的現象,同時兩側的景物布局較為緊湊,整幅山水畫失去了藝術真實感.

Fig. 4 Shortcomings of the U-Net generator in the extrapolation of landscape painting圖4 山水畫外推中U-Net生成器的不足

Fig. 5 Schematic diagram of BDFF-GAN in the extrapolation of Chinese landscape painting圖5 中國山水畫外推中BDFF-GAN示意圖

分析發現,隨著網絡層數的加深,U-Net網絡編碼器中多次的卷積和下采樣操作會丟失部分結構信息;其解碼器每一層融合的編碼器同層尺度的語義特征不足以恢復山水畫的細節紋理等細粒度特征.因此,為了加強網絡對山水畫不同尺度語義特征與紋理特征的傳遞與學習,本文基于尺度增強學習的思路設計了雙向解碼生成器UY-Net,如圖5所示.

2.3 UY-Net雙向解碼生成器結構設計思路分析

UY-Net雙向解碼生成器是由編碼器和解碼器2部分構成的.主要設計思路是增強不同尺度特征的傳遞、學習和交融.

2.3.1 多尺度解碼器結構設計

為了加強網絡對山水畫特征的解碼能力和山水畫不同粒度的語義特征與紋理特征的傳遞與學習,本文基于U-Net在解碼器部分增設了一個多尺度解碼器,構建了橫看呈“Y”型的雙向解碼結構的UY-Net生成網絡,如圖5所示.Y型雙向解碼結構在編碼器部分增加不同尺度特征層的交叉組合,UY-Net的上分支解碼器部分基本保留U-Net原有結構,不同的是每一個解碼層都融合了來自下分支解碼器部分(多尺度解碼器)的內容;多尺度解碼器選擇編碼器相鄰不同尺度層的特征進行融合,一系列跨層的短連接和長連接較好地彌補了U-Net解碼器跳躍層忽略的信息.這一雙向解碼結構不僅增強了對原有編碼器的解讀能力,還有利于加強山水畫不同粒度特征在不同層之間的傳遞與學習.

2.3.2 條件跳躍連接

在UY-Net生成器中,為了加強U-Net編碼器和多尺度解碼器之間的信息溝通和融合,本文通過設計一個稱為條件跳躍連接(conditional skip connection, CSC)的結構來實現,多層細化每個解碼尺度所需的山水畫特征.與U-Net中的跳躍連接不同的是,CSC既關注編碼器的同層信息又關注其前一層特征,用于補充和恢復山水畫不同尺度的特征.

例如,圖5中U-Net解碼器的每一層特征是由同層編碼器特征、本層解碼器特征、同層多尺度解碼器特征所拼接而成.本層解碼器特征是對該尺度山水畫特征的解讀,由于編碼器每一層的卷積操作會丟失部分山水畫結構信息,因此同層編碼器特征可以恢復山水畫該尺度的整體結構信息但不足以恢復局部細節信息;而多尺度解碼器融合了編碼器同層和前一層的山水畫特征,使得山水畫不同粒度的特征得到一定的補充和恢復.

圖5中BDFF-GAN的生成器總共10層,各層卷積核均采用標準的4×4規格,具體參數詳見表1.在4.4節的消融實驗中可以看出,UY-Net在處理山水畫方面與U-Net相比有比較明顯的性能提升.

Table 1 Parameters of UY-Net Generator

2.4 鑒別器結構設計

傳統GAN網絡模型的鑒別器通常只包含一個全局鑒別器,只能用于判斷輸入山水畫的全局語義信息,但在本文的山水畫外推問題中,為了增強山水畫的藝術真實感,還需要考慮山水畫的輪廓線條和紋理結構等尺度信息.據此，本文在全局鑒別器的基礎上增加了一個局部鑒別器,將山水畫內核內容與外推內容邊界周圍的小區域作為鑒別內容來提高整幅山水畫小尺度細節內容的生成質量.全局鑒別器和局部鑒別器的結合,加強了全局語義信息和局部細粒度信息的相關性,使得鑒別器網絡更傾向于從山水畫多尺度信息的相似性來判斷圖像的真假,提高了外推山水畫的質量.

如圖5所示,整個鑒別器結構由一個全局鑒別器和一個局部鑒別器組成.全局鑒別器共6層,局部鑒別器共5層,最后全局鑒別器和局部鑒別器通過一個連接層融合輸出.鑒別器網絡的每一層均采用標準的5×5卷積核,具體各參數詳見表2和表3所示:

Table 2 Parameters of Global Discriminator

Table 3 Parameters of Local Discriminator表3 局部鑒別器參數

3 網絡訓練集生成與訓練策略

3.1 山水畫數據集的收集與預處理

本文研究的是中國山水畫的外推,需要從網絡上搜集足夠多的山水畫來訓練BDFF-GAN網絡.然而網絡直接獲取的山水畫存在分辨率較低和題字印章等問題,為了得到滿足要求的山水畫,就需要使用專門的圖像處理工具去除山水畫數據集中的非自然景觀,同時還要刪除內容不清晰的畫作,最終得到“青綠”“淺絳”“水墨”3種色彩風格的山水畫.本文使用的外推網絡模型,無論是生成器還是鑒別器,其內核是1個卷積神經網絡,如果輸入的山水畫圖像大小不一致,卷積核的感受野獲取的信息就會存在差異.因此,本文將數據集中的圖像尺寸均調整為128×128像素大小.

Fig. 6 Preprocessing flow chart of Chinese landscape painting圖6 山水畫預處理流程圖

3.2 網絡訓練策略

為了促進和穩定BDFF-GAN網絡訓練過程,本文采用3階段的訓練方式.3階段訓練的損失函數分別如下：L1(x,z)用于約束生成器生成的外推山水畫與原作山水畫保持一致;LD(x,z)用于鑒別雙向解碼生成器生成的外推山水畫和原作山水畫;LG(x,z)用于對抗性地訓練雙向解碼生成器和鑒別器.α是一個權衡L1(x,z)和LD(x,z)的可調超參數,具體公式為：

L1(x,z)=‖Mask°(G(z)-x)‖1,

(2)

LD(x,z)=-lnD(x)-ln(1-D(G(z)))，

(3)

LG(x,z)=L1(x,z)-α·lnD(G(z))，

(4)

第1階段訓練雙向解碼生成器,根據L1(x,z)損失的變化來更新生成器的權重;第2階段訓練鑒別器,根據LD(x,z)損失的變化來更新鑒別器的權重;第3階段用于對抗性地訓練雙向解碼生成器和鑒別器,分別根據LG(x,z)損失和LD(x,z)損失的變化來更新雙向解碼生成器和鑒別器的權重.

4 實驗結果與分析

4.1 實驗環境配置

本文在Google Colaboratory平臺下處理山水畫的訓練數據,并在預處理后的數據集上訓練山水畫外推網絡BDFF-GAN,Batch的大小為16,訓練方式采用的是由生成器優化、鑒別器優化以及生成器與鑒別器對抗優化組成的3階段訓練方式,3個階段的迭代次數分別為7 000次、4 000次以及1 000次,總計12 000次;網絡測試1幅山水畫需要花費1.6 s左右的時間.在Tensorflow實驗環境下配置GPU Tesla K80,使用Adam優化器,權衡L1(x,z)和LD(x,z)的可調超參數α=0.000 4.

本次實驗共獲得山水畫1 426張,其中包含“青綠”“淺絳”“水墨”3種色彩風格的山水畫.其中1 226張用作訓練集,剩下的200張作為測試集.

4.2 本文山水畫外推結果展示與分析

4.2.1 本文算法單次外推結果

單次外推結果主要展示模型在輸入山水畫近端的學習效果,有原作圖像可作比較.圖7分別選擇了“青綠”“淺絳”“水墨”3種風格的山水畫,展示了它們應用本文BDFF-GAN網絡的外推效果圖.對比原作山水畫可以看出,輸入山水畫的外推部分與原作在內容上是有差異的,網絡對測試數據的外推預測不可能與原作完全一致是合理的,雖然內容有差異但是外推部分在筆觸手法上較為接近原作,同時空間結構布局較為合理,整幅山水畫在語義內容、風格上都保持了較好的過渡性和一致性.表明BDFF-GAN網絡在輸入山水畫近端的學習和外推的效果較好.

Fig. 7 Single extrapolation effect by the proposed algorithm圖7 本文算法山水畫單次外推效果

Fig. 8 Acquisition of network test data圖8 網絡測試數據的獲取

正如引言所述,山石、云水以及植被是山水畫的3個主要繪制內容,為了從客觀上評估山水畫外推效果,本文首先采用引入Rosenfeld等人[21]提出的粗糙度指標衡量山石、云水以及植被3類繪制內容在外推山水畫與原作山水畫上的差異.該指標通過計算每個類別像素點水平和垂直方向灰度變化最大鄰域的均值差值,以反映類別的紋理信息.3個類別分割圖的獲取采用了文獻[2]提出的語義關聯的顏色像素聚類分割方法.

表4展示了外推山水畫與原作山水畫分別在山石、云水和植被上的粗糙度對比,可以看出本文的外推山水畫在紋理的粗糙度上與原作山水畫的差異較小,表明本文算法在3類繪制內容上與原作山水畫的筆觸和紋理結構是相類似的.

Table 4 Comparison of the Roughness Between the Original and the Extrapolated Result in the Three Types of Objects in Fig.7

4.2.2 本文算法遞歸外推結果

本文算法還可進一步用于山水畫的遞歸外推,將1幅n×n大小的山水畫作為輸入,通過BDFF-GAN網絡,預測其左右2邊n×m大小內容,產生n×(n+2m)大小的外推山水畫;將前一次外推結果再放入BDFF-GAN網絡,產生下一次遞歸外推結果.遞歸外推結果展示的是模型對輸入圖遠端的學習和生成效果,更能反映模型對山水畫布局規律的學習效果和多尺度信息與布局的融合自然性.

圖8展示用于測試的非訓練集手繪山水畫,以及遞推生成中輸入圖的截取過程.大小為128×128的原作是在手繪山水畫中通過下采樣得到的,所得數據放入BDFF-GAN網絡進行遞歸測試.圖9展示山水畫遞歸外推3次后的效果,其中n=128和m=32.可以看到,圖9(a)外推出原作中不存在的內容,圖9(b)和圖9(c)推出與原作不同的內容,且其語義和筆法都較為一致和自然,表明網絡較好地學習到山水畫的布局規律以及邊界語義特征和輪廓信息,可以較為自然地模擬山水畫中山石、云水以及植被等自然景物特征.第1次外推后的語義內容與其相鄰部分保持高度一致,即山石連接山石、云水連接云水等;同時,隨著遞歸次數的增加,山水畫的外推內容能夠在不同語義內容間合理、自然的轉換形成錯落有致的布局,如圖9(b)右側中的山石過渡到云水等,3次遞歸外推的結果與輸入的山水畫相比更加氣勢磅礴、內容呼應連貫、布局錯落有致以及在不同尺度的筆觸形態上也能做到統一和諧.

Fig. 9 Recursive extrapolation effect of landscape painting of proposed algorithm圖9 本文算法山水畫遞歸外推效果

4.3 本文算法與其他算法的外推結果對比

為公平起見,本文選擇比較的論文是已開源的文獻[7,11,14],其余相關論文由于未開源暫時無法比較.

4.3.1 單次外推結果對比

本文算法與其他算法的單次外推結果對比如圖10所示.可以看出,文獻[11]算法的生成結果基本丟失了山水畫的語義特征,輪廓信息可以看到馬賽克似的圖案,整幅山水畫基本失去了藝術真實感;文獻[7]算法生成結果的景物紋理細節特征較文獻[11]算法為好,但仍然存在外推內容不清晰等問題;文獻[14]算法有一定的學習山水畫特征的能力,但其生成結果在語義內容和紋理細節方面表現得不夠理想,外推內容無法完整地體現出山水畫的多尺度特點;而本文算法生成的外推山水畫不論是在整體布局還是在多尺度特征的效果上都優于前3種算法,更具有藝術真實感.圖10中矩形框部分對比效果更明顯.

Fig. 10 Comparison of single extrapolation results between the proposed and other algorithms圖10 本文算法與其他算法單次外推結果對比

本文采用結構相似性(structural similarity, SSIM)和峰值信噪比(peak signal to noise ratio, PSNR)這2個指標[22]進一步評估本文算法與其他算法的山水畫外推效果.SSIM是一種分別從亮度、對比度、結構3方面度量圖像相似性的圖像質量評價指標,取值范圍在0～1之間,其值越大表示圖像失真越小,圖像質量更好;PSNR常作為一個衡量圖像失真的客觀標準,其值越大,圖像保真性越好.表5展示了本文算法與其他算法的外推山水畫與原作山水畫之間的SSIM值以及PSNR值.可以看出除了1項PSNR指標外,本文算法較文獻[7,11,14]算法更優.

Table 5 Comparison of the Results of the Proposed and Other Algorithms on the Two Indicators in Fig.10表5 本文算法和其他算法結果在圖10的2項指標上的對比

Fig. 11 Comparison of the recursive generation effects of the proposed and other algorithms圖11 本文算法與其他算法遞歸生成效果對比

4.3.2 遞歸外推結果對比

圖11展示了本文算法和其他算法3次遞歸外推后的結果.可以看出,隨著遞歸次數的增加,文獻[11]算法生成的遞歸外推山水畫多處語義特征的丟失現象更明顯,外推內容越來越模糊,不能在不同語義內容間合理、自然的轉換,整幅山水畫失去了完整性、連貫性,不僅難以完成布局上的外推,在多個尺度上信息無法生成;文獻[7]算法生成結果基本能夠合理的過渡,但仍存在外推內容模糊、山水畫內容整體不連貫等問題;文獻[14]算法基本學習到山水畫的一些淺層特征,但在山水畫的布局方式和語義內容過渡方面表現較差,其遞歸外展方式僅僅是機械式的復制黏貼;而采用本文算法在布局和多尺度特征外推上均表現較好,隨著遞歸次數的增加,山水畫外推的不同語義內容仍然能保持較好的過渡性和協調一致性,并保證整幅山水畫的連貫性,且在不破壞山水畫整體性的情況下擴大了山水畫的視野范圍.圖11中矩形框部分對比效果更明顯.

4.4 UY-Net生成器的消融實驗分析

本文設計的UY-Net生成器具有雙向解碼及不同尺度特征融合的特點,為了驗證該生成器的效果,在整個算法中僅將生成器模塊UY-Net替換為U-Net,進行消融實驗對比.

4.4.1 單次外推結果對比

采用UY-Net生成器和U-Net生成器的山水畫外推結果如圖12所示.可以看出,U-Net生成器基本學習到了山水畫的繪制特點與布局方式,但外推內容仿佛披了一層輕紗,其能夠填補合理的語義結構但是在視覺上不能取得令人愉悅的感受;而UY-Net生成器融合了山水畫不同語義內容特征,以多尺度的方式恢復山水畫的紋理、線條等細粒度特征,一定程度上緩解了U-Net生成器所造成的不清晰問題.

為進一步量化這2種方法在生成效果上的差異,本文采用基于圖像平均梯度的清晰度指標對比其生成效果.一般而言,圖像平均梯度越大,表明圖像的層次越豐富、也更清晰.表6展示了2種生成器結果的圖像平均梯度值,可以看出UY-Net生成器的生成效果在大多數情況下優于U-Net.

Fig. 12 Comparison of UY-Net and U-Net generator effects圖12 UY-Net和U-Net生成器效果對比

Table 6 Comparison of the Clarity of the Two Generators in Fig.12

4.4.2 遞歸外推結果對比

圖13展示了UY-Net生成器和U-Net生成器3次遞歸外推結果.可以發現,隨著遞歸次數的增加,U-Net生成器的結果靠近外側的部分逐漸模糊,在不同語義內容間不能很好地保持整幅山水畫的協調一致性,多次遞歸外推后不僅沒有增強山水畫的藝術真實性,反而破壞了山水畫的整體性;而本文設計的UY-Net生成器的外推效果在整體布局和多尺度方面都有較為明顯的提升.

Fig. 13 Comparison of recursive effects between UY-Net generator and U-Net generator圖13 UY-Net生成器和U-Net生成器的遞歸效果對比

5 布局可調的BDFF-GAN網絡及效果分析

5.1 布局可調的BDFF-GAN網絡

Fig. 14 Schematic diagram of BDFF-GAN network modeling with adjustable layout圖14 布局可調的BDFF-GAN網絡建模示意圖

上述BDFF-GAN網絡在應用時只能輸出1幅外推圖,缺乏多樣性和用戶參與的互動性.有鑒于此,本文進一步擴展了網絡的交互方式,引入了一種邊界弱引導的外推布局可調形式,具體方式是用戶給出外推部分的山石邊界引導線,網絡生成外推圖時會以用戶給出的線條作為山石部分的邊界線,其余部分則由算法自主生成.這種方式即可控制外推部分大致的布局走向,又不至于過度限制網絡的外推意向;而對用戶而言,僅僅提供簡單的線條也不會造成過多的負擔,又能在應用中豐富山水畫的多樣性和趣味性.

使用山石邊界線引導外推部分生成是一種有限制的山水畫外推問題,本文引入條件生成對抗網(conditional adversarial generative network,CGAN)[23]的思想,把帶有山石邊界引導線的輸入圖作為一種條件信息,和BDFF-GAN共同構成布局可調的網絡結構,其總體網絡結構建模示意圖如圖14所示.網絡訓練建模過程中在原有的輸入z的基礎上,增加了原作山石粗邊界作為訓練輸入,以學習輸入圖內核的山水畫特征以及外推部分的引導線分布,外推出與原作相同筆觸形態和山石邊界的結果圖像.

5.2 實驗結果與分析

圖15展示了配合不同的邊界引導線的同幅輸入山水畫內核經過已訓練好的布局可調BDFF-GAN網絡得到的多樣化外推結果.可以看出,在輸入圖邊界引導線出現之處,外推圖都對應著山脊線或山石輪廓,其余部分則由網絡自主推出,表明引導線能夠恰如其分地控制布局走向,但又不過多干涉其他外推內容.布局可調的BDFF-GAN網絡增加了山水畫外推的藝術多樣性和交互性.在現實生活中可將其應用在藝術繪畫布局構思、仿真創作等方面.

Fig. 15 Diversified extrapolation results of BDFF-GAN network with adjustable layout圖15 布局可調的BDFF-GAN網絡多樣化外推結果

6 結束語

本文基于GAN設計一個新的雙向解碼特征融合的BDFF-GAN網絡,通過此網絡可以實現大幅中國山水畫的生成.為增強山水畫不同尺度特征的傳遞與學習,在現有U-Net網絡的基礎上提出一種雙向解碼特征融合的生成器UY-Net.同時,為提高外推山水畫的生成質量,設計并采用全局鑒別器和局部鑒別器相結合的鑒別器網絡結構.實驗結果表明,本文提出的BDFF-GAN網絡能夠以多尺度的方式融合山水畫的邊界語義特征和輪廓信息,較自然地模擬山水畫中的不同語義內容、細節特征和筆觸形態,保持整幅山水畫的語義連貫性和不同語義內容間合理的過渡,且在不破壞山水畫整體性的情況下擴大了山水畫的視野范圍,增強了山水畫的觀賞效果.雖然本文算法生成的外推山水畫相對真實,但仍有需要深入研究和改進的地方,如圖9中外推部分與輸入部分的清晰度不一致、圖7(a)中外推部分瀑布結構的不完整性等問題.此外,本文設計外推邊界引導線的交互形式,實驗表明能夠擴展上述BDFF-GAN網絡的生成多樣性和應用互動性.后續工作將考慮在網絡結構設計方面借助時間卷積網絡(temporal convolutional network, TCN)[24]的思想,例如在UY-Net生成器中引入殘差網絡和門卷積來增強網絡學習能力,提升山水畫遠端的外推效果,并更多地收集不同風格的山水畫作,結合圖像融合的思想對山水畫的長卷生成進行研究;同時,也會借鑒文獻[25]提到的基于結構感知的特定目標移除工作,進一步完善本文所設計引導線的功能,以實現更復雜的山水畫外推效果.

作者貢獻聲明：陳昭炯負責收集了重要的背景信息,并組織符濤、葉東毅參與本研究課題的確定;陳昭炯和葉東毅協助符濤進行了數據的采集與處理、實驗設計以及實驗數據的分析;符濤起草了手稿,陳昭炯和葉東毅對手稿進行修訂并確定終稿;全體作者對本研究課題的國內外研究現狀進行梳理并確定本課題的研究方法.