基于pix2pix模型的綠化區(qū)域生成方法

蔡春兵

(貝殼找房(北京)科技有限公司，基礎研發(fā)線大前端研發(fā)中心， 北京 100089)

0 引言

如今對于真實世界的三維展示在各個行業(yè)的需求不斷增大，很多三維制作軟件都能制作出非常逼真的場景，但要實現(xiàn)高精度場景的制作需要的人工成本和時間成本都很高。如何通過程序自動處理模型生成過程中的一些環(huán)節(jié)，提高場景制作效率顯得尤為重要。對于一個城市目標區(qū)域的三維建模，其周邊的道路、建筑、水系、山脈等都是基于GIS數(shù)據(jù)進行一定程度的從二維到三維的還原重建。但像綠化之類沒有數(shù)據(jù)依據(jù)又必不可少的部分，都是由美術人員以人工設計來繪制綠化區(qū)域，再生成樹木等綠化，此過程通常需要大量美術人員參與，效率低下。

近年來人工智能在工業(yè)生產(chǎn)、金融、醫(yī)療、教育等領域大放異彩。而生成對抗網(wǎng)絡(Generative Adversarial Networks, GAN)[1]的出現(xiàn)，使得一直被奉為不可替代的藝術創(chuàng)作不可避免地受到人工智能的沖擊。2016年，微軟、代爾夫特理工大學、莫瑞泰斯皇家美術館以及阿姆斯特丹倫勃朗博物館利用人工智能技術歷時18個月完成的“The Next Rembrandt”項目成功復制了倫勃朗的畫作；2017年，由羅格斯大學藝術與人工智能實驗室發(fā)明的創(chuàng)造性對抗網(wǎng)絡(Creative Adversarial Networks, CAN)生成[2]的藝術作品《Edmond de Belamy》在佳士得藝術品拍賣會上以35萬美元的高價成交;2020年，谷歌公司[3]提出的聯(lián)合雙邊實時風格遷移算法可對圖像進行快速藝術化遷移。可見，利用深度學習方法進行藝術創(chuàng)作已是大勢所趨。對于本文綠化區(qū)域的繪制，依靠美術人員進行人工創(chuàng)作太過低效，考慮到GAN模型強大的學習創(chuàng)作的能力，因此使用預訓練的pix2pix[4]模型來自動生成綠化區(qū)域。

1 基本原理

1.1 GAN

2014年，Goodfellow等人[1]受博弈論的啟發(fā)提出了生成對抗網(wǎng)絡。如圖1所示，其模型由生成器G和判別器D組成，其中G的目的是學習真實樣本的分布，生成和真實樣本逼近的樣本，而判別器D則是努力區(qū)分生成樣本和真實樣本。

圖1 GAN網(wǎng)絡模型結(jié)構(gòu)示意圖

生成器G和判別器D通過不斷的對抗訓練，使D能最大概率地正確判別訓練樣本來源，同時使G生成的生成數(shù)據(jù)與真實數(shù)據(jù)的相似度最大化。在訓練優(yōu)化D時，當D的輸入為真實樣本x時，希望D(x)趨于1,當輸入為生成樣本G(z)時，則希望D(G(z))趨于0，即希望1-D(G(z))趨于1，故需極大化模型D。在訓練優(yōu)化G時，輸入只有噪聲z，此時希望生成樣本G(z)通過D后的概率值為1，即希望D(G(z))趨于 1，也就是說希望1-D(G(z))趨于0，故需極小化模型G。這個優(yōu)化過程可以歸結(jié)為一個“二元極小極大博弈”問題，式(1)為其優(yōu)化函數(shù):

minGmaxD VG,D=Ex～Px(x)[log Dx]+Ez～Pz(z)[log1-DGz]

(1)

在訓練模型G和D時，先固定判別模型D，調(diào)整G的參數(shù),再固定生成模型G，調(diào)整D的參數(shù),以此交替迭代，最終達到模型穩(wěn)定。

原始GAN對于生成器沒有任何約束，無法指導圖像的生成。CGAN(Conditional GAN)[5]在原始GAN的基礎上增加了約束條件，控制了GAN過于自由的問題，使網(wǎng)絡朝著既定的方向生成樣本。DCGAN(Deep Convolutional GAN)的提出又將卷積神經(jīng)網(wǎng)絡和GAN結(jié)合起來，使得生成的圖片質(zhì)量和多樣性得到了保證。而后更多的生成對抗網(wǎng)絡，如pix2pix、CycleGAN、BigGAN、StackGAN等如雨后春筍般涌現(xiàn)出來。

1.2 pix2pix

1.2.1 網(wǎng)絡模型

pix2pix實質(zhì)是一個CGAN框架，用于圖像到圖像的翻譯。其與原始GAN的主要區(qū)別在于生成假圖像時，將隨機變量z和圖片x一同作為生成器G的輸入，來生成一張由圖片x翻譯后的假圖G(x,z)。

訓練大致過程如圖2所示。圖片x作為此cGAN的條件，需要輸入到G和D中。G的輸入是{x,z}(其中，z是隨機噪聲，x是需要轉(zhuǎn)換的圖片)，輸出是生成的圖片G(x,z)。D則需要分辨出{x,G(x,z)}和{x,y}。

圖2 pix2pix網(wǎng)絡模型結(jié)構(gòu)示意圖

1.2.2 優(yōu)化目標函數(shù)

pix2pix的優(yōu)化目標包含兩個部分。一部分是CGAN的優(yōu)化目標，如式(2)所示:

LcGANG,D=Ex,y[log Dx,y]+Ex,y[log1-Dx,Gx,z]

(2)

另一部分是L1距離，如式(3):

LL1G=Ex,y,zy-Gx,z1

(3)

增加L1距離的目的是用來約束生成圖像G(x,z)和真實圖像y之間的差異，減少生成圖像的模糊,所以結(jié)合條件對抗損失和L1距離約束，pix2pix最終的優(yōu)化目標函數(shù)如式(4):

G*=arg minGmaxD LcGANG,D+λLL1G

(4)

其中，生成器G的目標是最小化式(4)，判別器D的目的是最大化式(4)，兩者相互對抗，直到平衡。

1.2.3 生成器結(jié)構(gòu)

在pix2pix模型中，生成器的結(jié)構(gòu)并未使用傳統(tǒng)的Encoder-decoder(編解碼器)的模式，而是使用了U-Net[6]。U-Net網(wǎng)絡結(jié)構(gòu)如圖3所示。

圖3 U-Net網(wǎng)絡結(jié)構(gòu)

U-Net是德國Freiburg大學提出的一種全卷積網(wǎng)絡結(jié)構(gòu),其與常見的先降采樣到低維度，再升采樣到原始分辨率的編解碼結(jié)構(gòu)的網(wǎng)絡相比，區(qū)別是加入了跳層連接。U-Net將同樣大小的降采樣的特征圖和升采樣的特征圖按通道拼一起，用來保留不同分辨率下像素級的細節(jié)信息,能夠充分融合特征，達到更好的分割效果，因此U-Net是在圖像分割領域應用非常廣泛的網(wǎng)絡結(jié)構(gòu)。

1.2.4 判別器結(jié)構(gòu)

pix2pix使用L1損失讓生成的圖片與真實圖片盡量相似，用GAN構(gòu)建高頻部分的細節(jié)。既然GAN只用于構(gòu)建細節(jié)，那么就不需要判別器對整張圖片進行判斷，只需讓判別器對圖像的每個大小為N×N的patch做出真假判別,因此pix2pix使用一種叫做patchGAN的結(jié)構(gòu)來作為判別器。

patchGAN在進行判別時，將對一張圖片切割成不同的N×N大小的patch，并對每一個patch做真假判別，最后將所有patch的結(jié)果取平均值作為最終的判別器輸出。這樣不僅D的輸入變小，使得計算量小，訓練速度快。并且因為G是全卷積的，對圖像尺度沒有限制，而D按照patch去處理圖像，也對圖像大小沒有限制,這樣就使得整個pix2pix框架對輸入圖像大小沒有限制，使得pix2pix可以處理不同大小的輸入圖像，增加了其框架的可擴展性。

2 本文方法

2.1 綠化區(qū)域繪制要求

對于室外某一10公里直徑范圍內(nèi)的場景構(gòu)建，通過訪問開源地圖OSM(Open Street Map)獲得的地圖圖像，對其進行預處理生成的8 000×8 000像素的二值圖像，如圖4所示。其中黑色像素區(qū)域為道路、河流和建筑等不能綠化的區(qū)域，白色像素區(qū)域為可綠化的區(qū)域。

圖4 二值地圖圖像

目前，對于綠化區(qū)域的確定還是依靠美術人員，按照美術要求對可綠化的區(qū)域進行繪制，以使綠化后的圖像具有一定的美觀性。綠化區(qū)域的繪制需遵循以下三個原則：

1) 必須避開道路樓棟等建筑區(qū)域；

2) 綠化區(qū)域要具有美工效果，而不是生硬的直線連接；

3) 綠化區(qū)域盡量連成片，以保證后續(xù)在三維空間中植樹后的美觀性。

2.2 圖像翻譯生成綠化區(qū)域

容易發(fā)現(xiàn)對綠化區(qū)域的繪制，也是一個圖像翻譯的過程。如圖5(a)所示，即從包括道路、建筑等的二值圖像A，翻譯為自動避開黑色像素B，在白色像素區(qū)域內(nèi)生成具有美術效果的綠化區(qū)域圖像C。

如圖5(b)所示，本文通過訓練pix2pix模型，學習從A到B的映射，再通過A加上B來得到C，而不是直接學習A到C的映射，簡化了學習任務，使得生成的綠化區(qū)域效果更好。

(a)

2.3 區(qū)域劃分

雖然pix2pix模型對于輸入的圖像大小沒有限制，但是若直接對一副具有8 000×8 000像素大小的圖像進行推理會導致內(nèi)存占用過大，并且目標生成圖像的效果較差，既不能滿足硬件條件限制，也達不到美術要求。

觀察到圖4中的二值地圖圖像明顯被道路、河流等劃分成了許多獨立的區(qū)域，可以對這些獨立區(qū)域單獨進行圖像翻譯，最后再融合各個單獨區(qū)域生成的綠化區(qū)域以達到對整個地圖翻譯的目的。

本文通過使用計算機視覺庫OpenCV對二值地圖圖像的輪廓邊緣進行檢測，實現(xiàn)了獨立區(qū)域的劃分，圖4中的crop 1～3就是劃分后提取出的圖像。獨立區(qū)域的劃分為后續(xù)訓練數(shù)據(jù)集的建立和對單個獨立區(qū)域進行快速推理，奠定基礎。

3 實驗及結(jié)果分析

3.1 數(shù)據(jù)集

可靠的數(shù)據(jù)集對于模型的訓練至關重要，對于本文所要解決的任務并沒有公開數(shù)據(jù)集可供使用，因此本文數(shù)據(jù)集依靠美術人員人工創(chuàng)建。

由于在地圖圖像中，各獨立區(qū)域大小不一，為了在推理時讓網(wǎng)絡適應不同大小的區(qū)域，將制作不同大小的數(shù)據(jù)對模型進行訓練。本文由人工制作了像素范圍在[256,1 024]之間，包括了1 000幅訓練圖像、200幅驗證圖像和300幅測試圖像的數(shù)據(jù)集。部分數(shù)據(jù)集示例，如圖6所示，其中A為源圖像，B為目標圖像。

圖6 數(shù)據(jù)集示例

3.2 評價指標

雖然GAN的衍生模型有很多，但其生成樣本的質(zhì)量一直難以被評估，其常用的評價指標分為客觀評價和主觀評價。

常用的客觀評價指標包括Inception Score(IS)和Fréchet Inception Distance (FID)[7]。其基本原理是對生成樣本與真實樣本提取特征，然后在特征空間做距離度量，綜合評價圖片的質(zhì)量以及多樣性。

主觀評價采用的是人為評價方法，通過人直接對生成的圖像進行質(zhì)量評分，簡單、實用且有效。針對本文所生成綠化區(qū)域的特殊性，采用主觀評價法對生成圖像進行評價。主觀評價滿意度指標如式(5)：

D=NA×B

(5)

其中，A代表參加評價的人數(shù)，B為測試圖像數(shù)量，N為用戶評價的滿意度指標數(shù)量。

3.3 實驗設置

本文基于python編程語言和Pytorch深度學習框架，將pix2pix模型部署到Windows 10系統(tǒng)和顯卡NVIDIA GeForce RTX2080Ti GPU上進行訓練。訓練時，權(quán)重初始化為均值為0，標準差為0.02的高斯分布，學習率設為0.001，并使用Adam優(yōu)化器進行權(quán)值更新。

為了適應不同大小像素的獨立區(qū)域圖像，制作了大小不一的數(shù)據(jù)集，又因在模型訓練時同一batch的數(shù)據(jù)大小必須相同，因此本文將網(wǎng)絡訓練的batch設置為1。

3.4 生成結(jié)果對比分析

為驗證生成模型的可靠性，使用300張測試圖像對預訓練模型進行測試，測試示例如圖7所示，其中A為源圖像，B為美術人員設計的目標圖像，fakeB為由pix2pix模型翻譯生成的綠化區(qū)域圖像。

為了對圖像翻譯的結(jié)果進行評價，由專業(yè)美術人員、普通員工和學生組成的50人團隊，對300張測試圖像的翻譯結(jié)果進行了評價。評價標準如表1所示。

表1 主觀評價標準

如表2所示的評價結(jié)果表明，本文通過訓練pix2pix所生成的綠化區(qū)域，其合格率已達到93.8%，已能較好滿足實際應用需求。

對于生成的結(jié)果，將采用計算機視覺庫OpenCV對其進行平滑化處理后將綠化區(qū)域數(shù)據(jù)存儲為json文件，并將對json文件進一步處理，生成可在3DS Max軟件中導入的fbx類型數(shù)據(jù)。通過3DS Max軟件中的插件工具在綠化區(qū)域內(nèi)隨機生成樹木，達到了室外場景建模中綠化區(qū)域的自動還原重建。

表2 評價結(jié)果

4 總結(jié)

綠化區(qū)域的構(gòu)建是大范圍室外三維場景展示中不可或缺的一部分，本文通過利用深度學習算法強大的學習能力，生成了以往需美術人員手動繪制的綠化區(qū)域，實現(xiàn)了對人工的替代。在實際工作中，將美術人員從煩瑣、機械的繪圖工作中解放出來，提高了工作的質(zhì)量和效率。