基于生成對抗網絡(Pix2pix)的家具設計草圖渲染

■朱文霜，王禹鈞，鄭文俊

(桂林理工大學藝術學院，廣西桂林 541006）

家具設計過程中，“靈感”這一“領悟式”的思維方式通常可遇不可求，具有特殊性、短暫性、激越性特征[1]。設計師都在試圖尋求“靈感”，《思考的藝術》一書中指出，抓住“靈感”最便利的方法是通過手稿的方式記錄與呈現。然而在從草圖到實際作品的制作過程中，一閃即逝的靈感往往在不經意間丟失了許多細節[2]，迫切需要技術手段快速實現由草圖到效果圖的轉換。

隨著人工智能技術的進步，通過人工智能輔助設計（Artificial Intelligence Aided Design，AIAD）這一設想成為可能[3-4]。Goodfellow等人創造性地應用博弈論的思想，提出了生成式對抗網絡（Generative Adversarial Networks,GAN）[5]，極大影響了深度學習領域的生態圈，此后基于GAN的各種算法變種開始涌現。Isola P等人基于GAN思想提出了Pix2pix[6]模型，這是一種典型的由圖像到圖像（image to image）的AI演算模式。此外，Isola P還提出了多種具有前瞻性與實用性的應用實例，其中關于線稿轉實物圖像的應用對于需要找尋“靈感”的設計師而言，提供了一種區別以往工作模式的全新思路。

在傳統的工作模式中，設計師在“找靈感—找參考”的步驟中需要不斷地進行自我判斷，之后又要耗費大量時間來制作美觀且易于閱讀的效果圖像提供給客戶進行再判斷，而用于審核的效果圖通常無法充當最終效果圖，即使不返修，定稿后仍需要重新制作并豐富細節，大量耗時且效率低下，存在較大的改進空間[7]。

因此，采用產品設計與計算機深度學習相結合的跨學科交叉研究方式，展開一項將生成對抗網絡用于家具設計的應用性實驗，希望通過生成對抗網絡模型（Pix2pix），實現對手稿靈感的快速抓取，并迅速的生成效果圖像，實現設計師與設計靈感的快速鏈接。既能便利高效助力創意生成，提升家具設計的工作效率，也能通過交互界面設計規避用戶實際使用過程中需用到計算機語言的問題。

1 GAN用于設計圖像轉譯的相關研究

圖像識別與生成（Image Recogniton and Generation）是當前人工智能領域的研究前沿與熱點，深度神經網絡（Deep Neural Network, DNN）由于其優秀的圖像表達能力，被廣泛應用于各類圖像任務。在產品設計領域，深度學習模型雖處于初步發展階段，但已發展出了諸如物體分類、語義分割、目標檢測、物體跟蹤等眾多功能[8]。

基于DNN的飛速發展，生成對抗網絡（GAN）這一技術路徑被提出。它的工作是圍繞著G（Generator）和D（Discriminator）兩種網絡模型展開的，G網絡的作用是基于輸入的隨機編碼Z（random code）輸出由神經網絡自動生成的“假”圖片(G)Z。再由D網絡對其真假進行判斷，如判定圖片真輸出為1，假輸出則為0（圖1）。GAN的出現鏈接了基于計算機視覺的圖像識別技術和基于數據訓練集的圖像生成技術，也使研究者不再滿足于類似Kim等[9]研究中提出的使用DNN對各類家具進行顏色、材質進行提取的單一功能。

但GAN也存在一定局限性，首先是輸出的圖片缺乏用戶控制能力，即對應性與關聯性弱。其次，生成圖像分辨率與質量都較低。為了改善GAN的種種局限性，拓寬其應用范圍，GAN演化出種類繁多的亞種：Pix2pix、Pix2pixHD[10]或CycleGAN[11]等學習模型都是基于生成對抗網絡GAN技術路徑下的深度學習模型變體。其中，Pix2pix網絡著重優化的正是傳統GAN的圖像關聯性問題（圖1），為了限制GAN的學習，通過輸入給定的圖像，建立輸入與輸出圖像的對應關系并以此替代隨機噪聲輸入，極大改善了圖像關聯性問題，為相關應用的孵化提供了架構支撐[12]。

基于GAN網絡及其變種，已有很多研究與實踐案例，如王曉紅等[13]運用卷積神經網絡識別與構建了（CCGD-2019）數據集，并基于數據集提出了一種結合變分自編碼器與生成對抗網絡的書法字體圖像生成模型。楊雅鈞[14]等同樣運用生成對抗網絡建立符合條件的建筑室內布局數據集，進而對Pix2pix模型進行訓練，通過峰值信噪比（Peak Signal to Noise Ratio, PSNR）和結構相似性（Structural Similarity Index, SSIM）評分論證了計算機生成的布局方案的合理性。此外還有類似Tirtawan等[15]運用CGAN模型生成蠟染服裝。冉建國等[16]通過CGAN模型生成軍用迷彩圖案等應用性實踐。

■圖1 GAN與Pix2pix的結構對比圖

■圖2 原始圖像集與篩選標準示意圖

■圖3 線稿圖像集與邊緣檢測示意圖

■圖4 沙發圖像生成效果及閾值分析圖

■圖5 沙發材質還原對比分析圖

通過分析上述研究實例發現，生成對抗網絡的應用流程較為固定，通常經歷建立訓練集，訓練模型、生成效果、效果檢驗等步驟。此外，生成對抗網絡技術和Pix2pix模型寬泛的應用領域與良好的應用表現，顯示出其模型架構的發展性、實現路徑的便利性及深入孵化的可能性。

2 試驗闡述

2.1 數據集的整理與制作

根據Pix2pix網絡的訓練模式及文章對后期功能的規劃，通過互聯網收集并整理制作了主題為“現代沙發”的模型訓練數據集。為便于在Anaconda及PyCharm程序中運行，將其命名為（Sofa-256）。

基于數據集（Sofa-256）的使用需求，在滿足Pix2pix學習條件基礎上，兼顧現代沙發設計常識與審美趣味，對數據集原始爬取網站（以Instagram、Pinterest為主）及數據本身均進行了嚴格的限定與篩選。初步收集共3500張沙發正面圖像，對存在主體被遮擋、結構過于復雜、攝影角度過高、裝飾語言過于怪誕等問題的圖片進行刪除（圖2右）；同時邀請8位從事相關研究的高校教師和企業家具設計師從家具設計美學角度對剩余圖像進行篩選，最后選出符合要求的數據圖像共2000張組成原始圖像集（Sofa256-A）。

完成數據集的初步收集及篩選工作后，根據線稿轉譯圖像任務的訓練要求，通過Canny邊緣檢測算法，制作了一一對應的線稿圖像集。具體內容是分辨率為256pix×256pix的PNG格式圖像，合計2000張（Sofa256-B）（圖3）。

2.2 訓練過程算法原理及訓練方法概述

Pix2pix網絡模型主要由生成器G、鑒別器D及損失函數三部分組成。根據Pix2pix深度學習模型與CGAN（Conditional GAN）[17]原理相同的特點，修改了原始GAN的輸入模式，有條件的使用用戶輸入，并使用成對的數據進行訓練。

2.2.1 生成器

Pix2pix使用U-Net生成器結構，U-Net作為一種全卷積結構最大的特點在于跨越連接（Skip-Connection），能有效保留不同分辨率下的細節像素信息。基于線稿轉譯任務的實際需求，實際輸入與輸出雖然外觀存在差異，但結構始終保持對齊狀態。使用U-Net向下采樣直到瓶頸層，再將過程反轉，這使得信息流實現了各層的完全通過（包括瓶頸層）。既保證了線稿轉譯任務中輸入和輸出之間的低級信息共享，又保證了生成器的實際圖像生成效果。

2.2.2 判別器

Pix2pix使用PatchGAN作為判別器，運用重建處理圖像低頻成分，GAN處理圖像高頻成分，使用過程中配合傳統的L1 loss（損失函數）使所生成圖片盡可能與訓練集圖片相似，再使用GAN來構建圖像高頻細節，最后通過PatchGAN來判別生成器所生成圖像質量。

PatchGAN的核心邏輯為，由于GAN僅參與構建高頻信息，故無須將完整圖像輸入判別器，通過將一張圖片切割成若干n×n（像素）大小且相互獨立的Patch（判定區域），通過判別器對每一個Patch進行真假判別，再取平均值作為判別器的輸出。

實際試驗過程采用3×3輸入的全卷積網絡，計算最后一層每個像素過sigmoid函數輸出為真的概率，再通過BCEloss函數計算得到最終損失函數。其優點在于可降低輸入維度，減少輸入參數量，提升運算速度。

2.2.3 損失函數

損失函數是一種非負的實值函數，用于描述生成圖像與真實圖像的不一致程度，亦可稱為優化函數，損失函數的值越小，則表明模型的擬合程度越優秀。

原始的GAN模型運算時判別器會同時判斷輸入的真圖像與假圖像。式1中第一項處理的是假圖像G(z)，此時期望為評分盡量降低，即將生成的圖像判斷為假；第二項處理的是真圖像，此時的評分期望為高，即最大程度上與真圖像相契合。整個模型目的在于不斷強化生成器G使生成器輸出的圖像實現“欺騙”判別器（G取min）的效果，同時也不斷強化判斷器，使其更準確的判斷圖像的真偽（D取max)。

為解決用戶控制問題，Pix2pix對基于GAN損失函數進行了優化（式2），事實上優化方案十分簡單，即將x（輸入圖像）既作為原始輸入導入生成器，同時與生成器生成的假圖片G (x)一起輸入判別器，這樣就使生成圖像與原始輸入產生了對應關系，實現了對應學習的期望目標。

■圖6 沙發線稿轉譯小程序界面設計圖

■圖7 應用實踐流程圖及效果圖

3 試驗結果評價及實踐應用

3.1 輸出圖像評價

完成使用Pix2pix開源模型對數據集(Sofa-256)進行學習之后，使用Pix2pix生成多組圖像，并對圖像進行評價以檢查其學習情況。圖像邊緣識別的準確性、物品形體塑造的真實性及圖像材質的還原性為評價的三個重要指標，但由于圖像處理中的真實性、多樣性與輸入條件一致性都較為主觀難以限制，圖像質量評價一直是圖像合成領域較有挑戰性的難題[17-18]，故采用人工評價為主閾值分析為輔的方法。

3.1.1 邊緣識別能力

對比6組轉換前后的線稿與效果圖（圖4），用于展示本模型的邊緣識別能力。總體而言，Pix2pix模型較輕松的完成了對現代沙發的學習，通過2000對圖像進行100次訓練即可達到較為理想的效果。Pix2pix模型能夠較為準確的判斷沙發的結構、靠墊、抱枕的輪廓線，對于沙發腳撐、扭釘也具有一定的識別能力。但以更高的標準來看，部分圖像仍然存在輕微的圖像溢出現象，這是由于數據集輸入條件不完全一致導致的；同時，在輸入質量過低或視角、比例、透視過于夸張的線稿圖像時，往往難以呈現較好的效果。

3.1.2 形體塑造能力

“圖像閾值圖”是一種基于圖像像素的亮度臨界點的可視化圖像，原理為將彩色圖像的所有像素的亮度映射到的人為劃分的0～255這256種亮度層次區域中，0為黑色（RGB三色光全無為黑），255為白色（RGB三色光充分疊加為白色）。通過對閾值圖像本身及亮度信息分布圖的觀察便能清晰感知圖像中各物體的明暗層次變化，從而判斷Pix2pix模型輸出圖像對物體的造型能力。

如圖4閾值分布圖所示，1至6號圖像的閾值分布呈現出兩段式特點，右側高聳的柱狀數據為圖像中的白色像素（即背景），均呈現垂直角度大，圖像寬度小的特點，表明圖像與背景的分離程度較好。其余像素信息分布在左側，除2號圖呈現兩處峰值外均呈現單峰值均勻分布，通過觀察對應的2號圖像也可發現圖像中沙發中部的結構塑造效果不佳，但總體而言，模型的形體塑造能力較為理想，部分偏差也可通過對線稿進行修正而改善。

3.1.3 材質還原能力

材質還原能力也是圖像轉譯結果評價中常見的一項能力評價，通過同時輸入多幅線稿進行轉譯，再將轉譯圖像與原始圖像進行人工對比，從而分析其材質學習情況與實際還原表現，為控制變量，輸入內容均來源于數據庫內。

根據提取的5組圖像（圖5）分析，材質還原度都較高，整體效果與原圖十分接近，對于木質腳撐、啞光黑色腳撐部分的還原度較高，對絨面、皮面的渲染效果也較好；在3號圖、5號圖中，即使是數據集中已存在的數據，模型在圖像生成過程中依舊對沙發顏色與材質進行了改變，展現了Pix2pix獨特的創造力。

然而，也有部分材質受限于像素大小導致卷積核對其運算存在偏差，如1號圖的金屬支撐部分材質還原度較低，且與沙發重合部分存在材質丟失。2號圖與4號圖則因為對比度較低而導致模型前期學習時未能注意其中的細節（Canny邊緣檢測未能較好的識別結構）導致了輸出材質細節的模糊。但總體看來，學習模型的材質還原能力較強，同時也通過數量較少的訓練集實現了對沙發材質的理解與還原。

3.2 實用化設計

時下，各類深度學習模型項目普遍以源代碼狀態呈現，雖便于進行開發者之間進行分享與協作，但對于普通用戶而言學習成本極高且難以使用，極高的門檻導致深度學習相關應用務須通過易于理解的交互方式才能被用戶使用。基于人工智能輔助設計的實用化需求與人工智能輔助設計工作流探索的需要[19]，通過PyCharm設計制作了基于Windows系統的簡易GUI人機交互界面（圖6）。圖中1～5為用戶界面的各功能鍵位，分別對應輸入圖像來源路徑選擇、輸入圖像查看（檢查）、輸出圖像保存路徑選擇、風格遷移啟動器、風格遷移查看器（檢查）的基礎功能[20]。

通過設計用戶界面實現便利的人機交互，意在探尋計算機深度學習與設計工作的合作模式，在通過滿足設計師便利的使用Pix2pix網絡模型對家具線稿進行深化的基本使用需求的同時，為開展設計實踐測試提供軟件基礎[21]。

3.3 設計實踐

基于實用化應用成果開展設計實踐，選擇效果良好的設計方案進行深化設計并收集受測者使用評價，從而判斷基于Pix2pix的GUI交互程序是否實現了有效幫助設計者快速呈現創意靈感的目標。

實踐對象分為兩組，第一組為從事室內設計工作的專業設計師，第二組為本地某小學的小學生。通過簡單講解使用方法后開展設計實踐，設計者先使用傳統手繪的方式對沙發進行設計，分別得到圖7中草圖，再將草圖進行規范化處理（尺寸、線寬等）并通過GUI界面運行Pix2pix網絡模型對草圖進行處理，最終得到輸出成圖1與輸出成圖2。通過觀察發現，基于（Sofa-256）數據集的Pix2pix網絡模型成功的實現了對兩組沙發草圖的即時深化與渲染，賦予了其材質、色彩、光源等諸多圖像信息（圖7）。

通過咨詢訪談方式收集相關評價得知，大多數家具設計者對最終呈現的渲染效果較為滿意，認為轉譯模型生成的草圖效果符合心理預期。此外，人工智能輔助設計技術也展示出另一條獨特的設計路徑，即通過高技術低操作的方式輔助更多未經專業學習的普通人，甚至是兒童進行創意生成，使其擺脫手繪技能的限制，更好的沉浸在創意與靈感的發掘過程之中[22]。

4 結語

人工智能的飛速發展正在對社會生產結構進行著根本性改變，對于產品設計領域而言，人工智能輔助設計是未來設計發展的必然趨勢，在提高設計效率、優化設計流程、釋放設計師靈感等方面有著得天獨厚優勢。通過人工智能深度學習與家具設計相結合，將Pix2pix應用于家具設計并建立相關圖像數據集，再基于交互界面開展設計實踐，初步論證了Pix2pix與實際設計工作相結合的可行性。當然，實驗還存在許多不足，如生成的圖像清晰度較低、用戶缺乏對AI的控制力（材質、色彩、一致性等）、圖像輸入及輸出角度存在局限。但是，通過建立語義標簽、分辨率修復、多種采樣模式結合等方式已經可以很大程度上優化上述問題。通過對Pix2pix進行專用化改造的實驗，證明了其多元化應用的巨大潛力。未來，AI輔助設計不僅將更深入地參與設計師的實際工作，也將對設計領域的工作模式進行革命性的重塑。