生成對抗網絡在服裝圖片遮擋修復上的應用

劉敏，朱春

（西安工程大學服裝與藝術設計學院，陜西 西安 710000)

0 引言

中國擁有著比較久遠的紡織歷史，很久以前人們會利用草、樹皮等去蔽體；接著慢慢用動物的羽毛經過簡陋的編織形成簡單的衣物去抵御寒冷；漸漸的隨著發展，人們逐漸學會用工具去紡織[1]。除此之外每個朝代的紡織品都有自己比較獨特的紡織文化，隨著塵封已久的紡織品出土，也漸漸解開了不同朝代的神秘面紗，研究出土的服飾文物有利于考據服飾結構，剪裁工藝，或者去推斷墓主身份和生活年代，因此出土紡織品文物修復對我國古代服飾的研究和文化傳播有著重要的意義。但由于紡織品的化學穩定性差，出土的紡織品大都有殘缺、破損、褪色等病害，這使得人們對服飾紋樣、色彩等的考究變得艱難。

隨著科技的進步，圖像處理逐漸進入大家的視野，圖像修復的意義不僅僅在于目前研究方法的逐步改進，更在于其在實際生活中的應用；如壁畫方面：陳永等人對殘缺的敦煌壁畫進行了修復[2]，焦莉娟等人利用改進的塊匹配算法對五臺山壁畫進行了修復[3]，胡雅妮等人利用雙判別生成對抗網絡對壁畫圖像進行了虛擬修復[4]等；公路方面：崔二洋等人利用圖像修復技術實現對單張路面圖像中裂縫的高效語義修復[5]；除此之外還有對象的移除[6]：刪除圖像中不需要的對象，并對刪除后的空缺部位進行補全；修復圖像[7]：修復圖像因保存的時間過久或保存方法不當造成的如劃痕、泛黃等；圖片的修飾[8]：對照片進行美化修飾處理，例如去除皺紋、痣、疤痕等面部特征；文字移除：刪除圖像中不需要的文字、圖像，例如水印、照片日期等目標并對移除后的部位進行修復。

目前來說服裝修復方面主要是基于人力手工修復，修復方法主要有依靠X射線熒光光譜分析儀去檢測污染物的元素成分，利用三維視頻顯微鏡觀察紡織物的組織結構，人工進行回潮、護金、清潔、整形、托襯等修復操作；或者基于傳統畫結合對服裝款式的了解去對服裝進行臨摹，這些基于人力的手工修復，修復效果與個人修復能力有著很大的關系，且修復耗費時間久，因此，在服裝修復中引入數字圖像虛擬修復技術具有重要的研究價值。

1 研究現狀

1.1 古代服飾研究現狀

古代服飾是見證了中華歷史源遠流長的實物，亦是重要的載體承載著中華民族偉大的精神[9]。自古以來，有許多學者從各個角度展開對古代服飾的研究，通過對目前的學術論文成果進行整理歸納，得出主要研究集中在以下幾個方面：首先是對古代服飾的款式、紋樣、色彩、面料等進行研究。其次有學者研究古代服飾元素在現代服裝上的應用，將古代藝術與現代時尚相結合，使古代的元素巧妙地應用在現代的服裝設計上。

但在研究過程中服裝信息殘缺、丟失、仍然是一大難題，這對服裝的研究造成了較大的影響。因此對于我國現存的大量古代服飾來說，利用計算機技術學習其相關服飾特征，通過科學的手法對其進行修復，這對服飾的研究有著非比尋常的意義。此外用修復好的古代圖片可以為傳統手工修復提供參考，避免因修復不當而對文物產生不可逆轉的傷害。

1.2 圖像修復技術研究現狀

圖像修復技術最早來源于藝術家們，當時藝術家們對受損的藝術繪畫或照片進行修復，使其質量盡可能地接近原始圖像。在計算機領域中，就是恢復破損圖像缺失區域中的像素，使觀察者無法察覺到圖像曾經有過缺損或者已被修復。

圖像修復方法主要可以分為傳統修復方法和基于深度學習的圖像修復方法。傳統圖像修復方法通常是根據破損圖像的內容、結構和紋理之間存在的相似性去預測圖像中缺失的區域像素；根據修復思想的不同，它可以被分為基于偏微分方程和基于樣本的圖像修復方法。

（1）基于偏微分方程的圖像修復方法是利用偏微分方程，將圖像已知區域的像素平滑傳播擴散到缺失區域中以修復破損圖像，它不能修復破損區域大或者紋理比較復雜的圖像。

（2）基于樣本的圖像修復方法是通過計算殘缺圖像的缺失區域與哪個已知區域的相似度最高，將該已知區域復制粘貼到缺失區域以修復破損區域?；跇颖镜膱D像修復方法可以叫高質量地修復缺失區域較大且紋理結構較簡單的圖像，但計算破損區域與已知區域之間的相似度需要大量時間。

總而言之，傳統圖像修復方法雖然在修復紋理簡單的圖像時可以生成與原圖較為相似的圖像樣本，但是由于缺乏對圖像更高一層語義的理解，對結構較復雜的圖像修復結果較差。

基于深度學習的圖像修復方法根據生成圖像數量的不同，可以將其分為單元圖像修復方法和多元圖像修復方法。

（1）單元修復方法是單入單出，指輸入單張殘缺圖像生成單張的修復圖像。單元修復方法依據模型結構類型的不同，可以將這些修復方法細分為Encoder-Decoder類、U-Net類、GAN類和Transformer類。

（2）現存的多元圖像修復方法，它的輸出結果不受限制具有多樣性，這種修復方法很難去保證每個圖像的質量，修復后可能會導致圖像結構扭曲，紋理模糊等問題。

綜上所述，基于對圖像修復技術的現狀研究，本實驗選擇了基于深度學習的單元修復方法。

2 研究理論與技術

2.1 總體技術路線圖

我們的研究大體可以分為如下幾個階段，第一階段是對史料中記載的古代服飾的款式、形制、色彩、紋樣進行整理；第二階段是對古代服飾進行數字化采集；第三階段是對采集到的圖片利用數據增強方法去擴充原有的數據集，從而建立服裝數據庫；第四階段是針對已建立的數據庫去選取合適的生成對抗網絡對服裝修復模型進行訓練，利用訓練好的模型去修復遮擋的服裝圖片，具體流程如圖1所示。

圖1 技術路線圖Fig.1 Technology roadmap

2.2 研究理論DCGAN

Goodfellow等人因受到了博弈論的啟發，提出了生成對抗網絡（Generative Adversarial Networks，GAN），該網絡主要由生成器G（Generator）和判別器D（Discriminator）兩部分構成，輸出結果的概率越接近0.5，得到的圖像也就越接近真實的圖像。

DCGAN模型是以GAN模型為基礎提出的，該網絡也是由生成器和判別器組成的，它的生成器具有轉置卷積結構，從而盡可能地生成越接近真實圖像的樣本；判別器具有卷積結構，從而對生成的樣本和真實樣本進行更準確的判別[10]。兩者互相對抗互相博弈，各自優化自己的性能，使得生成的圖像越接近原始的圖像。其生成器與判別器的目標函數如式（1）所示：

本文選擇的DCGAN的生成器結構和判別器的結構大致如圖2所示：生成器有5個轉置卷積層，其中從噪聲向量到生成第一個特征圖也用了一個轉置卷積層，4個BN層，4個ReLU層，1個Tanh輸出集合層；判別器有5個卷積層，最后一個特征圖到噪聲向量也用了一個卷積層，3個BN層，4個LReLU層，1個Sigmoid輸出激活層。

圖2 DCGAN Fig.2 DCGAN

2.3 數據收集與處理

（1）圖片收集：此次實驗的圖片主要通過書籍拍照上傳，網絡爬蟲等方法收集，書籍主要有《中國絲綢服飾全集》《中國少數民族戲曲劇種發展史》《服飾中華：中華服飾七千年第一卷》《服飾中華：中華服飾七千年第二卷》《服飾中華：中華服飾七千年第三卷》《服飾中華：中華服飾七千年第四卷》《中國歷代服飾文物圖典》《清代女子服裝》《中國傳統服飾清代服裝》《中國敦煌歷代服飾圖案》《清宮服飾圖典》《中華民族服飾結構圖考》《中國歷代服飾文物圖典：隋唐五代》《中國歷代服飾文物圖典：清代》《圖解中國傳統服飾》《明鑒：明代服裝形制研究》等，篩選后得到823張高質量的圖片。

（2）訓練集：首先對收集到的圖片進行去除雜亂背景等的操作，然后對圖片利用數據增強方法進行擴充，該實驗用到的數據增強方法有：放大、縮小、圖片的旋轉（45°、90°、180°、270°）、翻轉（水平翻轉、垂直翻轉）、明亮度改變（變亮、變暗）、像素平移、添加噪聲（椒鹽噪聲、高斯噪聲），經數據增強后得到擴充后的圖片共計9 831張；由于生成對抗網絡對圖片的尺寸有一定的要求。因此該實驗對得到的圖片進行尺寸的處理，統一其大小為256*256。

（3）測試集：選取部分圖像用python實現掩碼操作，用掩碼塊去遮擋服裝的部分結構去模擬殘缺的服裝，該實驗掩碼塊設置為3，經操作得到圖片共計446張。

2.4 遮擋圖片修復實驗

該實驗平臺硬件環境的CPU 為Intel (R)Core(TM)i7-10700 CPU @2.90GHz，顯存為16G，GPU 為NVIDIA GeForce RTX 2080Ti。軟件環境使用Win 10操作系統，Pycharm版本為2021，Python版本為3.7。

該實驗采用DCGAN網絡進行模型的訓練，圖片通道數nc=3，噪聲維度nz=100，生成器的特征圖通道數單位ngf=64，判別器的特征圖通道數單位ndf=64，利用訓練好的模型對遮擋的圖像進行復原，其復原結果如圖3和圖4所示，通過結果可以看出整體復原效果較好，但紋樣細節較原圖相比還有些許偏差。

圖3 復原結果1Fig.3 Recovery result 1

圖4 復原結果2Fig.4 Recovery result 2

3 結論

本文將深度學習的DCGAN網絡應用于非遺文化遺產保護領域中的服裝修復問題，依據修復結果可以看出，DCGAN網絡可以較好的復原出服裝的色彩，對服裝的紋樣也可大致復原出，但仍有部分細節沒有復原，出現此結果的原因大致有以下幾點：（1）樣本數量不多；（2）該實驗所用樣本是基于手機拍攝的，清晰度有一定的限制；（3）樣本中關于紋樣特寫的圖片較少，對紋樣細節訓練不夠到位。

紡織品圖像的結構顏色與紋理顏色不同，并且紡織品文物圖像的紋理規律比較強，這會導致修復過程中紋理部分對結構部分造成較大的影響，使復原效果不夠理想，針對以上問題后期優化時擬采取的解決方案為：（1）擴充樣本數量，重新進行模型的訓練。（2）采取掃描的方式獲得書籍里的樣本數據（3）對紋樣進行單獨拍攝納入樣本集進行訓練。（4）擬采用k-means聚類方法先對數據做預處理，分離紋理與結構。