生成對抗網絡及其在紡織行業(yè)中的應用

田 樂,祝雙武,王 茹,丁 瓊

(西安工程大學紡織科學與工程學院,陜西 西安 710048)

當前我國紡織服裝行業(yè)正呈現出以下發(fā)展趨勢:產品失去成本紅利,缺乏高端自主品牌和價值鏈中低端鎖定;紡織服裝設備急需轉型升級和融合智能制造的關鍵技術[1]。面對紡織領域數據量大、分類詳細、來源不同的復雜數據,如何有效利用這些數據,是新型紡織制造體系發(fā)展面臨的重要技術問題之一。人工智能旨在通過系統(tǒng)或程序模仿人類的智能行為,能夠有效利用海量數據,執(zhí)行思維和決策任務。在紡織領域,人工智能將引領行業(yè)發(fā)展,升級提高物體識別、疵點檢測、虛擬試穿、面料評級、生產管理、面料設計等各個紡織領域的智能化水平,進而帶來深遠的變革[2]。機器學習是人工智能的關鍵子領域,能夠讓計算機系統(tǒng)擁有類似人類學習的技能,并通過經驗的積累持續(xù)優(yōu)化自身性能。但傳統(tǒng)機器學習算法,通常采用淺層神經網絡結構,數據分析能力相對不足。在應對復雜的現實問題時,其解決效果受制于數據特征表達的質量[3]。

深度學習作為機器學習的一種新興領域,得益于其強大的非線性函數擬合能力和各種高效的網絡訓練方法,在各種傳統(tǒng)機器學習的瓶頸領域均獲得了突破性的進展,并逐漸成為工業(yè)界和學術界研究的熱點方向[4]。在紡織領域,深度學習中的模型包括判別模型和生成模型。

判別模型包括卷積神經網絡(Convolutional Neural Networks,CNN)和自動編碼器(Auto-Encoders,AE)等。深度學習判別模型已被應用到織物表面缺陷檢測中,并且取得了良好的效果。馬阿輝等[5]提出了一種織物疵點檢測算法,算法主網絡采用YOLOv5,將CA 注意力機制與網絡的部分Neck層結合,使用BiFPN 方法對網絡的特征增強部分重新設計,然后再使用GSConv對網絡的特征提取部分進一步去除冗余特征,保證了網絡的精度與速度。Chen等[6]提出了一種基于遺傳算法優(yōu)化的Gabor濾波器和Faster RCNN 相結合的方法。針對紋理干擾問題,利用Gabor濾波器在頻率分析中的優(yōu)勢,結合遺傳算法確定最佳Gabor濾波器參數,然后通過將Gabor內核嵌入Faster RCNN 中進行改進,得到了比單獨使用神經網絡更好的結果,然而推理速度有所下降。Zhao等[7]提出一種基于VGG16網絡的檢測方法,用于亞麻織物和圖像織物的疵點檢測,可檢測出破洞、污漬等6種疵點。盡管這些模型在各自條件下能夠檢測出破洞、污漬、長條等疵點,但其準確性依賴于大量高質量的數據樣本的訓練,測試樣本的標注成本巨大,模型泛化能力弱,更換布匹種類后檢測效果降低。面對紡織領域數據樣本質量參差不齊、同一種類樣本數量少、產品換代快等特點,模型實用性不高。

生成模型包括自回歸模型(Autoregressive Model,AR)、變分自編碼器(Variational Auto-Encoder,VAE)、生成對抗網絡、擴散生成模型(Denoising Diffusion Probabilistic Models,DDPM)等。目前GAN 因為其出色的生成效果和樣本標注量要求較低的特性,在紡織領域得到了廣泛的應用。GAN 是由Goodfellow 等[8]于2014 年提出的一種無監(jiān)督深度學習模型,核心思想是基于零和博弈理論。GAN 由生成器和判別器組成,目的在于使生成器生成的樣本足夠逼真,判別器無法區(qū)分真實樣本和生成樣本,最終達到一個納什均衡的狀態(tài)。此外GAN 的生成器可以與編碼器或變分自編碼器結合,得到新的生成器。目前,GAN 已經廣泛應用到計算機視覺和相關領域,例如樣本生成[9]、視頻預測[10]和對象檢測[11],并取得顯著成效。

1 生成對抗網絡的原理

生成對抗網絡是一種基于對抗生成思想的深度學習生成模型,GAN 由2個子模型組成:一個可以擬合原始數據分布的生成模型G 和一個針對生成的假數據和真實數據的判別模型D。生成器和判別器通常是基于博弈論原理,通過交替迭代訓練生成器和判別器來提高模型的性能。

生成器接受一個隨機噪聲z作為輸入,將服從概率分布Pz(z)的隨機噪聲z均勻映射到一個服從概率分布Pdata(x)的真實數據分布x,并輸出生成的數據分布G(z),生成的數據分布G(z)需盡可能地接近真實數據分布x。 判別器接受生成器輸出的G(z)和真實數據分布x作為輸入,利用二分類模型判定輸入的數據是否符合真實數據分布,判定輸入為真實數據x時D(x)輸出1,判定輸入為生成數據分布G(z)時D(G(z))輸出0。二分類模型需盡可能正確判別其輸入是真實數據還是生成數據。判定結果將通過誤差反傳的形式對生成器G 和判別器D 損失函數的梯度信息更新自身權重,優(yōu)化網絡。交替迭代訓練生成器和判別器時,每一次對判別器D 的更新都在為生成數據分布和真實數據分布劃分正確的決策邊界;每一次對生成器G 的更新都試圖讓生成的數據分布更接近真實數據和決策邊界。隨著交替迭代訓練的不斷進行,最終使判別器D 難以劃分決策邊界,從而使生成器G 能擬合真實數據分布[12]。

生成對抗網絡的訓練過程是一個對抗學習過程,目標函數如式(1)所示。

式中:通過最大化判別器D 使得D(x)和1-D(G(z))更接近于1,模型的準確率更高;最小化生成器G 使得生成的D(G(z))更接近于1,生成的假樣本更像真實樣本。V(D,G)是GAN 的損失函數,其優(yōu)化目標是使生成樣本分布p G(z)和真實樣本分布pdata(x)之間的JS距離最小化,使得生成的樣本盡可能逼真地模擬真實樣本分布[13]。

與其他生成模型相比較,GAN 有如下優(yōu)勢。

(1)通用性。相較于大部分其他框架需要生成網絡有特定的函數形式,GAN 不需要定義生成器的概率分布形狀,可以直接學習真實樣本數據,通過生成器和判別器參數優(yōu)化,最終近似擬合出真實樣本的數據分布。這意味著GAN 可以用同一種方式處理圖像、文本、聲音等不同的高維數據。

(2)靈活性。針對不同的任務和數據類型,可以選擇各種不同的神經網絡結構作為GAN 的生成器和判別器,包括循環(huán)神經網絡、全連接神經網絡和自動編碼器等,從而可以在提升生成樣本質量和提高生成速度之間靈活選擇。

盡管GAN有著顯著優(yōu)勢,但GAN也有如下劣勢。

(1)模式崩塌。GAN 對于數據的質量和數量要求比較高。如果訓練數據過少或噪聲過多,GAN 就容易出現模式崩潰現象,即生成器僅生成相似但缺乏多樣性的其他樣本模式。主要原因是判別器對生成器生成的樣本過于苛刻,無法給生成器提供足夠的梯度信息,導致生成器不斷重復生成同樣的樣本。另外,訓練數據的不均勻分布、過度的正則化等也可能導致模式崩塌現象的出現。

(2)結果不可控。因為GAN 需要同時訓練生成器和判別器2個模塊,尤其是在處理大規(guī)模數據時,需要更多的計算資源和時間,否則會導致訓練時間過長。如果生成器和判別器二者在博弈過程中沒有保持平衡而是過早分出勝負,會使得GAN 的訓練結果不理想。同時GAN 的生成器是一個黑盒模型,可解釋性較差,很難分析其內部的決策過程和生成樣本的規(guī)律。

2 經典GAN

生成對抗網絡因其良好的生成效果和無監(jiān)督的生成模式吸引了大量學者研究。針對生成對抗網絡訓練不穩(wěn)定、難以收斂、可解釋性差等問題,學者們提出了一系列的改進模型。在紡織領域,有6種常見的GAN變體得到了廣泛應用,這些模型包括漸進增長式生成對抗網絡(Progressive Growing of Generative Adversarial Networks,PGGAN)、條件生成對抗網絡(Conditional Generative Adversarial Network,CGAN)、基于樣式的生成對抗網絡(Style Based GAN,Style-GAN)、卷積生成對抗網絡(Deep Convolutional Generative Adversarial Network,DCGAN)、Wasserstein生成對抗網絡(Wasserstein Generative Adversarial Network,WGAN)、變種Wasserstein 生成對抗網絡(Wasserstein Generative Adversarial Network With Gradient Penalty,WGAN-GP)。以上6種GAN 變體的改進位置和優(yōu)缺點見表1。

表1 GAN 的典型模型

2.1 CGAN

原始GAN 對生成數據樣本無法進行控制并生成指向性內容,為了控制模型生成符合要求的數據樣本,Mirza等[14]提出條件生成對抗網絡,在保留原始GAN結構的同時將條件信息y引入生成器G 和判別器D中,約束生成樣本。

網絡訓練的目標函數如式(2)所示。

式中:D(x|y)指代在判別器中引入條件信息y;G(x|y)指代在生成器中引入條件信息y。 在條件生成對抗網絡中,條件信息可以是向量的形式也可以是特征圖的形式。

2.2 DCGAN

Radford等[15]提出基于深度卷積的生成對抗網絡,用深度卷積代替原始GAN 中的全連接層,使得模型可以從低層到高層逐漸生成更加復雜的圖像。在模型中使用批量歸一化和Leaky Re LU 激活函數,提高了模型的穩(wěn)定性和收斂速度。

2.3 WGAN

當真實樣本分布與生成樣本分布不重疊時,原始GAN 中損失函數使用的JS散度趨近于恒定值,導致模型訓練時梯度值始終為零,無法更新模型參數,從而出現模型訓練失敗的現象。為了解決原始GAN 訓練時模型梯度不穩(wěn)定的問題,提高GAN 訓練的穩(wěn)定性,防止模式崩潰,Arjovsky 等[16]提出了Wasserstein-GAN(WGAN),利用Wasserstein 距離來替換JS 散度,具體定義如下:

式中:Π(P r,P g)是P r與P g所有可能的聯合分布集合;Wasserstein距離是用來度量真實數據分布x和生成器產生的數據分布y在聯合分布下距離期望值E(x,y)[‖x-y‖]的下界。不同于JS散度,即使真實樣本和生成樣本重疊測度為零,Wasserstein距離也依然能度量出2個分布之間的距離。

2.4 WGAN-GP

WGAN 中為了保證Lipschitz連續(xù),使用網絡權重裁剪方法。但因為判別器的目標函數希望最大化生成樣本和真實樣本之間的差異,而權重裁剪方法將所有的權重限制取值范圍,這將會導致大量的權重落在取值范圍的2個邊界處,進而導致權重參數二值化,使得網絡無法學習到最優(yōu)的權重參數,限制整個網絡的生成效果。在WGAN-GP[17]中,去除權重裁剪、增加梯度懲罰項來優(yōu)化訓練過程,使得判別器損失函數的梯度接近于1。WGAN-GP是WGAN 的改進版本,使得判別器參數分布更加合理,優(yōu)化了模型生成質量,解決了梯度爆炸或梯度消失問題,增強了模型的穩(wěn)定性。但因為增加了參數量,訓練成本也隨之增加。

2.5 PGGAN

PGGAN[18]能夠生成高分辨率的圖像,以往高分辨率圖像生成困難的原因在于更高的分辨率使得判別器更容易分辨是生成圖片還是真實圖片,并且生成模型很難直接擬合高分辨率圖像復雜的數據分布。提出了漸進增長式的生成對抗網絡,可以從簡單的低分辨率圖片開始生成,隨著訓練的進行,同時為生成器和判別器增加新的上采樣卷積和下采樣卷積,生成更高分辨率的細節(jié),最終生成1024×1024的高分辨率圖像。這一過程加速了訓練并改善了網絡生成高分辨率圖像的穩(wěn)定性。PGGAN 作為首個生成高分辨率圖像的生成對抗網絡,后續(xù)大量的高分辨率網絡都以PGGAN為原型進行修改。

2.6 StyleGAN

PGGAN容易出現特征糾纏的現象,無法獨立控制圖片中的單個特征,即控制生成圖像指定特征生成能力非常有限,略微調整輸入,會同時影響生成圖像的多個特征。StyleGAN[19]通過將輸入的隱變量z經過多層全連接層的映射得到對應的隱空間w,中間向量w的不同元素控制不同特征,同時完成了對隱變量z的解耦。再利用一個全連接層將w轉化為ys和yb,然后對每個特征圖通過ys和yb重新進行縮放后得到輸出,進而控制不同分辨率層的生成風格。通過在不同分辨率層上額外添加隨機噪聲為圖像提供更多的隨機細節(jié)。

3 GAN在紡織領域的應用現狀

GAN 在實際應用中不需要顯式建模真實的數據分布和進一步的數學條件,僅用一個任意的潛在向量z就可以生成逼真的樣本。這些優(yōu)勢導致GAN 被應用在各種學術和工程領域。以下介紹了GAN 在紡織領域中的疵點檢測、虛擬試衣、服裝生成和圖像融合等領域的應用現狀。

3.1 疵點檢測

實際工業(yè)應用中,與普通數據量相比,異常數據量非常有限。缺陷樣本不足會導致數據集中類間不平衡,難以訓練,需要預先對數據進行分類和標記的神經網絡。盡管可以通過知識蒸餾、老師學生網絡、遷移學習來解決網絡訓練問題,但沒有足夠的數據依然無法訓練出足夠好用的模型。此外,復雜的數據樣本自身空間分布也很復雜,進一步造成了訓練模型的困難。生成對抗網絡具有較強的數據分類和分布學習能力,在紡織領域應用于異常檢測方面具有廣闊的應用前景。

Hu等[20]提出了一種基于DCGAN 的無監(jiān)督物疵點檢測方法。除了標準DCGAN 生成器和判別器外,增加了轉換器(Inverter)部分,轉換器將織物圖像映射為隱變量,且該隱變量經生成器后能夠生成只保留正常紋理的無缺陷織物圖像。從原始圖像中減去重構圖像,得到一個殘差圖,用來突出缺陷區(qū)域,通過圖像處理算法進行一系列處理,得到最終的分割圖。驗證了多種類型的織物圖像在網絡中的表現,并與MSCDEA和CDEA 等方法進行了對比,結果表明該網絡的性能更加優(yōu)異。

張哲源[21]提出在DCGAN 網絡的基礎上,通過引入隱式秩最小化自編碼器(IRMAE)結構作為生成器,提取低秩織物紋理圖像特征,完成對織物圖像的重構。編碼器和解碼器中間添加的線性層對編碼器輸出隱空間變量的秩進行正則化,使其有更低的維度,能夠提取更低秩的圖像特征,以避免疵點等與織物組織紋理無關的特征干擾。

Cheng等[22]提出一種基于雙生成對抗網絡補丁模型(DGPM)的圖像修復織物缺陷檢測方法,提高了訓練效率并減少了訓練成本,此外增加了一個自注意模型,以減少背景噪聲的產生。

Liu等[23]通過裁剪圖像中的缺陷塊,對缺陷塊進行邊緣信息提取和圖像分割,得到只含缺陷塊的圖像。再通過改進后的DCGAN 學習織物疵點特征。然后將大量有缺陷的數據塊數據和無缺陷的數據融合,得到大量成對的數據集。最后,獲得的數據集被用于Fater R-CNN 檢測缺陷。

Liu等[24]提出了一個基于多級生成對抗網絡的織物疵點檢測框架。首先訓練CGAN 來學習紋理背景和缺陷之間的條件分布,能夠合成不同織物背景的缺陷。然后訓練一個基于GAN 的融合網絡將缺陷和背景完全融合,從而產生新的缺陷樣本。最后利用多級GAN 持續(xù)更新現有的織物數據集,并用于語義分割網絡的微調,以便對不同紋理背景的織物進行更有效的檢測。試驗結果證明,所提出的方法在2個數據集上的準確率分別達到了97.0%和94.8%。

3.2 2D虛擬試衣

虛擬試衣技術以用戶和目標服裝作為輸入,可以讓用戶穿上適合自己體型的虛擬服裝,輸出用戶穿著目標服裝的圖像,并且可以從不同角度觀察所穿衣服的布料。這項技術被廣泛應用于電子商務、服裝輔助設計、電影和游戲制作等領域,可以更好地實現服裝個性化定制[25]。Jetchev等[26]基于CGAN 提出CAGAN(Conditional Analogy GAN),實現了模特的服裝更換功能。CAGAN通過網絡學習得到目標服裝掩碼,將掩碼與原始圖像進行融合得到服裝更換結果。該模型善于轉移衣服的顏色和結構,但不善于轉移衣服的紋理。Hashmi等[27]通過拍攝的照片提取人體姿態(tài),然后進行姿勢估計。通過GAN網絡學習輸入的服裝并通過點匹配的方式將其映射到人體上,以提高擬合的準確性。Xie等[28]提出了一個基于StyleGAN2 的紋理保存端到端網絡PASTA-GAN,通過patch-routed解耦模塊將服裝風格及空間特征解耦,使得生成器衣服空間信息都將生成準確衣服風格的圖片,再利用空間自適應殘差模塊提取扭曲的服裝特征,自適應對齊目標衣服形狀。Yu等[29]提出SCAGAN(Spatial Content Alignment GAN),用于增強服裝紋理和人體特征的內容一致性。利用邊緣提取進行紋理增強,通過將輸入源泛化為空間自適應的風格和內容來解決姿勢轉移的空間不對齊問題。SARKAR等[30]提出StylePoseGAN,用于從單個輸入圖像分別提取出圖片的姿勢和外觀,再輸入到基于StyleGAN2的生成器中,合成具有明確姿勢和每個身體部位外觀控制的逼真新人體圖像。盡管可以將服飾視為一種屬性,并利用StyleGAN的屬性進行解耦,但對于特定的服飾圖案,StyleGAN所存儲的屬性中顯然無法包含這些復雜的高頻信息,因此這類方法在處理服飾圖案時往往無法精確重建。Feng等[31]提出一種弱監(jiān)督的非配對訓練生成服飾模特生成算法,以緩解典型的虛擬試穿算法中對配對訓練數據的需求。首先通過透視變換將服裝與模型的身體對齊,再映射到預先訓練的StyleGAN 隱空間中,用投影梯度下降法優(yōu)化隱變量,最后通過語義搜尋和圖案搜索,由粗略到精細重構出服飾的款式和圖案。

3.3 3D虛擬試衣

三維虛擬試衣要生成三維人體模型和三維服裝,并且保證高精度和真實性。目前,借助3D 建模軟件進行三維服裝建模仍是最常用的方法,這些軟件雖然提供了一定的輔助功能,但仍要求使用者具備一定的先驗知識,并且需要大量繁瑣的步驟,反復修改每一個三維人體模型和對應的服裝[32]。如何低成本、高保真地生成三維服裝,將其穿在不同體型的三維人體模型上并保持真實感,一直是虛擬試衣領域的研究熱點及難點。一種研究方法是同時生成三維人體模型和服裝模型,Zhang等[33]提出Avatar Gen 模型,可以生成高保真、多視角一致的含服裝的三維著衣人體模型,并且可以調整人的姿勢。輸入二維圖像,編碼器生成一個具有典型姿勢和形狀的標準人體模型的三平面特征,再通過一個變形模塊控制人體姿態(tài),逐步將低分辨率的特征和圖像渲染出來,最后利用生成對抗網絡將特征圖像解碼為高分辨率圖像。另一些學者則把重點放在研究服裝的復雜性上,Ma等[34]提出條件生成對抗網絡Mesh VAE-GAN,用于學習SMPL 中的服裝變形,模擬人體不同姿態(tài)下的服裝形狀,能夠為不同的人體模型穿上衣服。還有一些學者研究模型運動時衣服的動態(tài)變化,Sanchez-Riera等[35]提出PhysXNet,封裝了多種布料貼圖和骨架模型,利用CGAN 來學習人體運動學空間分布和布料變形空間分布之間的映射,預測人體運動時服裝的動態(tài)變形。Bhatnagar等[36]提出多服裝網絡MGN,利用一個由不同姿態(tài)和穿著不同服裝的三維掃描數據集學習分布,可以分別生成身體形狀和服裝,提高了真實性和可控性。

3.4 圖像融合

Frühstück[37]等以StyleGAN2-ADA 為基本框架提出了Inset GAN,用于無條件生成不同身份、發(fā)型、服裝和姿勢的高分辨率全身人像。利用多個預先訓練過的GAN 分別生成全身服裝圖片、面部圖片和腳部圖片,并將它們通過聯合優(yōu)化的方式融合在一起,不直接使用單個復雜的GAN 生成全身人像。但主要問題是生成的人體體型變化有限;關節(jié)優(yōu)化方法可能會改變發(fā)型、領口或服裝等細節(jié);無法解決對稱性問題。Li[38]提出了一種高分辨率語義圖像的合成方法。基礎生成器基于分割圖生成高質量的圖像,再通過單獨訓練特定類的模型創(chuàng)建了一個生成對抗網絡。

3.5 其他應用

Cai等[39]提出了一個基于CGAN 的摩擦信號生成框架FrictGAN,用于織物材料的觸覺模擬。織物材料的紋理圖像作為輸入,生成相應的摩擦信號。通過計算RMSE和t-SNE 來評估FrictGAN 模型,并進行一系列用戶感知試驗,研究模型生成的摩擦信號對織物觸覺模擬的有效性。生成的摩擦信號可用于電振動觸覺顯示器,以模擬不同織物材料的觸覺。Li等[40]提出一種極度不平衡數據增強生成式對抗網EIDGANs,以解決極度不平衡的數據擴增問題。在目標函數中增加了新的懲罰項,“強制”模型學習離群點的特征,并用離群點檢測器和k-fold交叉驗證法評估生成樣本的質量。

4 結束語

探討了人工智能在紡織系統(tǒng)中的應用趨勢及限制,分析了生成對抗網絡(GAN)解決限制的方法途徑,探討了其基本原理及優(yōu)缺點,介紹了常見的GAN衍生模型。進一步地,從GAN 在紡織領域的應用出發(fā),概述了各種場景中所應用的GAN 模型。經過長期的發(fā)展,GAN 已在樣本生成和數據擴充領域得到了廣泛應用,并與深度學習網絡相互結合,提出了各種損失函數,并修改了多種網絡結構。最后,對GAN 在紡織領域中遇到的問題和挑戰(zhàn)進行總結。

盡管GAN 在解決生成樣本方面具有優(yōu)越性,然而,其訓練生成器和判別器兩者的缺陷也是不可忽視的。其一,訓練不穩(wěn)定,容易崩潰,需要加入大量的手工方法來保持穩(wěn)定,結果的復現性不高。其二,訓練成本較高,需要分別訓練生成器和判別器的權重,但在最終的應用中,僅需要生成器的權重,判別器的訓練會造成資源的浪費。GAN 在近10 年的研究中已相當成熟,因此,將上游的知識遷移至紡織領域,微調模型參數并將通用領域的研究成果轉化至紡織行業(yè),將變得相對容易。此外,隨著擴散生成模型的崛起,GAN 可能會失去其主導地位,但作為2個知識點相近的領域,將前期的科研成果轉化至擴散生成模型領域,依舊是可行且有利可圖的。因此,GAN 在紡織行業(yè)中必將有著廣闊的應用前景。