基于CycleGAN算法的迷彩服裝圖案設計方法研究

李 敏, 劉冰清,2, 彭慶龍, 于 淼

(1.青島大學 紡織服裝學院,青島 266071; 2.東華大學 服裝與藝術設計學院,上海 200051; 3.青島科技大學 信息科學技術學院,青島 266025)

圖案是服裝設計的重要內容之一,它具有獨特的形式和鮮明的風格特征。迷彩服裝是軍隊作戰、訓練穿的具有偽裝效果的一種服裝,主要通過減小服裝顏色、圖案等與周圍環境在亮度、顏色、紋理等光學特性上的差別來達到偽裝效果[1-2]。以此降低目標的顯著特征和某些探測儀器對目標的發現概率[3],從而有效提升戰士在戰場的生存能力。在軍事領域,迷彩偽裝是一種有效的偽裝方式,有重要的應用價值。現在常用的迷彩圖案是通過計算機處理加以人類視覺特性開發的數碼迷彩,獨特的馬賽克式斑點組合很好地模擬了自然環境的特性。然而傳統的數碼迷彩算法繁雜且在一定程度仍然依賴于人類的自我感知并且色彩單一,50 m內偽裝效果不佳。

隨著數據經濟時代的快速發展,智能化、網絡化都被推向更高的發展層面,人工智能技術在各個領域被廣泛應用。服裝這一傳統手工制造業,正在緊跟時代發展的潮流,智能化生產、虛擬試衣等多項技術推進這項行業實現轉型升級。計算機技術與服裝的有效結合不僅可以提升服裝發展效率,更能有效提高特殊服裝的功能性。隨著計算機圖像技術的發展,越來越多的學者對利用計算機技術生成服裝圖像做了深入研究。在服裝圖案設計方面,出現了像3D打印、CAD和MTM等的一些電腦輔助科技,這些電腦科技是有效的輔助服裝設計的計算機技術。張培婷等[4]在針織服裝的圖案設計中提出,利用三維虛擬技術實現國潮風圖案的生成。胡明珠等[5]利用計算機技術對地貌景觀進行特征提取,并最終應用于針織服裝的設計中。然而,以上的實驗方案大多是通過提取圖片特征,直接應用于服裝圖案設計中,而且現有的大部分電腦圖案設計技術雖然為服裝設計提供了有效幫助,但是大部分工作仍然需要手工完成,耗費時間和精力。

針對以上問題,本文利用循環生成對抗網絡模型進行服裝迷彩圖案的自動化生成。CycleGAN算法可以利用輸入圖像進行特征融合,不依靠實驗人員的主觀判斷,針對不同背景環境可生成具有高質量、抗偵察能力強、端到端的迷彩圖案,使最終的迷彩服裝具有優良的偽裝效果。

1 循環一致生成式對抗網絡(CycleGAN)

GAN由Goodfellow在2014年首次提出,是一種深度學習模型,由于其獨特的對抗性思想使得在眾多計算機學習網絡中脫穎而出。隨著人們不斷提出優化改進的網絡模型,生成式對抗網絡廣泛應用于計算機視覺(CV)[6-7]、圖像[8]、機器學習(ML)[9-10]、語音處理(AS)[11-13]等領域。生成式對抗網絡包括兩部分:生成模型(Generative model,G模型)和判別模型(Discriminative model,D模型)。傳統生成式對抗網絡模型結構如圖1所示。其中,生成器接受一個隨機信號并學習輸入的真實圖像的分布,生成一張類似真實圖像的圖像,目的是“欺騙”判別器;同時,生成器把生成圖像和真實圖像輸入判別器中。判別器判斷輸入的圖像接近真實圖像的概率,輸出一個概率值并給生成器一個反饋,由此,兩者就構成了一個動態的博弈過程。之后利用隨機梯度下降法(SGD)來訓練生成器和判別器,在此過程中,G模型需要盡可能地優化生成目標,同時,D模型也需要優化自身使得盡可能地判別目標真偽從而使結果達到更優化。理想狀態下,生成器生成的圖片與真實圖片非常類似,這時的判別器無法判別輸入圖像的真假,最終達到Nash均衡狀態。迷彩的生成可以看作是利用GAN生成服裝圖案,實際上是將數據集中的圖片風格進行遷移,CycleGAN在GAN基礎上實現了雙向映射,在圖片風格遷移領域有更好的效果。

圖1 傳統生成式對抗網絡模型Fig.1 Traditional generative countermeasure network model

2017年,Zhu等[14]在GAN算法基礎上提出了循環一致性生成對抗模型(CycleGAN),該模型在原GAN算法模型的基礎上,各增添一個生成器和判別器,即使用兩個GAN算法模型。而CycleGAN模型與其他模型相比,在圖像翻譯領域有著無法比擬的優勢,其主要原因在于引入了循環映射的概念。圖2為CycleGAN網絡的模型架構,與Pix2pix不同,CycleGAN可以使用不對稱的數據集。首先需要定義兩個有潛在關系的域X和域Y,通過學習完成從X到Y的映射,即G:X-Y。兩個生成模型G和F,及其相對應的判別模型DX和DY被設定在映射函數中。將所有圖像X{x1,x2,……}輸入到生成器G中,利用對抗損失使得生成圖像G(x)與生成目標域Y的圖像相似,再將G(x)輸入到生成器F中可以生成X域的一個fake圖像F(G(x))。同時,域Y對于X進行上述同樣映射。最后,F(G(x))與G(F(x))分別被送入對應的判別模型中。CycleGAN的循環映射確保了圖像轉換過程中的有效性,不會將多張圖像的特征反映在同一張圖像上。

圖2 CycleGAN網絡的模型架構Fig.2 Model architecture of CycleGAN network

2 基于CycleGAN的迷彩圖像生成模型

CycleGAN算法的雙向映射使得輸出圖片得以最大程度上保留輸入圖片的特征。基于此,本文提出了一種基于CycleGAN進行迷彩設計的實驗,該模型與原GAN不同之處在于,輸入是圖像而不是一組隨機噪聲。

2.1 實驗模型設計

圖3 CycleGAN生成模型結構Fig.3 Structure of CycleGAN generation model

本文的目的是使生成的迷彩圖像中擁有環境圖像的復雜紋理,因此,要使用對抗損失函數學習到A→B→A的映射。讓輸入兩個判別器的假圖G與真實圖像要盡可能相似,本文算法共使用4個loss組成,可以用下式來定義循環一致性損失函數:

(1)

式中:G(·)為生成器,F(·)為判別器,A為生成圖像,B為真實圖像。

在整個運算過程中,算法利用對抗損失學習映射,并采用損失函數進行激勵。這種循環映射的方式可以使CycleGAN網絡在面對較為復雜的數據集時,依舊可以實現數據集圖像的一一映射,而避免在學習過程中發生重大錯誤。CycleGAN算法的特點同樣保證了提取圖片紋理特征的細膩性與完整性,使得最終能夠生成與環境圖像色彩紋理相近的迷彩圖案。

2.2 算法流程

為了運用CycleGAN算法實現迷彩圖案的生成,需要利用Python語言編寫代碼,實現整個模型的架構來保證實驗的進行。具體算法流程如圖4所示,文字描述如下:

Step 1:搭建運行環境,安裝好Python接口的OpenCV、scikit-image等函數庫。制作數據集,對環境和迷彩圖像進行預處理。

Step 2:對layer層文件進行編寫,主要包括定義生成模型、判別模型中的卷積層、反卷積層和一些輔助函數,為最終完整模型的架構提供初步的框架。

Step 3:對模型文件進行編寫,對生成、判別模型進行定義;編寫訓練文件和主函數,完成整個CycleGAN模型的架構。

Step 4:利用斑馬和馬數據集進行模型訓練,訓練后查看結果及權重。

Step 5:將環境和迷彩數據集分別放在Train A、Train B文件夾中,對本文數據模型進行生成訓練,在主函數下運行程序,并將訓練次數設置為100。

Step 6:對不同的訓練次數下生成的圖像效果進行對比,及時對循環迭代的次數進行調整,以輸出最優結果。

圖4 實驗具體算法流程Fig.4 Specific flow chart of experiment

3 實 驗

為了進行本文實驗方案的運作,需要搭建算法運作環境。整個運算過程采用Ubuntu 18.04系統,搭載Python 3.6和Tensorflow 2.2結合的運算環境平臺,同時,安裝基于Python接口的OpenCV、scikit-image、tqdm、oyaml數據圖像處理包。

3.1 數據集預處理

由于生成器需要大量的學習和訓練才能很好地生成逼真的圖片,而各國并未將迷彩圖案的數據集公開。因此,需要根據要求自行搜集圖片,建立數據集。而為使最終生成的圖片達到令人滿意的效果,需根據數據代碼了解所要搜集的圖片大小及分辨率,盡可能保證每個數據集里圖片的大小和分辨率一致。最終,在圖庫中選用300張環境圖像和300張迷彩圖像,并通過翻轉、裁剪、調整對比度等方法將數據集擴充至600×600張。所有圖像分辨率均為256 dpi×256 dpi,文件格式為JPG。

3.1.1 環境圖片

如前所述,迷彩圖案要保留相關環境圖片的紋理、相似的色塊構成等才可達到較好的偽裝效果。查閱文獻得知,每種環境的季節特性不同,通過使用每種背景的通用色和唯一色之間的中間色,可以實現針對兩種背景的最佳隱藏效果[15]。因此,在設計迷彩服裝圖案時,首先設定具體作戰環境的唯一色,設定可能轉換的場景顏色為通用色。本文以陸軍叢林迷彩服裝圖案設計為例,設定以叢林植物綠色為主背景,搜集褐色、藍色等其他色的一系列符合具體作戰背景的環境圖片。最終選用300張環境圖像,部分圖像如圖5所示。

圖5 部分林地背景環境圖像Fig.5 Background environment image of some forest lands

3.1.2 迷彩圖片

從遠古時期開始,人們就意識到利用衣物和環境相似的特點來迷惑敵人、保護自己。目前,中國軍隊已開始采用新式迷彩服裝,其又被稱為“星空迷彩”,分為海洋、城市、荒漠、林地、叢林等五種,可適應國內外不同地形的需要。然而,基于軍事機密等問題,各國都未公開用于迷彩服裝設計的數據集。因此,需要自行搜集圖片、建立數據集,而為使輸出的圖案接近迷彩樣式,本文廣泛搜集07式及新型迷彩的實體圖片。為適應作戰環境,各國間也一直優化各款迷彩服裝的圖案和顏色設計,本文借鑒美國、英國等一些迷彩服裝圖案設計經驗,同樣搜集他們的一些迷彩服裝實際圖片。最終選定300張迷彩圖片,部分迷彩圖片如圖6所示。

圖6 部分輸入迷彩圖像Fig.6 Partial input camouflage image

3.2 結果分析

在實驗中發現設置不同的epoch,輸出的結果大不相同。圖7(a)是設置算法不同epoch生成的圖片。當訓練epoch為15時,輸出的圖像色彩簡單,紋理模糊不清,基本無明顯的斑塊;而當訓練epoch為45時,圖像紋理開始明晰,能看出較為模糊的斑塊,且色彩保持較好,未發生較大偏移。隨著訓練epoch的增加,輸出的迷彩圖像在色彩、紋理方面愈來愈接近背景圖像。最終,將epoch設置為100。實驗的部分輸出結果如圖7(b)所示。

圖7 CycleGAN模型預實驗與正式實驗生成圖像Fig.7 CycleGAN model pre-experiment and formal experiment to generate images

CycleGAN算法模型是在GAN算法模型的基礎上衍生出的,與GAN算法模型相比,CycleGAN算法模型可做圖像風格的雙向遷移。圖8是使用GAN模型生成的圖像,生成圖像色塊明顯且未將環境、迷彩圖像的內容、風格特征有效融合到一起。

圖8 傳統GAN模型生成的圖像Fig.8 Image generated by traditional GAN model

為了驗證CycleGAN算法生成迷彩圖案的有效性,本文使用同樣的數據圖片,采用MUNIT、DRIT兩種模型生成迷彩圖片,對三種模型生成的圖片進行對比分析,結果如圖9所示。MUNIT(Multimodal Unsupervised Image-to-Image Translation)[16]是一種多模型無監督式的圖像風格轉換模型,包含生成器與鑒別器。通過對數據域中采集到的樣本進行風格和內容的分解、重組,生成全新的圖像。DRIT(Diverse Image-to-Image Translation)與MUNIT模型類似將樣本的風格和內容特征進行分離,重組輸入內容特征與目標域風格特征,從而生成新圖像[17]。

從圖9可以看出,圖9(a)的顏色與輸入圖像相距甚遠;圖9(b)的圖像保留了輸入背景圖像中的顏色和紋理特征,相較于其他兩種模型來說,生成圖片效果優異;圖9(d)的生成圖像模糊、色素混濁,生成圖片效果差。

圖9 不同模型之間的生成圖像對比Fig.9 Comparison of generated images among different models

對于生成的迷彩圖像應用效果的評估方面,本文利用SSIM結構相似性算法和生成圖像在環境中的融合度分別進行定量評估和主觀評估。將圖9所示的原有迷彩圖像和三種模型生成圖像輸入SSIM算法,三種模型的得分結果如表1所示。SSIM結構相似性算法主要從亮度、對比度、結構等的方面來評估兩幅圖片間結構的差異性,其得分越高表示生成圖像與原有圖像差異性越小。從圖9和表1所示的計算結果來看,使用本文所采用的CycleGAN算法生成的迷彩圖像與原有迷彩圖像既保留一定的相似性又融入環境圖像所特有的一些結構、色彩等特征,且與MUNIT模型相比結果清晰,與DRIT結果相比迷彩圖像與環境圖像的融合度更高。因此,使用CycleGAN模型生成的圖像相比于其他兩種算法具有更好的偽裝效果。

表1 生成圖像的SSIM評價得分Tab.1 SSIM evaluation scores of generated images

在主觀評價方面,本文主要采用色彩、紋理與邊緣特征等評價指標對生成的圖像進行對比評定。生成圖像與原有迷彩圖像在環境中的對比如圖10所示。在迷彩圖像色彩方面,圖10(a)生成的迷彩圖像在色彩層次上變化豐富,與背景圖像色彩相似度高;不同色塊之間過渡不明顯,具有很好的混色效果。在圖像紋理方面,背景圖像中的紋理大部分清晰地保存在生成圖像中。生成的偽裝斑塊無序,不同顏色和形狀的斑塊在保持較大背景輪廓的基礎上相互重疊,因此,圖像會產生視覺上的三維效果。這主要是因為CycleGAN網絡中生成器采用的是編碼器-解碼器結構,編碼器對每層的數碼圖像和背景進行下采樣。內容編碼器則保留圖像的結構布局,樣式編碼器的主要目的是保留數碼迷彩的紋理和色彩特征。通過將來自背景圖像域的內容特征與來自數碼迷彩域的樣式特征送入到生成器中實現,實現跨域圖像之間的特征融合。

圖10 CycleGAN模型生成圖像在背景環境中的應用效果Fig.10 The effect of the image generated by the CycleGAN modelapplied in the background environment

綜上,通過對生成的迷彩圖像進行主客觀三方面的檢測評價,發現使用CycleGAN模型生成的迷彩具有較好的偽裝效果,將環境特點與迷彩特征有效進行融合,且色彩層次鮮明、紋理細膩,與背景邊緣明暗差異小,斑塊邊緣也模糊破碎不易辨別,環境適應性強。因此,基于CycleGAN模型進行迷彩設計的實驗方法是可行的。

4 結 論

迷彩偽裝技術是軍事領域最常用且最有效的偽裝技術之一,在對抗高科技武器偵察和攻擊系統中發揮了舉足輕重的作用。如何進一步提高數碼迷彩的偽裝性能,設計具有高質量、抗偵察的數碼迷彩具有重要的科學意義和軍事應用價值。現代戰場突變性強、方式靈活多變、縱向深且作戰區域范圍變化大,這直接使得作戰環境多變,因而提前根據作戰環境設計能適應多變環境的迷彩圖案幾乎是不可能的,為了使迷彩偽裝達到良好的效果,必須根據作戰環境的變化及時且快速地調整迷彩的斑點和色彩。本文根據現代軍事高科技戰爭的需求,結合計算機技術,提出了一種基于生成式對抗網絡的迷彩服裝圖案設計的新方法,將軍事服裝與現代科技進行雙贏融合。該方法是利用生成模型與判斷模型間的對抗思想,提取輸入圖片特征生成所需圖片,在整個過程中,利用計算機網絡實現迷彩圖案的自動化生成。這種方法與傳統服裝設計相比既節省紙張、燃料等資源,符合當下所提倡的環境保護主題,又可節約時間資本,將服裝設計變得更簡便快速,且生成不以設計人員的喜好為轉變。同時,又可增加迷彩服裝圖案設計的新途徑,為實現服裝設計與人工智能的融合提供更多可能。

本文使用CycleGAN模型生成了一系列迷彩圖案,通過這種方法可以看到,將人工智能應用于服裝設計領域已變為可能。在后續的研究工作中,可采用CycleGAN算法對圖案設計中常見的風景和花卉圖案進行生成應用,以此推進GAN算法在普通服裝領域的適用性。人工智能技術的發展推動了服裝行業的進步,而GAN計算網絡與傳統服裝設計的結合可以實現更準確、更便捷的服裝圖案設計。

《絲綢》官網下載

中國知網下載