改進(jìn)CycleGAN的鋼材表面缺陷圖像生成方法

張付祥,徐兆洋,李俊慧,黃風(fēng)山,李文忠

(1.河北科技大學(xué)機(jī)械工程學(xué)院,河北石家莊 050018;2.河鋼集團(tuán)石鋼公司,河北石家莊 050031)

鋼鐵被譽為“工業(yè)糧食”,它不僅用于制造汽車、建造房屋和橋梁,還為人們的日常生活提供各種耐用品。中國是最大的鋼材生產(chǎn)國和出口國[1]。鋼材表面的缺陷會導(dǎo)致鋼材性能和使用壽命下降,甚至直接引發(fā)安全事故[2]。工業(yè)場景中的鋼材表面缺陷檢測主要包括直接檢測、人工檢測、渦流檢測、紅外檢測、漏磁檢測、傳統(tǒng)圖像處理檢測等。渦流檢測、紅外檢測、漏磁檢測由于技術(shù)含量高、成本高,不能廣泛應(yīng)用;直接檢測鋼材表面缺陷存在生產(chǎn)環(huán)境惡劣、高溫、高熱、高噪聲、高風(fēng)險等問題;人工檢測有檢測疲勞和主觀判斷不一致的麻煩;傳統(tǒng)的圖像處理檢測方法無法滿足高速、實時檢測的需求;基于深度學(xué)習(xí)的目標(biāo)檢測由于用于訓(xùn)練的數(shù)據(jù)不足,難以達(dá)到預(yù)期效果,并且模型存在訓(xùn)練崩潰、不穩(wěn)定、難收斂等問題。因此,對小樣本鋼材表面缺陷數(shù)據(jù)集進(jìn)行擴(kuò)增,提高鋼材表面缺陷檢測的效率和準(zhǔn)確率是一項十分重要的研究內(nèi)容。

大量的數(shù)據(jù)樣本是保證缺陷檢測精度的前提,但這一條件在實際應(yīng)用場景中往往難以實現(xiàn)[3]。在鋼廠采集鋼材表面圖像數(shù)據(jù)較為困難并且成本極高,因為安全生產(chǎn)因素,很難獲得含缺陷的圖像數(shù)據(jù),而含多類缺陷的鋼材表面圖像數(shù)據(jù)更是少之又少。在圖像采集過程中,往往存在多種環(huán)境因素,導(dǎo)致圖像質(zhì)量損失較大,進(jìn)而影響計算機(jī)視覺任務(wù)特征的提取與使用,尤其是陰天、夜晚等光照因素導(dǎo)致的問題較為常見且難以避免[4]。為了以較低的成本獲取足夠數(shù)量的鋼材表面缺陷數(shù)據(jù)圖像,在早期工作中會采用傳統(tǒng)的樣本擴(kuò)增方法,但通過這些方法得到的缺陷圖像很難模擬真實場景下的鋼材表面缺陷圖像的諸多細(xì)節(jié),而且由于沒有改變原始圖像特征導(dǎo)致效果過于單一化。生成對抗網(wǎng)絡(luò)(GAN)[5]通過學(xué)習(xí)多維噪聲來生成樣本,但通過隨機(jī)噪聲生成的圖像存在模糊的問題,從而導(dǎo)致模型泛化能力下降,在真實數(shù)據(jù)上的表現(xiàn)效果較差。師紅宇等[6]對ACGAN(auxiliary classifier GAN)算法進(jìn)行改進(jìn)得到帶鋼小樣本數(shù)據(jù)增強(qiáng)方法,通過對網(wǎng)絡(luò)結(jié)構(gòu)的重新設(shè)計,生成了高質(zhì)量的帶鋼樣本,但在訓(xùn)練速度上仍需進(jìn)一步提升;李寶平等[7]使用U-ResNet生成器解決了邊緣模糊和梯度消失的問題,但目前網(wǎng)絡(luò)的規(guī)模仍然偏大;高海洋等[8]使用點集匹配的方法進(jìn)行缺陷樣本圖像生成,對單張缺陷樣本的缺陷部位從多特征角度進(jìn)行變換得到適用于多種平面類缺陷圖像生成的方法;李春華等[9]通過添加殘差網(wǎng)絡(luò)和注意力機(jī)制,并且優(yōu)化損失函數(shù)改進(jìn)DCGAN網(wǎng)絡(luò)進(jìn)行輪胎缺陷圖像的生成,但模型生成缺陷圖像的多樣性不夠理想;彭興輝等[10]通過形態(tài)學(xué)預(yù)處理和改進(jìn)BEGAN(boundary equilibrium GAN)網(wǎng)絡(luò),生成太陽能電池片缺陷圖像,提升了目標(biāo)檢測網(wǎng)絡(luò)的檢測性能;張付祥等[11]使用小波變換的方法進(jìn)行圖像增強(qiáng)對棒材端面字符進(jìn)行識別,但仍需進(jìn)一步提高識別的準(zhǔn)確率。

綜上所述,已公開數(shù)據(jù)集不能完全滿足實際需求,現(xiàn)有缺陷圖像生成算法也無法兼顧多樣性與真實性。為解決上述問題,本文以CycleGAN為基礎(chǔ),將鋼材表面缺陷圖像生成看作圖像風(fēng)格遷移任務(wù)的一種變形,運用CycleGAN網(wǎng)絡(luò),實現(xiàn)不同種類鋼材表面缺陷特征之間的風(fēng)格遷移,然后通過添加注意力機(jī)制、引入權(quán)重解調(diào)機(jī)制和形狀一致性損失來改進(jìn)模型,提出一種基于改進(jìn)CycleGAN的鋼材表面缺陷圖像生成模型。

1 相關(guān)工作

1.1 生成對抗網(wǎng)絡(luò)(GAN)

生成對抗網(wǎng)絡(luò)(GAN)的主要原理是神經(jīng)網(wǎng)絡(luò)生成器遵循一定分布的隨機(jī)噪聲z轉(zhuǎn)換為生成的樣本G(z),神經(jīng)網(wǎng)絡(luò)鑒別器區(qū)分輸入圖像的真實性。在2種網(wǎng)絡(luò)的對抗中,生成器不斷提高生成圖像的質(zhì)量來盡可能地生成符合真實分布的圖像數(shù)據(jù),而判別器則不斷提高自身的判斷能力,生成器網(wǎng)絡(luò)和判別網(wǎng)絡(luò)反復(fù)更新權(quán)重參數(shù),以改善模型的特性,最終理想的效果是生成器生成的圖像使判別器無法辨別數(shù)據(jù)來源于哪一類,即實現(xiàn)納什均衡[12-13]。

1.2 循環(huán)生成對抗網(wǎng)絡(luò)(CycleGAN)

1.2.1 整體架構(gòu)

CycleGAN[14]是生成對抗網(wǎng)絡(luò)模型的一個變種,是經(jīng)典無監(jiān)督學(xué)習(xí)模型的代表。CycleGAN主要優(yōu)勢在于可以對2種風(fēng)格的圖像數(shù)據(jù)進(jìn)行一個圖像域到另一個圖像域的風(fēng)格轉(zhuǎn)換,圖片之間不需要配對,通過學(xué)習(xí)源域和目標(biāo)域的特征信息,建立兩者的映射函數(shù),生成適配輸入圖像的另一圖像域風(fēng)格的圖像,本質(zhì)為風(fēng)格遷移,其模型是一個雙生成對抗網(wǎng)絡(luò)的架構(gòu)。針對鋼材表面缺陷圖像生成任務(wù),選取CycleGAN作為基礎(chǔ)模型。CycleGAN包含2個生成器G,F,2個判別器DX,DY。生成器G可將X域圖像的特征映射到Y(jié)域圖像,生成器F反向?qū)域圖像的特征映射到X域數(shù)據(jù)。判別器通過鑒別生成器生成的圖像和真實域中圖像的真假,激勵生成器不斷產(chǎn)生更接近于真實的圖像,進(jìn)而實現(xiàn)不同種類的鋼材表面缺陷圖像之間特征的相互映射,理論上可以生成同時含有多類缺陷的鋼材表面圖像。鋼材表面缺陷圖像生成的CycleGAN模型結(jié)構(gòu)如圖1所示。

圖1 鋼材表面缺陷圖像生成的CycleGAN模型結(jié)構(gòu)圖

1.2.2 生成器與判別器結(jié)構(gòu)

生成器采用卷積神經(jīng)網(wǎng)絡(luò)、殘差神經(jīng)網(wǎng)絡(luò)、反卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行編碼和解碼[15]。編碼器通過卷積操作對輸入的鋼材表面缺陷圖像進(jìn)行下采樣;殘差塊不但可以進(jìn)行特征的提取與轉(zhuǎn)化,還能夠減少梯度消失問題;解碼器使用反卷積對分辨率下降后的圖像進(jìn)行上采樣,使圖像恢復(fù)到輸入的尺寸。輸入的鋼材表面缺陷圖像依次通過卷積、殘差、反卷積結(jié)構(gòu)進(jìn)行特征的轉(zhuǎn)化提取以及上下采樣,最終輸出具有另一風(fēng)格的圖像。生成器結(jié)構(gòu)如圖2所示。

圖2 生成器結(jié)構(gòu)

CycleGAN網(wǎng)絡(luò)采用PatchGAN作為判別器(見圖3),通過5層卷積將通道數(shù)減少為1,最后進(jìn)行平均池化操作,該判別器輸出結(jié)構(gòu)為N×N大小的矩陣作為對生成圖像的評價,通過此種方法,考慮全局的感受野信息的差別,更能夠關(guān)注特征的細(xì)節(jié)信息[16]。

圖3 PatchGAN判別器結(jié)構(gòu)

1.2.3 損失函數(shù)

CycleGAN的損失函數(shù)由生成對抗損失和循環(huán)一致性損失組成[17]。生成對抗損失函數(shù)由2個生成器產(chǎn)生,假設(shè)X域中的樣本x服從概率分布x～Pdata(x),Y域中的樣本y也服從概率分布y～Pdata(y),得到生成器G和F的生成對抗損失為

LGAN(G,DY,X,Y)=Ey～Pdata(y)[logDY(y)]+Ex～Pdata(x)[log(1-DY(G(x)))],

(1)

LGAN(F,DX,Y,X)=Ex～Pdata(x)[logDX(x)]+Ey～Pdata(y)[log(1-DX(G(y)))],

(2)

式中E為數(shù)學(xué)期望。

CycleGAN的生成器具有循環(huán)一致性:圖像首先經(jīng)過生成器G,再經(jīng)過生成器F,最終會轉(zhuǎn)換為原始圖像,即x→G→F≈x。這一過程中CycleGAN的循環(huán)一致性損失函數(shù)為

(3)

總的損失函數(shù)為

L(G,F,DX,DY)=LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+λLcyc(G,F),

(4)

式中λ為對抗性損失和循環(huán)一致性損失的權(quán)重比。

1.2.4 原始模型的不足和改進(jìn)方向

首先,CycleGAN在處理復(fù)雜的圖像轉(zhuǎn)換任務(wù)時存在一定的困難。由于其基于無監(jiān)督學(xué)習(xí),模型無法獲取到與圖像轉(zhuǎn)換任務(wù)相關(guān)的真實標(biāo)簽信息,這使得模型很難在轉(zhuǎn)換過程中保持高質(zhì)量的細(xì)節(jié)和語義一致性,因此可以通過為復(fù)雜圖像添加分割標(biāo)簽來約束生成器,進(jìn)一步提高生成圖像的質(zhì)量。

其次,CycleGAN在訓(xùn)練過程中需要大量的數(shù)據(jù)和計算資源。由于模型的復(fù)雜性和數(shù)據(jù)集的規(guī)模,訓(xùn)練CycleGAN模型需要大量的圖像樣本和長時間的訓(xùn)練,但由于資源有限很難訓(xùn)練一個高質(zhì)量的CycleGAN模型,因此可以在訓(xùn)練之前通過傳統(tǒng)方法初步進(jìn)行樣本擴(kuò)增,并且可以添加注意力機(jī)制模塊來增加模型的特征提取能力,提高任務(wù)處理的效率和準(zhǔn)確率。

最后,CycleGAN在處理不平衡的數(shù)據(jù)集時可能會出現(xiàn)問題。如果輸入圖像的分布在不同的域之間存在差異較大的情況,模型可能會出現(xiàn)模式崩潰和生成圖像質(zhì)量低下的問題,如偽影和白斑,這種情況可以通過調(diào)整和優(yōu)化參數(shù)等方式來解決。

2 改進(jìn)CycleGAN的鋼材表面缺陷圖像生成模型

2.1 添加注意力機(jī)制模塊

注意力機(jī)制源于生物視覺系統(tǒng)特殊的圖像處理能力,可以在模型性能有限情況下將資源更好地分配到重要信息,使模型從關(guān)注全部到關(guān)注重點,提高任務(wù)處理的效率和準(zhǔn)確率。在CycleGAN原始生成器與判別器的基礎(chǔ)上引入CAM與SAM結(jié)構(gòu)[18],CAM和SAM注意力機(jī)制可以增強(qiáng)模型的性能,特別是在處理具有復(fù)雜紋理和結(jié)構(gòu)的圖像轉(zhuǎn)換任務(wù)時具有顯著的效果,添加注意力機(jī)制后的生成器和判別器結(jié)構(gòu)如圖4所示。

圖4 添加注意力機(jī)制后的生成器與判別器結(jié)構(gòu)

CAM過程可表示為

f′=σ(MLP(AvgPool(f))+MLP(MaxPool(f)))=CAM(f)?f,f∈RC,

(5)

式中:σ為Sigmoid激活函數(shù);MLP為多層感知器全連接神經(jīng)網(wǎng)絡(luò);AvgPool,MaxPool分別為平均池化與最大池化;f為特征圖;f′為經(jīng)CAM通道注意力機(jī)制生成的加權(quán)特征;C為通道維度。

SAM過程可表示為

f″=σ(Concat[AvgPool(f′),MaxPool(f′)])=SAM(f′)?f′,f′∈RH×W,

(6)

式中:Concat表示對2個特征矩陣進(jìn)行拼接;f″為經(jīng)SAM空間注意機(jī)制生成的加權(quán)權(quán)重;H,W為二維空間維度。

2.2 引入權(quán)重解調(diào)機(jī)制

針對CycleGAN模型可能不足以捕捉復(fù)雜的圖像轉(zhuǎn)換任務(wù),尤其是當(dāng)源域和目標(biāo)域之間存在顯著的差異時模型無法準(zhǔn)確地轉(zhuǎn)換圖像,在生成圖像中產(chǎn)生偽影或白斑的問題(見圖5),引入StyleGAN2的權(quán)重解調(diào)機(jī)制[19],對特征圖的一系列操作改為對權(quán)重的操作,在保留完全可控性的同時消除了偽影和白斑。

圖5 白斑和偽影圖像

在殘差結(jié)構(gòu)進(jìn)行特征提取部分的激活函數(shù)前后2個卷積層中分別加入w1,w2,并通過殘差連接實現(xiàn)特征融合傳遞,經(jīng)權(quán)重解調(diào)后的殘差結(jié)構(gòu)如圖6所示,WD運算可表示為

圖6 添加權(quán)重解調(diào)機(jī)制后的殘差結(jié)構(gòu)

(7)

式中:i為權(quán)重w的通道索引;j,k為對應(yīng)通道的二維遍歷索引;ε為防止分母為0的值。

2.3 引入形狀一致性損失

CycleGAN在幾何變換過程中,一個像素可以對應(yīng)到多個位置,這會增加循環(huán)一致性的復(fù)雜性,從而導(dǎo)致出現(xiàn)內(nèi)在模糊性和限制問題,針對這一現(xiàn)象,引入形狀一致性損失[20]。生成器的學(xué)習(xí)過程由循環(huán)一致性損失、對抗性損失和形狀一致性損失進(jìn)行監(jiān)督,添加分割器后的模型結(jié)構(gòu)如圖7所示。

圖7 添加分割器后的模型結(jié)構(gòu)

引入形狀一致性損失的具體流程是:首先,添加分割網(wǎng)絡(luò)[21],分割網(wǎng)絡(luò)的2個分割器SX,SY均采用U-Net結(jié)構(gòu);其次,給源域圖像X和目標(biāo)域圖像Y添加分割標(biāo)簽,源域圖像X中的樣本x對應(yīng)的標(biāo)簽為Lx,目標(biāo)域圖像Y中的樣本y對應(yīng)的標(biāo)簽為Ly;再次,將源域圖像X中的樣本x輸入生成器F生成假樣本x′,接著將x′輸入分割網(wǎng)絡(luò)得到x″;最后,將x″和y求交叉熵?fù)p失,以此作為形狀一致性損失Lshape,形狀一致性損失函數(shù)為

(8)

式中:xi,yi∈{0,1,…,C},表示一個像素所屬的類別;N表示一張圖像中的像素總數(shù)。

最后將形狀一致性損失引入總損失函數(shù),改進(jìn)后的總損失函數(shù)為

L(G,F,DX,DY,SX,SY)=LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+λLcyc(G,F)+γLshape(SX,SY,G,F),

(9)

式中γ為形狀一致性損失和生成對抗損失與循環(huán)一致性損失的權(quán)重比。

3 試驗設(shè)計

3.1 試驗數(shù)據(jù)集

試驗所用數(shù)據(jù)集為東北大學(xué)鋼材表面缺陷公開數(shù)據(jù)集(NEU-DET)[22],包含裂紋(Cr)、夾雜(In)、斑塊(Pa)、點蝕(Ps)、氧化(Rs)、劃痕(Sc)共6類,每類缺陷圖片300張,共1 800張圖片,圖片尺寸為200 px×200 px,圖片類型為灰度圖,數(shù)據(jù)集部分圖片如圖8所示。

圖8 NEU-DET數(shù)據(jù)集的缺陷類型

使用LabelImg軟件對數(shù)據(jù)集圖片進(jìn)行標(biāo)注,標(biāo)注方式為在實際缺陷區(qū)域的輪廓采用多點標(biāo)注的方式標(biāo)注真實框,得到格式為json的文件,然后轉(zhuǎn)化為模型能夠讀取的txt格式文件。

標(biāo)注后的數(shù)據(jù)信息如圖9所示。圖9 a)為標(biāo)注后各類別缺陷的標(biāo)注框數(shù)量,圖9 b)為標(biāo)注框的大小分布情況。由圖9可知,用多點標(biāo)注后標(biāo)簽數(shù)量較多,從標(biāo)注框的寬度和高度可知,鋼材表面缺陷圖像中包含大量小目標(biāo),且目標(biāo)分布較為密集。

圖9 數(shù)據(jù)集多點標(biāo)注后的數(shù)據(jù)信息

3.2 試驗環(huán)境設(shè)置

1)試驗的硬件環(huán)境 CPU為Intel Core i7-12700H,主頻為2.96 GHz,GPU為NVIDIA GeForce RTX 3060,顯存為GDDR6 6 G,RAM為DDR4 16 GB。

2)試驗的軟件環(huán)境 操作系統(tǒng)為Windows 11,深度學(xué)習(xí)框架為PyTorch1.12.1,開發(fā)環(huán)境為Python3.8,Cuda11.3,cudnn8.2.1。

3)超參數(shù)設(shè)置 輸入圖像尺寸為256 px×256 px,學(xué)習(xí)率為0.002,權(quán)重衰減系數(shù)為0.5,圖像批樣本數(shù)量為1,迭代次數(shù)為300。

3.3 評價指標(biāo)

1)峰值信噪比(PSNR)。它是評估圖像質(zhì)量最常見和最廣泛接受的客觀標(biāo)準(zhǔn),PSNR值越高,圖像越接近真實特征的實際分布,失真越小。給定一個大小為m×n的2張圖像樣本I和K。

均方誤差(MSE)的計算公式為

(10)

峰值信噪比(PSNR)的計算公式為

(11)

2)結(jié)構(gòu)相似性(SSIM)。可以準(zhǔn)確衡量2個圖像是否相似,SSIM取值范圍為0～1,值越大表示生成的圖像質(zhì)量越高。它的公式基于樣本x和y之間的亮度l(x,y)、對比度c(x,y)和結(jié)構(gòu)相似度s(x,y)來衡量,計算公式為

(12)

式中:μx,μy分別表示樣本x和y的均值;σx,σy分別表示樣本x和y的方差;σxy表示樣本x和y的協(xié)方差;C1=(K1L)2,C2=(K2L)2,C3=C2/2,L為像素的取值范圍,通常情況下,K1=0.01,K2=0.03。

結(jié)構(gòu)相似性(SSIM)的計算公式為

SSIM(x,y)=l(x,y)·c(x,y)·s(x,y)。

(13)

3)FID。用于計算真實圖像與生成圖像特征向量之間的距離,FID值越小,生成圖像越接近于真實圖像,FID的計算公式為

FID=‖μr-μg‖2+Tr(∑r+∑g-2(∑r∑g)1/2),

(14)

式中:μr為真實圖像特征的均值;μg為生成圖像特征的均值;∑r,∑g分別為真實圖像特征和生成圖像特征的方差;Tr為方陣的跡。

3.4 消融試驗與對比試驗

為證明改進(jìn)后模型的效果,進(jìn)行消融試驗驗證改進(jìn)點的作用,試驗環(huán)境和超參數(shù)設(shè)置均保持一致。以原始CycleGAN模型為基線,在此基礎(chǔ)上設(shè)計4種改進(jìn)模型與基線進(jìn)行比較,其中,M1為原始CycleGAN模型,M2為添加注意力機(jī)制后的模型,M3為引入權(quán)重解調(diào)機(jī)制后的模型,M4為引入形狀一致性損失后的模型,M5為同時進(jìn)行3種改進(jìn)后的模型,5種模型在上述評價指標(biāo)下的消融試驗如表1所示。

表1 消融試驗

表1中,粗體數(shù)據(jù)為最佳的試驗結(jié)果,說明在進(jìn)行模型改進(jìn)后,各個評價指標(biāo)的數(shù)值均有改善,由M2可知添加CAM和SAM注意力機(jī)制后,模型對輸入圖像的感知能力和對生成圖像的細(xì)節(jié)控制有所提高。由M3可知,引入權(quán)重解調(diào)機(jī)制后,改善了圖像風(fēng)格遷移的質(zhì)量。由M4可知,引入形狀一致性損失后,增加了更多的約束,引入了額外的信息,能夠有效解決內(nèi)在模糊性的問題。改進(jìn)后的CycleGAN算法生成的圖像相對于原始模型的PSNR值由15.57提高到了17.59,SSIM值由0.577提高到了0.623,FID值由167.08降低到了111.76,PSNR,SSIM分別提高了13.0%,7.8%,FID值降低了33.1%。消融試驗結(jié)果表明,添加空間和通道混合注意力機(jī)制后可以有效提升模型的特征提取能力,引入權(quán)重解調(diào)機(jī)制和形狀一致性損失也可以進(jìn)一步提高生成圖像的質(zhì)量。

為了進(jìn)一步評估改進(jìn)后的模型性能,選擇4種主流生成對抗網(wǎng)絡(luò)模型(即GAN,DCGAN,WGAN,ACGAN)和其他相關(guān)研究成果,在NEU-DET數(shù)據(jù)集下與改進(jìn)的模型進(jìn)行對比試驗,試驗軟硬件環(huán)境和參數(shù)設(shè)置均保持一致,對比試驗結(jié)果見表2。

表2 對比試驗

表2中粗體數(shù)據(jù)為最佳的試驗結(jié)果。由表2可知,本文模型僅SSIM數(shù)值低于DCGAN。相較于DCGAN,本文模型SSIM值降低了4.9%,但PSNR值增加了60.2%,FID值降低了33.8%。綜合考慮幾種模型在上述評價指標(biāo)下的對比試驗數(shù)值,認(rèn)為本文模型優(yōu)于其他主流生成對抗網(wǎng)絡(luò)模型,具有一定的優(yōu)越性。

3.5 試驗結(jié)果與分析

為更加直觀地看出改進(jìn)后的模型生成鋼材表面缺陷圖像的效果,列舉了6類缺陷之間的特征映射,生成的鋼材表面缺陷效果如圖10所示,其中X,Y同時相互作為源域和目標(biāo)域圖像數(shù)據(jù),斜對角線上為同種缺陷類別圖像的映射,因此為空白。綜合幾種評價指標(biāo)和實際生成鋼材表面缺陷圖像的效果來看,改進(jìn)后的模型相對于原始模型和其他幾種主流生成對抗網(wǎng)絡(luò)模型的效果有了極大的提升。由此可以證明改進(jìn)后的模型相對于原始模型生成的圖像質(zhì)量更高,更符合原圖像的特征分布,在顏色、紋理、光影和特征形狀等方面與原始圖像僅有細(xì)微差異,靠肉眼難以分辨,經(jīng)過測試,本文方法生成的鋼材表面缺陷圖像取得了良好的定位與分類效果。

圖10 CycleGAN生成的鋼材表面缺陷圖像的效果圖

4 結(jié) 語

在CycleGAN模型基礎(chǔ)上,添加空間和通道混合注意力機(jī)制增強(qiáng)模型的特征提取和轉(zhuǎn)化能力,引入權(quán)重解調(diào)機(jī)制解決圖像生成過程中存在的偽影和白斑,在原始模型損失函數(shù)的基礎(chǔ)上引入形狀一致性損失,解決CycleGAN中的循環(huán)一致性在幾何變換方面存在內(nèi)在模糊性的問題,可使改進(jìn)后的模型生成圖像的PSNR,SSIM分別提高13.0%和7.8%,FID值降低33.1%,生成圖像的質(zhì)量優(yōu)于GAN,DCGAN,WGAN和ACGAN等主流生成對抗網(wǎng)絡(luò)的圖像質(zhì)量。提出的模型能夠穩(wěn)定地生成高質(zhì)量的各類鋼材表面缺陷圖像,有效解決鋼材表面缺陷圖像樣本較少并且在使用生成對抗網(wǎng)絡(luò)進(jìn)行樣本擴(kuò)增時效果不佳的問題,對于其他缺陷數(shù)據(jù)集的擴(kuò)增具有借鑒意義,如道路、橋梁裂紋缺陷,機(jī)床、齒輪等金屬零件或制品缺陷。

提出的模型理論上可以生成同時含有多類缺陷的鋼材表面圖像,但在實際生成過程中缺陷圖像的多樣性不夠理想,后續(xù)工作將以同時生成多類缺陷的鋼材表面圖像作為目的繼續(xù)進(jìn)行研究,并且進(jìn)一步提升模型的訓(xùn)練速度。

參考文獻(xiàn)/References：

[1] 李強(qiáng),陳鐵軍,李奇勇,等.鋼鐵行業(yè)含鋅冶金塵泥資源化利用現(xiàn)狀與研究進(jìn)展[J].中國冶金,2023,33(7):1-9.

LI Qiang,CHEN Tiejun,LI Qiyong,et al.Situation and research development on resource utilization of metallurgical dust containing zinc in iron and steel industry[J].China Metallurgy,2023,33(7):1-9.

[2] 鄒永純,王樹棋,陳國梁,等.304鋼等離子體電解拋光工藝與其表面結(jié)構(gòu)性能研究[J].表面技術(shù),2023,52(6):51-60.

ZOU Yongchun,WANG Shuqi,CHEN Guoliang,et al.Process,surface structure and properties of 304 steel by plasma electrolytic polishing[J].Surface Technology,2023,52(6):51-60.

[3] 李宗祐,高春艷,呂曉玲,等.基于深度學(xué)習(xí)的金屬材料表面缺陷檢測綜述[J].制造技術(shù)與機(jī)床,2023(6):61-67.

LI Zongyou,GAO Chunyan,LYU Xiaoling,et al.A review of surface defect detection for metal materials based on deep learning[J].Manufacturing Technology &Machine Tool,2023(6):61-67.

[4] ZHANG Tianci,LI Chao,CHEN Jinglong,et al.Feature-level consistency regularized semi-supervised scheme with data augmentation for intelligent fault diagnosis under small samples[J].Mechanical Systems and Signal Processing,2023,203.DOI:10.1016/j.ymssp.2023.110747.

[5] COPPEL J,BOUNTZIOUKA V,MARTIN D,et al.A comparison of the quality of image acquisition between two different sidestream dark field video-microscopes[J].Journal of Clinical Monitoring and Computing,2021,35(3):577-583.

[6] 師紅宇,王嘉鑫,李怡.基于改進(jìn)ACGAN算法的帶鋼小樣本數(shù)據(jù)增強(qiáng)方法[J/OL].計算機(jī)集成制造系統(tǒng).[2023-09-19].http://kns.cnki.net/kcms/detail/11.5946.TP.20230104.1047.004.html.

SHI Hongyu,WANG Jiaxin,LI Yi.Strip small sample data augmentation method based on improved ACGAN algorithm[J/OL].Computer Integrated Manufacturing System.[2023-09-19].http://kns.cnki.net/kcms/detail/11.5946.TP.20230104.1047.004.html.

[7] 李寶平,戚恒熠,王滿利,等.聯(lián)合3D建模與改進(jìn)CycleGAN的故障數(shù)據(jù)集擴(kuò)增方法[J].光學(xué)精密工程,2023,31(16):2406-2417.

LI Baoping,QI Hengyi,WANG Manli,et al.Equipment fault dataset amplification method combine 3D model with improved CycleGAN[J].Optics and Precision Engineering,2023,31(16):2406-2417.

[8] 高海洋,張明川,葛泉波,等.基于點集匹配的缺陷樣本圖像生成方法[J].智能系統(tǒng)學(xué)報,2023,18(5):1030-1038.

GAO Haiyang,ZHANG Mingchuan,GE Quanbo,et al.Method of defect sample image generation based on point set matching[J].CAAI Transactions on Intelligent Systems,2023,18(5):1030-1038.

[9] 李春華,付睿智,劉玉坤,等.基于改進(jìn)DCGAN輪胎缺陷圖像生成方法[J].河北科技大學(xué)學(xué)報,2023,44(4):346-355.

LI Chunhua,FU Ruizhi,LIU Yukun,et al.A method for generating tire defect images based on improved DCGAN[J].Journal of Hebei University of Science and Technology,2023,44(4):346-355.

[10] 彭興輝,田建平,吳相東,等.基于數(shù)據(jù)增強(qiáng)的光伏電池片缺陷檢測方法研究[J].中國測試,2023,49(7):29-34.

PENG Xinghui,TIAN Jianping,WU Xiangdong,et al.Research on defect detection method of photovoltaic cell based on data enhancement[J].China Measurement &Testing Technology,2023,49(7):29-34.

[11] 張付祥,郭旺,黃永建,等.成捆特鋼棒材端面字符識別算法研究[J].河北科技大學(xué)學(xué)報,2021,42(5):470-480.

ZHANG Fuxiang,GUO Wang,HUANG Yongjian,et al.Study on character recognition algorithm for end face of bundled special steel bars[J].Journal of Hebei University of Science and Technology,2021,42(5):470-480.

[12] GOODFELLOW I,POUGET-ABADIE J,MIRZA M,et al.Generative adversarial networks[J].Communications of the ACM,2020,63(11):139-144.

[13] 李偉鑫,樊蓓蓓.基于DC-SR GAN的鋼板表面缺陷樣本生成方法研究[J].計量與測試技術(shù),2023,50(1):37-40.

LI Weixin,FAN Beibei.Research on sample generation method for steel plate surface defects based on DC-SR GAN[J].Metrology &Measurement Technique,2023,50(1):37-40.

[14] DOU Hao,CHEN Chen,HU Xiyuan,et al.Asymmetric CycleGAN for image-to-image translations with uneven complexities[J].Neurocomputing,2020,415:114-122.

[15] KANEKO T,KAMEOKA H,TANAKA K,et al.Cyclegan-vc2:Improved cyclegan-based non-parallel voice conversion[C]//ICASSP 2019-2019 IEEE International Conference on Acoustics,Speech and Signal Processing (ICASSP).Brighton:IEEE,2019:6820-6824.

[16] 李文杰,張足生,董阿妮,等.改進(jìn)循環(huán)生成對抗網(wǎng)絡(luò)的車牌數(shù)據(jù)集自動生成算法[J/OL].計算機(jī)應(yīng)用.[2023-04-10].http://kns.cnki.net/kcms/detail/51.1307.TP.20230410.1304.004.html.

LI Wenjie,ZHANG Zusheng,DONG Ani,et al.Automatic generation algorithm of license plate dataset based on improved CycleGAN[J].Journal of Computer Applications.[2023-04-11].http://kns.cnki.net/kcms/detail/51.1307.TP.20230410.1304.004.html.

[17] PAN Yue,PI Dechang,CHEN Junfu,et al.FDPPGAN:Remote sensing image fusion based on deep perceptual patchGAN[J].Neural Computing and Applications,2021,33(15):9589-9605.

[18] ZHU Junyan,PARK T,ISOLA P,et al.Unpaired image-to-image translation using cycle-consistent adversarial networks[C]//2017 IEEE International Conference on Computer Vision (ICCV).Venice:IEEE,2017:2242-2251.

[19] KARRAS T,LAINE S,AITTALA M,et al.Analyzing and improving the image quality of StyleGAN[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Seattle:IEEE,2020:8107-8116.

[20] ZHANG Zizhao,YANG Lin,ZHENG Yefeng.Translating and segmenting multimodal medical volumes with cycle-andshape-consistency generative adversarial network[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City:IEEE,2018:9242-9251.

[21] LI Keming,ZHANG Guangyuan,LI Kefeng,et al.Dual CNN cross-teaching semi-supervised segmentation network with multi-kernels and global contrastive loss in ACDC[J/OL].Medical &Biological Engineering &Computing.[2023-09-01].https://doi.org/10.1007/s11517-023-02920-0.

[22] SONG Kechen,YAN Yunhui.A noise robust method based on completed local binary patterns for hot-rolled steel strip surface defects[J].Applied Surface Science,2013,285(Part B):858-864.