基于改進生成對抗網絡的圖像數據增強方法

詹燕，胡蝶，湯洪濤，魯建廈，譚健，劉長睿

(浙江工業大學 機械工程學院，浙江 杭州 310023)

現代零件加工質量檢測和設備故障診斷方法逐漸智能化，在各類機器學習和數據挖掘算法中，原始工業數據顯得極為重要.性能良好的算法需要海量且優質的數據支撐，僅用少量數據驅動的模型很難具備較好的泛化能力.不過，多數情況下難以獲取大量的工業數據集，例如變工況條件下標定完整的軸承振動數據集[1].

在圖像處理領域，針對工業數據不足的問題，現有的數據增強方法包括對原始圖像進行幾何變換、隨機調整亮度和對比度、添加各類噪聲等操作，然而這些方法不能使訓練樣本的多樣性產生質變[2].遷移學習[3]可以大幅減少人工標定成本，但是遷移學習模型難以改變其網絡結構，且靈活性較差，當訓練集和測試集數據分布差異過大時，模型易發生崩潰.隨著生成模型的發展，逐漸出現基于深度玻爾茲曼機（deep Boltzmann machine, DBM）[4]、生成隨機網絡（generative stochastic network, GSN）[5]、變分自編碼器（variational autoencoding, VAE）[6]、像素遞歸神經網絡（pixel recurrent neural networks, PixelRNN）、像素卷積神經網絡（pixel convolution neural networks, PixelCNN）[7-8]和生產式對抗網絡（generative adversarial networks,GAN）等數據增強方法.與VAE 相比，GAN 不存在偏置，能夠更好地擬合真實樣本分布；與DBM、GSN 和PixelRNN/CNN 相比，GAN 可一次性生成樣本，而不用反復計算馬爾可夫鏈或通過逐個生成像素的方式生成樣本.GAN 以其良好的圖像質量和快速的運行速度，成為了當前數據增強方法的主流研究方向之一.

基于生成器與判別器零和博弈的思想，Goodfellow 等[9]提出生成式對抗神經網絡，并將其應用于手寫數字和人臉圖像生成.Mirza 等[10]將標簽信息輸入到GAN 的生成器和判別器中，提出條件生成對抗網絡（conditional generative adversarial nets, CGAN），通過引入條件信息實現GAN 的訓練過程可控.Radford 等[11]將深度神經網絡（deep neural networks，DNN）引入GAN，并用全局池化層替換全連接層，提出深度卷積生成對抗網絡（deep convolutional generative adversarial networks，DCGAN）.為了穩定GAN 的訓練，Arjovsky 等[12]提出沃瑟斯坦生成對抗網絡（Wasserstein GAN，WGAN）.Gulrajani 等[13]提出帶梯度懲罰項的沃瑟斯坦生成對抗網絡（Wasserstein GAN with gradient penalty，WGAN-GP）.傳統GAN 方法生成的圖像數據較為模糊，為了生成高分辨率的圖像數據，Berthelot 等[14]基于自編碼器提出邊界均衡生成式對抗網絡（boundary equilibrium generative adversarial networks, BEGAN）.Karras 等[15]提出PG-GAN，通過漸進訓練的方式增大生成圖像的空間分辨率.Karras 等[16-18]借鑒風格遷移網絡并通過修改漸進層輸入，提出StyleGAN 系列對抗網絡，實現對隱空間的解耦.圖像超分辨率重建可以利用低分辨率圖像經過訓練得到高分辨率圖像，Dong 等[19]將深層卷積網絡應用于圖像超分辨率重建提出超分辨率卷積神經網絡（super-resolution convolutional neural network, SRCNN）.相比通過GAN 方法得到高分辨率圖像，圖像超分辨率重建技術模型結構更簡單，且訓練過程更穩定.

綜上所述，現有圖像數據增強方法存在以下問題：1）基于傳統GAN 方法直接建立向高分辨率圖像的映射網絡，網絡難以工作.2）圖像超分辨率重建技術是在已知低分辨率圖像的基礎上生成高分辨率圖像，模型無法自主生成低分辨率圖像.3）目前基于GAN 的模型對于噪聲的輸入都極為隨意，在多數情況下都是直接輸入一維隨機噪聲，導致輸入的噪聲和樣本原始分布差異較大.網絡可訓練參數量過多，會影響模型收斂速度.4）現有的漸進式訓練方法能夠生成高分辨率圖像，但是也帶來了訓練速度緩慢的問題.針對上述問題，本研究提出基于分布擬合對抗神經網絡的圖像數據增強方法.通過最大似然估計擬合原始樣本數據空間分布；根據Box-Muller 和馬爾科夫鏈蒙特卡洛（Markov chain Monte Carlo, MCMC）采樣算法[20]生成符合原始樣本空間分布的隨機噪聲；結合帶條件信息的WGAN-GP 和SRCNN 提出新的圖像數據增強方法，并利用軸承滾子表面缺陷檢測數據驗證所提方法的可行性和優越性.

1 基于傳統對抗式神經網絡的圖像數據增強方法

1.1 GAN 和CGAN

GAN 由生成模型（G）和判別模型（D）2 個部分構成，生成模型輸入隨機噪聲z，用于擬合真實樣本數據分布，判別模型接收生成樣本G(z) 以及真實樣本x，用于判別生成樣本G(z) 是否來自于真實樣本x.生成模型的目的是最大化D(G(z)) ，即最大化判別模型將G(z) 判別為真實樣本的可能性，而判別模型的目的是最小化D(G(z)) ，即最小化將G(z)判別為真實樣本的可能性.在經過多次對抗訓練后，生成器和判別器達到納什平衡[21].GAN的目標函數為

式中：V(D,G) 為優化目標函數，由生成器和判別器2 個部分組成；E為分布函數的數學期望；x為真實數據；Pr(x) 為原始數據分布；z為隨機噪聲；Pz(z)為隨機噪聲數據分布；D(x) 為判別模型判別結果；G(z) 為生成模型輸出樣本.

CGAN 的結構以及原理和GAN 類似，CGAN在生成模型輸入中增加了期望生成數據標簽.判別模型輸入中增加了真實數據標簽，用標簽信息控制CGAN 的訓練過程，使得CGAN 能夠生成和標簽信息對應的數據.CGAN 的目標函數為

式中：y為條件信息.

1.2 基于GAN 和CGAN 的圖像數據增強方法

基于傳統對抗式生成網絡的圖像數據增強方法首先將一維隨機噪聲和真實圖像樣本輸入到原始GAN 或CGAN 網絡中，同時對生成模型和判別模型進行對抗訓練，在模型訓練完成后，單獨取出生成模型，將一維隨機噪聲輸入生成模型即可生成新的樣本，基于傳統GAN 方法的訓練過程如圖1 所示.

圖1 基于傳統GAN 的圖像數據增強方法Fig.1 Image data enhancement method based on traditional GAN

上述2 個模型能夠生成新的樣本，但是都難以訓練.原始GAN 和CGAN 在訓練過程中容易產生模式崩潰和梯度消失問題，并且生成器和判別器的損失值無法反饋模型收斂信息[22].一維隨機噪聲長度較長，會導致全連接層參數過多，造成模型參數冗余，嚴重影響訓練效率.

2 基于生成對抗神經網絡超分辨率重建的圖像數據增強方法

為了解決傳統GAN 用于圖像數據增強時存在的模型難以訓練、參數大量冗余且噪聲輸入隨意等問題，通過極大似然估計、Box-Muller 和MCMC 算法生成符合原始數據分布的隨機噪聲，在此基礎上融合WGAN-GP 和SRCNN 網絡，提出基于分布擬合對抗神經網絡的圖像數據增強方法.本研究的數據增強方法主要由數據預處理、原始數據分布擬合、隨機噪聲生成、模型訓練及優化和生成樣本質量評價等5 個步驟組成，框架如圖2 所示.

圖2 基于生成對抗神經網絡超分辨率重建的圖像數據增強方法流程圖Fig.2 Flowchart of image data enhancement method based on generative adversarial neural network super-resolution reconstruction

2.1 WGAN 和WGAN-GP

生成器隨機初始化后的生成分布很難與真實分布有不可忽略的重疊，因此WGAN 用Wasserstein 距離作為等價優化的距離衡量，進而同時解決穩定訓練和進程指標的問題[12].Wasserstein 距離計算公式為

式中：Pr為真實數據分布；Pg為生成數據分布；為Pr和Pg組合得到的所有可能的聯合分布集合；對于每個可能的聯合分布 γ 可以從中采樣(x,y)～γ得到樣本x和y， //x-y// 為這對樣本的距離.Wasserstein 距離計算公式的對偶形式為

式中： sup為 上確界，即最小上界；f為 一個連續函數；//f//L≤K表示f必須滿足利普希茨連續條件（Lipschitz continuity），即存在一個常數K≥0 使得在定義域內 |f(x1)-f(x2)|≤K|x1-x2|.WGAN 的目標函數為

式中：D∈1-Lipschitz 為判別器D必須滿足利普希茨連續條件，即滿足 |D(x1)-D(x2)|≤|x1-x2|.為了滿足這一條件，WGAN 在每步迭代完成后將判別器D的參數截斷在 [-c,c] ，但是這種優化策略容易導致參數取值極端化、梯度消失和梯度爆炸.針對這個問題，WGAN-GP 通過對目標函數加入梯度懲罰項間接實現利普希茨連續條件，WGAN-GP的目標函數為

式中： λ 為梯度懲罰權重，xr、xg分別為真實分布Pr和生成分布Pg中的數據，為隨機噪聲在xr和xg的連線上隨機插值采樣得到數據，PPEN為采樣得到數據的集合， ε 為服從0～1.0 均勻分布的隨機數，為判別器D梯度的L2范數.

2.2 數據預處理

對工業相機采集的少量原始圖像數據進行人工標定，獲得圖像對應標簽；用單層卷積層對原始圖像數據集進行降采樣，將原始圖像尺寸縮小到所需尺寸.目的是減少原始圖像數據的空間冗余，提高模型的計算效率.降采樣輸出圖像尺寸計算公式為

式中：Oout為輸出圖像尺寸，Iin為輸入圖像尺寸，kc為卷積核尺寸，V為邊界填充參數，d為滑移步長.輸出圖像通道數等于卷積核數量.

2.3 原始數據分布擬合

通過最大似然估計法對降采樣之后的數據進行分布擬合，目的是獲得原始數據分布的概率密度函數.首先生成圖像灰度直方圖，根據灰度直方圖初步判斷數據近似服從的分布；然后分別將近似服從分布和常用分布的概率密度函數構建成最大似然函數；最后求解得到概率密度函數待估計參數值.最大似然估計法計算方法為

式中：L(θ) 為最大似然函數， θ 估計參數，f(xi|θ) 為概率密度函數，xi為樣本值， θ ? 為極大似然函數估計值.

2.4 隨機噪聲生成

通過Box-Muller 和MCMC 采樣算法，根據原始數據分布擬合得到的概率密度函數生成符合原始數據分布的隨機噪聲，具體方法步驟如圖3 所示.

圖3 生成隨機噪聲流程圖Fig.3 Flowchart of generating random noise

2.4.1 Box-Muller 變換 在很多情況下累積分布函數的反函數無法直接獲得.Box-Muller 變換通過對目標分布的聯合概率密度函數進行三角換元，分別求出換元后聯合概率密度函數關于R和 θ 的邊緣分布函數，再對其求反函數，最后將服從均勻分布的隨機變量映射到所求分布上，得到服從目標分布的隨機噪聲.Box-Muller 變換計算式如下：

式中：f(x,y)為x、y的聯合概率密度函數，且x、y相互獨立；FR和為關于R的邊緣分布函數和其反函數；Fθ和為關于 θ 的邊緣分布函數和其反函數；U1、U2為服從0～1.0 均勻分布的隨機數；x、y服從均值為0，方差為1.0 的高斯分布.

2.4.2 Metropolis-Hastings 抽樣算法 對于目標分布的累積分布函數或關于R、 θ 的邊緣分布函數反函數不可求的情況，可以通過Metropolis-Hastings（MH）抽樣算法得到符合目標分布的隨機噪聲[23].MH 算法是MCMC 采樣算法中常用的一種，通過構建馬爾可夫鏈，找到滿足細致平穩條件的狀態轉移矩陣使馬爾可夫鏈趨于平穩分布，算法流程如圖4 所示.

圖4 Metropolis-Hastings 抽樣算法流程圖Fig.4 Flowchart of Metropolis-Hastings sampling algorithm

假設P(x) 為目標概率分布，對于P(x) 構建一個關于樣本x的馬氏鏈，其狀態轉移矩陣記為Q.在MH 算法中Q即為給定的建議分布，x′為按建議分布隨機抽取的候選狀態，xt-1=x′、 α (x,x′) 為接收概率，MH 抽樣算法根據 α(x,x′) 決定是否用x′更新xt，t為當前時刻，u為服從0～1.0 均勻分布的隨機數，具體計算方法為

2.5 建立生成式對抗網絡和SRCNN 網絡

通過融合帶條件信息的WGAN-GP 和SRCNN建立生成式對抗網絡模型，可以使模型能夠按照給定標簽信息生成對應的樣本圖像，且減少模式崩潰、梯度消失問題的產生.本研究將WGAN-GP輸出的低分辨率圖像輸入到預訓練好的SRCNN網絡中，經過超像素重建后得到高分辨率圖像.為了探尋輸入隨機噪聲分布對生成式對抗網絡模型的影響，構建一個隨機噪聲生成模塊，為模型生成符合樣本分布的隨機噪聲，WGAN-GP 網絡架構如圖5 所示，模型整體結構如圖6 所示.模型判別器損失函數為

圖5 WGAN-GP 網絡架構圖Fig.5 Architecture diagram of WGAN-GP network

圖6 WGAN-GP+SR 模型整體結構圖Fig.6 Overall structure diagram of WGAN-GP+SR model

模型生成器損失函數為

SRCNN 損失函數選用均方誤差（mean-square error，MSE）損失函數，計算式為

式中：n為圖像像素的個數，yi為真實標簽，f(xi) 為網絡輸出.

2.6 生成圖像質量評價

圖像峰值信噪比（peak signal-to-noise ratio,PSNR）和結構相似性（structural similarity, SSIM）能對生成圖像質量進行量化.PSNR 是反映圖像對應像素點間誤差的客觀評價方法，SSIM 則是從亮度、對比度和結構3 個方面衡量生成圖像質量，更符合人眼視覺感受.具體計算方法為

式中： MSE(X,Y) 為生成圖像X與真實圖像Y之間的均方誤差； μX、μY、σX、σY、σX,Y分別為X、Y的局部均值、方差和協方差；b為每像素比特數；C1=(K1L)2、C2=(K2L)2、C3=C3/2，一般情況下K1=0.01、K2=0.01、L=255.00.

弗雷歇初始距離（Fréchet inception distance，FID）作為衡量真實圖像和生成圖像之間特征距離的指標之一，既能夠表示圖像的多樣性，也能被用來評價生成圖像的質量.

式中：x為真實圖像，g為生成圖像， μx和 Covx分別為真實圖像的特征向量的平均值和協方差矩陣，μg和 Covg分別為生成圖像的特征向量的平均值和協方差矩陣，Tr為矩陣對角線上元素的總和.FID越低，則圖像多樣性越好，質量也越高.

3 實際案例分析

由于軸承滾子各個表面圖像像素分布差異較大，且軸承表面樣本采集存在一定難度，須先人工擦拭滾子各表面，再通過采集設備逐一采集，人力成本耗費較大，比較貼合實際工業生產中樣本采集現狀.以軸承滾子表面灰度圖像數據增強為例，驗證所提方法的有效性，原始樣本灰度圖像均通過CCD 工業相機采集獲得，樣本圖像分為3 類，分別為軸承滾子側面、倒角、端面灰度圖像，數據集中3 類表面圖像數量分別為351、468、471，總計1290.輸入判別器的圖像需要降采樣，輸入生成器的是二維噪聲.首先將維度為（1 920,1 200, 1）的原始圖像裁剪為（1 920, 1 184, 1），然后用卷積核數量為1 的單層卷積層對裁剪后圖像數據進行降采樣，分別降采樣為（480, 296, 1）和（240, 148, 1），并將滾子側面、倒角、端面圖像標簽記為0、1、2.維度為（240, 148, 1）的圖像用于訓練WGAN-GP 網絡，維度為（480, 296, 1）的圖像作為訓練SRCNN 模型的高分辨率圖像，訓練好的生成對抗網絡生成的800 張維度為（240, 148, 1）的圖像作為訓練SRCNN 模型的低分辨率圖像，其中側面、端面、倒角面圖像分別為200、300、300 張.

標簽相同的圖像灰度值分布接近一致，隨機從3 類圖像中各抽取一張圖像，生成3 類軸承滾子圖像的灰度直方圖，初步判斷圖像近似符合的分布類型，降采樣后圖像數據以及對應的灰度直方圖如圖7 所示.圖中， GV 為灰度值，P為概率.滾子側面圖像灰度值集中分布在3 個區域，為多峰分布；滾子倒角面圖像灰度值主要分布在0～50，為偏態分布；滾子端面圖像灰度值分布較為均勻，考慮近似服從正態、柯西或拉普拉斯等分布.

圖7 降采樣后圖像數據及其灰度直方圖Fig.7 Image data and gray histogram after down-sampling

以滾子端面為例，擬合圖像原始數據分布，首先找出圖像灰度值可能服從的分布，寫出其待估計參數的概率密度函數，根據式（9）～（11）構建并求解最大似然函數，得到待估計參數值，通過計算真實值與擬合值之間的誤差平方和（sum of squares for error, SSE）評價擬合程度.SSE 計算方法為

滾子端面圖像可能服從的分布擬合結果及其SSE 如表1 所示，表中α 為位置參數，β 為尺度參數，ε 為形狀參數.SSE 越小說明擬合誤差越小，擬合效果越好.由表1 可知，用柯西分布擬合滾子端面灰度直方圖擬合誤差最小，即柯西分布為滾子端面圖像的最優擬合分布，估計位置參數α = 69.070，尺度參數β = 11.861，即端面圖像灰度值分布概率密度函數為

表1 軸承滾子端面灰度直方圖擬合結果Tab.1 Gray histogram fitting results of bearing roller end face

滾子端面圖像灰度直方圖各分布擬合效果以及最優擬合分布如圖8 所示.同理可得軸承側面及倒角面最優擬合分布，其擬合效果如圖9 所示，估計參數和SSE 如表2 所示，側面圖像最優擬合分布為多峰柯西分布.由表2 可知，側面圖像最優

表2 軸承滾子倒角面及側面灰度直方圖的擬合結果Tab.2 Fitting results of gray histogram of bearing roller chamfering and side surface

圖8 軸承滾子端面灰度直方圖擬合效果Fig.8 Gray histogram fitting effect of bearing roller end face

圖9 軸承滾子各表面灰度直方圖的最優分布擬合效果Fig.9 Optimal distribution fitting effect of gray histogram of bearing roller surface

擬合分布概率密度函數為

式中：α0、α1、α2為位置參數，β0、β1、β2為尺度參數.

倒角面圖像最優擬合分布為三參數韋布爾分布，概率密度函數為

已知3 類樣本圖像分布的概率密度函數，根據Box-Muller 變換和MH 采樣算法生成符合樣本分布的隨機噪聲，端面數據為柯西分布，直接通過Box-Muller 變換求得概率密度函數關于R和θ邊緣分布函數的反函數.由式（12）～（17）得到端面圖像Box-Muller 變換后結果如下：

式中：U1、U2為服從0～1.0 均勻分布的隨機數.

Receiving LRPT Weather Satellite Signal at VHF Band

根據Box-Muller 變換結果得到的一維隨機噪聲分布如圖10 所示，圖中Q為采樣頻數.側面和倒角面圖像概率密度函數形式較為復雜，直接通過MH 采樣算法生成符合原始數據分布的噪聲，設置MH 抽樣算法f(x) 為側面和倒角面的概率密度函數，q(x) 均為0～1.0 均勻分布，燃燒期M=10 000，迭代步數N=19 000.MH 采樣算法一維采樣結果如圖11 所示.3 類樣本圖像二維采樣結果與原始分布對比如圖12 所示.圖中，左側為采樣數據分布，右側為原始數據分布.

圖10 Box-Muller 變換生成的端面一維隨機噪聲分布Fig.10 One-dimensional random noise distribution of end face generated by Box-Muller transform

圖11 MH 采樣算法采樣結果Fig.11 Sampling results of MH sampling algorithm

圖12 采樣數據分布與原始數據分布的對比圖Fig.12 Comparison between distribution of sampled data and distribution of raw data

由圖11、12 可知，MH 算法采樣過程曲線呈現出較好的混合度，一維和二維采樣數據分布近似還原了原始數據分布，驗證了所提采樣方法對于一維和二維采樣都能取得較好的采樣效果且采樣過程穩定.

將使用的采樣方法構建成噪聲生成模塊，外接在生成式對抗網絡前端，為網絡生成符合原始樣本分布的噪聲.當搭建WGAN-GP 網絡時，判別器最后一層為未激活的全連接層，設置梯度懲罰權重參數 λ=1 ，學習率 l r=10-4，優化算法選用RMSProp.

設置SRCNN 前置層學習率 lr=10-3，最后層網絡學習率為 1 0-4，優化算法選用Adam.批量大小均設置為3，GPU 為英偉達GTX-3080.通過與傳統GAN 方法對比驗證本研究所提出方法的優越性.WGAN-GP 模型經過22 000 個批次訓練，生成的低分辨率圖像作為SRCNN 的輸入，再對SRCNN 模型訓練300 個批次.本研究所提模型和對比模型生成的圖像如圖13 所示，各模型生成器和判別器的損失函數值變化如圖14 所示.圖中，E為迭代次數，b為批次大小，L為損失函數值.

圖13 各模型輸出結果對比圖Fig.13 Comparison diagram of output results of each model

圖14 CGAN 損失函數值變化曲線圖Fig.14 Change curve of CGAN loss function value

由圖13 可知，傳統CGAN 網絡難以訓練，在訓練過程中會出現嚴重的梯度消失問題，導致模型經過22 000 個批次訓練后依舊無法有效收斂.WGAN-GP 相比CGAN 收斂效果較好，經過7 000個批次訓練后，模型已經具備擬合原始圖像基本輪廓的能力，但是直接向高分辨率圖像建立映射關系，生成圖像質量較差.所提方法采用逐層訓練的方式，避免了生成對抗網絡直接向高分辨率圖像映射的弊端，而是通過SRCNN 提升圖像分辨率，相比單獨使用CGAN 和WGAN-GP 模型，本研究所提模型能夠獲得最優的生成圖像質量.

由圖14 可知，CGAN 網絡由于判別器過于強大，經過600 次迭代后，判別器接近收斂，導致模型優化飽和，生成器無法學到有用的信息，輸出圖片質量較差.

圖15 WGAN-GP 損失函數值變化曲線圖Fig.15 Change curve of WGAN-GP loss function value

圖16 SRCNN 損失函數值變化曲線圖Fig.16 Change curve of SRCNN loss function value

各模型生成圖像質量評價指標如表3 所示.CGAN 模型由于生成器無法學習到有效信息，生成圖像質量較差，本研究所提模型相比WGANGP 模型，生成圖像的信噪比提高13.07%，平均結構相似性提高32.40%，平均FID 降低37.58%.

表3 各模型生成圖像質量評價表Tab.3 Quality evaluation table of image generated by each model

為了研究不同噪聲對模型訓練結果的影響，分別用不同離散程度的噪聲輸入WGAN-GP 模型進行訓練，經過2 000 個批次訓練輸出結果如圖17所示，輸出圖片質量評價如表4 所示.由表4 可知，隨著輸入噪聲離散程度增大，生成圖像的PSNR和SSIM 指標均降低，FID 升高，生成圖像質量下降，因此，在訓練時盡量采用離散程度較小的噪聲.

表4 各模型生成圖像質量評價表Tab.4 Quality evaluation table of image generated by each model

圖17 不同標準差噪聲及對應生成圖像Fig.17 Different standard deviation noise and corresponding image generation

圖18 為不同采樣方式在WGAN-GP 網絡訓練過程中的FID 變化曲線，圖中，MAP 為平均精確度.所提的預先對樣本圖像分布進行擬合的隨機采樣方法，相比直接采用均勻分布和正態分布生成噪聲的方法更利于模型訓練.

圖18 軸承滾子數據集不同采樣方式訓練過程FID 曲線圖Fig.18 Training process FID curve of bearing roller data set with different sampling methods

如圖19 所示為WGAN-GP+SR 和WGAN-GP圖像的對比.可以看出，相比直接用對抗網絡生成的圖像，超分辨率重建后的圖像質量明顯提升.

圖19 WGAN-GP+SR 與WGAN-GP 圖像對比Fig.19 Comparison of WGAN-GP+SR and WGAN-GP images

如圖20 所示為對抗網絡數據增強前后Yolov5目標檢測模型訓練過程平均精確度（MAP）曲線對比圖，MAP 越高，檢測效果越好.從圖中可知，數據增強前和數據增強后MAP 峰值分別為0.532 和0.574，對抗網絡數據增強后模型MAP 提高7.89%.

圖20 Yolov5 目標檢測模型訓練過程MAP 曲線圖Fig.20 Map diagram of Yolov5 target detection model training process

如圖21 所示，對比3 組數據增強前后對軸承滾子缺陷檢測的結果.可以看出，第1 組中Hump類缺陷在數據增強前被誤檢為ResidualPit 類，而第2 組和第3 組中的Hump 類缺陷在數據增強前則皆被漏檢，證明通過對抗網絡數據增強能夠降低檢測模型的誤檢率和漏檢率.

圖21 軸承滾子缺陷檢測對比Fig.21 Comparison of bearing roller defect detection

4 結 語

對圖像數據增強方法做了深入研究，提出基于生成對抗神經網絡超分辨率重建的圖像數據增強方法，通過案例分析和模型對比驗證了所提方法具有最優的生成圖像質量.通過擬合原始數據分布構建噪聲生成模塊，為模型輸入符合數據分布的二維噪聲，有效降低了模型的參數冗余度，提高了模型生成圖像質量的計算經濟性.融合WGAN-GP 和SRCNN 模型提出一種復合模型，避免生成對抗網絡直接向高分辨率圖像建立映射關系的弊端.本研究所提出的生成對抗網絡結合圖像超分重建思想所用模型并不固定，下一步可以嘗試不同的模型組合，例如BEGAN+SRCNN.