一種基于同類融合的工業數據擴充算法

邵桂芳，黃 夢，高鳳強，劉暾東

(廈門大學航空航天學院，廈門市大數據智能分析與決策重點實驗室，福建廈門361005)

數字圖像處理技術廣泛應用于生物醫學圖像分析[1]、工業機器人視覺[2]以及目標分類與檢測[3-4]等領域.特別是基于機器視覺的工業缺陷檢測有效解決了人工檢測效率低及誤檢和漏檢等問題，從而提升后續產品的性能.但其處理精度取決于缺陷圖像數據量與相應處理方法，而工業生產過程中缺陷屬于小概率事件，缺陷特征的出現具有一定的隨機性，導致原始樣本數據量不足.同時，受工業生產工藝和原材料的影響，表面缺陷可能是多樣且形態各異的，例如，板材生產過程中，其表面偶爾會出現斑塊、裂紋、麻點、夾雜、劃傷及軋入氧化皮等多種缺陷[5].數據的部分內容缺失、可信性低、不同類之間的數據不平衡、特種環境下數據獲取困難導致的數據樣本少等問題給基于機器視覺的缺陷檢測帶來了很大挑戰[6-8].

為提高缺陷圖像樣本的數量和多樣性，研究者針對數據擴充技術開展了大量研究，主要有常規的數據擴充方法、基于數據增強策略的擴充方法和基于數據生成的擴充方法等3類.常規的圖像數據擴充方法包括旋轉、填充、平移、插值、翻轉、高斯噪聲、翻折、裁剪、幾何變換、縮放、彈性形變和主成分分析抖動以及其組合，例如，Alex等[9]提出將水平翻轉和主成分分析這兩個不同的常規數據擴充方法結合起來改善模型性能；Zeiler等[10]提出將多個不同的翻轉和裁剪用在每個訓練集圖像上以提升訓練集質量.常規的擴充方法雖然通用性很好，可以使用在更多任務的數據預處理中，但是這些方法大部分是針對單幅圖像進行處理，并且不具有針對性，無法針對圖像局部的目標特征進行有效地擴充.另外，有研究表明，針對性地設計數據擴充策略比隨機的數據擴充更能提高訓練集圖像質量，從而提升模型的泛化性能[9-11].因此，出現了將幾何變換、圖像增強、隨時遮擋和噪聲干擾等方式相結合生成擴充數據集的最佳擴充策略[12]和基于強化學習從數據集中自動尋找有效擴充策略的自動探索擴充策略[13-14].但是，基于策略的擴充方法獨立性太強，從某一類特定任務中得到的擴充策略無法有效地應用在其他任務的數據擴充中.常規的擴充和基于策略的擴充方法主要是間接地改變數據，無法有效地改變圖像目標語義特征.針對目標圖像顏色、形狀、大小、空間位置等各個方面的視覺語義特征，有研究者開始考慮利用直接生成數據的方法進行數據擴充.Tran等[15]提出基于訓練集分布的貝葉斯生成方法以生成擴充數據，該方法將生成模型和蒙特卡洛期望最大化算法結合起來擴充訓練集分布中缺失數據點.Lemley等[16]提出智能擴充方法即通過合并多個樣本來生成新的數據.基于數據生成的擴充方法雖然能夠直接捕捉并學習到目標特征來擴充數據，但是生成模型的自由度有時過大，可能會生成一些含有未知特征的缺陷數據，而且有效地訓練生成模型是耗時的，并且對原始數據的質量要求較高.

上述方法雖然一定程度上可以解決數據量不足和樣本類型不豐富的問題，但是常規擴充方法主要是從圖像整體進行擴充數據，無法滿足一些特殊場景的具體任務需求.另外，由于不同任務具有各自特色，不同的方法適用的場景任務也有限，所以，不同任務的數據擴充需要進一步研究，如目標檢測的擴充研究[17]及圖像分類的擴充研究[18].在工業表面缺陷圖像的分類或檢測過程[6]中，一般都會采用常規圖像擴充方法對圖像進行預處理，如平移、翻轉、旋轉、縮放和剪切等，然后再將數據輸入到模型中進行訓練，以避免模型的過擬合，從而達到提升模型性能的效果.在常規圖像擴充過程中，擴充的樣本數量與常規圖像擴充方法的參數選擇密切有關，如在縮放的處理過程中，若設置10種不同的縮放因子，就會得到10倍擴充數據，如{0.30,0.40,0.50,0.60,0.65,0.70,0.75,0.80,0.85,0.90}.但是，這些方法大多是針對整張圖像進行處理的，并不關心圖像內是否有缺陷.而對于缺陷檢測應用而言，圖像內是否存有缺陷特征很重要，而且缺陷的位置和類型也很重要.但是目前常規擴充方法僅對單個樣本進行操作，不會增加更多的樣本特征，而且很容易改變缺陷的位置，這給后期標簽位置信息重新獲取帶來了很大的困難，導致成本急劇增加.另外，對于工業表面缺陷圖像而言，缺陷在整幅圖像里僅是較小的一部分，且其局部的細節特征對后續檢測與分類更為重要，因此上述已有的擴充方案并不一定適合，并且效果有限.

綜上所述，為保證擴充包含更多樣本缺陷特征的數據，并且確保擴充缺陷圖像的類別一致性，需要考慮在多個同類樣本間進行融合以獲取更多的缺陷特征信息，從而保證多個原始樣本中的位置標簽信息是可以重復利用的.因此，本文考慮同類缺陷樣本具有相似的缺陷特征信息，提出了針對表面缺陷特征的多樣本同類融合數據擴充(homogeneous fusion data augmentation，HFDA)方法，來解決工業表面缺陷圖像的數量不足和類別不平衡的問題.本文提出的方法采用了多樣本融合處理，避免了常規數據擴充方法僅針對單個樣本處理的缺點，而且比基于策略的擴充方法的適用范圍更廣，在實際運用中有更好的通用性.更重要的是，本文提出的方法確定性地對多個樣本進行融合來獲取更多的圖像特征，避免了生成模型因自由度過大，生成含有未知特征的缺陷數據等問題.

1 同類融合擴充方法

1.1 同類缺陷多樣本融合

由于多個樣本間的特征會有多種形式，采用多樣本擴充要比單一樣本的傳統擴充方式更加有利于得到多樣化數據.同時，在選擇多樣本前，先對不同的缺陷樣本進行分類，然后在同類別的樣本中隨機選擇一定數量的圖像進行融合，有利于保證同一類別樣本的本質信息一致.即本文所提的HFDA方法，主要包括6個部分：缺陷樣本分類、同類樣本組選取、多樣本選擇、數據融合、擴充數據及目標模型訓練，如圖1所示.

Dk為原始圖像，Nk為融合處理后的圖像.圖1 HFDA的框架Fig.1The framework of HFDA

1) 缺陷樣本分類.將來自表面缺陷數據的缺陷樣本按一定標準進行分類，如將鋼材表面缺陷圖像按照缺陷類型可分為破裂、斑塊、劃痕、表面夾雜、表面斑點以及軋入氧化皮等多種類型.本文借鑒有序樣本分類[19-20]的方式來定義原始樣本，這種方式不僅能夠處理無序樣本，而且還能利用樣本的有序信息.本文設Ωori={x1,x2,…,xn}表示采集的所有缺陷樣本的集合，那么sn,k,kj表示將n個樣本分成k類，每類包含j個樣本的分類方式，具體的數學描述如下：

sn,k,kj={{xi1=x1,xi1+1=x2,xi1+1j-1=

x1j},{xi2=x1j+1,xi2+1=x1j+2,…,xi2+2j-1=

x2j},…,{xik=x(k-1)j+1,xik+1=

x(k-1)j+2,…,xik+kj-1=xkj=xn}}，

(1)

其中:n是樣本總數;k是預設的樣本類別數;kj是指第k類樣本有j個，那么ik就表示第k類的第一個樣本，ik+kj-1表示第k類的最后一個樣本.

可以按照樣本缺陷類型、位置及采集的先后順序等不同標準進行分類.例如，當選擇按照表面缺陷樣本的類別對鋼材表面缺陷圖像分類時，表面缺陷圖像的樣本總數n按實際數量可為1 260，有6類缺陷則k=6，若其中第k類的樣本數為210，則kj為210，此時相應的sn,k,kj表示其對應的分類方式.若按照樣本中缺陷的位置分類，那么將缺陷圖像等分四小塊區域，則k=4表示缺陷出現位置的可能性類型，其余參數和按照表面缺陷樣本類別進行分類的參數相似.若按照缺陷樣本采集的先后順序分類，那么將采集缺陷圖像的24 h等分為4個時間范圍，則k=4表示缺陷何時出現的可能性類型，而且ik以及ik+kj-1能夠按照時間先后來有序地表示樣本，其余參數和按照表面缺陷樣本類別進行分類的參數相似.因此此種分類方式不僅能夠表示包含缺陷種類的無序樣本的劃分，而且還能表示包含時間屬性的有序樣本劃分.

2) 同類樣本組選取.在樣本分類完成之后，選擇其中一組同類別的樣本.例如，可以先按照缺陷樣本類別設置k=1表示破裂的缺陷圖像，k=2表示斑塊的缺陷圖像，k=3表示劃痕的缺陷圖像，k=4表示表面夾雜的缺陷圖像，k=5表示表面斑點的缺陷圖像，k=6表示軋入氧化皮的缺陷圖像.若在樣本總數n為1 260的鋼材表面缺陷數據中選取數量為210的表面夾雜類型的一組樣本，則k=4，kj=210則s1 260,4,210就表示選取的同屬表面夾雜類型的樣本組，具體表達如下：

sn,k,kj=s1 260,4,210={xi4=x3j+1,xi4+1=

x3j+2,…,xi4+210-1=x4j}={xi4=

x3j+1,xi4+1=x3j+2,…,xi4+209=x4j}.

(2)

3) 多樣本選擇.在已經確定的同類缺陷樣本組的每個樣本映射中依次隨機選擇多個樣本.例如，確定表面夾雜缺陷圖像的隨機樣本數為2，那么在表面夾雜的鋼材缺陷圖像中，依次不重復的選擇兩個樣本成為一組，對已有的同類缺陷樣本標簽z進行隨機選擇組成新序列，如下所示：

{(z1,z2),(z3,z4),…,(z2n-1,z2n)}.

(3)

其中，zk為每個樣本標簽，random是隨機函數.那么，zi對于表面夾雜缺陷圖像的樣本組而言，由表面夾雜缺陷樣本標簽z進行隨機選擇組成的新樣本序列為：

(xi4+208,xi4+209)}.

(4)

4) 數據融合.將多樣本選擇過程中確定的某一缺陷類別的多個樣本經過缺陷特征融合的處理操作得到對應的融合樣本，如依次將每組對應的兩個表面夾雜的缺陷圖像融合為新樣本.當隨機樣本數為2時，z是標簽對應的樣本序列，設待融合隨機量分別為x和y，令x=z和y=z，那么第k類的所有不重合缺陷樣本組的融合關系如下所示：

(5)

其中，blend是本文提出的表面缺陷特征的融合處理機制，包括缺陷圖像分割、缺陷特征的定義及提取、缺陷特征區域初步擴充、缺陷區域融合擴充4個部分.

(i) 缺陷圖像分割.采用基于k-means聚類的方式對表面缺陷圖像進行分割來初步定位缺陷特征.基本的步驟是：

第1步：確定聚類的類別數量k(如k=3)，選擇k個中心點.初始點選擇的策略是它們之間的間距要足夠大.首先計算缺陷圖像中所有像素點之間的距離，然后將距離最大的兩個樣本點C1和C2設置為2個初始的中心點，接著在像素點集中刪除這兩個點.此時，如果已經有初始k個中心點，則終止.否則，在其他的像素點中，根據以下優化規則選取另一個點C3，依次迭代優化，一直到確定k個中心點.優化目標的規則如下所示：

(6)

第2步：對于每個像素點，找到它最近距離的中心點，那么在同一個中心點周圍的點自動歸為同一類別，最終就完成了一次聚類.

第3步：對于聚類后的像素點要判斷其類別是否與聚類前相同，若相同，則結束算法，否則進入下一步.

第4步：對于每個類中的像素點，計算這些像素點的中心點，將它視為此類的新中心點繼續第2步.

(ii) 缺陷特征定義及提取.為了更好地捕捉到表面缺陷的特征信息，本文通過對表面缺陷圖像的觀察和分析，提出了表面缺陷樣本的形狀特征、空間特征及強度特征，然后根據指定的模板對缺陷圖像的所有像素樣本點進行掃描，建立出表面缺陷圖像的特征空間，特征的定義如表1所示.

表1 表面缺陷圖像的特征定義Tab.1 The feature definition of surface defect images

最后，需要進行缺陷特征提取.根據特征定義獲得了缺陷樣本圖像中所有像素點的八維特征向量，由于不同的特征維度有重合，在空間上有很大的相關性，而且在較高的維度空間上，數據的分布也相對稀疏，所以本文將采用主成分分析方法對八維特征去相關得到三維特征.因為根據大量實驗可知，三維特征能夠大部分很好地表征原始的八維特征，所以通過降維后的數據可以完成特征提取.

(iii) 缺陷特征區域初步擴充.在通過提取的缺陷特征定位到缺陷區域后，可以對相應的缺陷位置區域按照一定的標準進行常規的擴充操作.因為不同的缺陷類型對常規擴充方法適應性不同，例如，如果對劃痕缺陷特征執行縮放操作，那么縮放之后得到偏大或偏小的劃痕都和原始劃痕缺陷相差過大，造成缺陷不一致的影響.所以，本文設定破裂、斑塊、表面斑點以及軋入氧化皮等圖像的缺陷提取區域可執行旋轉、縮放及翻折的組合操作，劃痕和表面夾雜等圖像的缺陷提取區域可執行旋轉、翻轉及高斯噪聲的組合操作.最終，可以獲得表面缺陷圖像的不同缺陷區域的擴充結果.

(iv) 缺陷區域融合擴充.如式(5)所示，每次的處理對象是相同類別缺陷圖像集中的兩個樣本，這就表明需要將樣本x中缺陷特征區域初步擴充的結果任意合并到樣本y中，同時將樣本y中缺陷特征區域初步擴充的結果任意合并到樣本x中，最終完成同類缺陷圖像中的不同樣本間相互融合的結果.因此，從式(4)對應的第4類表面夾雜缺陷樣本隨機組成的新樣本序列可知，它的同類融合結果為

(7)

所以，每個類別的缺陷樣本進行融合擴充組成的數據集合為

(8)

其中，k是類別數.

5) 擴充數據.將經過數據融合處理后得到的擴充樣本和原始對應的同類數據重新組合為新的數據集，如下所示：

Ωnew=Ωori+Ωaug,

(9)

其中，Ωori是所有表面缺陷數據，Ωaug是所有類別的缺陷樣本融合擴充后的數據.

6) 目標模型訓練.將重新組合的訓練集數據Ωnew用于訓練表面缺陷圖像分類及檢測的模型.

1.2 工業同類缺陷融合數據的應用

如圖2所示的框架流程，在工業表面缺陷數據擴充之后，需要將擴充后的數據Ωaug與原始訓練集Ωori組合作為新的訓練集Ωori+Ωaug一起輸入到目標任務模型中，如缺陷圖像分類或缺陷目標檢測的模型，具體的同類融合缺陷數據擴充算法應用如算法1所示.

圖2 同類融合數據的應用流程Fig.2The application process of homogeneous fusion data

算法1同類融合的工業數據擴充算法

按照一定標準對工業表面缺陷樣本數據集進行分類；

for 樣本類別數cdo

根據式(3)對樣本進行隨機順序排列；

選擇多個樣本進行分組，如可設置隨機樣本數為2；

根據式(5)對每個類別中組合的樣本對進行融合；

end

根據式(8)得到擴充數據樣本集Ωaug；

將根據式(9)得到新訓練集Ωnew；

for 迭代次數 do

在新訓練集Ωnew中，按要求取出訓練樣本數據；

將取出的訓練樣本輸入到目標模型中，如缺陷分類或檢測模型；

獲得訓練完成的目標模型.

end

2 實驗方法與結果分析

2.1 實驗數據

本文利用來自東北大學的表面缺陷數據庫(Northeastern University surface defect database, NEU-sda)驗證表面缺陷數據擴充的有效性，該數據庫包括用于缺陷分類的NEU-CLS數據集和缺陷檢測的NEU-DET數據集.NEU-sda里有6種的典型鋼材缺陷數據，共有1 800張像素大小為200×200的灰度圖像.本文按照7∶3比例將NEU-sda分為訓練集和測試集.這些缺陷存在如下難點：首先，同類樣本的缺陷之間存在著很大的形狀差異，如圖3(a)所示，劃痕缺陷特征存在垂直劃痕、水平劃痕以及斜劃痕；其次，同一缺陷圖像中灰度變化不一，如圖3(b)和(c)所示，這主要是由于光線和鋼材材質的變化帶來的影響；再次，如圖3(d)～(f)所示，不同缺陷類型的樣本之間具有相似的特征.總之，NEU-sda數據主要存有兩個挑戰，即同類缺陷的樣本在表面上存有很大的區別(尺寸、數量及灰度)，而不同類缺陷的樣本具有相似的特征.這些問題無疑對表面缺陷圖像的分類和檢測造成了困難.

在針對NEU-sda訓練集數據擴充的過程中，設置：同類多樣本融合的隨機樣本數量參數k=2，如式(1)和(2)所示；同類中的每個缺陷樣本僅參與一次融合處理.

圖3 NEU-CLS數據集的缺陷樣本示意Fig.3The illustration of defect samples in the NEU-CLS dataset

圖4 NEU-DET數據集中的兩個斑塊缺陷樣本及標簽的融合Fig.4The fusion of two patches defect samples and labels in the NEU-DET dataset

實際上，這也就意味著NEU-CLS訓練集中的每兩個樣本可以擴充為一個新樣本.另外，如圖4所示，當擴充NEU-DET的訓練集用于缺陷目標檢測時，可以將每兩個樣本擴充為兩個相同新樣本，并將這兩個新樣本的標簽設置為兩個原始樣本分別對應的標簽.這樣可以將用于表面缺陷檢測的NEU-DET訓練集數據量翻倍.

最終，將原始數據和擴充數據輸入到普通的圖像分類網絡和TensorFlow的目標檢測網絡中用于模型訓練，并與卷積生成對抗網絡(DCGAN)和循環一致生成對抗網絡(CycleGAN)擴充的數據比較.由于無法保證這些生成方法擴充數據中的缺陷特征類型和準確位置信息，所以僅將本文方法、生成方法以及原始數據在表面缺陷圖像分類任務上進行比較.并進一步在表面缺陷圖像檢測任務上，驗證本文方法的有效性.所有的實驗都是在Ubuntu16系統中，Anaconda的Tensorflow-GPU計算框架下，使用多個NVIDIA GeForce GTX 1080 GPU完成的.

2.2 評價指標

針對擴充的圖像數據采用直接性評價和間接性評價兩種方式，其中，直接性評價包括主觀定性評價和客觀定量評價.客觀定量評價利用峰值信噪比(peak signal to noise rate,PSNR)和結構相似性(structural similarity,SSIM)[21].

為了進一步評價擴充數據在實際任務中的作用，將擴充的工業鋼材表面缺陷圖像應用在圖像分類和圖像檢測任務中.

在圖像多分類中，其準確率(Aaccuracy)按下式計算：

Aaccuracy=(S1+S2+…+Sk)/Sall,

(10)

其中，S1是第1類樣本預測正確的個數，S2是第2類樣本預測正確的個數，Sk是第k類樣本預測正確的個數,Sall是參與預測的所有樣本個數.

在圖像目標檢測中，多類別平均目標精度(mean average precision，MAP)計算如下：

(11)

圖5 在NEU-std中不同方法擴充缺陷圖像的結果Fig.5The results of defect image augmented by different methods in NEU-std

其中，n是類別個數，mAP是每個類別對應的平均目標精度，即召回率(R)和精確度(P)曲線下表示的面積(area under curve，AUC)，P和R按下式計算：

(12)

(13)

其中，tp為檢測出的正確目標數量，fp為誤檢測的目標數量，fn表示漏檢測的目標數量；即tp+fp為檢測出的目標總數，tp+fn為真實的目標數量.

2.3 實驗結果與分析

本文將從直接性評價和間接性評價兩個角度對實驗結果展開分析.隨機選擇了不同方法所擴充的6類鋼材表面缺陷圖像，并與原始圖像進行比較.圖5中方框標記的是缺陷特征及對應區域放大180%的結果.如圖5第1行所示，DCGAN擴充的劃痕缺陷圖像背景區域與原始圖像相差過大，而且缺陷特征也明顯變形；雖然CycleGAN可以擴充類似的缺陷，但是其背景的灰度等級明顯差異過大；本文方法不僅能夠擴充灰度背景一致的缺陷圖像，而且還能夠產生相似的缺陷特征.如圖5第2行所示，本文方法擴充斑塊缺陷圖像中的缺陷與原始缺陷特征大小及形狀類似，并且還有一致的背景，但是DCGAN擴充的缺陷尺寸過大，CycleGAN擴充的缺陷特征偏小，散亂不成塊并布滿整幅圖像，并且其背景區域出現密集點狀的異常特征.

如圖5第3行所示，DCGAN擴充的破裂缺陷圖像表面粗糙，CycleGAN擴充的圖像表面光滑均勻，但都未能與原始缺陷特征相似，而本文方法擴充圖像的背景區域與原始圖像一致，缺陷特征雖然不夠明顯，但是有原始缺陷特征相似的特性.如圖5第4行所示，為了擴充軋入氧化皮缺陷的圖像，由于生成模型的固有缺陷，所以DCGAN和CycleGAN生成的圖像中都出現了網格和未知的缺陷特征，本文方法可以擴充不夠明顯但相似的缺陷特征.

如圖6所示，在表面夾雜和表面斑點缺陷圖像擴充中，DCGAN和CycleGAN擴充的缺陷圖像的背景信息差別較大，而且生成的斑點和夾雜缺陷特征明顯與原始特征不相同.而本文方法擴充的缺陷圖像在背景和缺陷特征上都有很好的效果.最后，從所有的表面缺陷圖像擴充結果中可以看出，本文方法不僅能在表面缺陷圖像中擴充與原始缺陷類型一致的新缺陷特征，而且還能在整體背景上維持與原始圖像的最大相似性.

為了進一步衡量本文方法的實驗效果，從PSNR和SSIM兩個方面來定量分析不同方法擴充圖像的質量.如表2和3所示，在大部分的表面缺陷擴充圖像中，本文方法擴充缺陷圖像的PSNR和SSIM值超過了其他方法，這說明本文方法擴充的圖像與其他方法擴充的圖像相比，具有較小的失真和較高的相似性.另外，從本文方法的物體結構屬性與原始圖像相似度更高可知，HFDA擴充圖像中的缺陷特征與原始缺陷特征更相似.

圖6 在NEU-std中不同方法擴充表面夾雜及斑點缺陷圖像的結果Fig.6The results of inclusion and pitted surface defect image augmented by different methods in NEU-std

但是，對于表面斑點圖像，如圖6(a)和(d)所示，因為表面斑點的缺陷特征形態相比于其他5類缺陷較小，那么在本文方法對表面斑點樣本特征進行定義、提取、擴充及融合的過程中，小尺寸的缺陷特征容易被覆蓋，最終導致生成的圖像中包含此種缺陷類型的有效特征信息較少.所以，本文方法HFDA生成數據的PSNR和SSIM值相比于其他方法的數據值較低.

表2 在NEU-sda中不同方法擴充圖像的PSNR結果Tab.2 The PSNR results of image augmented by different methods in NEU-std

表3 在NEU-sda中不同方法擴充圖像的SSIM結果Tab.3 The SSIM results of image augmented by different methods in NEU-std

擴充工業表面缺陷圖像的主要目標是解決工業表面缺陷圖像數據量不足和類別不平衡的問題.因此，需要將不同方法擴充的缺陷數據應用在表面缺陷圖像分類和檢測任務中來間接性地驗證本文方法的有效性.如圖7所示，將原始缺陷數據和不同方法擴充缺陷數據進行組合以豐富訓練集，然后再分別輸入到普通的表面缺陷圖像分類網絡中，得到不同訓練階段的分類準確率.從圖7(a)可以看出，在初始訓練期間，本文擴充方法所組合的訓練集數據經過一輪的迭代訓練后，測試準確率達到了100%，然而同批次的原始數據與DCGAN和CycleGAN方法擴充的組合數據的分類測試準確率在95%～97%之間.在模型參數進一步的優化過程中，缺陷圖像分類的準確率進一步提高.但是，從整個訓練過程來看，本文HFDA方法擴充的表面缺陷圖像在缺陷分類中的性能超過了其他方法.

另外，為了進一步證明本文方法擴充數據的效果，將原始圖像數據、本文方法擴充數據以及本文方法擴充數據與原始數據的組合進行了比較，如圖7(b)所示.HFDA的表面缺陷圖像分類準確率直接性地表明了本文方法對模型泛化性能的影響.表明本文的HFDA方法所擴充的數據更能夠有效地提高表面缺陷圖像分類模型的泛化性能，避免出現過擬合問題，減少了工業表面缺陷數據在缺陷分類任務中數據量不足和類別不平衡所帶來的影響.

為了進一步驗證本文方法的有效性，分別在原始數據、本文方法擴充以及本文方法擴充數據和原始數據的組合上開展表面缺陷圖像檢測任務，結果如圖8所示.首先，圖8(a)～(c)展示了在表面缺陷檢測的過程中，處于標記的候選框和原標記框完全重合、重合度大于 0.75 以及重合度大于0.50條件下，不同數據集對應的多類別平均目標精度結果.在訓練的初期，3種不同重合度的條件下，本文方法擴充數據前后的mMAP分別從0.17提升到0.23、0.14提升到0.19 以及0.39提升到0.48.總體上來說，在每一輪的迭代中，本文方法擴充的數據確實有效提高了原始數據訓練的mMAP的結果.另外，如圖8(d)～(f)所示，為了驗證本文方法擴充的表面缺陷數據能夠有效地包含各類大中小目標缺陷特征，在標記的候選框和原標記框完全重合的條件下，比較了表面缺陷檢測的模型訓練過程中的大中小3類目標缺陷檢測的mMAP.圖8(d)表明，在訓練初期，較大目標缺陷檢測mMAP從原始數據的0.25提高到了本文方法擴充缺陷數據組合的0.37，并且在后續訓練優化過程中，本文方法的組合數據一直保持著較好的效果.圖8(e)表明，在迭代優化中期，本文方法組合數據的中等目標缺陷特征檢測mMAP為0.32，高于原始數據的0.25，總的來看，本文方法的有效性開始在中后期顯現.最后，從圖8(f)可以看出，在小目標缺陷檢測模型訓練過程中，雖然初期本文方法擴充缺陷數據組合的mMAP為0.27，高于原始數據的0.19，但是在中后期的優化過程中，本文方法和原始數據的mMAP都出現了波動，這說明小目標缺陷檢測本身就有一定困難，以及在擴充缺陷數據的融合過程中，本文方法未能很好地保留和擴充小目標缺陷的特征.所以，本文提出的工業表面缺陷數據擴充的方法能夠對原始表面缺陷圖像中的中等和較大缺陷特征有更好的適應性.

3 結 論

針對工業表面缺陷圖像數量不足和類型不平衡等問題，本文提出了基于同類融合的工業數據擴充算法.此算法擴充的數據不僅能夠保持原有缺陷圖像的同類特征，還能夠在同一缺陷樣本中擴充新的同類特征.與其他方法相比，本文提出的方法能更高質量地擴充表面缺陷圖像.而且將不同方法的擴充結果應用在實際的表面缺陷圖像分類和檢測任務中比較，間接性表明本文方法擴充表面缺陷圖像的有效性.

圖7 在NEU-CLS中表面缺陷圖像擴充的分類結果Fig.7The classification results of augmented surface defect images in NEU-CLS

(a)完全重疊;(b)重合度>0.75;(c)重合度>0.50;(d)完全重疊，大物體;(e)完全重疊，中等物體;(f)完全重疊，小物體.圖8 在NEU-DET中不同條件下的表面缺陷圖像擴充的多類別MAPFig.8The multi-class MAP of augmented surface defect images under different conditions in NEU-DET