面向工業缺陷分類的交互式易混淆缺陷分離方法研究*

羅月童,李 超,周 波,張延孔

(合肥工業大學計算機與信息學院,安徽 合肥 230601)

1 引言

產品表面缺陷檢測是工業生產的重要環節。人工檢測具有工作量大、結果不穩定等問題[1]。得益于深度學習的優良性能,基于機器視覺的自動工業缺陷檢測正在獲得越來越廣泛的應用。雖然基于深度學習的分類算法的性能已經非常高,但在實際應用中,基于深度學習的產品缺陷檢測模型仍面臨以下2個挑戰:(1)存在易混淆缺陷,即2種或多種缺陷非常相似,影響分類精度;(2)對缺陷分類精度要求非常高。所以,雖然易混淆缺陷通常比較少,但會導致分類精度不能滿足工業生產的要求,減少易混淆缺陷對分類精度的影響具有重要意義。

在工業產品上,雖然某些缺陷的成因不同使得處理方式也不同,但其視覺外觀非常類似,這樣基于機器視覺的分類方法難以區分這些缺陷。如圖1所示,CMOS(Complementary Metal Oxide Semiconductor)產品表面的殘膠和臟污2種缺陷,前者導致產品報廢,后者只需要用酒精擦拭處理即可,但它們視覺外觀非常相似,本文稱這類缺陷為易混淆缺陷。易混淆缺陷通常處于不同類型缺陷的交叉地帶,屬于一種重疊數據[2]。重疊數據會讓類別之間的特征邊界變得模糊,導致分類模型難以學習到正確的分類邊界,進而影響分類的準確性[3]。文獻[4]提出調整支持向量機SVM(Support Vector Machine)以處理重疊數據;文獻[5]專注于通過修改樸素貝葉斯算法來優化分類算法。目前缺少面向深度學習的重疊數據優化方法研究。

Figure 1 Examples of confusable defects on the surface of industrial products圖1 工業產品表面易混淆缺陷實例

雖然應用更復雜的模型、準備更豐富的數據能在一定程度上減少易混淆數據的影響,但是,一方面代價較大,另一方面難以從根本上解決上述2個挑戰。本文提出一種新的思路,將易混淆缺陷作為一個或多個被稱為虛缺陷的新缺陷類型,讓深度學習網絡把易混淆缺陷分為虛缺陷,同時保證其他缺陷能夠被準確分類。雖然易混淆缺陷沒有被分開,仍需要進一步人工處理,但因為它們通常占比很少,所以額外處理的代價不大。

當前,生產實踐中通常用如下2種方法處理易混淆缺陷:(1)手動挑選出易混淆缺陷,但工作量大且難度高;(2)通過算法輔助,將類別間分類錯誤的數據直接作為新的虛缺陷進行反復迭代,因為其處理流程固定,本文稱之為固定算法。雖然方法2相對效率更高,但因為固定算法僅將分類錯誤數據當作易混淆缺陷,往往會遺漏潛在的易混淆缺陷,導致效果不佳。

可視分析將機器智能和人類的直覺、頓悟等智能相結合,在解決模糊問題上有巨大優勢。已經有多位研究人員將可視分析用于優化訓練數據,如文獻[6]中提出了交互式可視分析工具Label- Inspect,以識別數據集中不可靠的標簽實例;文獻[7]提出了OoDAnalyzer,對數據集中的異常數據OoD(Out-of-Distribution)進行分析識別。因為易混淆缺陷并不存在明確的定義和標準,需要綜合判斷,所以本文設計并開發一套可視交互系統,幫助用戶快速篩選易混淆缺陷、定義虛缺陷。雖然和文獻[5,6]類似,本文也是從可視分析的視角研究訓練數據的優化問題,但本文解決的是全新問題。

綜上所述,本文的主要工作如下所示:

(1)提出了一種基于虛缺陷的易混淆缺陷處理方法,將少量易混淆缺陷劃分為單獨的虛類別,從而避免對大量其他缺陷產生影響,提高了分類模型在生產實踐中的可用性。

(2)設計了一套交互式虛缺陷構建系統,即多視圖關聯可視分析系統,幫助用戶快速挑選訓練數據中的易混淆缺陷、設置虛缺陷的種類和觀察模型的優化效果,進而實現基于虛缺陷的易混淆缺陷處理。

2 相關工作

本文采用可視分析方法處理訓練數據中的易混淆缺陷,而且因為易混淆數據是一種重疊數據,所以將從重疊數據分類、面向深度學習的可視化2個方面介紹相關工作。

2.1 重疊數據分類

在分類問題中,常有不同類別樣本重疊的現象[8],這一現象意味著不同類別的樣本具有相似特征。這些有相似特征的樣本所覆蓋的區域被稱為重疊區域[9]。有研究指出許多發生在類邊界的分類錯誤的根本原因就是重疊數據的存在[10]。關于重疊數據的研究眾多,比如文獻[11]建議調整分類算法;文獻[12]通過修改原始數據或者附加其他特征來減輕重疊數據的影響。

盡管這些方法在特定場景中有效果,但它們是針對特定的分類算法,所以應用于其他算法時缺少普適性,如針對SVM的改進不能應用于深度學習網絡。與上述研究不同,本文從優化訓練數據的角度出發解決易混淆缺陷數據問題,本文方法可以和任何訓練類方法相結合,所以有更好的通用性。

Figure 2 Process of confusable defects separation圖2 易混淆缺陷分離的過程

2.2 面向深度學習的可視分析

近年來,可視分析方法被大量用于改進深度學習方法的性能[13],主要從異常數據、數據標簽和數據隱私3個方面對數據質量進行改進。研究人員采用可視化技術將各類數據映射為圖形元素,構造交互式分析環境,以支持用戶識別、理解和處理異常。針對分類標簽錯誤問題,Xiang等[14]設計了層次化 TSNE(T-distributed Stochastic Neighbor Embedding)方法,以查看圖像數據集,結合自動糾正算法,迭代地對標簽進行糾正。類似地,B?uerle等[15]設計了基于矩陣和散點圖的可視化方法,允許用戶迭代地糾正錯誤標簽和改進分類器性能。在眾包模式中,錯誤標簽往往集中在部分參與人的標注結果上。針對該問題,Park等[16]設計了一個可視分析系統,用于改善臨床圖像數據眾包標注參與人的工作質量。

與上述面向深度學習的可視化方法類似,本文設計了一套虛缺陷劃分可視化系統,幫助用戶挑選易混淆缺陷、定義虛缺陷,從而實現基于虛缺陷的易混淆缺陷處理。

3 易混淆缺陷分離方法

3.1 易混淆缺陷分離原理

本文把易混淆缺陷從大量缺陷中分離出來,使得不同缺陷的樣本之間有清晰邊界,從而減少易混淆缺陷對分類精度的影響,具體做法如圖2所示。因為本文通過優化缺陷數據訓練集來提升分類器的性能,所以本文方法是分離缺陷數據訓練集中的易混淆缺陷。如圖2所示有2個缺陷類別A和B,首先使用當前分類器對訓練集進行分類,提取分類錯誤缺陷并將它們作為初步易混淆缺陷;然后將易混淆缺陷更改類別標簽為虛缺陷C,剩下的A′類和B′類之間有清晰邊界;最后使用優化后的訓練集重新訓練分類網絡。在新網絡中,原始數據類別A類和B類數據之間的錯誤分類問題被成功弱化,從而提升了各自類別的精度。

3.2 易混淆缺陷分離過程

交互式易混淆缺陷的分離流程如圖3 所示,整個過程分成以下3個步驟:

(1)分類網絡訓練和易混淆缺陷自動檢測。首先將給定的數據集以及對應的類型標簽作為訓練集,通過卷積神經網絡學習訓練集中的缺陷特征并對訓練集進行分類預測;然后將分類結果通過混淆矩陣進行展示。通過混淆矩陣,用戶可以輕易地識別出分類錯誤點,而分類錯誤點也正是易混淆數據的一部分。最后從分類錯誤缺陷數據出發,進行易混淆缺陷探索,為分離易混淆缺陷做準備。

(2)交互式易混淆缺陷數據優化。首先用戶選擇需要待處理的混淆缺陷類別,通過錯誤分類樣本來定位周圍易混淆缺陷的區域。根據深度學習知識,雖然分布在錯誤分類周圍的數據并沒有錯分成其他類別,但會有潛在分錯的可能性,即潛在的易混淆缺陷數據。潛在的缺陷數據也需要從訓練集中分離出來,使得非虛缺陷的部分能夠滿足分類精度高的要求。本文需要通過虛缺陷劃分系統將該部分數據劃分成虛缺陷,以達到從訓練數據中分離出來的目的。

(3)虛缺陷類別設置。在完成以上2步后,用戶已經對訓練數據集中的易混淆缺陷數據完成檢索,下一步可以為易混淆數據賦予虛缺陷類別標簽,以便重新訓練深度學習分類模型。一般而言,易混淆數據在空間中成簇分布,因此可以為每一個簇賦予一個新的虛缺陷類別標簽。如果虛缺陷種類過多且每個類別中數據量過少,會導致深度學習分類網絡很難學習虛缺陷類別的信息。為防止這一情況,本文充分考慮易混淆數據的總體特征相似性,設計了虛缺陷類別合并系統。用戶可以將不同簇的虛缺陷類別數據合并為一個虛缺陷類別,從而減少虛缺陷的標簽個數。

第2步和第3步的內容會在第4節進行詳細描述。

Figure 3 Process of interactive confusable defects separation圖3 交互式易混淆缺陷分離過程

4 交互式虛缺陷劃分系統

4.1 可視化需求分析

為支持3.2節所述的流程及與一線從業者的溝通,交互式易混淆缺陷分離系統需要完成的任務如下所示:

(1)分類結果的可視化呈現。本文需要消除指定缺陷之間的易混淆缺陷對分類結果的影響,故需要對每次處理后的數據集進行分類并可視化呈現分類結果,以便用戶對當前數據集分類效果進行準確評估,進而判斷是否需要繼續在訓練集上進行迭代。

(2)探索易混淆缺陷。在各種研究和實踐項目中發現,易混淆缺陷不僅包括分類錯誤的數據,還可能包含和分類錯誤數據相似的數據,所以還需要呈現數據之間的相似性;此外,需要將虛缺陷樣本與訓練數據集中的正常樣本進行比較,以了解虛缺陷樣本與正常樣本之間的相似性和差異性。為此,專家們需要將相似的圖像放在一起,并且以緊湊的方式直觀地顯示出數據集中的每個圖像,這樣他們就可以更輕松地識別出易混淆缺陷。這一要求也與當前識別數據集偏差的常見做法一致。

(3)虛缺陷標簽的分配。如果根據固定算法,將每2種缺陷之間產生的錯誤分類數據都作為一種虛缺陷,就會產生過多的虛缺陷。故本文采取合并易混淆缺陷的方式,以減少虛缺陷的類別標簽個數。合并虛缺陷的目的包括:①減少產生的虛缺陷種類;②保證每種虛缺陷有足夠的訓練數據,以避免模型出現過擬合。虛缺陷標簽的分配應當遵循易混淆缺陷數據點距離相近、特征相似的原則。

4.2 可視化視圖

基于以上需求,本文設計虛缺陷劃分系統,整體界面如圖4所示。

Figure 4 Overview of the visualization system圖4 可視化系統概覽

4.2.1 混淆矩陣視圖

混淆矩陣刻畫當前分類網絡的分類能力,每一列代表了預測分類,每一行代表正確類別。

混淆矩陣視圖包含2個部分(如圖5所示):左側虛線框部分刻畫被預測為真實缺陷類別數據的情況;右側表示被預測為虛缺陷類別的數據分布情況。在左側部分,左下到右上對角線上的方格(下文簡稱對角方格)表示正確分類的數據情況,非對角線上的方格(下文簡稱非對角方格)表示錯誤分類的數據情況。所有方格中,用灰度的深淺表示落入其中的樣本多少,同時標注了樣本數量。

Figure 5 Confusion matrix圖5 混淆矩陣

在混淆矩陣中,非對角方格表示有易混淆缺陷且沒分離出來,需要進一步迭代;右側方格表示被預測為虛缺陷的樣本情況。如果非對角方格中的數較小,則可認為當前深度學習分類算法有較高的準確度,能達到實際場景需求;反之,則需要進一步劃分虛缺陷類別標簽,繼續訓練深度學習分類模型。

4.2.2 降維投影視圖

為了便于探索易混淆缺陷樣本,需要結合其他樣本進行分析。本文采用TSNE降維技術將高維圖像數據投影為二維平面的散點。TSNE是一種嵌入模型,能夠將高維空間中的數據映射到低維空間,并保留數據集的局部特性,使得高維空間的數據分布特征可以在低維空間中呈現出來。

為了使系統更加高效地批量處理易混淆缺陷,本文采用如圖6所示的基于密度的采樣以DBS(Density-Based Sampling)構建層次結構,即在稀疏區域密集采樣,在密集區域輕微采樣。該采樣方式在保持數據分布特征不變的情況下可以檢索到更多的易混淆數據。之后,采取2D網格布局對投影采樣后的數據進行進一步處理。每個網格含有多個數據,并且處于一個網格內的數據在位置關系上是最相近的,因此數據特征也最相近的。基于密度的采樣與網格布局相結合的方法有助于用戶批量選擇易混淆缺陷,提高處理效率。

Figure 6 Dimensionality reduction projection、 DBS &multi-scale meshing圖6 降維投影、DBS和多尺度網格劃分

其中網格布局采用多尺度劃分,用戶通過動態調整網格尺度來控制網格的布局。用戶通過詳細視圖觀察,根據網格內數據的相似程度,來放大或者縮小網格尺度。選擇適宜的網格大小,從而使得鄰近的含有錯誤分類數據點的能夠彼此相連,形成區域。

單個網格中可能包含零個、一個或多個數據,本文按下列原則對其進行顏色編碼:

(1)綠色:網格內數據全部正確分類;

(2)紅色:網格內含有錯誤分類的數據;

(3)黃色:網格內數據已經被劃分為虛缺陷。

通過調整網格尺度交互地確定網格大小。當網格呈現為紅色時,表示該網格內含有錯誤分類的點,網格內的數據包括錯誤分類數據以及距離相近的數據,其一起作為虛缺陷數據。對于指定類別之間的紅色網格全部轉換成黃色網格,即將該網格內數據類別標簽修改成虛缺陷,達到將批量易混淆缺陷劃分為虛缺陷的目的。

觀察網格內的顏色,如果所產生的黃色網格呈現近似連通狀態,表明該區域的虛缺陷數據在特征上也是相近的,此時可以將它們合并為一個虛缺陷類別,從而減少虛缺陷種類。

4.3 交互操作

在識別易混淆數據并劃分成虛缺陷的過程中,需要進行添加新標簽、過濾數據等一系列自定義操作。交互操作臺在整體流程中起著連接作用,其優勢是能夠自定義用戶的操作交互,過濾出待選的虛缺陷數據,并完成整體虛缺陷劃分流程。交互操作臺視圖提供了一組過濾器(如圖7所示):

(1)選擇已有虛缺陷標簽:為即將劃分成虛缺陷的數據選擇一個類別標簽。

(2)增加已有虛缺陷標簽:增加一個新的虛缺陷,并賦予一個新的類別標簽。

(3)網格選擇尺度:用于劃分網格大小,動態規劃網格內的數據樣本的數量,便于選擇合適數量的數據樣本進行虛缺陷劃分處理。

(4)置信度網格劃分:用于將所有數據按照置信度的不同區分開來,來探索潛在易混淆缺陷。

(5)確認與訓練:對于找到的虛缺陷進行確定,并標注為新的類別標簽,但也會保存原有的類別標簽,便于后期進行迭代回溯。

Figure 7 View of interactive console圖7 交互操作臺視圖

虛缺陷劃分系統通過如圖8所示標準化交互流程,完成易混淆數據到虛缺陷的劃分過程,具體步驟如下所示:

步驟1通過混淆矩陣找到感興趣的類別中錯誤分類的數據點并在投影視圖中進行展示。

步驟2通過交互操作臺調整網格尺度,然后在投影圖中選擇紅色網格內的數據作為虛缺陷的候選數據。

步驟3將候選數據點圖像與展示錯誤分類區域內的數據圖像進行對比,專家用戶通過置信度和人為主觀判斷復查一遍,最終確定虛缺陷數據。

Figure 8 Interactive process圖8 交互流程

5 實驗與結果分析

本文使用生產實踐中的常用方法——固定算法進行實驗比較,以驗證本文方法的有效性。

所有實驗均在配備Intel?CoreTMi7-10700K CPU(3.80 GHz)和32 GB內存的臺式計算機上進行。

5.1 缺陷數據集

5.1.1 數據集介紹

本文與領域專家合作,在產品表面缺陷分類任務中有效識別易混淆缺陷。訓練數據集包含4個類別(如圖9所示):臟污、殘膠、劃痕和崩邊,分別包括200,214,331和200幅圖像,所有數據均來自實際項目。

Figure 9 Four categories: Dirt,glue, scratches and edge breaking(from left to right)圖9 4個類別:臟污、殘膠、劃痕和崩邊(從左到右)

5.1.2 專家分析流程

將初始數據加載到虛缺陷劃分系統后,領域專家通過觀察混淆矩陣,根據混淆矩陣的顏色深淺以及矩陣上顯示的數字,選擇指定類別來消除易混淆數據對分類的影響。為了進行下一步分析,首先通過調整交互操作平臺的網格尺度,來找到合適的網格大小,保證紅色網格內有足夠多的數據且同一框內的數據相似度接近,如圖10所示。領域專家發現指定類別對應的錯誤分類數據集中在區域A中,如圖11所示。劃分好網格尺度后,領域專家發現區域A的紅色數據位置相近且呈現連通狀態。故本文合并虛缺陷標簽為一個標簽。然后領域專家對紅色框內的數據通過詳細視圖進行最后一步對比確認,將錯誤分類的數據作為參照,修改標簽為虛缺陷同時修改網格顏色為黃色。然后,領域專家繼續處理區域B和區域C的數據,通過觀察發現,紅色網格位置較遠,且區域B和區域C的數據是來自不同類別的錯誤分類數據。故本文將這2個區域的數據分別作為1個虛缺陷進行處理,操作步驟同上。

Figure 10 Adjusting grid scale圖10 調整網格尺度

Figure 11 Data under dimension reduction projection圖11 降維投影下的數據

基于新的訓練集訓練得到新的分類模型,該模型對數據的預測精度有一定的提升,如圖12中的混淆矩陣非對角線數據的錯誤分類大幅度減少。這表明,原始類別的錯誤分類數量減少了,易混淆數據很大程度被隔離開來,驗證了本文方法的可用性。

Figure 12 Iterative results display圖12 迭代結果展示

5.2 虛缺陷分離方法與固定算法對比

目前,工業界普遍采用固定算法對易混淆缺陷進行處理。該方法通過將不同類別的錯誤分類數據作為易混淆缺陷,將其直接劃分為虛缺陷,從而重新訓練深度學習模型,實現從訓練集中分離出易混淆缺陷的目標。本節將虛缺陷劃分方法與固定算法進行對比實驗。特別關注本文方法是否能夠識別出更多的易混淆數據,以及是否能夠通過合并標簽達到減少虛缺陷種類的目的。為此,本文設計了以下評估指標:

(1)迭代次數:迭代的次數越少,表明所耗費的時間、人力、物力就越少。

(2)虛缺陷種類:新增加的類別標簽個數。

(3)虛缺陷比例:識別出的易混淆數據轉換成虛缺陷的總數占數據集的比例。

(4)識別精度:指被識別為真實類別的數據樣本中有多少是識別準確的。

(5)平均精度:各個類別精度的平均值。

本文方法與固定算法的結果如表1所示。其中,初始分類為直接采用原始數據集訓練得到的分類結果,本文結果經過了如圖12所示的2輪迭代。

由表1可知,在初始分類結果當中,平均精度不高,存在類別之間錯誤分類的情況;劃分虛缺陷后,分類精度得到大幅度提升,相比于初始類別和固定算法,精度分別提升了4.6%和1.9%。另外,虛缺陷劃分方法相比于固定算法能夠以更少的迭代次數識別出更多的易混淆缺陷,使用的虛缺陷種類更少。

Table 1 Performance comparison of fixed algorithm and virtual defect division method表1 固定算法和虛缺陷劃分方法性能對比

數據集中的不同類別的缺陷識別精度提升效果如表2所示。由表 2可知,本文方法使臟污和殘膠的錯誤分類大大減少,分類識別精度相比于初始分類的分別提升了13.1%和7.4%。這表明虛缺陷劃分方法對提升指定類別的識別精度效果顯著,大幅度減少了人工復檢工作量,表明了本文方法的有效性。

Table 2 Comparison of recognition precision for single category表2 單個類別識別精度對比 %

6 結束語

產品表面缺陷分類是深度學習在工業缺陷檢測中的常見應用,但極少量的易混淆缺陷卻影響了深度學習算法在缺陷分類任務中的可用性。本文通過分離易混淆缺陷的方法來降低其影響,并設計了一套分離虛缺陷的可視化解決方法,最后基于實際工業數據驗證了本文方法的有效性。

但是,本文方法依然有較大的改進空間,如本文方法依賴混淆矩陣,如果缺陷類別較多,混淆矩陣會因過于龐大而難以處理。如何提高本文方法的可擴展性,以處理包含更多缺陷類別和更大規模的訓練數據是后續需要進一步研究的問題。