基于圖像分割和深度學習的人造板表面缺陷檢測

楊 凡，楊博凱，李榮榮

（南京林業大學 家居與工業設計學院，江蘇 南京 210037）

板式家具板件開料過程邊緣破損、廠內運輸中摩擦劃痕以及碰撞損傷等原因，導致板件表面產生缺陷，直接影響其外觀質量與使用性能。對家具板件表面缺陷進行檢測并分類，不僅能提高制造過程自動化水平與制造效率，也能實現板材品質管理數字化。現階段，板材缺陷檢測主要以人工為主，普遍檢測效率低、檢測結果受主觀因素影響較大，從而導致檢測結果準確性無法保證等問題[1-2]。

機器視覺是一種基于光學成像和數字圖像的處理技術，能實現自動化和非接觸式的缺陷檢測，因檢測精度高、速度快等特點已被應用于制造業相關領域[3-9]。表面缺陷檢測從檢測算法上大致可分為3 類：基于圖像結構特征的傳統方法、基于統計特征的機器學習方法以及深度學習方法[10]。如分別使用傳統圖像處理算法中的灰度共生矩陣算法、自適應閾值分割算法實現了人造板表面膠斑、松軟和油污圖像的分類[11-12]；利用機器學習算法中的隨機森林和決策樹算法實現了人造板表面大刨花、油污和雜物圖像的分類[13-14]。上述2 類算法所需樣本相對較少，但在算法的實現上需要人為確定表面缺陷特征，存在泛化能力不足的缺點，其準確率可能會受環境、板材表面紋理色彩等因素影響。在板材表面缺陷識別中，機器視覺檢測技術成像設備會采集到包含背景信息的整張板材圖像，而單獨的圖像分類模型都是針對局部樣本圖像進行設計，難以完成在未去除背景信息的板材圖像上進行多種缺陷的檢測任務。常見缺陷目標檢測算法如SSD 算法、Faster-RCNN 及YOLOv5 算法[15-19]，能對目標缺陷位置信息進行回歸預測，并對缺陷種類進行識別。然而，目標檢測算法前期需要投入一定的人力，收集大量缺陷板件圖像并對其缺陷信息進行標注，以用于模型訓練。且算法需要將圖像壓縮成一定分辨率后再訓練和預測，使得類似板件崩邊這類小目標的檢測任務識別精度較低。

本研究采用圖像分割算法對家具板材圖像中的缺陷進行分割并進行圖像截取，再利用深度學習算法中的卷積神經網絡模型對截取后的圖像進行缺陷類別檢測，旨在實現使用較少訓練樣本完成人造板表面崩邊和劃痕的缺陷檢測任務。

1 缺陷檢測系統搭建及數據集建立

1.1 缺陷檢測系統搭建

系統包括圖像采集設備、板件傳輸設備、圖像處理和終端顯示設備等(圖1)。圖像采集設備采用SICK 的RangerE 高速激光線陣相機，相機光軸與板件運動方向成60°角；LED 光源垂直安裝于運輸帶正上方40 cm 處。板件傳輸設備連接編碼器，編碼器每旋轉1 圈能向相機發送2 000 個脈沖信號，線陣相機會根據接收到的脈沖信號來觸發掃描。圖像處理設備所用系統軟件為Windows 10，GPU 型號為GTX1660Ti，CUDA 版本11.6，算法在Halcon 機器視覺軟件環境下開發運行。

圖1 人造板板件缺陷檢測系統組成Figure 1 Wood-based panel parts defect detection system

1.2 數據集建立

試材選用三聚氰胺浸漬紙飾面刨花板。線陣相機以行掃描400 μs·幀-1，采集到的板材圖像縱向分辨率約0.14 mm·像素-1，橫向分辨率約0.20 mm·像素-1。且相機曝光時間為1 200 μs，LED 光源光照強度穩定在35 lx。試驗共采集飾面人造板圖像樣本500 張，如圖2A 所示。對其中300 張板材圖像進行圖像裁剪制作缺陷圖像樣本，并使用隨機翻轉、遮擋、高斯模糊、鏡像等數據增強技術將樣本數增加至800 張用于深度學習網絡進行訓練與測試，缺陷數據樣本如圖2B 所示。剩余200 張人造板材圖像樣本用于對整體算法效果進行驗證。

圖2 部分板材及缺陷圖像數據集Figure 2 Image data set of panel and defect

2 板材表面缺陷檢測算法原理

系統檢測板件表面缺陷算法流程如圖3 所示。通過對板件表面圖像進行基于圖像灰度值的閾值分割算法處理[20]，在分割區域會生成隨缺陷大小變化的矩形檢測框，用檢測框對圖像進行裁剪；然后，將裁剪后圖像輸入訓練好的卷積神經網絡分類器進行缺陷分類識別；最后，在圖像上顯示板件缺陷情況。

圖3 基于圖像分割和深度學習的檢測算法流程圖Figure 3 Flow chart of detection algorithm based on image segmentation and classifier

2.1 缺陷分割算法

使用閾值分割算法，分割板件區域與背景區域；使用全局雙閾值分割算法分割崩邊缺陷區域，其算法原理如式(1)。針對劃痕缺陷的分割，使用局部動態閾值分割算法，其算法原理如式(2)。為減少過分割率，使用了一種基于均值濾波算法的圖像增強算法對圖像進行預處理，其算法原理如式(3)。

式(1)～(3)中：(i,j)是大小為n×n的圖像的坐標，i,j=1, 2, 3, ···,n；g(i,j)是算法處理后的圖像；f(i,j)為原始圖像，(i,j)是f(i,j)經均值濾波處理后的圖像；g(i,j)=0，表示點(i,j)為背景區域，g(i,j)=1為目標區域；Tmin和Tmax為最小和最大閾值，在光照穩定的條件下，分別取值40 和125；T為動態閾值常數；k為圖像增強因子，k值越大，處理后圖像的對比度越大。為分析預處理算法中T和k對圖像分割準確率的影響，引入分割精度、過分割率和欠分割率進行評價，評價公式見式(4)～(6)。

式(4)～(6)中：A為分割精度，O為 過分割率，U為欠分割率；Rs為實際目標區域面積，Ts為算法分割出的目標區域面積，Os為算法分割出的非目標區域的面積，Us為算法未能分割出的目標區域面積。算法分割結果如圖4。從表1 可知，隨T值增大，算法分割精度增大，但算法過分割率也隨之增大。當T=2，k=0.3 時，算法能在較高分割精度上達到相對較小的過分割和欠分割率。

表1 不同T 值和k 值影響下的分割效果Table 1 Segmentation effect under the influence of different T and k values

圖4 圖像分割結果Figure 4 Image segmentation result

2.2 缺陷分類器構建

采用一種輕量級卷積神經網絡MobileNetv 2 來構建缺陷圖像分類器[21]。在MobileNetv 2 網絡中引入了一系列的倒殘差結構(bottlenck residual block)，該結構與傳統的殘差結構操作相反，會對圖像特征層進行先升維再降維，且單個卷積核只對特征層向量一個維度進行卷積操作，減少了計算量。Bottlenck層卷積操作后使用了ReLU 6 非線性激活函數替代了ReLU 函數，增加了模型精度。調整后網絡結構如表2 所示。表中每行表示1 個或多個相同的網絡層結構，t為拓展因子，所有結構中卷積核大小都是3×3，每個結構重復n次，每層的輸出通道數量為c，每個結構的第1 層卷積操作步長為s，其他卷積層步長為1。

表2 分類網絡模型結構Table 2 Classifier network model structure

2.3 缺陷分類器效果評估

為分析調整后的MobileNetv 2 網絡效果，將800 張人造板缺陷圖像樣本按訓練集和測試集7∶3 的比例分別對調整前后的網絡模型進行訓練和測試。訓練過程損失值和平均準確率隨訓練輪次變化結果如圖5，模型損失值和準確率在迭代到40 輪時開始收斂。調整前模型在測試集上損失值隨迭代次數增加有過擬合趨勢，調整后模型損失值更加穩定，準確率更高。分類模型缺陷識別結果的混淆矩陣如圖6 所示，調整后的MobileNetv 2 網絡對崩邊和劃痕缺陷的分類準確率均高于調整前，分別達到97.0%和99.0%。

圖5 調整前后準確率和損失值隨訓練迭代次數的變化Figure 5 Change of accuracy and loss value with the number of iterations before adjustment

圖6 調整前后混淆矩陣Figure 6 Change of accuracy and loss value with the number of iterations before adjustment

3 結果與分析

為分析整體算法的缺陷檢測效果，使用機器視覺系統采集200 張飾面人造板作為驗證集數據，比較本研究中分割算法結合改進前后的MobileNetv 2 算法的精確率和召回率。同時，為分析本研究中分割算法結合深度學習分類器方法的優越性，統計了2 種常見目標檢測模型SSD 和YOLOv 3 算法檢測相同數據集的精確率和召回率。精確率和召回率計算方法如式(7)～(8)。

式(7)～(8)中：NTP(true positive)是預測正確的樣本數；NFP(false positive)是實際不為該類缺陷但預測為該類型缺陷的樣本數；NFN(false negative)是實際為該類缺陷但預測成其他類型的樣本數。表3 結果顯示：使用圖像分割算法結合改進后卷積神經網絡MobileNetv 2 分類模型對板件表面崩邊和劃痕缺陷的檢測精確率分別達到了93.1%和97.5%；召回率分別為95.3%和97.6%。算法平均精確率和召回率均大于SSD 算法和YOLOv 3 算法。對MobileNetv 2網絡結構上的改進使得算法的在崩邊和劃痕的精準率分別提高了1.4%和4.7%，召回率分別提高了1.8%和5.1%。在MobileNetv 2 網絡引入倒殘差結構，使算法運行耗時從233 ms 降低到163 ms。

表3 不同檢測方法的評價結果Table 3 Evaluation results of different detection methods

試驗過程發現：隨訓練樣本數量的增加，SSD 算法和YOLOv 3 算法的精確率和準確率或許可得到進一步上升，但在模型訓練樣本量較小(＜1 000)的情況下，使用基于閾值分割技術結合圖像分類模型對缺陷的檢測效果明顯更好。原因是圖像分割算法不需要對目標框信息進行學習訓練，而是直接根據圖像灰度特征對目標區域進行定位，減少了檢測算法的參數量，使模型訓練時損失值能更快地收斂。另外，分割算法對缺陷進行分割時會存在一定的遺漏，導致部分缺陷不能輸入到分類網絡進行識別，使算法召回率下降；在對一些非缺陷區域進行矩形框截取時，可能會截取到部分缺陷區域，導致將其誤識別為缺陷區域，使算法精確率下降。因此，分割算法在設計時應保證較低欠分割率的同時盡量減少過分割率。

4 結論

本研究采用圖像分割算法對家具板材圖像中的缺陷進行分割并對圖像截取，再利用深度學習中的卷積神經網絡模型對截取后的圖像進行缺陷類別檢測，實現了使用較少訓練樣本即可完成人造板表面崩邊和劃痕的缺陷檢測任務。對人造板表面崩邊和劃痕缺陷的檢測精確率達到了93.1%和97.5%，召回率分別為95.3%和97.6%。本研究對MobileNetv 2圖像分類網絡進行了改進研究，使用了ReLU 6 非線性激活函數替代了ReLU 函數，增加了模型精度，使得算法對崩邊和劃痕檢測的精準率分別提高了1.4%和4.7%，召回率分別提高了1.8%和5.1%。同時，在MobileNetv 2 中引入倒殘差結構，使算法運行耗時從233 ms 降低到163 ms。經驗證，在模型訓練樣本量較小(＜1 000)的情況下，使用圖像分割結合深度學習的方法對人造板表面缺陷檢測的準確率和召回率均高于SSD 和YOLOv 3 目標檢測算法。