基于機器視覺的滾拋磨塊缺陷檢測方法*

賈坡,田建艷,楊英波,彭宏麗,楊勝強

(1. 太原理工大學 電氣與動力工程學院, 太原 030024)(2. 太原理工大學 機械與運載工程學院, 太原 030024)

滾磨光整加工是一種旨在提高零件表面質量的重要的機械加工技術，加工時將滾拋磨塊、磨液、零件置于滾磨光整加工設備中，通過零件與磨塊的相對運動完成零件表面的光整加工[1]。滾拋磨塊是影響滾磨光整加工效果的重要因素之一[2]。燒結型球狀滾拋磨塊就是滾拋磨塊中應用最廣泛的一種。然而，國內磨塊生產廠家因為技術、工藝等因素，制備燒結型球狀滾拋磨塊時會出現原料混合不均勻、燒結溫度控制不精確、生產自動化程度較低等問題，導致磨塊存在圓度較差、黑心等缺陷，嚴重降低磨塊的使用性能，影響滾磨光整加工的質量。

目前，滾拋磨塊的質量主要依靠人工來判斷。這種方式存在諸多弊端：檢測效率低、檢測標準不統一、檢測結果的主觀性很大等。而先進制造業和精加工的快速發展，對磨塊的質量提出了更加嚴苛的要求。如何高效、準確地對磨塊質量進行自動檢測，成為滾磨光整加工技術中亟待解決的問題。

機器視覺檢測技術可在很大程度上解決人工檢測主觀性強、效率低、勞動強度大等問題，在現代工業中得到越來越廣泛的研究和應用。王偉華[5]利用K最近鄰分類算法對筆芯球珠圖像進行了特征分類，實現了筆芯球珠裂縫、孔洞和削皮等缺陷的檢測。石廣豐等[6]基于機器視覺生成了可以自由視角顯示的金剛石原石三維模型，通過圖像處理得到了金剛石的尺寸、形態與顏色信息。宋永朝等[7]利用數字圖像處理技術分析水泥混凝土路面露石的表面紋理構造，實現了露石表面凸面積百分數的檢測。李文俊等[8]基于風格遷移網絡和聚焦卷積神經網絡實現了亮度不均的復雜紋理背景下金屬表面的劃痕識別。PARK等[9]基于卷積神經網絡提出了一種零件表面污漬、劃痕、毛刺和磨損等缺陷的自動檢測方法。NGUYEN等[10]使用支持向量機和K最近鄰分類算法，實現了有機發光二極管面板的缺陷檢測及分類。CHAO等[11]提出了各向異性擴散模型，并將其用于低對比度表面圖像中的缺陷檢測。HOANG等[12]基于大津算法和歐式距離提出了皮革表面缺陷檢測及分類方法。

以上方法均利用數字圖像處理技術實現了產品的質量檢測，但主要側重于缺陷圖像提取時的算法優化，圖像數據計算量較大。本試驗首先利用最大值法、平均值法和加權平均值法對磨塊圖像進行灰度化處理；再對3種灰度圖像進行閾值分割，并對其分割效果進行比較，對無法滿足分割效果要求的磨塊灰度圖像提出分量比值灰度化方法，增強其顏色區分度；進而利用計算量較小的閾值分割算法提取磨塊區域和缺陷區域；最后計算出磨塊圓度和黑心缺陷尺寸，實現磨塊缺陷的數字化檢測。

1 滾拋磨塊缺陷檢測

基于機器視覺的磨塊缺陷檢測方法包括磨塊圖像采集和磨塊圖像處理2部分。

1.1 磨塊圖像采集

利用STM32F103C8T6單片機、42步進電機和TB6600驅動器、深視光谷 SGO-1000BX 數字顯微鏡、采樣圓盤和上位機設計磨塊圖像采集系統。采樣圓盤固定在步進電機上，單片機與步進電機連接控制其停止和轉動，單片機與上位機通過串口通信傳輸停止和轉動信號，數字顯微鏡與上位機連接采集和存儲磨塊圖像。磨塊圖像采集系統如圖1所示。

圖1 磨塊圖像采集系統Fig. 1 Abrasive block image acquisition system

磨塊圖像采集步驟如下：(1)將磨塊放置在采樣圓盤的采樣點位置，單片機輸出PWM(pulse width modulation，PWM)波驅動步進電機轉動，步進電機帶動采樣圓盤轉動，運送磨塊到數字顯微鏡的視野范圍內；(2)單片機暫停PWM波輸出，通過串口向上位機發送圖像采集信號；(3)上位機接收圖像采集信號，控制數字顯微鏡采集磨塊圖像，通過串口通信向單片機發送圖像采集完成信號；(4)單片機接收圖像采集完成信號，繼續輸出PWM波驅動步進電機。重復上述步驟，直至采樣圓盤上的磨塊圖像采集完成。

采集的磨塊圖像如圖2所示。對于不同顏色的磨塊，其對光線的吸收和反射程度不同，故拍攝所需的光照度也不相同。圖2a的光照度為2 843 lx，圖2b的光照度為5 606 lx。拍攝背景因光照度不同而產生不同的顏色，故后續磨塊圖像處理方法也會有所差異。

(a)磨塊1 Abrasive block 1(b)磨塊2 Abrasive block 2圖2 磨塊圖像Fig. 2 Abrasive block images

1.2 磨塊圖像處理流程

磨塊圖像處理流程如圖3所示。首先通過圖像灰度化減少磨塊圖像數據量，再利用OSTU閾值分割[3]將磨塊區域、黑心缺陷和拍攝背景分離，通過圖像形態學處理消除圖像中的孤立點，平滑磨塊邊緣，提取磨塊區域和黑心缺陷區域，最后計算磨塊圓度和黑心缺陷尺寸。

圖3 磨塊圖像處理流程圖Fig. 3 Abrasive block image process flow chart

2 磨塊圖像灰度化與閾值分割

磨塊圖像灰度化和閾值分割是磨塊缺陷提取的2個關鍵步驟。磨塊圖像灰度化可以減小圖像數據量，提高計算速度。磨塊圖像閾值分割用于分離磨塊、缺陷和背景區域，并且將磨塊圖像轉換為二值圖像，便于磨塊和缺陷區域的像素數量計算。

2.1 磨塊圖像灰度化方法

數字顯微鏡采集的磨塊圖像為彩色圖像，彩色圖像中，每個像素點的顏色由R(紅)、G(綠)、B(藍) 3個分量構成。與彩色圖像相比，灰度圖像僅由1個灰度值構成。將彩色磨塊圖像轉換為灰度圖像能夠通過更少的數據信息表征磨塊的大部分特征[13-14]。然而，在將三維彩色數據轉換為一維灰度數據的過程中，磨塊圖像信息丟失是不可避免的，選取合適的灰度化方法，可以使磨塊圖像在灰度化數據量減少的同時，保留磨塊區域的關鍵信息[15]。

常用的圖像灰度化方法有3種：最大值法、平均值法、加權平均值法。分別利用這3種方法對磨塊圖像進行灰度化。

(1)最大值法。在彩色磨塊圖像像素點的3個分量中，選取三者中的最大值作為像素點的灰度值，計算過程如式(1)所示：

Igray(i,j)=max{R(i,j),G(i,j),B(i,j)}

(1)

式中：(i,j)為磨塊像素點的坐標；Igray(i,j)為灰度圖像中像素點的灰度值；R(i,j)、G(i,j)、B(i,j)為彩色圖像中像素點的紅色分量、綠色分量和藍色分量。

(2)平均值法。在彩色磨塊圖像中，計算像素點3個分量的平均值作為像素點的灰度值，計算過程如式(2)所示：

(2)

(3)加權平均值法。在彩色磨塊圖像像素點的3個分量中，計算三者的加權平均值作為像素點的灰度值。人眼對綠色最敏感，紅色較弱、藍色敏感度最低，對綠色、紅色、藍色分量分別取權值0.587、0.299、0.114，可得到較為容易識別的圖像[5]。其計算過程如式(3)所示：

Igray(i,j)=0.299R(i,j)+0.587G(i,j)+0.114B(i,j)

(3)

2.2 磨塊圖像閾值分割及效果對比

閾值分割是通過設定不同的特征閾值，將圖像中的像素點分為若干類。OSTU閾值分割法是一種根據前景和背景的類間方差自適應確定圖像分割閾值的方法[3]。為了提高磨塊圖像閾值分割效果，首先通過3種灰度化方法對磨塊圖像進行灰度化，再利用OSTU算法計算不同磨塊灰度圖像的分割閾值，且對分割閾值進行有效性度量，最后選取閾值有效性最大的磨塊圖像灰度化方法。

利用OSTU算法計算磨塊圖像閾值的過程如下：

(1)計算磨塊圖像的歸一化直方圖：

(4)

式中：nk為灰度級k的像素數量；M、N為磨塊圖像的尺寸大??；pk表示該直方圖的各個分量；k= 1, 2, …L-1 (L表示磨塊圖像有L個灰度級)。

(2)計算磨塊直方圖分量的累加和：

(5)

式中：t為磨塊圖像的選擇分割閾值。

(3)計算磨塊直方圖分量的累加均值：

(6)

(4)計算磨塊圖像的全局均值：

(7)

(5)計算磨塊圖像灰度級的類間方差：

(8)

磨塊圖像閾值分割的有效性計算過程如下：

(1)計算磨塊圖像中的所有像素的灰度方差，即全局方差：

(9)

式中：rk為灰度級k的一個像素點的灰度值。

(2)計算閾值分割的有效性：

(10)

對40組分別為白色和紅色的磨塊圖像進行分析，3種灰度化方法得到的磨塊灰度圖像的閾值分割有效性如圖4所示。

(a)白色磨塊(b)紅色磨塊White abrasive blockRed abrasive block圖4 閾值分割有效性對比Fig. 4 Comparison of effectiveness of threshold segmentation

由圖4a可以看出：白色磨塊的3種灰度化方法閾值分割有效性均在0.91以上，磨塊圖像閾值分割效果較好。由于最大值法不涉及乘法運算，運算速度快，因此選擇最大值法對白色磨塊進行灰度化。而對于紅色磨塊，圖4b中最大值法得到的磨塊圖像閾值分割有效性最高，在0.68～0.77，與白色磨塊的閾值分割有效性值比較相對較低。為達到與白色磨塊閾值分割一致的效果，考慮改進紅色磨塊圖像灰度化方法。

2.3 分量比值灰度化方法

為分析紅色磨塊圖像的像素值分布規律，在圖2b的磨塊區域和背景區域中，分別隨機截取40個20像素×20像素大小的樣本(樣本之間不存在重疊)，計算每個樣本中R、G、B的平均值。磨塊區域和背景區域的R、G、B分量統計結果如圖5所示。

(a)磨塊區域(b)背景區域Abrasive block areaBackground area圖5 紅色磨塊圖像的R、G、B分量分布Fig. 5 Distribution of R、G、B components of redabrasive block image

由圖5可以看出：磨塊區域和背景區域的像素差較小，且磨塊區域和背景區域間的像素值存在交叉部分，因此磨塊圖像閾值分割有效性較低；而同一類別內各像素分量之間的像素值則具有一定的線性關系，因此可以利用R、G、B分量間的比值來放大類間差異。同時，考慮到：(1)數值大的圖像亮度較高，且磨塊區域為檢測主體，因此選取像素值較大的R分量為分子，像素值較小的G、B分量分別為分母進行分量比值計算；(2)分量比值可能超出像素值范圍，需要對分量比值進行縮放調整。

利用分量比值對磨塊圖像進行灰度化處理的步驟如下：

(1)利用最大值法計算得到磨塊圖像像素矩陣：

F(i,j)=max{R(i,j),G(i,j),B(i,j)}

(11)

(2)比較原始圖像中R、G、B各分量矩陣與F相等的個數，取個數最多的分量R為分子，余下2個分量G、B分別為分母求比值，將比值相加求和得到矩陣H，其矩陣元素為：

(12)

(3)將矩陣H的元素調整至圖像灰度值的范圍，即：

(13)

40組紅色磨塊圖像利用分量比值灰度化方法得到的磨塊灰度圖像閾值分割有效性如圖6所示。由圖6可知：分量比值法相對最大值法的閾值分割有效性明顯提高。

圖6 紅色磨塊的閾值分割有效性對比Fig. 6 Comparison of threshold segmentation effectiveness of red abrasive blocks

紅色磨塊最大值法和分量比值法的磨塊圖像灰度化結果如圖7所示。由圖7可以看出：對于紅色磨塊，分量比值法得到的磨塊灰度圖像中磨塊區域與背景區域的顏色區分更明顯，更適用于磨塊圖像閾值分割。

(a)最大值法(b)分量比值法Maximum methodComponent ratio method圖7 紅色磨塊圖像灰度化結果Fig. 7 Gray processing results of red abrasive blocks image

2.4 磨塊圖像閾值分割結果

磨塊圖像閾值分割結果如圖8所示。

(a)磨塊1(b)磨塊2Abrasive block 1Abrasive block 2圖8 磨塊圖像閾值分割結果Fig. 8 Result of threshold segmentation of abrasive block image

由圖8可以看出：閾值分割后的磨塊圖像中磨塊區域和背景區域已經分離，且閾值分割后的磨塊圖像為二值圖像，可根據磨塊區域的像素點統計計算出磨塊區域面積或輪廓周長，從而計算磨塊圓度。

3 磨塊圓度檢測

利用閾值分割后的磨塊圖像統計磨塊區域的內部和邊緣的像素數量，從而計算磨塊圓度，再通過設定圓度閾值范圍判斷磨塊圓度是否符合要求。

3.1 磨塊圓度計算

閾值分割后的磨塊圖像保留了磨塊的關鍵特征，但其圖像包含孔洞，邊緣存在孤立噪聲點，這些因素會引起計算誤差。因此，首先利用孔洞填充消除磨塊內部的孔洞，其次對孔洞填充后的磨塊圖像進行圖像開運算[16]以消除孤立點并平滑磨塊圖像邊緣。磨塊區域提取結果如圖9所示。

(a)磨塊1Abrasive block 1(b)磨塊2Abrasive block 2圖9 磨塊區域提取的圖像Fig. 9 Extraction images of abrasive blocks area

磨塊圓度計算式為：

(14)

式中：C為磨塊圓度，A為磨塊區域面積，E為磨塊區域輪廓周長。

經測量，磨塊圖像中各像素點為邊長等于0.223 mm的正方形，則其面積約為0.05 mm2。由像素點統計得圖9a磨塊的區域面積為3 384.10 mm2、輪廓周長為215.19 mm，圖9b磨塊的區域面積為4 025.50 mm2、輪廓周長為240.17 mm，則由式(14)可以計算出磨塊1的圓度為0.92，磨塊2的圓度為0.88。

當以不同的角度采集球狀磨塊圖像時，檢測的圓度大小會有差異，因此需要選擇磨塊形狀不規則的一面進行圖像采集，此時計算的磨塊圓度值可反映磨塊異常形狀的情況。

3.2 磨塊圓度閾值選取

分別取40組合格磨塊和圓度缺陷磨塊進行檢測，結果如圖10所示。由圖10可以看出：正常球狀磨塊的圓度值分布在0.90以上，而異常形狀磨塊的則主要分布在0.90以下。因此，可將0.90作為磨塊圓度檢測閾值，當磨塊圓度小于此閾值時認為磨塊形狀異常。

圖10 磨塊圓度檢測結果Fig. 10 Roundness inspection results of abrasive block

4 磨塊黑心缺陷檢測

利用閾值分割后的磨塊圖像提取磨塊黑心缺陷區域，統計其內部的像素數量作為黑心缺陷尺寸度量值，通過設定黑心閾值范圍判斷磨塊黑心缺陷是否符合要求。

4.1 磨塊黑心缺陷尺寸計算

為了計算磨塊黑心缺陷尺寸，利用背景填充將閾值分割后的磨塊圖像(如圖8所示)的背景區域與磨塊區域連為一體，保留磨塊黑心區域，再通過顏色反轉、圖像開運算[16]剔除孤立的噪聲點。磨塊黑心缺陷提取結果如圖11所示。

(a)磨塊1(b)磨塊2Abrasive block 1Abrasive block 2圖11 磨塊黑心缺陷提取結果Fig. 11 Extraction results of black core defects in abrasive block

磨塊黑心缺陷占比ω計算式為：

(15)

式中：Q表示磨塊黑心缺陷面積。

圖11a中的磨塊1的黑心缺陷提取面積為82.25 mm2，圖11b中的磨塊2的則為8.30 mm2，由式(15)可分別計算出其黑心缺陷占比分別為2.43%和0.21%。

4.2 磨塊黑心缺陷閾值選取

分別取40組合格磨塊和黑心缺陷磨塊進行檢測，結果如圖12所示。由圖12可以看出：磨塊黑心缺陷占比主要分布在1.50% 以上，少部分分布在1.50% 以下，因此可將黑心缺陷占比值1.50% 作為磨塊黑心缺陷檢測閾值。當磨塊黑心缺陷占比大于此閾值時，認為磨塊黑心缺陷超出范圍。

因磨塊黑心缺陷位置不固定，其黑心缺陷占比值會因球面轉動而產生偏差，相同磨塊缺陷因位置不同導致的黑心缺陷檢測結果差異如表1所示，其標準差平均值為0.030%，缺陷檢測結果波動較小。

需要說明的是，目前圖像采集時需將磨塊缺陷朝上放置，旨在通過圖像處理得到缺陷度量的數值化結果，應用于滾拋磨塊的反饋制備，但對整個磨塊球面的自動檢測需在后續做進一步的研究。

圖12 磨塊黑心缺陷檢測結果Fig. 12 Inspection results of black core defects of abrasive block

表1 磨塊黑心缺陷在不同位置下的檢測結果Tab. 1 Results of black core defects of abrasive blocks at different position

5 結語

為了檢測燒結型球狀滾拋磨塊的圓度和黑心缺陷，提出了基于機器視覺的滾拋磨塊缺陷檢測方法，并對實際中的磨塊缺陷進行了檢測及分析。結果表明：

(1)利用單片機、步進電機、采樣圓盤、數字顯微鏡和上位機搭建了磨塊圖像采集系統，實現了磨塊圖像的連續采集；利用圖像灰度化、閾值分割、形態學處理提取了磨塊區域和黑心缺陷區域，計算了磨塊區域的圓度和黑心缺陷占比值。

(2)基于機器視覺的滾拋磨塊缺陷檢測方法能夠對燒結型球狀滾拋磨塊的圓度和黑心缺陷進行數字化檢測。

(3)確定的磨塊圓度閾值為0.90，磨塊黑心缺陷占比閾值為1.50%，超過此閾值后的磨塊形狀異常或黑心缺陷超出范圍。

(4)通過設定的圓度和黑心缺陷閾值可判斷磨塊缺陷，用于分析磨塊制備過程中存在的問題，為磨塊制備方法改進提供反饋依據。