采用局部閾值分割的刀具損傷視覺檢測方法

葉祖坤，李恒，查文彬，何彥，王禹林

(1.南京理工大學機械工程學院，210094，南京；2.重慶大學機械傳動國家重點實驗室，400030，重慶)

在機械加工過程中,刀具易產生損傷,操作人員大多憑經驗估計刀具是否損傷以及損傷程度是否對加工精度有影響[1],易造成刀具遠未到使用壽命就被更換,導致刀具浪費;或刀具過度損傷后才被更換,造成零件報廢、機床故障甚至人員傷亡[2],為降低制造成本,減少制造環境危害,保證生產制造系統正常高效運行和產品質量,需要對刀具損傷狀態進行高效、高精度的監測[3]。

目前,許多學者對刀具損傷監測技術進行了研究,根據監測手段的不同,刀具狀態監測方法分為直接測量和間接測量[4]。間接檢測法是利用切削力[5-6]、聲發射[7-8]、電流[9]、振動[10]等與刀具損傷有關的信號變化特征為依據進行刀具損傷檢測[11]。然而,基于傳感器信號的監測方法存在一些缺點:首先從信號中提取與刀具磨損有關的特征需要耗費大量的人力資源和要求掌握全面的專業領域知識;其次,基于多傳感器信號建立的預測模型是特定機床類型和加工參數下的某種映射,當修改了NC程序或者使用不同的刀具進行切削時,此模型將不再適用。直接檢測法是利用機器視覺對刀具損傷圖像進行處理從而獲取得到刀具損傷信息,其關鍵在于通過圖像處理技術把損傷區域從刀具圖像中識別出來。Pedersen等參考刀具圖像灰度直方圖,識別刀具損傷區域[12]。朱愛斌等提出刀具磨損圖像視差圖的非標定方法重構刀具磨損輪廓[13]。然而,由于刀具磨損區域所占面積小,特征不明顯,以上方法易將非損傷區域誤判為損傷區域,檢測精度難以保證。一些學者采用純最大類間方差法、均值迭代法及形態學操作分析對刀具圖像進行全局二值化處理,分割出刀具損傷區域與非損傷區域[14-16],但由于刀具表面紋理復雜,此類方法所獲得的損傷區域通常含有大量背景信息;Peng等采用區域生長法對圖像進行分割[17],然而由于損傷區域灰度值波動大,該方法亦難以準確識別損傷區域;Dai等通過人為指定分割閾值識別刀具損傷區域[18],但該方法效率低,需人為多次嘗試以確定最佳閾值;秦國華等提出了用于刀具邊界提取的局部方差算法,清晰地將刀具損傷區從圖像中分割出來[19],但該方法對灰度波動較大區域敏感,識別到的損傷區域往往包含其他無關邊界信息,造成較大檢測誤差。Zhang等通過列搜索找到損傷邊界像素,并重建刀具磨損上邊界最終獲得刀具最大損傷寬度[4],但該列搜索方法僅能搜到最大損傷列,提取最大損傷寬度,無法識別刀完整的損傷區域。Laura等劃出損傷區域,基于形態學運算和k均值算法識別損傷區域[20],然而該方法需要一定量的數據集進行學習訓練,檢測效率低,適用性差。

針對上述問題,本文綜合分析刀具損傷圖像,提出一種采用局部閾值分割的刀具損傷視覺檢測方法,通過圖像劃分、閾值選取、像素掃描3個步驟,有效地識別到刀具損傷區域,并基于識別的損傷區域精確測量刀具磨損幾何特征,為刀具損傷狀態檢測提供有效技術支持。

1 刀具損傷視覺檢測系統

機器視覺測量是建立在圖像信息基礎上的,為保證從圖像中識別的刀具損傷特征具有較高可靠性,需保證被采集的刀具端面與相機鏡頭端面保持完全水平,因此,本文采用如圖1所示的刀具損傷檢測系統,主要包括CCD相機、遠心鏡頭、光源、相機支架。相機支架豎桿垂直固定在水平臺面上,橫梁與豎桿保持垂直安裝,CCD相機通過橫梁上的圓形通孔垂直于橫梁固定在支架上,遠心鏡頭與CCD相機連接,環形光源設置在鏡頭前端,提供良好的照明條件。檢測時,對刀具進行清洗后,垂直立于水平檢測臺上,進而調整被測刀具位置以及鏡頭前端與刀具之間的距離,使相機視野中呈現清晰的刀具損傷圖像,保證了被采集刀具端面與鏡頭端面水平,消除了偏角。最終,利用CCD相機拍攝刀具后刀面圖像并通過千兆以太網將圖像傳輸至計算機供后續處理。

圖1 刀具損傷檢測系統

2 刀具損傷檢測方法

2.1 圖像預處理

2.1.1 圖像灰度化及濾波降噪 圖2為利用刀具損傷檢測系統采集到的損傷銑刀刀刃圖像。由于機器視覺測量是建立在圖像灰度信息處理基礎上,因此首先需對刀具圖像進行灰度化處理,擴展圖像的對比度,使圖像清晰,特征明顯。灰度化原理表示為下式

圖2 原始圖像

f(x,y)=0.3R(x,y)+0.59G(x,y)+0.11B(x,y)

(1)

式中:f(x,y)為灰度化后的灰度圖像在坐標(x,y)處的灰度值;R(x,y)、G(x,y)、B(x,y)分別為紅、綠、藍3個分量的值。

同時,為了降低環境噪聲干擾,在進行損傷區域識別前需對刀具圖像進行濾波降噪。由于中值濾波算法能夠有效平滑噪聲并保護好刀具損傷邊界信息,故采用卷積模板為3×3的中值濾波算法對灰度化后的刀具圖像進行濾波降噪,中值濾波過程如圖3所示,濾波前后圖像對比如圖4、圖5所示。從圖4、圖5的對比中可以看出,降噪后的刀具圖像已無噪點存在。

(a)輸入

(a)灰度圖像

(a)灰度圖像

2.1.2 圖像校正 現場加工過程中采集的刀具損傷圖像,未定位校正,其刀刃邊緣與圖像水平方向具

有一定角度,如圖6所示,在后續進行損傷量測量過程中將增加測量難度,為方便后續測量,需對刀具圖像進行旋轉定位校正。首先確定切削刃邊緣與圖像水平傾角θ。建立圖6所示的圖像坐標系,選取刀具損傷圖像中未損傷切削刃邊緣,如圖7所示,對選中區域進行二值化與Canny邊緣檢測提取切削刃,進而進行像素點掃描,獲得l個切削刃像素點,第q個像素點坐標記為(xqyq),其中1≤q≤l。將獲取的未損傷切削刃坐標保存,并按式(1)～式(4)進行切削刃擬合,刀具圖像旋轉定位校正過程如圖8所示。獲取切削刃所在直線的斜率后,傾角θ可按式(5)求得。最后將切削刃沿傾角θ旋轉至水平。之后,對刀具圖像進行裁剪,保留刀具損傷區域,如圖9所示,至此完成刀具圖像定位。

圖6 圖像坐標系

圖7 選取未損傷切削刃

(a)未損傷切削刃

圖9 旋轉定位校正后的圖像

y=αx+β

(2)

(3)

(4)

(5)

θ=arctanα

(6)

式中:α為擬合的切削刃直線斜率;β為擬合的切削刃直線的截距;(xq,yq)為切削刃像素點坐標。

2.2 刀具損傷視覺特征提取

圖10所示為刀具損傷圖像示意圖,可知刀具損傷圖像主要由背景、未損傷區域、損傷區域組成,其中背景區域像素值最小,顯示為黑色,損傷區域像素值最大,顯示為亮白色,未損傷區域像素值居中,顯示為灰色,設置適當的閾值可分別將3個區域識別出來,而對于刀具損傷檢測,只需選取合適閾值識別損傷區域即可。損傷區域相對于背景以及未損傷區域所占面積較小,具有特征不明顯,紋理復雜,不易識別的特點,為清晰完整識別到損傷區域,本文提出了如圖11所示的基于局部閾值分割的損傷區域提取方法,主要包含圖像劃分、最佳閾值選取、像素掃描3個步驟。

圖10 刀具損傷圖像示意圖

圖11 采用局部閾值分割的損傷區域提取流程

圖像劃分是指將刀具損傷圖像均分成j×k個像素塊,如圖12所示,像素塊的個數可按下式確定

圖12 刀具圖像劃分示意圖

(7)

(8)

式中:j表示圖像高度方向均分為j份;k表示圖像寬度方向均分為k份;j×k表示像素塊個數;h和w分別為原始圖像的高和寬,單位為像素。由于損傷邊緣一般對應4～10像素,為使分割后的每個小像素塊最多只包含一條損傷邊緣,同時包含非損傷區域,則每個小像素塊只可由5～20像素組成,故1≤m<20,m為整數。

最佳閾值選取是指利用Otsu法[14]對均分后的每一個像素塊進行圖像分割,可分別得到一個分割閾值Ti。對每個小像素塊進行分割得到的閾值Ti即為局部閾值。本文采用Otsu法對每個像素塊進行圖像分割,原理如下。

設圖像中灰度值為i的像素數為ni,圖像中像素灰度值范圍為[0,L-1],則圖像總的像素數為

(9)

圖像中各灰度值出現的概率為

(10)

把圖像像素用閾值T分為A1、A2兩個區域,A1由灰度值在[0,T-1]的像素組成,A2由灰度值在[TL-1]的像素組成,則區域A1和區域A2的灰度值的概率分別為

(11)

(12)

區域A1和區域A2的平均灰度分別為

(13)

(14)

整幅圖像的平均灰度為

(15)

兩區域的總方差為

σ2=P1(μ1-μ)2+P2(μ2-μ)2=P1P2(μ2-μ1)2

(16)

讓T在[0,L-1]范圍內依次取值,使σ2最大的T值便是最佳區域分割閾值。

由于損傷區域像素灰度值最大,因此獲取局部閾值后,最大的局部閾值即可作為最佳閾值Tbest用于識別損傷區域,考慮到損傷區域在切削熱與切削力的共同作用下,損傷紋理復雜,像素值存在一定波動,為使灰度值低于最佳閾值的損傷區域被識別到,最佳閾值需增加一個懲罰項,以保證灰度值低于最佳閾值。最終,最佳閾值的選取如下式所示

Tbest=max(T1,T2,…,Ti)-a

(17)

式中:Tbest為最佳閾值;Ti為第i個像素塊的局部閾值,l≤i≤jk;a為最佳閾值的下誤差,由于3個區間灰度值差最大不超過3,故a取值可為0～30間的整數。

像素掃描是指對整幅刀具損傷圖像進行像素掃描,原理如下式所示

(18)

式中:f(xi,yi)為刀具損傷圖像在坐標點(xiyi)處的像素值;L(xiyi)為經像素掃描后的圖像在坐標點(xiyi)處的像素值。

將圖像像素值大于或等于最佳閾值Tbest設為255像素,將圖像像素值小于最佳閾值T的像素值置為0,對整張圖像掃描完后,即完成損傷區域的識別,像素值為255的區域即為損傷區域,顯示為白色,像素值為0的區域顯示為黑色。然而,由于損傷區域紋理復雜,像素灰度值波動較大,識別后損傷區域具有空洞,狹窄邊緣具有斷裂及間斷,如圖13a所示。為了使識別的損傷區域進一步完整,采用形態學閉操作平滑損傷區域,連接相鄰元素,填充空洞及狹窄斷裂邊緣。形態學閉操作是對圖像先進行膨脹操作,后進行腐蝕操作。膨脹與腐蝕過程分別如圖13b、13c所示,膨脹過程為結構B在結構A上進行卷積操作,若結構B與結構A存在重疊區域,則保存結構A的該位置;腐蝕過程為結構B在結構C上進行卷積操作,若結構B與結構C的交集完全屬于結構C的區域內,則保存結構C的該位置。最終,利用本文方法自動識別到的完整刀具損傷區域如圖13d所示。

(a)形態學閉操前的損傷區域圖像

2.3 刀具損傷幾何特征測量

圖14 刀具后刀面損傷示意圖

2.3.1 像素當量標定 基于圖像處理方法獲取的刀具損傷量是以像素為單位的,需轉化為實際尺寸。本文以圖15所示的微型標定板為參照標準進行像素當量標定,像素當量按下式進行計算

圖15 微型標定板

(19)

(20)

式中:K1為長度像素當量;K2為面積像素當量;l為標尺實際長度;a為標尺實際面積;N1為圖像中表示標尺長度所用的像素個數;N2為圖像中表示標尺面積所用的像素個數。

2.3.2 刀具損傷量計算 根據識別到的刀具損傷區域,構造刀具損傷區域的外接矩形,如圖16所示。

(a)識別的刀具損傷區域

L=K1NL

(21)

W=K1NW

(22)

(23)

S=K2NS

(24)

對于多連通的刀具損傷區域,其損傷面積可將各單連通區域計算的損傷面積相加,損傷帶長度、最大損傷帶寬度、平均損傷帶寬度則根據最大連通區域計算。

3 試驗驗證

3.1 試驗設計

為了驗證本文提出的基于局部閾值分割的刀具損傷檢測方法的有效性及優越性,從工業現場選擇了6把典型的不同損傷程度的立銑刀。將顯微鏡所測量的損傷刀具真實損傷量作為真實值,用本文方法所檢測的結果與真實值對比。同時利用Otsu法[14]、均值迭代法[15]、自適應閾值法[16]、Canny邊緣檢測法[19]、區域生長法[17]、局部方差法[19]等方法分別對6把刀具進行損傷檢測,將其檢測結果與本文方法進行對比:

本文通過比較平均準確率來判斷各方法的檢測效果。平均準確率定義如下

(25)

3.2 試驗結果與分析

圖17所示為本文所提的刀具損傷檢測方法對6把不同損傷程度的刀具進行損傷自動識別的效果圖,#1表示第一把刀具,#2表示第2把刀具,以此類推;圖18所示為刀具損傷檢測結果與理論值的對比圖;圖19為不同視覺檢測方法效果對比圖。表1為各方法對6把刀具進行檢測的量化分析結果對比。通過圖17與圖18可知:本文采用局部閾值分割的刀具損傷視覺檢測方法確能自動有效識別完整的刀具損傷區域,對6把刀具進行檢測,效果突出,解決了目前刀具損傷監測系統難以從刀具損傷圖像中自動識別到刀具損傷位置并精準測量刀具損傷量的難題。通過圖19以及表1的對比結果可知:Otsu法、均值迭代法與區域生長法均未能識別到6把刀具損傷信息,檢測效果最差;自適應閾值法、Canny邊緣檢測法、局部方差法對6把刀具的損傷檢測平均準確率為6%～80%;本文采用局部閾值分割的刀具損傷視覺檢測方法檢測效果最好,對6把刀具進行檢測,所測量的刀具損傷長度、最大損傷寬度、平均損傷寬度、損傷面積的平均準確率分別可達97.58%、98.07%、96.49%、98.04%,與現有局部方差法、自適應閾值法等6種方法相比,刀具損傷幾何特征測量平均準確率至少提升19%以上,具有較大優勢。

(a)原始刀具圖像

(a)原始圖像 (b)Otsu法 (c)均值迭代法 (d)自適應閾值法

表1 不同方法對6把刀具進行損傷檢測的平均準確率對比

4 結 論

刀具損傷檢測對保證加工質量,提高生產效益,降低制造環境危害具有重要意義。本文提出了一種采用局部閾值分割的刀具損傷視覺檢測方法,能夠使刀具監測系統自動有效識別刀具損傷區域,并基于識別到的損傷信息對刀具損傷量進行精確測量,測量效果突出,解決了目前刀具損傷監測系統難以從刀具損傷圖像中自動識別到刀具損傷位置并精準測量刀具損傷量的難題。進一步搭建了離線檢測試驗平臺,以驗證本文方法的有效性。試驗結果表明:采用本文方法所測量的刀具損傷長度、最大損傷寬度、平均損傷寬度、損傷面積的平均準確率分別達97.58%、98.07%、96.49%、98.04%;與現有局部方差法、自適應閾值法等6種方法相比,本文方法的刀具損傷幾何特征測量平均準確率至少提升19%以上,具有較大優勢,可為今后刀具損傷狀態監測提供有力技術支撐。