基于多尺度卷積的機械零件圖像輪廓特征提取方法

李 巖，李 琳，尉糧蘋

（1.青島恒星科技學院 信息學院，青島 266100；2.青島大學 計算機科學技術學院，青島 266100）

0 引言

機械零件是構成機器不可拆分的基本單元,如齒輪、軸承、彈簧等,其是由機械制造業利用金屬材料、復合材料等經過多重工序制作而成,其在應用中應具備較好的韌度、耐磨性等[1,2]。但制造業在生產機械零件過程中受溫度、設備以及人為等不可控因素影響,導致某些機械零件生產出來后存在不同程度缺陷,使其無法使用。因此對制造業機械零件輪廓進行提取,從中分析機械零件是否存在缺陷是制造業目前正在攻堅的問題。當前也有很多學者對零件輪廓提取進行了研究,如方琳靈等人獲取到機械零件圖像后,使用高斯導函數獲取機械零件圖像的分頻特征,以該特征為基礎,使用視覺信息流融合模型輸出機械零件輪廓[3]。但該方法在應用過程中受非極大值抑制和閾值選取因素影響,使其提取的機械零件輪廓特征較為模糊,應用效果不佳。湯自強等人則利用激光視覺傳感器獲取機械零件激光圖像,然后利用三角立體投影方式獲得機械零件輪廓的像素點[4],并對該像素點進行形態學融合后得到機械零件的輪廓特征。但該方法獲取的機械零件激光圖像內存在大量干擾噪聲,并未對噪聲進行處理,使其機械零件輪廓特征提取效果不理想。多尺度卷積神經網絡是卷積神經網絡的延伸,其在卷積神經網絡內添加了多尺度競爭,形成若干個子網絡,使卷積神經網絡輸出結果更為準確[5,6]。在此將多尺度卷積神經網絡應用到機械零件圖像輪廓特征提取過程中,提出基于多尺度卷積的制造業機械零件圖像輪廓特征提取方法,以達到精準提取機械零件圖像輪廓目的。

1 制造業機械零件圖像輪廓特征提取

1.1 機械零件圖像增強預處理

利用工業CCD相機拍攝制造業機械零件圖像,但受拍攝環境、光照度等影響,獲取的機械零件圖像存在干擾光線,不夠清晰[7],因此需對機械零件圖像進行增強預處理,使機械零件圖像輪廓更為清晰,對比度更高。在此使用小波變換增強方式實現機械零件圖像增強,其詳細過程如下：

小波變換增強是對機械零件進行分解加工,將描繪細節的高頻成分進行增強處理,然后在對其進行小波逆變換恢復圖像后,即可實現機械零件增強。使用雙正交小波變換器對機械零件進行分解,然后令f表示機械零件圖像函數,將機械零件分解圖像導入到該函數內,其表達公式如式(1)所示：

式(1)中,n表示機械零件圖像分解層數；L表示圖像序列；E表示低頻圖像；S表示細節圖像；τ表示二維正交變換；φ表示小波逆變換；x、y表示機械零件圖像像素點坐標。

利用權值Kn,j對式(1)內細節圖像進行增強處理,其表達式為：

利用式(2)即可實現機械零件圖像增強,但由于眼睛對顏色感知起到決定性作用,在增加機械零件圖像過程中將其亮度信息也一并調節了,其導致眼睛對某些機械零件圖像輪廓無法很好地感知[8,9]。在此引入自適應調節機制,其表達公式為：

式(3)中,η表示處理算子。

依據式(3)自適應調節機制,則式(2)的變更為：

利用式(4)即可得到增強后的機械零件圖像,為后續提取其輪廓做基礎。

1.2 Lab顏色模型構建

Lab顏色模型是國際確立的標準測試顏色模型,其是基于人眼視覺特征構建的。該顏色模型由一個亮度和兩個顏色通道構成[10],將各個要素混合后即可描繪出目標色彩。

以增強后的機械零件圖像為基礎,將其RGB圖像轉換到XYZ空間內,在XYZ空間將機械零件圖像轉換到Lab顏色模型內。RGB圖像轉換到XYZ空間表達式為：

式(5)中,表示XYZ空間內像素點。

將式(5)轉換到Lab顏色模型內,其表達式為：

式(6)中,L、a、b分別表示亮度元素、紅綠色元素、黃藍色元素,其取值區間分別為[0,100]、[-128,127]、[-128,127]。Xn、Yn、Zn分別表示白光環境下的刺激值。

1.3 圖像灰度閾值分割與輪廓邊緣檢測

1.3.1 機械零件圖像灰度閾值分割

利用1.2節的機械零件圖像Lab顏色模型輸出機械零件圖像顏色數值后,使用最大類間方差方法對機械零件圖像灰度閾值進行分割,其過程如下：

令像素點數為n的機械零件圖像灰度序列由f=｛0,1,…,L-1｝表示,其中L數值為256。令t表示機械零件圖像灰度閾值,依據該閾值將機械零件圖像灰度劃分為h和o類,則h和o類的出現概率表達式式為：

式(7)中,U(h)、U(o)分別表h和o類出現概率,U(z)表示第z個圖像灰度序列內元素出現概率；w(t)表示機械零件圖像直方圖在閾值t的零階累計矩陣。

h和o類均值的表達式為：

式(8)中,表示機械零件圖像直方圖在閾值為t時的一階累計矩陣；表示機械零件圖像初始均值。

h類方差的表達式為：

o類方差表達式為：

按照閾值對機械零件圖像進行閾值分割后,得到h類o和類的出現概率、均值和方差,依據該數值將機械零件圖像轉換為二值圖像,用于后續機械零件圖像凸曲線輪廓邊緣檢測。

1.3.2 基于凸曲線輪廓邊緣區域檢測

對機械零件圖像進行閾值分割完畢后,將其轉換為二值圖像,使用凸曲線輪廓邊緣檢測方法獲取機械零件圖像邊緣區域信息,詳細過程如下：

第一步：設置凸曲線輪廓搜索初始像素點。將某一個連接數為3的像素點作為初始像素點,從該點開始依據機械零件圖像像素點結構對像素點進行遍歷并添加標記位。

第二步：在初始像素點鄰域內遍歷后繼點。當尋找到下一個像素連接點為3時,將該點標記為后繼點并保存。當尋找到下一個像素連接點不為3時[11,12],則以當前像素點作為初始點,在其鄰域內繼續尋找像素連接點為3的點并標記保存處理。

第三步：獲取連接點為3的機械零件圖像像素點坐標(xi,yi),該點的后繼點和前一點的像素坐標分別由(xi+1,yi+1)、(xi-1,yi-1)表示。按照機械零件圖像輪廓邊緣曲線前向、后向分別尋找6個像素點,計算該12個像素點后繼點方向曲率角,其表達式為：

式(11)中,Δd表示相位角,其下角標的數字分別表示連接點1、2、3,其表達公式如式(12)～式(14)所示：

第四步：依據式(11)計算機械零件圖像內所有像素點后繼點方向曲率角,然后計算機械零件圖像輪廓邊緣曲線點信息,表達式為：

式(15)中,totalNum表示機械零件圖像輪廓邊緣曲線內所有像素點總和；Q表示機械零件圖像輪廓邊緣曲線總和,totalLi表示第i條輪廓曲線內涵蓋的像素點數量。

設置機械零件圖像輪廓邊緣曲線內像素點閾值為ζ,當式(15)數值大于ζ時,則說明該邊緣曲線為輪廓曲線,反之則為分支曲線,棄之。將所有機械零件圖像輪廓邊緣曲線檢測出來后,將使用直接連接方法對斷裂位置進行填充,即可獲得完整的機械零件圖像輪廓邊緣區域。

1.4 基于多尺度卷積神經網絡的機械圖像邊緣特征提取

以完整的機械零件圖像輪廓邊緣區域為基礎,使用多尺度卷積神經網絡模型提取機械零件圖像輪廓邊緣區域特征。令I表示輸入到多尺度卷積神經網絡模型的機械零件圖像,使用多尺度高斯金字塔對該圖像輪廓邊緣區域進行拉普拉斯濾波處理,將機械零件圖像輪廓邊緣區域劃分為若干個層[13,15],且每個圖像層面積均為上層圖像的四分之一。令fs表示多尺度卷積神經網絡模型,其中s表示尺度,并設置該模型的初始參數為θ0,且θ0=θs。則多尺度卷積神經網絡的表達式為：

式(16)中,L表示階段；δL表示第階段權值矩陣；I′L-1表示在第L-1階段輸出數值,且I′0=Xs。

令l表示多尺度卷積神經網絡模型隱含階段,則該階段輸出的表達式為：

式(17)中,pool為池化操作函數；bi表示偏置參數,且l∈｛1,2,…,L-1｝。

將式(17)結果代入到式(16)內后,多尺度卷積神經網絡模型輸出全部機械零件圖像輪廓邊緣特征。然后將具備相同尺寸的特征點合并后,生成三維特征矩陣,該矩陣由P表示,其表達式為：

式(18)中,u表示上采樣函數。

三維特征矩陣P即為機械零件圖像邊緣特征提取結果,其后續可用于機械零件品類識別、缺陷檢測等。

2 實驗分析

以某大型機械零件制造車間為實驗對象,利用CCD工業相機拍攝機械零件輪廓圖像后,使用本文方法對其進行輪廓處理,以驗證本方法實際應用效果。

2.1 機械零件圖像增強測試

以2組存在高曝光和高斯干擾的機械零件圖像為實驗對象,使用本文方法對其進行增強處理,結果如圖1所示。

圖1 機械零件圖像增強測試結果

分析圖1可知,本文方法在增強處理存在高曝光機械零件圖像時,其可有效降低機械零件圖像曝光度,使機械零件圖像輪廓更為清晰,曝光區域亮度得到了有效降低。而在增強處理存在高斯干擾機械零件圖像時,可有效將圖像內的高斯噪聲點去除,并提升整體機械零件圖像亮度和對比度。綜上所述,本文方法具備較好的機械零件圖像增強能力。

2.2 灰度閾值分割測試

SSIM（Structural Similarity）是描述圖像結構相似性指標之一。以其為衡量本文方法對機械零件圖像灰度閾值分割指標,測試在灰度圖像序列內元素數量不同情況下,本文方法對機械零件圖像灰度閾值R、G、B三原色分割效果,并設置SSIM閾值不得低于0.6,測試結果如表1所示。

分析表1可知,隨著機械零件灰度圖像序列內元素數量的增加,本文方法閾值分割時的SSIM數值在不同三原色情況下也呈現下降趨勢。在機械零件灰度圖像序列元素為2500個之前時,在不同三原色情況下,本文對機械零件圖像閾值分割的SSIM數值降低幅度較小。而當機械零件灰度圖像序列元素為2500個后,本文對機械零件圖像閾值分割的SSIM數值呈現大幅度下降趨勢。在機械零件灰度圖像序列內元素數量為5000個時,R、G、B三原色的閾值分割SSIM數值分別為0.7129、0.6989、0.7955,該數值均高于所設的SSIM閾值。綜上結果,本文方法在分割機械零件圖像閾值時,受且灰度圖像序列內元素數量影響較小,分割機械零件圖像閾值時的SSIM數值較高,其可在保障機械零件圖像原始特征情況下對其進行有效分割。

表1 機械零件圖像灰度閾值分割SSIM數值變化情況

2.3 輪廓邊緣區域檢測

機械零件圖像輪廓邊緣區域檢測是提取其邊緣的基礎,以一組機械零件圖像為實驗對象,使用本文方法檢測其輪廓邊緣區域,結果如圖2所示。

圖2 機械零件圖像輪廓邊緣區域檢測結果

分析圖2可知,應用本文方法可有效將機械零件初始圖像的邊緣區域使用線條標記出來,且并未過多占用其他區域,也將機械零件所有的輪廓覆蓋其中。該結果表明本文方法在檢測機械零件圖像輪廓區域方法效果顯著,也可從側面說明本文方法提取機械零件圖像邊緣特征能力較好。

2.4 機械零件圖像邊緣特征提取測試

以一組機械零件圖像為實驗對象,使用本文方法提取其邊緣特征,結果如圖3所示。

分析圖3可知,使用本文方法提取機械零件圖像邊緣特征時,其可有效將初始圖像零件邊緣棱角提取出來,且提取完成的機械零件圖像邊緣特征也可較好地描述機械零件邊緣輪廓,將初始圖像內機械零件表面無法觀察到的特征均呈現出來。上述結果表明：本文方法提取機械零件圖像能力較好,且其提取的機械零件圖像特征可較好地描述機械零件自身狀態,為識別其缺陷或者種類提供了良好的基礎。

圖3 機械零件圖像邊緣特征提取結果

為更清楚呈現本文方法提取機械零件圖像邊緣特征效果,以提取特征點匹配對作為衡量指標,測試在不同數量的特征點情況下,本文方法提取特征點匹配度,結果如圖4所示。

圖4 提取特征點匹配度測試結果

分析圖4可知,本文方法提取機械零件圖像邊緣特征點時的匹配度與特征點數量成反比例關系。但在特征點數量為3000個之前時,本文方法提取特征點的匹配度均為1.0,說明其提取機械零件圖像邊緣特征點精度為100%。當特征點數量超過3000個后,本文方法提取特征點匹配度有所降低。在特征點為8000個時,本文方法提取特征點的匹配度為0.95左右。上述結果說明：本文方法提取機械零件圖像邊緣特征點精度較高,其具備良好的實際應用性能。

3 結語

本文針對機械零件類型識別或者缺陷檢測中提取零件圖像特征過程中存在的缺陷,提出了基于多尺度卷積的制造業機械零件圖像輪廓特征提取方法。然后對該方法展開了多角度實際驗證,從其結果得知：本文方法對機械零件圖像進行閾值分割時,SSIM數值均高于0.6,具備較好的閾值分割能力；提取機械零件圖像邊緣特征點的匹配度在0.95～1.0之間,其提取能力較強。