基于神經網絡的零件缺陷機器視覺識別系統

(沈陽工學院, 遼寧 撫順 113122)

基于神經網絡的零件缺陷機器視覺識別系統

李鶴

(沈陽工學院,遼寧撫順113122)

小軸承、輪軸等是機器、車輛、發動機等的重要零配件，為提高對其表面缺陷進行檢測的檢測效率和檢測精度，以小軸承表面為研究對象，提出了采用機器視覺技術實現對軸承表面缺陷的實時在線自動檢測，設計了基于BP神經網絡的零件缺陷機器視覺在線自動檢測系統;根據微小軸承的表面結構、尺寸、檢測精度和缺陷特征，采用機器視覺技術，對所采集到的圖片進行預處理，構建BP神經網絡檢測識別模型，利用 Hough 變換以及Roberts算子提取了圖像中的目標區域，以組合矩不變量為依據，判斷軸承是否存在缺陷，從而對微小軸承缺陷進行實時檢測;MATLAB仿真結果證明了人工神經網絡識別模型的檢測能力的可靠性和有效性。

缺陷檢測；神經網絡；機器視覺；組合矩

0 引言

近年來，零件缺陷的識別逐漸成為圖像處理及模式識別領域的研究熱點問題，其實用性強，尤其在大規模工業生產上，其應用前景更是廣闊，有著巨大的潛在市場。如今伴隨著計算機的快速發展，越來越多的在圖像處理及模式識別研究中，許多人類難以解決的相對復雜的問題，都可以借助計算機的高速運算來解決[1-2]。

日常生活中，軸承隨處可見，其是各種機器、車輛、發動機等的重要零配件，其質量的合格與否對使用者的性能有重要影響。因此，在生產過程中，進行軸承質量檢測就成為了必須。傳統缺陷檢測法有：聲發射法[3]、超聲法[4]、渦流法[5]、磁粉法[6]等。其中聲發射法只對大面積碰傷缺陷有良好的適應性，超聲法對細小裂紋的探測適應性差；渦流法無法適用于非導體材料；磁粉法檢測易受操作人員主觀因素的影響。而采用機器視覺的缺陷檢測法具有準確度高、速度快及實時檢測的特點。因此，在實際生產中，采用機器視覺技術構建檢測識別系統成為了解決這一問題的關鍵。隨著數字圖像處理分析理論的完善，機器視覺技術在工業在線檢測[7-8]、測量[9]的應用逐漸廣泛。

針對微小軸承的表面結構、尺寸、檢測精度和缺陷特征，本文設計了一種基于BP神經網絡的零件缺陷機器視覺在線自動檢測系統。其采用機器視覺技術，構建BP神經網絡檢測識別模型，采用進行圖像特征提取的間接識別方法，以組合距不變量為依據，對微小軸承缺陷進行實時檢測，判斷零件的是否合格。

1 方案設計

本文采用機器視覺技術，構建BP神經網絡檢測識別模型，識別方法采用進行圖像特征提取的間接法，選用組合距不變特征量為依據，實時檢測微小軸承表面缺陷。微小軸承檢測識別系統方案及硬件結構如圖1所示。

圖1 微小軸承檢測方案

其工作原理為：當微小軸承傳送到成像系統鏡頭下時，即可觸發光源系統，將其在面陣 CCD上放大成像。面陣CCD完成光電信號的轉換，經圖像采集卡完成圖像的模數轉換后，上位機會將數字信號輸入計算機內存，從而即可得到軸承的灰度圖像，然后經濾波、邊緣檢測、特征提取與識別等處理后，即可檢測出軸承表面的裂紋、擦傷、形狀不良等缺陷。根據檢測結果，判定軸承是否合格，對于不合格零件，上位機通知下位機控制剔除機構剔除不合格零件，而合格零件直接送至零件合格庫。

2 檢測算法設計

2.1 圖像預處理

進行圖像采集工作時，由于現實環境的影響難以避免，實際獲得的圖像不可避免的可能會受到嚴重的噪聲干擾，造成接收到的圖像質量下降。所以進一步處理圖像或特征提取前要先對圖像進行濾波、二值化、平滑、去噪聲、分割、邊緣檢測等預處理，然后對其進行特征提取。而且有時圖像會出現偏移、大小不一的現象，此時就需進行歸一化處理，為圖像識別做準備。下面主要針對濾波、圖像分割、邊緣檢測、目標提取做詳細介紹。

2.1.1 濾波

一般由于成像系統、傳輸介質等的生產工藝上的所具有的缺陷及不足，圖像的形成、傳輸過程往往不可避免的可能會受到各種各樣的噪聲的污染。除此之外，例如，當在進行圖像處理的過程中，如果輸入的圖像并不如預期所想的那樣，這時也可能在形成的結果圖像中引入或多或少的噪聲干擾。在圖像上噪聲常常表現為強視覺效果的孤立像素點。一般而言，噪聲信號與所研究的目標對象并不是相關聯的，噪聲信號多以無用信息的形式出現，疊加在有用信號上，從而擾亂圖像的可觀測信息。一般對于數字圖像信號而言，噪聲值常常表現為極大值或者是極小值，通過把極值加減作用在實際圖像像素的真實的灰度值上，從而造成圖像的亮點或者是暗點影響，嚴重影響了圖像的質量，致使圖像質量下降，干擾了進行圖像復原、分割、特征提取、圖像識別等一些基本的后續工作。如果想有效的抑制噪聲，這時必須考慮兩個最基本的問題：一是可以能有效地去除目標及背景中的噪聲干擾；二是可以有效的保證目標圖像的形狀、大小及特定的幾何和拓撲結構特征不變化。為了減少圖像失真，提取到更多可用信息。本文采用中值濾波法，其算法如下：

①當處理處理像素點(i,j)時，以這個像素點為中心取N×N的區域，再求出N×N個像素點的灰度中值M(i,j)。(N為奇數)

②設N/2的整數部分為r，對N×N區域的每一點計算加權系數M(i,j)。

(1)

(2)

式中，I(m,n)為N×N區域內(m,n)點的灰度值。

2.1.2 圖像分割

一般在整幅圖像中，常常只有里面的部分目標是人們所感興趣的，通常情況下，這些目標占據一些特定的區域，還有就是在某些特性，例如灰度、和紋理等上與臨近的圖像有些差異。這些特性差別可能非常顯著，也可能很細微，以至于連人的肉眼都察覺不出。近幾年來，隨著計算機及圖像處理技術的快速發展，許多人類難以解決的相對復雜的問題，都可以借助計算機的高速運算來解決，這使得人們能夠方便的高效的通過計算機來獲取和處理圖像信息。圖像分割是圖像識別的基礎，它的作用是把反映物體本質情況的、占據不同區域的、具有不同特性的目標加以區分，并形成數字特征。圖像識別和圖像理解的基本前提步驟就是圖像分割，圖像分割質量的好壞對后續圖像處理的效果有著直接影響，以至于可能是決定其成敗的關鍵因素，因此，圖像分割的作用是至關重要的。

圖像分割簡而言之，就是按照一定的原則方法將圖像分割成若干個具有獨立特征的部分，并把感興趣的目標提取出來過程。本文采用的是閾值分割法，閾值分割法關鍵在于閾值的選取[10]。在此，本文基于迭代思想求出全局閾值，算法如下[11]：

①令初始閾值為：

(3)

式中，Z1和ZK分別為圖像的最大和最小灰度值。

②以閾值TK為依據，把圖像分割為目標和背景圖像，并求這兩者的平均灰度值ZO和ZB：

(4)

(5)

式中，Z(i,j)是像素點(i,j)的灰度值；N(i,j)則為該像素點的加權系數，通常取1.0。

③求新閾值：

(6)

④如果TK=TK+1，則迭代到此為止，否則K←K+1，跳轉到步驟2迭代繼續。利用上述原理即可求出本文所需閾值。

經統計歸類，軸承表面缺陷幾乎都是出現在內外圈和密封蓋端面上。所以檢測時，最好把兩者分割出來再檢測，效果會更好。

2.1.3 邊緣檢測

所謂圖像邊緣，通俗地說就是圖像灰度值有階躍變化，是局部特性不連續的反映，往往代表著區域的開始或結束。把圖像局部特性的不連續的像素連成完備的邊界即可檢測出圖像邊緣。本文使用Roberts算子提取圖像的邊緣。

Roberts邊緣檢測算子[12]由兩個2×2模板構成。可表示為：

G(i,j)=|Gx|+|Gy|

(7)

表1為Roberts算子的梯度幅值近似計算法。

表1 梯度幅值計算

其中，(i,j)為當前像素的位置，其計算公式如下：

G(i,j)=|f(i,j)-f(i+1,j+1)|+

|f(i+1,j)-f(i,j+1)|

(8)

選取適當的閾值τ，若G(i,j) >τ，則把點(i,j)記作邊緣點。Roberts算子檢測定位精度比較高，但對噪聲敏感。

2.1.4 目標圖像提取

由于本文檢測的軸承主要尺寸大小都為已知，故根據 Hough 原理，并結合實際條件，可利用以下步驟提取出密封蓋端面：

①進行圖像預處理，包括濾波、閾值分割、邊緣檢測等。

②建立一個離散參數空間，其與圖像空間相同，并在其各個離散位置上建立計數累加器，累加器的初值設為0。

③逐點掃描處理后的二值圖像，一旦遇到前景點即提取的邊緣點，就以此點為圓心，尋找圖像范圍內半徑為r的所有點。把圓周上的各點處的累加器的值加1，并記下該圓的圓心所在位置。

④將各點的累加器值進行比較，最終要找的圓心點即為累加器值最大的點。確定到圓心位置后，可將防塵蓋圓環分割出來。

2.2 神經網絡識別模型確立

圖像前期處理完成后就要對圖像進行識別，本文采用人工神經網絡進行模式識別，且采用進行圖像特征提取的間接識別方法。

2.2.1 特征提取

零件缺陷檢測中，是否能夠選取合適的特征描述，其將直接影響到正確識別率的高低。較強的通用性、較高的精度、較快的提取速度快的一組量是一個好的特征描述所具有的基本特點。在實際應用中，常常從已有各種特征描述中，找到最佳的目標特征描述組合。而提取圖像的特征量時，應當選擇一個在目標發生傾斜、大小、位置變化的時候，仍能夠保持不變的特征量。為了更好地提高識別的正確率，本文選用矩不變量對圖像特征量進行提取。矩不變量特征是模式識別中常用的一種特征描述。對于圖像f(x,y)，其二維(p+q)階幾何矩為如下黎曼積分形式：

(9)

其中：p,q=0，1，2，...，根據唯一性定理，當所有各階矩均存在時，矩序列{mp,q}唯一地被f(x,y)確定；{mp,q}也唯一確定了f(x,y)。為了得到位置不變性，引入中心距，其定義為：

(10)

(11)

用ηpq表示的7個具有平移、尺寸和旋轉不變性的矩不變量為：

I1=η20+η02

(12)

(13)

I3=(η30-3η12)2+(3η21-η03)2

(14)

I4=(η30+η12)2+(η21+η03)2

(15)

I5=(η30-3η12)(η30+η12)

[(η30-η12)2-3(η21+η03)2]+

(3η21-η03)(η21+η03)

[3(η30+η21)2-(η21+η30)2]

(16)

I6=(η20+η02)

[(η30+η12)2-(η21+η03)2]+

4η11(η30+η12)(η21+η03)

(17)

I7=(3η12-η30)(η30+η12)

[(η30+η12)2-3(η21+η03)2]+

(3η21-η03)(η21+η03)

[3(η30+η12)2-(η21+η30)2]

(18)

Maitra根據這7個不變量，定義如下6個不變量對目標分類。

(19)

在對圖像中的目標進行特征提取時，本文選擇采用以這6個不變量為基礎而構成的 5個組合矩不變量：

(20)

由于圖像所具有的組合矩不變的特征，本文利用此原理，進行圖像的模式識別。

2.2.2 圖片特征庫建立

本文選用35幅拍攝的微小軸承圖片，其中20幅合格和15幅不合格，對它們進行1～35編號，1～5、11～25為合格的軸承圖片，6～10、26～35為不合格的軸承圖片。圖片經預處理后分別計算式(20)所示的組合矩不變量(M1,M2,M3,M4,M5)，作為人工神經網絡理論的圖片特征庫。

2.2.3 構建神經網絡識別模型

按照人工神經元連接方式上的不同，人工神經網絡可以劃分為4個大類，即前向、反饋、相互結合和混合型的這幾個網絡。其中，前向網絡是比較經典的一種神經網絡，前向網絡的突出特點是前后兩層之間的神經元之間相互連接，每層內部的神經元相互之間不連接。而反饋網絡增加了從輸出層到輸入層之間的反饋。對于相互結合型網絡，其每個神經元都能夠實現雙向的連接，并且各個神經元在進行信息處理的同時，還常常伴隨著各個神經元之間的內在相互作用。混合型網絡的連接方式是介于前向和相互結合型網絡之間的。由于神經網絡具有高速并行處理能力、良好的容錯能力、自學習能力及較強的分類能力等特點，所以在識別階段，對于圖像的識別來說，本文采用神經網絡分類器是非常有效的手段。

BP網絡是多層前向網絡，本文使用人工BP神經網絡作為分類器對已經提取的特征進行分析和識別歸類。其工作方式為：首先是訓練方式，這種工作狀態下要采用一定數量的樣本圖像對模型進行訓練，還要在訓練前給出各個樣本的所對應的分類，一直到模型能夠對所有樣本進行正確的識別為止；然后是識別方式，種工作狀態下直接把待識別的圖像輸入到模型，通過模型計算并與訓練特征庫對比后，輸出識別結果。識別系統模型如圖2。

圖2 神經網絡圖像識別系統模型

本文采用三層BP 神經網絡模型，網絡結構分為輸入層、隱含層和輸出層。輸入層節點、隱層、輸出層節點分別取5，6，1，隱層、輸出層傳遞函數分別取多個S型函數(logsig)的疊加、線性函數(purelin)。隱含層激勵為多個S型函數的疊加，相鄰函數間有著不同的間隔，因而一個隱層神經元能表示的量級和狀態增多，網絡模糊性增加，網絡模式識別的準確率將會得到提高。

2.2.4 BP神經模型網絡訓練

由于BP算法存在諸多缺點，BP算法的改進就成為了必需。本文的模式識別檢測模型采用改進的BP算法——LM算法進行網絡的訓練。

采用LM訓練算法，不需要計算Hessian陣，它可以用下面的矩陣來替代：

H=JTJ

(21)

其梯度為：

g=JTe

(22)

其中:J是雅克比矩陣。e是誤差向量。則：

xk+1=xk-[JTJ+μI]-1JTe

(23)

迭代時，若訓練成功，就使μ的值減小；反之，就使μ的值增加，以便使誤差函數最終會減小到合適的值。本文所建立的微小軸承表面缺陷檢測模型的訓練流程圖如圖3所示。

圖3 網絡訓練流程圖

3 實驗實現及分析

本文所采集到的原始圖像其中之一如圖4所示，實驗時，采用MATLAB做仿真實驗，對其進行邊緣檢測的效果及提取到的目標圖像效果如圖5所示。

圖4 邊緣檢測效果 圖5 目標圖像效果

為驗證算法有效性，在實驗的模式識別階段，本文首先對神經網絡進行訓練以得到合適的權值，采用的訓練樣本由圖片特征庫中的前10個構成，并把的合格和不合格的訓練樣本交叉輸入，且令合格樣本的期望輸出為1，不合格樣品的期望輸出為0。將合格和合格樣品交叉輸入有利于網絡的學習和記憶，因為BP網絡具有學習新知識遺忘舊知識的缺點。之所以選擇10幅圖片作為樣本輸入，是因為網絡訓練樣本過少，會使網絡訓練不完全，樣本過多會造成過度學習，反而也不利于網絡的學習和收斂。經過8次網絡訓練后，可達到設定的訓練誤差10的負7次方，訓練誤差實驗曲線如圖6所示。

圖6 訓練誤差曲線圖

然后，再將驗證樣本經預處理、特征提取后送入到網絡中識別，并得出識別結果。選取圖片特征庫中編號11～35的圖片作為模型的驗證樣本，把合格品的相對誤差范圍設定為12%，其余全部計為不合格(包括判別不出的全記為不合格)。部分樣本的實際輸出如表2、3所示。

表2 誤差驗證表及誤差結果(部分數據)

表3 對應編號圖片的與誤差輸出(部分數據)

實驗結果統計顯示，樣本中25個微小軸承圖片中，原本總共15個合格的有2 個被判別為不合格；原本10個不合格的全部判別為不合格。其統計表見表4。

表4 驗證樣本情況統計表

樣本總數25合格數15不合格數10被判為合格被判為不合格被判為合格被判為不合格132010

由表4可以得出，模型的正確識別率為92%，充分說明本微小軸承表面缺陷神經網路檢測模型具有較高的正確率，其可靠性和安全性較好。

4 結論

本文針對微小軸承的表面結構、尺寸、檢測精度和缺陷特征，并結合實際實驗條件，構建了用于檢測識別微小軸承表面缺陷的人工神經網絡模型，選擇了適用于本文模型的預處理方法對所采集圖片進行處理，利用 Hough 變換以及Roberts算子提取了圖片中的軸承防塵蓋部分；以組合矩不變量為依據，判斷軸承是否存在缺陷；利用MATLAB軟件做仿真實驗，結果表明其用于實際檢測的可靠性。并用多幅微小軸承圖片驗證了模型的準確性，得到了較好的檢測效果，證實了本文采用的BP神經網絡模型用于軸承表面缺陷識別的合理性。

[1] 高津京.計算機測量與控制[J].計算機測量與控制，2002，10(9)：570-572.

[2] 張光建,申時全.基于Windows的計算機測量與控制軟件設計[J].貴州大學學報:自然科學版, 2003, 20(4):411-413.

[3] Ran Qifang. Brief intro duction of nondestructive testing techniques and their characteristics [J]. NDT, 1999, 21 (2):75-80. (in Chinese)

[4] Wang H Y, He P, Zhang X D. Study of noninvasive examining based on ultrasonic[J].Instrumentation Technology, 2013, 3: 29-34. (in Chinese)

[5] Lin F B. The research and development of evolutions eddy current testing technology [ J ] . Nondestructive Test, 2012 ,36 (5): 11-14. (in Chinese)

[6] Lu B C, Li J W. Automatic flaw recognition method of fluorescent magnetic detection [J]. Journal of Nanjing University of Science and Technology, 2010, 34(6): 805-808.

[7] Jia H B, Murphey Y L, Shi J J. An intelligent real time vision system for surface defect detection[A].Proceedings of the 17th International Conference on Pattern Recognition[C]. 2004: 239-242.

[8] Peng X Q, Chen Y P, Yu W Y. An online defects inspection method for float glass fabrication based on machine vision [J]. International Journal of Advanced Manufacturing Technology, 2008, 39(11): 1180-1189.

[9] Bu X Z, Li G J, Yang B, et al. Fast unwrapping of panoramic annular image with center deviation [J]. Optics and Precision Engineering, 2012, 20(9): 2103-2109.

[10] Hao H X. The application of machine vision on the identification and detection of parts [D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2008.

[11] 何 斌,等．Visual C++數字圖像處理(第二版)[M]．北京:人民郵電出版社，2002.

[12] 龔聲蓉，劉純平，王 強．數字圖像處理與分析[M].北京:清華大學出版社，2006.

ComputerVisionRecognitionSystemforComponentDefectBasedonNeuralNetwork

Li He

(Shenyang Institute of Technology, Fushun 113122,Chian)

Small bearings, axles, and etc are important components for machines,vehicles, engines and etc. In order to improve the detection efficiency and detection accuracy of its surface defects, Taking small bearing surface as the object of study, and putting forward the method to realize real-time online automatic detection of bearing surface defects based on machine vision technology and designing the online automatic detection system of defective parts machine vision based on BP neural network. According to the micro bearings surface structure, size, accuracy and defect characteristics, using machine vision technology, preprocessing for the collected image, and constructing BP neural network detective model, extracting target area in the image by Hough transform and Roberts operator. Based on the combined-moment invariants, the defects of the bearings are judged, and thus the defects of the small bearings are detected in real time.The simulation results of MATLAB verify the reliability and effectiveness of ANN detection model.

defect detection; neural network; machine vision; combined-moment

2017-07-24；

2017-08-23。

李 鶴(1981-)，男，遼寧沈陽人，碩士，副教授，主要從事機器人控制，機器視覺算法方向的研究。

1671-4598(2017)11-0248-04

10.16526/j.cnki.11-4762/tp.2017.11.063

E926.3

A