基于機器視覺微小螺紋孔缺陷智能檢測技術的研究＊

林 杰 宣寒玉 宋學勇 趙 敏

（①蘇州凌云視界智能設備有限責任公司，江蘇 蘇州 215000；②蘇州電加工機床研究所有限公司，江蘇 蘇州 215000）

隨著強國戰略的實施，工業產品智能制造技術的不斷地升級，尤其3C電子行業如手機、電腦和智能穿戴發展迅猛，消費者不僅對產品功能有較高的個性化要求，對產品的品質質量也有更高的要求。其中，3C產品不同零件之間的連接和緊固不可缺少，但由于螺絲緊固的問題導致整個產品失效的情況時有發生[1-3]。因此，3C產品制造商對微小結構件的螺紋孔的工藝參數有嚴格的管控要求，對于高端的3C產品要做到對微小螺紋孔進行全檢，通常一部手機有30個以上的微小螺紋孔，其基本尺寸在直徑0.8～2 mm，傳統的工人對微小螺孔質量檢測通過人的眼睛觀察，工作量相當大，生產成本相對較高，而且誤檢率和漏檢率都比較高。

近年來，眾多視覺檢測企業和學者對相關的技術進行了很多的嘗試，但是對于φ≤1 mm的螺紋孔采取傳統的視覺檢測技術,不能獲取好的圖片質量，使微小螺孔內部爛牙、殘砂、異物及殘膠等缺陷無法發現，無法對其進行有效檢測。

針對結構件微小螺孔內部的質量檢測需求擬通過對機器視覺檢測技術的研究，開發設計一種基于機器視覺微小螺紋孔缺陷檢測技術方法，并通過實驗去驗證其技術的先進性和實用性，為技術的實用應用奠定好基礎[4-5]。

1 系統需求分析

下面以手機框中微小螺紋孔質量缺陷檢測為例（圖1所示），探討其微小螺紋孔缺陷智能檢測技術方法。

圖1 手機中框零件螺孔示意圖

手機中框的零件當中有14個螺紋孔，有正面的孔如RR1、UA8，也有側邊的孔如UA2、UA5，有些孔是通孔如LR3、LR6，有些孔是錐型孔如LA4，螺紋孔的尺寸直徑0.8～2 mm，根據當前日常人工檢測螺紋孔的歷史數據，螺紋孔的主要不良來自孔的側面和底部；各類缺陷主要在生產制造過程當中產生，常見的質量問題有殘膠、灰塵、殘砂、爛牙及異物，如圖2所示。

圖2 零件當中螺孔缺陷示意圖

基于不同缺陷對于后續工藝的影響，制定了不同檢出率設計要求，其中重要的缺陷爛牙和異物要求100%的檢出，其他的缺陷檢出率90%以上；缺陷的尺寸≤0.02 mm, 真值對比≤0.01 mm。

2 總體系統設計

2.1 系統總體結構

手機結構件螺紋孔缺陷檢測系統主要包括機械結構、電氣運動控制系統、光學圖像采集系統、軟件系統以及圖像算法五大部分組成，基本框架如圖3所示。整體系統檢測的孔位和檢測的內容比較多，因此采用的多工位轉盤設計，通過PLC邏輯控制器來實現伺服運動控制，DD馬達實現8個工位的高精度轉動，通過以太網來對相機進行觸發，圖像采集卡采集相關圖片數據，最終實現全流程的檢測和控制。

圖3 視覺系統的整體架構設計方案

2.2 硬件系統設計

首先通過CCD和光源系統，對各個螺紋孔進行拍照和取相，取得清晰的圖像是最關鍵的步驟，為了滿足微小螺紋孔對整個螺紋整圈檢測需要，創新設計了4相機組合配合棱鏡折射的多目機械視覺微小螺紋孔系統化解決方案，如圖4所示。

圖4 多目機械視覺微小螺紋孔檢測方案

按照手機的螺孔的最大尺寸M2，缺陷最小尺寸規格 0.02 mm×0.02 mm，作為光學成像系統初始設計需求，基本設計思路如下。

（1）確定相機規格

根據采樣定理，物方空間的缺陷尺寸至少在像方空間對應2個CCD像素才能保證基本采樣有效。考慮到設備的機械振動、物料的尺寸公差導致欠采樣，軟件可靠處理至少需要像方空間3個CCD像素來表現物方空間的缺陷。因此，首先確定物方空間分辨率即像素當量為：

相機的分辨率由視野要求確定，這里視野要求參考螺孔最大尺寸設計。按照M2螺孔的外徑2 mm計算。相機理論上最小分辨率要求，Resolution X=Resolution Y=2/0.006 7=298 pixel。實際設備使用中，會存在機械上料偏差、物料尺寸公差，此外還可能存在相機斜視導致的視野壓縮。因此要求視野設計保持3倍以上余量。相機實際工程設計最小分辨率為，Resolution min=298×3=894 pixel。

參照上述相機分辨率要求，選取1.3M工業彩色相機LYS-GE13-30C，分辨率為1 280×960，像元尺寸為 0.003 75 mm。相機的最小分辨率邊 960 pixel，大于計算最小要求值894 pixel，成像視野為8.58 mm×6.43 mm，滿足設計要求。

（2）確定鏡頭規格

鏡頭規格主要由放大倍率、焦距以及匹配相機決定。本案設計放大倍率計算如下：

鏡頭工作距離要求受制于結構設計空間。本案結構空間要求鏡頭工作距離在100～150 mm之間。按照距離均值125 mm計算鏡頭焦距，可得

式中：L為鏡頭工作距離，M為鏡頭放大率。計算結果為44.9 mm，實際工業長焦鏡頭焦距都為整數，因此鏡頭焦距取整定為50 mm。

方案采用的相機CCD芯片為1/3''，機械接口為C口，因此鏡頭規格參照該規格匹配選型。結合放大倍率和焦距，鏡頭最終選取50 mm焦距工業微距鏡頭LYL-ML50F-10MP。主要規格參數為C接口，最大支持 1.1'' CCD 芯片，在 0.56×下工作距離 110 mm，滿足設計要求。

（3）確定光源規格

螺孔為圓桶形金屬件，螺牙以螺旋線的形式分布在桶壁上。從觀察目標形狀分析，目標為較為規則的內凹圓柱曲面特征。照明分析可按照高反內圓曲面進行。因此，光源對應該曲面形狀，選取環形光源，盡可能保證內圓曲面上的照明均勻性。通過實物實驗分析及小批量驗證，最終選取白色環形光源RBP-IR-4000-W。

（4）工程化集成設計

首先，根據螺孔的圓桶形狀特點，鏡頭光軸必須和螺紋孔側壁成傾斜夾角，才能采集到螺孔側壁螺牙圖像。為了能更好地對微小螺紋孔缺陷進行全方位檢測，設計了4個相機鏡頭系統，每個相機鏡頭系統負責螺孔90°圓周的圖像采集，四相機同時一次成像完成圖像采集。

考慮到相機鏡頭傾斜布置，相比于相機鏡頭垂直布置，會帶來成像系統XY方向空間尺寸的增加。4個相機如采用分立布置，螺紋孔檢測時相機既要調整高度，又要調整角度，調整變量太多很難保證調整精度。設計引入反射棱鏡系統，將相機鏡頭的姿態從和水平傾斜布置改為和水平面垂直布置，減小了成像系統的體積。同時，棱鏡系統作為精密光學裝置，所有棱鏡都固定在同一個高精度的機械安裝件上，棱鏡之間的位置和角度都是能精確保證，可以作為調整的基準面，相機鏡頭系統在裝調時，只做高度調整即可。本案設計，最終采用的反射棱鏡規格為 15 mm×15 mm ×15 mm。光學成像系統最終工程化設計結果如圖5所示。

圖5 微小螺紋孔光學圖像采集系統設計

2.3 螺孔檢測軟件與算法設計

2.3.1 螺紋孔小徑測量算法

螺紋孔徑小、長比大，孔徑邊緣由于加工工藝的問題有噪聲干擾；為了保證檢測精度，測量算法使用激光測量提取邊緣點，并進行異常點的剔除，最后用圓形擬合工具得到孔徑的尺寸[6-8]。

圓形擬合工具采取基于代數距離的圓擬合方法,圓形擬合原理如下：通常情況下，用一般方程來描述圓

對于給定擬合數據點 (xi,yi)，i=1,2,···,n(n＞ 2)，基于代數距離的圓擬合的誤差函數可以表示為

根據非線性最小均方優化，目標函數F(A,B,C)的最小二乘解必然滿足條件為

根據式（2）采用SVD分解可以確定參數A、B、C[9-12]。

參與擬合的邊緣點可能存在干擾，設計了一種自動剔除局外點的算法，圖6所示。

圖6 自動剔除局外點的算法

圓形擬合工具能夠快速構建出穩定擬合結果組合的幾何，然后從中篩選出RMS誤差最小的擬合曲線作為最終擬合結果，圖7為 φ1.6 mm微小螺紋孔測量剔除異常點測量效果。

圖7 微小螺紋孔測量剔除異常點測量效果

2.3.2 螺紋圈數檢測算法

螺紋圈數檢測算法主要采取圖8所示，該方案通過邊緣定位和聚類分析，可用在破損、干擾等情況下對的螺紋進行準確計數。

圖8 螺紋圈數檢測流程

（1）定位工具：邊緣定位技術以圖像邊緣信息為基礎，采用邊緣相關分數作為相似性度量指標，在實時圖像中搜索和參考圖像具有一致邊緣特征的位置，即匹配分數最高的位置。

定位工具訓練：從訓練圖像中提取模式的邊緣信息，選取若干個邊界點構成該模式的幾何描述。圖9a所示為訓練圖像，圖9b所示為訓練結果，即訓練模式的幾何描述。

圖9 基于邊緣相似度的邊緣定位

（2）聚類分析工具：對圖像中的2-D形狀進行檢測和分析，得到諸如目標位置、形狀、方向和目標間的拓撲關系等信息。根據這些信息可對目標進行識別。

分析工具的主要內容包括：圖像分割，將圖像中的目標和背景分離；去噪，消除或減弱噪聲對目標的干擾；場景描述，對目標之間的拓撲關系進行描述；特征量計算，計算目標的2-D形狀特征。聚類分析特征場景描述如圖10所示[13]。

圖10 聚類分析特征場景描述

應用聚類分析工具能夠得到每個螺紋的位置、長度和寬度等信息，通過對螺紋統計分析可以得到螺紋圈數。螺紋聚類分析實時檢測結果如下圖11所示。

圖11 螺紋聚類分析實時檢測結果

（3）螺紋孔缺陷檢測

螺紋孔底部和側面缺陷包括：殘膠、灰塵、殘砂、爛牙和異物等，缺陷形態各異，好壞品區分度不大，尤其是底部腐蝕與缺陷較難區分。螺孔底部與側面缺陷情況如圖12所示。底部腐蝕干擾，底部和側面合格品如圖13所示。

圖12 螺孔底部缺陷品與側面缺陷

圖13 底部腐蝕干擾，底部和側面合格品

針對傳統的檢測算法，誤漏檢指標較難保證。本文利用人工神經網絡和深度學習相結合的方法，通過批量訓練學習缺陷，應用訓練的模型進行缺陷的推理檢測，來提高微小螺紋檢測精準度和速度。

深度學習采用端到端的方式來解決問題，即直接將圖像特征提取與模式分類集合在一起，然后根據具體的模式分類目標損失函數從數據中自動地學習到有效的特征并實現模式分類。神經網絡可以通過數據規模方式的增加來提升運算性能，從而解決產品背景干擾大，產品表面復雜，成像特性復雜，缺陷對比度低等問題。基于深度學習的人工神經網絡算法和各節點結構如圖14、15所示[14-15]。

圖14 基于深度學習的人工神經網絡算法

由圖15可用看出，卷積神經網絡由可學習的參數組成，每一層也是進行一個線性運算和經過一個激活函數，參數的學習也是根據 BP 算法。基本上就是用共享權重在空間中進行擴展的標準神經網絡。卷積神經網絡主要是通過內部卷積來識別圖片，內部卷積可以看到圖像上識別對象的邊緣。卷積神經網絡通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預測更加容易。與人工規則構造特征的方法相比，利用大數據與人工神經網絡來學習特征，更能夠刻畫數據的豐富內在信息[16-17]。

圖15 深度神經網絡中各節點結構示意圖

卷積神經網絡結構基本構成：

①卷積層 (Conv)，特征提取。

②激活層 (Relu)，激活神經元。

③池化層 (Pool)，下采樣，減小參數規模。

④全連接層(FC)，分類器，將學習到的特征空間映射到樣本空間。

微小螺紋孔缺陷檢測深度學習，采用兩個網絡模型分別檢測底部缺陷和側面缺陷，基于深度學習的卷積人工神經網絡結構如圖16所示[18]。

圖16 基于深度學習的卷積人工神經網絡結構

2.4 系統測試結果

系統采用VS2019為開發集成環境，開發了包括螺孔孔徑、螺紋圈數、螺紋缺陷等相關功能，通過軟件不同部分與相關硬件之間的通信連接，在成像系統中得到相關清晰的圖片，再進行背景的剔除，通過對圖像的預處理，找到疑似區域，再進行精密的提取，對圖像結果ROI進行合并，得到如圖17所示相關的圖像和結果。

圖17 集成環境下的微小螺紋孔檢測圖像

為了進一步驗證檢測算法的有效性和可靠性，對實際超過1 000個生產的產品進行采樣，對于算法不斷的迭代，通過機器學習圖片分析，重點對于側面孔和底部孔的殘膠、灰塵、殘砂、爛牙和異物的缺陷進行了分類和分級評估，將成像的等級分為ABCD等級，缺陷檢測難度等級分為高中低三檔。最終的檢出率情況如表1所示，對于難度較高的灰塵檢出率達90%，而重點核心的缺陷爛牙和異物可以到達100%的檢出。

表1 深度人工神經網絡算法的微小螺紋缺陷檢出率

3 結語

本文通過對基于機器視覺微小螺紋孔缺陷智能檢測技術的研究，得出以下結論：

（1）針對微小螺紋孔（φ0.8 ～2 mm）的螺紋孔，創新設計了一種基于四目機械視覺結合反射棱鏡的微小螺紋孔圖像掃描的技術方法。再通過耦合技術實現四相機同時一次成像完成整個圖像采集工作。

（2）考慮到螺紋孔徑比大，孔徑邊緣加工工藝噪聲干擾問題，測量算法研究激光測量提取結合邊緣計算法對異常點進行剔除，再通過圓形擬合工具得到螺紋孔的精確尺寸。

（3）針對傳統的檢測算法，誤漏檢指標較難保證問題。利用人工神經網絡和深度學習相結合的方法，通過批量訓練學習缺陷，應用訓練的模型進行缺陷的推理檢測，通過現場實際測試結果可知，本測試系統的測試精度可達0.02 mm，對于核心的缺陷檢測率都在90%以上，為3C智能檢測行業的進一步發展提供了有效的解決方案，釋放了大量的重復工作的勞動力，為社會創造了較好的價值。