基于機器視覺與深度學習的孔質量檢測

何 流，王志共，夏 飛，李炳伯

（1．江西昌河航空工業有限公司，江西 景德鎮 333002；2．海軍裝備部駐武漢地區軍事代表局駐南昌地區軍事代表室，江西 南昌 330000）

1 引言

20世紀90年代以來，飛機裝配領域，數字化、自動化的制孔技術得到了應用和推廣[1]。EI公司、KUKA系統公司及Aritex等公司已成功研發出機器人自動制孔設備，在波音和空客等飛機制造企業中發揮了重要作用。國內，北京航空航天大學、浙江大學、南京航空航天大學、西北工業大學、上海拓璞數控科技股份有限公司、大連四達高技術發展有限公司等也與主機廠開展了課題研究，北京神工科技有限公司研制的機器人智能制孔系統在主機廠成功得到應用和推廣，大大提升了制孔的質量和效率。

飛機裝配工藝要求在制完孔后需要對孔的質量進行檢驗，對部分不合格的孔要進行補救，對無法處理的不合格工件進行報廢處理，滿足質量要求才可以進行緊固件安裝。目前，孔質量檢驗采用的是傳統的人工檢驗方式，難以跟上自動化、數字化生產的節奏，主要表現在：

1）精度低：機器人制孔的孔徑精度高，傳統的人工測量已經難以滿足要求。人工用卡尺、塞規等進行測量，誤差大，且測量精度受人工操作影響較大。

2）效率低：人工對孔逐個進行測量，效率低，且需要一直占用工裝。因為孔的數量巨大，所以耗時長，在“制孔-檢驗”過程中所需時間占比高。為了保證產能，往往采用抽檢或目視，為裝配質量埋下了隱患。

3）難以將制孔和檢驗形成閉環，不適應質量信息管理和數字化裝配的要求。

所以，迫切需要研究和開發與機器人制孔相適應的高效率、高精度的智能化在線檢測手段，提升質量控制和管理水平。

飛機裝配孔質量檢驗時，工件一般保持在工裝上的夾持狀態，屬于原位測量，具有產品結構復雜、待測范圍廣、待測信息種類較多及測量精度要求高等特點。飛機裝配孔質量檢驗從技術原理上分類，主要有接觸式測量和非接觸式測量兩類。

接觸式測量主要采用的是探針測量方案[2,3]，如EI公司、KUKA系統公司及Aritex公司等，他們將測量模塊集成到機器人制孔/鉆鉚系統的末端執行器上。探針沿孔的軸線進給，可以在線檢測孔徑、窩深和工件厚度，其主要缺點是制孔和檢驗完全串行，效率低，切屑和潤滑油的堆積會影響測量精度，探頭磨損也會導致精度退化，也使得制孔末端執行器結構更加復雜，體積更加龐大，可達性降低。

非接觸式測量方面，EI公司研究采用激光輪廓儀掃描的方法來測量窩深[4]。但該方案測量精度有限，還不能進行孔徑測量，也尚未應用到產品中。國內的機器人制孔系統在線檢測技術目前應用較少，還以科研為主。非接觸式測量具有不改變被測對象狀態、測量效率高等優點，是測量的主要發展方向。機器視覺測量技術利用工業級相機采集目標圖像信號，經軟件處理數據信息，識別被測對象，輸出測量結果，是一類典型的非接觸式測量方法。視覺測量包括2D視覺測量、3D掃描測量等方法[5，6]，已廣泛應用于涂膠檢測、連接器測量、零件尺寸測量等領域。

機器視覺測量技術的研究與應用興起于國外，Marr D[7]提出計算機視覺理論后，視覺測量技術才得到真正意義上的發展，如今在制造業的廣泛應用已成大勢所趨。我國也出現諸多研究成果與應用實例，許楠楠[8]等利用最小二乘線性回歸邊緣檢測與線邊緣定位等方法，實現了對光學元件外徑的快速精準測量。畢運波[9]等通過牛頓法求解透視幾何原理修正計算模型并分析模型計算精度與窩深和物距間的關系，實現飛機裝配中的自動化視覺測量沉頭孔垂直度的視覺測量，測量誤差可達0.03°。

本文針對飛機裝配制孔的檢驗問題，提出了基于機器視覺的機器人測量方案，實現對孔邊距、孔間距和孔徑的自動化、高精度測量，試驗和應用驗證了系統的有效性。

2 需求分析

對機器人制孔系統的主要加工對象壁板類、翼面類工件而言，孔質量檢驗項目主要包括孔位（邊距和間距）、孔徑等。

2.1 孔位

典型的長桁上孔位示意如圖1所示，孔位包括孔邊距、間距s（或節距）和排距。其中，邊距包括孔中心距長桁上（下）邊沿的距離a和兩端孔中心距左（右）邊沿的距離b。

圖1 典型的長桁上孔位示意圖

機器人制孔系統的典型孔位誤差為±0.5mm，要求檢驗系統的測量精度為0.15mm。根據產品實際尺寸，設定孔間距和孔邊距測量的最大范圍為24mm。

2.2 孔徑

機器人制孔系統的典型孔徑精度為H9，按測量孔徑范圍φ3mm~φ6mm計量，對應公差范圍為0~0.030mm，要求檢驗系統的孔徑測量精度為0.01mm。

2.3 其他要求

以典型的壁板類工件為例，每個工件上機器人制孔1 000個?？紤]檢驗系統的節拍或效率，要求一次檢驗完成孔位和孔徑的測量，檢驗時間小于25min。

3 基于機器視覺測量的孔質量檢驗方案

在裝配生產線上，設置獨立的孔質量檢驗工位，機器人制孔完成的工件和工裝整體流轉到檢驗工位。這樣機器人制孔和檢驗可同步進行，不影響機器人制孔的節拍?？踪|量檢驗工位采用機器人帶測量末端執行器沿編程路徑對孔質量進行檢驗的總體方案。

為了滿足測量的范圍和精度，采用將孔位和孔徑分開檢驗的方案：

1）孔位。針對測量范圍大、精度要對相對低的特點，采用普通2D工業相機+鏡頭+光源的方案。

2）孔徑。針對測量精度要求高、范圍小的特點，采用普通2D工業相機+遠心鏡頭+光源的方案。

孔質量檢驗系統包括機器人、測量末端執行器和計算處理單元。其中，測量末端執行器及孔質量檢測系統如圖2所示，包括工業相機、遠心鏡頭、定焦鏡頭、光源和結構件等；計算處理單元包括控制箱和軟件（包括控制和通信模塊、檢測軟件模塊等）組成?？刂坪屯ㄐ跑浖糜诓杉鄼C的圖片數據，與其他設備進行數據交換等。檢測軟件模塊用于實現對二維數據的重構、預處理，被測對象特征的提取和測量等。

圖2 測量末端執行器及孔質量檢測系統

典型的檢測工藝流程為

1）檢測準備：將測量末端執行器安裝到機器人末端法蘭上，建立機器人工具坐標系和測量（工件）坐標系。

2）基于被檢驗工件（含工裝）的數模，機器人和工件的相位位姿，對機器人進行離線編程。

3）機器人帶著測量末端執行器按設定的路徑對孔質量依次進行檢測，同步顯示檢測結果。

4）生成孔質量檢測報告。

測量末端執行器視覺模塊的選型見表1。

表1 視覺模塊選型

孔徑測量：工業相機CH120-10GM搭配高放大倍率遠心鏡頭610052。CH120-10GM的像素尺寸為3.45μm，610052的放大倍率為0.75X，可以計算出圖像分辨率為3.45μm/0.75 =4.6μm。經算法處理后圖像精度可達3μm，單張圖像視野可達18.8mm×13.8mm。

孔位測量：工業相機CA050-10GM搭配MF1628M-8MP鏡頭，綜合算法，精度可達30μm，單張圖像視野可達48mm×40mm。

綜合考慮拍照效果和安裝空間要求，采用雙條光為兩個相機補光。

4 孔位和孔徑測量

4.1 測量原理

孔徑測量對精度要求非常高，而且實際制出的孔在微觀下不規則，測量性能會受到多種因素（如毛刺、缺陷及變形等）的影響。

本文算法采用內接圓，橢圓擬合和外接圓三種測量相結合的方式，如圖3所示，圖中黑白邊緣部分是一個典型的孔邊緣，三條線為三種測量方式分別得到的邊緣。其中紅線為內接圓算法，綠線為橢圓擬合算法，黃線為外接圓算法對應邊緣。

圖3 孔邊緣及三種算法的結果

本方法可以最大程度減小各類因素對孔徑測量的影響，極大提高算法精度。此外，本算法最大化的收集到了和孔徑有關的信息，對實際的不規則孔的孔徑測量有很大幫助。

采用與孔徑測量類似的方法獲得每個孔的圓心，并通過邊緣檢測獲得被測物體的邊緣。最終計算得出兩點間距離/點到線距離得到孔間距和孔邊距信息。

4.2 測量算法

1）預處理：高斯濾波，并根據需要使用二值化算法。

2）邊緣檢測：Canny邊緣檢測。

3）識別孔：先找出的所有邊緣中的閉合形狀，然后判斷這些形狀是否是待測孔。

找到每個形狀的中心（x，y）：

式中，n為形狀內點的個數，P為形狀內所有的點的集合。

計算形狀上每個點到中心的距離的集合d：

式中，C為形狀上所有點的集合。

計算點到中心距離集合的平均值mean和標準差std：

得到圓度結果

若圓度結果大于閾值，則可認為檢測到了孔。閾值越大，則越不規則的圓會被檢測到。

4）根據找到的孔的輪廓形狀，分別找出擬合圓的圓心和直徑Fx，Fy，Fd，最大內切圓的圓心和直徑Ix，Iy，Id和最小外接圓的圓心和直徑Zx，Zy，Zd。①擬合圓：將圓心和直徑作為變量，通過最小二乘法擬合出結果。②最大內切圓：遍歷輪廓內部的所有點，并計算這些點到輪廓的距離。內部距離輪廓最遠的點即為圓心，其對應的距離即為半徑，以此找出最大內切圓。③最小外接圓：找出輪廓上下左右邊緣的四個點并計算出其外接圓，如果輪廓中有點在這個外接圓外，則將輪廓中最遠的點引入并計算出其外接圓。不斷遍歷直到輪廓中所有點都在計算出的圓內，即得到了最小外接圓。

5）將以上結果儲存，并和待測孔的真實孔徑一起作為訓練集，使用深度學習網絡進行訓練，并得到權重參數模型w。

6）進行足夠多的訓練后，即可得出圓心和孔徑：

軟件開發使用Python+OpenCV的方式進行算法開發和調試。整套系統以Python為基礎架構，OpenCV構建核心算法，tkinter提供UI支持。兩組相機的數據采用同時傳輸、同時處理、同時計算、同時顯示結果的方式，以最高的效率完成測量任務。

5 試驗驗證

5.1 精度試驗及評估

定制專用檢具來對孔質量測量系統進行精度評估。檢具一共四件，每件基本形狀如圖4所示，每個孔的孔徑不一樣。

圖4 標準檢具示意圖

循環測量10次，計算孔位、孔徑和孔距的不確定度，以孔邊距為例進行說明?？孜患纯走吘?，包括上邊距、下邊距、左邊距、右邊距。如圖1，孔位置檢具上共有8個孔邊距，包括孔1的孔邊距3個（上、下、左），孔2的孔邊距2個（上、下），孔3的孔邊距3個（上、下、右）。

對孔邊距i（i=1，…，8），進行n次測量，測量值為所以孔邊距的最佳估計值：

采用A類評定方法，計算孔邊距的標準不確定度：

計算孔邊距的合并樣本標準偏差（4個標準件，對應8×4=32個獨立測量值）：

孔邊距測量結果最佳估計值的A類標準不確定度為

計算擴展不確定度：

式中，k=2。

式中，xi為孔間距（孔邊距）的“真值”。

評估結果：孔位共有32個樣本，孔徑共有12個樣本，孔距共有8個樣本，對應的不確定度和評估結論見表2。

5.2 機器人制孔的測量與評估

將孔質量檢驗系統應用到某直升機機器人制孔生產線上，對壁板件和平臺板等進行孔質量檢驗，輸出結果和傳統的游標卡尺、孔徑千分表（或塞規）測量方法進行對比。測量和評估結果見表2。結果表明：孔質量檢驗系統測量數據準確，效率高。

表2 測量和評估結果

（續）

6 結論

基于機器視覺和深度學習的測量方法可實現對孔位和孔徑的高精度測量?；谠摷夹g開發的孔質量檢驗系統，具有測量精度高、效率高、智能化程度高和可拓展性強等特點，滿足機器人制孔的非接觸式檢驗要求，具有良好的推廣應用前景。