基于機器視覺自動化裝配系統研究＊

黃 波 趙 飛 王 佳 何慶中 王宇峰

（四川輕化工大學機械工程學院，四川 宜賓 644000）

隨著自動化行業的不斷發展，人力成本不斷上升，勞動力短缺現象日益嚴重，在社會生產的各個領域，工業機器人都顯示出強大的功能。裝配作為生產制造過程中最后一個極其重要的環節，具有可重復、占時比大等特點。工業機器人在裝配中具有高速度、高精度、小型化等優勢，采用機器人裝配可解決企業生產制造人員流動帶來的影響，并可以提高企業產品質量一致性、擴大產能、減少材料浪費和增加產出率，同時對于推動工業產業升級，提高市場競爭力具有重要作用。但是目前普遍使用的工業機器人裝配大都存在自動化、智能化程度低，柔性差，高精度裝配達不到要求的缺點。對此，利用機器視覺技術、機器人技術、數字圖像處理以及自動化控制技術等集成，實現目標的自動化裝配過程[1-2]。

1 自動化裝配系統總體方案設計

此設計裝配對象為YB100摩托車用轉子式機油泵，其尺寸為 64 mm × 8 mm，由泵體、內轉子、外轉子、泵蓋和驅動軸等組成，結構緊湊，體積小，在內燃機上運用越來越多，如圖1所示。

圖1 YB100 機油泵主要結構組成

YB100機油泵的裝配流程與要求為：（1）銷軸插入泵體，壓入內轉子，讓軸與內轉子能夠流暢配合，與此同時內轉子與銷軸在配合時軸的扭矩和內轉子的扭矩要一致，且零件裝配角度偏差 ≤ 0.2°。（2）壓入外轉子，由于外轉子與內轉子是偏心設計，需要一定的角度裝配才能嚙合，最后安裝泵體蓋，擰緊3個M5固定螺栓，其扭緊力矩在3～5 N·m。

根據裝配流程與要求，設計裝配平臺。此次設計平臺由1臺四自由度SCARA機械手，2臺三自由度機械手，1臺二自由度機械手，1個旋轉平臺以及CCD相機組成，全自動裝配流程如圖2所示。

圖2 裝配流程圖

首先四軸機械手抓取目標零件，上料至旋轉平臺，傳感器檢測，工業相機拍攝圖像，經過機器視覺系統識別處理，將零件的角度偏差值與旋轉平臺反饋處理，進行修正，再將裝配位姿角度達到理想狀態后進行抓取裝配[3]。

1.1 機械結構設計

基于以上裝配流程以及工藝要求，采用Solid Works軟件對自動裝配平臺進行三維建模，并對裝配虛擬仿真，以及設計結構對裝配流程合理性分析[4]。如圖3所示。

圖3 自動裝配平臺設計方案

其中包括四自由度SCARA機械手（AR4215），三自由度機械手（松下A5），二自由度機械手（松下A5），邁德威視MV-GED500C-T工業相機，旋轉平臺1臺，歐姆龍可編程控制器CJ2M1臺、3臺4軸運動控制模塊CJ1W-NC413等。

1.2 視覺系統設計

視覺系統是整個系統的核心部分，在確保目標零件能夠滿足要求的情況下，選用Eye-to-Hand系統，將工業相機固定于工作臺上[5]。自動化裝配中視覺系統主要可分為3個主要部分：（1）工業相機與相機部分，主要負責目標零件的圖像采集。（2）PC端與機器視覺軟件模塊，負責對采集的圖像進行處理分析。（3）旋轉平臺以及二軸機械手修正模塊，負責對零件姿態角度偏差進行修正[6]。相機系統如圖4所示。

圖4 視覺系統

在采集圖像過程中，會出現拍攝零件出現畸變現象，視覺系統首先應完成相機標定，根據標定要求與便捷，采用Halcon軟件對相機進行標定，利用Halcon軟件庫里的算子gen_caltab生成標定圖。再將相機初始參數輸入Halcon標定助手中，通過加載標定板（15～30幅），生成內參數據[7]。具體標定流程如圖5所示。

圖5 相機標定流程

得出內參數據如表1所示。

表1 相機標定內參數據

1.3 控制系統設計

整個控制系統中，主要通過歐姆龍CJ2M型號PLC控制自動化裝配平臺，其中SCARA機器人自帶輸出輸入口進行開關量的輸出與輸入，機器視覺系統將采集后的圖像傳輸至PC端進行特征提取，再通過RS232串口將處理后信息發給PLC，最后PLC進行各部分機構動作控制。控制系統框架圖如圖6所示。整個軟件控制系統可以分為表示層、功能層、控制層與遠程服務層。各層之間相互聯系，在RS232等串口連接下共同控制自動化裝配平臺[8]。

圖6 系統軟件架構圖

完整且成熟的控制系統應該具有的功能為：（1）標定工業相機內參/外參。（2）實時對目標零件圖像進行顯示與采集。（3）對采集的圖像進行高效、精準的識別以及圖像增強等預處理。（4）數據處理，能夠在識別到的圖像中進行有效信息提取與顯示。（5）能夠對圖像具有的特征進行選擇與分類處理。（6）保存采集所得到的參數等，通過通訊要求與上位機/PLC進行實時通訊。（7）實現人機交互，通過人機交互界面，能夠在PC端對整個自動化裝配平臺進行操作與監控[9-10]。

2 裝配平臺實物搭建與實驗分析

2.1 實物搭建

在三維建模的虛擬驗證下，整個設計平臺能夠完成裝配工序，其主要可以分為SCARA關節機器人系統、直角坐標系機器人系統、視覺處理系統與上位機控制系統，實物圖如圖7所示。

圖7 裝配平臺

2.2 軟件界面設計與圖像采集

根據裝配要求與各模塊化功能要求，利用Visual Studio與Halcon聯合編譯[11]，設計出可進行人機交互的軟件界面，如圖8所示。該界面簡潔，功能齊全，具有相機操作功能，例如打開相機、關閉相機等；具有觀測窗口，能實時對裝配進行查看與監測；PLC通訊參數配置齊全，能夠選擇運行狀態與通訊狀態設置；可對模板進行選擇設置與生成。對于圖像采集，使用以Halcon視覺庫為基礎的圖像采集，運用廠家提供的SDK開發包進行實時圖像采集，采集的圖像如圖9所示。此方式具有面向面更廣，能夠更好地進行二次開發，功能多，便捷等特點。

圖8 人機交互界面

圖9 圖像采集圖片

2.3 自動化裝配平臺裝配流程

在自動化裝配系統中，根據裝配要求，YB100型機油泵零件裝配順序依次為：泵體、銷軸、內轉子、外轉子、蓋板和螺栓。運動路徑圖如圖10所示。

圖10 自動化裝配運動路徑圖

通過示教器AR語言編寫SCARA機械手運動控制程序，按照一定的速度與角度從A點移動到B點對輸送帶上C點的目標零件進行抓取，SCARA機械手末端裝有夾爪氣缸，實現氣動抓取。抓取完成后，旋轉機械手至位置D，將零件放置等待好的旋轉工作臺上，二軸機械手直線移動工作臺至F點，傳感器檢測到目標已達預定地點，工業相機進行圖像采集，采集到的圖像經過傳輸到PC端，通過采集圖像與預設定模板圖像比對，根據幾何中心點得出定位偏差與姿態角度偏差，再將信息傳輸至PLC進行運動控制，控制二軸機械手與旋轉平臺進行位置與角度的修正。修正完成再次進行采集，二次采集，進一步對零件位姿進行反饋。在“合格”后，二軸機械手運動至G點，線性機械手配合夾爪氣缸對零件進行夾取，放置于K點，這就完成了一次零件裝配，按照裝配順序，依次對泵體、銷軸等進行裝配，直至整個裝配完成。圖11為零件上料抓取圖，圖12為零件抓取到旋轉平臺。

圖11 零件上料圖

圖12 抓取至旋轉平臺

完成上料工序后，通過二軸機械手將旋轉平臺移動至采集位置，按照預設置的拍攝頻率進行圖像采集。采集的圖像經過Halcon軟件庫內部的高斯混合模型等算法進行零件特征分類。其中，高斯混合模型算法是由K個單高斯模型子分部組合的混合分部。當樣本數據X是一維數據時，樣本數據高斯分部的概率密度函數分部可表示為

其中： μ為樣本數據的均值， σ為樣本數據的標準差。

當數據為多維度時，高斯分布可以表示為

其中：D表示樣本數據維度，為協方差。

由于單個高斯模型只能解決線性問題，當遇到線性不可分問題時，可引入高斯混合模型解決非線性問題。而在高斯混合模型中，定義的K個子模型是混合模型的隱變量，以便適用于任何概率分布問題的求解。

高斯混合模型可以表示為

混合模型的概率分布是由K個高斯子模型分布的組合，且每個高斯子模型分布都對應有各自的均值、方差以及權重。為了保證概率密度的合理性，高斯子模型分布的權重和必須為1。

選用HALCON軟件中的圖像處理高斯混合模型分類器函數對圖像零件進行分類。創建分類器→獲取各個特征的特征向量→將訓練樣本的特征向量添加到分類器中→訓練分類器。進行分類時，計算采集圖像的特征向量，通過分類器計算出特征向量的類，從而完成圖像分類工作。

采用基于灰度的NCC模板匹配對零件的位姿定位，NCC是一種基于統計學計算兩組樣本數據相關性算法，利用覆蓋的區域子圖灰度與模板圖的灰度相比較，通過歸一化相關度量公式計算二者間的匹配程度，取值范圍為[-1,1]。數字圖像可以等效成一個矩陣，對圖像的處理也就是對矩陣的處理。在進行圖像匹配時如果模板圖像中有一個子集和模板數據非常相似，此時匹配算法得到的NCC值會非常接近 1，代表此時匹配的相關性很高。相反，如果匹配的NCC值接近-1則代表完全不相關。對數字圖像進行NCC模板匹配識別算法的首先就是要對數據進行歸一化處理，歸一化數學公式為

式中：f表示像素點P的灰度值； μ表示窗口內所有像素平均值； σ表示標準方差。

假設t(x,y)表示模板像素值，則完整的NCC公式為

式中：n表示模板的像素總數；n-1表示自由度。

在進行實際的模板匹配時，將模板在目標圖像上下、左右移動。每次模板移動1個像素后就計算1次窗口內像素與模板的NCC值，將計算出的值與設定的閾值作比較，篩選出大于閾值的圖像。得到匹配后的位置信息、角度范圍等信息后，建立仿射變換矩陣以及旋轉矩陣，將模板骨架通過仿射變換顯示在圖像中。由于模板匹配可以快速的進行定位，且精度較高。因此，選用NCC模板匹配的方法來實現目標零件位姿的定位[12]。

最后與事先訓練庫里的零件模板位姿進行匹配，得出零件的位置和角度偏差，進行匹配。圖13為零件采集圖。

圖13 零件采集圖

位姿調整完成后，將旋轉平臺移動至抓取點進行抓取，最后將零件裝配至預設工位后，準備下一個零件的抓取，如圖14所示。

圖14 零件抓取

2.4 自動裝配實驗驗證與測試

由于設備精度、圖像處理方式等影響，裝配重復定位會存在一定誤差，這會導致裝配不穩定，甚至會造成裝配失敗。因此需要對采集圖像的位置坐標進行重復誤差分析。誤差分析過程以SCARA機械手自帶的示教器中的坐標為標準，選用外轉子為對象，通過SCARA機械手抓取零件至圖像采集點進行采集，通過圖像處理后，讀取零件起始中心位置坐標和采集圖像處坐標。

根據多組重復實驗數據，可按照式（6）計算上述重復性實驗標準差[13]。

式中：Pi為第i次測試的數據；u(p)為重復性測試誤差。

在同一個零件上重復自動測試位置坐標10次，分別讀取該零件的不同次數測量的位置坐標，分析得到外轉子零件的重復定位誤差，如表2所示。

表2 外轉子零件的重復性實驗

根據式（6）與表2可以計算出：u(p)X1= 0.014 mm；u(p)Y1= 0.010 mm；u(p)X2= 0.012 mm；u(p)Y2=0.013 mm。根據重復性測試誤差計算可得出，自動化裝配的重復定位精度0.02 mm，滿足裝配精度要求。

判斷一臺設備是否可用于工廠運用，效率是一個很重要的指標，此自動化裝配需要對定位時間進行統計，其中的定位時間包括圖像采集和圖像處理，當視覺采集硬件確定后，主要時間消耗取決于視覺算法，分類算法以及匹配時間都會影響零件裝配效率[14-15]。測試定位時間選用YB100中的4個零件分別進行10次拍攝，從拍攝到零件定位（位置、角度）結束所用的時間，采用最小均方根平方分析法，得出每種測試零件的定位時間，如表3所示。

表3 測試零件定位時間

3 結語

本文圍繞基于機器視覺機油泵自動裝配系統展開研究，以YB100型機油泵為研究對象，針對目前存在的傳統人工裝配存在的裝配效率低，勞動強度大以及半自動化裝配存在柔性低等問題，設計全自動化裝配。本次設計利用現有的成熟技術，采用創新的方式，將視覺與控制相結合，提高了自動化與智能化。經過實驗分析可得，通過對兩個點的10次重復定位，自動化裝配的重復定位精度為0.02 mm，且根據測試4種不同零件定位時間可得出各個零件在500 ms以內，滿足機油泵自動化裝配在精度與效率上的要求。