基于機器視覺的閥芯自動裝配系統

楊正華，朱健

(靖江市亞泰物流裝備有限公司，江蘇 靖江 214500)

0 引言

球閥是生產、生活中不可或缺的一種零件(圖1)，其應用廣、需求大，在國民經濟中占有舉足輕重的地位。閥芯裝配是球閥生產的后置工序，在球閥生產中占據重要的地位[1]。而目前國內制造業仍然以傳統的人工方式目視方法進行裝配，效率和精度低下，勞動強度大，無法滿足現代化智能制造的發展要求。為此研究高精度自動機器視覺裝配技術尤其必要。文獻[2]中基于Halcon系統標定構建了一套在線機器視覺的機器人本體裝配系統; 文獻[3]中提出一種基于機器視覺的增強現實盲區裝配方法，并采用unity3D和C/C++實現了其開發過程; 文獻[4]基于輕量化網絡，開發了酒瓶異物檢測算法。以上構建的機器視覺系統要么需要進行復雜的系統標定，要么需要進行繁重的文本格式代碼編寫; 還需要開發者在多種開發平臺之間來回轉換，因此如何提高機器視覺系統的開發效率，縮短開發周期成為現行裝配視覺系統開發者必須關注問題。

本文以LabVIEW和Vision Assistant為軟件平臺開發一套基于機器視覺的閥芯自動裝配系統，該系統通過CCD相機獲取零件圖像，使用Vision Assistant對帶有畸變的圖像加以修正，包括系統標定、采集圖像的預處理和標定以及模式匹配、邊緣檢測等操作。在系統上位機程序中，以LabVIEW調用Vision Assistant節點，得出零件的實際位置和角度信息，將這些信息通過以太網實時反饋給下位機，動態地改變機器人的抓取操作，從而提高裝配的柔性和效率。該系統結構簡單、穩定可靠、識別速度快，同時對環境要求不高，具有很好的應用前景。

圖1 球閥零件

1 問題分析及系統總體設計

球閥裝配涉及閥體、閥蓋、閥桿、閥芯以及密封圈等諸多零件，而其中閥芯零件裝配最為耗時、費力。這是由閥芯本身的結構特點所造成的，如果采用人工裝配，在裝配過程中工人注意力不夠集中，就很難將閥芯槽與閥桿末端扁榫準確配對，勢必會影響裝配的效率；而采用傳統裝配機器人裝配，如果閥芯零件出現稍微的位置偏移，不在預定位置上，機器人便不能準確抓取零件，同樣無法裝配成功。針對上述問題，本文提出一種基于視覺的自動裝配系統，該系統基本結構設計如圖2所示。整個系統可分為視覺系統、圖像處理系統和裝配系統3個主要部分。視覺系統通過固定在工作臺上方以及機器人末端的CCD相機獲得待裝配零件的圖像；圖像處理系統負責對采集的圖像進行處理、識別和定位，并將結果反饋給下位機；裝配系統根據處理結果，動態調整機械手抓取零件，完成自動裝配操作。其中圖像處理系統需完成對閥芯圖像的采集、處理、識別和定位等操作，是機器人完成柔性裝配的核心部分，本文的重點工作就是針對此部分展開的。

圖2 系統原理圖

2 閥芯圖像的采集、處理與分析

2.1 閥芯視覺系統標定

機器視覺系統識別物體的位置和角度等信息，需要先確定空間位置與圖像上像素的映射關系以及攝像機的內部和外部參數(即攝像機的標定)。傳統的標定方法很多，如Tsai兩步法、Weng迭代法、張正友雙平面法等，應用都比較廣泛，但實際的標定過程比較繁瑣，用標定的結果修正數據也不方便。而基于視覺開發模塊Vision Assistant的標定方法可以用優化的算法將復雜的標定信息與圖像信息結合，實現像素坐標到實際工件坐標的轉換，并將標定的結果與模式識別模板、無損文字疊加等信息一起保存為PNG文件，方便地應用到后續處理中[4]。

系統利用視覺模塊Vision Assistant的圖像處理功能來創建和編輯。運行相應的視覺算法，能方便快捷地對機器視覺系統進行標定。標定的過程可以分為幾步: 選取標定模板、標定模板的學習、標定信息的調用、坐標變換[5]。

1)本系統選取LabVIEW自帶的均勻分布的黑色圓形點陣模板，該模板中黑色圓點的半徑為2mm，相鄰圓點圓心間的距離為1cm，如圖3所示。

圖3 黑色圓點標定模板

2)在Vision Assistant模塊中進行模板學習。為了實現精確測量，要充分考慮非線性徑向畸變的影響，需選擇Distorition Model(Grid)模式，此模式在矯正非線性畸變的同時也對線性畸變進行矯正。學習的過程中，可以手動選定計算方法，包括帶有1個畸變系數、3個畸變系數加切向畸變等。這些方法能快捷地將畸變的圖像標定并且保存為PNG文件，無需經過大量的復雜數學計算，如圖4所示。同時設定視場模板最右下角的黑色圓點為圖像坐標系原點，向上為x軸，向左為y軸。最后將標定好的結果保存為PNG格式文件，以便后續調用。

圖4 Vision Assistant標定算法選擇

3)標定信息包含在之前存儲好的PNG格式文件中，用LabVIEW中的Vision Assistant節點可以進行調用。經過此節點后，零件圖像顯示并沒有發生變化，但其標定工作已完成，之后的測量可直接得出實際結果，其單位為模板學習過程中所設置的Unit。需要注意的是，標定時用的圖像和用于測量的圖像必須有相同的類型和分辨率，只要相機與工作平面的相對位置不變就不需要重復標定。

4)為了便于裝配工作簡潔、高效地運行，將裝配機器人工作的局部坐標系與步驟2)中標定的圖像坐標系設為一致。即需將零件放置在此模板區域內，同時在此區域內完成裝配動作。

2.2 閥芯圖像采集

在閥芯視覺自動裝配系統中，確定閥芯和閥芯槽的位置是整個裝配過程中最為關鍵的環節，為此須在實驗工作臺上方安裝一臺CCD相機來確定閥芯在標定坐標系中的坐標，同時在機器人末端安裝一臺同樣的相機，以識別、定位閥芯槽的位置。圖5所示為相機采集圖像的整個流程圖。

圖5 相機采集圖像的整個流程圖

2.3 閥芯圖像預處理

一般情況下，成像系統獲取的圖像(即原始圖像)由于受到各種條件限制和隨機干擾，往往不能在視覺系統中直接使用，必須在視覺的早期階段對原始圖像進行噪聲過濾、增強等圖像預處理[6]。

1)噪聲過濾。在進行圖像采集過程中，不可避免地受到各種干擾而混入隨機噪聲。為了減少識別誤差，需對圖像進行濾波處理。中值濾波是一種非線性濾波算法，能夠在濾除隨機噪聲的同時，很好地保持圖像的邊緣信息，適應性強[7]。對于二維中值濾波，濾波窗口可以定義為

(1)

式中{xij(i,j)∈I2}表示圖像各點的灰度值。

2)圖像增強是將圖像中感興趣的特征有選擇地突出，而不必逼近原圖像，在時域內主要方法為直方圖均衡[8]。若一幅數字圖像灰度等級為M，各像素灰度值為rk(k= 0,1,2,…,M- 1)，灰度值的概率估計pr(k)為

pr(k)=nk/n(k=0,1,…,M-1)

(2)

式中：nk為灰度值的像素點數；n為像素點總數。

直方圖均衡就要使其線性化，使含有像素多的幾個灰度級間隔被拉大，壓縮像素少的幾個灰度級，從而增大視覺接受的信息量，使圖像變得清晰。在Vision Assistant中通過調用Filters、Lookup Table等命令來對黑白圖像進行濾波、增強處理[9]，處理結果如圖6所示。

圖6 濾波、增強后圖像

2.4 閥芯的識別、定位處理

1)閥芯的初次定位

在試驗臺上方的攝像頭采集閥芯圖像過程中，系統利用Vision Assistant中的模式匹配來粗略定位閥芯的位置。模板匹配是指在檢測前定義一幅較小的標準模板圖像，然后將此模板與待檢圖像進行比較，由此可以確定在待檢圖像中是否存在與該模板相同或相似的區域，若該區域存在，還可確定其位置并提取該區域[10]。模板匹配原理如圖7所示，定義1個模板w(x,y)(K×L像素)，被檢測圖像f(x,y)(M×N像素)，其中K≤M,L≤N,模板w(x,y)在被檢測圖像f(x,y)上移動，采用絕對差值法來衡量w(x,y)和f(x,y)在點(i,j)之間的誤差，其計算式為

(3)

式中：i=0,1,…,M-1;j=0,1,…,N-1。

圖7 模板匹配原理圖

2)閥芯的二次定位

在閥芯的初次定位基本上給出了機械手所需的移動坐標，但對現場裝配工藝要求來說，其精度還不夠，因此需要二次定位，以求出機械手移動坐標的精確值。為此可在閥芯的粗略位置設定ROI區域，繼而以Vision Assistant的FinDGe來檢測閥芯口，并設定參數[11]?？梢缘玫介y芯口中心在標定坐標系中的精確坐標值F(xf，yf，z)，其中z為閥芯高的一半，為定值，處理后效果圖如圖8所示。

圖8 二次定位處理后效果圖

3)閥芯抓取位置的確定

在確定了閥芯在標定坐標系中的位置之后，將信息傳輸至機器人，控制機器人末端運動至圖9所示A(xa，ya，z，rx,ry,rz)點位置，其中xa、ya由xf、yf加上一段固定的距離所得，rx、ry、rz由機械手事先示教所得。此時開啟機械手末端攝像頭，并繞著閥芯的軸向方向連續采集圖像。通過Vision Assistant的Pattern Matching來尋找閥芯槽的位置，當檢測到閥芯槽的位置后停止末端相機的采集工作，同時通過試驗臺上方的相機確定此時機械手末端在標定坐標系中的位置B(xb，yb，z，rx,ry,rz+θ)，其中θ為A、B點之間繞z軸的旋轉角度。為了滿足閥芯的裝配工藝要求，必須使機械手末端先移動至C(xc，yc，z，rx,ry,rz+θ+90。)點處，再緩慢移至D點處抓取閥芯零件[12]。由圖可知，C點的坐標可由以下關系式求出：

(4)

進而D點的坐標可由以下關系式得出：

(5)

圖9 閥芯抓取位置定位

3 系統上位機程序實現

通過Vision Assistant對圖像進行一系列處理之后，可以方便、快速地得出閥芯和閥芯槽的坐標和角度信息[13]。在系統上位機中，基于NI的Max和DAQmx devices技術，圖像采集程序可以方便地以在LabVIEW中調用IMAQ Grab Acquire. vi等子VI的方法實現；圖像處理程序包括圖像的標定、濾波、定位等可以以直接調用Vision Assistant節點的方式實現，其部分程序如圖10所示；系統通信功能的實現，可以藉由LabVIEW中豐富的通信函數來實現，本系統即主要基于TCP連接函數實現與下位機的通信目的。

圖10 閥芯槽定位處理程序

4 機器人抓取實驗

在工作臺上進行機器人裝配實驗，如圖11所示。下位機使用STAUBLI工業機器人CS8C控制器；光源使用LED環形光源，采用低角度照明方式；圖像采集設備采用分辨率可達1 280×960且帶有Gige接口的Prosilica GC1290黑白相機以及Computar M1614-Mp2鏡頭，可以直接通過網線與上位機連接通信。系統以一臺PC機為上位機，負責圖像的采集、處理和識別定位，并將處理結果通過以太網TCP/IP反饋給下位機CS8C控制器，進而動態控制機器人的抓取動作。同時機器人工作采用自動循環方式，以接收完零件圖像處理數據為觸發條件，即接受完數據后，機械手臂自動上電動作，運行結束后將手臂斷電，等待下一次數據的輸入，部分實驗參數如表1所示。

圖11 抓取實驗

表1 抓取實驗參數

5 結語

本文綜合運用NI視覺技術和機器人技術，構建了一套相對完善的零件自動裝配系統。該系統經過試驗驗證，結果證明：具有較好的裝配精度，可以滿足一般生產裝配需求?；赩ision Assistant的相機標定方法可以快速有效地對相機進行標定，減小圖像畸變，其快速簡潔的特性是傳統方法所不能比擬的，提高了相機標定效率，而且在Vision Assistant中只需對采集的圖像進行預處理、標定以及模式匹配和邊緣檢測、設置相關參數即可，無需經過繁瑣的計算和復雜的程序編寫?；跈C器視覺的閥芯自動裝配系統能快速、高效地完成裝配工作，可以大大提高生產效率，節約人力成本，提高自動化程度。