基于雙目定位的離合器下料系統設計

秦朗朗， 潘 豐

(輕工過程先進控制教育部重點實驗室 江南大學，江蘇 無錫 214122)

基于雙目定位的離合器下料系統設計

秦朗朗， 潘 豐

(輕工過程先進控制教育部重點實驗室江南大學，江蘇無錫214122)

機械臂在生產線上抓取組裝完成的離合器后，需要準確地將離合器放置在自動導引車(AGV)的下料位置。針對AGV入庫時位置不確定，機械臂無法準確實現下料問題，設計了一種基于機器視覺技術的離合器下料定位系統，并針對AGV尺寸較大、單相機定位存在精度差、定位不穩定的重要問題，采用雙目定位提高精度和穩定性。實際使用結果表明：基于VisionPro視覺軟件設計的AGV特征識別視覺定位系統具有很好的定位結果，定位精度為±0.5 mm，運行時間小于2 s；能夠引導機械臂快速、準確地完成離合器下料任務，滿足工業實際應用的需求。

機械臂； 機器視覺； 離合器； 自動導引車； 雙目定位

0 引 言

工件準確高效下料是工業機械臂和自動導引車(automatic guided vehicle,AGV)在生產線上有效利用的關鍵步驟[1]，當前,機械臂和AGV已經廣泛使用在工業生產線中，但在很多工業應用當中機械手都是在技術人員的離線編程或者示教編程下,實現某些特定的提前設計的固定舉措和功用[2]。假如待測工件周圍的下料環境即AGV入庫位置產生了變化，很可能導致機械臂下料工作的失敗，這類由于機械臂無法判別外部環境變化的弊端極大地局限了機械臂在工業生產中的使用[3]。

機器視覺技術[4]可以將機械臂技術和機器視覺技術相融合，利用視覺的定位功用使機械臂擁有自身的“眼睛”獲取待測工件的位置信息，引導機械臂實現抓取、運輸、下料等任務[5]。

機械臂抓取離合器以后，需要準確無誤地將離合器安放于AGV上，針對其在精度、速度和智能化方面的需求，設計了一種離合器下料系統；對于尺寸較大的AGV使用相機定位存在精度差、定位不穩定的技術難題，采用雙目定位的方法提高精度和準確度。

1 視覺定位原理及系統組成

1.1 視覺定位原理

視覺定位原理如圖1所示，每次AGV入庫后的位置都有所變化，如圖1中AGV的位置所示。因為AGV尺寸為2150mm×950mm，尺寸較大，所以角度偏差的計算經過坐標系原點旋轉以后會在AGV的另一端得到放大，而且小車尺寸越大，偏差越大。為解決這個技術問題，設計了一種使用雙相機實現雙目定位的方法，通過采集兩個相距較遠的特征點，擬合出一條直線，計算位移偏移和角度偏移，從而提高定位的準確度和穩定度；將兩相機安裝在AGV兩端特征孔的正上方，據此，兩個相機分別取小車兩個特征圓形孔求出兩特征點即特征孔的圓心A和B，如圖1中所示。

兩個相機分別采集AGV兩端上方兩個特征圓孔的圖像，根據小車入庫位置容許偏差范圍為±45mm，選擇相機視野范圍為160mm×120mm，相機1視野中的A點通過尋找圓C1的圓心提取，相機2視野中的B點通過尋找圓C2的圓心提取。

圖1 視覺定位原理

1.2 系統硬件結構設計

依據定位的工業要求，設計了離合器在AGV表面下料的雙目視覺定位系統的總體結構如圖2所示，主要有工業相機、工業鏡頭、特制光源、圖像采集卡、機械臂、AGV和工控機等組成。兩個相機安裝在AGV兩端上方，光源安裝在相機的下面，圖像采集卡安裝在工控機PCI插槽中，工控機和相機、機械臂通過以太網連接在一起，工控機是系統的中樞，負責圖像處理、通信和界面顯示的重要工作。

圖2 定位系統硬件組成

機械臂從組裝生產線抓取離合器到位、AGV入庫到位后，工控機發出圖象采集命令控制工業相機采集小車圖像，采集到的圖像經過千兆以太網傳遞到工控機；工控機得到圖像后通過預先設計的圖像處理算法計算出位置偏移量并發送給機械臂，機械臂根據接收的信息調整自身下料位姿完成下料任務，如果兩次視覺定位都失敗，則需要手動調整AGV的位置，重新進行定位分析；完成了一塊離合器的下料任務后，機械臂抓取組裝線上的下一塊離合器，繼續完成下料。

1.3 系統硬件選型

1)工業相機

根據視覺定位系統要求，精度±0.5mm、視野范圍160mm×120mm、以太網數據接口類型、圖像傳輸速率要求快等，選擇德國Basler公司應用成熟的scA2500—20gm型黑白工業相機, 分辨率為2590×2048，接口為GIGE，幀速率為20f/s，鏡頭接口為C-Mount。

2)鏡頭

根據工業相機分辨率的大小、相機采像視野范圍和相機工作距離等要求，使用TAMRON公司研發的M118FM16型號的百萬像素工業鏡頭，焦距為16mm，接口類型為C，光圈范圍為1.4～16。

3)光源

在設計AGV雙目視覺定位系統過程中，經過多次打光試驗，為了能夠得到清晰、對比度明顯的原始圖像，最終選用奧普特公司研制的OPT—RI15000系列的90°直射紅色環形LED光源，選擇該光源主要原因：

a.需要采像的特征點是圓形孔，環形光源發出的光線能較好地覆蓋需要采像的目標特征點，角度選擇90°直射方式，能夠保證光照均勻，確保較強的圖像對比度。

b.AGV表面鍍鋅，反光較強，紅色光源發出的紅色光線波長相對較長，可以保證相對均勻、穩定的圖像效果。

c.LED光源的光亮穩定、使用壽命長，性價比高[6]。

1.4 系統安裝方式

機械工藝可以保證AGV的入庫位置誤差范圍為±50mm，據此，為了能夠采集到小車上特征點的圖像，需要保證相機視野范圍在160mm×120mm左右。由于受到機械臂工作時的空間干涉等情況，設計了如圖3所示的雙目視覺定位系統的相機安裝方式。

圖3 雙相機安裝方式

2 系統坐標系轉換

由于下料系統根據相機獲取到的圖像進行視覺定位，使用圖像坐標系，而機械臂通過調整工件坐標系來實現姿態的調整，所以需要將機械臂工件坐標系和圖像坐標系統[7]。視覺定位系統在開發過程中涉及3個坐標系之間的轉化：機械臂工件坐標系、世界坐標系和圖像坐標系[8]。由于AGV入庫后離合器的下料位置在同一水平面，所以z軸坐標固定，即視覺系統是在二維空間平面內的定位，三個坐標系都是二維坐標系，不考慮z軸。

3個坐標系的相互轉換對應關系如圖4所示，要完成圖像坐標系到機械臂工件坐標系之間的轉換，需要進行2個標定過程[9]：1)通過相機標定完成圖像坐標系至世界坐標系的轉化；2)通過機械臂雙目標定完成世界坐標系到機械臂工件坐標系的轉化，轉化的過程如下。

圖4 坐標系關系

2.1 圖像校準與標定

視覺定位過程中需要確定AGV兩端特征點的位置和在圖像中具體位置的坐標對應關系，這個時候需要搭建相機成像過程中的幾何模型[10]，相機標定的過程，本質就是解出相機成像中幾何模型參數數值的過程。在視覺定位過程中為了能夠準確地確定AGV兩端特征點的位置和在圖像中具體位置的坐標對應關系，提高視覺定位過程中的精確程度，需要對相機獲取到的圖像進行畸變校正，本文使用非線性標定完成校正。

1)采集標定板圖像:標定板分為棋盤格標定板和網格點標定板，系統為了得到更高的標定精度，使用棋盤格標定板中的“詳盡棋盤格”用來完成標定工作。捕獲標定板圖像信息過程中，要求周圍的環境以及采集圖像所使用的工具配置均與相機在生產過程中正常工作時一致，根據系統工業相機工作時的視野范圍和精度要求制作了一塊大小為130mm×90mm，每個網格大小為5mm×5mm的標定板，如圖5。

2)提取標定信息：采集到標定板的原始圖像之后，使用CalibCheckerBoard工具將棋盤格圖像的特征位置點分析提取；工具使用時選用“非線性標定”模式，選用“詳盡棋盤格”特征搜索形式。如圖5所示。

圖5 特征點分布和部分特征點坐標值

3)相機標定：相機標定過程的本質是將相機成像過程中幾何模型的相關參數求取出來，幾何模型參數包含透視畸變模型參數、徑向畸變模型參數以及線性轉換過程參數；視覺系統運行過程中，使用標定過程中建立的幾何模型完成原始圖像的畸變矯正，然后將圖像坐標系轉變到世界坐標系。圖6列出了標定過程中涉及到的一些標定參數信息，其中包含有一些幾何模型參數以及均方根RMS誤差。

圖6 標定結果

圖6所示的RMS誤差指標定過程中標定板上特征點坐標位置的均方誤差，用RMS誤差來評估標定過程中標定精度的高低。RMS誤差數值越小，表示圖像標定的效果就越理想，公式如下

(1)

式中e為標定板上某個特征點的位置誤差；i為標定板上特征點的編號；N為標定板上特征點的個數。特征點的位置誤差的實質指標定板上某特征點經過相機標定之后求得的世界坐標值與進行標定之前此特征點原始的世界坐標值之間的位置距離相減求得的差值。CalibCheckerBoard工具中將上述RMS誤差整體劃分成了5個評價區間：0～0.1為優秀；0.1～0.5為良好；0.5～2為合格；2～5為較差；5～+∞為非常差。系統中相機標定的RMS誤差為0.381706，所以標定結果良好，滿足標定要求。

2.2 機械臂和視覺之間的標定

定位系統通過雙目標定過程進行世界坐標系到機械臂工件坐標系的轉化，其轉化關系如圖7所示。

圖7 世界坐標系到機械臂工件坐標系轉化

如圖7所示，世界坐標系與機械臂工件坐標系之間是按照比例縮放、二維平面旋轉和位置偏移進行轉換。其中坐標系xwowyw為世界坐標系，坐標系xroryr為機械臂工件坐標系。選取的N點為兩個坐標系中的任意點，將N點在兩個坐標系中的坐標依次表示為(xwn,ywn)和(xrn,yrn)。

3 定位系統算法設計

3.1 樣板匹配

AGV入庫位置的變化會造成工業相機采集的圖像的變化，顯然,圖像中的特征點會相應地發生變化。文中使用樣板匹配的辦法完成對特征點搜索范圍圖像的粗略定位，使用PMAlign工具將圖像中的特征點信息提取出來，使用Fixture工具建立圖像中的特征點和樣板中的特征點坐標位置信息對應關系，可以保證入庫AGV位置的變化不會影響對特征點的準確提取。

為了可以匹配到唯一、穩定的樣板信息，樣板匹配過程中選擇的樣板在整個圖像中需要具有唯一性，系統選取AGV兩端的特征孔作為待匹配的樣板特征。圖8給出了相機1和相機2待匹配的特征孔圖像，用來完成樣板特征與采集圖像之間的坐標位置對應關系。

圖8 樣板匹配特征孔圖像

3.2 圓的擬合及特征點A和B的提取

產品粗定位后，根據匹配到的樣板特征，在相對應位置處，即特征孔的位置處，擬合圓。使用FindCircle工具來實現圓的擬合，根據需要設置工具的具體參數，其中包括卡尺數量、圓環圓心位置坐標、圓環查找方向和卡尺投影長度[11]。工具運行的底層算法，是在圓環的每一個分段搜索范圍內沿著設定的檢測方向尋找具有最大對比度的點，最后使用最小二乘法對尋找到M個最大對比度點進行圓的擬合，從而得到擬合圓[12],如圖9。

圖9 相機1特征圓C1的擬合

如圖9所示，特征圓通過尋找特征孔邊界上最大對比度的點，根據這些點擬合而來，特征圓上點的求取采用VisionPro中FindCircle工具中的卡尺實現。系統使用60個探索長度為14像素，投影長度為4像素的卡尺提取特征圓上60個特征點，同時為了避免外界環境噪聲對獲取到的圖像的干擾，在擬合特征圓的過程中排除掉5個偏差最大的異常點，從而提高擬合圓的準確性。

FindCircle工具擬合的兩個特征圓的兩個輸出終端Results.GetCircle().CenterX和Results.GetCircle().CenterY即為圓心的坐標值，兩個圓心將作為兩個特征點進入下面的研究之中。

3.3 求取偏移量

如圖1所示，將AGV放在下料標準位置，相機采集圖像，經上述圖像處理擬合出標準位置特征點A0(x0,y0)，將A0點作為小車的基準位置坐標，并將A0點定義為坐標系原點，則A0點的坐標即為(0,0)；將擬合圓C2的圓心B0看作是另外一個特征點，坐標記為(x1,y1)；這時直線A0B0的角度α0就可以作為基準角度，直線A0B0的角度可以使用CogMath.AnglePointPoint()函數計算。A0點坐標值、B0點坐標值、α0的角度值即小車在標準位置下料時的基準位置參數，機械臂記錄基準位置參數，為后續計算位置偏移量做準備。

小車入庫位置發生變化后，由位置變化后的特征點A(x,y)的坐標減去基準位置坐標，即可求得位置偏移量Δx=x-x0=x,Δy=y-y0=y；角度變化值得計算需要使用CogMath.AnglePointPoint()函數求解位置變化后小車表面擬合的直線AB的角度 ，角度α減去機械臂記錄的基準位置角度即可求得角度變化值ΔAngle=α-α0。

4 系統測試

為了驗證視覺定位系統的功能是否滿足工業要求，選取90次小車入庫的情況進行實際測試，在測試過程中根據實際情況調整視覺工具參數，保證系統達到最佳定位狀態。表1給出了調整后的具體參數值。

表1 系統工具參數

最終測試表明當AGV入庫位置容許偏差Δx和Δy在±50 mm范圍內、角度偏移量在±5°范圍內時，視覺系統可以穩定的提取特征并實現精確定位，定位誤差在±0.5 mm內，最大定位誤差為0.36 mm，平均誤差0.263 mm。由誤差統計數據分析知：平均值為0.263 mm,標準差為0.285 mm,方差為0.051 mm。經驗證，整個雙目視覺系統的運行時間保持在2 s之內，視覺系統可實現歷史數據追溯和視覺工具參數設定，符合實際工業生產需求。

5 結束語

在離合器下料系統中，將視覺定位技術應用于機械臂技術中，使機械臂具有自己的“眼睛”，方便獲取AGV位置變化的信息并及時調整下料位姿，順利地實現下料任務、提高了生產效率、解放了人工勞動力、提高了機械臂的自動化水平和作業靈活性，有利于擴大機械臂在工業生產領域的應用范圍。對于AGV這樣的大尺寸工件定位，角度的偏移量要求精確度較高，采用雙相機定位的方法可以確保角度計算的可靠性和精確性。當前，該雙目視覺定位系統已經應用在實際工業生產中，可以高效、精確、穩定地引導機械臂實現離合器下料任務，具有很大的應用價值和意義。

[1] Wang Weilin,Li Changying.A multimodal machine vision system for quality inspection of onions[J].Journal of Food Engineering,2015,166:291-301.

[2] Edwards J.Looking at machine vision[J].IEEE Signal Proces-sing Magazine,2014,31:9-117.

[3] 任繼昌,楊曉東.基于互信息的高精度雙目視覺測距方法研究[J].控制工程,2015(1):199-204.

[4] 賈 佳,白瑞林,錢 勇,等.嵌入式彩色圖像傳感器重構系統的設計與實現[J].傳感器與微系統，2011，30(3):121-124.

[5] 基于機器視覺的非結構化道路檢測算法研究[J].傳感器與微系統，2010，29(1)：39-41.

[6] 廖曉波,李眾立,廖 璇．磚窯卸垛機器人視覺定位系統研究[J].控制工程,2013,20(4):650-654.

[7] 姜 平,周根榮.基于計算機視覺的織物疵點自動檢測[J].傳感器與微系統，2006，25(1)：73-75.

[8] 張小清,周廣兵．基于機器視覺的動力電池分揀機器人定位系統[J].物流工程與管理,2012,34(1):95-98.

[9] 晏祖根,李 明,徐克非,等.高速機器人分揀系統機器視覺技術的研究[J].包裝與食品機械,2014,32(1):28-31.

[10] 翟敬梅,董鵬飛,張 鐵．基于視覺引導的工業機器人定位抓取系統設計[J].機械設計與研究,2014,30(5):45-49.

[11] 梁曉波,程文明．基于雙目視覺的集裝箱自動識別定位系統的設計[J].機械,2015,42(1):7-10.

[12] 隋修武,齊曉光,李大鵬.基于雙路線陣CCD的自動電子數粒機[J].傳感器與微系統，2012，31(5):122-125.

Designofclutchunloadingsystembasedonbinocularvisualpositioning

QIN Lang-lang， PAN Feng

(KeyLaboratoryofAdvancedProcessControlforLightIndustry,MinistryofEducation,JiangnanUniversity,Wuxi214122,China)

The robotic arm needs to put clutches in automatic guided vehicle(AGV)accurately after scraping clutches from the assembling line.As the storage location of AGV is uncertain and the robotic arm can’t accurately realize the blanking,use the technology of machine vision to design a localization system of vision-based clutch unloading.Aiming at problem that the size of AGV is too large and localization of single camera is unstable and precision is low.Use binocular localization to improve the precision and stability.Practical application result show that the designed AGV feature recognition and location system which based on VisionPro vision software,has wonderful locating results,the location precision is ±0.5mm,and the run time is less than2s,besides,it can guide robotic arm to realize the clutch blanking task precisely,and quickly,meeting the requirements of industrial application.

robotic arm; machine vision; clutch; automatic guided vehicle(AGV); binocular localization

10.13873/J.1000—9787(2017)10—0080—05

2016—09—15

TP 319

A

1000—9787(2017)10—0080—05

秦朗朗(1993-)，男，通訊作者，碩士研究生，研究方向為控制工程及應用，E—mail:18762670760@163.com。潘 豐(1963-)，男，教授，博士生導師，主要從事工業過程優化控制研究工作，E—mail:pan_feng_63@163.com。