視覺引導工業機器人定位抓取系統設計

閩西職業技術學院 廖毅洲

視覺引導工業機器人定位抓取系統設計

閩西職業技術學院 廖毅洲

本文將美國國家一起公司的視覺開發模塊以及ABB-IRB120及其人作為研究基礎，對視覺識別系統進行了模塊設計，構建了基于單目視覺的機器人自動識別以及抓取系統，通過建立抓取系統模型給出圖像坐標到機器人坐標的算法，在C#環境下進行開發，最終控制了機器人對目標的抓取。

工業機器人；及其視覺；模式匹配

對于生產線上多個工業機器人來講，工件識別以及抓取是其十分重要的一項應用，從目前來看，對生產線上的機器人控制，大多數都采用了離線編程的方式，但是，機器人的工作環境或者是目標對象等一旦發生了變化，由于機器人并不能夠有效的對這些新的環境進行適應，就會造成機器人抓取動作的失敗。在本文的研究當中，采用的軟件為NI Vision，并在C#環境當中，利用上述軟件的圖像處理算法進行了二次開發，通過圖像預算處理等步驟，從動態改變機械手的操作。

1.系統硬件組成

1.1 CCD相機

采用acA2500-14MG型號工業相機，并將相機安裝在傳送帶的上方。

1.2 鏡頭

在本文當中采用了定焦鏡頭，其型號為M0814-MP2，這種鏡頭有著8.8mm*6.6mm的最大成像尺寸。

1.3 光源

本文采用了擁有較快相應時間以及高品質圖形的LED環形光源。

1.4 工控機

在本文的研究當中，采用了工控計算機，負責對CCD相機采集的圖相信息進行解控，同時利用圖像算法來將識別后的工件轉化為機器人控制信號，從而對機器人進行控制。

1.5 機器人

本文的研究當中采用了瑞士ABB公司研發的IRB120機器人，該機器人有控制簡單、編程方便等特點，同時擁有六個旋轉關節，適用于生產線抓取作業。

圖1 機器人視覺抓取系統

2.視覺引導抓取系統的工作原理

在實際的操作過程當中，需要現在傳送帶的上方對攝像機進行固定，這時，傳送帶運轉就會使得工件進入攝像機的視野中，同時將定時器設置為沒0.5s出發一幀相機的圖像采集，通過模板匹配的方法，確定工件的位置，并通過兩針圖像的間隔來對工件運動的速度進行計算。在此之后，我們通過卡爾曼濾波來對下一周期當中的工件位置進行預測，同時對急切人的運動軌跡進行規劃，使得工件運動到抓取工位時，能夠與機器人的目標位姿重合，最后將位姿信息轉化為機器人熟悉的監督，從而實現機器人對工件的準確抓取。此外，在本文的研究當中，根據實際的需求我們隊機器人進行了引導，并對機器人對工件的搬運操作進行了實現，其主要工作原理能夠從下圖當中看到。

在圖2當中，上流限是工件開始進入機器人抓取區域的位置，提前上流限的設置，能夠減少機器人等待的時間，下流限則代表工件離開機器人抓取區域的位置，如果工件沒有在抓取區域當中被機器人抓取，則代表機器人這次的任務失敗，與此同時，機器人也會對該工件放棄追蹤。

圖2 視覺引導抓取系統原理圖

3.抓取系統的參數化模型建立

3.1 攝像機定標

圖3位小孔成像模型，通過小孔成像模型，我們你能夠在攝像機的光軸中心建立相應的坐標系，Z軸沿光軸的方向，而X軸則巖圖像坐標水平的方向，在坐標系Oc-wyz當中，設點p的坐標為（x，y，z），那么他在圖像平面的投影點P的坐標就是（X，Y，Z），其中Z=f，在此式子當中f代表的為攝像機的焦距。

圖3 小孔成像模型

通過小孔成像模型，我們得到了下面的比例分析：

同時，利用CCD的成像原理我們能夠得知，成像平面上的像在經過放大之后能夠得到數字圖像，而成像平面上的像點（X，Y）轉化為圖像點（u，v），并將圖像點記為（u0V0），將其作為光軸中心線與成像平面交點的圖像坐標，則能夠得到以下公式：

在上面的式子當中，dx, dy分別是一個像素在X與Y方向上的尺寸，此外，分別是X以及Y方向上的采樣頻率，也就是單位長度上的像素個數。

我們將公式（1）帶入到公式（2）當中，并改寫成矩陣式，就得到了下面的公式：

而將公式（4）帶入到公式（3）當中，則能夠得出以下公式：

3.2 手眼坐標標定

在該系統當中，我們分別在傳送帶的兩端安裝上了攝像機以及機器人，但對工件與機器人之間的相對位姿，無法采用傳統的手眼標定方法來進行確定，這就需要在傳送帶上建立兩個參考坐標系，這兩個參考坐標系分別為ref1和ref2，我們將這兩者分別建立在攝像機的視野范圍以及機器人的工作空間當中，從下圖當中我們能夠看到，攝像機通過平面標靶標定法，標出了內外參數，同時建立了坐標系ref1，從而得出其與攝像機坐標系之間的相對位姿。

圖4 抓取系統參數化模型

圖5 坐標轉換示意圖

通過以上兩個參考坐標系我們能夠建立起目標工件與機器人之間的聯系，而坐標間的變換關系能夠由圖5所示。

4.基于灰度相關的模板匹配算法

在對運動目標的跟蹤過程當中，對目標的特征提取是十分重要的，在對模板的匹配過程當中，輪廓、灰度等都能夠作為準則存在，此外，幾何特征也能夠對其進行跟蹤。在對目標進行提取之后，就能夠針對目標的定位來進行算法的選擇，同時，為了滿足實際的需求，還需要采用合適的處理方法。

通常來說，在模板匹配算法當中最常見的就是基于灰度相關的模板匹配算法。這種算法就是將灰度值作為特征進行匹配，現如今，這種算法已經發展的較為成熟，此外還有著容易實現的的特點。基于這些特點，本文在實際的研究過程當中也選擇了這種算法。在本文當中，將模板大小假設為M*N個像素，那么其相似度函數則如下所示：

在上述的式子當中，T（m,n）以及S（i+m,j+n）分別是模板圖像以及待搜索圖像的灰度值，通過對每個位置的相似函數的計算，能夠對圖像是否具有相近的目標進行確定，而將上一式子規劃到模板進行匹配則能夠得到：

NCC系數的大小表示與帶搜索圖像擁有怎樣的匹配程度，如果NCC等于1，那么則表示在帶搜索的圖像當中找到了完全相同的實例。模板匹配示意圖如下所示，圖像在經過匹配之后能夠找到實例，從而給予機器人一定的信息。

圖6 模板匹配示意圖

圖7 卡爾曼濾波的一般步驟

在本系統當中，采用了與灰度相關的匹配PatternMatching，這樣的匹配方式允許對象進行三百六十度的旋轉以及一定比例的大小變化，其相關的操作位：（1）對原始圖像進行預處理，使得工件擁有更加明顯的特征。（2）在原始圖像當中選取目標工件的圖像作為模板圖像，建立模板學習模式時允許選擇的模式，并在圖像當中定義搜索區域，通過灰度匹配，在區域內找到模板實例，給出坐標信息。

5.運動目標跟蹤算法

5.1 卡爾曼濾波

作為一種現行濾波器，卡爾曼濾波器能夠通過對上一時刻狀態的觀測來計算出當前狀態的估計值，因此不需要記錄觀測等歷史信息。在視覺跟蹤系統當中，卡爾曼濾波器已經得到了廣泛的應用，它能夠有效的對運動物體的狀態進行估計，從而引導機器人完成抓取。

卡爾曼濾波算法如圖7所示。

5.2 運動模型的建立

傳送帶上的工件通常使直線的勻速運動，如果將某時刻的位置和速度假設為運動狀態參數，那么目標的狀態就只有較小的變化，因此能夠利用速度參數來反應運動趨勢，在本文的研究當中，對系統狀態的定義采用思維變量的方式，期方程為：

而針對本文的系統，其模型則建立為：

由于在圖像當中只能觀測到目標的位置，因此其觀測模型為：

從上圖當中能夠看到，利用模板匹配的方法，能夠對工件的位置進行檢測，并通過包含工件的兩幀圖像來對工件的速度進行計算。在此之后利用卡爾曼濾波器，能夠對工件的可能位置進行預測，在提升系統實時性的基礎上不斷的加快匹配的速度。經過預估、矯正的過程，根據計算得出的機器人運動軌跡，能夠生成全新的指令，并通過計算機來對機器人下達指令，控制其對工件進行抓取。

圖9 工件抓取實驗

表1 視覺定位結果語機器人末端實際位置對比（mm）

6.實驗

通過工件的圖像坐標，通過對將系統參數模型映射到機器人坐標系當中，能夠利用卡爾曼濾波器來對工件在抓取區域當中的位置進行預測，并將其與機器人機械手末端的坐標進行比較，當午茶能夠保持在1.5毫米以內時，則能夠保證機械手對運動目標進行準確的抓取，在該系統當中，要求有足夠高的定位精度，從而滿足生產的需求，具體實驗如圖9，表1所示。

7.結論

本文針對流水線進行識別抓取，基于NI圖像處理軟件進行開發，通過建立抓取系統參數模型，在得出圖像坐標與機器人坐標的關系后，進行了相關的匹配，同時結合卡爾曼濾波算法，得到工件的位置并控制機器人抓取目標，而通過實際的實驗也能夠證明，在本文設計的系統當中，精度能夠滿足實際的生產的需求，能夠有效的提高生產線的自動化水平。

[1]伏云發,郭衍龍,李松,熊馨,李勃,余正濤.基于SSVEP直接腦控機器人方向和速度研究[J].自動化學報,2016(11).

[2]杜柳青,何鑫,韓濤,朱新才.基于剛柔耦合的水輪機修復機器人導軌誤差分析[J].組合機床與自動化加工技術,2016(11).

[3]陳鑒,夏慶鋒,賈靜雯,秦晨芝.基于TCS3200的識別技術及其在機器人上的應用[J].機器人技術與應用,2016(5).