機器人裝配中的視覺引導定位技術研究*

鄭魁敬　潘春瑩　許　斐

(①燕山大學先進鍛壓成形技術與科學教育部重點實驗室，河北 秦皇島 066004；②燕山大學河北省并聯機器人與機電系統實驗室，河北 秦皇島 066004)

?

機器人裝配中的視覺引導定位技術研究*

鄭魁敬①②潘春瑩①②許斐①②

(①燕山大學先進鍛壓成形技術與科學教育部重點實驗室，河北 秦皇島 066004；②燕山大學河北省并聯機器人與機電系統實驗室，河北 秦皇島 066004)

機器視覺技術在工業自動化中的應用日趨廣泛，在機器人裝配過程中應用視覺技術可以提高裝配的自動化程度。以花鍵軸套為研究對象，根據花鍵區域和非花鍵區域的明暗區別，采用區域生長的方法對花鍵區域進行提取。分析確定花鍵的幾何特征點，利用雙目測量模型進行三維測量，基于特征點進行圖像匹配實現花鍵的精確定位。根據花鍵間隙進行花鍵對準檢測，判別花鍵軸套的對準情況。由相機成像模型確定間隙所在像素區域，并作為檢測窗口實現花鍵的對準。通過實驗驗證視覺引導定位技術在機器人裝配中的可行性。

機器視覺；區域生長；幾何特征點；雙目測量；圖像匹配

在機器人裝配中，視覺系統作為機器人的“眼睛”，具有十分重要的作用，可以進行裝配環境中的障礙檢測、工件識別、工件測量、工件姿態檢測、工件相對位置檢測等[1-2]。在機器視覺研究領域，通過分析圖像完成對物體的識別是一個重要的方向，新的理論和方法不斷被提出來解決工程實際問題。張昱[3]在提取采集圖像的特征后，對特征數據建立了粒子群優化的最小二乘支持向量機識別模型，獲得了很好的識別效果。段喜萍[4]利用圖像中的文本信息輔助圖像識別，提高了識別性能。王鵬[5]基于模糊理論提出了一種焊縫缺陷的自動識別檢測方法，具有較好的實用性。申曉霞[6]提出了RGB圖像和深度圖像有效融合并結合SVM分類器的行為識別算法，具有很好的魯棒性和區分性。張旭蘋[7]將相位一致性變換與極線約束條件用于結構光光條中心的提取,顯著提高了圖像分析的精度，有效保證了大尺度條件下的測量精度。周佳濤[8]針對金屬工件有強反射的特點，設計了一種基于視覺測量的工件二維檢測系統，具有實時、非接觸、快速、高精度的優點。趙振慶[9]針對直線特征,提出了基于兩條垂直直線特征雙目視覺位姿測量解析算法，該方法計算簡單，精度較好。視覺定位測量具有非接觸、動態響應快、大量程、高效率、全自動等優點，在機械制造加工領域有很好的實用性。

本文將機器視覺技術與花鍵軸套的檢測和定位相結合，實現對花鍵套的位置感知、識別和測量，以達到內、外花鍵的裝配對準。首先基于標志圖標目標所在區域的尋找方法，完成輪廓的提取和匹配；其次采用區域生長的分離方法對內花鍵進行分離識別，實現圖像的匹配，完成內花鍵的測量；然后分析內外花鍵的對準情況，以花鍵軸與孔的間隙作為檢測依據，實現內、外花鍵對準的檢測和校正；最后通過實驗進行驗證。

1　花鍵套的花鍵提取

1.1花鍵軸套模型

花鍵軸和花鍵套如圖1所示，花鍵軸孔的鍵齒數為8，8個花鍵成軸對稱均勻分布。

花鍵套區域劃分如圖2所示，圓1為花鍵套圓柱部分外徑，圓2為花鍵外徑圓，圓3為花鍵內徑圓。從所劃分的區域機構看，與花鍵的外形檢測密切相關的區域為圓2和圓3之間的區域。

花鍵套可分為圓柱內區域和圓柱外區域，圓柱內區域包括花鍵孔，圓柱外區域主要為花鍵套底座等部分。可將圓柱內區域分為花鍵內區和外區，如圖3所示。

1.2基于區域生長的花鍵區域提取

區域生長的基本依據為屬于同一個物體區域內的像素有相似的性質，依據該特性對像素點進行聚集，最終實現區域的分割。

首先在需要分離的區域選取一個或一系列像素點作為生長的原始點，然后制定一個判別準則對初始點一定范圍內的點進行判斷，將所有滿足條件的點標記為該區域，再對新標記點附近的點根據所制定的判別準則進行一次判斷，將滿足條件的點標記，重復執行以上的步驟直到不再有新的標記點或者所有的圖像點均被遍歷到為止。最終將得到依據原始種子點而生長的相似區域。

區域生長算法步驟如下：

(1)獲取感興趣區域圖像I，定義與圖像I大小相同的標記圖像V1用于標記連通區。定義隊列B用于存儲標記點，即標記點的像素坐標(x,y)。將選定的初始點作為標記點放入設置的隊列B中。

(2)若隊列B不為空，標記點出列。將標記點對應標記圖像上的像素點設置為標記色。

(3)對于標記點在灰度圖像上的4個連通區用生長準則進行判別。

(4)轉到步驟(2)，直至隊列B為空。

區域生長算法流程如圖4所示。

如圖5所示，對鍵槽區域進行了準確提取，黑色區域為花鍵內區域，提取效果很好。

2　花鍵的立體測量

2.1花鍵關鍵點確定

由于花鍵的輪廓特征明顯，對于匹配有較好的約束，因而采用基于特征的匹配策略。如圖6所示，整個花鍵區域可分為圓形基圓區(淺灰色)和花鍵區(深灰色)。花鍵的特征點選取可以分為基圓部分特征點和花鍵部分特征點。

基圓的主要的幾何特征為圓心和半徑，在圖像中選取其圓心點作為特征點。對于圓心，應滿足：使得圓上的點到該圓心O的最小像素距離取得最大值，或使得圓上的點到圓心O的最大像素距離取得最小值。由于在區域生長中花鍵區提取完整，故采用使得圓上的點到圓心O的最大像素距離取得最小值原則進行計算。

(1)

該算法可以準確提取出花鍵的中心點，再對花鍵區域進分析，利用幾何方法分離出花鍵區并進行特征點的提取。

輪廓點li到基圓圓心O的距離為

(2)

屬于基圓區的輪廓點到圓心的距離為di，可表示為輪廓上點到圓心的最大距離。屬于花鍵區的輪廓點到圓心的距離小于di但大于或等于dj，dj可以表示為輪廓上點到圓心的最小距離。依據輪廓上的點到基圓圓心的距離d，對花鍵區和基圓區進行劃分，劃分的閾值dΩ可取為

dΩ=di+α(dj-di);di=max(d(i)),dj=min(d(i))

(3)

式(3)中α為權值，取值范圍為0～1。花鍵輪廓點中di小于等于dΩ的輪廓點屬于基圓區，大于dΩ的輪廓點屬于花鍵區。

依據花鍵輪廓特征，輪廓中屬于花鍵區域的輪廓點應占整個輪廓點的0.6～0.75。以屬花鍵區域輪廓點所占的比例值為權值α的取值限定條件，算法流程如圖10。分離出的花鍵區輪廓幾何模型如圖11。

圖11中b和c點為輪廓的關鍵點，a和d為輪廓的起始點。以ki表示輪廓上任意一點處的斜率，則所得到的斜率函數k(i)在點b和點c處會出現極值。根據斜率的變化可以對應關鍵點b和c進行識別。將輪廓由點a到d依次編號為1，…，n，定義任意點i的左右斜率分別為kli和kri，左斜率表示點i編號左邊點的斜率值，右斜率表示點i編號右邊點的斜率值。計算左右斜率之間的夾角φ對點i是否為關鍵點進行判別。

關鍵點判別在圖12中7×7像素模板內進行。

將在輪廓上所需遍歷的任意像素點i作為模板中的中心點P，以中心點P為分界，將模板內的像素點分為兩個部分，分別如圖12中的淺灰色和深灰色所表示像素。二者分別組成點i左邊相關線段ll和右邊相關線段lr。

根據線段ll和線段lr上的像素點進行擬合得出各自的斜率kli和kri，最終計算出兩線段之間夾角φ。選定夾角的取值范圍Tφ，以此對各點進行判斷，得到關鍵點集合ηp。集合ηp所包含的元素個數可能大于2個，因此需要對關鍵點進行進一步選取。

花鍵區輪廓模型中，花鍵的輪廓由3條線段ab、bc和cd組成。在集合ηp中選取2個點分別作為關鍵點b和c,在選取過程中選取的2個關鍵點的限定條件為編號差值大于7，以減少2個關鍵點的組合數增加計算效率。由a、b、c、d4個點得到3個線段的方程fa(x,y)，fb(x,y)和fc(x,y)。

依據輪廓點的編號將輪廓點分為3類，編號在a到b之間屬于A類，編號在b到c之間屬于B類，編號在c到d之間屬于C類。以Sa(i)，Sb(i)和Sc(i)分別表示任一點到直線ab，bc和cd的距離，以S表示A類點到直線ab距離，B類點到直線bc距離以及C類點到直線cd距離的總和

S=∑Sa(m)+∑Sb(n)+∑Sc(k);

m∈A,n∈B,k∈C

(4)

當總距離S取得最小值時，所得關鍵點b、c即為最優。

所研究的花鍵軸套有8個鍵，因此在左右圖像中分別可以有8組關鍵點。如圖13中白色點為提取的花鍵關鍵點。

2.2立體測量

在相機模型中存在3種坐標：相機坐標系、像平面坐標系和實物坐標系。

一般情況下立體測量采用左右雙目模式,左相機坐標系為o-xyz，與世界坐標系重合，左相機圖像坐標系為Ol-XlYl，焦距為fl。右相機坐標系為or-xryrzr，圖像坐標系為Or-XrYr，右相機焦距為fr。左、右相機分別有如下的關系式

(5)

左右相機坐標系之間的轉換關系可以由空間轉換矩陣Mlr來表示

(6)

式(6)中，R和T分別為o-xyz和or-xryrzr坐標系之間的旋轉矩陣和平移變換向量。

由式(5)和式(6)可得到如下關系式

(7)

可得到空間點在o-xyz坐標系的三維坐標為

(8)

將立體匹配中所得到的匹配特征點分別計算，得到花鍵各個特征點在三維坐標下的坐標值，最終確定花鍵的整體位置和鍵槽的位置。

如圖14所示為左右圖像特征點的匹配圖，左右圖像的特征點準確地進行了一一對應匹配。

對特征點進行三維坐標的計算得到部分的特征點數據，如表1所示。表1中特征點的像素坐標以及相機坐標的定位數據,ul、vl為左像素坐標，ur、vr為右像素坐標，x、y、z為世界坐標。花鍵尺寸和位置平均誤差在0.5mm內，在從遠處接近過程中，精度會漸漸提高，可滿足實際需要。

表1特征點數據

特征點ul/像素vl/像素ur/像素vr/像素x/mmy/mmz/mm11852322112152837.78-37.91202.2022008387127559147.9-33.64202.0232090472136367953.66-28.34202.642154625149182963.39-20.05201.7852157745141694657.16-10.27202.47620978991355110553.25-0.32202.35720169861269119247.775.2201.688186210511113125537.749.34201.5591801688106089234.08-13.92202.00

3　花鍵的對準檢測

花鍵軸套之間的間隙由于光線被遮擋會產生暗區，相對于花鍵軸和花鍵套有較好的區分度，如圖15所示。分析對準過程間隙變化情況，得到對準程度和間隙之間的關系。

花鍵對準過程的模型如圖16所示。淺灰為花鍵套，深灰為花鍵軸。花鍵未對準時軸上的花鍵與孔內的花鍵之間存在著間隙，如圖16中黑色區域所示。當花鍵完全對準時應如圖17所示，軸上的花鍵與孔內的花鍵之間的間隙消失。

由于花鍵存在的對稱性，8個花鍵的間隙情況相同，選取2個花鍵進行間隙的檢測，如圖18所示，黑色區域為間隙所產生的區域，該區域為花鍵軸的大徑D、小徑d和花鍵的輪廓所圍成的區域。當花鍵未對準時，黑色區域的部分區域顯示為白色如圖19。當對準時則不存在白色區域，以該區域作為檢測窗口判斷花鍵是否已經對齊。

根據間隙區域存在與否可對花鍵的對準進行判斷，當未對準時，需對花鍵軸進行姿態調整。

如圖20 中所示，點e1和e2為間隙在花鍵軸的大徑上的兩個端點，點o為圓心。大徑的長度為D，角度u為線oe1和oe2之間的夾角。

根據幾何關系可以得到角度u表示為

(9)

由式(9)計算出的角度u表示花鍵軸和孔所相差的角度。點e1和e2均為間隙的角點，間隙區域的角點數為4，由角點檢測可檢測出間隙區域的角點，由e1和e2在大徑上的幾何特征可知其像素坐標在大徑附近，從圖像中判別出這兩點，從而得到兩點的像素坐標。再根據相機成像模型可計算出其在相機坐標系下的坐標值。線段e1e2的像素長度值便可由二者的像素坐標值可直接計算出。根據計算出的角度值，可對花鍵軸的姿態進行調整，使其繞中心向使角度u減小的方向按一定的步長進行旋轉，當間隙區域足夠小甚至消失時則花鍵已經對準，其流程如圖21，圖像處理結果如圖22所示。

圖22中，斜線框區域為識別的間隙區，當依據對間隙區域的計算轉動花鍵軸時，間隙區域逐漸減小，花鍵逐漸對準，直至最終間隙消失，花鍵實現對準。圖22a～d，依據間隙的特征點計算出的偏移度大小的變化，確定出調整的方向，斜線框區域越來越小，花鍵越來越接近對準狀態，最終斜線框區域消失，花鍵實現對準。

4　實驗

應用雙目視覺系統對花鍵進行定位測量，引導ABB機器人對花鍵裝配進行引導。引導過程如圖23所示，圖23a為引導花鍵末端接近過程中的圖像，圖23b為實現裝配引導的圖像。

引導過程中利用視覺系統先計算出花鍵套的三維位置姿態信息，將信息實時傳入ABB機器人控制器，控制器根據提供的信息驅動花鍵軸運動。花鍵軸套裝配過程中部分的引導數據如表2。

表2引導數據

數據x/mmy/mmz/mmX/mmY/mmZ/mm129.1226.3172.7725.5429.7782.36224.7222.0650.7322.1819.9255.50316.1317.2442.9614.7815.6640.1145.137.8711.634.778.5510.92

表2中數據為在引導接近工件過程中的4個不同時間段的數據，后一個時間段比前一個時間段更接近目標點。表2中x、y、z值為依據在一個時間段內視覺測量的機器人末端移動的距離，X、Y、Z同一時間段內ABB機器人記錄的末端移動距離。

表2中x、y、z相對于X、Y、Z的相對誤差如表3所示。

表3相對誤差

數據x向相對誤差/(%)y向相對誤差/(%)z向相對誤差/(%)114.0211.6211.64211.4510.748.5939.138.767.1047.557.956.51

可以看出在接近目標的過程中，x、y、z的誤差逐漸減小，在近距離下精度較高。

5　結語

運用機器視覺實現了花鍵軸套的位置感知、花鍵的識別和測量以及內、外花鍵的對準監測。基于區域生長的分離識別方法，準確實現了花鍵區域的提取。依據幾何特征點的圖像匹配策略，得到了很好的匹配效果，提高了雙目視覺定位的精度。依據花鍵間隙的檢測方法，完成了花鍵對準檢測，減少了花鍵在未對準情況下調整的盲目性。視覺引導定位技術可在機器人裝配等柔性智能自動化作業中起到良好的作用。

[1]張建忠, 何永義, 李軍. 機器人裝配視覺定位應用研究[J]. 機電工程, 2011, 28(8):934-937.

[2]郭瑞, 劉振國. 基于視覺的裝配機器人精確定位研究[J]. 制造業自動化, 2014, 36(10):154-156.

[3]張昱, 陳光黎. 基于最小二乘支持向量機的機器視覺識別方法[J]. 測控技術, 2011, 30(7):97-100.

[4]段喜萍, 劉家鋒. 一種語義級文本協同圖像識別方法[J]. 哈爾濱工業大學學報, 2014, 46(3):49-53.

[5]王鵬, 王婧. 基于模糊理論的焊縫缺陷圖像識別算法研究[J]. 科學技術與工程, 2013, 13(19):5520-5523.

[6]申曉霞, 張樺. 基于深度信息和RGB圖像的行為識別算法[J]. 模式識別與人工智能, 2013, 26(8):722-728.

[7]張旭蘋, 汪家其. 大尺度三維幾何尺寸立體視覺測量系統實現[J]. 光學學報, 2012, 32(3):140-147.

[8]周加濤, 鄧文怡. 一種基于視覺測量技術的復雜工件檢測系統[J]. 北京信息科技大學學報, 2010, 25(1):34-37.

[9]趙振慶, 葉東. 垂直直線特征的雙目視覺位姿測量方法[J]. 光學學報, 2014, 34(10):185-197.

(編輯李靜)

如果您想發表對本文的看法，請將文章編號填入讀者意見調查表中的相應位置。

Visual guiding and positioning technology of robotic assembly

ZHENG Kuijing①②, PAN Chunying①②, XU Fei①②

(①Key Laboratory of Advanced Forging&Stamping Technology and Science,Yanshan Universtiy, Qinhuangdao 066004, CHN；②Hebei Provincial Key Laboratory of Parallel Robot and Mechatronic System, Yanshan University，Qinhuangdao 066004, CHN)

The application of machine vision technology in industrial automation becomes more widespread. The vision technology in robotic assembly can improve the automation of assembly. The spline shaft and sleeve are studied. Depending on the brightness difference between the spline area and non-spline area, the regional growth method is used to extract the spline area. The geometric feature points of the spline are determined and the three-dimensional measurement is achieved based on the binocular model. Using the image matching method based on feature points, the precise positioning of spline can be achieved. The detecting alignment of spline shaft and sleeve is realized based on spline gap to discriminate the alignment. The pixel area of gap determined by the camera′s imaging model is used as detection window and the alignment can be achieved. The feasibility of the visual guiding and positioning technology in robotic assembly is verified by the experiment.

machine vision; regional growth; geometrical feature points; binocular measurement; image matching

TP242.6

A

鄭魁敬,男,1971年生，副教授，主要從事機器人技術研究，已發表論文30篇。

2015-08-26)

160321

*國家自然科學基金資助項目(51275439)