面向蜂窩結構件的機器人視覺定位方法

張嘉禮 李 特 譚朝元 劉海波 劉 闊 李蘭柱 王永青

?

面向蜂窩結構件的機器人視覺定位方法

張嘉禮1李 特1譚朝元2劉海波1劉 闊1李蘭柱2王永青1

（1. 大連理工大學機械工程學院精密與特種加工教育部重點實驗室，大連 116024； 2. 航天材料及工藝研究所,北京 100076）

針對航空航天等領域蜂窩夾層結構件機器人化制造中的蜂窩型特征精確定位問題，提出了一種利用雙目視覺引導工業機器人進行蜂窩夾層結構件單孔灌注的定位方法。目標區域分割原始雙目圖像，并通過雙目匹配計算生成三維深度圖；邊緣檢測、膨脹、腐蝕、骨骼提取、多邊形擬合處理左圖像蜂窩棱邊，獲得蜂窩角點特征的二維坐標，再利用深度圖獲得蜂窩特征角點空間坐標。利用6個角點坐標計算得到蜂窩芯孔的空間定位位姿信息。最后，在工業機器人和雙目相機構成的定位系統上定位試驗蜂窩結構件。結果表明：該定位方法能夠精確定位存在一定變形的蜂窩芯孔（非標準六邊形），其定位精度約為2mm，能夠滿足灌注作業精度要求。

工業機器人；機器視覺；機器人定位；蜂窩特征

1 引言

為保證飛機等飛行器內部重要儀器設備的安全性，需要在某些結構部件中安裝蜂窩夾層[1，2]。密集排列的蜂窩狀芯孔較多采用隔熱件夾層結構。制造蜂窩夾層結構件時，需要在芯孔中填充隔熱材料[3，4]。為解決人工灌注出現的質量差、效率低、勞動強度高等難題，制造過程機器人化已成為迫切需求。機器人灌注裝置在蜂窩結構件上的精準定位是技術難題之一。

針對機器人定位問題，國內外學者提出了很多行之有效的方法。孟浩[5]等提出了一種結合SIFT特征點的雙目立體視覺定位方法，能夠對雙目視覺中的左右圖像分別檢測特征點實現精確雙目定位。李靖[6]等為降低雙目視覺中稠密對應點匹配的復雜度，引入編碼結構光條紋約束空間從而實現三維重建。宋忠超[7]基于三維光學掃描，將處理后的點云數據與三坐標測量儀數據相融合，有效解決了蜂窩輪廓的計算。李剛[8]針對密集規則排列物體，提出了一種特征擬合方法實現蜂窩孔中心的識別定位。仲訓杲[9]等研究了多模特征深度學習與融合方法，并應用于高精度定位引導。然而，由于密集排列的隔熱夾層件存在局部變形、毛刺、大量重復特征等不利于識別因素，導致機器人末端執行裝置定位難度較大。

因此，以蜂窩夾層件芯孔的精確定位為目標，提出了一種基于雙目立體視覺的機器人末端執行裝置定位方法。通過分析蜂窩排列方式，分割出目標區域降低處理難度；采用基于閉運算的蜂窩角點特征提取方法計算蜂窩角點坐標；根據角點坐標計算出蜂窩輪廓的空間位姿；最后，驗證了所提定位方法對蜂窩特征結構件的有效性。

2 基于雙目立體視覺的定位原理

圖1 隔熱夾層件實物

夾層結構件一般由密集排布的正六邊形蜂窩芯孔構成，如圖1所示。視覺定位目的在于輔助機器人及末端執行裝置精準定位在芯孔的中心位置。由于制造工藝限制，蜂窩芯孔往往存在一定程度的不規則形變和邊緣毛刺。因此，蜂窩芯孔的視覺定位存在以下特點：

a. 特征重復：蜂窩芯孔的高重復性會使幾何特征難以區分，引起視覺測量過程中目標點誤匹配，從而導致識別誤差；

b. 幾何變形：蜂窩受擠壓等因素影響，實際形狀與正六邊形有一定偏差，導致難以用先驗模型特征匹配識別；

c. 毛刺干擾：蜂窩棱邊凸起的毛刺會影響邊界特征分布，導致邊緣提取困難。

綜合考慮蜂窩芯孔視覺定位特點及空間位姿識別需求，提出了一種基于雙目立體視覺信息的機器人精準定位方法。

圖2 雙目測量原理

雙目立體視覺定位是基于視差原理由左右兩個相機圖像中匹配點的二維像素坐標重建空間點三維坐標。如圖2所示，設左相機坐標系為O-XYZ，原點位于光心上，其圖像坐標系為o-xyz，有效焦距為f；右相機坐標系為O-XYZ，原點位于光心上，其圖像坐標系為o-xyz，有效焦距為f；為物體空間點，在左右兩相機平面內的坐標分別為(x,y)和(x,y)；世界坐標系與左相機坐標系重合，且右相機坐標系與左相機坐標系之間的位置關系可由一個空間轉換矩陣表示：

空間點三維坐標可以表示為：

圖3 雙目視覺定位流程圖

基于雙目視覺的蜂窩特征定位方法流程如圖3所示，具體為：

a. 將雙目相機安裝于工業機器人末端法蘭盤上，組成手眼檢測系統；

b. 根據蜂窩分布特征分割定位芯孔的目標區域圖像，以降低計算復雜度；

c. 雙目圖像立體匹配、視差計算及深度圖構建；

d. 左右相機圖像預處理，獲取蜂窩角點在圖像中的二維坐標信息；

e. 根據深度圖，解算角點特征的三維坐標信息；

f. 根據目標蜂窩角點特征的空間坐標計算蜂窩芯孔位姿，完成空間定位。

3 蜂窩芯孔特征圖像處理方法

3.1 目標區域圖像分割

蜂窩型結構中含有大量重復性特征，在雙目匹配過程中會導致特征點的誤匹配從而對測量精度產生影響。因此，提出分割雙目圖像的方法，以保留目標區域局部特征，同時縮小搜索空間，提高計算速度。

圖像的分割效果如圖4所示。結合蜂窩材料的成型方法，找到與粘膠垂直的方向，即圖4中的水平方向，該方向上的蜂窩呈直線均布。根據視場范圍、相機機距和采集高度計算出同一特征在左右兩幅圖像中的視差值。分別只選取固定視差的區域為有效區域計算，例如圖4中的實線框區域。完成一個蜂窩孔的定位后，相機沿水平方向平移一個蜂窩的位置，則虛線框中的蜂窩會進入有效區域。通過調整第一次拍照的位置就可以對同一行的蜂窩連續定位計算。

圖4 圖像分割效果

3.2 基于閉運算的蜂窩角點特征提取

蜂窩的不規則變形與隨機分布的毛刺會導致特征邊界像素點灰度值分布不均勻，從而嚴重干擾對蜂窩邊界特征的識別與提取。提出基于閉運算原理的蜂窩角點特征提取方法，獲得角點三維坐標。

首先，立體匹配分割處理后的雙目圖像。綜合考慮計算速度與精度要求，采用塊匹配算法[10]。塊匹配算法使用絕對誤差累計的小窗口來檢測兩幅圖像之間的匹配點。最優匹配點是由匹配代價決定的。匹配代價值越小表示匹配度越高。雙目匹配分割后有效區域得到視差圖，結合相機內外參數計算出深度信息，即圖像每個特征點的三維坐標。

匹配代價公式如下：

其中，、和分別表示匹配窗口中點的灰度值、窗口大小和窗口位移量。

圖5 左圖像二維角點特征提取

選取左圖像，基于閉運算提取二維角點特征坐標，如圖5所示。提取過程包括邊緣檢測、膨脹、腐蝕和骨骼提取4個步驟。

步驟1：基于Canny邊緣檢測方法檢測分割后的局部蜂窩圖像邊緣。Canny邊緣檢測是基于圖像梯度理論的邊緣檢測算法，其原理是將原始圖像矩陣(,)進行高斯濾波，并得到矩陣(,)×G(,)（為尺度因子）。再對矩陣()×G()進行梯度計算，其梯度矢量的模M和方向A分別為：

圖像邊緣特征點即為在A方向上使M取得局部極大值的點。如圖5a所示，左蜂窩圖像經邊緣檢測后只剩下六邊形蜂窩邊緣輪廓信息。邊緣提取實現了亮度變化明顯特征點的標識及噪點剔除。

步驟2：采用膨脹算法將由蜂窩變形和光線引起的邊緣不完整特征進行修補，如圖5b所示，實現兩條不完整的蜂窩棱邊的封閉連接。

步驟3：基于腐蝕算法細化膨脹后圖像如圖5c所示，消除小且無意義的點。由膨脹和腐蝕組成的閉運算方法具有填充蜂窩棱邊圖像的不規則細小空洞、連接鄰近特征及平滑邊界的作用。

步驟4：基于Zhang并行快速細化算法的骨骼提取運算。骨骼提取運算是將圖像核心骨架特征保留與贅余點刪除的方法。Zhang并行快速細化算法具有速度快、曲線連通和無毛刺等特點[11]，適合于蜂窩型結構的骨骼提取。如圖5d所示，經骨骼提取后，可將腐蝕后的蜂窩棱邊厚度進一步消除，得到由棱邊中心特征點組成的單像素厚度輪廓。

基于道格拉斯-普克算法進行蜂窩棱邊輪廓點集的多邊形擬合，獲得蜂窩角點在圖像當中的二維坐標值。道格拉斯-普克算法是將曲線近似表示為一系列點組成的折線，以減少點數量的一種擬合算法。擬合效果如圖6a所示，將擬合結果投影到原圖上的效果如圖6b所示。可以看出，本文所提出的基于閉運算的蜂窩角點特征提取方法能夠準確有效地得到蜂窩角點在單幅圖像中的二維坐標值。將擬合得到的二維蜂窩角點坐標代入深度圖中，計算得到目標蜂窩的6個角點三維坐標值。

圖6 圖像預處理流程

3.3 蜂窩芯孔空間定位模型

在獲得蜂窩特征角點在世界坐標系（即左相機坐標系）O-XYZ下的空間坐標1～6后，如圖7所示，需要建立蜂窩芯孔定位模型，即機器人末端為實現灌注操作需要到達的空間位姿點。

圖7 蜂窩芯孔位姿計算方法

蜂窩芯孔中心點的坐標可以認為是6個蜂窩角點坐標值的平均值：

使用最小二乘法可以將6個蜂窩角點擬合出一個蜂窩表面所在的平面，該平面的法向量即為蜂窩芯孔的空間姿態。

4 機器人視覺定位實驗

4.1 系統搭建

基于雙目視覺的工業機器人蜂窩灌注定位系統主要由KUKA工業機器人、雙目工業相機和控制系統三部分組成，如圖8所示。

圖8 基于視覺的工業機器人蜂窩灌注定位系統

采用KUKA KR120R 2500PRO型工業機器人，其有效負載120kg、工作半徑2500mm，能夠實現2m×1.5m蜂窩件的全區域定位。采用Basler acA2440-20gm型工業相機，其分辨率為2440px×2040px、搭配鏡頭焦距為8mm。當相機采集距離為200mm時，有效視野為 215mm×180mm、分辨率為0.088mm，能夠滿足視覺定位精度需求。

工業相機固定在機器人末端的執行裝置上，與機器人構成一個“眼在手”的視覺定位系統。工業相機通過網線將采集到的蜂窩圖像發送給控制系統。控制系統以visual studio2017為開發工具，實現機器人定位功能。控制系統通過TCP/IP協議將蜂窩芯孔定位的位姿數據傳遞給機器人。機器人根據接收到位姿數據規劃軌跡并移動到目標位置，完成定位。

4.2 定位實驗結果

在基于雙目視覺的機器人定位精度驗證試驗中，采用邊長15mm、棱邊厚1.5mm、孔深50mm的蜂窩結構件，并選取5個具有不同變形特征的蜂窩芯孔，如圖9所示。

圖9 試驗用蜂窩件

表1 機器人X、Y、Z軸定位結果 mm

表2 機器人B、C軸定位結果 (°)

在機器人達到實際定位位置后，記錄下實際定位位置的機器人末端執行器六自由度坐標。再通過示教器調整機器人位置，使其運動到后續能夠灌注的理論位置并記錄下此時機器人末端執行器六自由度坐標，將兩者進行比較。、、軸誤定位結果如表1所示，、軸定位結果如表2所示（軸上誤差為0）。在水平位移方向上實際定位位置和理論位置的定位誤差最大值為1.37mm，平均值為0.72mm。考慮到灌注頭直徑為16mm、蜂窩內切圓直徑約為26mm，在此誤差范圍內灌注頭能夠保證完全在蜂窩芯孔內而不會對蜂窩造成破壞。在豎直方向上實際定位位置和理論位置的定位誤差最大值為1.88mm，平均值為1.23mm，在后 續灌注工藝允許的高度誤差內。旋轉方向上誤差最大值為2.89°，平均值為1.92°，蜂窩孔平均深度為50mm 時伸入底端的最大偏差為2.52mm，平均偏差為2.34mm，能夠滿足對于后續工藝定位的需求。

5 結束語

針對蜂窩材料灌注定位困難的問題，提出了一種基于雙目視覺信息定位蜂窩芯孔特征的方法，并以工業機器人為載體，實現了機器人末端執行器的準確定位。實驗結果表明：本方法能夠有效定位有輕度變形的蜂窩芯孔，其定位精度可以滿足灌注工藝需求。

1 梁馨，譚朝元，羅麗娟，等. 低密度防熱材料燒蝕性能研究[J]. 載人航天，2016，22(3)：298～301

2 陳華建. 大型球冠蜂窩結構防熱層自動灌注機器人系統研究[D]. 北京：北京交通大學，2016

3 馬秀萍，郭亞林，張祎. 輕質燒蝕防熱材料研究進展[J]. 航天制造技術，2018(1)：2～6

4 武海生，鄭建虎，徐偉麗，等. 航天器蜂窩夾層結構膠膜熱破工藝研究[J].航天制造技術，2015(4)：10～13

5 孟浩，程康. 基于SIFT特征點的雙目視覺定位[J]. 哈爾濱工程大學學報，2009，30(6)：649～652，675

6 李靖，王煒，張茂軍. 雙目立體視覺和編碼結構光相結合的三維重建方法[J]. 計算機應用，2012，32(S2)：154～158，161

7 宋忠超. 蜂窩芯類復合材料零件數字化測量方法研究[D]. 成都：西南交通大學，2017

8 李剛. 基于機器視覺的密集復雜物體識別與定位[D]. 哈爾濱：哈爾濱工業大學，2013

9 仲訓杲，徐敏，仲訓昱，等. 基于多模特征深度學習的機器人抓取判別方法[J]. 自動化學報，2016，42(7)：1022～1029

10 林森，殷新勇，唐延東. 雙目視覺立體匹配技術研究現狀和展望[J]. 科學技術與工程，2017，17(30)：135～147

11 Zhang T Y, Suen C Y. A fast parallel algorithm for thinning digital patterns[J]. Communications of the ACM, 1984, 27(3): 236～239

Robot Vision Location Method for Honeycomb Structures

Zhang Jiali1Li Te1Tan Chaoyuan2Liu Haibo1Liu Kuo1Li Lanzhu2Wang Yongqing1

(1. Key Laboratory for Precision and Non-Traditional Machining Technology of Ministry of Education, Dalian University of Technology, Dalian 116024；2. Aerospace Research Institute of Materials & Processing Technology, Beijing 100076)

Aiming at the problem of accurate localization of honeycomb feature in robotic manufacturing of honeycomb sandwich structure in aerospace field, a localization method using binocular vision to guide industrial robots in single hole filling of honeycomb sandwich structure is proposed. Firstly, the binocular image is segmented into target regions, and the three-dimensional depth map is generated by binocular matching calculation. Then, edge detection, dilation, erosion, skeleton extraction and polygon fitting are carried out on the left camera image to obtain the two-dimensional coordinates of the honeycomb corner feature, and then the actual three-dimensional coordinates are calculated according to the two-dimensional positioning results in depth maps. The position and rotation information of honeycomb holes are obtained by thethree-dimensional coordinates. Finally, the positioning experiment of honeycomb structure parts is carried out on the positioning system composed of industrial robot and binocular camera. The experimental results show that the proposed location method can accurately locate honeycomb holes (non-standard hexagon) with certain deformation. The positioning accuracy is less than 2mm, and the positioning accuracy can meet the accuracy requirements of subsequent perfusion operations.

industrial robot；machine vision；robot localization；honeycomb structure

國家自然科學基金（51805071）；中央高校基本科研業務費DUT17JC16、DUT18RC(3)073。

張嘉禮（1994），碩士，機械設計制造及其自動化專業；研究方向：機器人控制。

2019-02-25