采用雙目視覺的織物曲面接縫提取與縫合路徑規劃

李金鐘， 王天琪， 何俊杰， 李亮玉， 侯仰強

(天津工業大學 天津市現代機電裝備技術重點實驗室， 天津 300387)

采用雙目視覺的織物曲面接縫提取與縫合路徑規劃

李金鐘， 王天琪， 何俊杰， 李亮玉， 侯仰強

(天津工業大學 天津市現代機電裝備技術重點實驗室， 天津 300387)

針對曲面織物的接縫自動提取及縫合路徑規劃問題，提出一種基于雙目視覺的接縫自動識別方法。結合縫合預制件的三維點云與二維圖像之間的空間位置轉換關系，得到預制件二維圖像中接縫在三維點云中的映射；進一步采用基于弗萊納-雪列矢量的路徑規劃方法，對縫合路徑上各位置的弗萊納-雪列(Frenet-Serret)矢量進行計算，求出機器人末端執行器的位姿，利用MatLab對機器人的縫合路徑進行仿真。實驗結果表明：該方法能夠精確快速地對接縫的空間位置進行定位，解決了自動縫合過程中縫合路徑尋找困難、精度不高等問題，并可快速地對機器人縫合路徑進行規劃。

曲面織物； 雙目視覺； 接縫位置； 弗萊納-雪列矢量； 縫合路徑規劃

傳統的點云處理方法是基于曲率的[1]，該方法需對視覺系統獲得的三維點云進行較精確地處理。一方面，織物表面形狀的凹凸影響接縫的提取效果；另一方面，實際縫合過程中，由于織物三維特征的多樣性，采用針對某一特征建立的算法具有一定局限性，因此織物的點云處理是一個復雜且耗時的過程。相對于點云處理技術而言，對二維圖像的處理具有技術上的相對靈活性，圖像處理是對攝像機獲取的像素圖像進行處理的技術，其理論已經相對成熟，針對不同問題有多種圖像處理算法；并且正確的打光技術，能獲得較好的二維圖像，具有實驗與工業上的可控性，因此，結合二維圖像的處理技術對接縫進行提取是一種比較實用且高效的方法。雙目視覺系統是機器視覺的重要分支之一[2]，是對攝像機從不同角度獲取的物體圖像進行處理從而計算出物體三維坐標的技術[3]，該技術從二維圖像信息中提取三維圖形信息，是對信息融合技術很好的體現。本文旨在利用雙目視覺系統將二維圖像信息與三維點云信息相融合來獲取接縫信息，對接縫位置進行快速精確求解。

1 接縫空間坐標提取

雙目視覺系統是通過計算空間點在2幅圖像中的視差獲得該點的三維坐標。工作流程包括圖像采集、攝像機標定、圖像預處理、特征匹配、三維重建等。其中攝像機標定是系統工作的基礎；標定的精確與否，直接決定了三維重建的精度。為精確快速地對攝像機進行標定，前人總結了幾種標定方法，主要包括：傳統攝像機標定方法、相機自標定方法、主動視覺相機標定方法等[4]；Tsai的RAC標定方法[5]是傳統標定方法的一種，該方法標定過程分為2步：第1步，在徑向一致的約束條件下，通過矩陣變換來求得相機的外參數旋轉矩陣R和平移矩陣T；第2步，在只考慮相機徑向畸變的情況下，將相機的畸變模型引入到計算過程中，求得攝像機的內部參數。RAC標定方法得出的相機內外參數如表1所示。

表1 Tsai標定法獲得的參數

相機是基于小孔成像原理成像的[6]，如圖1所示小孔成像模型。O代表光心，xuouyu是相機成像平面；物體上的光線經成像平面匯聚于光心。位于同一條射線上的點與二維圖像平面上的點相對應，其對應關系為

(1)

式中：f為相機焦距；XC、YC、ZC為相機坐標系中的坐標；xc、yc為相機圖像坐標。

注：圖中下腳標表示相應的坐標系：w表示世界坐標；c表示相機圖像坐標；u表示像素坐標。圖1 攝像機成像模型Fig.1 Camera image model

由于現實情況下存在誤差，引入誤差因子θ可得式(2)：

(2)

則存在如下對應關系：

(3)

攝像機徑向畸變模型可由式(4)、(5)得出：

(4)

(5)

將畸變因素引入式(3)中可得：

(6)

式中：r為圖像中心到像素點的距離。

(7)

式(6)、(7)相連可得：

(8)

在實際求解過程中常常獲得的是物點在世界坐標系中的坐標，由表1可知，在攝像機標定過程中可得知由世界坐標系到攝像機坐標系轉換的外參矩陣；因此以通過矩陣變換得出圖像像素坐標與世界坐標的轉換關系。

已知

(9)

式中：p為像素坐標；PW為世界坐標；Mi為內參矩陣；Mε為外參矩陣。

p=MiPC

(10)

其中PC為攝像機坐標系點的坐標；即

(11)

展開得

(12)

其中

展開成方程組的形式

(13)

可得如下關系：

通過式(14)即可將二維圖像信息與三維圖形信息結合求得接縫在世界坐標系中的位置，式中所用參數在攝像機標定時均已求出；ε1、ε2根據實情況給出；由于所采集的點云是物體的外表面，求解的結果是射線與物體外表面的交點，不存在得到多個對應解的情況。

2 縫合路徑軌跡規劃

織物的縫合質量除了與縫合位置的尋找精度有關外，還與縫合的路徑有極大的關系；本文采用了弗萊納-雪列[7](Frenet-Serret)矢量方法進行路徑規劃。弗萊納矢量描述了曲線的切向、法向、副法方向之間的關系[8]。該路徑規劃方法如下。

獲得的接縫三維空間點經曲線擬合可表示成參數的形式；其曲線參數方程可由式(15)表示：

(15)

曲線上任意一點構造一組相互垂直的單位矢量，如圖2所示。

圖2 空間曲線的弗萊納-雪列矢量Fig.2 Frenet-Serret column vectors of space curve

圖中：et、en、eb、分別為曲線上任意一點構成的切向、法向和次法線單位矢量。

(16)

(17)

(18)

這里r′表示dr/ds，r″表示d2r/ds2；s為該曲線上點的弧長。式中：

(19)

(20)

(21)

(22)

(23)

由式(15) ～ (23)得知空間曲線的弗萊納-雪列的3個矢量；即而確定機器人末端執行器的中心坐標及位姿。當機器人跟蹤一個連續軌跡時，關節角的計算是通過末端執行器的一組連續位姿來實現的[9]。實際上，連續軌跡是通過沿連續軌跡的一組足夠靠近的位姿樣本來描述的，因此在機器人實際路徑規劃過程中需要將所擬合的曲線實體離散為一系列的點，然后對各點所對應位置的位姿進行求解，從而得到機器人不同位置的位姿。

3 試驗結果與分析

3.1 二維圖像的處理

圖像處理包括圖像變換、圖像增強、圖像復原、圖像分割、小波變換[10-11]等技術；其中圖像分割技術是近年來研究的熱點，是模式識別的基礎；在理論研究和實踐應用中都得到了廣泛的重視。

本文實驗采用厚度為5 mm玻璃纖維織物作為實驗材料，如圖3所示。對CCD攝像機獲得的二維圖像利用MatLab進行圖像增強、二值化、圖像分割、邊緣提取等來獲得接縫中心點坐標。

圖3 織物二維圖像Fig.3 Two-dimensional image of fabric

對圖像進行處理獲得的接縫中心點像素坐標如圖4所示。

圖4 接縫圖像像素坐標Fig.4 Image pixel coordinates of seam

3.2 三維接縫點的獲取

本文實驗通過三維掃描儀器CPOSmini獲得織物的三維點云，如圖5所示。織物點云表面凹凸不平，情況復雜，一個區域與另一個區域邊界測量點的法向矢量或曲率存在突變，因此，基于曲率的接縫提取方法對點云的處理有很高的要求；對于實際應用中快速性、精確性的要求難以得到滿足。本文提出的結合二維圖像對接縫位置進行提取能夠很好地滿足工業上的需求。

圖5 三維點云Fig.5 Three-dimensional points cloud

在得知接縫的二維圖像像素坐標與三維點云的基礎上由式(14)可得出接縫在點云中具體位置，而在實際縫合過程中，縫合位置相對于接縫的位置有一定的偏移；通過一定的偏移方法即可實現縫合位置的定位；定位后的縫合位置處點云如圖6所示。

圖6 接縫三維坐標Fig.6 Three-dimensional coordinates of seam

對所獲取的點進行曲線擬合得方程如下：

x=3.362×10-7t4-2.081×10-4t3+ 2.463×10-2t2+1.839t-56.09

y=-2.666×10-6t4+5.033×10-4t3- 4.176×10-3t2-1.935t+68.6

z=-9.244×10-7t4+2.149×10-4t3- 9.142×10-3t2-1.135×10-2t-19.08

機器人縫合過程中不同位置的位姿可通過對參數t進行賦值求得；本文實驗對曲線上30個位置的坐標進行求解，結果如表2所示。

表2 曲線離散點

對表2中各點所代表的位置進行弗萊納-雪列矢量求解，序號為1的點處的位姿矩陣O如式(24)所示；求得每個點的三維雪列矢量即可得知工具坐標位姿；對縫合路徑規劃如圖7所示。

(24)

圖7 縫合路徑規劃Fig.7 Stitching path planning

該方法在得到縫合軌跡方程后，通過計算得出機器人末端執行器的位姿，進而指導縫合機器人對織物進行縫合操作；實現縫合過程的自動化與智能化。

4 結束語

1)本文針對織物接縫的智能縫合問題，提出了融合二維圖像與三維圖形信息的接縫提取方法，解決了傳統接縫求取方法通用性差、求解過程容易受干擾等問題。

2)采用了基于弗萊納-雪列(Frenet-Serret)矢量的方法，精確快速地對機器人縫合過程中末端操作器的位姿進行求解。

[1] 馬驪溟, 徐毅, 李澤湘. 基于高斯曲率極值點的散亂點云數據特征點提取[J]. 系統仿真學報，2008(9):2341-2344. MA Limin,XU Yi, LI Zexiang. Extracting feature points for scattered points based on gauss curvature extreme point[J].Journal of System Simul Ation, 2008(9):2341-2344.

[2] 羅桂娥. 雙目立體視覺深度感知與三維重建若干問題研究[D].長沙:中南大學,2012:23. LUO Guie. Some issues of depth perception and three dimention reconstruction from binocular stereo vision[D]. Changsha:Central South University， 2012:23.

[3] 全燕鳴,黎淑梅,麥青群. 基于雙目視覺的工件尺寸在機三維測量[J]. 光學精密工程,2013(4):1054-1061. QUAN Yanming,LI Shumei,MAI Qingqun.On-machine 3D measurement of workplace dimensions based on binocular vision[J].Optics and Precision Engineering.2013(4):1054-1061.

[4] 邱茂林,馬頌德,李毅. 計算機視覺中攝像機定標綜述[J]. 自動化學報,2000(1):47-59. QIU Maolin,MA Songde,LI Yi. Overview of camera calibration for computer vision[J]. Acta Automatic Sinica, 2000(1):47-59.

[5] 李鵬,王軍寧. 攝像機標定方法綜述[J]. 山西電子技術,2007(4):77-79. LI Peng,WANG Junning. Overview of camera calibration methods[J]. Shanxi Electronic Technology,2007(4): 77-79.

[6] BOGUSLAW Cyganek. An Introduction to 3D Computer Vision Techniques and Algorithms[M]. Germany: Wiley, 2009:15-40.

[7] BINI D, DE FELICE F, JANTZEN R T. Absolute and relative frenet-serret frames and Fermi-walker trans-port [J].Classical and Quantum Gravity, 1999, 16:2105-0124.

[8] ARREAGA G, CAPOVILLA R, GUVEN J. Frenet-serret dynamics[J].Classical and Quantum-Gravity, 2001,18:5065-5083.

[9] JORGE Angeles. Fundamentals of Robotic Mechanical Systems[M]. New York: Springer Verlag New York Inc, 2002:351-386.

[10] 王愛民,沈蘭蓀. 圖像分割研究綜述[J]. 測控技術，2000(5):1-6,16. WANG Aimin, SHEN Lanquan. Study surveys on image segmentation[J]. Measurement & Control Technology, 2000(5):1-6,16.

[11] 殷明. 四元數小波變換理論及其在圖像處理中的應用研究[D].合肥:合肥工業大學,2012:27. YIN Ming. Research on quaternion wavelet transformation theory and its application in process-ing[D]. Hefei:Hefei University of Technology,2012:27.

Fabric curved surface seam extraction using binocular vision and stitching path planning

LI Jinzhong, WANG Tianqi, HE Junjie, LI Liangyu, HOU Yangqiang

(TianjinKeyLaboratoryofAdvancedMechatronicsEquipmentTechnology,TianjinPolytechnicUniversity,Tianjin300387,China)

Aiming at the seam automatic extraction and the stitching path planning of curve surface fabrics, a seam automatic recognition method based on binocular vision was proposed. Combining the spatial position conversion relation between three dimensional points cloud and the two dimensional image of a stitched prefabricated part, the map of the same in two dimensional image of the prefabricated part in the three dimensional points cloud was acquired. Furthermore, Frenet-Serret vectors in all positions of the stitching path were calculated by a path designing method based on Frenet-Serret vectors, the posture of a robot terminal was calculated, and the stitching path of the robot was simulated using MatLab. The experimental results show that the method can position the spatial positions of a seam accurately and quickly and solve the problems in the automatic stitching process on difficut stitching path search and low precision, and can also plan a stitching path of the robot quickly.

curve surface fabric; binocular vision; seam position; Frenet-Serret vector; stitching path planning

10.13475/j.fzxb.20160801505

2016-08-08

2017-05-04

國家自然科學基金資助項目(U1333128)； 天津市科技支撐計劃重點項目(15ZCZDGX00300)

李金鐘(1994—)，男，碩士生。主要研究方向為機器人視覺。王天琪，通信作者，E-mail: 4320304@qq.com。

TP 391.4； TP 242.2

A