基于雙目立體視覺技術的運動物體空間位置信息測量方法研究

孫瑞軒，董 浩，肖 磊，張田龍

(河北省自動化研究所，河北石家莊 050081)

基于雙目立體視覺技術的運動物體空間位置信息測量方法研究

孫瑞軒，董 浩，肖 磊，張田龍

(河北省自動化研究所，河北石家莊 050081)

為了使Delta機器人能夠快速、準確地拾取隨機出現在輸送帶不同位置上的不同高度的目標物體，設計了一套可獲取運動目標物體空間位置信息的測量系統。利用LabVIEW與Matlab混合編程技術，同時結合雙目立體視覺技術和圖像處理技術以及光電傳感設備，實現了對運動物體空間位置信息的準確獲取。對該系統的測試方法和測試數據進行了實際檢測和分析，檢測數據表明，經過圖像徑向畸變矯正后，由該系統及測試方法獲取的空間位置信息數據具有較小的相對誤差。

工業機器人技術；混合編程；雙目視覺；空間位置信息；Delta機器人

機器人技術整合各領域的研究成果，有機集成各領域的技術優勢，并且應用范圍廣泛,對現代化的新技術產業有著極其重要的引領作用[1]。工業機器人已經被廣泛應用于汽車領域的焊接、噴漆、熱處理、搬運、裝配等作業,在碼垛、食品和藥品等領域，工業機器人正在逐步代替人工從事繁重枯燥和大量重復性的搬運、分揀、包裝等作業。作為典型的機電一體化數字化裝備，工業機器人已經成為衡量一個國家制造業水平和科技水平的重要標志[2]。

Delta機器人屬于高速、輕載的并聯機器人，有剛度大、承載能力強、動力性能好等特點[3],主要應用在電子、食品、醫藥等行業中進行快速分揀、包裝等作業。在分揀作業中，由于散落在輸送帶上的目標物體位置一般是隨機的，所以通常利用機器視覺技術首先對目標物進行定位，然后由機器人進行拾取。但現有大多數機器視覺系統為單目視覺系統，只能獲取目標物體的二維平面位置信息，而物體的高度信息則無法測量，將目標物限制在必須擁有相同高度這個條件下，這并不符合柔性化生產方式的發展要求。

本文在結合現有機器人視覺識別方法的基礎上，提出了一種基于LabVIEW與Matlab混合編程方式的雙目立體視覺定位系統和測量方法，利用該定位系統及測量方法可以對輸送帶上的動態物體特征點實現定位及三維測量。

1 雙目立體視覺技術

立體視覺技術是機器人技術研究中最為活躍的一個分支，是工業機器人智能化的重要標志[4]。雙目立體視覺技術是通過兩幅從不同視角獲取的同一目標圖像，通常經過圖像采集、攝像機標定、特征提取、圖像立體匹配、空間點重建5個步驟獲得目標的三維信息，實現三維坐標定位和測量的目的。

雙目立體視覺技術通過計算空間點在兩幅圖像中的視差獲得該點的三維坐標值，工作原理如圖1所示。

圖1 雙目視覺成像原理示意圖Fig.1 Imaging principle sketch of binocular vision

假設一套理想的實驗裝置，鏡頭無畸變、兩像平面ML，MR嚴格處于同一平面上、相機光軸嚴格平行且距離為定值等[5]。若將投影中心OL設為世界坐標原點，光軸與像平面交點分別為主點CL和CR，點P對應世界坐標為(XW，YW，ZW)，兩像平面成像點PL和PR相對各自主點的坐標分別為(xL，yL)和(xR，yR)，焦距均為f，基線距離為B，則由相似三角形易得

(1)

同時易得

(2)

(3)

這樣點P相對于OL的空間三維坐標值就可以唯一確定。

但在實際應用中，如圖2所示，無法保證成像平面的嚴格共面和光軸嚴格平行等條件成立，故一般需要在應用前首先對雙目視覺系統進行標定，最終可以通過去除畸變、旋轉和平移等手段矯正統一系統坐標系，實現相機在數學上的對準同一成像面[6-11]，便于后期運算。

圖2 實際雙目視覺成像示意圖Fig.2 Practical imaging sketch of binocular vision

2 構建測量系統平臺

測量系統平臺由雙目立體視覺測量軟件系統和硬件系統構成。軟件系統包括雙目立體視覺圖像采集軟件和雙目立體視覺圖像處理軟件，可以在互動式人機界面下實現系統參數標定、圖像實時采集、目標識別、數據處理的功能；硬件系統包括2個通過以太網通信的彩色工業相機、2個白色LED條形光源、1個光電傳感設備、1條輸送設備，能夠實現物體的勻速運動和相機的外部硬件觸發，捕獲到目標物清晰的圖像。

2.1 圖像采集軟件

圖像采集軟件利用由美國NI公司研制的LabVIEW進行開發，LabVIEW擁有圖形化編輯語言、大量與傳統儀器儀表外觀相似的控件以及龐大的函數庫[12-13]，這些都十分方便地創建一個美觀有效的用戶界面，同時可并行處理的程序運行方式為雙目視覺圖像采集的同步性提供了必要保證。

LabVIEW圖像采集程序流程圖如圖3所示，該程序共包含8個子VI，其中相機設置VI通過將相應值賦給IMAQdx屬性節點中對應的項[14]，配置相機的觸發方式及觸發條件；本測量系統結合外部光電傳感設備實現相機的外部硬件觸發；照片保存設置VI將捕獲的照片以系統時間加相機名稱的格式保存至指定路徑下，圖片可保存為BMP，JPEG，PNG等格式；最終圖像以引用句柄型式輸出，便于后期圖像處理調用。通過程序前面板可以對單個相機的曝光時間、數據包大小進行設置，并可以實時讀取相機的幀率。實驗證明，2個相機拍攝的時間差不超過3 ms，可以滿足常見速度下動態物體的測量。

圖3 基于LabVIEW圖像采集程序Fig.3 Image acquisition program based on LabVIEW

2.2 圖像處理軟件

圖像處理軟件基于LabVIEW和Matlab混合編程技術開發，實現LabVIEW和Matlab混合編程主要有3種方法[15-16]：利用LabVIEW的Matlab腳本功能模塊；利用COM組件調用Matlab算法；利用LabVIEW調用動態鏈接庫。方法1中，可以在LabVIEW的Matlab Script節點中直接編輯調用Matlab命令，易于操作，但必須保持Matlab進程始終處于運行狀態；方法2可以脫離Matlab運行環境，效率較高，但是比較繁瑣，適用于大型系統設計[17];方法3會造成Matlab圖像處理中的一些功能無法使用。綜上，針對本系統的特性，選擇調用LabVIEW中Matlab腳本模塊實現混合編程，既可以實現較好的人機界面設計，同時也可以滿足圖像處理的可靠性。

在進行圖像處理前需要對雙目相機進行標定，利用Matlab工具箱中立體標定工具可以較好地完成標定工作，將標定參數保存為MAT格式，方便后期調用。

測試實驗用已知固定高度的圓形目標物作為識別對象，如圖4所示程序流程圖，通過Matlab Script調用雙目相機標定參數對雙目圖像進行矯正等處理，實現目標物的邊緣檢測、尺寸大小、中心定位以及物體中心世界坐標的測量。

圖4 基于LabVIEW Matlab Script圖像 處理程序Fig.4 Image processing program based on LabVIEW Matlab Scrip

2.3 硬件系統

為了增加測量系統的通用性及可靠性，該系統中圖像信息通過以太網傳輸，光電傳感設備用于實現相機的硬件外部觸發，可以有效保證雙目相機捕獲圖像的同步性。相機采集圖片分辨率為2 590×1 942，最高采集速率為14 幀/s，可以滿足系統測量要求。LED輔助光源能夠克服環境光干擾,保證圖像的穩定性，降低了圖像處理的算法難度。由伺服電機驅動的輸送帶設備可以保證物體勻速運動。

相機視場大小為256 mm×192 mm，相機工作距離為550 mm，因此相機能夠檢測到的最小特征尺寸(2個像素可表達的實際視場圖像)約為0.197 7 mm，從硬件性能上能夠保證本測量系統擁有較高精度。

3 測試實驗及數據分析

為了驗證測量系統和測試方法結果的可靠性，進行了2組實驗檢測。

實驗1，分別對放置在同一起始位置的4種不同高度目標物體進行了三維坐標的測量，每個高度下的雙目圖像經過數據處理后如圖5和圖6所示,圖像處理軟件可以較好地捕捉到目標物體邊緣，即使在視野內目標物體不完整的情況下依然能夠較為準確地實現邊緣識別，為準確地計算出物體中心位置和尺寸參數提供了有效保證。

圖5 高度Ⅰ和高度Ⅱ物體處理后雙目圖像Fig.5 Processed binocular images of objects at heightⅠand height Ⅱ

圖6 高度Ⅲ和高度Ⅳ物體處理后雙目圖像Fig.6 Processed binocular images of objects at height Ⅲ and height Ⅳ

目標物高度位置Ⅰ世界坐標XW/mm誤差/mmYW/mm誤差/mmZW/mm誤差/mm位置Ⅱ世界坐標XW/mm誤差/mmYW/mm誤差/mmZW/mm誤差/mmHeightⅠ-8．680．11-6．210．16550．95-0．1431．771．17-48．850．20552．060．97HeightⅡ-8．140．43-6．270．10528．71-0．1832．560．38-49．380．33530．711．82HeightⅢ-8．640．07-6．410．04506．41-0．2833．330．39-48．960．10508．481．79HeightⅣ-8．810．24-6．580．21484．05-0．4434．101．16-49．030．02486．692．20∑Xi/N-8．750．21-6．370．13573．29-0．2632．940．78-49．050．16573．291．70標準差S0．290．180．391．100．252．25目標物高度位置Ⅲ世界坐標XW/mm誤差/mmYW/mm誤差/mmZW/mm誤差/mm位置Ⅳ世界坐標XW/mm誤差/mmYW/mm誤差/mmZW/mm誤差/mmHeightⅠ73．991．9933．180．52553．452．3699．822．23-71．970．62557．936．84HeightⅡ75．020．9533．010．35531．652．76101．570．48-72．460．13535．716．82HeightⅢ76．610．6432．490．17509．372．68102．820．77-72．600．01514．507．81HeightⅣ78．282．3131．970．69486．962．47103．981．94-73．320．73493．418．92∑Xi/N75．981．4732．660．43573．292．57102．051．35-72．590．37573．297．60標準差S2．060．603．321．950．609．86

從表1中可以看出，隨著距離d的增大，坐標XW和YW相對誤差變化并不明顯，可以實現這2個坐標方向上的準確定位，但是ZW的相對誤差亦隨之增大。參考式(1)可知，焦距f和基線距離B為定值，則ZW與xL和xR有關，隨著距離d的增加，由于鏡頭透鏡會在成像平面的邊緣產生畸變，導致xL和xR偏離理論值增大，進而使得ZW的相對誤差變大。本系統中的系統誤差主要來自于相機標定過程中產生的標定誤差和鏡頭畸變產生的誤差，而后者是系統誤差的主要來源。考慮到徑向畸變是鏡頭畸變的主要形式，故對其進行矯正，通過相機標定后可得式(4)—式(7)。

xL(corrected)=xL(1-0.202 3r2+0.057r4),

(4)

yL(corrected)=yL(1-0.202 3r2+0.057r4),

(5)

xR(corrected)=xR(1-0.170 1r2+0.043r4),

(6)

yR(corrected)=yR(1-0.170 1r2+0.043r4),

(7)

表2 圖像徑向畸變矯正后中心點ZW坐標測量數據

4 結 語

1)研究設計了一套基于雙目立體視覺技術獲取運動物體三維坐標的測量系統，該系統主要包括基于LabVIEW開發的圖像采集軟件、基于LabVIEW與Matlab混合編程技術開發的圖像處理軟件、高分辨率工業相機、光源、光電傳感設備和伺服電機驅動的輸送設備，能夠較穩定地實現目標物邊緣檢測、尺寸檢測和中心點三維坐標的測量，為Delta機器人實現準確、快速拾取不同高度目標物提供了一個有效的解決方法。

2)對基于雙目立體視覺技術獲取運動物體三維坐標測量系統的測試數據結果進行了分析，分析認為，由于鏡頭成像畸變，處于圖像邊緣的物體中心點高度坐標的測量相對誤差較大，經過對圖像徑向畸變矯正后，可以將高度坐標測量相對誤差減小至4 mm以內。

[1] 徐揚生.智能機器人引領高新技術發展[N].科學時報,2010-08-12(1).

[2] 王田苗, 陶永.我國工業機器人技術現狀與產業化發展戰略[J].機械工程學報, 2014, 50(9): 1-13. WANG Tianmiao, TAO Yong. Research status and industrialization development strategy of Chinese industrial robot[J]. Journal of Mechanical Engineering，2014, 50(9): 1-13.

[3] 馮李航,張為公,龔宗洋,等. Delta系列并聯機器人研究進展與現狀[J]. 機器人, 2014, 36(3): 375-384. FENG Lihang, ZHANG Weigong, GONG Zongyang, et al. Developments of Delta-like parallel manipulators: A review[J]. Robot, 2014, 36(3): 375-384.

[4] 林琳. 機器人雙目視覺定位技術研究[D]. 西安:西安電子科技大學, 2009. LIN Lin. The Research of Visual Positioning Technology on the Binocular Robot[D]. Xi’an: Xidian University, 2009.

[5] BRADSKI G,KAEHLER A. 學習OpenCV[M]. 于仕琪, 劉瑞禎，譯.北京:清華大學出版社, 2009.

[6] TSAI R Y. An efficient and accurate camera calibration technique for 3D machine vision[J]. Proceedings of IEEE Conference of Computer Vision and Pattern Recognition, 1986, 10(3):364-374.

[7] 張蓬, 王金磊, 趙弘. 機器人雙目立體視覺測距技術研究與實現[J].計算機測量與控制, 2013, 21(7): 1775-1778. ZHANG Peng, WANG Jinlei, ZHAO Hong. Research and implementation of robotic binocular visual distance measuring technology[J]. Computer Measurement & Control, 2013, 21(7): 1775-1778.

[8] 石繼雨. 機器人雙目立體視覺技術研究[D]. 哈爾濱:哈爾濱工程大學,2003. SHI Jiyu, Research on Robot Binocular Stereo Vision[D]. Harbin: Harbin Engineering University, 2003.

[9] 孫鳳連. 機器人雙目視覺系統的三維測量方法[D].廣州:廣東工業大學, 2015. SUN Fenglian. The 3D Measurement Method of Binocular Vision System of Robot[D].Guangzhou: Guangdong University of Technology, 2015.

[10]王殿君. 雙目視覺在移動機器人定位中的應用[J].中國機械工程, 2013, 24(9): 1155-1158. WANG Dianjun. Application on binocular vision system of a mobile robot[J]. China Mechanical Engineering, 2013, 24(9): 1155-1158.

[11]陳熙引.基于雙目視覺的機器人焊縫識別及軌跡規劃研究[D].廣州:華南理工大學,2014. CHEN Xiyin. Research on Seam Recognition and Path Planning of Robot Based on Binocular Vision[D].Guangzhou: South China University of Technology,2014.

[12]阮奇楨.我和LabVIEW:一個NI工程師的十年編程經驗 [M]. 2版.北京:北京航空航天大學出版社,2012.

[13]陳樹學，劉萱. LabVIEW寶典[M].北京:電子工業出版社,2011.

[14]唐穎. 基于線形光源掃描照明的激光散斑襯比血流成像系統研究[D].武漢:華中科技大學, 2013. TANG Ying. Laser Speckle Contrast Blood Flow Imaging System Based on Scanning Line Beam Illumination[D].Wuhan: Huazhong University of Science & Technology, 2013.

[15]徐何, 李滔, 李勇. Matlab與LabVIEW混合編程方法應用研究[J]. 科學技術與工程, 2010， 10(33):8267-8271. XU He, LI Tao, LI Yong. Research and application of Matlab and LabVIEW mixed programming[J]. Science Technology and Engineering, 2010, 10(33):8267-8271.

[16]徐峰,何黎明, 田作華. 基于數據庫的LabVIEW與Matlab混合編程及其實現[J]. 測控技術, 2007, 26(2): 70-72. XU Feng, HE Liming, TIAN Zuohua. Formulation optimization with Matlab and LabVIEW based on database[J].Measurement & Control Technology, 2007, 26(2):70-72.

[17]姚世鋒, 薛德慶, 張彥斌,等. LabVIEW與Matlab的混合編程[J].兵工自動化, 2005, 24(6):111-112. YAO Shifeng, XUE Deqing, ZHANG Yanbin, et al. Method of hybrid programming with LabVIEW and Matlab[J]. Ordnance Industry Automation, 2005, 24(6):111-112.

Research on measurement method of spatial position information of moving objects based on binocular stereo vision technology

SUN Ruixuan, DONG Hao, XIAO Lei, ZHANG Tianlong

(Hebei Automation Research Institute, Shijiazhuang, Hebei 050081, China)

In order to make Delta robots rapidly and precisely pick objects with various heights which random appears in different locations of the conveyor belt, a measurement system is developed for getting the spatial position information of moving objects. The system realizes precisely measurement of the spatial position information of moving objects by using hybrid programming technology of LabVIEW and Matlab, combined with binocular stereo vision technology, image processing technology and photoelectric sensing equipment. The measurement method and test data of this measurement system are obtained and analyzed, and the detection data shows that after image radial distortion correction, the data of spatial position information obtained by the system and method has little relative error.

industrial robot technology; hybrid programming; binocular stereo vision; spatial position information; Delta robot

1008-1534(2017)01-0030-06

2016-09-14;

2016-11-28；責任編輯：陳書欣

河北省科技計劃項目(16291807D)

孫瑞軒(1987—)，男，河北石家莊人，助理工程師，碩士，主要從事機器視覺、機器人控制、機電一體化方面的研究。

E-mail：srx313@163.com

TP242.2

A

10.7535/hbgykj.2017yx01006

孫瑞軒，董 浩，肖 磊，等.基于雙目立體視覺技術的運動物體空間位置信息測量方法研究 [J].河北工業科技,2017,34(1):30-35. SUN Ruixuan, DONG Hao, XIAO Lei, et al.Research on measurement method of spatial position information of moving objects based on binocular stereo vision technology[J].Hebei Journal of Industrial Science and Technology,2017,34(1):30-35.