面向機器人航天員的球形目標識別與定位方法研究

范曉鵬，郝穎明，朱　楓，付雙飛

(1. 中國科學院沈陽自動化研究所光電信息技術研究室，沈陽 110016； 2. 中國科學院大學，北京 100049；3. 中國科學院光電信息處理重點實驗室，沈陽 110016； 4. 遼寧省圖像理解與視覺計算重點實驗室，沈陽 110016)

?

面向機器人航天員的球形目標識別與定位方法研究

范曉鵬1,2,3,4，郝穎明1,3,4，朱楓1,3,4，付雙飛1,3,4

(1. 中國科學院沈陽自動化研究所光電信息技術研究室，沈陽 110016； 2. 中國科學院大學，北京 100049；3. 中國科學院光電信息處理重點實驗室，沈陽 110016； 4. 遼寧省圖像理解與視覺計算重點實驗室，沈陽 110016)

摘要:針對機器人航天員在典型目標識別與定位方面的問題，提出一種球形目標識別與定位方法，利用目標顏色特征和形狀特征實現了目標識別，采用空間射影幾何方法推導了單目視覺空間球定位公式，建立了硬件試驗環境，在此環境下實現了基于彩色相機的單目視覺定位、雙目立體視覺定位以及融合TOF相機和彩色相機的視覺定位方法。通過真實試驗和仿真實驗對這些方法進行了比較分析，得到了各自的適用條件，為工程應用中具體方法的選擇提供了依據。

關鍵詞:機器人航天員；單目視覺；雙目視覺；TOF；球形目標；圓錐方程

1引言

機器人可以替代人完成簡單重復的操作，也可以在惡劣條件下工作。在太空中，為了減輕航天員的作業負擔、保障航天員的安全，美國率先制造了機器人航天員，并于2011年向國際空間站投入使用[1]，這款機器人由通用汽車公司和休斯頓海洋工程空間系統聯合制造。第一代機器人航天員造于1997年，是一個能執行簡單維護任務的人形機器人[1]。作為繼任者的R2(圖1)是一款完全模塊化、高敏捷度、重達300磅的機器人。這款機器人有一個腦袋，一個軀干，兩條手臂和兩只手，配備了兩臺Allied Vision Technologies(簡稱AVT)的Prosilica GC2450彩色相機和一臺MESA Imaging AG的SR4000紅外飛行時間(TOF)相機[3]。兩臺彩色相機構成雙目立體視覺，根據測量任務的具體要求可以選擇用單目完成測量還是雙目完成測量。TOF相機可以直接給出目標的三維測量結果，很容易根據測量數據做背景分割。已有許多學者針對TOF相機目標識別與定位問題開展了相關研究，如胡良梅等[4]提出一種深度圖像與彩色圖像相結合的目標檢測方法，該方法可以避免深度圖像噪聲干擾大、彩色圖像背景分割困難等問題；趙科等[5]提出了一種可以解決TOF相機采集圖像存在毛刺干擾的方法，用于提高三維顯示的質量；張約倫[6]提出基于貝葉斯概率模型TOF圖像分割方法。只是TOF的三維測量精度一般在10 mm數量級(參考SR4000 產品使用手冊)，難以滿足任務中對精度的要求。在實際應用中尚需要與彩色相機配合使用。

圖1　國際空間站上的Robonuat2[1]Fig.1　Robonuat2 in International Space Station[1]

機器人航天員在空間站上的作用是：一方面能夠減輕航天員的工作負擔；另一方面可以陪同航天員排解枯燥的非作業時間，如2013年進入空間站聊天機器人Kirobo，其主要目的就是為了排除航天員在空間站中的孤獨感[2]。仿人形Robonuat2除了以上介紹的視覺系統外還具有完整的上肢機構，可陪同航天員做一些簡單的拋球運動，而球形目標識別與定位是完成這一動作的基本前提。目前雙目視覺已經十分成熟，針對實際應用需求已有諸多基于雙目視覺開展的研究成果[7-8]。本文主要研究球形目標識別與定位方法，在這方面楊紹武[7]針對乒乓球雙目視覺定位開展了研究，陳誠[9]開展的雙目視覺移動目標檢測也是以球形目標作為實驗對象。而在單目視覺球形目標定位方面目前開展的研究相對較少。

本文以機器人航天員為應用背景，開展球形目標識別與定位方法研究，根據球形目標成像的輪廓曲線推導了球形目標空間坐標的計算公式，給出了融合彩色圖像和TOF圖像的目標識別結果，進行了單目視覺與雙目視覺定位精度比較的仿真實驗，給出單目視覺、雙目視覺的適用條件。

2基于彩色相機的球形目標定位方法

直接利用彩色相機可以實現對球形目標的定位。根據所用相機數目的不同，定位方法分為單目視覺定位和雙目視覺定位兩種。無論采用哪種定位方法，都需要經過目標識別和目標定位兩個步驟。目標識別即通過圖像處理和目標識別技術，將圖像中的球形目標識別出來，得到球形目標在圖像中的表示。目標定位即利用目標識別結果，借助于球形目標的模型參數和相機標定參數計算出目標與相機之間的相對位置。

2.1球形目標識別方法

圖像中目標識別的主要依據是目標的特征，包括形狀、顏色、紋理等。球形目標成像后是一個橢圓形區域，其顏色一般與背景有較大差別，因此可以利用目標的顏色對圖像做分割處理，得到目標候選區域，再根據形狀約束對假目標區域做排除，最后對得到的目標區域進行特征提取，得到球形目標的圖像表示。不同顏色的目標顏色特征不同，只要找到目標顏色與背景的差異，就可以在RGB 3通道色彩空間上實現對目標的初始分割。本文以網球為例闡述顏色分割方法。網球為黃綠色球體，通過對大量網球圖像(如圖2.a所示)的分析發現，目標區域R、G、B三個分量具有式(1)所示關系:

(1)

圖2　網球識別過程Fig.2　Tennis identification process

直接應用公式(1)實現圖像分割，其結果會存在一些噪聲，尤其是網球表面并非十分均勻且有白色條紋，可能會導致目標區域不完整而造成判別錯誤。本文采用圖像形態學處理來解決這一問題。首先通過腐蝕運算減少圖像中的噪聲區域，再用膨脹運算連接被白色條紋分開的目標區域。具體算法實現時需要根據實際圖像確定腐蝕和膨脹運算的模板形狀、大小以及次數。通過對大量實際圖像的分析與處理得到了形態學處理的經驗參數。其中腐蝕運算次數為2次，膨脹運算次數為1次，運算順序為腐蝕、膨脹、腐蝕，第一次腐蝕運算采用半徑為4像素的圓形模板，膨脹運算采用半徑為15像素的圓形模板，第二次腐蝕運算采用之前膨脹、腐蝕運算半徑的差值11。圖2.b和2.c分別給出了彩色圖像分割時數學形態學運算前后的試驗結果。

從試驗結果上可以看出，形態學運算可以消除絕大部分噪聲點的干擾，并且可以有效連接目標區域，但是仍然存在一些顏色與目標區域十分相近的區域無法排除，如圖像中的綠色圓柱體，這就需要一些其他的約束條件來排除干擾。通過對大量實際圖像(大量主要是指不同光照條件，例如白天陽光照入室內、夜晚日光燈以及光照方向變化等條件下采集的圖像，以及針對每種光照條件下目標在視場范圍內光軸方向距離范圍500～1000 mm內運動的測試圖像)的處理分析得到2個十分有效的約束條件：

1)面積約束：球形目標的空間運動范圍有限，成像面積會有一定的取值范圍。

2)形狀約束：球形目標在圖像上的成像近似為圓形，可以用以下2個形狀特征來約束：

(1) 水平外接矩形長寬比：圓形的水平外接矩形長寬比近似為1；

(2) 區域面積與水平外接矩形面積比：圓面積與水平外接矩形的面積比值為π/4，實際以0.6作為該比值最小值約束。

球形目標的成像實際上是一個橢圓，但機器人航天員R2上使用的AVT Prosilica GC2450相機配上8 mm鏡頭產生的視場角約55°，球形目標的成像偏心率并不大，成像近乎圓形(如圖2所示)。本文采用圓來表示球形目標的成像，其參數為圓心坐標和半徑。通過以上處理可以得到目標區域的邊緣，利用最小二乘法進行圓的擬合，得到目標的圖像表示。利用上述目標識別方法，我們實現了對圖像中網球的識別，在相機視場范圍內進行了大量的實驗，均能在圖像上正確識別出網球區域，圖2.d中用紅色曲線標注了一組識別結果。

2.2球形目標定位方法

理論上，只要已知球形目標的圖像表示，利用單目視覺即可實現對空間球的定位。單目視覺球形目標定位只需要一個相機且只需要處理一幅圖像，不僅所需資源少且計算速度快。但單目視覺定位需要同時用到圖像中圓的圓心和半徑兩個參數，由于空間球在相機中成像后，球的邊緣在圖像中比較暗，在圖像分割過程中邊緣易受噪聲干擾，使得圓擬合時半徑存在一定的誤差，最終導致單目視覺定位在距離方向誤差較大，這個誤差會隨著測量距離的增加而變大。而雙目視覺只要已知圖像中目標圓的圓心即可求解球的空間坐標，定位精度會比較高，但需要2個相機并處理2幅圖像，計算速度較慢。因此，需要根據具體任務對處理速度和測量精度的要求選擇合適的定位方法。雙目視覺目標定位方法[7-10]研究相對比較成熟，本文只介紹單目視覺空間球定位的相關公式推導過程。盡管空間球的成像是一個橢圓形，但是試驗發現采用圓形擬合成像區域的邊緣對噪聲干擾的魯棒性更高。

設球形目標在圖像上的圓方程為

u2+v2-2u0u-2v0v+c0=0。

文獻[11]給出了式(2)所示根據成像平面二次曲線推導包絡空間球的圓錐方程的計算公式：

Q=PTCP

(2)

其中，C是二次曲線的3×3矩陣表達方式，P是攝像機的3×4標定矩陣，Q是圓錐方程4×4矩陣表達方式。

根據公式(2)得到的4×4圓錐方程并不能直接用于求解空間球的坐標，還需要將4×4圓錐方程轉換到圓錐的一般化方程，本文假設圓錐在攝像機坐標系下的方程為式(3)：

(3)

其中，(a,b,c)代表圓錐的軸向，是一個單位向量；(x,y,z)代表圓錐上的一個點坐標；(xc,yc,zc)代表圓錐頂點在參考坐標系下的坐標；θ代表圓錐母線與軸線的夾角，對于圓錐該夾角是一個定值。在圓錐的4×4方程已知的前提下，為了得到公式(2)中的位置參數，需要將公式(2)轉化為式(4)所示矩陣形式：

(4)

Q矩陣通過公式(2)計算而來，根據Q矩陣左上角3×3矩陣可以得到(a,b,c)和θ的取值，再將(a,b,c)和θ的具體值代入q14、q24、q34構成的方程組即可得到(xc,yc,zc)的具體值。最后如式(5)所示，根據球的半徑R可求解其在參考坐標系下的坐標。

(5)

3融合TOF相機與彩色相機的目標定位方法

機器人航天員R2不僅配置了2個彩色相機，還配置了1個TOF相機。利用TOF相機可以得到場景中各點的三維坐標，直接利用TOF相機即可實現對空間球的定位。但由于TOF相機本身分辨率較低，且測量精度不高，直接利用TOF相機定位空間球難以保證測量精度。利用彩色相機的定位雖能得到較高的測量精度，但由于彩色其分辨率較高，處理速度較慢。為同時利用TOF相機和彩色相機的優點，可以將二者融合起來實現空間球的定位。

利用TOF相機可以獲得圖像上各點的空間三維坐標，但由于光線多次反射等原因可能導致圖像中某些像素在光軸方向的數據無效(數值為0)，光軸方向無效數據取值為0(如圖3.a中的黑斑)。因此，本文分析了大量的圖像，最終選擇5×5窗口的中值濾波很好地解決了這一問題。圖3.b給出了一組處理結果。本文假設球形目標是距離相機最近的目標，反映在TOF距離圖像上即灰度較小的區域。直接利用閾值法進行圖像分割，即可得到目標區域。處理結果如圖3.c所示。

圖3　TOF圖像處理結果Fig.3　TOF image processing result

融合TOF相機和彩色相機的空間球定位方法，首先利用TOF相機為空間球進行初定位，據此獲得空間球在彩色相機上大致位置并計算感興趣區域(ROI)，最后在ROI內利用彩色相機實現定位。這樣可以同時保證處理速度和測量精度，也可以降低目標誤識別的概率。

4實驗結果

實驗分為真實試驗和仿真實驗兩部分。真實試驗主要用于驗證目標識別算法的有效性以及統計圖像處理時間，同時給出幾組定點測量誤差結果；仿真實驗主要用來對比單目視覺和雙目視覺的目標定位精度，視場覆蓋相對于真實試驗更加充分，可以為實際應用提供一個參考。

為完成真實試驗，首先建立了真實的試驗環境，包括激光跟蹤儀1臺用于相機標定，視覺平臺1套用于目標識別與測量，如圖4所示。試驗中使用AVT Prosilica GC2450配置8 mm鏡頭；MESA Imaging AG SR4000 TOF安裝于2個彩色相機的正下方；視覺平臺用連接件固定在一個運動平臺的末端，以此可以來控制視覺平臺的位置及姿態；用于識別定位的網球半徑為34 mm；目標識別與定位程序運行在研華UNO-2184G工控機上。真實試驗分別實現了基于單目視覺的測量方法、基于雙目視覺的測量方法、融合TOF相機的單目視覺測量方法和融合TOF相機的雙目視覺測量方法，進行了不同條件下的大量試驗驗證，并對四種方法的處理時間進行了統計。試驗結果如由統計結果如表1所示，從表中可以看出：采用TOF相機進行目標區域定位可以有效減少圖像處理時間。真實試驗過程中，精度測試比較耗時，所以僅做了9個固定位置的精度測試試驗，測試結果如表2所示，表2中第2～4列為激光跟蹤儀測量得到的標準值，5～7列為單目視覺的測量誤差，8～10列為雙目視覺的測量誤差。實際測試結果表明，單目視覺的測量誤差基本為雙目視覺的2～3倍左右。

圖4　試驗環境Fig.4　Test environment

表1不同方法的處理時間統計結果

Table 1Statistical results of processing time of different methods

使用方法處理時間/ms基于彩色相機的方法單目86雙目182融合TOF與彩色相機的方法單目59雙目128

表2　單/雙目視覺的實際精度測試結果

仿真實驗的目的在于比較單目視覺測量方法和雙目視覺測量方法的測量精度。實驗中，相機參數以實際標定結果為準，目標在Z方向(即光軸方向)由500～1000 mm一共設置6個距離段，每個距離段內在X方向和Y方向分別均勻采樣101個點一共形成10 201個仿真位置。仿真誤差為1個像素誤差施加在小球成像的邊緣點及形心上，根據施加誤差的成像邊緣及形心利用單目視覺算法及雙目視覺算法分別重新計算小球空間位置，比較仿真位置與重新計算得到的小球位置可以得到一次誤差統計的樣本，統計所有仿真位置的平均誤差可得到表3。從表中可以看出，雙目視覺的測量誤差幾乎是單目視覺統計誤差的一半。

表3單/雙目視覺的仿真精度統計

Table 3Statistical results of measurement accuracy of single/binocular vision

Z方向距離單目視覺/mm雙目視覺/mmXYZXYZ5000.4120.3123.1520.2400.2451.5356000.5530.4584.5150.3250.3232.1927000.7410.6706.1950.4250.4182.9828000.9890.9148.0310.5540.5423.8629001.2771.22010.1830.7080.7044.94810001.6091.54512.4680.8710.8566.080

綜上所述，本文的幾種測量方法均適用于目標與背景顏色差別較大時的球形目標測量，不同的測量方法適用條件略有差異，具體條件如表 4所示。具體應用時，可以根據任務需求選擇不同的測量方法。

為了能夠更好的反應出學生在本門課程中的學習情況，本課程的評價機制主要分兩個部分完成。一部分是最終的理論考試，占到總課程評價的30%；一部分是學生課堂上完成實訓項目的評價，由教師打分、小組自評和小組互評完組成，此部分評價占課程評價的40%。

表4　不同方法的適用條件

5結論

本文以機器人航天員典型目標識別與定位為應用背景，開展了球形目標識別與定位相關方法的研究。仿真實驗給出了單目視覺與雙目視覺精度誤差的統計規律，并通過真實實驗加以驗證。真實試驗還給出了幾種目標識別與定位方法的適用條件，為實際應用提供了一定的參考。本文提出的方法對其它典型識別與定位也具有一定的參考價值，例如融合TOF與彩色相機信息也可以用于水杯、扳手等典型目標的識別與定位，首先利用TOF相機分割目標與背景，再結合彩色相機圖像并利用先驗知識做精確的目標定位計算。當然，在具體實現細節上還需進一步探索，這也是接下來的主要研究方向。

參考文獻(References)

[1]Ambrose R, Aldridge H, Askew R, et al. Robonaut: NASA’s space humanoid[J].IEEE Intelligent Systems Journal, 2000,15(4):57-63.

[2]Richard Adhikari. Little kirobo to become first robot space talker[EB/OL]. (2013)[2015].http://www.technewsworld.com/story/78364.html.

[3]Diftler M A, Ambrose R O, Goza S M, et al. Robonaut mobile autonomy: Initial experiments[C]//Robotics and Automation, 2005. ICRA 2005. Proceedings of the 2005 IEEE International Conference on. IEEE, 2005: 1425-1430.

[4]胡良梅,段琳琳,張旭東, 等.融合顏色信息與深度信息的運動目標檢測方法[J].電子與信息學報,2014,36(9):2047-2052.

Hu Liangmei, DuanLinlin, Zhang Xudong, et al. Moving object detection based on the fusion of color and depth information[J]. Journal of Electronics & Information Technology, 2014,36(9):2047-2052.(in Chinese)

[5]趙科,余洪山,王耀南, 等.基于視覺映射的三維相機信息可視化改善方法[J].電子測量與儀器學報,2012,26(6):529-534.

Zhao Ke, Yu Hongshan, Wang Yaonan, et al. Improved 3D information visualization method for TOF camera based on vision projection[J]. Journal of Electronic Measurement and Instrument, 2012,26(6):529-534. (in Chinese)

[6]張約倫.基于Kinect的摳像算法研究[D].西安: 西安電子科技大學,2012.

Zhang Yuelun. Research on Image Matting Algorithm Based on Kinect[D].Xi’an: Xidian University,2012.(in Chinese)

[7]余小歡,韓波,張宇, 等.基于雙目視覺的微型無人機室內3維地圖構建[J].信息與控制,2014,43(4):392-397.

YU Xiaohuan, HAN Bo, ZHANG Yu, et al. Binocular stereo vision based 3D mapping for micro aerial vehicles in an indoor environment[J]. Information and Control,2014,43(4):392-397.(in Chinese)

[8]黃敏,鮑蘇蘇,邱文超, 等.基于可見光下雙目視覺的手術導航研究與仿真[J].機器人,2014,36(4):461-468,476.

HUANG Min, BAO Susu, QIU Wenchao, et al. Study and simulation of surgical navigation based on binocular vision under visible light[J]. Robot, 2014,36(4):461-468,476.(in Chinese)

[9]陳誠.基于雙目視覺的運動目標跟蹤算法研究與應用[D]. 哈爾濱: 哈爾濱工業大學, 2014.

CHEN Cheng. Research and Application on Moving Objects Tracking Algorithm Based on Binocular Vision[D]. Harbin:Harbin Institute of Technology, 2014.(in Chinese)

[10]楊紹武.基于雙目視覺的乒乓球識別與跟蹤問題研究[D]. 長沙: 國防科學技術大學, 2009.

YANG Shaowu. Research on the Recognition and Tracking Problem of Ping-peng Based on Binocular Vision[D]. Changsha: National Defense Science and Technology University. 2009.(in Chinese)

[11]吳福朝. 計算機視覺中的數學方法[M].第二版. 北京:科學出版社, 2011:57-59.

WU Fuchao. Mathematical Methods in Computer Vision[M]. 2th edition. Beijing: Science Press, 2011:57-59.(in Chinese)

Study on Spherical Target Identification and Localization Method for Robonuant

FAN Xiaopeng1,2,3,4, HAO Yingming1,3,4, ZHU Feng1,3,4, FU Shuangfei1,3,4

(1. Optoelectronic Information Technology Laboratory, Shenyang Institute of Automation, Chinese Academy of Sciences, Shenyang 110016, China；2. University of Chinese Academy of Sciences, Beijing 100049, China；3. Key Laboratory of Optical-Electronics Information Processing, Chinese Academy of Sciences, Shenyang 110016, China；4. Key Laboratory of Image Understanding and Computer Vision, Liaoning Province, Shenyang 110016, China)

Abstract:A spherical target identification and localization method was proposed for typical target identification and positioning problems of robonuant. Target recognition was realized by using objective color and shape characteristics. The monocular vision ball localization formula was derived with spatial projective geometry method. Then the hardware experiment environment was established to conduct the monocular camera positioning test, binocular stereovision positioning test and visual positioning fusing TOF cameras and color cameras test. By comparing and analyzing the test results of these real experiments and the simulations, their applicable conditions were obtained. These applicable conditions could serve as a reference for the engineering applications.

Key words:robonuant; monocular vision; binocular stereovision; TOF; spherical target; tapered equation

收稿日期：2015-09-01；修回日期：2016-03-03

基金項目：載人航天預先研究項目(050101)

作者簡介：范曉鵬(1987-), 男, 博士研究生, 主要研究方向為圖像質量評價、目標識別攝像機三維測量。E-mail：fanxiaopeng@sia.cn

中圖分類號：TP391.4

文獻標識碼：A

文章編號：1674-5825(2016)03-0375-06