雙目立體視覺(jué)的目標(biāo)識(shí)別與定位

尚倩，阮秋琦，李小利

(1.北京交通大學(xué)信息科學(xué)研究所，北京 100044;2.北京交通大學(xué)現(xiàn)代信息科學(xué)與網(wǎng)絡(luò)技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室，北京 100044)

雙目立體視覺(jué)的目標(biāo)識(shí)別與定位

尚倩1，2，阮秋琦1，2，李小利1，2

(1.北京交通大學(xué)信息科學(xué)研究所，北京 100044;2.北京交通大學(xué)現(xiàn)代信息科學(xué)與網(wǎng)絡(luò)技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室，北京 100044)

雙目立體視覺(jué)系統(tǒng)可以實(shí)現(xiàn)對(duì)目標(biāo)的識(shí)別與定位.此系統(tǒng)包含攝像機(jī)標(biāo)定、圖像分割、立體匹配和三維測(cè)距4個(gè)模塊.在攝像機(jī)標(biāo)定部分，提出了基于云臺(tái)轉(zhuǎn)角的外參數(shù)估計(jì)方法.該方法可以精確完成攝像頭旋轉(zhuǎn)情況下外參的估計(jì)，增強(qiáng)了機(jī)器人的視覺(jué)功能.并利用廣茂達(dá)機(jī)器人系統(tǒng)，基于改進(jìn)的雙目視覺(jué)系統(tǒng)進(jìn)行目標(biāo)識(shí)別與定位，以此結(jié)果作為依據(jù)控制機(jī)器人的手臂進(jìn)行相應(yīng)運(yùn)動(dòng)，最終實(shí)現(xiàn)了對(duì)目標(biāo)物體的抓取，驗(yàn)證了提出方法的可行性.

雙目立體視覺(jué);攝像機(jī)標(biāo)定;圖像分割;立體匹配;三維測(cè)距

人類獲取的信息70% ～80%來(lái)自視覺(jué)，視覺(jué)是人類認(rèn)識(shí)和改造世界的一個(gè)主要途徑.計(jì)算機(jī)視覺(jué)是使用計(jì)算機(jī)及相關(guān)設(shè)備對(duì)生物視覺(jué)的一種模擬，它的主要任務(wù)就是通過(guò)對(duì)采集的圖片或視頻進(jìn)行處理以獲得相應(yīng)場(chǎng)景的三維信息［1］.

根據(jù)視覺(jué)傳感器的個(gè)數(shù)，計(jì)算機(jī)視覺(jué)可以分為:單目視覺(jué)系統(tǒng)、雙目視覺(jué)系統(tǒng)和多目視覺(jué)系統(tǒng)［1］.單目視覺(jué)系統(tǒng)只通過(guò)一個(gè)視覺(jué)傳感器來(lái)獲取外界的視覺(jué)信息，方式簡(jiǎn)單，但是只能獲得目標(biāo)的二維空間信息.而雙目和多目視覺(jué)系統(tǒng)比較復(fù)雜，一般具備獲取三維空間信息的能力，但實(shí)時(shí)性是雙目和多目視覺(jué)系統(tǒng)的最大挑戰(zhàn).

雙目立體視覺(jué)技術(shù)可以很好地模擬人眼的功能，并且可以對(duì)三維世界進(jìn)行立體感知，因此，在機(jī)器視覺(jué)的研究中發(fā)揮著越來(lái)越重要的作用.文中著重研究雙目立體視覺(jué)下目標(biāo)的識(shí)別與定位技術(shù)，雙目立體視覺(jué)系統(tǒng)主要包括攝像機(jī)標(biāo)定、圖像分割、立體匹配和三維測(cè)距4個(gè)模塊.傳統(tǒng)的攝像機(jī)標(biāo)定技術(shù)一旦完成標(biāo)定，攝像機(jī)相對(duì)于世界坐標(biāo)系的位置就不能發(fā)生變化，否則，就需要重新標(biāo)定［2］.但從實(shí)際應(yīng)用角度，為了更好地進(jìn)行目標(biāo)的識(shí)別與定位，攝像頭需要進(jìn)行相應(yīng)偏轉(zhuǎn).針對(duì)這個(gè)特點(diǎn)，提出了一種基于云臺(tái)轉(zhuǎn)角的外參數(shù)估計(jì)方法，經(jīng)過(guò)誤差分析，此方法可以精確地完成攝像機(jī)旋轉(zhuǎn)情況下對(duì)外參的估計(jì)，使機(jī)器人的云臺(tái)在目標(biāo)識(shí)別和定位過(guò)程中可以更加靈活地旋轉(zhuǎn)，大大增強(qiáng)了該機(jī)器人的視覺(jué)功能，最后，利用廣茂達(dá)機(jī)器人系統(tǒng)作為實(shí)驗(yàn)平臺(tái)，基于改進(jìn)后的雙目立體視覺(jué)系統(tǒng)進(jìn)行目標(biāo)的識(shí)別與定位，并以此對(duì)目標(biāo)識(shí)別定位的結(jié)果作為依據(jù)來(lái)控制機(jī)器人和手臂的相應(yīng)運(yùn)動(dòng)，從而成功地實(shí)現(xiàn)了機(jī)器人對(duì)目標(biāo)物體的準(zhǔn)確抓取.

1 雙目立體視覺(jué)系統(tǒng)

此系統(tǒng)的主要功能是完成對(duì)實(shí)際目標(biāo)的識(shí)別與定位，主要分為攝像機(jī)標(biāo)定、圖像分割、立體匹配、三維重建4個(gè)模塊.

1.1 攝像機(jī)標(biāo)定

1.1.1 攝像機(jī)模型

攝像機(jī)采集到的圖像是典型的二維信息，要想根據(jù)這個(gè)二維信息計(jì)算實(shí)際物體的三維信息，首先要建立圖像坐標(biāo)系與世界坐標(biāo)系的映射模型.本文使用的攝像機(jī)模型為經(jīng)典針孔模型，如圖1所示［3－4］.其中，XwYwZw為世界坐標(biāo)系，XcYcZc為攝像機(jī)坐標(biāo)系，xy為圖像物理坐標(biāo)系，uv為圖像像素坐標(biāo)系.

圖1 攝像機(jī)針孔模型Fig.1 Camera pinhole model

上述模型存在如下的投影關(guān)系［2，5］:

式中:fx、fy、u0、v0只與攝像機(jī)內(nèi)部結(jié)構(gòu)有關(guān)，所以M1稱為攝像機(jī)內(nèi)部參數(shù);R與t完全由攝像機(jī)坐標(biāo)系相對(duì)世界坐標(biāo)系的方位決定，故稱為攝像機(jī)外部參數(shù).攝像機(jī)標(biāo)定就是確定一部攝像機(jī)的內(nèi)部參數(shù)和外部參數(shù)的過(guò)程［2］.

1.1.2 攝像機(jī)標(biāo)定

張正友等人提出了平面法來(lái)標(biāo)定單攝像頭［2］，本文利用此方法來(lái)標(biāo)定雙目立體視覺(jué)平臺(tái)，標(biāo)定物選擇了標(biāo)準(zhǔn)棋盤格.為了簡(jiǎn)化計(jì)算，假定棋盤格所在的平面為世界坐標(biāo)系的Zw=0的平面.這樣，對(duì)于棋盤格平面上的每一個(gè)點(diǎn)，上述投影關(guān)系可以簡(jiǎn)化為

則式(1)可以寫成sm=HM，其中A為攝像機(jī)內(nèi)部參數(shù)，s為尺度因子，H稱為單應(yīng)性或投影矩陣，是模板平面上點(diǎn)和它的像點(diǎn)之間的一個(gè)映射，如果已知模板點(diǎn)的空間坐標(biāo)和圖像坐標(biāo)，那么就已知m和M，可以求解單應(yīng)性矩陣.利用這個(gè)矩陣就可以求解攝像機(jī)的內(nèi)外參數(shù).其中，內(nèi)參可以通過(guò)Choleski分解得到，而利用矩陣A和H，就可以進(jìn)一步求得外參矩陣［2，5］，公式如式(2):

由于攝像機(jī)物理因素的影響，拍攝到的圖片有一定的畸變.畸變會(huì)對(duì)攝像機(jī)的標(biāo)定結(jié)果產(chǎn)生一定的影響.采用張正友的方法對(duì)畸變進(jìn)行矯正［2］.

1.1.3 算法改進(jìn)

雖然張正友的方法可以精確地求得攝像機(jī)的內(nèi)外參數(shù)，但是，參數(shù)一旦標(biāo)定，攝像機(jī)坐標(biāo)系相對(duì)于世界坐標(biāo)系的位置關(guān)系也就靜止.而在本實(shí)驗(yàn)平臺(tái)中，攝像頭會(huì)發(fā)生以下2種運(yùn)動(dòng).

1)攝像頭會(huì)隨著機(jī)器人的運(yùn)動(dòng)而運(yùn)動(dòng).

2)機(jī)器人不動(dòng)時(shí)，攝像頭也可以通過(guò)云臺(tái)發(fā)生上下或左右的旋轉(zhuǎn).

上述2種運(yùn)動(dòng)都會(huì)導(dǎo)致攝像頭的位置發(fā)生變化，理論上就需要進(jìn)行重新標(biāo)定，這在實(shí)驗(yàn)中不具備可行性.因此，攝像機(jī)的內(nèi)參采用張正友的標(biāo)定方法獲得，而對(duì)于外參，針對(duì)本實(shí)驗(yàn)平臺(tái)的特點(diǎn)，在其算法基礎(chǔ)上進(jìn)行了改進(jìn)，使得當(dāng)攝像頭位置移動(dòng)時(shí)，不用重新標(biāo)定就可以計(jì)算出移動(dòng)后的外參.改進(jìn)方法歸納如下.

1)世界坐標(biāo)系轉(zhuǎn)化為機(jī)器人坐標(biāo)系.

在標(biāo)定算法中，世界坐標(biāo)系一旦選定了就是個(gè)絕對(duì)的量，然而，當(dāng)機(jī)器人移動(dòng)時(shí)，如果仍然使用原來(lái)標(biāo)定的外參進(jìn)行重建，就意味著認(rèn)為世界坐標(biāo)系也隨機(jī)器人發(fā)生了完全相同的移動(dòng)，而在這個(gè)過(guò)程中，二者的轉(zhuǎn)換關(guān)系并沒(méi)有發(fā)生變化.因此，可以選擇一個(gè)相對(duì)不變的世界坐標(biāo)系，即使機(jī)器人發(fā)生了移動(dòng)，仍然可以通過(guò)固定的轉(zhuǎn)換關(guān)系轉(zhuǎn)換到這個(gè)坐標(biāo)系，即機(jī)器人坐標(biāo)系.實(shí)驗(yàn)過(guò)程中，機(jī)器人坐標(biāo)系的原點(diǎn)選在2臺(tái)攝像機(jī)云臺(tái)的中點(diǎn)，三維測(cè)距后，將結(jié)果由世界坐標(biāo)系轉(zhuǎn)換到機(jī)器人坐標(biāo)系，因?yàn)椴魂P(guān)心目標(biāo)物體在世界坐標(biāo)系中的位置，只關(guān)心它與機(jī)器人的相對(duì)位置.

假設(shè)一個(gè)點(diǎn)在世界坐標(biāo)系下的坐標(biāo)為(xw，yw，zw)，而其在機(jī)器人坐標(biāo)系下的坐標(biāo)為(xr，yr，zr)，則二者的轉(zhuǎn)換關(guān)系如下:

通過(guò)式(3)，就把世界坐標(biāo)系轉(zhuǎn)換到了機(jī)器人坐標(biāo)系.

2)基于云臺(tái)轉(zhuǎn)角的外參數(shù)估計(jì).

上述改進(jìn)雖然解決了機(jī)器人運(yùn)動(dòng)時(shí)外參的使用問(wèn)題，可是不允許攝像頭有上下左右的旋轉(zhuǎn)，這樣就使機(jī)器人的等效視界大大減小，在一定程度上限制了機(jī)器人的視覺(jué)功能.由于智能機(jī)器人的主要思路是模仿人的眼睛，所以希望攝像頭可以根據(jù)目標(biāo)的位置，模擬人的雙眼做相應(yīng)地旋轉(zhuǎn)，從而實(shí)現(xiàn)更加靈活的三維測(cè)距.

在三維空間中，旋轉(zhuǎn)可以分解為繞各自坐標(biāo)軸的二維旋轉(zhuǎn)，實(shí)驗(yàn)用的云臺(tái)有2個(gè)轉(zhuǎn)動(dòng)軸，可以進(jìn)行旋轉(zhuǎn)角度可控可知的左右轉(zhuǎn)動(dòng)和上下轉(zhuǎn)動(dòng).設(shè)左右轉(zhuǎn)動(dòng)的角度為θ1，上下轉(zhuǎn)動(dòng)的角度為θ2，則左右旋轉(zhuǎn)和上下旋轉(zhuǎn)的旋轉(zhuǎn)矩陣分別為:

繞2個(gè)軸均有轉(zhuǎn)動(dòng)的旋轉(zhuǎn)矩陣為

攝像機(jī)發(fā)生旋轉(zhuǎn)后，設(shè)原來(lái)的攝像機(jī)坐標(biāo)系為Xc1Yc1Zc1，而旋轉(zhuǎn)后的攝像機(jī)坐標(biāo)系為Xc2Yc2Zc2，則2個(gè)攝像機(jī)坐標(biāo)系之間的關(guān)系為

式中:Rc為上面求得的旋轉(zhuǎn)矩陣，由于攝像頭只有旋轉(zhuǎn)沒(méi)有平移，故Tc=［0 0 0］T.

由于原來(lái)的攝像機(jī)坐標(biāo)系與世界坐標(biāo)系的關(guān)系為

1.2 基于顏色相似度的圖像分割

利用對(duì)目標(biāo)圖像的分割來(lái)顯示目標(biāo)識(shí)別的結(jié)果.基于顏色相似度的圖像分割可以滿足魯棒性和實(shí)時(shí)性的要求，且具有良好的分割效果.

1.2.1 顏色相似度

從攝相機(jī)輸入的彩色圖像大多數(shù)是以RGB位圖格式存儲(chǔ)的，在RGB空間中，2種顏色之間的距離與人眼對(duì)色彩差別的感覺(jué)有較大偏差.而在HSV空間中，顏色分量相應(yīng)的歐式距離與人眼感知的顏色差吻合得較好.HSV空間中的2種顏色C1={H1，S1，V1}和C2={H2，S2，V2}之間的距離［1］定義為

兩色彩之間的相似度［8］定義為

1.2.2 基于顏色相似度的圖像分割

分割的目的是要從復(fù)雜的背景中提取出具有特定顏色特征的目標(biāo)物體，具體實(shí)現(xiàn)步驟如下.

1)顏色信息的統(tǒng)計(jì)及相似度計(jì)算.

設(shè)攝像頭拍攝到的圖片大小為m×n，首先計(jì)算圖像中像素點(diǎn)顏色信息的均值，得到該圖像的顏色模板C1={H1，S1，V1}［3，6－8］.然后計(jì)算圖像中每一像素點(diǎn)和標(biāo)準(zhǔn)顏色模板的顏色距離和相似度.其中:

2)圖像分割.

通過(guò)閾值的設(shè)置，可以完成對(duì)圖像的分割.計(jì)算如式(5)所示.影響分割效果的主要因素是閾值的選取，找到一個(gè)合適的閾值是圖像分割最關(guān)鍵的一步［8］.本實(shí)驗(yàn)中，閾值取0.76～0.89能夠得到比較好的分割效果.

式中:Pij表示像素點(diǎn)被分割后的 RGB像素值，threshold為相似度閾值.

3)初步的分割結(jié)束之后，圖像中可能存在小范圍的噪聲點(diǎn)或微小的孔洞，可以利用傳統(tǒng)的腐蝕和膨脹處理，使分割效果更加平滑.

1.3 立體匹配

立體匹配是雙目視覺(jué)中最關(guān)鍵的一步，立體像對(duì)之間的差異是由攝像時(shí)觀察點(diǎn)的不同引起的［1］.

本實(shí)驗(yàn)的目標(biāo)物體形狀較規(guī)則，故采用關(guān)鍵點(diǎn)匹配法，選擇圖像的重心作為關(guān)鍵點(diǎn).具體做法是利用上一步驟中圖像分割后獲得的二值圖像，計(jì)算其重心作為關(guān)鍵點(diǎn)實(shí)現(xiàn)立體匹配.二值圖像的重心坐標(biāo)計(jì)算如式(6)所示［8］.

1.4 三維重建

立體視覺(jué)從左、右觀測(cè)點(diǎn)觀看對(duì)象時(shí)，可以看到對(duì)象的偏差.這種偏差與觀測(cè)點(diǎn)到被觀測(cè)對(duì)象的距離有關(guān).三維空間內(nèi)的點(diǎn)在投影圖像上的位置是由三維空間中的某條直線決定的.因此，如果一個(gè)對(duì)象從其他視點(diǎn)觀測(cè)也有同樣的三維投影圖像，那么被觀測(cè)對(duì)象的空間坐標(biāo)就可以確定，2條視線的交點(diǎn)就是它的位置［8］.這就是三維重建的過(guò)程.

1.4.1 基本模型

空間點(diǎn)三維重建的基本模型［7］如圖2所示.

圖2 空間點(diǎn)三維重建模型Fig.2 3-D reconstruction model

對(duì)于空間物體表面的任意一點(diǎn)P，被攝像頭C1拍攝下來(lái)后，在圖片上位于P1，被攝像頭C2拍攝下來(lái)后，在圖片上位于P2，但是無(wú)法僅僅通過(guò)P1或者P2來(lái)得出P的三維位置，因?yàn)樵谥本€O1P或O2P上的任意一點(diǎn)P'，其在圖像上的位置都是P1或P2.然而，現(xiàn)在利用2個(gè)攝像頭來(lái)拍攝圖片，這樣就可以知道目標(biāo)點(diǎn)位于O1P1和O1P22條直線的交點(diǎn)，即可以惟一確定目標(biāo)點(diǎn)的三維位置.

1.4.2 利用最小二乘法計(jì)算三維坐標(biāo)

假設(shè)2個(gè)攝像頭的投影矩陣分別為M1和M2，可以得到如下 2 個(gè)等式［9－12］:

式中:(u1，v1)和(u2，v2)分別為P點(diǎn)的成像點(diǎn)在2幅圖像中的齊次圖像坐標(biāo).Zc1和Zc2分別為P點(diǎn)在2個(gè)攝像機(jī)坐標(biāo)系下的Z坐標(biāo);(X，Y，Z)為P點(diǎn)在世界坐標(biāo)系下的齊次坐標(biāo);利用最小二乘法，就可以求得P點(diǎn)的三維坐標(biāo)［9］.

2 實(shí)驗(yàn)平臺(tái)

以廣茂達(dá)機(jī)器人作為實(shí)驗(yàn)平臺(tái)，基于此改進(jìn)的雙目立體視覺(jué)系統(tǒng)進(jìn)行目標(biāo)的識(shí)別和定位.并根據(jù)定位結(jié)果控制機(jī)器人對(duì)目標(biāo)進(jìn)行抓取.圖3為整個(gè)系統(tǒng)的流程圖.

圖3 系統(tǒng)流程Fig.3 Flow chart of the system

2.1 硬件平臺(tái)

該機(jī)器人的視覺(jué)系統(tǒng)是由2個(gè)Sony CCD攝像機(jī)組成的.每個(gè)攝像機(jī)包含2個(gè)自由度，即水平方向轉(zhuǎn)動(dòng)范圍為［－100°，100°］，豎直方向的轉(zhuǎn)動(dòng)范圍為［－25°，25°］，同時(shí)具有130 萬(wàn)像素和 30 幀/s的最高幀率.它的硬件系統(tǒng)如圖4所示.

圖4 機(jī)器人硬件系統(tǒng)Fig.4 Hardware of the robot

2.2 軟件環(huán)境

機(jī)器人的核心是普通PC，CPU為P4 3.0，RAM為256 MB，可以根據(jù)需要對(duì)其配置進(jìn)行升級(jí).開發(fā)環(huán)境為VC++6.0，在此基礎(chǔ)上完成了完整的雙目立體視覺(jué)系統(tǒng)開發(fā).系統(tǒng)主界面如圖5所示.

在此系統(tǒng)中，可完成相應(yīng)的視頻采集、云臺(tái)控制、三維測(cè)距、手臂控制和運(yùn)動(dòng)控制等功能.

圖5 軟件系統(tǒng)主界面Fig.5 The main interface of the software system

3 實(shí)驗(yàn)結(jié)果及分析

3.1 攝像機(jī)標(biāo)定

利用上文介紹的標(biāo)定方法，對(duì)2個(gè)攝像頭分別進(jìn)行了標(biāo)定.標(biāo)定物選擇標(biāo)準(zhǔn)棋盤格，標(biāo)定過(guò)程中部分角點(diǎn)提取結(jié)果如圖6所示，左右攝像頭參數(shù)的標(biāo)定結(jié)果如表1所示.

圖6 標(biāo)定過(guò)程部分角點(diǎn)提取結(jié)果Fig.6 Part of the corner extraction results

表1 攝像頭標(biāo)定結(jié)果Table 1 Camera calibration results

從數(shù)據(jù)上看，左右攝像頭的焦距基本相同，并且，它們各自的x軸和y軸的等效焦距也相同.攝像頭拍攝得到的圖像尺寸為320×240，內(nèi)參矩陣反映的光心點(diǎn)坐標(biāo)也基本在(160，120)附近.這些都符合標(biāo)定的預(yù)期.但是，為了更加準(zhǔn)確地衡量標(biāo)定誤差，需要進(jìn)行重投影誤差計(jì)算.假設(shè)(u1，v1)為角點(diǎn)檢測(cè)得到的圖像坐標(biāo)，而(u2，v2)為利用標(biāo)定結(jié)果，對(duì)實(shí)際三維坐標(biāo)投影計(jì)算得到的圖像坐標(biāo).利用式(7)計(jì)算重投影誤差，得到左攝像頭的重投影誤差為0.137 74，右攝像頭的重投影誤差為0.135 54.誤差級(jí)別低于一個(gè)像素，說(shuō)明此方法標(biāo)定精度較高.

對(duì)于基于云臺(tái)轉(zhuǎn)角的外參數(shù)估計(jì)方法，同樣進(jìn)行了誤差分析.假設(shè)(tx1，ty1，tz1)為利用標(biāo)定方法得到的平移向量，而(tx2，ty2，tz2)為利用改進(jìn)的估計(jì)方法得到的平移向量.利用式(7)計(jì)算總體平均誤差，計(jì)算結(jié)果如表2所示.

表2 平移向量估計(jì)總體平均誤差Table 2 The overall average error of estimated translation vector cm

從誤差計(jì)算結(jié)果來(lái)看，此外參估計(jì)方法可以比較精確地估計(jì)攝像頭旋轉(zhuǎn)之后的外參.

3.2 圖像分割

圖像分割采用的是上文提到基于顏色相似度的分割方法.首先將圖像從RGB空間轉(zhuǎn)換到HSV空間，進(jìn)而計(jì)算顏色模板，最后設(shè)置閾值進(jìn)行圖像分割.實(shí)驗(yàn)結(jié)果如圖7～9所示.

圖7 原始圖像Fig.7 The original images

圖8 轉(zhuǎn)化為HSV空間的圖像Fig.8 The images transferred to HSV space

圖9 圖像分割結(jié)果Fig.9 Image segmenting results

直接顏色分割的圖像含有一定的噪聲，采用形態(tài)學(xué)的腐蝕和膨脹處理后，結(jié)果如圖10所示.

圖10 形態(tài)學(xué)處理后的結(jié)果Fig.10 Morphological processing results

3.3 立體匹配

利用顏色分割得到二值化圖像，計(jì)算目標(biāo)物重心坐標(biāo).重心標(biāo)記結(jié)果如圖11所示.

圖11 重心標(biāo)記結(jié)果Fig.11 The results of marking the center of gravity

3.4 三維重建

為了評(píng)測(cè)測(cè)距系統(tǒng)的功能和精度，對(duì)棋盤格中的角點(diǎn)進(jìn)行了三維重建.實(shí)驗(yàn)中，使得棋盤盡量與機(jī)器人平行，以保證角點(diǎn)重建后的Z軸分量大致相同.拍攝得到的棋盤圖如圖12所示.棋盤格的尺寸為28 mm，角點(diǎn)的尺寸為7×5.利用Harris亞像素級(jí)角點(diǎn)檢測(cè)方法得到圖像中的角點(diǎn)坐標(biāo)，然后對(duì)其進(jìn)行三維重建.實(shí)驗(yàn)結(jié)果如表3所示.表3中，角點(diǎn)(1，1)為棋盤圖中左上角第一個(gè)角點(diǎn)，且所有角點(diǎn)按照從左到右，從上到下的順序排列.同樣，利用式(9)計(jì)算測(cè)量平均絕對(duì)誤差.計(jì)算結(jié)果為2.356 1 mm.從結(jié)果上來(lái)看，此方法可以比較精確地實(shí)現(xiàn)目標(biāo)三維測(cè)距.

圖12 三維測(cè)距棋盤Fig.12 Chessboard gragh used for binocular distance

3.5 目標(biāo)抓取

最后，利用廣茂達(dá)機(jī)器人平臺(tái)，實(shí)現(xiàn)了改進(jìn)的雙目立體視覺(jué)系統(tǒng).并以此對(duì)目標(biāo)識(shí)別定位的結(jié)果作為依據(jù)來(lái)控制機(jī)器人和手臂的相應(yīng)運(yùn)動(dòng)，從而成功地實(shí)現(xiàn)了機(jī)器人對(duì)目標(biāo)物體的準(zhǔn)確抓取.

廣茂達(dá)機(jī)器人抓取目標(biāo)的流程為:首先識(shí)別目標(biāo)物，然后根據(jù)目標(biāo)在圖像中的位置控制云臺(tái)轉(zhuǎn)動(dòng)直至目標(biāo)位于視野正中，進(jìn)而進(jìn)行立體匹配，并對(duì)目標(biāo)物體實(shí)際位置進(jìn)行定位，根據(jù)定位結(jié)果，首先控制機(jī)器人靠近目標(biāo)物體，進(jìn)而控制手臂模塊進(jìn)行相應(yīng)的角度旋轉(zhuǎn)，最終完成抓取動(dòng)作.

實(shí)驗(yàn)中，機(jī)器人可成功地抓取目標(biāo)物體，抓取過(guò)程部分截圖如圖13～15所示.

圖13 程序開始時(shí)刻Fig.13 At the beginning of the process

圖14 調(diào)整云臺(tái)使目標(biāo)位于視野中央Fig.14 Adjust the head to let the target in the center of the vision

圖15 實(shí)際抓取過(guò)程截圖Fig.15 Actual capture process

表3 三維重建坐標(biāo)與實(shí)際坐標(biāo)比較Table 3 Comparison of 3-D reconstruction coordinates and actual coordinates

續(xù)表3

4 結(jié)束語(yǔ)

本文完成的是一個(gè)基于改進(jìn)了的雙目立體視覺(jué)的目標(biāo)識(shí)別與定位系統(tǒng).雙目立體視覺(jué)系統(tǒng)主要包括攝像機(jī)標(biāo)定、圖像分割、立體匹配和三維測(cè)距4個(gè)模塊.其中，在攝像機(jī)標(biāo)定部分，針對(duì)系統(tǒng)的運(yùn)動(dòng)特點(diǎn)，在原有算法的基礎(chǔ)上提出了世界坐標(biāo)系轉(zhuǎn)化為機(jī)器人坐標(biāo)系和基于云臺(tái)轉(zhuǎn)角的外參數(shù)估計(jì)2種方法，經(jīng)過(guò)誤差分析，基于云臺(tái)轉(zhuǎn)角的外參數(shù)估計(jì)方法可以精確地完成攝像機(jī)旋轉(zhuǎn)情況下對(duì)外參的估計(jì)，使云臺(tái)在實(shí)驗(yàn)過(guò)程中可以更加靈活的旋轉(zhuǎn)，增強(qiáng)了該機(jī)器人的視覺(jué)功能，最后，利用廣茂達(dá)機(jī)器人系統(tǒng)作為實(shí)驗(yàn)平臺(tái)，基于改進(jìn)后的雙目立體視覺(jué)系統(tǒng)進(jìn)行目標(biāo)的識(shí)別與定位，并以識(shí)別定位的結(jié)果作為依據(jù)來(lái)控制機(jī)器人和手臂的相應(yīng)運(yùn)動(dòng)，從而成功地實(shí)現(xiàn)了機(jī)器人對(duì)目標(biāo)物體的準(zhǔn)確抓取，此結(jié)果更充分驗(yàn)證了所提出方法的可行性.

［1］祝琨.基于雙目視覺(jué)的運(yùn)動(dòng)物體實(shí)時(shí)跟蹤與測(cè)距［D］.北京:北京交通大學(xué)，2008:1－103.

ZHU Kun.Real－time tracking and measuring of moving object based on binocular vision［D］.Beijing:Beijing Jiaotong University，2008:1－103.

［2］ZHANG Zhengyou.Flexible camera calibration by viewing a plane from unknown orientations［C］//Proceedings of the IEEE InternationalConference on Computer Vision.Kerkyra，1999:666－673.

［3］吳亞鵬.基于雙目視覺(jué)的運(yùn)動(dòng)目標(biāo)跟蹤與三維測(cè)量［D］.西安:西北大學(xué)，2008:1－58.

WU Yapeng.Moving objects tracking and 3－D measurement based on binocular vision［D］.Xi’an:Northwest University，2008:1－58.

［4］CHEN Yuming.Research on binocular 3－D measurement model based on grating projection［C］//PEITS 2009—2009 2nd Conference on Power Electronics and Intelligent Transportation System.Shenzhen，China，2009:306－308.

［5］ZHANG Zhengyou.A flexible new technique for camera calibration［J］.IEEE Transactions Pattern Analysis and Machine Intelligence，2000，22(11):1330－1334.

［6］瞿中.圖像分割與評(píng)價(jià)及圖像三維表面重建研究［D］.重慶:重慶大學(xué)，2009:1－108.

QU Zhong.Research on image segmentation，evaluation and image three－dimensional surface reconstruction ［D］.Chongqing:Chongqing University，2009:1－108.

［7］ZHAO Peng，NI Guoqiang.Simultaneous perimeter measurement for 3－D object with a binocular stereo vision measurement system［J］.Optics and Lasers in Engineering，2010，48(4):505－511.

［8］肖南峰.智能機(jī)器人［M］.廣州:華南理工大學(xué)出版社，2008:10－98.

［9］蔡健榮，范軍，李玉良.立體視覺(jué)系統(tǒng)標(biāo)定及成熟果實(shí)定位［J］. 農(nóng)機(jī)化研究，2007，11:38－41.

CAI Jianrong，F(xiàn)AN Jun，LI Yuliang.Binocular system calibration and mature fruit location［J］.Agricultural Research，2007，11:38－41.

［10］周子嘯，趙曉林，胡峰，等.基于仿真機(jī)器人的雙目視覺(jué)定位［J］.電視技術(shù)，2010，8:106－109.

ZHOU Zixiao，ZHAO Xiaolin，HU Feng，et al.Binocular stereo location on emulator robot［J］.TV Technology，2010，8:106－109.

［11］郭巍，張平，朱良，陳曦.基于AdaBoost.ECOC的合成孔徑雷達(dá)圖像目標(biāo)識(shí)別研究［J］.哈爾濱工程大學(xué)學(xué)報(bào)，2010，31(2):232－236.

GUO Wei，ZHANG Ping，ZHU Liang，CHEN Xi.Research on synthetic aperture radar image target recognition based on AdaBoost.ECOC［J］.Journal of Harbin Engineering University，2010，31(2):232－236.

［12］王科俊，魏娟.基于共面圓的雙目立體視覺(jué)分步標(biāo)定法［J］. 應(yīng)用科技，2010，37(1):36－40.

WANG Kejun，WEI Juan.Binocular stereo vision step by step calibration based on coplanar circle［J］.Applied Science and Technology，2010，37(1):36－40.

尚倩，女，1987年生，碩士研究生，主要研究方向?yàn)橛?jì)算機(jī)視覺(jué)、數(shù)字圖像處理、信號(hào)與信息處理.

阮秋琦，男，1944年生，教授，博士生導(dǎo)師，北京交通大學(xué)信息科學(xué)研究所所長(zhǎng)，國(guó)務(wù)院學(xué)位委員會(huì)學(xué)科評(píng)議組成員，IEEE高級(jí)會(huì)員.主要研究方向?yàn)閳D像處理、計(jì)算機(jī)視覺(jué)、多媒體信息處理、虛擬現(xiàn)實(shí)、計(jì)算機(jī)支持的協(xié)同工作.曾獲國(guó)家教委科技進(jìn)步二等獎(jiǎng)、鐵道部科技進(jìn)步二等獎(jiǎng)和三等獎(jiǎng)等，被評(píng)為國(guó)家級(jí)有突出貢獻(xiàn)的中青年專家，獲茅以升科技獎(jiǎng)、詹天佑科技人才獎(jiǎng)并享受國(guó)家政府津貼的榮譽(yù).發(fā)表學(xué)術(shù)論文150余篇，出版著作3部，獲國(guó)家專利1項(xiàng).

李小利，女，1986年生，博士研究生，主要研究方向?yàn)閿?shù)字圖像處理、計(jì)算機(jī)視覺(jué)和模式識(shí)別.

Target recognition and location based on binocular stereo vision

SHANG Qian1，2，RUAN Qiuqi1，2，LI Xiaoli1，2
(1.Institute of Information Science，Beijing Jiaotong University，Beijing 100044，China;2.Beijing Key Laboratory of Advanced Information Science and Network Technology，Beijing 100044，China)

A binocular stereo vision system can be used for target recognition and location.This system consists of four modules，namely camera calibration，image segment，stereo matching，and binocular distance.furthermore，in the calibration section，a method of estimating the outer parameters based on the head angle was studied.In the experiment，this method could estimate the outer parameters accurately when the camera rotated，enhancing the vision function of the system.Then this improved binocular system was realized by the Grandar Robot platform.It was used for target recognition and location，and the results were used to control the robot motion.In the end，the target could be captured successfully，so the proposed method was proven to be feasible.

binocular stereo vision;camera calibration;image segmentation;stereo matching;binocular distance

TP18

A

1673－4785(2011)04－0303－09

10.3969/j.issn.1673－4785.2011.04.004

2010－12－09.

國(guó)家自然科學(xué)基金資助項(xiàng)目(60973060);高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金資助項(xiàng)目(20080004001).

尚倩.E－mail:renxuefeier@gmail.com.