基于雙目視覺(jué)識(shí)別的定位和抓取方案分析與研究

宋 慧，王 剛，宗成國(guó)，鐘佩思

（1.青島黃海學(xué)院，山東青島 266427；2.青島海西重機(jī)有限責(zé)任公司，山東青島 266590；3.山東科技大學(xué)，山東青島 266590）

0 引言

智能識(shí)別技術(shù)目前在諸多領(lǐng)域得到廣泛的發(fā)展和應(yīng)用。根據(jù)視覺(jué)傳感器[1]的數(shù)目屬性，可將識(shí)別方式分為：?jiǎn)文恳曈X(jué)識(shí)別、雙目視覺(jué)識(shí)別和多目視覺(jué)識(shí)別等。其中，單目視覺(jué)識(shí)別機(jī)器的結(jié)構(gòu)較為簡(jiǎn)單，集成度低，適用性良好，但是只能獲取二維平面內(nèi)的參數(shù)信息。隨著視覺(jué)傳感器的數(shù)目的增加，其功能更強(qiáng)大，可高效獲取三維空間內(nèi)的狀態(tài)信息，但集成性困難，實(shí)時(shí)性較差。目前，對(duì)于雙目識(shí)別技術(shù)的研究較多，與多目識(shí)別相比，更易于實(shí)現(xiàn)，而且坐標(biāo)獲取的精度同樣較高。

雙目識(shí)別設(shè)置有2個(gè)對(duì)稱的信號(hào)采集相機(jī)[2]，可通過(guò)三角式測(cè)量[3]機(jī)理實(shí)現(xiàn)狀態(tài)信息的定位，在工件的定位或元件的抓取方面有著非常好的應(yīng)用效果。但是，由于被定位或抓取對(duì)象往往存在表面光滑、反光等問(wèn)題，對(duì)于圖像識(shí)別帶來(lái)較大的難度，導(dǎo)致定位存在偏差。采用合理的視覺(jué)算法[4]對(duì)于提升雙目識(shí)別的準(zhǔn)確性和可靠性有著重要的意義。

1 視覺(jué)識(shí)別控制方案

1.1 視覺(jué)識(shí)別算法

在高效率的生產(chǎn)模式下，要求工業(yè)機(jī)器人具有快速的工作能力，這就要求系統(tǒng)具有先進(jìn)的目標(biāo)識(shí)別算法和準(zhǔn)確的定位控制。目前，作為圖像識(shí)別應(yīng)用效果良好的TLD（Tracking Learning Detection）跟蹤算法在障礙目標(biāo)較少的情況下，有著較高的通用性，但是算法相對(duì)復(fù)雜，需要的運(yùn)算時(shí)間較長(zhǎng)，在PC控制端實(shí)時(shí)性不佳。此外，該算法在圖像跳動(dòng)的處理方面存在一定的問(wèn)題，因此不能夠直接應(yīng)用于基于雙目視覺(jué)識(shí)別技術(shù)的定位和抓取精確控制。

在雙目視覺(jué)識(shí)別控制中，仍不可避免地會(huì)出現(xiàn)偶然目標(biāo)信息丟失的情況。這是由于掛載的攝像頭一般無(wú)法實(shí)時(shí)運(yùn)動(dòng)，使得圖像目標(biāo)無(wú)法持續(xù)位于最佳位置，而且很多機(jī)械手臂在路徑搜索[5]過(guò)程中也存在遮擋攝像頭的問(wèn)題。為此，可將增強(qiáng)的Camshift算法應(yīng)用于雙目視覺(jué)識(shí)別控制中，這樣以來(lái)，若圖像中無(wú)法識(shí)別目標(biāo)參數(shù)，則會(huì)自動(dòng)擴(kuò)大搜索區(qū)域范圍或移動(dòng)攝像頭，避免短時(shí)間內(nèi)對(duì)于視覺(jué)范圍內(nèi)位置信息的丟失。該方案在基于圖像識(shí)別的搜索機(jī)器人運(yùn)行軌跡控制中有著良好的應(yīng)用效果。

1.2 目標(biāo)識(shí)別方法

目標(biāo)識(shí)別是工業(yè)機(jī)器人執(zhí)行定位和抓取任務(wù)的首要前提，要求識(shí)別算法具有較高的魯棒性，而算法無(wú)法直接應(yīng)用于機(jī)械控制，需要對(duì)識(shí)別目標(biāo)進(jìn)行準(zhǔn)確地定義或描述，這也是確保算法可靠性和機(jī)械手快速動(dòng)作的關(guān)鍵。目前，對(duì)于目標(biāo)的識(shí)別方法主要有：幾何模型法、外觀視圖法、局部特征法等。對(duì)于雙目視覺(jué)識(shí)別控制，可綜合運(yùn)用幾何模型法和局部特征法，根據(jù)模型特征進(jìn)行匹配[6]，提升識(shí)別的準(zhǔn)確度。

1.2.1 幾何模型法

根據(jù)機(jī)械手工作原理可知，基于幾何模型的目標(biāo)識(shí)別方法要求提前預(yù)知傳感器數(shù)據(jù)，通過(guò)定位或抓取對(duì)象的目標(biāo)信息建立相應(yīng)的數(shù)學(xué)模型，其算法的原理框圖如圖1所示。

圖1 幾何模型法的原理框圖

圖2 局部特征法的原理框圖

基于幾何模型法的目標(biāo)識(shí)別過(guò)程具有獨(dú)立性，其在處理目標(biāo)信息時(shí)不考慮圖像的顏色、紋理等信息。在建立數(shù)學(xué)模型時(shí)，首先通過(guò)傳感器獲取大量的關(guān)聯(lián)信息，然后基于定位目標(biāo)的特征完成各個(gè)關(guān)聯(lián)屬性的確定，形成屬性關(guān)聯(lián)函數(shù)，便于目標(biāo)關(guān)系的求解和提取。對(duì)于目標(biāo)關(guān)系的提取，目前應(yīng)用較多的方法有表面模型法、不變性特征法等。這個(gè)方法均通過(guò)圖像目標(biāo)和數(shù)學(xué)模型的對(duì)比和匹配分析執(zhí)行參數(shù)的提取任務(wù)，獲取真實(shí)的目標(biāo)對(duì)象。匹配對(duì)于目標(biāo)參數(shù)的提取起到關(guān)鍵的作用，常見(jiàn)的匹配方法有距離法、最小二乘法、樹(shù)匹配法[7]等。

幾何模型法適用于簡(jiǎn)易的圖像處理，其不受光線強(qiáng)弱的影響，得出的數(shù)據(jù)直觀，便于分析和處理。為了提升幾何模型法的能力，需要進(jìn)行大量的非在線訓(xùn)練數(shù)據(jù)，整個(gè)過(guò)程需要耗費(fèi)大量的時(shí)間，計(jì)算周期較長(zhǎng)，但效果顯著。為彌補(bǔ)時(shí)間缺陷，可引入局部特征法。

1.2.2 局部特征法

相比于幾何模型法，局部特征法更集中于局部信息的提取，因此總體的計(jì)算量較小。局部特征法主要采用區(qū)域內(nèi)圖像特征描述參數(shù)信息，根據(jù)相關(guān)的匹配算法、識(shí)別控制最終實(shí)現(xiàn)目標(biāo)對(duì)象的獲取，其原理框圖如圖2所示。

1.2.3 局部特征法

局部特征法在實(shí)現(xiàn)過(guò)程中基于3個(gè)關(guān)鍵的步驟：特征提取、特征匹配和模式識(shí)別。在進(jìn)行目標(biāo)識(shí)別時(shí)，首先依據(jù)特征點(diǎn)的位置導(dǎo)出非在線的數(shù)據(jù)資源，然后將這些數(shù)據(jù)與在線目標(biāo)庫(kù)進(jìn)行對(duì)比，得出最匹配的特征點(diǎn)，最后根據(jù)評(píng)價(jià)結(jié)果獲取識(shí)別信息。局部特征法的關(guān)鍵在于局部特征的選定，一般選取圖像中的角點(diǎn)、邊緣、閉合區(qū)域等。

2 定位和抓取實(shí)現(xiàn)方案

2.1 基于位置控制方案

在雙目視覺(jué)識(shí)別控制中，最終實(shí)現(xiàn)機(jī)械手定位或抓取工作的方法主要有：位置法和圖像法。基于位置控制方案是一種高精度的伺服控制方法，其將視覺(jué)信息進(jìn)行數(shù)字化，在三維坐標(biāo)中定義相關(guān)的誤差數(shù)據(jù)，在進(jìn)行數(shù)據(jù)識(shí)別時(shí)，根據(jù)目標(biāo)特性和構(gòu)造的幾何數(shù)學(xué)模型推斷出目標(biāo)點(diǎn)與雙目攝像頭之間的位置關(guān)系。根據(jù)該位置關(guān)系控制伺服電機(jī)的運(yùn)動(dòng)狀態(tài)，以反饋的形式不斷調(diào)節(jié)位姿和狀態(tài)，最終達(dá)到所期望的位姿。整個(gè)過(guò)程中，運(yùn)動(dòng)指令均通過(guò)目標(biāo)點(diǎn)的相對(duì)坐標(biāo)來(lái)制定和傳達(dá)，其在雙目視覺(jué)識(shí)別控制中的反饋過(guò)程如圖3所示。

基于位置的控制方式對(duì)于目標(biāo)點(diǎn)的描述更為直觀，適用于機(jī)械手臂路徑的各種運(yùn)算方法，滿足機(jī)械手的學(xué)習(xí)慣性。此外，也可以手動(dòng)進(jìn)行位置控制，即在空間內(nèi)將直接進(jìn)行運(yùn)動(dòng)規(guī)劃，此時(shí)，可以將機(jī)械手位姿的期望與伺服控制分開(kāi)，分別進(jìn)行分析和研究。但是，該控制方法也有一定的缺陷，在較大運(yùn)行速度下，控制精度相對(duì)較低，運(yùn)算效率受幾何模型的復(fù)雜程度影響較大，而且對(duì)于整個(gè)誤差標(biāo)定[8]的敏感度較高。

圖3 基于位置控制方案

2.2 基于圖像控制方案

基于圖像的伺服控制方案以典型的圖像特征為信號(hào)，對(duì)機(jī)械手的運(yùn)行軌跡進(jìn)行反饋。過(guò)程中需要對(duì)圖像雅克比矩陣進(jìn)行反復(fù)運(yùn)算，直到得出平面圖像特征變化量與機(jī)械手位姿變化量之間的關(guān)系。從本質(zhì)上講，圖像的特征誤差是機(jī)械手控制信號(hào)的主要來(lái)源，也是反饋控制的關(guān)鍵。基于圖像控制方案的反饋環(huán)路如圖4所示，其最重要的內(nèi)容為誤差估計(jì)。目前，常見(jiàn)的圖像雅克比矩陣運(yùn)算方法有學(xué)習(xí)法、經(jīng)驗(yàn)法和在線估計(jì)法等。其中，學(xué)習(xí)法適用于誤差的初值選擇，結(jié)合神經(jīng)網(wǎng)絡(luò)算法和離線示教法等，使得算法更為合理。經(jīng)驗(yàn)法要求對(duì)于圖像目標(biāo)的幾何模型具有預(yù)先的認(rèn)知能力，否則難以得出標(biāo)定的雅克比矩陣。在線估計(jì)與經(jīng)驗(yàn)法類似，但無(wú)需預(yù)先標(biāo)定。

圖4 基于圖像控制方案

3 結(jié)束語(yǔ)

一般地，基于圖像識(shí)別技術(shù)的定位或抓取控制需要首先對(duì)目標(biāo)進(jìn)行建模，建模的方法和信息采集方案是機(jī)械手獲取最佳控制精度的關(guān)鍵。雙目視覺(jué)識(shí)別技術(shù)在機(jī)械手的定位和抓取控制方面有著良好的應(yīng)用效果，但是對(duì)于特殊工況，比如目標(biāo)本身幾何特性不明顯，其精度難以采用常規(guī)方法控制。文中所分析和研究的目標(biāo)識(shí)別方法和伺服控制方案對(duì)于復(fù)雜場(chǎng)景中具有顯著的準(zhǔn)確率，但目前仍存在一定匹配失誤問(wèn)題。如何進(jìn)一步提升目標(biāo)識(shí)別算法的魯棒性是雙目識(shí)別控制的重點(diǎn)和難點(diǎn)。