協(xié)同關(guān)系下多媒體運(yùn)動(dòng)與采摘機(jī)器人匹配設(shè)計(jì)研究

彭天娥

(重慶電子工程職業(yè)學(xué)院,重慶 401331)

0 引言

隨著科技的發(fā)展,機(jī)器人的研究已經(jīng)較為成熟,許多行業(yè)中已經(jīng)采用機(jī)器人替代人力進(jìn)行勞作。采摘機(jī)器人的主要功能是替代人力進(jìn)行采摘工作[1],由于采摘目標(biāo)具有隨機(jī)分布性,且易被樹枝樹葉等遮擋,造成采摘機(jī)器人目標(biāo)識(shí)別與定位效果差[2],加大了采摘機(jī)器人手臂運(yùn)動(dòng)的難度。

以往采摘機(jī)器人大多通過機(jī)器視覺技術(shù)劃分每個(gè)機(jī)械臂的作業(yè)區(qū)間,并利用編碼器對(duì)每個(gè)機(jī)械臂進(jìn)行編碼,完成多機(jī)械臂的協(xié)同作業(yè),此類方法對(duì)圖像邊緣提取過程中模糊區(qū)域的邊緣提取效果較差,導(dǎo)致采摘效率低。目前,手機(jī)、攝像機(jī)、電腦等多媒體設(shè)備被廣泛地應(yīng)用,利用多媒體技術(shù)分析運(yùn)動(dòng)視頻,獲取運(yùn)動(dòng)特征,為運(yùn)動(dòng)的教學(xué)提供優(yōu)秀教材[3]。將多媒體運(yùn)動(dòng)捕捉系統(tǒng)內(nèi)較強(qiáng)的圖像特征提取功能與采摘機(jī)器人的視覺系統(tǒng)相匹配,結(jié)合機(jī)械臂協(xié)同運(yùn)動(dòng)控制算法,可提升采摘機(jī)器人的目標(biāo)識(shí)別能力。為此,提出協(xié)同關(guān)系下的多媒體運(yùn)動(dòng)與采摘機(jī)器人匹配方法,實(shí)現(xiàn)采摘機(jī)器人準(zhǔn)確、快速的采摘運(yùn)動(dòng),以提高采摘質(zhì)量。

1 多媒體運(yùn)動(dòng)與采摘機(jī)器人匹配控制

1.1 多媒體運(yùn)動(dòng)與采摘機(jī)器人圖像邊緣檢測匹配

獲取運(yùn)動(dòng)比賽視頻幀動(dòng)作,匯總動(dòng)作特征內(nèi)的技術(shù)動(dòng)作信息,得到運(yùn)動(dòng)動(dòng)作的多媒體數(shù)據(jù)。采摘機(jī)器人進(jìn)行采摘工作時(shí),最關(guān)鍵的步驟是自動(dòng)定位采摘目標(biāo)[4],因此需要具備功能完善的視覺系統(tǒng)。將多媒體運(yùn)動(dòng)動(dòng)作特征獲取技術(shù)與采摘機(jī)器人自主定位技術(shù)相匹配,使得采摘機(jī)器人在確定采摘目標(biāo)時(shí)使用多媒體運(yùn)動(dòng)動(dòng)作特征獲取技術(shù),獲得采摘目標(biāo)的特征,完成自主采摘工作。

在多媒體資源中獲取運(yùn)動(dòng)動(dòng)作時(shí),獲取的動(dòng)作通常為運(yùn)動(dòng)的視頻序列,此序列為運(yùn)動(dòng)賽場上的視頻設(shè)備得到的隨時(shí)間而發(fā)生改變的圖像。式(1)中描述的是依照固定的時(shí)間段落獲取圖像與時(shí)間之間的變化相關(guān)性,即

{g(x,y,t0),g(x,y,t1),…,g(x,y,tB-1)}

(1)

其中,g(x,y)、B、t、ti-ti-1分別表示圖像、總幀數(shù)、采集圖像時(shí)對(duì)應(yīng)的實(shí)時(shí)時(shí)刻和時(shí)間間隔。無特定條件時(shí),相鄰圖像的時(shí)間間隔一致,相比于靜態(tài)圖像獲取動(dòng)態(tài)圖像得到的信息更為飽滿。邊緣檢測時(shí),圖像獲取是最關(guān)鍵的步驟,主要功能是得到圖像潛在的信息,具體過程包括濾波、增強(qiáng)、檢測和定位[5]。

當(dāng)傳感器實(shí)時(shí)采集圖像時(shí),動(dòng)作速度過快導(dǎo)致采集圖像中噪聲干擾較強(qiáng),因此需要濾波過程降低噪聲[6];采用梯度算法使濾波后圖像的梯度發(fā)生變化,增強(qiáng)圖像模糊區(qū)域的清晰度,獲取圖像邊緣中較為清晰的部分;對(duì)于圖像邊緣不清晰的部分,利用邊緣檢測無法獲取圖像邊緣點(diǎn),因此需設(shè)置梯度閾值,鑒定圖像邊緣,完成邊緣檢測,最終獲取圖像邊緣的準(zhǔn)確方位。通過上述過程得到圖像的邊緣,詳細(xì)流程如圖1所示。

圖1 邊緣檢測的流程圖Fig.1 Flow chart of edge detection。

檢測邊緣圖像的梯度波動(dòng)最大值,利用梯度值優(yōu)化降低噪聲干擾,實(shí)現(xiàn)圖像邊緣為準(zhǔn)的準(zhǔn)確定位時(shí)邊緣檢測算法的核心作用[7]。在邊緣檢測過程中采用Canny算法,在完成圖像濾波的基礎(chǔ)上檢測圖像最大梯度值,實(shí)現(xiàn)圖像邊緣的準(zhǔn)確定位。檢測過程中,需處理圖像使之達(dá)到平滑狀態(tài),在此基礎(chǔ)上求導(dǎo)。二維高斯函數(shù)為

(2)

其中,σ為高斯變化量。

用m表示一特定方向,則二維高斯函數(shù)的一階方向?qū)?shù)為

(3)

(4)

(5)

其中,m和H為表示方向矢量和梯度矢量;θ為變化角度。

卷積處理圖像g(x,y)與二維高斯函數(shù)的一階方向?qū)?shù),并變換m所表示的方向,在Hm·g(x,y)為最大值的條件下,得到邊緣檢測方向同n之間的關(guān)系為正交,那么邊緣梯度為

(6)

(7)

(8)

(9)

其中,S(x,y)和φ分別為獲取實(shí)時(shí)圖像(x,y)點(diǎn)處的邊緣強(qiáng)度和法向矢量,對(duì)H(x,y)設(shè)置一個(gè)閾值確定圖像局部梯度的最大值點(diǎn),以提升檢測圖像邊緣的準(zhǔn)確性。

圖2描述的是采摘機(jī)器人采摘目標(biāo)邊緣檢測與識(shí)別的流程設(shè)計(jì)。在對(duì)圖像實(shí)施邊緣檢測過程中,首先獲取圖像邊緣梯度最大值;其次設(shè)置閾值,以閾值為標(biāo)準(zhǔn),將高于閾值的點(diǎn)和低于閾值的點(diǎn)分析進(jìn)行保存和0設(shè)定;最終獲取圖像邊緣[8],為采摘機(jī)器人采摘目標(biāo)定位提供數(shù)據(jù)依據(jù)。

圖2 采摘機(jī)器人采摘目標(biāo)邊緣檢測與識(shí)別流程Fig.2 Edge Detection and Recognition Procedure of Picking Target for Picking Robot。

通過本小節(jié)所描述的過程實(shí)現(xiàn)多媒體運(yùn)動(dòng)與采摘機(jī)器人視覺圖像邊緣檢測的匹配[9],獲取采摘機(jī)器人采摘目標(biāo)的精確定位;在此基礎(chǔ)上,通過協(xié)同關(guān)系下采摘機(jī)器人運(yùn)動(dòng)控制算法,實(shí)現(xiàn)采摘機(jī)器人雙臂協(xié)同控制。

1.2 協(xié)同關(guān)系下基于約束的采摘機(jī)器人運(yùn)動(dòng)控制算法

采摘機(jī)器人定位到采摘目標(biāo)后,通過運(yùn)動(dòng)控制算法實(shí)現(xiàn)機(jī)器人采摘運(yùn)動(dòng)的合理控制時(shí),應(yīng)對(duì)采摘機(jī)器人設(shè)置封閉的運(yùn)動(dòng)鏈,完成采摘機(jī)器人雙臂對(duì)應(yīng)位姿無變化條件下的雙臂協(xié)同運(yùn)動(dòng)[10]。詳細(xì)的過程如下:

(10)

[n(ql),s(ql),a(ql)]T[n(qf),s(qf),a(qf)]=W

(11)

(12)

其中,v和u分別為采摘機(jī)器人手臂末端的線速度和角速度。

對(duì)式(10)等號(hào)兩側(cè)實(shí)施時(shí)間求導(dǎo),并與式(12)相結(jié)合,獲取采摘機(jī)器人兩手臂末端協(xié)同運(yùn)動(dòng)時(shí)線速度的關(guān)系為

(13)

采摘機(jī)器人協(xié)調(diào)運(yùn)動(dòng)時(shí),兩手臂的角速度相同,由于兩手臂末端無相對(duì)位移,即ul=uf,結(jié)合式(12)得

(14)

將式(13)與式(14)相結(jié)合,獲取協(xié)同運(yùn)動(dòng)時(shí)主從手臂關(guān)節(jié)速度間的相關(guān)性為

(15)

實(shí)現(xiàn)采摘機(jī)器人雙臂協(xié)同運(yùn)動(dòng)時(shí),根據(jù)采摘目標(biāo)定位的運(yùn)動(dòng)軌跡確定主動(dòng)手臂的運(yùn)動(dòng)狀態(tài),再采用運(yùn)動(dòng)學(xué)反解方程確定從動(dòng)手臂的初始關(guān)節(jié)位移。利用式(15)計(jì)算從動(dòng)手臂的初始關(guān)節(jié)速度,當(dāng)協(xié)同運(yùn)動(dòng)啟動(dòng)后,得到全部從動(dòng)手臂的關(guān)節(jié)位移。當(dāng)采摘機(jī)器人運(yùn)動(dòng)時(shí),根據(jù)明確的主動(dòng)手臂實(shí)時(shí)關(guān)節(jié)速度和式(15),確定從動(dòng)手臂的關(guān)節(jié)速度,實(shí)現(xiàn)采摘機(jī)器人雙臂協(xié)同運(yùn)動(dòng)。

2 實(shí)驗(yàn)結(jié)果與分析

為了實(shí)驗(yàn)驗(yàn)證協(xié)同關(guān)系下多媒體運(yùn)動(dòng)與采摘機(jī)器人匹配方法的可行性,測試了控制過程中采摘機(jī)器人采摘某果園中蘋果時(shí)圖像識(shí)別和定位準(zhǔn)確率,結(jié)果如表1所示。由表1可知:本方法進(jìn)行10次蘋果采摘測試的圖像識(shí)別準(zhǔn)確率平均值和定位準(zhǔn)確率平均值分別為98.35%和98.44%。這說明,本方法可準(zhǔn)確識(shí)別圖像并定位圖像,進(jìn)而說明了本方法控制采摘機(jī)器人的可行性。

表1 采摘機(jī)器人采摘性能測試Table 1 Picking Performance Test of Picking Robot %。

為測試本文方法對(duì)于蘋果圖像的識(shí)別效率,在相同的實(shí)驗(yàn)環(huán)境中,對(duì)比本文方法、基于編碼器的采摘機(jī)器人控制方法和基于并聯(lián)繩牽引的采摘機(jī)器人控制方法的圖像識(shí)別效率,結(jié)果如表2所示。由表2可知:本文方法識(shí)別圖像時(shí)所花費(fèi)的平均時(shí)間為2.43s,基于編碼器的采摘機(jī)器人控制方法和基于并聯(lián)繩牽引的采摘機(jī)器人控制方法識(shí)別圖像時(shí)所花費(fèi)的平均時(shí)間分別為5.03s和5.20s;3種方法相比較,本文方法所花費(fèi)的時(shí)間不足另外兩種方法的1/2。這說明,本文方法能夠有效提升采摘機(jī)器人的圖像識(shí)別效率。

表2 不同方法識(shí)別圖像的時(shí)間對(duì)比結(jié)果Table 2 Time comparison results of different methods for image recognition s。

測試相同實(shí)驗(yàn)環(huán)境下,3種不同方法控制下采摘機(jī)器人雙臂進(jìn)行采摘工作時(shí)的控制誤差,驗(yàn)證本文方法的控制精度,結(jié)果如圖3～圖5所示。分析圖3～圖5可知:基于編碼器的采摘機(jī)器人控制方法控制下的3個(gè)機(jī)器人在30次控制操作內(nèi)將控制誤差降低至最低狀態(tài);基于并聯(lián)繩牽引的采摘機(jī)器人控制方法控制下的3個(gè)機(jī)器人若將控制誤差將至最低則需要32～48次控制操作,而本方法只需10次左右的控制操作即可將控制誤差降至最低。同時(shí),3種方法相比較,本文方法的控制殘差明顯低于另外兩種方法。

圖3 基于編碼器的控制方法的控制誤差測試Fig.3 Control Error Testing Based on Encoder Control Method。

圖4 基于并聯(lián)繩牽引的控制方法的控制誤差測試Fig.4 Control Error Test Based on Parallel Cable Traction Control Method。

圖5 本文方法的控制誤差測試Fig.5 Control error test of this method。

為驗(yàn)證本文方法的采摘效率,采用3種不同方法進(jìn)行采摘效率測試。設(shè)置統(tǒng)一的初始點(diǎn),將采摘目標(biāo)設(shè)置為20個(gè),統(tǒng)計(jì)3種方法控制下的采摘機(jī)器人到達(dá)指定采摘地點(diǎn)并完成采摘任務(wù)共花費(fèi)的時(shí)間,結(jié)果如圖6所示。

圖6 不同方法的采摘效率對(duì)比Fig.6 Comparison of picking efficiency of different methods。

由圖6可以看出:在基于編碼器的采摘機(jī)器人控制方法控制下,采摘20個(gè)目標(biāo)所需的平均時(shí)間約為41.84s;在基于并聯(lián)繩牽引的采摘機(jī)器人控制方法控制下,采摘20個(gè)目標(biāo)所需的平均時(shí)間約為46.25s;在本文方法控制下,所需的平均時(shí)間與其他兩種方法相比分別降低了12.07s和16.48s。實(shí)驗(yàn)表明:本文方法可降低采摘過程所需的時(shí)間,大幅提升采摘效率。

3 結(jié)論

論文提出了協(xié)同關(guān)系下的多媒體運(yùn)動(dòng)與采摘機(jī)器人匹配方法,將運(yùn)動(dòng)動(dòng)作捕捉技術(shù)與采摘機(jī)器人視覺定位方法相匹配,根據(jù)運(yùn)動(dòng)動(dòng)作捕捉的邊緣檢測與特征提取方法改進(jìn)采摘機(jī)器人的視覺定位方法,以提高采摘機(jī)器人目標(biāo)識(shí)別與定位精度。在高精度的目標(biāo)識(shí)別與定位的基礎(chǔ)上,采用基于約束的運(yùn)動(dòng)控制算法,基于采摘機(jī)器人雙臂運(yùn)動(dòng)中位置、姿態(tài)及各關(guān)節(jié)速度間的約束關(guān)系,完成采摘機(jī)器人精確的雙臂協(xié)同運(yùn)動(dòng),可提高采摘質(zhì)量。