基于體感識別的輔助倒水機器人控制系統(tǒng)

沈莉麗

(南京航空航天大學(xué)金城學(xué)院,南京 211156)

基于體感識別的輔助倒水機器人控制系統(tǒng)

沈莉麗*

(南京航空航天大學(xué)金城學(xué)院,南京 211156)

為了更好的給老年人及殘疾人提供服務(wù),基于體感識別技術(shù),設(shè)計了輔助倒水機器人控制系統(tǒng)。首先通過Kinect攝像頭獲取人體景深圖像,然后利用體感識別控制算法對人體姿勢進行識別,最后將識別結(jié)果轉(zhuǎn)換為控制命令傳輸?shù)捷o助倒水機器人使其執(zhí)行相應(yīng)動作。實驗表明,輔助倒水機器人具有良好的操控及執(zhí)行性能,能較好地滿足老年人及殘疾人的需求,對服務(wù)型機器人領(lǐng)域的發(fā)展研究具有很好的參考價值。

Kinect;機器人;體感識別;景深圖像

隨著我國人口老齡化以及各類殘疾人士的出現(xiàn),看護工作已成為社會的一個重要負擔(dān)。據(jù)統(tǒng)計,在我國,需要看護人員的家庭約占總數(shù)的十分之一,這使得助老助殘以及家庭護理問題日益成為一個重大的社會問題[1-2]。因此,大力發(fā)展服務(wù)型機器人,是社會發(fā)展的必然需求。服務(wù)型機器人可以代替看護人員給老年人及殘疾人士提供日常服務(wù),幫助他們提高行動自由度,具有重大的社會意義。

體感識別是通過對人體的身體姿態(tài)進行識別、跟蹤,從而實現(xiàn)控制,是一種自然、符合用戶行為習(xí)慣的交互方式[3]。早期的體感識別主要使用傳感器設(shè)備采集肢體關(guān)節(jié)數(shù)據(jù),并結(jié)合神經(jīng)網(wǎng)絡(luò)進行關(guān)節(jié)數(shù)據(jù)分析從而獲得手勢意義,其構(gòu)成復(fù)雜,成本高昂,不適合自然交互方式的要求。微軟Kinect傳感器通過紅外攝像頭獲取深度信息來進行人體姿態(tài)識別,不受環(huán)境影響,得到越來越多研究人員的關(guān)注。韓國建國大學(xué)的Rustam[4]等利用Kinect傳感器的人體骨骼檢測能力,實現(xiàn)了16關(guān)節(jié)類人機器人的人體動作模仿控制;日本千葉大學(xué)的Myagmarbayar[5]等采用隱馬爾可夫模型,利用Kinect傳感器,開發(fā)了一個可以從側(cè)面檢測人體動作并進行跟隨的機器人系統(tǒng)。國內(nèi)方面,上海交通大學(xué)錢鶴慶[6]利用Kinect構(gòu)建人體模型,選取DTW算法進行動態(tài)姿勢識別,完成虛擬地球儀的教育輔助系統(tǒng);清華大學(xué)韓崢[7]等通過對Kinect采集的深度信息進行處理,利用RRT算法對機械臂末端進行路徑規(guī)劃,設(shè)計出實時桌面清理實驗系統(tǒng)。

本文將機器人控制技術(shù)與體感識別相結(jié)合,設(shè)計了針對老年人和殘疾人士的輔助倒水機器人,將倒水機器人的動作與使用者的身體姿態(tài)相結(jié)合,使老年人和殘疾人士可以在原地讓輔助倒水機器人做出移動、接水、倒水等操作,實現(xiàn)了更加自然的人機交互。

1 系統(tǒng)硬件設(shè)計

本文的體感控制系統(tǒng)如圖1所示,主要分為上位機控制和下位機控制兩個部分。上位機控制部分包括Kinect攝像頭和計算機,實現(xiàn)人對下位機的非接觸控制。Kinect體感攝像頭采樣景深及RGB攝像頭數(shù)據(jù),然后計算機端的體感識別系統(tǒng)通過深度圖像局域梯度特征獲取人體骨骼參數(shù),根據(jù)骨骼節(jié)點參數(shù),提取人體姿態(tài)特征,比對預(yù)先定義的人體姿態(tài)庫,將人體肢體動作轉(zhuǎn)換為控制命令,通過2.4G無線數(shù)據(jù)傳輸模塊與輔助倒水機器人建立連接,完成數(shù)據(jù)交換,從而控制輔助倒水機器人完成相應(yīng)的技術(shù)動作。

圖1 系統(tǒng)結(jié)構(gòu)圖

1.1 Kinect體感攝像頭

Kinect是美國微軟公司為XBOX360游戲機開發(fā)的一款體感外設(shè),Kinect實際上是一種3D體感攝像頭,它能夠讓用戶無需借助任何外設(shè),只通過身體動作或者語音就能夠直接完成操作[8]。Kinect有3個鏡頭,最中間的是RGB攝像頭,用來采集彩色圖像,分辨率為640×480;左右兩邊的鏡頭分別是紅外射線發(fā)射器和紅外CMOS攝像頭,它們共同組成了景深傳感器,輸出景深圖像分辨率為320×240。

Kinect傳感器同時獲取采集到的彩色圖像數(shù)據(jù)和景深圖像數(shù)據(jù),支持實時的全身骨骼跟蹤,獲取人體骨架結(jié)構(gòu)的20個關(guān)節(jié)點信息[9]。利用這些信息可以提取出人體姿態(tài)特征,用于人體肢體動作的識別,但是微軟并沒有公布標準動作識別庫,為了實現(xiàn)動作捕捉、識別,必須由開發(fā)者借助于Visual Studio 2010進行相關(guān)開發(fā),通過體感識別算法實現(xiàn)人體動作識別。

1.2 輔助倒水機器人

輔助倒水機器人為輪式小車結(jié)構(gòu),其硬件電路結(jié)構(gòu)框圖如圖2所示,主要由主控制器模塊、直流電機驅(qū)動模塊、無線通訊模塊、紅外避障模塊、全向舵機及電源模塊等幾部分構(gòu)成。電源模塊負責(zé)系統(tǒng)各模塊的電源。全向舵機安裝在小車支架上方,構(gòu)成一個二自由度機械臂云臺,以放置倒水裝置。直流電機驅(qū)動模塊采用L298N,通過主控制器輸出PWM波信號驅(qū)動電機模塊控制其轉(zhuǎn)向和速度。紅外避障模塊主要實現(xiàn)小車避障功能。主控制器模塊是系統(tǒng)的控制核心,通過nRF2401無線通訊模塊與上位機通信,接收指令執(zhí)行相應(yīng)的技術(shù)動作。

圖2 輔助倒水機器人硬件電路結(jié)構(gòu)框圖

2 系統(tǒng)軟件設(shè)計

2.1 體感識別算法

體感識別算法主要由骨架關(guān)節(jié)點獲取、關(guān)節(jié)點角度測量、姿態(tài)匹配和人體姿態(tài)識別等幾個部分組成。算法流程如圖3所示,首先利用Kinect獲取的深度圖像識別出人體骨架關(guān)節(jié)點,提取骨架關(guān)節(jié)點空間坐標,通過空間向量計算關(guān)節(jié)點之間的距離和角度,最后將計算的角度與姿態(tài)庫中的角度閾值范圍進行匹配,從而實現(xiàn)人體姿勢的識別。

圖3 體感識別控制算法流程圖

2.1.1 獲取人體骨架關(guān)節(jié)

Kinect景深圖像的獲取是通過紅外線發(fā)射器和紅外CMOS攝像頭共同來完成的[7],紅外線發(fā)射器發(fā)出紅外光覆蓋整個待測區(qū)域,而紅外線CMOS攝像頭接收反射光線得到的景深圖像,景深圖像中每個像素是kinect獲取的深度信息,因此需要將以像素為單位的深度信息轉(zhuǎn)換成以實際距離為單位的數(shù)據(jù)。由文獻[10]首先利用獲取的深度值求出目標物到Kinect攝像頭的實際距離d。

d=Ktan(Hdr+L)-O

(1)

式中:dr為深度值,H=3.5×10-4rad,K=12.36 cm,L=1.18 rad,O=3.7 cm。

根據(jù)實際距離的深度信息值,文獻[11]給出了由深度坐標點(xd,yd,zd)到實際坐標點(x,y,z)的轉(zhuǎn)換公式

(2)

式中:F=0.002 1,Kinect的分辨率w×h為640×480。

2.1.2 關(guān)節(jié)點角度測量

Kinect的三維坐標系不同于常見的空間三維坐標系[12],其中x軸與y軸的零點與傳統(tǒng)空間坐標系相同,但其z軸坐標零點為Kinect傳感器,正方向為Kinect指向的正前方。由向量的可平移性及方向性,可以推出Kinect坐標系中任意兩個不重合的坐標點A(x1,y1,z1),B(x2,y2,z2)經(jīng)過變換,可轉(zhuǎn)化到傳統(tǒng)空間坐標系中,對其組成的向量AB,可以認為是從坐標軸零點引出。

AB=(x2-x1,y2-y1,z2-z1)

(3)

兩關(guān)節(jié)點之間的距離,利用歐氏距離,

(4)

以人體左手臂為例,取左肩膀E、左肘S、左手腕W3個節(jié)點,對于肘關(guān)節(jié)角度的計算,可以直接使用空間向量ES和EW的夾角得出,計算過程如下:

ES=(Sx-Ex,Sy-Ey,Sz-Ez)

(5)

EW=(Sx-Wx,Sy-Wy,Sz-Wz)

(6)

(7)

以此可以得到肘關(guān)節(jié)角度的三角函數(shù)值,然后再進行反三角函數(shù)運算可以得到相應(yīng)角度,其他關(guān)節(jié)點角度也類似計算。

2.1.3 人體姿態(tài)匹配

姿態(tài)庫中的人體姿勢由關(guān)節(jié)點之間的夾角來確定,設(shè)定βi(i=1,…,4)為關(guān)節(jié)點的角度,其中β1為左肩與左肘之間的角度,β2為左肘與左腕之間的角度,β3為右肩與右肘之間的角度,β4為右肘與右腕之間的角度,則姿態(tài)庫中各姿勢滿足的角度條件如表1所示。

表1 姿勢滿足的角度條件 單位:(°)

姿態(tài)識別時根據(jù)不同的精度要求可以設(shè)定不同的閾值,如果所有關(guān)節(jié)點角度都在閾值范圍內(nèi),則可以判定為有效姿勢。假定閾值為δ,所有關(guān)節(jié)點角度滿足式(8),則判定姿勢識別成功,若其中有一個關(guān)節(jié)角度不滿足,則姿勢識別不成功,需要重新開始識別。

(8)

式中:αi為關(guān)節(jié)點測量角度,βi為關(guān)節(jié)點期望角度。

為了保證對輔助倒水機器人動作控制的精準性,將閾值設(shè)定為10°,對人體姿勢識別時,當(dāng)所有的角度都滿足表1中規(guī)定姿勢的閾值范圍,就可以正確識別出人體各個姿勢。

2.2 上位機軟件設(shè)計

軟件系統(tǒng)是在Visual Studio 2010環(huán)境下開發(fā)的,全部程序使用C#編程實現(xiàn)。系統(tǒng)通過Kinect SDK平臺,訪問連接到計算機的Kinect傳感器,獲取彩色圖像、深度信息,骨骼節(jié)點坐標,進行骨骼追蹤。通過設(shè)計體感識別算法,識別人體姿態(tài)動作,生成相應(yīng)控制指令通過無線通訊模塊發(fā)送給輔助倒水機器人。系統(tǒng)設(shè)計軟件界面如圖4所示,軟件上方從左到右依次顯示景深圖像、骨骼圖像及彩色圖像,左下方顯示景深平均距離值,以英尺為單位,往右依次為命令窗口—顯示識別的命令、調(diào)試窗口—顯示一些調(diào)試過程中的信息、串口設(shè)置—選擇串口端口號,以及打開串口操作、操作按鍵—自定義按鍵,在調(diào)試階段可以不用體感識別部分也能夠控制輔助倒水機器人。

2.3 輔助倒水機器人軟件設(shè)計

輔助倒水機器人采用STC90C52RC單片機為主控制器芯片,通過接收無線通訊模塊nRF2401發(fā)來的控制字并執(zhí)行相應(yīng)指令,能實現(xiàn)機器人前進、后退、左轉(zhuǎn)、右轉(zhuǎn)、停止及開啟倒水裝置電源、接水、倒水等功能,其控制流程如圖5所示。

圖4 系統(tǒng)軟件界面

圖5 輔助倒水機器人流程圖

3 實驗分析

體感識別系統(tǒng)控制的核心在于對人體姿態(tài)的識別,為了驗證整個系統(tǒng)的正確性,分別進行了骨骼跟蹤測試、動作識別測試及整體操控測試。本系統(tǒng)應(yīng)用的關(guān)節(jié)點為左右肩關(guān)節(jié)、肘關(guān)節(jié)及腕關(guān)節(jié)共6個關(guān)節(jié)點,設(shè)定關(guān)節(jié)點角度閾值為10°,在WIN7+VS2010+Kinect SDK環(huán)境下運行上位機軟件。具體實驗過程如下。

(1)骨骼跟蹤測試

通過操作者在Kinect攝像頭視場范圍內(nèi)來回走動,觀察骨骼窗口產(chǎn)生的骨骼跟蹤圖像,可以有效實現(xiàn)對于人體骨骼的跟蹤,并且動作流暢,延時很小。

針對不同距離的識別情況,本次測試同樣做了相應(yīng)的測試和統(tǒng)計,統(tǒng)計結(jié)果表明,識別的有效距離為1.2 m～5.1 m,在此范圍內(nèi)均可有效識別,超過范圍,會由于圖像方面的原因,產(chǎn)生亂碼。

同時本次測試也檢測了不同體型的人對于識別產(chǎn)生的影響,結(jié)果表明,在視場范圍內(nèi),正常人都可以有效的識別,與高、矮、胖、瘦、男、女均沒有關(guān)系。

(2)動作識別測試

為了驗證體感控制動作的準確性,實驗選取了10名操作者,分別進行以下7個動作的測試,測試結(jié)果如表2所示。測試結(jié)果表明:各動作的識別率都超過90%,具有較高的識別成功率,符合控制要求。操作者姿態(tài)動作識別屬于靜態(tài)識別,在操作過程中,操作者作出相應(yīng)控制動作后需持續(xù)1 s以上,若動作變化太快,會降低操作流暢性。

圖6 輔助倒水機器人實物圖

動作及含義測試次數(shù)/次正確識別次數(shù)/次識別率舉起雙手(前進)1009393%放下雙手(停止)1009292%雙臂T型(后退)1009393%左手臂斜上(左轉(zhuǎn)彎)1009393%右手臂斜下(右轉(zhuǎn)彎)1009292%舉起右手(接水)1009393%舉起左手(倒水)1009393%

(3)整體操控測試

輔助倒水機器人實物圖如圖6所示,測試上位機對下位機的控制效果,使整個系統(tǒng)聯(lián)機工作,人體姿態(tài)動作經(jīng)過Kinect及上位機軟件轉(zhuǎn)化為控制指令,并通過2.4G無線通訊模塊傳至下位機,實現(xiàn)體感信息對下位機的控制。首先對輔助倒水機器人所有動作指令進行測試,然后在5 m×5 m的空間中,操作者作出相應(yīng)動作測試機器人移動、接水及倒水任務(wù)的執(zhí)行情況,最終任務(wù)順利完成,表明輔助倒水機器人具有良好的操控及任務(wù)執(zhí)行能力。

4 結(jié)語

本文設(shè)計了一種基于體感識別的輔助倒水機器人控制系統(tǒng)。系統(tǒng)將Kinect體感識別控制、輔助倒水機器人,2.4G無線通訊模塊結(jié)合起來,實現(xiàn)了采用體感識別方式操控輔助倒水機器人。經(jīng)實驗證明,輔助倒水機器人具有良好的操控及執(zhí)行性能,能很好的完成移動及接水、倒水等一系列任務(wù),能較好地滿足老年人及殘疾人的需要,對服務(wù)型機器人領(lǐng)域的發(fā)展研究具有很好的參考價值。

[1] 徐方,張希偉,杜振軍. 我國家庭服務(wù)機器人產(chǎn)業(yè)發(fā)展現(xiàn)狀調(diào)研報告[J]. 機器人技術(shù)與應(yīng)用,2009(2):14-19.

[2] 鄧志東,程振波. 我國助老助殘機器人產(chǎn)業(yè)與技術(shù)發(fā)展現(xiàn)狀調(diào)研[J]. 機器人技術(shù)與應(yīng)用,2009(2):20-24.

[3] 余濤. Kinect應(yīng)用開發(fā)實戰(zhàn):用最自然的方式與機器對話[M]. 北京:機械工業(yè)出版社,2012.

[4] Igorevich R R,Ismoilovich E P. Behavioral Synchronization of Human and Humanoid Robot[C]//Ubiquitous Robots and Ambient Intelligence(URAI),2011:655-660.

[5] Nergui M,Imamoglu N,Yoshida Y,et al. Human Behavior Recognition by a Mobile Robot Following Human Subjects[M]. Evaluating AAL Systems Through Competitive Benchmarking,2013:159-172.

[6] 錢鶴慶. 應(yīng)用Kinect與手勢識別的增強現(xiàn)實教育輔助系統(tǒng)[D]. 上海:上海交通大學(xué),2011.

[7] 韓崢,劉華平,黃文炳,等. 基于Kinect的機械臂目標抓取[J]. 智能系統(tǒng)學(xué)報,2013,8(2):149-155.

[8] 吳國斌,李斌,閻驥洲. Kinect人機交互開發(fā)實踐[M]. 北京:人民郵電出版社,2013.

[9] 黃季冬. 動態(tài)手勢識別技術(shù)研究與實現(xiàn)[D]. 武漢:華中科技大學(xué),2012.

[10] Raheja L J,Chaudhary A,Singal K,et al. Tracking of Fingertips and Centers of Palm Using Kinect[C]//2011 Third International Conference on Computational Intelligence,Modelling and Simulation,2011:248-252.

[11] Satyavolu S,Bruder G,Willemsen P,et al. Analysis of IR-Based Virtual Reality Tracking Using Multiple Kinects[C]//IEEE Virtual Reality Conference,2012:149-150.

[12] 陳曉明,蔣樂天,應(yīng)忍冬. 基于Kinect深度信息的實時三維重建和濾波算法研究[J]. 計算機應(yīng)用研究,2013,30(4):1216-1218.

AuxiliaryPouringRobotControlSystemBasedonSomatosensoryRecognition

SHENLili*

(Jincheng College,Nanjing University of Aeronautics and Astronautics,Nanjing 211156,China)

In order to provide better services to the elder and the disabled people,a auxiliary pouring robot control system based on somatosensory recognition was designed. First of all,the computer was used to obtain the depth image data of human body through kinect camera. Then,the somatosensory recognition control algorithm was used to recognize the human body posture. Finally,the recognition result was converted to control command that were transmited to the auxiliary pouring robot to execute corresponding movement. Experimental results indicated that the auxiliary pouring robot has good performance,that can well meet the needs of the elderly and the disabled. In reality,it has some potential benefits for the applications in the field of humanoid robot research.

Kinect;robot;somatosensory recognition;depth image

10.3969/j.issn.1005-9490.2017.05.050

2016-08-17修改日期2017-01-06

TP391

A

1005-9490(2017)05-1314-05

沈莉麗(1984-),女,漢族,碩士,江蘇南通人,講師,主要從事信號處理的教學(xué)與研究工作,shirely_ivy@163.com。