基于服務(wù)機器人的人體追蹤技術(shù)的研究

湯 辰，萬 衡

（上海應(yīng)用技術(shù)學院，上海 201418）

在生物特征識別技術(shù)中：人臉識別、虹膜識別、掌紋識別、聲音識別等有著廣闊的應(yīng)用前景，以上技術(shù)都是利用計算機技術(shù)與人類生物特征的關(guān)聯(lián)研究，因此備受矚目［1］。其中人體骨骼信息的提取可以應(yīng)用于個人隱私保護、信息安全、金融服務(wù)和刑偵鑒定等領(lǐng)域［2］。而對于服務(wù)機器人這個朝陽行業(yè)來講，該技術(shù)更是必不可缺［3］。目前微軟利用Kinect的紅外景深攝像頭采集人體骨骼信息，即使全身包裹衣服，依然可以獲取骨骼點，該技術(shù)可以提取人的20個關(guān)節(jié)點信息［4］，依次測算出骨骼尺寸及比例，機器人可以根據(jù)該特征信息確認人物身份以及需要跟蹤的人物位置，但實驗發(fā)現(xiàn)當出現(xiàn)在攝像頭視野范圍內(nèi)的人物較少時，骨骼檢測相對穩(wěn)定，相反則容易出現(xiàn)混亂。

針對以上出現(xiàn)的問題，本文采用激光掃描儀來掃描人腿信息進行輔助修正，它所獲取的是全離散的矢量距離點構(gòu)成的“點云”數(shù)據(jù)，它掃描所獲得的每個像素都包含一個角度值和距離值［5］。因此使用激光掃描儀的輔助手段進行數(shù)據(jù)分析有很大的優(yōu)勢，尤其是在結(jié)合了視頻圖像數(shù)據(jù)和激光數(shù)據(jù)時體現(xiàn)出了它的優(yōu)越性。

1 提取骨骼信息

1.1 骨骼識別

人體的骨骼信息是通過處理Kinect的深度數(shù)據(jù)獲得的［6］，在景深數(shù)據(jù)的基礎(chǔ)之上提取人體骨骼信息的過程就是骨骼追蹤。本文采用Kinect SDK的骨骼追蹤技術(shù)來獲取骨骼數(shù)據(jù)，其最多可以提供兩名用戶的詳細骨骼信息［7］。首先，Kinect的CMOS紅外傳感器會以30 frame/s的速度來掃描周邊的環(huán)境，探測到紅外光反射來計算視野范圍內(nèi)每一個像素點的深度值，并且生成景深圖像流，即獲得了深度數(shù)據(jù)。然后，CMOS紅外傳感器在視野范圍內(nèi)的深度圖像中尋找可能是人體的物體，最后根據(jù)產(chǎn)生的X，Y，Z數(shù)據(jù)來確定人體骨骼點，區(qū)分哪部分是頭、手、及身體［8］。

1.2 骨骼追蹤流程

基于Kinect SDK的骨骼追蹤流程如圖1所示。

圖1 骨骼識別流程

（1）初始化 初始化Kinect設(shè)備以及NITE環(huán)境，攝像頭仰角設(shè)置。

（2）打開攝像頭 打開RGB流以及深度數(shù)據(jù)流的畫面［9］。

（3）數(shù)據(jù)轉(zhuǎn)換 將深度數(shù)據(jù)類型轉(zhuǎn)換成Opencv中的IplImage圖像類型。

（4）創(chuàng)建User跟蹤器 創(chuàng)建并讀取User Frame信息，并且從中獲取User的信息。

（5）骨骼獲取跟蹤 根據(jù)所獲取的User信息完成對人體骨骼的檢測。其骨骼空間的坐標系（X，Y，Z）表示為：skeleton.Joint.position.X，skeleton.Joint.po?sition.Y，skeleton.Joint.position.Z，將骨骼空間的3D坐標轉(zhuǎn)換成屏幕形式的2D坐標，根據(jù)此坐標求出兩點之間的距離以及兩點之間的水平距離。并采用連線的方式將骨架畫出來。

（6）退出程序 關(guān)閉Kinect數(shù)據(jù)流、跟蹤器、NITE環(huán)境以及釋放Frame信息。

1.3 骨骼分類

在骨骼的檢測識別中，可以根據(jù)人體骨骼對人進行編號區(qū)分。其中有很多信息可以作為人物身份標定，比如有：身高、肩寬、腿長以及臂長等。根據(jù)上節(jié)中所說的骨骼空間坐標的表達，可得肩寬L、身高H以及身高肩寬比S為：

按照骨骼比例中的某一種情況S進行分類，其實際效果如圖2所示；在某些情況下也會出現(xiàn)圖3情況的誤檢測。

如圖2中，假設(shè)機器人所要跟隨的是右邊人物的骨架信息，試驗發(fā)現(xiàn)，在多人干擾的情況下，右邊人物的骨架信息有時會跳轉(zhuǎn)到干擾人身上，這種情況極大地錯誤引導了機器人的動作，針對該情況以及誤檢測的情況，本文采用激光掃描的方法來糾正。

圖2 骨骼人物區(qū)分

圖3 將柱子也檢測成為了人體骨骼所導致的誤檢測

2 激光掃描糾正

人腿有一個顯著的特征就是呈圓弧狀［9］，如圖4所示，因此本文針對此特征，利用激光掃描儀獲取一連串離散的點，將其進行聚類分析，識別出人腿的聚類信息，計算出人腿的中心點，從而確定目標人物的位置。

圖4 激光掃描人腿數(shù)據(jù)點

Tk[n]表示人腿信息點的集合，其中n表示激光掃描人腿的點數(shù)。其識別人腿的原理如下：

（1）激光掃描人腿的首尾點的直線長度L1和連線這些點的總長度L2為：

通常情況下人無論是在行走或者站立其兩腿之間的距離一般不超過60 cm，也就是滿足以上條件并且L＜0.6 m時，則符合雙腿的條件，若存在3個或者3個以上的點兩兩之間相互滿足以上的條件，則認為是無效的點，繼續(xù)掃描。如圖5所示。箭頭的起點為激光的位置，兩個標為白色的數(shù)據(jù)點則判定為人，白色區(qū)域兩邊的凸點即為人腿。

圖5 激光掃描數(shù)據(jù)點

3 服務(wù)機器人跟蹤實驗

實驗中采用的激光為LMS111系列，該傳感器已經(jīng)達到了0.1°的分辨率，500 Hz的掃描頻率以及0.5 ms～2 ms的響應(yīng)時間，并且其不受光照強度變化的影響，掃描角度為70°，20 m的檢測距離，針對10%反射率的黑色物體依然可以達到18 m。實驗中將該設(shè)備安裝在機器人地盤的上端，采用以太網(wǎng)與主機進行通信。

通常骨骼點所檢測到的Skeleton.Joint.Position.Z與激光掃描人腿的距離信息Z存在一定的閾值關(guān)系，如圖6所示。它是本文的服務(wù)機器人試驗平臺，激光與Kinect不在一個垂直面上，該閾值P可取30 cm，當他們的差值小于P值時，則該骨骼點是沒有問題的，若出現(xiàn)骨骼誤檢測時，通常P值的大小會反應(yīng)出該情況，此時取人腿中心點T(xo,yo)。人與機器人之間的距離會始終保持1.5 m左右，也就是所測骨骼點以及激光數(shù)據(jù)點與機器人的徑直距離需要保持在1.5 m左右，人快則機器人快，人慢則機器人慢，當他們之間的距離小于1 m時，機器人停止運動，因此骨骼點距離或者激光掃描點距離大于2 m左右時，即在正常檢測情況下，不可能出現(xiàn)徑直距離超過2 m的，否則為錯誤點，此時應(yīng)取小于該距離的點進行跟蹤。其中目標人物的位置與機器人的輪子速度關(guān)系如下：

其中ω為3個輪子的角速度，θ為世界坐標系中X軸到機器人中X軸的角度，逆時針為正，X，Z則是機器人相對目標人物X軸方向和徑直的距離，z＞0表示向前移動，x＞0表示向右移動。選擇了5個人來參加本次實驗，當中有一個目標人物，其他4人均為干擾背景，其測試結(jié)果如表1所示。

圖6 服務(wù)機器人

表1 實驗數(shù)據(jù)

4 結(jié)束語

本文提出了針對骨骼誤檢測進行了研究，利用人腿圓弧狀的特征，使用激光掃描人腿信息獲取人的位置及目標人物的距離，在一定程度上糾正了骨骼誤檢測的問題。該方法在服務(wù)機器人平臺進行試驗，試驗結(jié)果驗證了本文方法的有效性，為日后對服務(wù)機器人的研究奠定了基礎(chǔ)。

［1］馬虹.基于WiFi的云機器人設(shè)計研究［J］.電子器件，2014，37（2）：368-374.

［2］李恒.基于Kinect骨骼跟蹤功能的骨骼識別系統(tǒng)研究［D］.

［3］王一凡，顏建美，陳東升.基于RFID和視覺的工業(yè)機器人系統(tǒng)應(yīng)用與實現(xiàn)［J］.電子器件，2013，36（6）：872-875.

［4］韓文錫，張維忠，趙志剛.基于深度圖像的人體骨骼點的跟蹤矯正方法［J］.青島大學學報，2014，27（1）：83-86.

［5］趙艷梅，張愛武，王貴賓.基于激光掃描儀的人腿信息數(shù)據(jù)獲取與處理［J］.資源環(huán)境與工程，2007，21（3）：309-311.

［6］Human_Interface_Guideline_v1.7［M/OL］.1-56.

［7］顧容，何益明，金麗燕.基于Kinect骨骼跟蹤技術(shù)的智能教學控制系統(tǒng)的設(shè)計與實現(xiàn)［J］.計算機應(yīng)用與軟件，2013，6（30）：276-280.

［8］樊景超，周國民.基于Kinect骨骼跟蹤技術(shù)的手勢識別研究［J］.安徽農(nóng)業(yè)科學，2014，42（11）：3444-3446.

［9］張穎超，段京易，胡凱，等.基于自然環(huán)境辨識的移動機器人位姿快速檢測［J］.電子器件，2014，37（5）：876-881.

［10］王燦，孔斌，韋虎.基于激光雷達機器人的目標人跟蹤方法研究［J］.計算機應(yīng)用與軟件，2014，31（7）：164-168.

湯 辰（1988-），男，漢，江蘇揚州，上海應(yīng)用技術(shù)學院，碩士，主要從事圖像處理的研究，13681872133@163.com；

萬 衡（1963-），男，漢，上海，上海應(yīng)用技術(shù)學院，副教授，主要從事電力電子與電氣傳動的研究，6450387@qq.com。