基于Android+Kinect的失能老人自助系統設計與實現

武乾坤，胡 冰，蘭 浩

(安徽工程大學 計算機與信息學院，安徽 蕪湖 241000)

基于Android+Kinect的失能老人自助系統設計與實現

武乾坤，胡 冰，蘭 浩

(安徽工程大學 計算機與信息學院，安徽 蕪湖 241000)

當前社會老齡化現象越來越嚴重，更好地照顧失能老人是社區居家養老中亟需解決的問題。Kinect是微軟在2009年推出的使用于Xbox游戲機的體感控制設備，游戲玩家使用Kinect在不借助其他任何控制器的情形下實現和游戲機的交互。為此，基于Android+Kinect的技術原理，并運用了WPF設計編程用戶界面框架，設計并實現了針對失能老人的自助系統，解決失能老人在手腳不方便的困難，只需通過幾個簡單的手勢動作實現對電腦的相應控制。Kinect通過深度數據處理技術和骨骼追蹤技術對老人手勢動作進行識別，把識別結果轉換為控制指令傳送到電腦，在電腦客戶端利用Android編程進行Socket通信。實驗結果表明，該系統通過對手勢的接收與識別，能在電腦界面上分別實現健康訓練、視頻通話、短信求助等功能，能方便失能老人更好地生活和更順暢地與外界交流，具有一定的創新性和較好的實用性。

Kinect;體感控制設備;用戶界面框架;深度數據;骨骼追蹤;失能老人自助

0 引 言

隨著社會的進步發展，人口老齡化問題日益加劇，社區居家養老問題在國內日益受到重視。為解決失能老人的行動問題，研究實現了一種基于微軟體感攝像機Kinect和Android的失能老人自助系統。

Kinect是微軟2009年在E3大會上推出的體感攝像機，研究者對Kinect的應用研究包括圖像分割、視頻跟蹤、手語識別、步態識別、三位空間建模、遙控機器人等等。陳濱等[1]利用微軟Kinect體感設備開發出一款利用手勢動作控制計算機的體感虛擬鼠標軟件；朱明茗等[2]通過Kinect實現手勢控制PPT；肖杰等[3]借助Kinect體感攝像頭分析捕獲的實時場景深度數據跟蹤識別人體骨架關鍵信息；陳怡霖等[4]設計并實現了一種基于Kinect的遠程運動康復系統；王松林等[5]提出了一種基于圖像深度信息和人體骨骼信息的手指指尖識別方法和手掌輪廓檢測算法；楊熙年等[6]針對相似骨骼結構之間的重定向提出了基于骨干長度比例的重定向算法；Rama Bindiganavale等[7]將圖像邊緣檢測中常用的二階導數的零交叉用來檢測運動中的重大變化，再利用視覺注意跟蹤和逆向運動學來加強約束，以提高重定向后目標角色運動的真實性。

文中基于Android+Kinect的技術原理，并運用了WPF設計編程用戶界面框架，設計并實現了針對失能老人的自助系統，解決失能老人手腳不方便的困難。

1 技術原理

Kinect是微軟發布的主要用于XBOX360電子游戲機制的體感周邊外設3D攝像機。與普通攝像機的不同之處在于，Kinect有一個紅外發射器和一個紅外接收傳感器，能提供包含數度數據流、彩色視頻流、原始音頻三大類的原始數據信息等[8]，分別對應骨骼跟蹤、身份識別、語音識別三個功能。骨骼跟蹤是Kinect體感操作的基礎，它要求系統在允許的時延范圍內，快速根據骨骼關節構建玩家的軀干、肢體、頭部甚至手指。當Kinect通過紅外攝像獲取人體三維世界后,從深度圖像生成骨骼圖[9]。其實現原理為，首選分析比較接近Kinect的區域，接著逐點掃描這些區域深度圖像的像素，從深度圖像中將人體各個部位識別出來，能夠實現人機的實時性交互[10]。鄭立國等也進行了Kinect的實時性的動作捕捉[11]。

該項目中使用Kinect的紅外傳感器進行動作捕捉，當驅動Kinect時發射紅外掃描視場范圍，紅外接收器接收失能老人反射回來的紅外線，經內部芯片處理后輸出深度圖像數據，RGB圖像傳感器就直接采集到彩色圖像數據。利用骨骼追蹤技術將人體準確地標定為20個關鍵點，并對這20個點進行定位實時追蹤，實現對動作進行指令轉換。Kinect將處理后的動作指令傳給與其連接的電腦客戶端，在電腦客戶端利用Android編程進行Socket通信，對Kinect傳來的指令進行數據處理，實現對失能老人進行健康訓練，幫助失能老人進行通訊，遇特殊情況協助失能老人進行求助等功能。

2 項目設計與實現

該項目設計思想為將Kinect連接到電腦，通過Kinect捕捉動作，客戶端程序做出識別并進行處理，如圖1所示。

圖1 失能老人自助系統功能結構圖

2.1 老人健康訓練模塊

Kinect的空間定位精確，適用于廣泛的互操作領域[12]，通過Kinect統計老人有規律的運動次數。其意義在統計提醒老人揮動手臂，避免老人時間長不運動。算法中當老人持續運動量達到10次以上時開始累加，每天零點把數據清零。Elham Dolatabadi等提出的Kinect對于時空參數的測量[13]具有現實的意義。

運動情況判斷算法框圖如圖2所示。

圖2 運動情況判斷算法框圖

Kinect的SDK中用Joint類型來表示每個人的20個骨骼點。Joint類型包含JointType、Position、TrackingState三類，分別對應骨骼點、骨骼點的位置信息、骨骼點的追蹤狀態，TrackingState枚舉型中的Tracked表示正確捕捉到該骨骼點，NotTracked表示沒有捕捉到骨骼點，Inferred表示狀態不確定。通過輪詢模型來讀取骨骼事件，調用SkeletonStream類的OpenNextFrame()函數即可實現。

2.2 通訊模塊

失能老人通過特定的手勢與家人手機中安裝的特定app進行視頻通話，實現實時通訊。當失能老人面對攝像頭做出右手貼在耳邊打電話的手勢時，失能老人控制系統開始呼叫系統電腦服務端采用的固定IP地址。當安卓端接收呼叫時便可以與老人實時通訊。效果圖如圖3所示。

圖3 失能老人求助視頻效果圖

PC客戶端調用Kinect for windows SDK 2.0中的ColorImageFrame類的OpenColorImageFrame()方法將采集到的視頻存入數組，可得到一個每一幀畫面的回調事件。取得畫面后，進行簡單的壓縮，將圖像用Socket傳輸到服務器上，并綁定到一個窗口的pictureBox上就可以了。

電腦服務端使用Socket進行通信，將服務端bind到端口上，啟用Linten()監聽方法，啟用了一個accept線程以實現端口監聽。當accept到一個客戶端時，會觸發OnClientAccepted事件調用AcceptSocket方法，自動創建一個ClientInfo對象，將一些相關屬性保存。

SocketServer類結構如下：

public class SocketServer{

List clientList=null；

private SocketsocketServer=null;

private IPAddress serverIP;

privateint portNo=15693;

private IPEndPoint serverFullAddr;

Thread acceptThread=null;

Public SocketServer(string ServerIP){

this.serverIP=IPAddress.Parse(ServerIP);

}

public SocketServer(string ServerIP,int portNo){

this.serverIP=IPAddress.Parse(ServerIP);

this.portNo=portNo;

}

public void StartListen() {

{監聽函數；

實現取完整Socket地址，綁定端口，啟動監聽，獲取連接，綁定事件等功能

}

安卓客戶端主函數類結構如下：

public class MainActivity extends Activity implements SurfaceHolder.Callback, Camera.PreviewCallback{

private SurfaceView mySurfaceview=null;

private SurfaceHolder mySurfaceHolder=null;

private CameramyCamera=null;

設置服務器的端口地址以及視頻的屬性。

private StringpUsername="WQK";

private StringserverUrl="172.117.82.25";

private int serverPort=2000;

......

public void onStart(){

安卓設備重啟函數：

重啟后實現設備的初始化；

super.onStart();

}

public void SendMessage(byte[] content) {

發送視頻信息；

}

發送命令線程:

class MyThread extends Thread {

public void run() {

try {

client=new Socket(serverUrl, serverPort);

}catch (UnknownHostException e) {

}catch (IOException e) {

}

}

}

2.3 求助模塊

老人通過特定的求助手勢動作，電腦客戶端的軟件通過調用相應的函數給失能老人的緊急聯系人發送預設短信。當Kinect檢測到鏡頭中的老人做出這樣的手勢動作時,會給預設的手機號碼發送一段短信，然后開始傳送鏡頭中的視頻到持有安卓的手機客戶端。當持有安卓客戶端的人打開安卓軟件即可看到失能老人現在的生活情況。

在此模塊中主要對采集到的五個骨骼點進行判斷。五個骨骼點分別為：肩部中心(ShoulderCenter)、左手(HandLeft)、左手腕(WristLeft)、右手(HandRight)、右手腕(WristRight)。采集這五個骨骼點的數據信息，主要代碼如下：

Joint ShoulderCenter=(from j in s.Joints where j.JointType==JointType. ShoulderCenter select j).FirstOrDefault();

Joint LeftHand=(from j in s.Joints where j.JointType==JointType. HandLeft select j).FirstOrDefault();

Joint LeftWrist=(from j in s.Joints where j.JointType==JointType. WristLeft select j).FirstOrDefault();

Joint RightHand=(from j in s.Joints where j.JointType==JointType. HandRight select j).FirstOrDefault();

Joint RightWrist=(from j in s.Joints where j.JointType==JointType. WristRight select j).FirstOrDefault();

經過實驗分析得到，當右手(左手)關節點Y軸上的距離比肩部中心關節點大于或小于0.45,并且左手(右手)關節點在Y軸上的距離比右手腕(左手)關節點大于或小于0.45，認為用戶試圖發出求救信號的精確度最高。

用以下語句判斷失能老人是否發出求救信號：

if(Math.Abs(ShoulderCenter.Position.Y-rightHand.Position.Y)<0.45&&(Math.Abs(head.Position.Y-leftHand.Position.Y)<0.45&&!isForwardGestureActive&&!isBackGestureActive))

{… //調用相應函數發送求救短信}

調用中國網建SMS短信通的API接口實現電腦客戶端給手機發短信。短信發送的接口地址：http://utf8.sms.webchinese.cn/?Uid=本站用戶名&Key=接口安全秘鑰&smsMob=手機號碼&smsText=要發送的內容。將拼接完成的URL傳遞給中國網建提供的函數就可以把求助短信發送到用戶手機[14]。

2.4 人手動作捕捉

Kinect for Windows SDK中跟蹤了人體的20個骨骼點。分層圖如圖4所示[9]。

圖4 骨骼點分層圖

通過跟蹤到的人體20個骨骼點的信息判斷不同的手勢，調用相應函數，完成相應的事件。

人手動作通過Kinect3D攝像頭捕捉，其主要代碼為：

Joint leftHand=(from j in s.Joints where j.JointType==JointType.HandLeft select j).FirstOrDefault();

Joint rightHand=(from j in s.Joints where j.JointType==JointType.HandRight select j).FirstOrDefault();

Joint head=(from j in s.Joints where j.JointType==JointType.Head select j).FirstOrDefault();

捕捉到人的左手、右手、頭的骨骼點信息，然后把骨骼點的手和頭的信息做比較，進行相應處理。

3 結束語

經設計實踐表明，此系統極大地改善了用戶的體驗，使得人機交互方式更加人性化，是人機交互和醫療保健領域的一次獨特的應用創新，有廣闊的應用前景，推廣使用能產生顯著的社會效益。在描述和證明了Kinect傳感器獲取運動的潛力，并與目前市場上其他同類產品進行對比，Kinect傳感器的低成本、易于使用SDK和能夠同時采集身體姿勢的特點,使得利用它進行非入侵式測量身體有用的姿勢具有巨大潛力。

[1] 陳 濱,時 巖.基于Kinect的體感虛擬鼠標研究與開發[J].軟件,2016,37(2):46-49.

[2] 朱明茗,景 紅.基于Kinect的PPT控制系統研究[J].中國教育信息化,2014(9):80-81.

[3] 肖 杰,李秀鵬,史會余,等.基于Kinect的跨平臺人機交互系統的研究和實現[J].電腦編程技巧與維護,2016(2):20.

[4] 李 明,陳怡霖,潘曉英.遠程醫療中Kinect點云數據的實時傳輸[J].西安郵電大學學報,2016,21(1):33-37.

[5] 王松林,徐文勝.基于Kinect深度信息與骨骼信息的手指尖識別方法[J].計算機工程與應用,2016,52(3):169-173.

[6] 楊熙年，張家銘，趙士賓.基于骨干長度比例之運動重定目標算法[J].中國圖象圖形學報，2002,7(9):871-875.

[7] Bindiganavale R,Badler N I.Motion abstraction and mapping with spatial constraints[C]//Modelling and motion capture techniques for virtual environments international workshop.[s.l.]:[s.n.],1998:70-82.

[8] 吳國斌,李 斌,閻驥洲.Kinect人機交互開發實踐[M].北京:人民郵電出版社,2013 .

[9] 石曼銀.Kinect技術與工作原理的研究[J].哈爾濱師范大學自然科學學報,2013,29(3):83-86.

[10] Khoshelham K，Elberink S O．Accuracy and resolution of Kinect depth data for indoor mapping applications[J]．Sensors，2012，12(2):1437-1454．

[11] 鄭立國,羅江林,許 舸.基于Kinect的動作捕捉系統的實現[J].吉林大學學報:工學版,2013(S1):249-255.

[12] Hsu J.The potential of Kinect as interactive educational technology[C]//Proceedings of economics development & research.[s.l.]:[s.n.],2011:334-338.

[13] Dolatabadi E,Taati B,Mihailidis A.Concurrent validity of the Microsoft Kinect for Windows v2 for measuring spatiotemporal gait parameters[J].Medical Engineering and Physics,2016,38(9):952-958.

[14] SMS短信通API下行接口參數[EB/OL].2006.http://www.smschinese.cn/api.shtml.

Design and Realization of an Android+Kinect-based Self-help System for Disabled Seniors

WU Qian-kun,HU Bing,LAN Hao

(College of Computer and Information,Anhui University of Engineering,Wuhu 241000,China)

As the aging problem becomes more and more serious nowadays,it is urgent to take better care of the disabled elders in the community.The Kinect,launched by Microsoft in 2009,is a motion-control device applied to X-Box,with which game players can realize the interaction with the game machine without the help of other controllers.Based on the technical principle of “Android+Kinect”,the self-help system with programming user-interface framework using WPF has been designed and implemented for disabled seniors.This system enables the disabled elders to control computers with several simple gestures.By means of data processing and skeletal tracking technique,Kinect has been firstly employed to identify the elders’ gestures,by which control instructions can be converted from identification results of gestures and then transmitted to computer via Socket communication on computer client with Android.Experiment results show that the constructed self-help system is endowed with the functions of rehabilitation training,video communication and short message for help convenient for the higher level of elders’ life and smooth communication with others,and also show that this system is somewhat innovative and practicable.

Kinect;motion-control device;WPF;depth data;skeletal tracking;disabled elders self-help

2016-05-09

2016-09-08

時間：2017-03-07

國家級大學生創新創業訓練項目(201310363114)

武乾坤(1994-),男,研究方向為虛擬現實技術；胡 冰,碩士,助理研究員，研究方向為虛擬現實技術、大數據。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170307.0921.030.html

TP302

A

1673-629X(2017)04-0135-04

10.3969/j.issn.1673-629X.2017.04.030