基于kinect體感控制機器人設計與實現

桂林電子科技大學 譚花花

引言

在人類迅速進步的現在，計算機所表現出來的形態越來越繁多，所具備的功能也越來越強大。隨著現在攝像頭技術的不斷進步，計算算法越發的強大。目前體感交互式技術也得到了廣泛應用。本文根據實際應用需求設計了一種采用kinect體感設備通過攝像頭和紅外發射器捕捉人體的動作信息通過PC機操控的機器人。

1.本項目總體設計方案

基于Kinect的體感控制機器人系統主要如下幾個部分組成。第一部分為Kinect對人體圖像的捕捉以及捕捉后的算法處理，第二部分為將捕捉處理的數據通過電腦串口發送到無線模塊的主機，第三部分是無線模塊從機接收到主機發過來的數據傳輸到MCU上，MCU通過獲得的數據表現為驅動電機后機器人的運動狀態。系統整體設計框圖如圖1.1所示。

圖1 .1 系統整體設計框圖動作

2.kinect體感控制機器人的硬件電路設計

微控制器：MCU采用STM32RBT6它是ST公司推出的一款控制器，采用了Cortex-M3的內核，使用目前主流ARM V7-M的架構，擁有低功耗、低成本、高性能三大特點。

電源：電源供電電路的設計需要綜合每一個芯片或模塊的工作電壓，本系統硬件主要有三個需要考慮，主控制器STM32RBT6、ESP8266模塊和舵機。STM32RBT6輸入電源電壓范圍2.0 - 3.6V，ESP8266的輸入電源電壓范圍為3.0 - 3.6V，舵機的輸入電源電壓范圍為3.5 - 6.0V。且ESP8266與舵機的工作電流相對較大，所以采用5V電壓，選擇采用2節18650電池作為供電方案。兩節18650電池串聯電壓為7.4V，通過穩壓芯片LM1117-5V將7.4V直接穩壓到5V。在電源的正極加入二極管對電源保護，得到5V電平衙再次通過穩壓芯片LM1117-3.3V將5V直接穩壓到3.3V從而得到3.3V的供電電源。

舵機驅動電路：舵機是一種通過直流脈沖來驅動旋轉的一種裝置，舵機主要是由五個部分組成，即外殼、電路板、驅動馬達、減速器與位置檢測元件。其工作原理是由接收機發出訊號給舵機，經由電路板上的 IC驅動無核心馬達開始轉動，透過減速齒輪將動舵機力傳至擺臂，同時由位置檢測器送回訊號，判斷是否已經到達定位。位置檢測器其實就是可變電阻，當舵機轉動時電阻值也會隨之改變，即由檢測電阻值便可知轉動的角度。舵機的驅動電路可采用L298模塊和若干個光耦結合進行驅動。

WIFI通信驅動電路：本系統中選擇了ESP8266模塊作為無線通信方案。ESP8266專為移動設備、可穿戴電子產品和物聯網應用而設計，通過多項專有技術實現了超低功耗。ESP8266EX 具有的省電模式適用于各種低功耗應用場景。本模塊在系統中主要是對數據進行無線通信，將PC端采集的手勢動作發送給單片機設備端。

3.Kinect 傳感器的工作原理

Kinect是由微軟公司開發的一款姿態傳感輸入設備，作為Xbox360 外接的3D體感攝影機，利用它特有的功能讓用戶擺脫傳統輸入設備的束縛，通過自己的肢體控制終端。Kinect 傳感器由四個揚聲器，兩個麥克風陣列，一個高速 Flash，一個USB2.0 總線接口，三個攝像頭。該傳感器工作的原理如圖 3.1 所示。

圖3 .1 Kinect傳感器工作原理圖

由上圖可知彩色攝像頭用來采集 RGB 圖像，通過增量直方圖算法計算增量直方圖，并通過粒子濾波算法計算權值，最后實現相對應的目標追蹤。Kinect 傳感器的驅動能夠產出 RGB圖像流和深度圖像流與采集到的 RGB 圖像與深度圖像的像素點完全對應起來，通過 Kinect 傳感器可以實現對影像資料的辨識通過采集得到基本的影像資料。

骨骼圖像原理：獲取骨骼圖像之前，需要從深度圖像中將人體從背景環境中分離出來。首先會分析接近傳感器的區域，其次是通過逐點掃描接近傳感器區域的深度圖像的像素，來形成判斷：是否屬于人體的部位。該過程需要使用CPU的圖形視覺技術，其應用到了影像邊緣處理、噪聲閾值收集消除、人體特征點的目標歸類。

4.系統的軟件設計

本系統的軟件可分為兩個部分，即上位機軟件部分和下位機從機軟件部分。上位機軟件部分主要的功能又分兩部分，一部分是獲取到Kinect設備上人體當前做出的一個動作信息；另一部分是將人體的動作信息處理后，將數據通過電腦的串口將數據傳輸到WIFI模塊的主機端。下位機從機部分的軟件程序是獲取到WIFI從機模塊的信息然后，驅動舵機做出相應的轉動，實現人體動作和舵機動作的一個對應，從而完成人機交互實現，其軟件控制更適合廣泛的硬件配置，進而提高實際應用的普及力度和市場需求。

圖4 .1

手勢識別算法設計∶在Kinect應用程序中手勢識別部分的算法是整個系統應用的核心，好的程序結構可以是的程序具有健壯性、可維護性以及模塊化。因此在手勢識別算法設計中，采用了模塊化程序設計的思想和相應劃分，從而將這部分的軟件設計內容分為初始化子程序、平滑處理子程序、最近用戶獲取子程序、手勢識別子程序、模擬鼠標子程序等模塊。初始化子程序用于對Kinect設備初始化和注冊數據流事件；平滑處理子程序，用于減少用戶快速運動過程中偶爾發生的關節點跳躍；最近用戶獲取子程序，用于在多用戶存在時查找離Kinect最近的、被跟蹤的骨骼，有利于相應運動的捕捉，方便程序后續的處理及過渡的連貫性；手勢識別子程序，用于計算判斷用戶當前的動作是否是約定的姿勢；模擬鼠標子程序，用于將手的骨骼跟蹤坐標點映射為鼠標的屏幕坐標，同時根據約定的手勢來觸發鼠標的點擊事件。手勢識別算法的流程圖如圖4.1手勢識別算法的流程圖所示。

5.功能調試

對于手勢識別算法的調試主要是對深度圖像獲取部分進行調試，為了方便調試通常會為現有的程序工程添加Kinect自帶的Microsoft.Kinect.Toolkit.Controls庫，這個庫里包含較多的控件可以直接調用。KinectUserViewer控件顯示是用戶在Kinect識別范圍中的深度圖像數據，Kinect是否追蹤到用戶，是根據能否看到相應的影像。

上位機串口通信部分的程序調試，為了方便上位機串口通信的測試，在調試過程中使用“虛擬串口軟件”將一個COM進行虛擬成兩個虛擬COM1和COM3。打開手勢識別軟件和“串口調試助手”，將之前通過虛擬串口軟件虛擬出來的兩個串口COM1和COM3，分別作為手勢識別軟件和“串口調試助手”所連接的端口，因為在滑動過程中將會有大量的數據通過串口進行發送，所以將串口的波特率設置為115200，檢測位為無，數據位為8位，停止位為1位。調試完成后機器人能實際跟隨手勢力運動。

測試者 機器人第一次右手垂直向下88度第二次左手垂直向上90度左手垂直向下90度右手垂直向上90度右手垂直向下90度右手垂直向下93度第三次左手垂直向上95度左手垂直向下95度右手垂直向上88度左手垂直向上90度左手垂直向下90度右手垂直向上90度右手垂直向下90度右手下擺左右42度第四次左手垂直向上93度左手垂直向下93度右手垂直向上92度左手上擺左右45度左手下擺左右45度右手上擺左右45度右手下擺左右45度左手上擺左右50度左手下擺左右48度右手上擺左右48度左手上擺左右45度左手下擺左右45度右手上擺左右45度右手下擺左右45度左手上擺左右48度左手下擺左右49度右手上擺左右42度右手下擺左右40度

6.結語

本文設計實現了體感控制系統對人體手勢的識別，使用者可以通過做出的人體手勢，由體感傳感器提取其動作的深度圖像，PC端進一步進行算法處理獲得控制動作，再與單片機進行通信，將處理結束獲得的動作傳遞給單片機，單片機實現對操作對象的控制，同時支持個性化體感操作，提供全新的用戶體驗。