基于Leap Motion的單指令式追蹤機械筆

江連會，龐嘉鴻，馬方粲，胡雨杭

（武漢理工大學 機電工學院，武漢 430070）

殘疾人克服寫字的困難需要長時間的改變和適應，握筆書寫的字體潦草，甚至可能無法正常寫字。此外，年邁的老人由于缺乏鍛煉等原因握筆寫字能力下降，不利于遺囑等需要親筆簽字的現實生活問題的解決。市面上缺少輔助殘疾人群寫字的器具，雖然電子板能夠一定程度上實現寫字功能，但無法識別并顯示潦草字體。因此，急需一款特殊群體輔助寫字器具。針對以上問題，建立了機械—電—手勢的系統體系：基于Leap Motion的單指令式追蹤機械筆，可以很好地解決手部殘疾人群和握筆困難的老年人群體的寫字問題，使上述人群獨立完成寫字任務。

1 整體工作思路

基于Leap Motion的單指令式追蹤機械筆由上位機（處理Leap Motion數據的電腦）和下位機（機械結構和電路）組成。

用戶在 Leap Motion滑動手指，傳感器得到數據后，經USB協議將處理后的數據傳到上位機，上位機通過藍牙模塊發送處理后的數據。在相應的藍牙端口，微型處理機MPU獲取藍牙模塊的數據并轉換，以PWN信號輸送給驅動模塊，進而驅動3個步進電機進行工作，達到機械筆運作的目的。

2 Leap Motion軟件算法設計

控制系統軟件設計分為上位機控制系統的軟件設計和下位機控制系統的軟件設計。上位機控制系統主要由PC機完成手指信息的采集、數據處理及發送的功能；下位機控制系統主要由MPU完成數據接受處理、指令轉換以及舵機和步進電機控制的功能。

2.1 上位機軟件算法設計

采集途徑：在C++的編譯環境下加載Leap Motion的SDK，調用其相關的函數或API，程序運行后可獲取手部各類信息內容。

左右手識別：C++配置的頭文件中聲明HandList類，調用該方法實現左、右手的識別。確定左、右手后，鎖定識別的手部id，避免左、右手同時運動帶來信號干擾。

手指識別：程序識別確定寫字的手指骨后，Leap Motion傳感器鎖定追蹤其運動軌跡，實現單指令追蹤功能。系統的信息來源為單一目標源，數據輸入更加穩定、準確。

構造自定義平面：Leap Motion采用自定的坐標系統建立坐標，手指軌跡需通過算法轉換才能捕獲真實值，設計構建自定義平面以減少計算機換算的負擔。在手指識別后，Leap Motion傳感器采樣3個點，完成自定義平面的構建。

采樣：本項目采用C++進行開發，獲取數據的速度快、數據的靈敏度高。C++編寫的程序開發Leap Motion有30～40幀的函數調用頻率，在此采樣基礎上，軟件編程和數據處理更便利。

濾波：Leap Motion硬件采用兩個分辨率為640×240的高幀率攝像頭，采樣頻率高達kHz級別，使手指移動的信息完整地保留。為了解決噪聲問題，需引入動態滑動平均濾波器，實現低通濾波功能，提高系統的抗干擾性。

擬合回歸直線：經過滑動平均濾波器的采樣點并不能嚴格滿足線性關系，加之抖動等因素，使得字體的直線與點的線性關系變成非線性，因此，需要引入回歸方程，將經滑動平均濾波器處理后的采樣點擬合成線性直線。

2.2 下位機軟件算法設計

下位機的軟件算法通過加入增益系數K，調整步進電機的PWN（方波），達到字體大小放縮的效果。

2.3 操作界面軟件算法設計

操作界面部分主要執行下位機不同工作模型轉換的指令發送工作，用于發送高度調整、筆芯切換、開始或者結束寫字等信號。

3 下位機機構設計

下位機機械機構由高度調節機構、橫向進給機構、縱向進給機構以及筆芯切換機構構成。高度調節機構使筆芯遠離或接近夾紙板；縱向進給機構、橫向進給機構分別實現縱向與橫向的平移；筆芯切換機構實現筆芯的轉換和定位。

4 控制電路設計

為了實現筆芯高度調節、橫向及縱向移動的功能，考慮到步進電機的安裝空間、筆芯的低速運動等因素，采用3個42型步進電機作為3個獨立驅動源。控制信號以16細分工作，提高筆芯寫字的準確性和穩定性。本方案設計串口轉藍牙模塊作為傳輸方式，實現上位機與下位機之間的無線通訊。為了實現筆芯切換機構的筆芯切換功能，經受力分析，綜合舵機安裝位置、筆芯切換角度等因素，選取SD-5舵機作為獨立的驅動源。

5 結束語

本作品針對手殘疾人群和握筆寫字困難的老年人群體，通過Leap Motion單手手勢的識別追蹤，經過無線模塊、驅動裝置完成寫字任務，滿足特殊群體的寫字要求。與其他殘疾人輔助器具相比，本作品需求結構少而簡單。

本作品在調研中受到好評，可以填補寫字輔助產品市場空白，未來可改進推廣甚至完全替代現有寫字板等接觸式輔助寫字裝置，應用前景廣闊。

［1］陶林，李凱格，王淼.基于Leap Motion手勢識別的機器人控制系統［J］.制造業自動化，2015，37（24）：64-66，81.

［2］李映輝，史卓，安亞磊.基于Leap Motion的三維手勢識別方法［J］.現代計算機（專業版），2016（14）：74-76，80.

［3］黃俊，景紅.基于Leap Motion的手勢控制技術初探［J］.計算機系統應用，2015，24（10）：259-263.

［4］陶林.基于手勢識別的裝配機器人控制系統研發［D］.廣州：廣東工業大學，2016.

［5］趙楊.基于多傳感技術相融合的手勢交互系統研究［D］.石家莊：河北經貿大學，2016.

［6］任磊.基于Leap Motion的動態手勢識別研究［D］.大連：大連理工大學，2015.