基于多模態傳感的交互式手套系統＊

姚新偉，陳 銘，劉 暢，吳新麗，吳躍成，楊文珍

(1.浙江理工大學機械工程學院，浙江 杭州 310018；2.之江實驗室類人感知研究中心)

0 引言

觸覺在日常生活中的作用不言而喻[1]。由人體工程學可知，人最常用的感覺通道是視覺(80%)和聽覺(14%)，其次是觸覺及其他通道(6%)。因此，為了提高VR/AR 技術中的交互性，許多研究者都在努力將觸覺、嗅覺、味覺等其他感覺通道引入到虛擬世界中來[2,3]，力求建立一個多模態的虛實融合交互系統。其中力觸覺是人類獲取環境信息僅次于視覺的重要感覺[4]，同時能否利用多模態人機交互技術實現人類智能的訓練和強化，是人機交互研究的新命題[5]。

我們設計的基于多模態傳感的交互式手套系統把人與虛擬世界緊密地連接在一起，建立了一個多模態的虛擬融合交互系統。手套系統操作者不僅可以遠程操作，同時也能感受到虛擬環境的力觸覺變化及溫度變化，這是人機交互技術實現中的創新點。

1 系統整體設計

對于多模態傳感的交互式手套系統的設計主要分為三個功能模塊：上位機系統設計模塊、下位機系統設計模塊、系統通訊設計模塊。其中上位機系統為PC 端的虛擬環境，下位機系統為交互式手套，兩者通過無線藍牙連接通訊。

2 上位機系統設計

2.1 上位機場景建模

上位機的場景在Unity3D 中進行建模。主要實現方式如下：在PC端的虛擬實驗環境中導入手模型→在手模型上添加C#代碼和碰撞器→通過腳本監測碰撞→實現玻璃棒攪拌、玻璃瓶倒水、玻璃棒攪拌碰撞音效、倒水音效、燒杯底部結冰等。PC 端上位機場景功能框圖如圖1 所示。上位機場景建模圖如圖2 所示，其中(a)是場景整體效果圖，(b)是場景動畫曲線圖，(c)是燒杯運動圖，(d)是玻璃棒運動圖。

圖1 上位機場景功能框圖

圖2 上位機場景建模圖

2.2 上位機程序設計

上位機場景發生變化時會生成觸覺信息，經上位機數據編碼后傳遞給下位機系統。系統中制定上位機場景向下位機系統發送的數據格式，為下位機系統進行數據解算提供統一標準。其中觸覺信息數據應包括如下信息：起始位、振動元件的振動等級、半導體致冷器的升溫/降溫指令以及溫度變化等級，同時實現每個執行元件的獨立動作。上位機場景程序設計的流程如圖3所示。

圖3 上位機程序設計流程圖

3 下位機系統設計

3.1 溫度控制程序設計

手套系統溫度控制元件設計采用一種半導體致冷器，當器件有電流通過時，一側加熱，另一側冷卻，這主要是由帕爾貼效應引起的[6]。半導體致冷器在下位機系統中工作時產生的熱量Q由公式⑴確定：

其中，πab為帕爾貼系數，I為通過元件的電流，為矢量，產熱側與電流方向有關，R為線路及半導體阻抗之和，U為半導體致冷器的外加電壓。

在下位機系統中除了讓半導體致冷器實現冷熱變化外，還要設置溫度閾值，本系統采用PID控制實時的溫度變化。溫度控制流程如圖4所示。

圖4 溫度控制流程圖

在實際應用中程序運行階段目標溫度和實時溫度差值較大，為了防止輸出量超限以及積分過飽和，手套系統對輸出值和積分部分進行限幅濾波處理。根據系統所處實際環境的溫度首先將目標溫度限定在人手不會受傷的溫度范圍內，對溫度增加或減少的閾值進行限定。系統會對N-1 次的溫度值進行判斷，并將第N 次獲取的溫度數據和第N-1 次的溫度數據進行做差處理，若兩次溫度差值的絕對值超過了溫度閾值，說明第N 次的溫度值異常，則用第N-1 次的溫度值替代第N 次的溫度值。其中第N-1 次的溫度值通過程序循環進行保存，延時1s 后將第N 次的溫度數據直接賦值給第N-1次，從而實現溫度的智能控制。

3.2 振動控制程序設計

振動元件屬于微型直流電機的一種，元件通電之后，線圈在永磁體產生的磁場中受到力的作用，驅動帶有偏心配重的轉子在磁場中旋轉，產生激振力。當元件處于直流工作狀態下時，可產生的激振力為：

根據公式⑵，激振力F 可以通過改變施加電壓進行調節。因為不同的激振力給人的觸感不同，故通過改變主控制器的輸出電壓，即可得到不同的觸感。

上位機環境的虛擬場景操作發生相互作用時，下位機主控制器通過力觸覺反饋的模型計算出力觸覺的反饋信號大小。上位機環境的力觸覺反饋信號越強，控制信號越強，分為Ⅰ-Ⅴ個級別。下位機的主控制器將檢測到串口輸入的String 類型數據進行編碼，同時將編碼后的數據轉換為十六進制用于BLE 藍牙模塊傳輸。編碼部分將從上位機向主控制器傳輸的控制數據格式化，整個協議的數據標準格式為：起始位+帕爾貼工作等級+帕爾貼發冷/發熱指令+振動等級。振動電機采用PWM 來控制振動電機輸出的功率，調節PWM 信號的參數，設置0%、25%、50%、75%、100%不同的占空比，生成不同的振動等級。振動控制軟件設計流程如圖5所示。

圖5 振動控制軟件流程圖

3.3 交互程序設計

在手套系統的交互功能設計中，采用彎曲傳感器控制上位機場景中虛擬手的抓拿操作。彎曲傳感器是一種角位移測量的裝置，由一種可變電阻組成。

觸覺再現手套的彎曲傳感器把采集到的彎曲傳感數據經過均值濾波后發送到了上位機系統，上位機系統通過BLE 藍牙接收到的數據在數值上存在小幅度的波動，系統將接收的數據平滑處理，使上位機環境中的虛擬手彎曲動作映射更加平滑。平滑處理采用一階滯后濾波算法，調整濾波參數，實現靈敏度和平穩度之間的平衡。一階滯后濾波采用一次的采樣值與上一次濾波輸出值進行加權，權值的大小使得輸出對輸入有反饋作用，得到有效的濾波值：

其中，α 為濾波系數，X(n)為采樣值，Y(n-1)為前一次濾波輸出值，Y(n)為本次濾波的輸出值。根據公式⑶，可以得到濾波的輸出值。彎曲控制程序流程如圖6所示。

圖6 彎曲控制流程圖

4 系統通訊設計

上位機的接收程序編碼在下位機完成，接收的數據為真實物體的彎曲信息數據。一組完整的數據應當包括：起始位+數據位+分隔符+數據位。分隔符用來分隔不同的有效數據，區別不同的手指彎曲信號，使用符號“/”對四個數據進行分隔，上位機每次接收周期讀取一行數據，檢測分隔符位置確定具體手指彎曲信號。

下位機接收程序的編碼部分在上位機完成，分為兩個階段，首先是將輸入的String 類型數據進行編碼，再是將編碼后的數據轉換為十六進制用于BLE 藍牙模塊傳輸。編碼部分將從上位機向下位機傳輸的控制數據格式化，整個協議的數據標準格式為：

起始位+帕爾貼工作等級+帕爾貼發冷/發熱+AAAAA。

具體數據格式如表1所示。

表1 數據格式

其中，帕爾貼工作等級分為0-5 級，從低到高，表示溫度變化速度：帕爾貼發冷/發熱數據格式設置為1和2，模式1 為發冷模式，模式2 為發熱模式；AAAAA可以為1-5 個等級，即11111-55555，從低到高，表示不同的振動強度刺激，對應上位機虛擬場景中物體硬度不同。系統整體通訊設計如圖7所示。

圖7 系統通訊設計流程圖

5 系統用戶體驗

對手套系統進行溫度感知和觸覺感知實驗，可以分析設備的靈敏度，探索人體手部皮膚對振動、觸摸和溫度刺激的判斷能力以及設備的可行性。

我們使用手套系統分別對溫度、振動刺激進行了感知辨別實驗。實驗選擇了十名參與者在25℃的室溫下進行測試，其中五名男性，五名女性，均為右利手，無皮膚病或其他影響觸覺感知的情況，此前也未參與過類似實驗。每人進行Ⅰ-Ⅴ次實驗，分別記錄參與者對振動等級的感知正確率和反應時間以及對系統溫度變化的感知正確率和反應時間情況。實驗過程如圖8所示，實驗結果如圖9所示。

圖8 實驗過程圖

圖9 實驗結果圖

從實驗結果可以看出手套系統對參與者提供的觸覺感知較為準確，反應時間較短。其中對極端的振動和溫度刺激反應時間最短，感知正確率最高。

6 結束語

該系統結合人機交互過程中的觸覺反饋研究工作，設計了多模態虛實融合的交互式手套系統。將振動觸覺和溫度觸覺與人機交互融合起來，增強了交互的真實性和沉浸性，有效提升了3I 指標。解決了人機交互過程中不真實、不自然的問題，但尚不能模擬振動、溫度之外的觸覺變化，能在小型裝置上復現全通道的觸覺信息并且不影響靈活性仍要作為今后的主要研究方向。