移動(dòng)終端信息的振動(dòng)式觸覺信號(hào)編碼表征方法

尹馨予, 蘇宇寧, 孫曉穎

(吉林大學(xué) 通信工程學(xué)院, 長(zhǎng)春 130012)

移動(dòng)設(shè)備目前已成為人們通過視覺和聽覺渠道交流信息的重要工具. 但對(duì)于沒有視覺和聽覺能力的人, 使用移動(dòng)設(shè)備獲取信息存在諸多不便. 特別是由于許多設(shè)備取消了機(jī)械按鈕而選擇使用觸摸屏作為交互界面, 沒有視覺和聽覺的人幾乎無法使用. 為使人們?cè)谝暵犛X受干擾的情況下仍能獲得信息, 研究者們提出了觸覺方式傳遞信息, 輔助或替代視覺和聽覺交流[1-4], 如具有觸覺反饋的可穿戴設(shè)備和盲人閱讀器[5-7]等.

多數(shù)觸覺傳輸利用時(shí)間編碼或時(shí)間與空間組合的方式傳輸信息[8-9]. Williams等[10]通過在實(shí)驗(yàn)者的前臂和指尖放置了兩個(gè)Mark Ⅱ音圈馬達(dá), 并通過控制振動(dòng)的頻率、 持續(xù)時(shí)間和空間位置設(shè)計(jì)了16種觸覺編碼. 該方法傳輸?shù)男畔⒘繛?.12 bits, 平均識(shí)別率為65%； Liu等[11]使用線性音圈電機(jī)作為觸覺執(zhí)行器, 提出了3種頻率和2種頻率的振動(dòng)觸覺編碼, 通過調(diào)整頻率和時(shí)間長(zhǎng)度分別代表26個(gè)字母和10個(gè)數(shù)字, 該方法的平均識(shí)別率分別為84%和95%. 在這些設(shè)計(jì)中使用的觸覺執(zhí)行器數(shù)量、 大小和分布不適用于移動(dòng)設(shè)備, 未考慮到其所提出的觸覺設(shè)備的人體感知能力, 觸覺編碼方法不能直接在移動(dòng)設(shè)備上使用. 本文考慮以微型振動(dòng)執(zhí)行器輸出的振動(dòng)觸覺信號(hào)作為信息載體[12-16], 通過調(diào)節(jié)頻率、 持續(xù)時(shí)間、 間隔[17]設(shè)計(jì)信息的觸覺編碼.

觸覺編碼的設(shè)計(jì)應(yīng)考慮人的信道能力和最大可接受的信息傳輸量. 傳輸?shù)男畔⒘窟^大或小于信道容量都將導(dǎo)致人機(jī)交互能力[18]不合理應(yīng)用. 一般感知通道的信息傳輸量(information transmission, IT)最大約為2.3～2.5 bits, 最小輸入種類為兩種類型, 而空間感知信道最少可利用3～4種輸入類型傳輸3～3.3 bits的信息量. 觸覺編碼所使用的輸入種類應(yīng)保證其兩兩之間存在一定范圍的感知差異.

本文在移動(dòng)設(shè)備上設(shè)計(jì)全局振動(dòng)觸覺, 使用者可通過手持設(shè)備, 以手掌皮膚接觸接收觸覺信息. 使用者感知到的觸覺效果是連續(xù)的振動(dòng)觸覺信號(hào), 由強(qiáng)度不同的獨(dú)立振動(dòng)信號(hào)和信號(hào)時(shí)間間隔組成. 獨(dú)立振動(dòng)信號(hào)作為編碼碼元排列組合成不同碼位的觸覺編碼信號(hào), 信號(hào)之間設(shè)置一段時(shí)間間隔. 根據(jù)心理物理學(xué)分析的感知差異對(duì)信號(hào)參數(shù)進(jìn)行調(diào)整, 以供使用者明確感知到編碼信號(hào)的強(qiáng)度變化, 從而識(shí)別出編碼信號(hào)表示的信息. 這種編碼方法也可將空間信息轉(zhuǎn)換為時(shí)間信息, 空間分布的信息傳輸點(diǎn)對(duì)應(yīng)時(shí)域編碼的碼位, 以連續(xù)的編碼信號(hào)表示空間信息.

1 振動(dòng)觸覺信號(hào)設(shè)計(jì)

本文為篩選出有識(shí)別度的振動(dòng)觸覺信號(hào), 驗(yàn)證了信號(hào)頻率、 時(shí)間長(zhǎng)度和時(shí)間間隔3種信號(hào)參量的感知閾值, 感知實(shí)驗(yàn)均在本文設(shè)計(jì)的硬件設(shè)備上進(jìn)行.

1.1 硬件設(shè)備

觸覺信息傳輸中硬件設(shè)備的兩個(gè)主要部分為觸控屏移動(dòng)設(shè)備和交流振動(dòng)電機(jī). 本文選用安卓系統(tǒng)的智能手機(jī)作為觸覺傳輸?shù)囊苿?dòng)設(shè)備, 產(chǎn)生振動(dòng)信號(hào)的振動(dòng)執(zhí)行器選用線性電機(jī). 選用X軸AWA線性電機(jī), 尺寸為19 mm×6 mm×3 mm, 占用空間較小, 可植入手機(jī)內(nèi)部使用. 此外, 線性電機(jī)能獨(dú)立調(diào)節(jié)振動(dòng)波型的頻率和幅度, 滿足研究頻率參量的感知閾值[19]. 使用手機(jī)端的通用串行總線(universal serial Bus, USB)端口控制線性電機(jī). USB端口通過數(shù)據(jù)線連接調(diào)用線路板上的DRV2605芯片, I/O(Input/Output)端口輸出5 V恒定的單極性方波信號(hào)驅(qū)動(dòng)線性電機(jī)工作. 實(shí)驗(yàn)中使用兩個(gè)線性電機(jī)安裝在設(shè)備背部上下兩端, 避免實(shí)驗(yàn)者手部直接接觸線性電機(jī), 如圖1所示.

圖1 硬件設(shè)備與感知閾值實(shí)驗(yàn)Fig.1 Hardware equipment and sensing threshold experiment

1.2 振動(dòng)觸覺信號(hào)的感知

使用心理物理學(xué)可分析人體對(duì)振動(dòng)觸覺信號(hào)的感知閾值[20], Weber等[3]研究表明, 差異感知取決于可感知的刺激增量(ΔΦ)與原刺激(Φ)之比：

(1)

其中C為感知常數(shù).刺激的物理量與感知量之間存在一種對(duì)數(shù)關(guān)系：

Ψ=klogΦ,

(2)

其中Ψ為刺激的感知強(qiáng)度,k為恒定常數(shù).通過兩種心理物理學(xué)定律, 分析振動(dòng)觸覺信號(hào)的物理-感知關(guān)系與感知差異.通過人體感知閾值實(shí)驗(yàn)確定人對(duì)振動(dòng)觸覺信號(hào)的時(shí)間頻率、 時(shí)間長(zhǎng)度及時(shí)間間隔3種時(shí)間參量的感知程度與差異性, 實(shí)驗(yàn)者主觀評(píng)估感知強(qiáng)度.利用感知差異設(shè)計(jì)觸覺編碼, 減少每個(gè)編碼之間的識(shí)別干擾, 并保證設(shè)備能在最短的時(shí)間內(nèi)有效傳遞足夠的信息.同時(shí), 結(jié)合振動(dòng)加速度客觀數(shù)據(jù)分析感知變化.

使用PWM(pulse width modulation)調(diào)制的方波信號(hào)驅(qū)動(dòng)線性電機(jī), 以一個(gè)周期的方波作為單個(gè)脈沖, 其每個(gè)周期信號(hào)的占空比為50%, 獨(dú)立振動(dòng)信號(hào)由多個(gè)脈沖組成, 占空比是根據(jù)線性電機(jī)前后運(yùn)動(dòng)特性選擇的, 如圖2所示. 選擇10名實(shí)驗(yàn)者(右撇子)進(jìn)行測(cè)試, 實(shí)驗(yàn)者左手手持設(shè)備, 右手操作界面, 左手掌心貼在設(shè)備背部且避免直接接觸電機(jī), 屏蔽聽覺干擾. 實(shí)驗(yàn)者主動(dòng)點(diǎn)擊界面上的虛擬按鍵, 驅(qū)動(dòng)設(shè)備輸出信號(hào). 參考振動(dòng)觸覺信號(hào)閾值分析選擇測(cè)試參數(shù)[21-23]. 根據(jù)AWA線性電機(jī)諧振頻率與測(cè)試經(jīng)驗(yàn)選取[24-25]頻率測(cè)試參數(shù)為100,200,300,400 Hz, 以20 ms獨(dú)立振動(dòng)信號(hào)進(jìn)行測(cè)試. 時(shí)間長(zhǎng)度測(cè)試的固定條件為200 Hz獨(dú)立振動(dòng)信號(hào), 將5 ms信號(hào)作為最小振動(dòng)刺激. 測(cè)試范圍為5～60 ms, 最小差異為5 ms, 最大差異為50 ms[19]. 時(shí)間間隔測(cè)試設(shè)置連續(xù)的兩個(gè)200 Hz,20 ms振動(dòng)信號(hào), 信號(hào)之間添加時(shí)間間隔, 測(cè)試范圍為1～100 ms, 以1 ms遞增.

圖2 信息在移動(dòng)設(shè)備上的觸覺傳輸過程Fig.2 Tactile transmission process of information on mobile devices

在感知數(shù)據(jù)基礎(chǔ)上, 加入客觀數(shù)據(jù)對(duì)照, 使用4528-B加速度計(jì)測(cè)量頻率及時(shí)間長(zhǎng)度參量的加速度數(shù)據(jù), 加速度計(jì)固定在AWA線性電機(jī)上, 測(cè)試其切向與法向的加速度數(shù)據(jù).

時(shí)間長(zhǎng)度參量調(diào)節(jié)會(huì)引起信號(hào)長(zhǎng)度和振動(dòng)加速度二維數(shù)據(jù)變化, 在較短時(shí)間內(nèi), 加速度非線性上升, 而時(shí)間長(zhǎng)度以線性形式增長(zhǎng). 時(shí)間增長(zhǎng)到一個(gè)節(jié)點(diǎn)值后, 加速度數(shù)據(jù)達(dá)到峰值, 此后只有信號(hào)時(shí)間長(zhǎng)度影響感知強(qiáng)度差異. 用兩個(gè)階段的對(duì)數(shù)變化Sp(x)描述實(shí)驗(yàn)中所有參數(shù)結(jié)果為

Sp(x)=Kacclogxacc+Ktimlogxtim,

(3)

x=xacc+xtim.

(4)

擬合得出兩個(gè)參量的調(diào)節(jié)系數(shù)Kacc,Ktim及分割兩個(gè)階段的節(jié)點(diǎn)xp,xacc和xtim分別為節(jié)點(diǎn)前后的信號(hào)時(shí)間長(zhǎng)度參數(shù).

1.3 感知強(qiáng)度

頻率參量感知數(shù)據(jù)結(jié)果如圖3所示. 在20 ms振動(dòng)時(shí)間范圍內(nèi), 加速度以一定幅度衰減. 使用力變率(jerk)表示加速度衰減, 4種頻率振動(dòng)切向力變率依次為411,1 542,749,330 m/s3, 法向力變率依次為133,337,43,68 m/s3.

圖3 頻率參量實(shí)驗(yàn)結(jié)果Fig.3 Experimental results of frequency parameters

由圖3可見, 100,300,400 Hz的水平加速度數(shù)據(jù)差異較小, 但300 Hz比100 Hz的力變率約高1倍, 使得300 Hz感知弱于100 Hz. 頻率參量感知實(shí)驗(yàn)數(shù)據(jù)分析結(jié)果列于表1. 4種頻率振動(dòng)信號(hào)有顯著性差異, 用顯著性差異的水平(F)和檢驗(yàn)水平(P值)表示, 單因素方差分析結(jié)果為F(3,36)=81.626,P值<0.001.

表1 頻率參量感知實(shí)驗(yàn)數(shù)據(jù)事后檢驗(yàn)的圖基分析多重比較結(jié)果

時(shí)間長(zhǎng)度實(shí)驗(yàn)數(shù)據(jù)以最小二乘法多項(xiàng)式擬合連接, 呈現(xiàn)兩個(gè)不同階段的連續(xù)變化趨勢(shì)如圖4所示. 由圖4可見, 第一階段, 加速度呈非線性增長(zhǎng)變化, 此時(shí)振動(dòng)加速度與時(shí)間長(zhǎng)度共同影響感知結(jié)果； 第二階段, 加速度數(shù)據(jù)上升到平穩(wěn)狀態(tài), 不再繼續(xù)增加, 此節(jié)點(diǎn)后差異感知僅依靠信號(hào)時(shí)間長(zhǎng)度變化, 感知變化率逐漸減緩. 實(shí)驗(yàn)結(jié)果表明, 加速度數(shù)據(jù)的變化率逐步減緩, 法向數(shù)據(jù)比切向數(shù)據(jù)變化程度小, 以切向加速度數(shù)據(jù)作為主要干擾因素. 當(dāng)xp=30 ms時(shí), 切向加速度達(dá)到峰值38 m/s2, 對(duì)應(yīng)感知曲線中凹陷位置,xp前感知變化率比xp后大, 擬合后該曲線的調(diào)節(jié)系數(shù)Kacc=2.42,Ktim=3.21, 均為常數(shù).時(shí)間長(zhǎng)度參量感知實(shí)驗(yàn)數(shù)據(jù)分析結(jié)果列于表2, 在30 ms前的數(shù)據(jù)兩兩對(duì)比的差異感較明顯, 而30 ms后的數(shù)據(jù)對(duì)比顯著性較差, 12種時(shí)間長(zhǎng)度振動(dòng)信號(hào)具有顯著性差異, 單因素方差分析結(jié)果為F(11,108)=15.472,P值<0.001.

表2 時(shí)間長(zhǎng)度參量感知實(shí)驗(yàn)數(shù)據(jù)事后檢驗(yàn)的圖基分析多重比較結(jié)果

圖4 時(shí)間長(zhǎng)度參量實(shí)驗(yàn)結(jié)果Fig.4 Experimental results of time length parameters

時(shí)間間隔參量感知實(shí)驗(yàn)結(jié)果如圖5所示. 由圖5可見, 15 ms后的數(shù)據(jù)呈離散分布, 此時(shí)振動(dòng)被感知為有微弱分離感, 逐漸脫離一個(gè)連續(xù)的長(zhǎng)信號(hào)； 50 ms開始已有部分實(shí)驗(yàn)者能感知到兩個(gè)分離的信號(hào), 直到90 ms, 曲線分布密集, 實(shí)驗(yàn)者均能感知到兩個(gè)振動(dòng).

圖5 時(shí)間間隔參量實(shí)驗(yàn)結(jié)果Fig.5 Experimental results of time interval parameters

2 觸覺信號(hào)的區(qū)分

針對(duì)不同的應(yīng)用場(chǎng)景, 本文提出振動(dòng)觸覺信號(hào)的兩種編碼模式： 等長(zhǎng)編碼和變長(zhǎng)編碼. 描述編碼的識(shí)別情況需考慮人類的觸覺感知和判斷. 等長(zhǎng)編碼具有固定的長(zhǎng)度, 可表示盲文和二進(jìn)制編碼, 而變長(zhǎng)編碼可實(shí)現(xiàn)不同的觸覺等級(jí)表示更多層次的信息. 人的感知并不總處于一個(gè)穩(wěn)定狀態(tài)[22]. 同理, 在編碼信號(hào)識(shí)別中存在一種模糊狀態(tài), 使一種觸覺編碼信號(hào)被識(shí)別時(shí)會(huì)與其他編碼信號(hào)混淆.

圖6 等長(zhǎng)編碼和變長(zhǎng)編碼的混淆矩陣Fig.6 Confusion matrix of equal-length codes and variable-length codes

(5)

3 觸覺編碼傳遞信息

結(jié)合感知閾值和信源編碼定理設(shè)計(jì)信息的振動(dòng)觸覺信號(hào)編碼表征形式, 并根據(jù)所表達(dá)的信息內(nèi)容, 設(shè)計(jì)具有一定感知差異的多種觸覺信號(hào)編譯信息. 考慮到一般觸覺信道能力約限制在2.5 bits, 采用兩種類型的輸入, 利用頻率和持續(xù)時(shí)間設(shè)計(jì)觸覺編碼的獨(dú)立信號(hào), 并在獨(dú)立信號(hào)之間添加一個(gè)間隔, 便于觸覺信息識(shí)別. 觸覺傳輸絕非僅以好與壞、 強(qiáng)與弱簡(jiǎn)單說明, 而應(yīng)該從信息傳輸?shù)谋举|(zhì)進(jìn)行評(píng)價(jià).

應(yīng)用信息理論分析編碼方案的觸覺信息傳輸量, 可用概率表示IT, 對(duì)于特定的刺激-響應(yīng)(Si,Rj), 其IT數(shù)量可表示為

(6)

其中P(Si,Rj)為Si和Rj的聯(lián)合概率,P(Si|Rj)為Rj給定情況下Si的條件概率,P(Si)為Si的先驗(yàn)概率.IT方程中的概率可用發(fā)生次數(shù)近似估計(jì), 根據(jù)刺激-響應(yīng)混淆矩陣得到最大似然值估計(jì)ITest為

(7)

3.1 信息編碼方法

在移動(dòng)設(shè)備上實(shí)現(xiàn)文本信息觸覺編碼傳輸, 首先需要確定編碼碼元的振動(dòng)信號(hào)形式, 文獻(xiàn)[26]研究表明, 信息可以簡(jiǎn)單地以觸覺信號(hào)的存在與缺失表示兩種碼元傳輸.作為編碼碼元的振動(dòng)觸覺信號(hào), 其參數(shù)調(diào)節(jié)需要確定合適的Φ及ΔΦ, 以保證人能明確感知到信號(hào)之間的差異. 編碼信號(hào)由頻率和時(shí)間長(zhǎng)度調(diào)節(jié)的振動(dòng)觸覺信號(hào)與信號(hào)之間的時(shí)間間隔組成. 選取通信常用的二進(jìn)制編碼形式, 以兩個(gè)獨(dú)立振動(dòng)觸覺信號(hào)作為碼元設(shè)計(jì)信息的觸覺編碼, 每個(gè)編碼碼元都傳輸1 bit. 用短信號(hào)、 長(zhǎng)信號(hào)、 低頻和高頻的組合表示兩個(gè)觸覺編碼碼元(·, - ). 舉例表示16種信息(文本： 0～9, A～F)的振動(dòng)觸覺信號(hào)編碼方式, 兩種編碼列于表3.

表3 16種文本的兩種編碼

3.2 信息編碼傳輸?shù)尿?yàn)證

為驗(yàn)證兩種信息編碼觸覺傳輸效果, 設(shè)置編碼信息識(shí)別實(shí)驗(yàn). 使用感知閾值實(shí)驗(yàn)的硬件設(shè)備, 利用觸控屏上的虛擬按鍵驅(qū)動(dòng)電機(jī), 按鍵不標(biāo)注該振動(dòng)信號(hào)所表征的文本. 兩種碼元以10 ms,30 ms,100 Hz和200 Hz組合設(shè)計(jì), 頻率、 時(shí)間長(zhǎng)度參數(shù)選取的差異感知常數(shù)Cf=1,Cd=2, 感知差異度分別為58%和47%. 等長(zhǎng)編碼信息傳輸率為4.60～5.06 bit/s, 變長(zhǎng)編碼信息傳輸率除“0,1”外為100,33.33 bit/s, 其余在4.82～7.41 bit/s范圍內(nèi). 兩種編碼方法分別測(cè)試10次, 每次實(shí)驗(yàn)的文本順序均不相同. 實(shí)驗(yàn)中為實(shí)驗(yàn)者提供文本與信號(hào)編碼的對(duì)照表.

3.3 結(jié)果與討論

共采集10名實(shí)驗(yàn)者的數(shù)據(jù), 實(shí)驗(yàn)時(shí)長(zhǎng)約為1～2 h(包括休息時(shí)間). 與感知閾值實(shí)驗(yàn)方式相同, 實(shí)驗(yàn)者在實(shí)驗(yàn)前未經(jīng)過編碼信號(hào)識(shí)別訓(xùn)練, 實(shí)驗(yàn)不存在編碼文本外的結(jié)果. 等長(zhǎng)編碼與變長(zhǎng)編碼的實(shí)驗(yàn)結(jié)果如圖7所示. 圖7可顯示每種刺激-響應(yīng)結(jié)果次數(shù)以及刺激集Si與響應(yīng)集Rj的準(zhǔn)確度與精度, 矩陣中從左上角至右下角的對(duì)角線數(shù)據(jù)為響應(yīng)正確數(shù)據(jù), 由深度不同的灰色標(biāo)記顯示, 表示為刺激-響應(yīng)結(jié)果正確的高頻程度, 刺激集Si與響應(yīng)集Rj的精度以每列(每行)刺激響應(yīng)正確次數(shù)除以每列(每行)數(shù)據(jù)總和得出. 由圖7可見, 大部分感知混淆情況發(fā)生在相似的觸覺編碼信號(hào)之間, 特別是在變長(zhǎng)編碼中明顯可見混淆數(shù)據(jù)大多數(shù)集中在碼長(zhǎng)相同的小區(qū)間范圍內(nèi), 且范圍內(nèi)包含的刺激種類越多, 其混淆數(shù)據(jù)分布越明顯.

圖7 等長(zhǎng)編碼與變長(zhǎng)編碼實(shí)驗(yàn)結(jié)果的刺激-響應(yīng)混淆矩陣Fig.7 Stimulus-response confusion matrix of experimental results of equal-length codes and variable-length codes

等長(zhǎng)編碼方法傳輸?shù)钠骄畔⒘考s為3.43 bits, 平均信息傳輸速率為4.13 bit/s； 而變長(zhǎng)編碼方法傳輸?shù)男畔⒘看笮〖s為3.83 bits, 平均信息傳輸速率為8.34 bit/s, 碼長(zhǎng)相同的各區(qū)間范圍內(nèi)傳輸?shù)男畔⒘考s為1,1.89,2.39,0.99 bits, 兩種方法傳輸損耗分別為15%和5%. 在實(shí)驗(yàn)中實(shí)驗(yàn)者存在一個(gè)適應(yīng)階段, 如圖8所示. 由圖8可見, 在等長(zhǎng)編碼實(shí)驗(yàn)錯(cuò)誤數(shù)據(jù)結(jié)果中, 有6名實(shí)驗(yàn)者能輕松識(shí)別編碼, P1,P8,P9在第1,2次實(shí)驗(yàn)錯(cuò)誤率較高, 只有P5通過10次實(shí)驗(yàn)后未提升編碼識(shí)別率, 說明通過一定時(shí)間訓(xùn)練人可以穩(wěn)定接收等長(zhǎng)編碼傳輸?shù)男畔?

圖8 10名實(shí)驗(yàn)者在實(shí)驗(yàn)兩種編碼時(shí)的錯(cuò)誤識(shí)別數(shù)據(jù)Fig.8 Data of error recognition by ten experimenters in testing two codes

10名實(shí)驗(yàn)者在等長(zhǎng)編碼實(shí)驗(yàn)中接受的平均信息量為3.64(±0.37)bits, 變長(zhǎng)編碼實(shí)驗(yàn)為3.91(±0.14)bits, 與刺激響應(yīng)混淆矩陣得出的信息量數(shù)據(jù)相符. 除P1,P5偏移值較大, 其余數(shù)據(jù)均在平均范圍內(nèi). 在等長(zhǎng)編碼實(shí)驗(yàn)信息量小于3.5 bits的實(shí)驗(yàn)者在變長(zhǎng)編碼測(cè)試中有明顯提高, 變長(zhǎng)編碼可高效傳輸信息, 降低信息相似度. 因此只要經(jīng)過系統(tǒng)性且長(zhǎng)時(shí)間編碼識(shí)別訓(xùn)練, 人可以觸覺接收移動(dòng)設(shè)備傳輸?shù)奈谋緝?nèi)容. 從而驗(yàn)證了基于人類感知能力的觸覺編碼傳輸信息的可行性, 選擇合適的觸覺參數(shù)可提高人機(jī)信息傳遞效率.