視觸覺融合感知的點陣刺激裝置設計①

蔡 群,黃金鵬,楊文珍,張 文,吳新麗,李俊峰,陳立翰

1(浙江理工大學 機械與自動控制學院,杭州 310018)

2(北京大學 心理與認知科學學院,北京 100871)

視覺通道和觸覺通道是人們認知事物的主要方式.為揭示視覺通道和觸覺通道的融合感知機理,前人雖然開展了系列物理心理學認知研究[1–3],但是由于缺乏高性能的儀器設備,難以深入探究人的視觸覺融合感知特性[4,5].針對不同的研究目標,人們開發了一些儀器設備[6–15],能夠提供視覺刺激或觸覺刺激,用于物理心理學的認知研究.

在觸覺刺激的儀器設備方面,Zappe 等[9]研制了一個氣動式點陣刺激裝置,在80×80 mm2的平面上,布置了8×8=64 個觸點陣列,行和列間距均為10 mm,觸點直徑為4 mm.此裝置可以提供1.3–2.7 N 作用力,最大刷新頻率是6 Hz,且有50 ms 延時.Neuro Device Tacti ?公司也研制了一個氣動式點陣刺激裝置[10],有6×4=24 個觸點陣列,行和列間距均為2.6 mm.此裝置體積比較大,必須配有一個230 V 供電的外接氣泵.Kim等[11]研制了一個吸氣式壓力刺激裝置,有一個6 ×6=36 mm2大小的吸氣孔,指尖覆蓋在吸氣孔上可以感受到5 種不同強度的吸力,用來研究手指的觸覺屬性.

在視覺刺激的儀器設備方面,da Silva Pinto 等[12]研制了一種便攜式低成本LED 燈視覺刺激裝置,包括6 V 電源、微控制器(MSP430F149)、LED 燈驅動模塊和操作界面等,提供10 盞LED 燈,最大刷新頻率為500 Hz,重量約為525 g,能夠誘發穩定、無污染的腦電圖反應.Mouli 等[13]設設計了一種緊湊型多功能的LED 燈視覺刺激裝置,能夠產生多種閃爍頻率,適用于穩態視覺誘發電位.它的閃爍頻率范圍在5–50 Hz,有紅、綠、藍3 種顏色,需要3–12 V 的DC 電壓.Xie 等[14]設計了一個LED 燈的視覺刺激系統,基于EEG 信號響應研究人的空間選擇性注意,通過由FPGA 最小驅動系統驅動的二組LED 燈,在不同閃爍頻率和閃爍模式下,可以得到較好的穩態視覺誘發電位結果.

上述這些裝置雖然能夠提供一定的視覺刺激或觸覺刺激,但是不能同步提供視觸覺融合的感知刺激,在點陣密度、刷新頻率、便攜性等方面已經難以滿足物理心理學認知研究的需求.為此,本文設計了一種高密度的點陣刺激裝置,能夠同時生成視覺刺激和觸覺刺激,以便研究人的視觸覺融合感知特性.此裝置的視覺點陣刺激模塊能夠提供多種顏色、多種明亮灰度值等級、多種閃爍頻率和閃爍模式的視覺刺激,其觸覺點陣刺激模塊能夠提供符合指尖皮膚觸覺感知分辨率的觸覺刺激.通過上位機控制平臺,實驗設計者可以控制視覺點陣刺激模塊和觸覺點陣刺激模塊中的一個或多點LED 燈或觸點,設計視觸覺融合感知的實驗,開展物理心理學的實驗研究.

1 裝置的整體設計

1.1 裝置的工作原理

本文設計的高密度點陣刺激裝置可分為上位機控制平臺和下位機執行平臺兩部分,其工作原理如圖1所示.上位機控制平臺可運行在PC 機或移動設備上,通過USB 串口或無線藍牙與下位機執行平臺進行通訊.下位機執行平臺由視覺點陣刺激模塊、觸覺點陣刺激模塊以及下位機控制模塊等組成.實驗設計者通過上位機控制平臺經下位機控制模塊,控制視覺點陣刺激模塊和觸覺點陣刺激模塊上的LED 燈和觸點,讓被試者感受到視覺刺激和觸覺刺激,開展視觸覺融合感知的實驗研究.

圖1 裝置的工作原理

1.2 裝置的物理樣機

裝置的3D 爆炸圖如圖2所示.視覺點陣刺激模塊位于裝置的最上層,在其下面是觸覺點陣刺激模塊,下位機控制模塊位于裝置的最下層.圖3是裝置的物理樣機,正處于工作狀態,被試者手指可以感受到觸點的觸覺刺激,被試者眼睛可以感受到LED 燈的視覺刺激.圖4是拆除視覺點陣刺激模塊后的裝置,可以清楚地看到觸覺點陣刺激模塊.

圖2 裝置的3D 爆炸圖

圖3 裝置的物理樣機

1.3 裝置的硬件電路

此裝置的硬件電路包括單片機最小系統、串口通訊電路、藍牙通訊電路、電源穩壓電路、視覺點陣行驅動電路、視覺點陣列驅動電路以及觸覺點陣驅動電路等,硬件電路的組成體系如圖5所示.

單片機最小系統由STC89C52RC 單片機、復位電路和晶振電路組成,采用11.0592 MHz 晶振頻率.串口通訊電路由CH340 總線轉接芯片和USB 串口組成,實現單片機與上位機之間的串口通訊和程序燒入功能.藍牙通訊電路采用HC-05 藍牙模塊,實現單片機與上位機之間無線傳輸通訊.電源穩壓電路有5 V 升壓穩壓電路和過壓過流保護功能,保護電路正常運行,還有充放電一體功能,可以給裝置的電池充電.

圖4 觸覺點陣的觸摸方式

圖5 硬件電路的組成體系

2 視覺點陣刺激

此裝置可以生成基于LED 燈的視覺刺激,由視覺點陣刺激模塊、視覺點陣行驅動模塊和視覺點陣列驅動模塊實現.

2.1 視覺點陣刺激模塊

LED 燈是一種高性能二極管發光器件[15].其控制性能良好,使用壽命長,視覺效果穩定[16],因此,本文采用LED 燈作為視覺刺激源.視覺點陣刺激模塊由19×12=228 盞LED 燈陣列組成,每盞燈橫向間距為1.05 mm,縱向間距為1.1 mm,面積約49.95×50.02=2500 mm2,如圖6(a).本裝置的LED 燈有4 種型號可選擇,見表1,LED 燈最大封裝尺寸為3.2×1.6 mm,LED 燈最小封裝尺寸為1.0×0.5 mm,可選用紅、白、黃、藍4 種顏色.我們設計了10 個等級明亮灰度值(7.6,14.9,22.3,29.8,39.5,44.7,52.9,61.2,68.1,75.8 lux),LED 燈最高刷新頻率為85 Hz.采用足夠大的掃描頻率,人眼視覺暫留效應就可觀察到持續點亮的視覺刺激[17].且可輸出多種閃爍頻率和閃爍模式的視覺刺激.228 盞LED 燈陣列按照掃描驅動方式連接,其每一行正極連接在一起、對應的每一列負極連在一起,其電路圖如圖6(c).圖6(b)為LED 燈的PCB 板.

圖6 視覺點陣刺激模塊

表1 LED 燈的封裝尺寸

2.2 視覺點陣的驅動電路

因為LED 燈陣列以掃描驅動方式連接,所以其驅動電路由視覺點陣行驅動模塊和視覺點陣列驅動模塊組成.視覺點陣行驅動模塊接收單片機MCU 的行控制指令,可以輸出高電平控制視覺點陣LED 燈正極的通斷.圖7(a)為視覺點陣行驅動電路圖.

圖7 視覺點陣驅動模塊

視覺點陣行驅動模塊采用74HC595 位移緩存器作為行驅動芯片,其引腳可輸出高低電平且輸出強度可調,控制速度快功耗非常較低,能夠驅動數量較多的LED 燈,并且具有鎖存功能.74HC595 位移緩存器支持級聯方式,數據可以通過上一片位移緩存器的數據輸出端直接輸送到下一片位移緩存器的數據輸入端,節省數據輸入端口與時鐘線控制端口,從而節省單片機I/O 口資源.

視覺點陣列驅動模塊接收單片機MCU 的列控制指令,可以輸出低電平控制視覺點陣LED 燈負極的通斷.圖7(c)為視覺點陣列驅動電路圖.

視覺點陣列驅動模塊采用74HC573 鎖存器作為列驅動芯片,有高電平、低電平和高阻態的三態輸出,可以兼容視覺點陣列的控制和驅動功能,其使能輸入端和8 路輸入端口可以加入PWM 脈寬調制波形信號,可以控制其輸出端口的輸出電壓變化,輸出2.0 V～5.0 V電壓,滿足LED 燈不同明亮灰度值的電壓要求.圖7(b)為視覺點陣驅動電路PCB 板.

2.3 視覺點陣刺激的生成

視覺點陣刺激由上位機控制平臺和下位機執行平臺共同完成.例如,實驗要點亮視覺點陣中LED 燈和調節LED 燈的明亮灰度值,實驗設計者在上位機控制平臺首先輸入需要點亮LED 燈的行數(1–19 行),然后輸入需要點亮LED 燈的列數(1–12 列),最后通過灰度等級按鈕來控制LED 燈明亮灰度值變化.

采用掃描方式控制LED 燈的亮滅,調節PWM 波占空比來控制LED 燈的明亮灰度值.基于人眼的視覺暫留現象,人眼識別連貫的圖像若超過24 幀/s 約25 Hz,人眼所看到的圖像變化就不會出現明顯卡頓,因此掃描速度足夠快,頻率足夠高就可以產生良好的視覺刺激.同時掃描頻率受到程序和硬件電路的制約,也不能不斷增加給系統造成負擔.因此設置合理的PWM 周期即合理的掃描頻率對視覺刺激是十分必要的.在LED 評測標準里面,當控制LED 剛好使人眼觀察不到閃爍時候的掃描頻率稱為臨界閃爍頻率(Critical Flicker Frequency,CFF).在不同環境條件下,理論計算CFF 只要大于60 Hz 人眼就不會看到明顯的閃爍現象[18].目前市場上的LED 顯示屏幕掃描頻率多數100 Hz[19].基于實際使用情況,掃描頻率由LED 本身發光亮度與環境共同所決定[20],環境更亮掃描頻率也應越高效果才越好.本裝置為離散化LED 視覺刺激點,因此其發光密度小于LED 顯示屏,且滿足不同環境下的使用,頻率應設置為60～100 Hz 之間.根據LED 電子產品實際使用情況若LED 燈的掃描頻率低于85 Hz,人眼能夠感知到LED 燈的閃爍現象.排除裝置本身硬件誤差,程序運行時間和滿足簡化程序使定時器初值設置合理等諸多考慮,進行如下掃描頻率計算.

此裝置MCU 時鐘電路的晶振頻率為f=11.0592 MHz,時鐘周期為T=1/f=0.09 μs,則它的機器周期t為:

本文應用的STC89C52RC 單片機計數器最大值為65 536.我們設置計數器初值為65 036,以500 次計數產生一次溢出,完成一次掃描中斷,因此,單片機完成一次中斷服務時間t中為:

設置20 個t中為一次掃描周期,PWM 周期TPWM為:

LED 燈的掃描頻率為:

因此,設置本文LED 燈的理論掃描頻率為fLED理論=92.2 Hz.

為了驗證理論LED 燈的掃描頻率和明亮灰度值是否符合預期,我們開展電子電路的電性能實驗測量,通過北京普源數字示波器(型號DS1204B)和蘇州特安斯數字照度計(型號TA8133)測量此裝置LED 燈的實際掃描頻率fLED實際和實際明亮灰度值(LuLED實際),測量結果如表2所示.

從表2中可知,在4.3 V 電壓下,我們調節PWM波的占空比,可以得到不同的明亮灰度值.在1 級明亮灰度等級(5%占空比)情況下,LED 燈可以產生7.6 lux的視覺刺激,在10 級明亮灰度等級(50%占空比)情況下,可以產生最高75.8 lux 的視覺刺激.數字示波器實際測得的LED 燈掃描頻率約為85 Hz,接近于我們設計的理論掃描頻率92.2 Hz,LED 燈掃描頻率的誤差率ferror約為:

由于電子元器件在使用過程中不可避免會受到周圍環境電磁波等電子干擾,fLED理論和fLED實際存在偏差是必然的.ferror<10%在電子產品電路設計標準許可范圍之內,表明此視覺點陣刺激模塊能夠可靠工作,人眼觀測無頻閃無不良發應,產生性能穩定的視覺刺激.

3 觸覺點陣刺激

3.1 觸覺點陣刺激模塊

觸覺點陣刺激模塊由4 方尺寸相同的點陣單元,按2 行2 列的矩形排布組成,如圖8(a)所示.每方點陣單元有3 行2 列的6 個直徑為1.5 mm 的觸點,如圖8(b)所示,以2.6 mm 行和列間距均布,每個觸點的凸起高度為0.40±0.05 mm.最大刷新頻率約為10 Hz,觸點凸起后處于自鎖位置,能夠承受約10 N 的指尖按壓力.與本文所引用國內外觸覺研究裝置相比,本文刺激裝置點數更加密集,在更小的刺激面上所集中觸覺點數更多.同時與氣動觸覺刺激等裝置相比,其所需功率更小驅動電路更為簡潔,并且在較小的功率下滿足了更高的刷新頻率.

觸點的機械結構如圖8(c)所示,每個觸點都有一個電磁線圈,在不同電流方向作用下,可以產生不同極性的磁場,讓永磁鐵橫向來回運動,從而推動觸點上下運動.當永磁鐵與左鐵片相吸引,觸點處于凸起狀態,指尖可以觸摸到觸點.當永磁鐵與右鐵片相吸引,觸點處于非凸起狀態,指尖觸摸不到觸點.

表2 LED 燈的掃描頻率和明亮灰度值

3.2 觸覺點陣的驅動電路

點陣單元為功率器件,其功率參數決定了觸覺點陣驅動電路的設計.觸點的電磁線圈電阻為34Ω±10%,工作電壓在3.6 V～5.5 V 之間,工作電流為150 mA.

觸覺點陣驅動電路模塊包括74HC595 位移緩存器和MS3111 直流電機驅動芯片,如圖9(a)所示.采用74HC595 位移緩存器可以節省單片機IO 口,通過單片機3 個IO 口就可以實現24 個觸點的驅動.但是,由于74HC595 端口輸出電流小于20 mA,無法驅動大功率電子器件,包括本文中的點陣單元.為此,我們采用MS3111 直流電機驅動芯片作為點陣單元的外部驅動器件.MS3111 是一款高性能的電機驅動芯片,可以輸出800 mA 電流,足夠驅動點陣單元正常工作,并且其輸入端口可以接入PWM 脈寬調制波形信號來控制輸出電流的頻率和大小,從而控制觸點的運動頻率以及運動強度.

圖8 觸覺點陣刺激模塊

圖9 觸覺點陣驅動電路模塊

3.3 觸覺點陣刺激的生成

觸覺點陣刺激由上位機控制平臺和下位機執行平臺共同完成.例如,實驗要凸起觸覺點陣中某一個觸點或多個觸點,實驗設計者在上位機控制平臺輸入觸點編號并發送給下位機執行平臺.74HC595 位移緩存器串行接收單片機MCU 數據,并行輸出給MS3111 電機驅動芯片,進而控制觸點運動.

我們以不同周期發送數據,控制觸點的刷新速度,可以產生不同的觸覺刺激.為了探明觸點的最大刷新頻率,我們開展電子電路的電性能實驗測量,通過北京普源數字示波器(型號DS1204B)測量觸點的刷新頻率f觸點.在實驗測量過程中,我們設定數據的發送周期T觸點分別1000 ms、200 ms、100 ms 和10 ms,測量電磁線圈的電壓波形頻率,得到觸點的刷新頻率,測量結果的如圖10所示.

圖10(a)顯示當T觸點=1000 ms 時,觸點刷新頻率為f觸點=996 mHz;圖10(b)顯示當T觸點=200 ms 時,觸點刷新頻率為f觸點=4.9 Hz;圖10(c)顯示當T觸點=100 ms 時,觸點刷新頻率為f觸點=9.8 Hz;圖10(d)顯示當T觸點=10 ms 時,觸點刷新頻率還是f觸點=10.2 Hz.

因此,我們得出此點陣單元的觸點最大刷新頻率為10 Hz.

4 裝置的性能測試實驗

4.1 裝置控制程序

嵌入式系統開發與設計由于性能良好得到了越來越多的關注[21].本裝置應用嵌入式開發知識,設計控制程序包括上位機人機交互程序與下位機MCU 驅動程序.上位機人機交互程序提供人機交互界面,實驗者可以在數據發送界面輸入視覺點陣的行列序號、觸覺點陣的點序號,可以在灰度控制界面調整LED 燈的明亮灰度等級,可以選擇定時自動發送數據方式或者手動發送數據方式,通過USB 串口或者無線藍牙,把數據發送給下位機控制模塊.此外,上位機人機交互程序還有通訊端口配置、數據文件管理等功能.

下位機控制模塊接通電源后,下位機MCU 驅動程序首先執行單片機初始化程序,完成定時器時鐘、標識符等參數的初始化工作,然后接收并校檢上位機控制平臺傳來的數據,接著解析和分配數據給視覺點陣刺激模塊和觸覺點陣刺激模塊,實現LED 燈的亮滅、LED 燈的不同明亮灰度值以及觸點的運動.圖11為下位機MCU 驅動程序的流程圖.

圖10 觸點刷新頻率測量結果

圖11 MCU 驅動程序流程

上位機控制界面由VS (Microsoft Visual Studio)軟件應用C#語言編寫,用戶界面框架搭建過程中實現界面與程序分離,簡化了程序設計,秉持人機交互原則使操作界面與使用方法一目了然.下位機編寫語言為C 語言,應用keil 開發平臺進行52 系列嵌入式程序開發.

4.2 視覺刺激實驗

在此實驗中,我們通過上位機的人機交互界面,輸入LED 燈的行列數,調整明亮灰度值等級,來驗證此裝置的視覺刺激生成功能.表3羅列了部分視覺刺激生成的實驗結果.

實驗測試結果表明,視覺點陣刺激模塊工作可靠性能穩定,能夠以不同明亮灰度等級點亮不同的LED燈點陣,生成視覺刺激,由實驗證明實時響應速度良好.

表3 視覺刺激生成的實驗結果

4.3 觸覺刺激實驗

在此實驗中,我們通過上位機的人機交互界面,輸入觸覺點陣的點序號,驅動每方點陣單元的觸點,驗證此裝置的觸覺刺激生成功能.表4羅列了部分觸覺刺激生成的實驗結果.

實驗測試結果表明,觸覺點陣刺激模塊工作可靠性能穩定,能夠觸動不同的觸點運動,生成觸覺刺激,由實驗證明實時響應速度良好..

5 總結

人們通常由視、聽、觸、嗅、味等多個通道,融合感知和認知環境.探明人的多通道感知特性是物理心理學研究的重要目標,其中,能夠提供多通道感知刺激的儀器設備是物理心理學研究必不可少的工具.本文設計了一種視覺和觸覺融合感知的點陣刺激裝置,可以同步給指尖提供觸覺刺激,給眼睛提供視覺刺激,為物理心理學研究人的視觸覺融合感知特性提供實驗設備.

相對于前人研究成果,此裝置的主要創新有:1)能夠提供更高密度、更高刷新頻率的觸覺刺激;2)能夠提供不同顏色、不同微小封裝尺寸、不同明亮灰度值等組合的LED 燈點陣視覺刺激;3)能夠同步產生視覺刺激和觸覺刺激;4)裝置的電子元器件集成度更高、裝置的體積更小且重量更輕,并且能夠遠程操控.借助此裝置,人們可以感受到溫和不刺眼的視覺感知,也能夠獲得清晰辨識的觸覺感知.

表4 觸覺刺激生成的實驗結果

此裝置的不足之處在于:1)觸點的凸起高度不可調;2)觸點凸起時,指尖必須離開觸點;3)控制程序較復雜.