基于多感官交互的阿爾茨海默老人智能穿戴產品設計研究

歐靜，譚瑜，方瀅潔，康慶春，許盈

基于多感官交互的阿爾茨海默老人智能穿戴產品設計研究

歐靜1，譚瑜1，方瀅潔1，康慶春1，許盈2

（1.湖南大學，長沙 410012；2.湖南中醫藥大學，長沙 410208）

研究聽覺、觸覺與視覺多感官刺激因素介入阿爾茨海默病老人護理的反饋效果，借助智能軟硬件技術增強其對音樂的感知，設計多感官交互的老人智能穿戴產品。根據感知替換及通感原理，創建能夠將音樂轉化為振動及視覺信息的感官替代方法，并通過實驗測試分別驗證聽–觸覺和聽–觸–視覺兩類多感官交互原型的可行性。在融合聽–觸覺的基礎上加入視覺設計，可以更好地激發老人的言語行為能力。在收集被試者使用反饋分析結論的基礎上設計了一款指尖振動音樂可穿戴設備——指尖鋼琴，通過提供以觸覺、聽覺、視覺融合的多感官體驗來促進患者的主動行為。多感官交互產品的設計對改善阿爾茨海默病患者的情緒和主動行為具有一定的效果，對老年患者身體健康和生活質量的提高具有積極意義。

阿爾茨海默病（AD）；多感官交互；感知替換；振動觸覺；可穿戴設計

隨著我國社會老齡化程度加劇，老年疾病患病人數也逐年升高，其中阿爾茨海默病（Alzheimer's Disease，AD）尤為突出，目前我國AD患者約為750萬[1]，是全球老年癡呆癥患者數量最多的國家。阿爾茨海默病患者的癥狀通常表現為：認知功能下降，常面臨負面情緒并普遍存在沮喪、抑郁心理，對事物缺乏興趣和行動力，進而表現為行為退縮[2-3]。阿爾茨海默病嚴重威脅著老年人的健康，給照護者、家人和社會都帶來了巨大的負擔，因此面向AD患者的老年醫療護理成為重要的社會問題。在對阿爾茨海默病的治療中，多感官交互產品被越來越多地用于輔助高齡患者接受非藥物的治療干預。盡管藥物干預能從一定程度上緩解癥狀，但其療效有限，有些藥物甚至會帶來副作用，因此近年來諸多研究人員建議用非藥物干預手段替代藥物用于一線治療中。在眾多非藥物療法中，多感官刺激干預由于具有無侵入性、低成本且無不良反應等優點，被越來越多地用于對老年患者的治療中[4]。

1 多感官設計在老年醫療護理中的應用

1.1 多感官交互設計

在醫療領域的多感官交互設計研究中，研究人員綜合運用視覺、聽覺、觸覺、嗅覺等感官進行體驗活動設計，以達到促進患者主動行為、激發積極情緒和輔助認知康復的目的。其中，音樂早已被證明能夠有效改善阿爾茨海默病患者的負面情緒，并能緩解其認知和行為問題，因此音樂作為聽覺刺激是較為基礎的干預輔助方式[5]。此外，視覺和聽覺刺激的組合也較為常見，例如，Huldtgren等[6]借助嵌入式傳感技術設計制作了一款交互式書籍，見圖1a，用戶在瀏覽書頁圖像的同時能夠通過翻頁、觸摸、按壓等簡單的手勢來觸發對應的聲音和音樂。該設計被運用于對老年癡呆患者的回憶療法中，被證明能夠有效喚起患者的回憶，誘發他們進行更多的自主行為（如自主閱讀、交流談話等）。近年來，研究人員又開始著眼于探索觸覺刺激對老年群體的影響和干預效果。Schelle等[7]設計了一款觸覺枕頭，見圖1b，用戶撫摸、輕拍枕頭等動作能夠觸發不同的觸覺振動反饋模式，該設計旨在通過一種有趣的交互方式來鼓勵老年癡呆患者與其家人進行交流，在產品測試中五分之三的患者被觀察到更樂意主動與家人進行交談和肢體接觸。

1.2 多感官可穿戴設備

除了常規的交互產品形式之外，基于可穿戴設備形式的多感官設計研究也已廣泛存在。香港理工大學的Kim等[8]設計開發了一系列適老化交互式紡織品，見圖1c、圖1d，由聚合物光纖材料織物（POF）和集成的傳感器制作而成，通過提供視覺、觸覺感官刺激來提示行動不便的老人適時進行鍛煉。另外，干預類醫療設備面臨的一個障礙就是老年患者的抵觸、恐慌心理，因此Yamazaki等[9]提出有必要開發更加輕便、更宜人的可穿戴設備。他們所開發的音樂振動設備能夠為患者提供聲學振動刺激，可應用于日常場景來緩解患者的緊張和疼痛。可穿戴形式的多感官交互設備有其便捷性——不依賴于環境和專業醫護人員的全程參與，僅僅穿戴在患者身上就能提供輔助，因此具有更大的發展前景和應用潛力[10]。

圖1 多感官交互設計

1.3 多感官應用趨勢分析

眾多研究已表明，多感官設計在老年醫療護理中的應用正逐步增多，對老年人的精神行為及心理狀態有較為積極的改善。在對阿爾茨海默病老年患者的交互設計中，觸覺的介入可以通過多感官的刺激增強多維度的體驗及系統的交互性。但由于觸覺技術具有一定的復雜性，過去的多感官研究通常以視覺和聽覺刺激作為主導手段，與觸覺等其他感官刺激的組合應用實例還較少，基于多感官的系統性交互設計案例較為匱乏。因此，觸覺結合視、聽覺在老年護理中的交互設計產品開發還有待進一步探索和驗證。

2 面向阿爾茨海默病患者的多感官交互原型構建

2.1 聽–觸覺交互原型構建

2.1.1 基于感知替換理論的聽覺與觸覺轉換方法

在聽覺和觸覺的感官層面，針對老年人聽力下降的問題，基于感知替換理論研究創建了一種能夠將音樂轉化為振動的算法[11]，來增強阿爾茨海默病患者對音樂的感知。感知替換理論即在兩種不同的模態之間建立特征映射關系，從而通過替代模態表達原始模態。在音樂的諸多特征中，音強可以通過觸覺的振動感知強度被重新構建[12]，該種轉換方式能夠反映音樂節奏的變化，從而增進聽眾對音樂的感知和理解，特征圖解見圖2。通過將音強特征轉換為振動強度特征的方法來開發原型，可以控制觸覺刺激模式的變化，進而重構音樂的節奏信息。

圖2 感知替換特征解析

2.1.2 觸覺振動原型架構

觸覺振動原型的硬件端是基于Arduino的微控制器系統和振動電機，軟件端是基于p5.js的網頁程序。聽覺和觸覺兩種模態之間的轉換過程見圖3，網頁端可將獲取到的音樂振幅值提取出來后傳輸給主控制器，主控制器會對信號作進一步分析，將音樂振幅數據與電機振動的不同強度和數量相對應，完成對應關系轉換后，Arduino平臺再給振動電機發送PWM信號從而驅使電機振動。原型結構本質上是將音樂的振幅值轉換為PWM信號發送給電機，最終反映到電機的振動強度和振動數量上，當音樂振幅值低時，只有一個電機振動，隨著振幅增強，則有更多的電機依次振動，該結構旨在通過振動觸覺刺激幫助阿爾茨海默病患者感知音樂的節奏變化。

2.2 聽-視覺交互原型構建

2.2.1 基于通感原理的聽覺與視覺映射構建方法

在聽覺和視覺的感官層面，基于通感原理構建聽覺和視覺的映射關系，進行音樂可視化的視聽映射設計。對于通感，淺層次的理解可將其看作是以一種感覺為引導去體驗和理解另一種感覺的過程，而更深層次的理解則將其表述為一種由外界刺激所產生的多感官映射的認知現象，視覺和聽覺的感覺域可以在不同層次的相互轉換和映射中構建通感體驗[13]。Miller等[14]的研究構建了音樂符號可視化設計的結構化方法，方法具體為：第一步將音樂進行特征提取，第二步將音樂特征進行數據轉化，第三步將音樂特征的數值進行視覺映射，對應格式塔原則和視覺要素，第四步構建視覺結構設計，第五步輸出給用戶。通過該方法構建聽–視覺交互原型，將音樂特征轉化為視覺特征，表達出符合阿爾茨海默病老人情感認知的音樂內涵，提升音樂體驗。

2.2.2 音樂可視化設計原型架構

在音樂聽–觸覺融合的基礎上，結合視覺感官刺激可以幫助阿爾茨海默病患者更好地感受音樂。依據布魯夏（Brucha）[15]理論，音樂的體驗層次可以分為：前音樂層、音樂層和外音樂層。振動觸覺可以有效增強前音樂層和音樂層的體驗，而視覺可以更好地表達外音樂層的特征。本設計中的聽覺和視覺映射轉化見圖4。第一步：對音樂特征進行分析，在三個音樂體驗層級上獲得不同的音樂物理及語義情感特征。第二步：提取特征的具體數值或元素，例如歌詞語意特征及音樂振幅數據等。第三步和第四步將提取出的音樂特征數值或元素進行特征映射和視覺設計。最后一步進行實驗原型輸出，獲取用戶反饋。利用通感映射，可以獲取音樂視覺感知的關鍵要素，實現音樂可視化表達。

圖3 聽覺和觸覺的轉換過程

圖4 聽覺和視覺映射轉化過程

3 交互原型可用性實驗

可用性實驗使用了聽–觸覺和聽–觸–視覺兩種多感官交互原型進行活動設計和驗證，以探索在聽覺單感官的基礎上，多感官交互在認知、情緒和行為層面對老年患者的改善效果。實驗一通過設定振動位置、音樂類型等變量進行比較分析，驗證振動觸覺的有效性。實驗二在聽–觸覺的基礎上，加入視覺感官要素，驗證聽–觸–視覺三種感官融合的有效性。

3.1 聽–觸覺的多感官實驗

3.1.1 實驗設計方法

1）實驗目的：通過比較穿戴音樂振動設備與不穿戴兩種干預情況，分析聽－觸覺交互原型對實驗被試者在認知、情緒、行為三層面的改善效果；比較三種佩戴于手腕、腳腕與指尖的原型設備和舒緩型、節奏型與懷舊型音樂三種音樂類型，得出適于穿戴振動設備的身體部位和適于播放的音樂類型。

2）實驗對象：選取從長沙市永濟養老院挑選出的8名身體狀況相近、聽、觸覺感知均正常的阿爾茨海默病患者（其中包括5名女性，3名男性，年齡均在75歲以上），提前為老年被試者講解實驗注意事項并邀請其填寫用戶知情同意書。將8名老年被試者進行編號并隨機分成4組，1、5號為手腕振動組，2、8號為腳腕振動組，3、6號為手指振動組，4、7號為無振動對照組。

3）評估方法：采取定性與定量結合的評估方法。量化指標包括測試量表和生物生理信號收集，定性指標包括實驗前后訪談和實驗期間對參與者的觀察。評估層面分為以下幾點：在認知層面，使用簡易智力狀態檢查量表即MMSE量表對實驗前后被試者的認知進行評估；在情緒層面，采用GDS老年抑郁篩查量表衡量被試者的抑郁癥狀和情緒狀態，運用攝像機觀察記錄被試者的面部表情，并使用BITalino心率檢測套裝收集心電信號ECG；在行為層面，運用攝像機全程記錄被試者的身體動作和言語交流，并用ATLAS.ti進行視頻定性分析。

3.1.2 實驗過程

在正式體驗振動設備前，阿爾茨海默病患者需要先完成MMSE量表與GDS抑郁量表的評測，由于阿爾茨海默病老年患者的讀寫能力不足以獨立完成問卷，因此兩份量表均通過研究人員口頭詢問老人并現場記錄答案的方式完成。房間布局被設定為允許護工坐在被試者身邊，以便緩解其緊張情緒。

接著為老年被試者依次佩戴心率檢測設備與音樂振動設備，圖5所示為三種不同類型的可穿戴原型，分別穿戴于手腕、指尖、腳腕。在佩戴完成后，要求被試者靜坐放松兩分鐘以保持心率平穩；接下來依次為被試者播放舒緩型音樂、快節奏音樂與懷舊型音樂，被試者可隨著音樂自然地進行反應；每聽完一段音樂，都有兩分鐘的休息時間。在依次感受完三段音樂后，阿爾茨海默病患者再次在研究人員的詢問下完成MMSE量表與GDS抑郁量表，最后詢問被試者對音樂振動干預過程的體驗性評價。

3.1.3 實驗數據分析

通過對實驗前后量表數據的對比分析和視頻定性分析，對應生理指標數據從生理認知、情緒變化和主動行為三個維度來評估被試者的狀態變化，并通過半結構化訪談獲取被試者的態度和評價，其中2號老人因為實驗中途退出導致2號數據缺失。

在認知層面上，絕大多數被試者對音樂振動可穿戴設備持可接受的態度，并且他們能感受到觸覺刺激模式是隨著音樂變化的。對比實驗前后四組被試者的MMSE認知量表（根據MMSE癡呆嚴重程度進行分級：≥21分為輕度；10～20分為中度；≤9分為重度）總得分情況，見圖6a，在音樂與觸覺多感官活動后，各組被試者的MMSE認知量表得分均有不同程度的提高，且佩戴在手指部位的老人比無振動對照組的老人得分的提高更為明顯。

在情緒層面上，通過對實驗前后GDS抑郁量表（根據抑郁程度分級：0～10分可視為正常范圍，11～20分為輕度抑郁，21～30分為中重度抑郁）的得分進行對比，見圖6b，可知實驗對85.7%的老年被試者有效果，在音樂與觸覺多感官活動后，老年人的抑郁評分有所下降，說明老人們在活動后對某些問題的想法變得更加積極。根據視頻分析，佩戴了多感官交互裝置的被試者在感受觸覺和音樂刺激的過程中微笑、開心等積極的面部情緒頻次增多。心率也是常見的反映人們情緒變化的定量生理指標之一[16]，在實驗中發現有6名老年患者的心率都出現了不同程度的增加，并且心率增速均在10%以上。以上指標表明，所設計的多感官交互原型能夠提供令人愉悅的刺激。

圖5 不同部位的穿戴設備

Fig.5 Wearing devices for different parts

在行為層面上，對實驗期間所錄制的被試者全身視頻進行分析，可以總結出阿爾茨海默病老人在接受干預期間出現的八種典型行為動作，以及被試者在傾聽舒緩型、節奏型與懷舊型三段音樂下的動作持續時長見圖6c，可見被試者在接受干預的過程中多次出現如手部、腳部打節拍、頭部點動等節奏性行為，且老人在指尖部位佩戴交互原型時，會表現出更為豐富的手部動作，包括食指點動和手部摩擦等，驗證了該

交互裝置能夠有效刺激阿爾茨海默病患者主動行為的發生。在測試的三種音樂類型中，發現懷舊型歌曲可以引起被試者的主動跟唱，說明熟悉的歌曲能夠進一步喚起、激發被試者的積極情緒和主動行為。

3.1.4 實驗結論

1）在聽–觸覺多感官交互實驗后，老人在認知和情緒層面較實驗前均有所提高；被試者穿戴音樂振動設備相對于單純音樂聆聽在認知層面的表現有明顯提高；被試者在行為層面表現出八種典型行為動作。

2）手指部位的振動觸覺刺激能激發阿爾茨海默病患者更豐富的手部活動，在醫學上被證明有助于促進患者的腦部活動[17]，因此指尖可穿戴設備是更為適宜的多感官交互設備形式。

3）懷舊型音樂相比較其他音樂形式能夠進一步喚起、激發被試者的積極情緒和主動行為，因此適宜選取懷舊音樂作為阿爾茨海默病患者干預體驗的音樂類型。

圖6 實驗一結果分析

3.2 聽–觸–視覺的多感官實驗

3.2.1 實驗設計方法

1）實驗目的。由實驗一可知懷舊音樂與手指振動觸覺結合，可以讓用戶增進積極情緒、提高認知能力和主動行為。實驗二在聽－觸覺交互原型的基礎上加入視覺界面交互模式，測試聽–觸–視覺的多感官交互原型在老人認知、情緒和行為三個層面的提升效果，同時驗證指尖觸發畫面反饋方式的有效性。

2）實驗對象：考慮到實驗一的老年被試者后期身體狀況不佳及疫情等原因，實驗二的被試者選取了另外8名身體狀況相近、聽、觸、視覺均正常的阿爾茨海默病患者（其中包括4名女性，4名男性，年齡均在60歲以上）。提前為老年被試者講解實驗注意事項并邀請其填寫用戶知情同意書。

3）評估方法：實驗二仍然采取定性與定量相結合的評估方法，通過訪談、量表測試和攝像記錄來評估實驗前后被試者的認知、情緒及行為層面的差異。相較于實驗一，實驗二增加了電腦端的音樂視覺刺激，在實驗過程中老人們需佩戴迭代后的指尖振動觸覺可穿戴交互原型，以完成交互過程，全程運用攝像機全程記錄被試者的面部表情與身體動作，并使用ATLAS.ti軟件進行視頻定性分析。

3.2.2 實驗過程

將8名老年被試者進行隨機編號，實驗前幫助被試者填寫MMSE認知量表和GDS抑郁量表。實驗中幫助老人佩戴指尖可穿戴設備，然后聆聽懷舊類型歌曲《瀏陽河》，并觀看音樂可視化視頻。老人可以通過手指的接觸點動等動作觸發產生相應的畫面，與視覺內容進行互動，被試者的測試畫面見圖7。音樂結束后，詢問被試者對音樂交互過程的理解和感受，并填寫老年認知及抑郁量表。

3.2.3 實驗數據分析

在認知層面上，通過MMSE認知量表進行實驗前后的測量，得分情況前后對比見圖8a，可知實驗對75%的老年被試者有效果，被試者的認知量表得分都有不同程度的提高，說明音樂、振動、視覺結合的干預手段對提高阿爾茨海默病患者的認知能力具有有效性。在情緒層面上，實驗前后的GDS抑郁量表得分對比見圖8b，可知實驗對87.5%的老年被試者有效果，被試者的抑郁量表得分都有不同程度的下降，說明經過音樂視覺交互活動后，老人對日常生活問題的主觀體驗更加積極。老人面部表情以微笑、大笑等積極情緒為主，可見被試者在情緒上有了很好的改善，說明多感官的融合對輕度認知障礙老年人的主觀情緒體驗有一定的效果。

圖7 被試者觀看音樂可視化視頻

Fig.7 Subject watching the music visualization video

圖8 實驗二結果分析

在行為層面上，實驗二根據被試者的活動部位和形式對動作和語言進行了分類，動作與時長統計見圖8c。可見被試者的行為類型較實驗一中的八種典型動作明顯增加了言語互動和交流行為，他們會主動講述自己點擊后出現的圖像，會談論歌曲產生的背景，說明添加視覺圖像有效激發了老人對音樂內容的思維和言語行為。不同手指的點動仍是主要的活動方式，說明可交互的音樂可視化設計增加了不同手指的活動機會，提高了手部行為的發生概率和主動性。

3.2.4 實驗結論

1）音樂、振動、視覺結合的多感官干預手段對阿爾茨海默病患者的認知能力和情緒體驗有很好的改善效果，證明了三種感官形式結合的有效性。

2）聽–觸–視覺的多感官融合交互體驗可以進一步促進用戶語言交流和主動行為的產生，提高用戶的音樂互動性。

3）手指點動觸發相應畫面的動態反饋模式，利于患者接收視覺反饋，同時增加了手部動作的主動性。

4 多感官交互產品設計

研究基于聽–觸及聽–觸–視覺的實驗結論，進行音樂特征可視化和可觸化設計，為阿爾茨海默病患者設計了一款多感官交互產品——指尖鋼琴，搭配可穿戴設備硬件及軟件控制端，產品使用框架見圖9。

圖9 音樂治療產品使用框架

4.1 硬件端及使用場景

硬件端為可穿戴手套形態，外觀設計見圖10a，使用過程見圖10b，首先由護工或家人為用戶佩戴交互手套，之后在手機端或者瀏覽器端選擇播放曲目。可穿戴手套的反饋模式有兩種，模式一通過振動和LED燈光進行實時反饋提示，用戶能在欣賞音樂時感受到觸覺模式的刺激，同時按照指尖端LED燈的提示敲擊桌面，即可彈奏出相應的音符。模式二通過連接軟件端，進行視覺畫面的動效反饋，將音樂的振幅實時轉換為包含不同強度和數量的觸覺模式，以反映音樂節奏的變化并觸發相應畫面。阿爾茨海默病老人還可以與同伴一起使用指尖鋼琴，在聆聽同一首歌曲的情況下敲擊音符。硬件端以觸覺和聽覺為主，觸聽同步，以視覺為輔，創造了阿爾茨海默病患者干預輔助設備的交互新模式。不僅能夠用于音樂療法中輔助阿爾茨海默病患者參與醫療干預，也可作為日常娛樂放松和陶冶情操的休閑產品。

4.2 軟件端及使用場景

軟件端以《瀏陽河》為例通過processing軟件進行音樂可視化的核心功能設計，構建了三個音樂場景，使用場景見圖11。動態視覺畫面元素（如雨點大小、河流水位等）與音樂節奏和響度等音樂參數分別建立視覺映射關系，隨著音樂的播放出現相應的視覺特征變化。用戶在穿戴手套后用手指進行點擊，可觸發不同的交互畫面元素，控制畫面的雨點大小及水位高低等，從而呈現出動態的多層次場景，讓用戶主動進行故事場景的發現與構建，實現視覺、聽覺、觸覺的多感官交互性音樂體驗。

圖10 硬件端外觀與使用場景

圖11 軟件端使用場景

5 結語

面對老齡化這樣一個綜合的社會問題，設計學科逐漸發展出以老人為對象的包容性設計理念，失智老年群體更是備受關注[18]。新型的可穿戴音樂多感官交互設計旨在通過新穎的交互形式和多通道刺激來激發阿爾茨海默病患者的主動行為，改善其情緒，以達到減緩患者癥狀的目的。實地用戶研究及兩次原型實驗表明，所開發的原型易于穿戴使用，老年患者的認知、情緒、行為層面均有所改善，懷舊型音樂可以幫助阿爾茨海默病患者進行情緒喚醒，聽–觸–視覺多感官結合的方式可以很好地激發老年患者的音樂討論和動作主動性。此次短期干預實驗對設計原型的可用性進行了初步證明，后期將對可穿戴設計原型進行迭代優化，尋找更多實驗被試者進行設計的可用性分析，同時對適用于阿爾茨海默病患者的音樂類型及曲目進行更廣泛深入的探索，進一步驗證音樂、觸覺和視覺對阿爾茨海默病患者的長期性影響。

[1] 馬善新, 宋魯平. 阿爾茨海默病康復管理中國專家共識要點解讀[J]. 中國醫刊, 2020, 55(8): 833-840. MA Shan-xin, SONG Lu-ping. Interpretation of China Expert Consensus on Rehabilitation Management of Alzheimer's Disease[J]. Chinese Journal of Medicine, 2020, 55(8): 833-840.

[2] 李晨萌, 時晶, 魏明清, 等. 阿爾茨海默病精神行為癥狀分布特點(附216例報告)[J]. 北京醫學, 2020, 42(5): 366-369. LI Chen-meng, SHI Jing, WEI Ming-qing, et al. Distribution Characteristics of Mental and Behavioral Symptoms of Alzheimer's Disease (Report of 216 Cases)[J]. Beijing Medical Journal, 2020, 42(5): 366-369.

[3] BENDER M P, CHESTON R. Inhabitants of a Lost Kingdom: A Model of the Subjective Experiences of Dementia[J]. Ageing and Society, 1997, 17(5): 513-532.

[4] SáNCHEZ A, MASEDA A, MARANTE-MOAR M P, et al. Comparing the Effects of Multisensory Stimulation and Individualized Music Sessions on Elderly People with Severe Dementia: A Randomized Controlled Trial[J]. Journal of Alzheimer’s Disease: JAD, 2016, 52(1): 303-315.

[5] 王宏超, 張奇. 音樂干預改善阿爾茨海默癥自傳體記憶障礙的效果[J]. 中國心理衛生雜志, 2020, 34(6): 482-486. WANG Hong-chao, ZHANG Qi. A Review of Effect of Music Intervention on Improving Autobiographical Memory Impairment in Patients with Alzheimer Disease[J]. Chinese Mental Health Journal, 2020, 34(6): 482-486.

[6] HULDTGREN A, MERTL F, VORMANN A, et al. Reminiscence of People with Dementia Mediated by Multimedia Artifacts[J]. Interacting With Computers, 2017, 29(5): 679-696.

[7] SCHELLE K J, NARANJO C G, TEN BH?MER M, et al. Tactile Dialogues: Personalization of Vibrotactile Behavior to Trigger Interpersonal Communication[C]. Proceedings of the Ninth International Conference on Tangible, Embedded, and Embodied Interaction. Stanford, California, USA. New York: ACM, 2015: 637-642.

[8] KIM H Y, Tan J, Toomey A. Co-designing interactive textile for multisensory environments(Conference Paper)[J]. Advances in Intelligent Systems and Computing, 2019, Vol.849: 205-211.

[9] YAMAZAKI Y, MITAKE H, HASEGAWA S. Tension-Based Wearable Vibroacoustic Device for Music Appreciation[C]. Bello F, Kajimoto H, Visell Y. International Conference on Human Haptic Sensing and Touch Enabled Computer Applications. Cham: Springer, 2016: 273-283.

[10] 孫效華, 馮澤西. 可穿戴設備交互設計研究[J]. 裝飾, 2014(2): 28-33. SUN Xiao-hua, FENG Ze-xi. Research on Interactive Design of Wearable Devices[J]. Art & Design, 2014(2): 28-33.

[11] KARAM M, RUSSO F A, FELS D I. Designing the Model Human Cochlea: An Ambient Crossmodal Audio-Tactile Display[J]. IEEE Transactions on Haptics, 2009, 2(3): 160-169.

[12] FLORIAN H, MOCANU A, VLASIN C, et al. Deaf People Feeling Music Rhythm by Using a Sensing and Actuating Device[J]. Sensors and Actuators A: Physical, 2017, 267: 431-442.

[13] Wang, WZ (Wang, Weizhen); Nagai, Y (Nagai, Yukari); Fang, Y (Fang, Yuan); Maekawa, M (Maekawa, Masami). Interactive technology embedded in fashion emotional design: Case study on interactive clothing for couples (Article)[J]. International Journal of Clothing Science and Technology, 2018, Vol.30(3): 302-319

[14] MILLER M, H?U?LER J, KRAUS M, et al. Analyzing Visual Mappings of Traditional and Alternative Music Notation[EB/OL]. https://arxiv. org/abs/1810.10814.

[15] BRUSCIA K E, Standards of Integrity for Qualitative Music Therapy Research[J].Journal of music therapy, 1998, Vol.35(3): 176-200.

[16] 張曉敏, 尹愛青. 音樂誘發情緒的測量方式研究[J]. 中央音樂學院學報, 2017(1): 136-149. ZHANG Xiao-min, YIN Ai-qing. Research on the Meas-urement Method of Music-Induced Emotion[J]. Journal of the Central Conservatory of Music, 2017(1): 136-149.

[17] TREADAWAY C, TAYLOR A, FENNELL J. Compassionate Design for Dementia Care[J]. International Journal of Design Creativity and Innovation, 2019, 7(3): 144-157.

[18] 胡飛, 張曦. 為老齡化而設計: 1945年以來涉及老年人的設計理念之生發與流變[J]. 南京藝術學院學報(美術與設計), 2017(6): 33-44, 235. HU Fei, ZHANG Xi. Design for Aging: Development and Evolution of the Design Concept Involving the Elderly since 1945[J]. Journal of Nanjing Arts Institute (Fine Arts & Design), 2017(6): 33-44, 235.

Design of Smart Wearable Products for the Elderly of Alzheimer's Disease Based on Multi-sensory Interaction

OU Jing1, TAN Yu1, FANG Ying-jie1, KANG Qing-chun1, XU Ying2

(1.Hunan University, Changsha 410012, China; 2.Hunan University of Chinese Medicine, Changsha 410208, China)

The work aims to investigate the involvement of auditory, tactile and visual multi-sensory stimuli in the care of the elderly with Alzheimer's disease, to enhance their perception of music with the help of smart hardware and software technologies, and to design a smart wearable product for the elderly with multi-sensory interaction. Based on the principles of perceptual substitution and empathy, a sensory substitution method was created to transform music into vibratory and visual information. And experimental tests were conducted to verify the feasibility of the auditory-tactile and the auditory-tactile-visual multi-sensory interaction prototypes. Adding visual design based on the integration of auditory-tactile senses can better stimulate the speech behavior ability of the elderly. A fingertip vibrating music wearable device, the Fingertip Piano, was designed based on the result of analysis on feedback from the subjects to promote active behavior by providing a multi-sensory experience that integrates touch, hearing and vision. The design of the multi-sensory interactive product is effective in improving the mood and active behavior of Alzheimer's patients and has positive implications for the physical health and living quality of elderly patients.

Alzheimer's disease; multi-sensory interaction; sensory substitution; vibratory tactile; wearable design

TB472

A

1001-3563(2023)10-0116-09

10.19554/j.cnki.1001-3563.2023.10.011

2022–12–13

教育部人文社會科學研究項目（21YJC760056）；湖南省普通高等學校教學改革研究項目（HNJG-2020-0093）

歐靜（1981—），女，博士，副教授，主要研究方向為工業設計人機工程學、智能交互硬件及產品開發、智能可穿戴設計及智能裝備等。

責任編輯：馬夢遙