基于VR觸覺交互的針灸治療教學(xué)系統(tǒng)設(shè)計(jì)

閆仁靜 胡小強(qiáng) 朱昌盛

摘要：近年來，虛擬現(xiàn)實(shí)（VR） 技術(shù)中的觸覺交互備受關(guān)注，并在中醫(yī)教學(xué)中有一些應(yīng)用。本研究結(jié)合當(dāng)前中醫(yī)學(xué)生的學(xué)習(xí)需求，設(shè)計(jì)了一款基于VR觸覺交互的針灸治療教學(xué)系統(tǒng)，旨在解決中醫(yī)教學(xué)中學(xué)用脫節(jié)的問題。該系統(tǒng)通過“針學(xué)”和“針用”兩個(gè)模式，分別輔助學(xué)生學(xué)習(xí)針灸理論知識和實(shí)踐操作，為中醫(yī)針灸教學(xué)開辟了新的路徑。

關(guān)鍵詞：針灸治療教學(xué)系統(tǒng)；虛擬現(xiàn)實(shí)技術(shù)；觸覺交互技術(shù)；中醫(yī)教學(xué)

中圖分類號：TP311? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2024）07-0114-04

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）

0 引言

針灸作為中國傳統(tǒng)醫(yī)學(xué)的核心組成部分，在傳統(tǒng)的針灸學(xué)習(xí)中，通常以教師口述或多媒體課件的方式來傳授中醫(yī)知識。然而，這種教學(xué)方式尚不能達(dá)到預(yù)期的學(xué)習(xí)效果。此外，在針灸教學(xué)中，針對針刺穴位的實(shí)際訓(xùn)練，學(xué)生通常會借助于紙墊、棉團(tuán)等輔助工具，進(jìn)行反復(fù)練習(xí)[1]。然而，這種方式無法真實(shí)模擬針刺入皮膚時(shí)的觸感，難以達(dá)到理想的訓(xùn)練效果。現(xiàn)如今，基于VR的觸覺交互技術(shù)為傳統(tǒng)的針灸學(xué)習(xí)帶來了新的可能性，如何將該技術(shù)應(yīng)用于針灸教學(xué)中來提高學(xué)習(xí)效果具有重要的現(xiàn)實(shí)意義。

1 基于VR的觸覺交互技術(shù)

人類與環(huán)境的交互方式是多模態(tài)的，也無時(shí)無刻不在使用視覺、聽覺、觸覺和嗅覺等多種感官去感知周圍的環(huán)境[2]。而虛擬現(xiàn)實(shí)作為交互方式的一種，是以計(jì)算機(jī)技術(shù)為核心的現(xiàn)代高科技手段生成逼真的視、聽、觸、嗅、味覺等一體化的虛擬環(huán)境，用戶能夠采用自然的方式與虛擬世界中的物體進(jìn)行交互[3]。但目前，用戶主要通過視覺和聽覺的方式與虛擬場景中的物體進(jìn)行交互，觸覺交互技術(shù)并沒有被廣泛應(yīng)用。因此將“觸覺”感知引入虛擬場景中，正是自然而重要的技術(shù)創(chuàng)新。近年來，觸覺交互技術(shù)允許用戶在虛擬環(huán)境中使用觸覺設(shè)備觸摸、操作計(jì)算機(jī)生成的物體，并感知物體的運(yùn)動以及人機(jī)交互過程中產(chǎn)生的觸覺反饋[4]。觸覺交互技術(shù)是指人的某一部位接觸計(jì)算機(jī)搭建的虛擬場景時(shí)，人機(jī)之間互相傳遞力度、震動、紋理等觸感信息進(jìn)入人的神經(jīng)系統(tǒng)，從而使大腦清晰成像的一種技術(shù)[5]。

2 中醫(yī)教學(xué)的現(xiàn)狀

2.1 教學(xué)方法單一

中醫(yī)教學(xué)主要通過理論授課、師傅傳授經(jīng)驗(yàn)和實(shí)踐觀摩等方式進(jìn)行，這種單一性的教學(xué)方式造成了一些問題。首先，目前的中醫(yī)教學(xué)方式普遍缺乏現(xiàn)代化的教學(xué)手段和多樣化的教學(xué)方法，無法滿足學(xué)生的個(gè)性化學(xué)習(xí)需求。其次，中醫(yī)理論授課方式注重知識的傳授，但缺乏實(shí)踐操作的環(huán)節(jié)，難以將中醫(yī)理論知識與實(shí)踐進(jìn)行有效結(jié)合。

2.2 教學(xué)資源有限

中醫(yī)教學(xué)資源的缺乏是一個(gè)嚴(yán)重的問題，主要體現(xiàn)在臨床實(shí)踐資源、師資、教學(xué)設(shè)備與實(shí)驗(yàn)室方面。在臨床實(shí)踐資源方面，學(xué)生往往難以接觸到真實(shí)的患者，這限制了他們的實(shí)踐機(jī)會，導(dǎo)致醫(yī)學(xué)生與患者直接互動的經(jīng)驗(yàn)不足，影響了學(xué)生在臨床實(shí)踐中的能力培養(yǎng)。在師資方面，中醫(yī)教學(xué)需要有豐富經(jīng)驗(yàn)的中醫(yī)教師進(jìn)行指導(dǎo)，但由于具有豐富經(jīng)驗(yàn)的教師數(shù)量有限且逐漸老齡化，導(dǎo)致中醫(yī)師資較為缺乏。在教學(xué)設(shè)備與實(shí)驗(yàn)室方面，中醫(yī)教學(xué)需要一定的教學(xué)設(shè)備和實(shí)驗(yàn)室來支持學(xué)生的學(xué)習(xí)和實(shí)踐，然而一些學(xué)校由于預(yù)算限制或其他原因，無法給學(xué)生提供充足的教學(xué)設(shè)備和實(shí)驗(yàn)室，導(dǎo)致學(xué)生在實(shí)驗(yàn)和實(shí)踐方面的學(xué)習(xí)受到限制。

3 VR觸覺交互技術(shù)應(yīng)用在中醫(yī)教學(xué)中的優(yōu)勢

眾所周知，成為一名合格的中醫(yī)人才需要投入漫長的學(xué)習(xí)時(shí)間和大量的學(xué)習(xí)精力。然而過于抽象的學(xué)習(xí)內(nèi)容、較少的實(shí)踐機(jī)會成為了培養(yǎng)中醫(yī)藥人才的最大難題。而觸覺交互技術(shù)的出現(xiàn)，有效地解決了這一難題?；赩R的觸覺交互技術(shù)與中醫(yī)進(jìn)行結(jié)合，能夠有效彌補(bǔ)中醫(yī)教學(xué)中實(shí)踐機(jī)會較少的缺陷[6]，為傳統(tǒng)醫(yī)療教育開創(chuàng)了全新的局面。具體而言，基于VR的觸覺交互技術(shù)在中醫(yī)教學(xué)中應(yīng)用的優(yōu)勢如下。

3.1 高度的沉浸式學(xué)習(xí)體驗(yàn)

中醫(yī)是一門較為復(fù)雜的醫(yī)學(xué)體系，其中診斷和治療需要大量的實(shí)踐經(jīng)驗(yàn)。而觸覺交互技術(shù)可以借助VR頭盔和觸覺交互設(shè)備讓學(xué)生身臨其境地模擬和感受中醫(yī)的操作過程，給學(xué)生提供高度沉浸式的學(xué)習(xí)體驗(yàn)，有助于培養(yǎng)學(xué)生的實(shí)際操作能力。逼真的觸覺學(xué)習(xí)體驗(yàn)有助于提高學(xué)生對中醫(yī)的興趣和課堂參與度，從而促進(jìn)中醫(yī)知識的深入學(xué)習(xí)和傳承。

3.2 實(shí)現(xiàn)實(shí)時(shí)力量反饋

基于VR的觸覺交互技術(shù)可以實(shí)時(shí)地向?qū)W生傳遞觸覺信息，這種實(shí)時(shí)的力量反饋有助于提高中醫(yī)學(xué)生的操作技能和實(shí)踐能力，增強(qiáng)其對中醫(yī)實(shí)際應(yīng)用的掌握程度。學(xué)生在學(xué)習(xí)中醫(yī)知識時(shí)，可以借助觸覺設(shè)備感受到實(shí)時(shí)的力反饋效果，這不僅豐富了學(xué)生的感官體驗(yàn)，也有效提升了學(xué)生學(xué)習(xí)的積極性。

3.3 彌補(bǔ)實(shí)踐經(jīng)驗(yàn)的不足

中醫(yī)課程的核心問題是要培養(yǎng)學(xué)生的臨床實(shí)踐能力?；诖?，學(xué)生需要通過大量的實(shí)踐來應(yīng)用所學(xué)的中醫(yī)理論知識和技能進(jìn)而去診斷疾病、制定治療方案。但目前由于臨床實(shí)習(xí)資源有限，學(xué)生可能面臨實(shí)踐機(jī)會不足的問題。觸覺交互技術(shù)的出現(xiàn)，有效地彌補(bǔ)了這一不足。中醫(yī)學(xué)生可以借助觸覺交互設(shè)備進(jìn)行實(shí)際的觸摸和按壓操作，獲得更多實(shí)踐操作的機(jī)會，這有助于學(xué)生積累更多的實(shí)踐經(jīng)驗(yàn)和操作技巧。

4 基于VR觸覺交互的針灸治療教學(xué)系統(tǒng)設(shè)計(jì)

在設(shè)計(jì)針灸治療教學(xué)系統(tǒng)之前，本研究通過對醫(yī)學(xué)生和教師進(jìn)行問卷調(diào)查和訪談來進(jìn)行針灸學(xué)習(xí)的需求分析。在針灸知識理論需求上，學(xué)生需要系統(tǒng)學(xué)習(xí)針灸學(xué)的理論知識，包括穴位學(xué)、針灸方法和治療原理等，而當(dāng)前借助多媒體的學(xué)習(xí)效果并不理想。在臨床實(shí)踐需求上，學(xué)生需要掌握正確的針灸操作技巧和方法，理解臨床應(yīng)用和診斷的關(guān)鍵點(diǎn)，并且要能夠根據(jù)不同的病例正確地選擇適當(dāng)?shù)难ㄎ缓童煼ㄟM(jìn)行治療，而當(dāng)前的教學(xué)往往難以滿足學(xué)生的實(shí)踐環(huán)境，這導(dǎo)致他們?nèi)狈Τ浞值恼鎸?shí)臨床實(shí)踐機(jī)會[7]。此外，在進(jìn)行訪談時(shí)，教師們也普遍反映學(xué)生在學(xué)習(xí)針灸知識時(shí)，存在學(xué)與用脫節(jié)的問題。具體表現(xiàn)為他們在學(xué)習(xí)完針灸理論知識后，常常產(chǎn)生諸如“這些知識如何應(yīng)用于實(shí)際治療中？”“如何同時(shí)提高自己的針灸技能和知識水平？”等疑問。

基于此，本研究設(shè)計(jì)了一款綜合性的針灸治療教學(xué)系統(tǒng)，該系統(tǒng)旨在幫助學(xué)生學(xué)習(xí)與針灸相關(guān)的理論知識的同時(shí)，也能根據(jù)病例情況引導(dǎo)學(xué)生針刺對應(yīng)的穴位，實(shí)現(xiàn)針灸治療的教學(xué)一體化。具體系統(tǒng)設(shè)計(jì)流程圖如圖1所示。

該針灸治療教學(xué)系統(tǒng)設(shè)計(jì)了“針學(xué)”和“針用”兩個(gè)平行關(guān)卡，其中，“針學(xué)”部分旨在幫助學(xué)生學(xué)習(xí)針灸的理論知識，而“針用”部分則側(cè)重培養(yǎng)學(xué)生的實(shí)踐操作技能。與其他設(shè)計(jì)不同的是，在該系統(tǒng)的“針用”模式下，學(xué)習(xí)者針刺人體三維模型對應(yīng)的穴位時(shí)會得到觸覺交互設(shè)備提供的力反饋，這一設(shè)計(jì)的目的在于有效增強(qiáng)學(xué)生的針灸實(shí)際操作能力，使他們能夠深入體驗(yàn)針刺過程的真實(shí)性。

“針學(xué)”場景主要設(shè)有三種不同的交互方式幫助學(xué)生學(xué)習(xí)針灸的理論知識，分別為距離檢測自動播放針灸相關(guān)視頻、手柄射線實(shí)現(xiàn)VR翻書閱讀、手柄射線點(diǎn)擊背部穴位位置。在觀看視頻時(shí)，學(xué)生可以通過手柄控制瞬移到顯示屏前，該系統(tǒng)則自動播放針灸視頻，當(dāng)離開一定距離后，視頻將自動關(guān)閉。在VR翻書閱讀的交互方式中，學(xué)生可以使用手柄射線點(diǎn)擊閱讀臺上的翻頁按鈕，完成逼真的翻書交互，這提高了學(xué)生的交互體驗(yàn)和學(xué)習(xí)的便捷性，此外為了方便學(xué)生記憶腧穴名稱、位置、主治疾病、針刺的深度等多方面的信息，學(xué)生可以通過射線點(diǎn)擊三維立體模型上的某一穴位，將會出現(xiàn)該穴位的詳細(xì)介紹與對應(yīng)病癥的UI提示。在學(xué)習(xí)完理論知識后，學(xué)生可以選擇結(jié)束針灸理論知識的學(xué)習(xí)。也可以進(jìn)入“針用”模式進(jìn)行實(shí)踐操作。學(xué)習(xí)者進(jìn)入“針用”場景中，通過抓取和閱讀病例單來了解病例詳情，并通過點(diǎn)擊病例實(shí)戰(zhàn)UI界面上的訓(xùn)練按鈕，在語音提示下，使用力反饋設(shè)備針刺穴位來模擬治療病例單上的疾病。當(dāng)針刺位置正確時(shí)，會得到正確的UI和語音提示，當(dāng)針刺位置偏離正確的穴位位置時(shí)，將看到錯誤的UI界面，并得到“別灰心，再試試”的積極語音提示，鼓勵學(xué)習(xí)者重新抓取病例單進(jìn)行針刺訓(xùn)練，直至成功治療對應(yīng)疾病為止。

針灸治療教學(xué)系統(tǒng)設(shè)計(jì)主要包括了設(shè)備的連接與觸覺反饋、VR虛擬場景的構(gòu)建、交互功能的實(shí)現(xiàn)三大模塊。該系統(tǒng)主要采用VR串流的方式進(jìn)行設(shè)備連接并通過觸覺交互設(shè)備以力反饋的方式給學(xué)習(xí)者針刺反饋，虛擬場景的搭建主要使用3ds Max軟件構(gòu)建虛擬物體、二維平面設(shè)計(jì)軟件制作UI界面并在Unity 3D軟件中進(jìn)行布置和組裝來實(shí)現(xiàn)，交互功能主要通過Unity 3D、觸覺交互設(shè)備Touch和HTC VIVE頭盔實(shí)現(xiàn)。

4.1 設(shè)備連接與觸覺反饋

在針灸治療教學(xué)系統(tǒng)設(shè)計(jì)之前，需要確保相關(guān)設(shè)備的正常連接，包括計(jì)算機(jī)與HTC VIVE的串流、計(jì)算機(jī)與Touch設(shè)備的連接。該針灸治療教學(xué)系統(tǒng)可以通過VR手柄點(diǎn)擊UI按鈕或?qū)嶓w按鍵，將數(shù)據(jù)傳輸給計(jì)算機(jī)，計(jì)算機(jī)產(chǎn)生的數(shù)據(jù)再傳輸給VR頭顯，從而來實(shí)現(xiàn)翻書交互、UI界面交互、語音播報(bào)、熟知病例單信息等功能，VR頭顯中的針學(xué)、針用信息由感覺器接收，最終被大腦感知。大腦將接收到的針用模式下的病例單信息通過人手借助觸覺交互設(shè)備針刺背部穴位，觸覺交互設(shè)備將信息傳遞給計(jì)算機(jī)，經(jīng)過處理，手部將感受到在針刺穴位時(shí)Touch設(shè)備給予的力反饋，隨后大腦感知到逼真的觸覺體驗(yàn)，并最終實(shí)現(xiàn)針灸治療相關(guān)疾病的訓(xùn)練，如圖2所示。

4.2 虛擬場景的構(gòu)建

虛擬環(huán)境的構(gòu)建主要包括UI界面的制作、場景模型的構(gòu)建、貼圖材質(zhì)的制作和燈光烘焙等。在制作UI界面時(shí)，首先要確定該針灸治療教學(xué)系統(tǒng)的整體風(fēng)格，然后在可畫軟件上找到相關(guān)的素材，最后借助Photoshop軟件對素材進(jìn)行設(shè)計(jì)和加工。本研究設(shè)計(jì)的UI界面包括穴位界面、病例單界面、操作提示界面。在場景的模型搭建上主要借助3ds Max軟件制作，包括人體、針、桌椅、針灸館和中醫(yī)館等。之后需將這些模型從3ds Max中導(dǎo)出，并導(dǎo)入U(xiǎn)nity 3D軟件中進(jìn)行布置和組裝。在模型優(yōu)化上，為降渲染壓力，本研究采用了LOD技術(shù)。特別是在針用場景中，有效減輕了渲染負(fù)擔(dān)，確保了力反饋的優(yōu)先渲染。此外，為避免學(xué)習(xí)者在針刺背部穴位時(shí)出現(xiàn)運(yùn)行卡頓的情況，本研究將構(gòu)建的三維人體模型在3ds Max軟件進(jìn)行部位分割，只針對背部進(jìn)行力反饋渲染，以保持流暢的操作體驗(yàn)。為了達(dá)到更加理想的模型效果，還需要對模型設(shè)置趨于真實(shí)的材質(zhì)。本系統(tǒng)利用二維平面設(shè)計(jì)軟件來繪制材質(zhì)貼圖，將貼圖導(dǎo)入3ds Max并運(yùn)用UVW功能對模型進(jìn)行貼圖。此外，在構(gòu)建虛擬場景時(shí)，使用Unity 3D軟件中的Lighting燈光烘焙功能對虛擬物體的燈光光影進(jìn)行烘焙。圖3為針灸治療教學(xué)系統(tǒng)構(gòu)建的三維模型場景。

4.3 交互功能的實(shí)現(xiàn)

本系統(tǒng)主要是通過面向?qū)ο蟮木幊陶Z言實(shí)現(xiàn)虛擬場景中的觸覺反饋交互、VR翻書交互、手柄抓取病例單交互等功能。其中，最突出的交互功能為在針刺穴位時(shí)感知到的觸覺反饋。主要使用OpenHaptics插件并進(jìn)行觸覺環(huán)境搭建，并在此環(huán)境的基礎(chǔ)上更換虛擬場景的模型，如將被刺物體替換為三維人體模型，將木棒替換為針，同時(shí)通過調(diào)整Touch環(huán)境中的材質(zhì)、柔軟度、靜摩擦力、動摩擦力等參數(shù)，最終使學(xué)習(xí)者在進(jìn)行背部穴位的針刺時(shí)能夠感受到逼真的行針阻力，從而提高訓(xùn)練效果。此外，在VR翻書交互部分，使用了Book Page Curl Pro插件，并通過代碼將該插件原本通過鼠標(biāo)的輸入方式改為手柄射線，以實(shí)現(xiàn)VR翻書交互，圖4為VR翻書功能的實(shí)現(xiàn)及其部分代碼。在“針用”場景中，使用Steam VR插件并將Intertable和Core等一些腳本掛載到病例單上，即可實(shí)現(xiàn)抓取病例單的交互功能。

5 結(jié)束語

本研究根據(jù)中醫(yī)學(xué)生對于針灸的理論和實(shí)踐需求，以基于VR的觸覺交互為核心技術(shù)，設(shè)計(jì)了一款理論知識與實(shí)踐操作一體化的針灸治療教學(xué)系統(tǒng)。該系統(tǒng)有助于提高中醫(yī)學(xué)生對針灸知識的感興趣程度和課堂參與度，也在幫助學(xué)生學(xué)習(xí)針灸穴位位置、針刺深度、針灸文化理論知識的同時(shí)，更加有效地提高了中醫(yī)學(xué)生根據(jù)疾病針刺對應(yīng)穴位的實(shí)際操作技能。但目前基于VR的觸覺交互技術(shù)尚處于初步發(fā)展階段[8]，其在中醫(yī)教學(xué)的應(yīng)用中還有一定的局限性。具體表現(xiàn)為中醫(yī)療法注重經(jīng)絡(luò)和穴位的刺激，學(xué)生在進(jìn)行針刺訓(xùn)練時(shí)需要通過精確的觸感模擬來再現(xiàn)這些細(xì)微的刺激感受，然而當(dāng)前的觸覺交互技術(shù)尚未能達(dá)到完全逼真的觸覺感知水平。因此，觸覺交互技術(shù)還需要不斷地進(jìn)行創(chuàng)新和完善，相信在未來會以更加逼真的觸覺感知應(yīng)用在中醫(yī)教學(xué)中。

參考文獻(xiàn)：

[1] 蔣崢崢，高瞻，顧翔，等.面向遠(yuǎn)程觸覺協(xié)作的虛擬針灸系統(tǒng)研究[J].系統(tǒng)仿真學(xué)報(bào)，2013.25（9）：2085-2090.

[2] 祁彬斌，陳彩華，龐明勇.Haptics技術(shù)在教育教學(xué)中的應(yīng)用研究[J].教育現(xiàn)代化，2015（1）：82-86.

[3] 胡小強(qiáng)，何玲，祝智穎.虛擬現(xiàn)實(shí)技術(shù)與應(yīng)用[M].北京：北京郵電大學(xué)出版社，2020.

[4] Klidarithmos.The Use of Haptic Display Technology in Education[J].Themes in science and technology education Special Issue，11-30.

[5] 張曉媛，陳斌，基于虛擬現(xiàn)實(shí)的沉浸式觸覺交互技術(shù)在野外地質(zhì)實(shí)習(xí)中的實(shí)現(xiàn)[J].現(xiàn)代電子技術(shù)，2022，45（14）：1-4.

[6] 劉瑩，魏曉露，王科軍.針灸專業(yè)課程教學(xué)的思考[J].中國中醫(yī)藥現(xiàn)代遠(yuǎn)程教育[J].2023，21（13）：26-28.

[7] 石偉.基于VR/AR的針灸教學(xué)實(shí)踐平臺設(shè)計(jì)與實(shí)現(xiàn)[D].西安：長安大學(xué)，2020.

[8] 武瑛.虛擬觸覺交互技術(shù)的最新發(fā)展[J].電視技術(shù)，2023，47（7）：179-182.

【通聯(lián)編輯：王 力】