高職康復治療技術專業心臟體格檢查AR教學軟件設計與開發淺析＊

李倩雯，張學剛，諸葛建，魯 海，付 奕

（廣東食品藥品職業學院，廣東 廣州 510520）

1 引言

心臟體格檢查是高職康復治療技術專業診斷學的重要內容，傳統的講解方法通常是使用模式圖進行講解，要求學生根據對心臟解剖結構的認識想象病變時的變化，需經過多次想象和多個邏輯轉化推理過程，講解和學習過程都非常困難[1]。需增強現實技術的應用，為教育工作者提供全新的教學工具。同時，能激發學生學習新知識的興趣，讓學生在動手體驗中迸發出創新的火花。因此將增強現實技術應用于教育行業是教育技術發展的一個新的飛躍，它營造了自主學習的環境，由傳統的“以教促學”的學習方式演變為學生通過新型信息化環境和工具來獲取知識和技能的新型學習方式，符合新一輪教學改革的教育理念，有助于培養涉醫專業學生核心專業技能和素養。心臟體格檢查AR教學軟件以增強現實技術為基礎，設計并實現涉醫專業診斷學課程心臟體格檢查部分內容的實時交互可視化應用軟件，將抽象、艱深的理論課程內容轉化為形象、易懂且可視化的虛擬現實內容，并實現實時交互，提高教師教學效果和學生學習效率，實現教學目標。

2 心臟體格檢查AR教學軟件系統模塊設計及實現

在研究課題的資助下，課題組根據一線教學需求完成了軟件架構設計，分析了需要實現的功能模塊及其要求，以頭戴式增強現實設備為基礎，完成了系統基本流程設計、軟件可視化設計以及交互設計，開發并實現了心臟體格檢查教學軟件，導入可穿戴AR設備中運行，設計并實現了涉醫專業診斷學課程聽診部分內容的實時交互可視化應用軟件。在整體和細節上均符合一線教學人員的使用習慣，將抽象、艱深的理論課程內容轉化為可視化的虛擬現實內容，并實現實時交互，提高了教師教學效果和學生學習效率，支持教學需求。軟件具體運行流程如圖1所示。

圖1 軟件運行流程圖

2.1 根據AR技術的要求進行可視化設計

可視化是AR軟件的最重要內容之一，軟件的可視化設計需充分考慮多方面的因素。心臟聽診部分是診斷學最有代表性的內容之一，其傳統的教學方法為：①展示心臟各瓣膜在體表的聽診區；②介紹瓣膜病變所造成的聽診音變化，要求學生根據對心臟解剖結構的認識想象病變時的變化；③根據異常心音反推病變的狀態，進行多次聯想、轉換和推理，這向來是診斷學教學的重點與難點。軟件把增強現實技術合理引入聽診課程理論教學，采用AR技術把心臟立體投影到教室，采用AR眼鏡接收并通過體感操控系統進行操作，將教學內容展示給學生，有效地將抽象的理論知識形象化和具體化，降低了教與學的難度。課題組在現有心臟3D建模的基礎上，對心臟體格檢查部分重點教學內容（如二尖瓣狹窄、二尖瓣關閉不全、主動脈瓣狹窄、主動脈瓣關閉不全等病理狀態）根據AR技術的特點和要求進行了相應的可視化設計，并建立相應的動態3D模型。其中心臟模型的建立需考慮心臟模型的視覺精細度和真實度、信息的存儲和修改是否可以及時地反饋到后臺數據庫中等方面。這幾個方面因為涉及到幾種心臟常見疾病狀態的動態建模，從效率和素材可復用考慮，課題組選擇在心臟的幾大結構分別建模（左心房、左心室、右心房、右心室、各個瓣膜），然后在運行中組合起來，在不同的疾病狀態中只要修改影響到的病變部位的建模即可運行。但是由于是動態模型，分別建模在動態顯示的過程中可能會有極細微的時差，如果多次重復播放后時差可能會積累到不可忽略的程度，因此，為了達到良好的顯示效果，課題組選擇了對不同的疾病狀態都進行完整重新建模的方式，盡最大可能保障顯示效果。

為了滿足實踐教學需求，課題組在已有建模的基礎上，修改了瓣膜形態和血流的方向，展現在不同瓣膜病理狀態下血液流動所形成的渦流及其所帶來的心音變化，使學生能夠在學習聽心音的同時觀察到相應的心瓣膜和血流變化，在無形中將難點問題消化吸收。

2.2 設計各教學內容相關的實時交互方式

目前頭戴式增強現實設備能夠識別的實時交互方式包括目光焦點追隨、語音交互和手勢交互。語音交互方式可識別關鍵詞，手勢交互方式主要有點擊、抓取、移動、放大、縮小、旋轉、播放等功能。心臟體格檢查AR教學軟件可把教學所用到的教學內容通過以上交互方式呈現。在軟件設計過程中根據教學需求和AR技術的技術特點，對需要用到的功能進行精細設計，以確保手勢實時交互，高效地滿足教學需求，教師可根據頭戴式增強現實設備的功能特點設計出控制所投影出的模型，將瓣膜病變時的異常血流狀態從多個角度展現給學生，提高教與學的效率。在實時交互設計方面需注意解決以下關鍵問題：采取何種手勢實現實時交互，手勢識別的精確度，如何設計在預定的軟硬件環境下完成預期實時交互，確保屏幕顯示的文字及視頻清晰、易讀，使用者的退出設置、軟件重啟的穩定性、主界面及各個功能模塊界面的親切型和合理性，腳本制作的需求貼切性，各個功能模塊呈現信息的及時性和舒適度等問題。軟件具體交互設計如圖2所示。

圖2 實時交互設計

2.3 開發實現軟件并測試完善

根據軟件模型和交互等方面的設計，在充分分析心臟體格檢查AR教學軟件需求、模塊功能、各個界面的布局以及實時交互細節的基礎上，采用實驗等方法，完成教學軟件的總體結構和功能設計，然后具體設計各個功能模塊間的關系，完成系統的具體設計和開發工作。系統開發過程中特別要注意音頻標準化的設計與實現，因為現有的心臟聽診音頻基本是患者體檢實錄音，標準化程度不足。為了滿足教學需求，在心臟體格檢查AR教學軟件中導入了不同心音，利用實時傅立葉變化描繪心音圖，結合心臟射血周期，使心臟狀態與心音特點無縫匹配。

系統開發工作完成后，課題組先組織了部分班級使用教學軟件，進行系統功能測試和安全性、穩定性方面的測試，對于發現的BUG，及時解決并做好記錄，形成了測試文檔。對于修復的BUG，進行了完善的回歸測試和系統測試，確保教學軟件可以正常運行。將心臟體格檢查AR教學軟件應用于課程教學，使用過程中根據師生的反饋情況不斷對軟件進行了測試和完善，確保教與學的實際需求緊密切合，更好地服務于診斷學的日常教學。

3 結束語

心臟體格檢查AR教學軟件充分利用了虛擬仿真技術構建實訓條件，把AR技術合理引入心臟體格檢查教學，有效地將體表之下抽象的理論知識“可視化”，降低了教與學的難度，為解決醫學基礎課程同類問題提供了借鑒經驗[2]。