5G云與VR結合的腎小球疾病實驗教學系統建設

李 然， 婁 巖， 黃 和

（1.大連海洋大學信息工程學院，遼寧 大連 116023；2.中國醫科大學智能醫學學院，沈陽 110122；3.沈陽醫學院醫學信息工程學院，沈陽 110043）

0 引 言

腎臟病的發病率在全球逐年上漲，已成為威脅人類健康的重大健康問題之一。在我國已達到10.8%，腎臟病的預防及診療已成為國家和患者的沉重負擔，培養更多更優秀的腎臟科醫生顯得尤為重要。

原發性腎小球疾病是臨床的常見病、多發病，且原發性腎小球疾病的種類繁多，病變復雜，是病理教學的重點和難點。現有腎小球疾病的實驗教學中，多使用文字、病理切片進行教學，這些鏡下看到的病理切片是二維圖像，對于腎小球這種由多種細胞構成、空間比鄰關系較為復雜的組織，學生通過觀察病理切片不能建立正確的三維立體組織學形態，掌握疾病導致的組織破壞機理難度較大，教學效果欠佳。不同的腎臟疾病臨床表現和病理類型存在交叉性以及矛盾性，學生缺乏臨床實踐經驗和相關的感性認識，學習過程比較枯燥，大多數實驗教學沒有提供教學實時反饋機制，無法及時了解學生的學習情況。

目前國內外已有一些虛擬仿真系統網絡化的應用方案，但仍存在一些不足，雖然實現了基于B/S的應用模式，但在使用過程中的數據還是下載到本地，其中的計算和渲染等依然需要使用本地的硬件資源，需配置高端PC支持。因此，沒有解決硬件終端的限制瓶頸；同時學習人數受限，只提供VR端，不提供PC端和Web端，使學習過程只能一對一開展；一些網絡平臺只可展現VR程序，而不支持實時交互操作，仿真度低，實操效果差，經常出現卡頓現象。另外，基于某一種引擎開發的特性導致非基于此系統的程序無法復用。因此，此類方案并沒有突破軟硬件兼容性的瓶頸［1］。

5G技術作為科技前沿領域，為醫學實驗教學實現三維可視化提供了技術基礎，5G的超高速率能夠急速暢享360°全景VR；更高的帶寬可以顯示高清的VR視頻畫面，超低延時使高保真內容更加清晰無卡頓。本研究將5G云與VR技術應用到腎小球疾病實驗教學中，構建虛擬的腎臟、腎小球、腎小球病理模型，將相關的組織結構、發病機理等教學重點和難點融入虛擬仿真教學中，并以全新的視角將仿真系統部署到5G云，給出虛擬仿真實驗教學系統網絡化的解決方案，為虛擬仿真實驗教學網絡化開辟了新的思路和技術支持［2-3］。

本系統中腎臟、腎小球、病理模型均可通過鼠標進行360°自由旋轉，多視角觀看。結合課后練習，使學生對腎臟結構、腎小球病理改變等有全面、深刻的認識和理解，獲得更多練習機會和接近實際的臨床體驗，達到傳統教學中無法達到的教學效果；將虛擬實驗教學系統部署到5G云上，在云端完成渲染、計算過程，終端無需配置高端PC，達到“精簡”終端設備的目的，不僅能夠降低運維成本，還能實現多終端供多用戶無時空限制同時使用，系統不僅能夠展示虛擬實驗教學內容，而且具有實時交互功能，在高仿真情況下，運行流暢，無卡頓，實現將基于VR技術的優質資源，真正用于教育培訓中［4］。

1 腎小球疾病實驗教學系統結構設計

腎小球疾病實驗教學系統分成2個模塊：課堂交互學習和智能考評（見圖1）。課堂交互學習模塊通過虛擬操作，實現360°觀看腎臟組織構造和不同腎小球腎炎的病理改變，并通過病變動態模型觀看病情演變過程，使鏡下微觀結構能夠生動逼真地顯現，學生通過反復虛擬訓練，掌握知識點，培養臨床思維，達到傳統教學中無法達到的教學效果。智能考評模塊集成了相關題庫和通用型醫療網站的相關案例，包括病理切片、中國醫科大學多家附屬醫院提供的個性化案例、臨床經驗等，達到多維度鞏固知識點的目的。

圖1 腎小球疾病實驗教學系統

系統實現了VR版、PC版和Web版，VR版可通過VR頭盔和手柄進行單人一對一操作的個性學習和實訓，PC版可以通過單人或小組演示操作，同時通過局域網進行大班教學或可視化觀摩學習，Web端可以通過瀏覽器完成線上學習，實現多用戶無時空限制同時使用［5-6］。

2 關鍵技術

2.1 腎臟建模及渲染

腎臟數據的采集主要通過標本的拍攝和CT影像獲取［7］（見圖2）。通過超聲和資料查閱獲得腎臟各部的正常數值。使用MIMICS軟件將CT數據轉換成3D模型文件。

圖2 腎臟數據采集

腎臟三維建模采用腎臟二維橫斷面數字影像，將其導入到醫學影像處理軟件MIMICS中，利用圖像分割功能將感興趣的目標區域從整體背景中單獨勾畫出來，獲得周圍組織器官。通過測量實際人體模型大小比例，利用軟件3DMax，使用多邊形建模方法制作模型，實現邊緣與輪廓自然過渡。將生成后的3D模型導入數字雕刻和繪畫軟件中，進一步進行模型細節制作與模型等級細化。為了制作近似真實的紋理與貼圖效果，需在UVLayout軟件中進行模型拆分與展開；在專門烘培法線貼圖的xNormal軟件中進行模型匹配和法線的烘培工作，產生細節貼圖；在圖像處理軟件Photoshop和3D貼圖繪制軟件Substance Painter中完成模型整體的顏色和貼圖工作，完成最終的模型制作，最后導入VR引擎中。實現控制模型的變化與動態效果，通過采集的數據，進行三維重建，然后再通過C＋＋語言使材質體現醫學模型，實現低性能的媒介能夠得到主機端的實時優質畫面效果［8］。

模型可視化渲染使用高動態范圍圖像（HDR）模式實現，相比普通的圖像，提供更多的動態范圍和圖像細節，更好地反映出真實環境中的視覺效果［9-10］（見圖3）。

圖3 腎臟模型

2.2 服務器端設計開發

2.2.1 服務器編程解決方案

圖形處理器（Graphic Processing Unit）虛擬化處理是實現服務器部署的關鍵之一。本研究通過對軟件底層代碼和算法的優化，使用Hook方式接管系統的應用程序接口（Application Programming Interface），通過重新分配顯卡時間片解決GPU分時同步的計算，使得單一顯卡擴展成供多用戶同時使用的數個虛擬顯卡，實現GPU虛擬化（見圖4）。

圖4 GPU虛擬化

在保持基本隔離機制的前提下最大限度地共享GPU資源。使用進程隔離技術，并在進程級別共享對于圖形應用來說更為稀缺的GPU資源。主要流程如下：

（1）圖像捕獲。基于軟件Direct3D或OpenGL，攔截Direct3D’s的Present API來獲取圖像，攔截OpenGL的glutSwapBuffers來獲取圖像。

（2）聲音捕獲。音頻數據的捕獲是和平臺相關的，在Windows上使用Windows Audio Session APIs來捕獲聲音數據。

（3）應用服務器完成編碼傳輸到客戶端。GPU資源是共享的，但完成一幀的渲染需要CPU和GPU進行協同，CPU運行應用，提交渲染命令到GPU，應用服務器完成編碼傳輸到客戶端。

對于渲染完的每幀，有一個專門的提交函數用于把渲染結果進行輸出，對于軟件OpenGL，該函數是glutSwapBuffers（），對于軟件Direct3D，該函數是交換鏈中的Present（），可以通過關聯Present函數來實現圖形的捕獲功能。

2.2.2 視頻流實時編碼設計

GPU是并行編程模式，其應用方式有兩種：應用程序通過圖形庫接口調用GPU設備；應用程序通過GPU提供的API編程接口直接調用GPU設備。實驗表明虛擬仿真程序通過GPU提供的API編程接口，直接調用GPU設備渲染出的畫面真實度較高，且細節豐富。研究通過建立層次化的并行性對應關系模型，利用GPU高并行性特點去除冗余信息，降低視頻數據量的傳輸，提高系統實時性和傳輸速率。

本研究制定的提高視頻流傳輸效率的解決方案是當終端通過鍵盤鼠標或模擬器械發出交互信息后，由直接或中轉網絡傳輸到GPU服務器，由服務器后臺運行的主程序計算結果，再將渲染的圖像以90 f/s速度進行實時編碼。將GPU渲染的畫面實時硬編碼為H.265格式，可以實現在保持畫質清晰的前提下，傳輸文件的數據量大幅壓縮。編碼后的數據回傳到終端顯示設備上，終端再對數據進行實時解碼，同時等待再次接受交互數據。

視頻流實時編碼實現的技術路線首先通過算法對GPU編碼進行優化。其次優化H.265編碼器，即對視頻流編碼程序實現視頻和音頻的H.265實時編碼。通過重寫實時編碼程序API接口，對多用戶請求與多GPU虛擬化運算單元進行適配，使多用戶調用成為可能。音頻實現通過調用Windows Audio Session API完成。

2.3 虛擬仿真程序網絡傳輸策略

2.3.1 構建局域網傳輸環境

為實現局域網中多用戶同時訪問服務器并獲取實時視頻流數據，需要將部署完虛擬仿真程序的服務器置入高速、穩定性好、并發和低延遲局域網環境中。研究采用萬兆技術組建局域網，通過兩層扁平化結構，中高端以太網交換機進行組網，兩臺核心交換機進行冗余備份負載分擔設計。通過萬兆級連、千兆多桌面的組網方式，從根本上解決網絡的帶寬問題，為每個用戶提供最大千兆的網絡帶寬，使局域網內直接開展IP組播視頻業務成為可能。可以實現虛擬仿真H.265視頻實時傳送教學等多種基于IP組播協議的視頻應用。配合WiFi 6高速無線路由器，增加學習者數量，在非機房環境也可進入仿真程序。選擇使用WiFi 6，將在5G時代與5G技術形成互補，成為室內網絡傳輸技術的核心，尤其適合校園局域網絡的虛擬仿真網絡化。

2.3.2 5G互聯網傳輸的部署與應用方式

研究采用視頻流作為云端向終端呈現處理結果的一種云計算方案。應用程序在云端服務器上運行，將視頻輸出和音頻輸出編碼后經過網絡實時傳輸給終端，終端進行實時解碼后可視化輸出。

在云服務器上部署虛擬仿真程序，采取全部云主機的方式，將GPU渲染程序、GPU實時編碼程序以及Web交互通信服務器程序全部部署到GPU云主機。實驗表明，為滿足多戶同時訪問仿真程序并獲取高質量視頻流、大量用戶高并發的需求，硬件上必須依靠5G傳輸技術［11］（見圖5）。

圖5 基于5G云傳輸部署圖

2.4 Web前端設計

前端Web程序主要解決實時解碼和各種用戶仿真操作輸入請求，實現輸入輸出操作同步。本研究在用戶端的HTML5瀏覽器上對服務器發送過來的H.265數據進行實時解碼，通過C＋＋實現渲染編程，完成在HTML頁面運行仿真軟件，把GPU渲染的清晰畫面呈現給學習者。另一方面需要將學習者輸入信息，轉化為虛擬空間的操作并發送回服務器。對于學習者而言，形成一個集視聽感知輸入、控制輸出和實時反饋于一體的閉環。最終完成整個虛擬仿真程序學習體驗環境的網絡化。研究采用HTML5頁面＋定位手柄的方法實現對操作的模擬，將輸入設備API的C＋＋源代碼移植到Web頁面，通過延遲處理和GPU編程優化，實現對現有輸入方式——觸摸屏、鍵盤、鼠標和游戲手柄等全方位適配，解決了客戶端通用性的問題，最終實現在網絡平臺體驗交互學習。

3 系統功能實現

本研究以“虛實結合、正常-異常遞進，基礎-臨床融合”為理念，用虛擬現實技術模擬的立體腎小球結構為載體，結合傳統臨床病理切片，從多層次、多角度開展實驗教學實踐。促進學生自主學習能力，全面培養學生科學的臨床思維。

系統使用三維模型、視頻、音頻、文字等形式進行闡釋和展現，每部分配有旁白音頻和名稱互動點，能夠全面而清晰地展示腎臟從宏觀到微觀的解剖結構，并通過腎臟、腎小球及病理的三維模型、病變動態變化動畫使學生充分理解、掌握腎小球內幾種細胞的空間構成、各種腎小球腎炎的發病機制。三維模型均可通過鼠標進行360°自由旋轉，實現場景的放大，縮小；并可改變當前視角和位置。課后練習除了客觀題，還集成了病理切片和臨床病例，讓學生多維度掌握相關知識點，形成科學的臨床思維［12-13］。

（1）可進行腎臟總論內容的學習。使用者進入系統，選擇學習模式，進入課堂交互學習模塊，點擊“腎臟的位置和毗鄰”了解腎臟在腹腔內的位置，毗鄰關系（見圖6）。

圖6 腎臟的位置和毗鄰

（2）進一步了解腎臟的解刨結構，掌握腎臟的功能。點擊選項中的“冠狀剖面”“外部形態”“內部形態”，可以看到腎臟的三維結構，包括腎的形狀、腎門、腎動脈、腎靜脈、皮質、髓質、腎乳頭、腎小盞等。通過多角度反復觀看，掌握該部分知識點［14］（見圖7）。

其中，腎臟的血液循環是掌握腎臟功能的重要環節，系統以三維立體形式形象地展示了腎臟的血管走向，相比傳統教學更加直觀生動。血管走向包括：節段動脈起自腎動脈前支或后支，分支形成葉間動脈；在皮-髓質交界處，形成弓形動脈；沿錐體底部彎曲走行，與腎表面平行，發出指向腎表面的放射狀小葉間動脈；向上進入皮質，進入外層皮質后，分支形成入球小動脈（見圖8）。

圖8 腎臟的血管

（3）掌握腎臟的顯微結構——腎小球的構成。在這一部分，重點展現腎小球的組織結構，為后續學習病理改變奠定基礎。點擊腎小球會出現相應組織名稱：如內皮細胞、基底膜、足細胞裂孔膜、系膜、腎小囊等，見圖9。通過三維模型，展現腎小球的正常顯微結構，體現“正常-異常遞進”的教學理念。其中濾過膜的結構特點和功能既是腎小球實現過濾功能的重要組成部分，也是各種病變發生的主要位置，傳統教學多以圖片展示，學生感覺抽象，難以理解，本系統以三維立體呈現該部分內容，提供了更加生動豐富的呈現形式［15］（見圖10）。

圖9 腎小球三維模型

圖10 濾過膜三維模型

傳統腎小球腎炎的病理學習多通過觀看鏡下切片完成，本系統將各種類型的腎小球腎炎的病理做成三維模型，將病變的組織狀態展現在三維模型中，如：點擊膜性腎病，能看到釘狀突起、基膜增生、上皮下沉積物等病變狀態（見圖11）。通過鼠標進行360°自由旋轉，實現視角和位置的改變，多角度展現了該病癥的病理狀態。系統還增加了“病變動態模型”，以動畫的形式展示了病理的變化過程，幫組學生理解、記憶復雜的腎小球腎炎的病理改變，提高學習效果。

圖11 腎小球腎炎病理的三維模型

（4）智能考評。智能考評模塊能夠根據題目的知識點、難度、教學要求、分數等指標智能組卷；提供多種形式題型，幫助學生掌握各種類型腎小球疾病的特點，題目既有文字題，也有真實的病理切片題，典型臨床案例等（見圖12）。涵蓋了腎小球腎炎、腎病綜合癥等多種類型的腎臟疾病的知識點。體現出“虛實結合、基礎-臨床融合”的教學理念。

圖12 智能考評模塊題型

根據考試情況，進行全面、多維度的統計分析，提供糾錯反饋信息，讓學生知錯、改錯，自主提升臨床技能；同時，學生的考評數據也會形成報告，發送給老師，幫助老師實時了解學生對知識掌握的情況，實現精準指導，打通課前、課堂、課后訓練評價各環節，讓教學良性循環，讓評教、評學更準確［16-17］。

4 虛擬實驗教學系統推廣與服務

目前，該系統已取得軟件著作權，并在中國醫科大學、暨南大學、西南醫科大學、新鄉醫學院、中國醫科大學附屬盛京醫院等推廣試用，反饋良好。

系統首先面向醫學院校（醫院）開放，方便學生深度理解，及時回顧知識點，提高學生對腎小球疾病的學習效果，培養科學的臨床思維。還可服務于各級臨床醫學生畢業后專科教育、繼續教育，共享優質的虛擬仿真教學資源以及面向社會開放并持續提供在線服務，為各種科普活動、腎病學術交流等活動提供豐富的仿真演示案例。

5 結 語

本文介紹了5G云與VR技術結合的腎小球疾病實驗教學系統的構建方法和關鍵技術，將5G云、VR技術引入虛擬實踐教學中，構建了集交互學習、考評一體化的教學平臺。系統利用VR技術，逼真地模擬腎臟解剖結構、腎小球濾過膜的構造、腎小球腎炎的病理狀態，將臨床技能融入虛擬教學實踐中，讓學生在虛擬環境下實現反復訓練，完成知識點掌握，彌補傳統教學中的不足。通過考評模塊，實現智能、高效的評價反饋，提高教學效果，實現教學相長；系統將虛擬實驗教學內容部署到5G云上，突破目前虛擬仿真實驗教學系統對同時受訓人數和時空上的限制，實現了多終端供多用戶無時空限制流暢使用，使醫學仿真系統應用更加廣泛；徹底擺脫醫學虛擬仿真系統對高端PC和昂貴VR設備等硬件的依賴，降低應用門檻和使用成本，更利于普及推廣。

對于醫學生而言，崗前培訓以及臨床實踐是必經之路。借助VR技術可以進行模擬培訓，彌補傳統教學的短板，可為學生提供生動、逼真的學習環境，提高學習興趣和效果。這種創新型的實驗教學模式，將基于VR技術的優質資源，真正用于教育培訓中，利用醫工融合，有效地促進了醫學教育技術向數字化轉型，拓展了虛擬仿真系統的應用范圍和受益人群，具有重大社會效益和經濟效益。