“5G云+VR”技術(shù)在眼眶解剖教學(xué)及手術(shù)培訓(xùn)中的應(yīng)用

李 然， 婁 巖

（1.大連海洋大學(xué)信息工程學(xué)院，遼寧 大連 116023；2.中國(guó)醫(yī)科大學(xué)智能醫(yī)學(xué)學(xué)院，沈陽(yáng) 110122）

0 引 言

眼眶部解剖復(fù)雜，多數(shù)組織位于眶內(nèi)，無(wú)法直觀學(xué)習(xí)，現(xiàn)實(shí)教學(xué)中在校學(xué)生及規(guī)培醫(yī)生很難在手術(shù)過(guò)程中全面掌握眼眶及眶內(nèi)解剖結(jié)構(gòu)，因此無(wú)法達(dá)到教學(xué)和培訓(xùn)目的。

目前國(guó)內(nèi)外已有一些虛擬仿真系統(tǒng)網(wǎng)絡(luò)化的應(yīng)用方案，雖然實(shí)現(xiàn)了基于B／S的應(yīng)用模式，但在使用過(guò)程中的數(shù)據(jù)還是下載到本地，其中的計(jì)算和渲染等依然需要使用本地的硬件資源，并沒(méi)有解決硬件終端的限制瓶頸，同時(shí)學(xué)習(xí)人數(shù)受限，只適合基于高端PC平臺(tái)支持的一對(duì)一學(xué)習(xí)或?qū)嵱?xùn)，只支持仿真內(nèi)容的可視化實(shí)現(xiàn)，而不支持實(shí)時(shí)交互操作，仿真度低，實(shí)操效果差，經(jīng)常出現(xiàn)卡頓現(xiàn)象。另外，基于某一種引擎開(kāi)發(fā)的特性導(dǎo)致非基于此系統(tǒng)的程序無(wú)法復(fù)用。因此，此類(lèi)方案并沒(méi)有突破軟硬件兼容性的瓶頸。

1 基于局域網(wǎng)和5G云的虛擬仿真教學(xué)系統(tǒng)總體架構(gòu)構(gòu)建

為突破上述這些局限性，將“5G云＋VR”技術(shù)應(yīng)用到眼眶解剖教學(xué)及手術(shù)培訓(xùn)中，構(gòu)建虛擬的眼眶、眶內(nèi)容物模型，將相關(guān)的發(fā)病原因及手術(shù)方案等教學(xué)重點(diǎn)和難點(diǎn)融入虛擬教學(xué)和臨床培訓(xùn)中，并以全新的視角將仿真系統(tǒng)VR版部署到局域網(wǎng)和5G云上。給出虛擬仿真教學(xué)系統(tǒng)網(wǎng)絡(luò)化的解決方案，為虛擬仿真教學(xué)系統(tǒng)網(wǎng)絡(luò)化開(kāi)辟新的思路和技術(shù)支持。構(gòu)建的虛擬仿真教學(xué)系統(tǒng)的總體架構(gòu)，如圖1所示［1］。

圖1 基于局域網(wǎng)和5G云的虛擬仿真平臺(tái)的總體架構(gòu)

通過(guò)反復(fù)的虛擬操作，學(xué)習(xí)者可以全面、深刻地認(rèn)識(shí)和理解眼眶組織解剖結(jié)構(gòu)，獲得更多練習(xí)機(jī)會(huì)和接近實(shí)際的臨床體驗(yàn)，達(dá)到傳統(tǒng)教學(xué)中無(wú)法達(dá)到的教學(xué)效果；突破目前虛擬仿真技術(shù)對(duì)同時(shí)受訓(xùn)人數(shù)和時(shí)空上的限制，實(shí)現(xiàn)了多終端供多用戶(hù)無(wú)時(shí)空限制同時(shí)使用，無(wú)需關(guān)心所需的軟硬件設(shè)備和終端性能，達(dá)到共享學(xué)習(xí)和實(shí)訓(xùn)的目的，將基于VR技術(shù)的優(yōu)質(zhì)資源，真正用于教育培訓(xùn)中。

2 眼眶解剖虛擬教學(xué)及手術(shù)培訓(xùn)系統(tǒng)結(jié)構(gòu)設(shè)計(jì)

眼眶解剖虛擬教學(xué)及手術(shù)培訓(xùn)系統(tǒng)分成3大模塊：課堂學(xué)習(xí)、交互學(xué)習(xí)和智能考評(píng)（見(jiàn)圖2）。系統(tǒng)設(shè)置不同的教學(xué)環(huán)節(jié)，涵蓋模擬演示、自行學(xué)習(xí)、虛擬操作及智能考評(píng)等。學(xué)生通過(guò)反復(fù)的虛擬訓(xùn)練，培養(yǎng)精準(zhǔn)操作的臨床思維，達(dá)到現(xiàn)實(shí)教學(xué)中無(wú)法達(dá)到的教學(xué)效果［2］。

圖2 眼眶解剖教學(xué)及手術(shù)培訓(xùn)系統(tǒng)結(jié)構(gòu)框圖

系統(tǒng)實(shí)現(xiàn)了VR版、PC版和Web版，VR版可通過(guò)VR頭盔和手柄進(jìn)行單人一對(duì)一操作的個(gè)性學(xué)習(xí)和實(shí)訓(xùn)，PC版可以通過(guò)單人或小組演示操作，同時(shí)通過(guò)局域網(wǎng)進(jìn)行大班教學(xué)可視化觀摩學(xué)習(xí)，Web端可以通過(guò)瀏覽器線(xiàn)上學(xué)習(xí)。

3 關(guān)鍵技術(shù)

3.1 資源采集

采集的CT數(shù)據(jù)導(dǎo)入3DSlicer開(kāi)源的醫(yī)學(xué)圖像處理軟件中，實(shí)現(xiàn)醫(yī)學(xué)數(shù)字成像和通信（Digital Imaging and Communication in Medicine）信息的導(dǎo)出、病人護(hù)理系統(tǒng)（patient care system）診斷信息的錄入、標(biāo)注信息的錄入、自動(dòng)生成XML格式的標(biāo)注文件以及標(biāo)注文件的解析。將骨骼結(jié)構(gòu)元素應(yīng)用在圖像上，使用決策樹(shù)方法迭代其他組織的表面，找到所有可刪除的表面點(diǎn)，直到僅保留骨骼為止，該方法也可以擴(kuò)展到更高維度上［3］。標(biāo)本采集過(guò)程如圖3所示。

圖3 標(biāo)本采集過(guò)程

3.2 建模

通過(guò)CT數(shù)據(jù)提取出眶骨的三維數(shù)據(jù)，在Maya中細(xì)化模型，再導(dǎo)入Zbrush軟件中，進(jìn)行模型等級(jí)細(xì)分及細(xì)節(jié)制作，再使用UVLayout軟件進(jìn)行低模展現(xiàn)，將高模與低模通過(guò)xNormal軟件進(jìn)行模型匹配和法線(xiàn)的烘培工作，通過(guò)Maya烘培出顏色位置貼圖，再通過(guò)Photoshop和Substance Painter軟件導(dǎo)入模型、法線(xiàn)和顏色位置貼圖進(jìn)行整體貼圖的制作，最后放入U(xiǎn)E4引擎中測(cè)試仿真度效果［4］，如圖4所示。

圖4 眼球模型

3.3 Web版模型可視化渲染的實(shí)現(xiàn)

Web版模型可視化渲染在PC版模型渲染效果的基礎(chǔ)上實(shí)現(xiàn)，通過(guò)Stand筆刷增加模型表面面數(shù)，將組織器官上凹凸結(jié)構(gòu)精確地雕刻出來(lái)，雕刻級(jí)別為Div-6，在子工具級(jí)別中將面數(shù)比較多的模型進(jìn)行分離處理，按照準(zhǔn)確的眼球外形結(jié)構(gòu)，使用收縮筆觸將眼球外形結(jié)構(gòu)進(jìn)行相應(yīng)的效果處理［5］。

Web版高精度紋理制作，通過(guò)Geometry選擇OBJ文件存放，將角膜、鞏膜等模型轉(zhuǎn)化成Abc格式，對(duì)細(xì)分或多邊形網(wǎng)格的每個(gè)面用一個(gè)單獨(dú)的紋理。通過(guò)WebGL的使用，可以利用用戶(hù)設(shè)備提供的硬件進(jìn)行渲染加速。

3.4 睫狀體、睫狀小帶、晶狀體等結(jié)構(gòu)的柔性算法開(kāi)發(fā)

眼球內(nèi)的屈光組織，多以柔性體存在，為了更加逼真地呈現(xiàn)柔性體的實(shí)時(shí)視覺(jué)反饋與碰撞反饋，本研究采用了包圍球碰撞算法，提出了一種基于幾何意義的高斯分布變形模型，快速完成變形過(guò)程。

由于物體表面某一點(diǎn)受力發(fā)生變形時(shí)，距離受力點(diǎn)越遠(yuǎn)變形量越小，而高斯函數(shù)的分布符合這一規(guī)律，因此利用高斯函數(shù)計(jì)算物體表面變形能產(chǎn)生較好的效果。在計(jì)算過(guò)程中，遍歷模型表面的所有頂點(diǎn)，根據(jù)頂點(diǎn)位置到受力點(diǎn)的距離，按照變形公式

計(jì)算出法向的變形量，然后重新繪制圖形。使用者通過(guò)操作帶有傳感器的設(shè)備觸碰、牽拉模擬真實(shí)操作，同時(shí)在圖形界面上逼真模擬出手術(shù)過(guò)程中眼球組織牽拉、變形、流血等現(xiàn)象［6-7］。

3.5 服務(wù)器端設(shè)計(jì)要點(diǎn)

3.5.1 GPU優(yōu)化策略

通過(guò)研究GPU編程優(yōu)化策略，對(duì)CPU與GPU實(shí)施優(yōu)勢(shì)互補(bǔ)達(dá)到資源平衡利用。提出將交互數(shù)據(jù)視頻流從服務(wù)器向終端呈現(xiàn)的方案，提升GPU服務(wù)器中部署虛擬仿真程序的性能以及GPU計(jì)算資源的使用效率。為了發(fā)揮GPU內(nèi)部架構(gòu)和執(zhí)行邏輯的優(yōu)勢(shì)，完成其強(qiáng)大并行處理能力的底層實(shí)現(xiàn)，研究從內(nèi)部結(jié)構(gòu)、硬件接口和軟件接口3個(gè)維度對(duì)GPU編程進(jìn)行優(yōu)化。

通過(guò)對(duì)軟件底層代碼和算法的優(yōu)化，使用Hook方式管理系統(tǒng)API，通過(guò)重新分配顯卡時(shí)間片解決GPU分時(shí)同步的計(jì)算，使得單一顯卡擴(kuò)展成供多用戶(hù)同時(shí)使用的數(shù)個(gè)虛擬顯卡，實(shí)現(xiàn)GPU虛擬化。為最大限度地共享GPU資源，在保持基本隔離機(jī)制的前提下使用進(jìn)程隔離技術(shù)，并在進(jìn)程級(jí)別共享對(duì)于圖形應(yīng)用來(lái)說(shuō)更為稀缺的GPU資源。

渲染過(guò)程通過(guò)GPU循環(huán)完成，每個(gè)循環(huán)恰好渲染一幀，首先對(duì)圖形渲染進(jìn)行初始化，再對(duì)每個(gè)迭代過(guò)程執(zhí)行下列任務(wù)：CPU進(jìn)行計(jì)算，為GPU計(jì)算準(zhǔn)備數(shù)據(jù)；數(shù)據(jù)上傳到GPU緩沖區(qū)；GPU基于緩沖區(qū)中的數(shù)據(jù)執(zhí)行計(jì)算；計(jì)算結(jié)果反饋到主存，準(zhǔn)備下一個(gè)循環(huán)［8］。

3.5.2 視頻流實(shí)時(shí)傳輸技術(shù)

通過(guò)建立層次化的并行性對(duì)應(yīng)關(guān)系模型，利用GPU高并行性特點(diǎn)去除冗余信息，降低視頻數(shù)據(jù)量的傳輸，提高系統(tǒng)實(shí)時(shí)性和傳輸速率。將GPU渲染的畫(huà)面實(shí)時(shí)硬編碼為H.265格式，在保持畫(huà)質(zhì)清晰的前提下將傳輸文件的數(shù)據(jù)量大幅壓縮。由于實(shí)時(shí)H.265解碼器和模塊已集成到HTML5瀏覽器內(nèi)部，編碼后的文件大小僅為原始大小的1%～10%，不僅降低了服務(wù)器和終端用戶(hù)之間傳輸?shù)碾y度，也使實(shí)時(shí)性得到保證。

采用基于調(diào)速器直接控制的視頻編碼控制方法。在該碼率控制算法中，目標(biāo)發(fā)送速率并不直接輸入編碼器，而是輸入到調(diào)速控制器，既能夠基于網(wǎng)絡(luò)數(shù)據(jù)包緩存當(dāng)前狀態(tài)，實(shí)時(shí)地控制圖像采集、編碼的相關(guān)參數(shù)，又能夠根據(jù)預(yù)測(cè)出來(lái)的幀大小實(shí)現(xiàn)自適應(yīng)的GOP控制。該方法與傳統(tǒng)方法的不同之處在于需要根據(jù)網(wǎng)絡(luò)數(shù)據(jù)包緩存的狀態(tài)實(shí)時(shí)地進(jìn)行控制，把網(wǎng)絡(luò)傳輸和視頻編碼緊緊地耦合在了一起。

根據(jù)GPU具有多層次并行處理功能，為幀內(nèi)編碼算法的實(shí)時(shí)實(shí)現(xiàn)提供硬件支持，降低編碼過(guò)程復(fù)雜度，并通過(guò)對(duì)幀內(nèi)編碼原理的研究，建立層次化的并行性對(duì)應(yīng)關(guān)系模型，采用OpenCL編程實(shí)現(xiàn)畫(huà)面細(xì)節(jié)優(yōu)化，通過(guò)估計(jì)分析影響視頻質(zhì)量的碼率，實(shí)現(xiàn)對(duì)GPU編程的并行優(yōu)化［9］。

3.5.3 解決延遲技術(shù)

VR內(nèi)容網(wǎng)絡(luò)化，面臨一個(gè)突出的問(wèn)題就是延遲高。因?yàn)樗鼘?duì)仿真交互的實(shí)時(shí)性有直接影響。VR內(nèi)容網(wǎng)絡(luò)化的實(shí)時(shí)性能讓體驗(yàn)者接受，除依靠硬件和網(wǎng)絡(luò)本身性能外，還必須提高GPU的3D渲染效率，減小因渲染占而用的GPU資源。研究通過(guò)對(duì)引擎UE4底層C＋＋代碼編程以及針對(duì)GPU服務(wù)器顯卡Direct12 3D接口的優(yōu)化，提高GPU的3D渲染效率和減少因渲染占用的GPU資源；通過(guò)優(yōu)化CPU編程，縮短實(shí)時(shí)視頻音頻基于H.265的編碼時(shí)間，減少運(yùn)算所需的軟硬件資源；獨(dú)立處理各種用戶(hù)輸入的信號(hào)，同時(shí)動(dòng)態(tài)調(diào)配GPU渲染程序和實(shí)時(shí)進(jìn)行視頻編碼輸出，即先將用戶(hù)交互信息放置于緩沖區(qū)內(nèi)，統(tǒng)一調(diào)配GPU渲染程序，單獨(dú)響應(yīng)多個(gè)用戶(hù)的并發(fā)交互請(qǐng)求，進(jìn)一步降低操作帶來(lái)的延遲，提升系統(tǒng)的實(shí)時(shí)性。經(jīng)反復(fù)實(shí)驗(yàn)表明該方案從用戶(hù)按下操作按鈕到看到畫(huà)面控制在30 ms以下，并保持實(shí)時(shí)交互流暢，畫(huà)面支持720P／1 080P高清晰標(biāo)準(zhǔn)，單臺(tái)服務(wù)器可以同時(shí)支持2～50路的并發(fā)訪(fǎng)問(wèn)數(shù)量。

3.6 Web前端設(shè)計(jì)要點(diǎn)

在網(wǎng)絡(luò)平臺(tái)體驗(yàn)交互實(shí)訓(xùn)，輸入操作虛擬化是關(guān)鍵。研究通過(guò)延遲處理和GPU編程優(yōu)化，實(shí)現(xiàn)對(duì)現(xiàn)有輸入方式觸摸屏，鍵盤(pán)，鼠標(biāo)和游戲手柄等全方位適配。在HTML頁(yè)面運(yùn)行仿真軟件，需要適配C＋＋程序所編寫(xiě)的GPU3D染程序，為其具有更好的開(kāi)源性，使用HTML所支持的語(yǔ)言JavaScript模擬鍵盤(pán)，鼠標(biāo)，以及手柄的API接口程序。支持手柄的API接口種類(lèi)繁多，如DirectInput、XInput、RawInput，可采取仿真程序直接讀取USB設(shè)備的方法實(shí)現(xiàn)。

基于VR的虛擬仿真教學(xué)內(nèi)容，作為教育資源部署在局域網(wǎng)和互聯(lián)網(wǎng)上的意義是：無(wú)論局域網(wǎng)絡(luò)，還是5G互聯(lián)網(wǎng)或Internet終端的學(xué)習(xí)者均可通過(guò)觸摸屏、鍵盤(pán)或鼠標(biāo)等設(shè)備，無(wú)時(shí)空限制地進(jìn)行模擬操作，達(dá)到共享學(xué)習(xí)和實(shí)訓(xùn)的目的，無(wú)需關(guān)心所需的軟硬件設(shè)備和終端性能好壞等問(wèn)題。最終實(shí)現(xiàn)多人同時(shí)學(xué)習(xí)和培訓(xùn)，徹底改變一對(duì)一教學(xué)實(shí)訓(xùn)的現(xiàn)狀。

4 系統(tǒng)功能實(shí)現(xiàn)

該平臺(tái)以眼眶解剖為主線(xiàn)，借助文字、三維模型、音頻、視頻等形式進(jìn)行闡述和展現(xiàn)，不僅能夠全面而清晰地展示眼眶的所有解剖結(jié)構(gòu)，并通過(guò)對(duì)各個(gè)解剖結(jié)構(gòu)的分別顯示，使學(xué)生充分理解、掌握解剖結(jié)構(gòu)之間的毗鄰和空間位置關(guān)系。而且軟件結(jié)合臨床病例，使學(xué)生對(duì)眼眶的檢查、臨床手術(shù)治療等有全面的了解［10-11］。

使用者通過(guò)課堂學(xué)習(xí)模塊（見(jiàn)圖5）可以掌握教材中眼眶的總論內(nèi)容，點(diǎn)擊眼眶及眶內(nèi)組織結(jié)構(gòu)，會(huì)出現(xiàn)組織名稱(chēng)及功能，病理狀態(tài)組織變化及功能改變，術(shù)前準(zhǔn)備及術(shù)中操作的要點(diǎn)和注意事項(xiàng)，學(xué)生回答正確后會(huì)出現(xiàn)進(jìn)一步手術(shù)操作要點(diǎn)、難點(diǎn)等關(guān)鍵知識(shí)點(diǎn)。

圖5 課堂學(xué)習(xí)模塊

交互學(xué)習(xí)模塊（見(jiàn)圖6）適用于對(duì)臨床實(shí)習(xí)醫(yī)生進(jìn)行復(fù)雜環(huán)境下的模擬手術(shù)訓(xùn)練，包括精準(zhǔn)定位、設(shè)計(jì)多種手術(shù)方案、復(fù)雜手術(shù)過(guò)程的規(guī)劃、演練與預(yù)測(cè)等。

圖6 交互學(xué)習(xí)模塊

智能考評(píng)模塊（見(jiàn)圖7）根據(jù)題目的知識(shí)點(diǎn)、難度、教學(xué)要求、分?jǐn)?shù)等指標(biāo)智能組卷；提供多種考試形式，幫助學(xué)生掌握正確的技能操作、完整流程；根據(jù)考試情況，進(jìn)行全面、多維度的統(tǒng)計(jì)分析，提供糾錯(cuò)反饋信息，讓學(xué)生知錯(cuò)、改錯(cuò)，自主提升操作技能；同時(shí)，學(xué)生的考評(píng)數(shù)據(jù)也會(huì)形成報(bào)告，發(fā)送給老師，幫助老師實(shí)時(shí)了解學(xué)生的技能掌握情況，實(shí)現(xiàn)精準(zhǔn)指導(dǎo)，打通課前、課堂、課后訓(xùn)練評(píng)價(jià)各環(huán)節(jié)［12-13］。

圖7 智能考評(píng)模塊

系統(tǒng)首先面向開(kāi)展臨床醫(yī)學(xué)教育和臨床技能培訓(xùn)的醫(yī)學(xué)院校（醫(yī)院）開(kāi)放，共享虛擬仿真教學(xué)資源，并服務(wù)于各級(jí)臨床醫(yī)生的畢業(yè)后專(zhuān)科教育；可面向社會(huì)開(kāi)放并持續(xù)提供在線(xiàn)服務(wù)，為各種科普活動(dòng)、眼科學(xué)術(shù)交流等活動(dòng)提供豐富的仿真演示案例支持［14-15］。

5 結(jié) 語(yǔ)

虛擬現(xiàn)實(shí)正在不斷改變著人們定義用戶(hù)體驗(yàn)（UX）的方式，但原則仍然是體驗(yàn)必須以人為中心。本研究在“可信、可交互、可探索、沉浸式”4個(gè)方面的用戶(hù)體驗(yàn)上，做了深入探索。

介紹了基于“5G云＋VR”技術(shù)的眼眶解刨教學(xué)及手術(shù)培訓(xùn)系統(tǒng)的構(gòu)建方法和關(guān)鍵技術(shù)，將5G云、VR等技術(shù)引入到虛擬實(shí)踐教學(xué)，構(gòu)建了集交互學(xué)習(xí)、漫游、考評(píng)一體化的實(shí)訓(xùn)平臺(tái)，展示了眼眶解剖教學(xué)及手術(shù)的虛擬場(chǎng)景，通過(guò)虛擬仿真實(shí)訓(xùn)，提高了學(xué)習(xí)興趣和效果，將基于VR技術(shù)的優(yōu)質(zhì)資源，真正用于教育培訓(xùn)中，拓展虛擬仿真系統(tǒng)的應(yīng)用范圍和受益人，具有良好的社會(huì)效益和經(jīng)濟(jì)效益。