支持力反饋的肝臟手術(shù)虛擬仿真及研究

范林龍，周新華，李 毅*

(1.溫州大學 計算機與人工智能學院，浙江 溫州 325035；2.寧波市醫(yī)療中心李惠利東部醫(yī)院，浙江 寧波 315000)

0 引 言

虛擬現(xiàn)實(Virtual Reality)利用計算機圖形學技術(shù)使用戶能夠真實地沉浸于虛擬構(gòu)造的三維場景中，通過引入多模態(tài)感知，用戶可以在視覺、聽覺、觸覺、嗅覺等虛擬仿真技術(shù)所構(gòu)造的業(yè)務(wù)場景中進行漫游，成為仿真交互的計算機前沿科技。結(jié)合如HTC Vive、Microsoft Hololens等頭盔式顯示設(shè)備(Helmet Device)，用戶能夠輕便地置身于虛擬場景，實現(xiàn)與虛擬場景物體的動態(tài)交互，感受虛擬世界所帶來的知識學習與視覺震撼。虛擬現(xiàn)實技術(shù)能夠有效地應(yīng)用于醫(yī)學仿真、教育培訓、影音娛樂、軍事模擬等多個領(lǐng)域，為人類的生產(chǎn)生活提供智能化數(shù)字交互的便利，受到了研究人員的廣泛關(guān)注。特別是在醫(yī)療培訓仿真領(lǐng)域，引入虛擬現(xiàn)實技術(shù)能夠有效提高實習醫(yī)生的臨床的理論知識學習與臨床模擬手術(shù)的業(yè)務(wù)操作技能，避免了真實手術(shù)場景中技能不熟練所導致的醫(yī)療風險，縮短了培訓周期，感受虛擬手術(shù)仿真所帶來的可試錯的優(yōu)勢。

1 相關(guān)工作

虛擬現(xiàn)實技術(shù)需要設(shè)計并重建逼近真實環(huán)境的應(yīng)用場景，在實際的虛擬仿真應(yīng)用中需要借助外部顯示設(shè)備來進行高沉浸感的漫游體驗。此外，由于硬件設(shè)備的視覺呈現(xiàn)處理效率與交互設(shè)備的制約，也直接關(guān)系到虛擬漫游的體驗與實時交互的正確率與刷新率。如何快速有效地構(gòu)建三維空間漫游場景與模型的真實構(gòu)建、并克服空間場景模型的自然交互所獲取的感官體驗成為研究人員對虛擬現(xiàn)實技術(shù)關(guān)注的熱點。為此，國內(nèi)外相關(guān)學者對以上問題進行了深入的研究。由于虛擬現(xiàn)實應(yīng)用場景非常廣泛，此處僅對醫(yī)學領(lǐng)域的仿真進行闡述。在醫(yī)學場景模型構(gòu)建領(lǐng)域，為了使手術(shù)模型能夠真實地反映實際應(yīng)用場景，研究人員早在二十世紀八十年代便提出了基于醫(yī)學CT影像的三維重建方法。為了提高CT影像的三維重建效率，借助GPU并行計算的加速手段取得了良好的效果。一些研究人員也通過使用當今熱門的深度神經(jīng)網(wǎng)絡(luò)進行CT影像的多分辨率特征提取，保留了更多的病理元素及病灶細節(jié)。文獻[4]提出了一種基于局部線性變換的三維重建方法，能夠?qū)射線成像所得的光學影像分割成多個能量區(qū)塊，并在空間中對恒定的先驗知識區(qū)塊進行組合，其保留了大量的特征細節(jié)。在虛擬現(xiàn)實交互仿真領(lǐng)域，力反饋交互能夠為漫游體驗者帶來真實的觸覺反饋，因此廣泛應(yīng)用于醫(yī)學虛擬仿真領(lǐng)域，如基于滲透深度計算的牙齒手術(shù)力觸覺仿真、柔性血管接入的手術(shù)仿真、多通道協(xié)同的觸覺交互手術(shù)仿真、觸覺交互系統(tǒng)中的模型切割仿真與支持力反饋的沉浸式環(huán)境學習評價等技術(shù)的發(fā)展對于深度沉浸的手術(shù)仿真提供了大量的技術(shù)實現(xiàn)手段。目前針對圖像的三維重建研究也逐漸趨向于采用機器學習提取圖像特征從而對圖像序列進行特征匹配的重建方法。基于力反饋的手術(shù)仿真系統(tǒng)及技術(shù)的研究成為廣大科研工作者所關(guān)注的領(lǐng)域。

以上基于醫(yī)學模型三維重建及觸覺交互仿真技術(shù)的提出，為構(gòu)建虛擬現(xiàn)實場景的手術(shù)交互提供了理論基礎(chǔ)。為此，圍繞頭盔式虛擬手術(shù)漫游的應(yīng)用場景，該文提出了一種基于力反饋的肝臟虛擬手術(shù)仿真系統(tǒng)，通過肝臟醫(yī)學CT影像的三維重建獲取人體肝臟模型，并引入頭盔式虛擬漫游設(shè)備，構(gòu)建了人體肝臟手術(shù)的虛擬仿真應(yīng)用實現(xiàn)，為醫(yī)學手術(shù)培訓仿真提供了一種有效的應(yīng)用場景解決方案。

2 支持力反饋的肝臟虛擬手術(shù)仿真構(gòu)建

2.1 主要實現(xiàn)流程

該文設(shè)計的支持力反饋的肝臟虛擬手術(shù)仿真實現(xiàn)流程主要包括CT影像的肝臟三維重建、空間場景構(gòu)建、實時動態(tài)交互設(shè)計、反饋力的手術(shù)操作仿真。虛擬仿真環(huán)境搭建完成后，用戶能夠通過頭盔式顯示設(shè)備HTC Vive Pro及其所配備力反饋手柄在虛擬手術(shù)場景中進行肝臟手術(shù)切割的沉浸式知識學習及實際操作訓練，其總體框架如圖1所示。

圖1 總體框架流程

具體流程如下：

肝臟模型重建：為了增強虛擬手術(shù)的高度沉浸感，利用肝臟器官的CT影像進行手術(shù)模型的最大密度投影(MIP)三維重建，結(jié)合CT斷層掃描的二維圖像的預(yù)處理與特征匹配，獲取VR場景所支持的肝臟三維模型文件格式。

空間場景構(gòu)建：構(gòu)建頭盔式VR場景漫游的真實手術(shù)場景，包括場景環(huán)境、模型構(gòu)建、紋理貼圖等，靈活的可擴展性為后續(xù)仿真交互提供便利。對于待展示的空間模型進行建模，可以通過使用Unity 3D內(nèi)嵌幾何模型工具進行簡單模型的生成，或者利用3D MAX、MAYA、BLENDER等第三方建模工具進行模型創(chuàng)建。

手術(shù)動態(tài)交互設(shè)計：主要是設(shè)計不同手術(shù)器具的交互方式及碰撞響應(yīng)結(jié)果、手術(shù)操作過程、信息提示等，方便用戶通過VR頭盔設(shè)備進行手術(shù)仿真操作。

支持力反饋的手術(shù)仿真：基于支持力反饋的手柄震動響應(yīng)，針對手術(shù)過程中不同器官的虛擬剛度設(shè)計不同的震動頻率，以達到觸覺交互的目的。

最后，通過Unity 3D及Steam VR所對應(yīng)設(shè)備的空間位置設(shè)定，打包生成所對應(yīng)VR頭盔設(shè)備可運行的應(yīng)用程序，實現(xiàn)支持力反饋的虛擬手術(shù)仿真系統(tǒng)。

2.2 肝臟CT影像三維重建

電子計算機斷層掃描(Computed Tomography，CT)是一種利用精確準直的X線束、γ射線、超聲波等，通過高靈敏度探測器圍繞人體某一器官所在外部表面進行斷面掃描的技術(shù)，具有掃描速度塊、圖像清晰等特點。醫(yī)生通過利用CT影像能夠準確地檢查有關(guān)病灶特征，根據(jù)人體組織器官和病變部位的圖像，為疾病的診斷提供依據(jù)。CT影像本質(zhì)是一種平面結(jié)構(gòu)，它通過每間隔1～2厘米，對器官部位進行每一個斷面掃描，而CT的三維重建是在掃描斷面的基礎(chǔ)上進行圖像處理，獲得器官準確的三維模型的過程。通常，CT影像三維重建會根據(jù)掃描層圖像的二維數(shù)據(jù)序列進行預(yù)處理，包括圖像的濾波、增強、復(fù)原、插值等方法，接下來對于關(guān)鍵特征區(qū)域進行分割，從而確保所要重建器官與其他不相關(guān)組織器官的完全分離。然后對所分割區(qū)域進行特征點匹配的可視化映射操作；最后通過三維模型的三角網(wǎng)格化處理機型面繪制和體繪制得到重建的器官三維模型，具體流程如圖2所示。

圖2 CT三維重建算法流程

為了滿足學習者能夠體驗真實手術(shù)沉浸感的要求，需要利用實際病例的CT三維重建肝臟模型進行仿真交互，臨床病例CT影像的肝臟病灶模型三維重建結(jié)果如圖3所示。

圖3 臨床肝臟病灶模型三維重建結(jié)果

2.3 空間場景構(gòu)建與交互設(shè)計

構(gòu)建頭盔式VR場景漫游的真實手術(shù)場景，為了盡量避免由于VR頭盔顯示設(shè)備長時間佩戴給用戶帶來的眩暈感，交互空間場景的設(shè)計采用定點漫游方式，用戶可以通過定點跳躍的方式進行交互場景的選擇，包括三個場景：肝臟臨床病例選擇與信息查看、肝臟各組成部分的知識學習、實時動態(tài)交互的手術(shù)操作。場景漫游設(shè)計采用視角小于270度的平面環(huán)繞及垂直視角小于180度的視野區(qū)域，此設(shè)計使用戶注意力集中于手術(shù)交互操作中，避免視角的大范圍變化所導致眩暈等癥狀的產(chǎn)生，適宜長時間佩戴頭盔進行手術(shù)仿真操作。場景設(shè)計可采用第三方三維軟件進行建模及貼圖設(shè)計，如Blender、3D Max、Maya等。本實驗場景采用Unity 3D構(gòu)建，因此，場景模型及空間元素的增加也能夠為后續(xù)迭代設(shè)計提供靈活的可擴展性。

設(shè)計不同手術(shù)器具的交互方式及碰撞響應(yīng)結(jié)果，針對不同的業(yè)務(wù)流程，選擇不同虛擬手術(shù)設(shè)備的響應(yīng)方式與碰撞響應(yīng)結(jié)果。此過程中，系統(tǒng)設(shè)計初學者模式與專家模式，其中初學者模式具有空間文字信息提示，便于用戶學習并熟練掌握手術(shù)的操作。具體手術(shù)場景操作構(gòu)建如圖4所示。

圖4 構(gòu)建的手術(shù)場景與手術(shù)交互信息提示

2.4 反饋力觸覺交互

對于復(fù)雜場景下虛擬交互模型的觸覺反饋系統(tǒng)，還存在諸多的技術(shù)難點和挑戰(zhàn)。首先，需要高效的碰撞檢測技術(shù)來滿足虛擬交互的實時性要求。高復(fù)雜度不規(guī)則幾何模型間的碰撞檢測運算非常耗時，對于觸覺渲染系統(tǒng)的高頻率響應(yīng)很難完美地達到實時的一致性響應(yīng)；其次，觸覺渲染系統(tǒng)包括圖形渲染和觸覺設(shè)備響應(yīng)兩個處理周期，如何高效統(tǒng)一渲染過程的算法刷新率，對于提高觸覺反饋系統(tǒng)的穩(wěn)定性至關(guān)重要。

設(shè)計動力學控制模型：根據(jù)數(shù)據(jù)特征采集并優(yōu)化的結(jié)果，針對虛擬交互的動態(tài)特點，分析并設(shè)計具有自適應(yīng)虛擬剛度、局部低速阻尼限制、加速沖量控制單元的動力學觸覺渲染系統(tǒng)。通過采用基于位置的阻尼狀態(tài)來構(gòu)造局部接觸點的動態(tài)力輸出模型，以適應(yīng)不同場景下觸覺交互的動力學控制需求，如下式：

其中，

n

為[1,2]之間的一個無單位常量，用于反映不同材料和接觸面的幾何特性。從模型所得到的系數(shù)

K

,

B

并不是模型中的相似量，可以認為

Kx

和

Bx

是基于位置的彈性剛度和阻尼常量。針對交互模型設(shè)計不同的虛擬剛度及阻尼，并結(jié)合HTC Vive Pro手柄通過計算接觸力以輸出不同的震動頻率。

3 實驗結(jié)果與分析

為了測試本算法的適用性和有效性，選取不同類型的圖片用文中算法進行處理，得到了目標圖像的動態(tài)增強現(xiàn)實實驗結(jié)果。除特別指出之外，該文涉及的全部實驗所用軟、硬件平臺如下所示：

軟件平臺：Windows 10，64位操作系統(tǒng)，Unity 3D，編程語言C#；

硬件平臺：Intel? Corei9-9900KS CPU @ 4.00 GHz，64 G內(nèi)存，HTC Vive Pro。

支持力反饋的頭盔式VR虛擬手術(shù)操作應(yīng)用實現(xiàn)過程中，利用Unity 3D進行空間三維模型的創(chuàng)建，針對肝臟模型不同部位的反饋力計算并設(shè)定震動頻率，結(jié)合Steam VR進行打包生成沉浸手術(shù)虛擬仿真應(yīng)用。沉浸式手術(shù)交互的實際場景與手術(shù)實時交互場景如圖5所示。

圖5 實際場景與手術(shù)實時交互實驗場景

其他實驗場景如圖6所示。包括肝臟臨床病例選擇與信息查看；肝臟各組成部分的知識學習；實時動態(tài)交互的手術(shù)操作。場景漫游設(shè)計采用視角小于270度的平面環(huán)繞及垂直視角小于180度的視野區(qū)域，此設(shè)計使用戶注意力集中于手術(shù)交互操作中，避免視角的大范圍變化所導致眩暈等癥狀的產(chǎn)生，適宜長時間佩戴頭盔進行手術(shù)仿真操作。該算法的提出，為當下醫(yī)學培訓仿真提供了又一維度的信息呈現(xiàn)，在枯燥靜態(tài)信息獲取的同時，展示了其動態(tài)原理的展示結(jié)果，能夠增強用戶對于醫(yī)學理論原理的理解，增強學習的探究性與趣味性。

圖6 其他手術(shù)操作實驗場景

實驗結(jié)果與分析：實驗過程中，可以通過調(diào)節(jié)力反饋設(shè)備的Trigger控件的時間來控制震動的頻率，默認為0.5秒持續(xù)震動。實驗結(jié)果表明，在力反饋手柄綁定手術(shù)器具，并與人體器官模型交互的過程中，能夠感受真實的震動力反饋，使用戶在視覺和觸覺雙通道下感受真實的手術(shù)操作流程，便于空間定位并避免交互過程中的穿透現(xiàn)象發(fā)生。尤其是在震動頻率可調(diào)節(jié)的情況下，針對不同組織器官可以感受不同的震動頻率。本實驗在輕量的震動力反饋中提供了肝臟手術(shù)的虛擬仿真體驗，相對于采用昂貴的力反饋設(shè)備，該系統(tǒng)能夠在深度沉浸感的虛擬手術(shù)體驗的同時帶來良好的支持力反饋效果，不需要考慮虛擬剛度與阻尼等觸覺反饋設(shè)備所帶來的不穩(wěn)定性影響。

4 結(jié)束語

該文提出了一種基于支持力反饋的肝臟虛擬手術(shù)仿真系統(tǒng)，針對臨床病例的病灶特征，通過肝臟醫(yī)學CT斷層掃描影像的獲取及處理，獲得基于VR虛擬現(xiàn)實漫游系統(tǒng)所需三維重建人體肝臟模型；通過真實手術(shù)場景的設(shè)計與手術(shù)操作的模擬仿真，設(shè)計了一套包括肝臟病理知識學習與實際手術(shù)切割縫合的仿真系統(tǒng)，并引入頭盔式虛擬漫游設(shè)備及力反饋的震動手柄，進行了人體肝臟手術(shù)的虛擬仿真應(yīng)用系統(tǒng)實現(xiàn)，為醫(yī)學手術(shù)培訓仿真提供了一種有效的應(yīng)用場景解決方案。實驗結(jié)果表明，該方法能夠有效應(yīng)用于基于CT影像三維重建的虛擬漫游場景呈現(xiàn)，尤其是在醫(yī)學手術(shù)培訓仿真領(lǐng)域，具有很強的應(yīng)用創(chuàng)新價值。然而，該方法還具有一定的局限性，未來將繼續(xù)此領(lǐng)域的應(yīng)用創(chuàng)新與算法研究，包括引入基于補償力反饋的觸覺設(shè)備的手術(shù)仿真、基于柔性體虛擬復(fù)合剛度的觸覺交互算法。