









摘要:
通過將傳統面模型轉換為體模型的方法,實現了包含肝臟、胃、結腸和膽囊等多個器官的人體腹腔結構的形變、切割與碰撞仿真。首先,以生理學腹腔解剖結構為依據對腹腔內各器官進行三維模型重建;然后,根據腹腔內各器官的生理位置和懸掛方式確定三維模型之間的相對位置,并設置合理的邊界約束條件,將三維模型轉換為基于體素的體模型;最后對體模型賦予生物力學性質并進行仿真。實驗結果表明,該方法能夠在保證仿真幀數較穩定的同時產生真實合理的形變、切割和碰撞仿真效果,并且在包含多個器官的情況下依然可以滿足視覺實時性要求。
關鍵詞:
人體腹腔解剖;三維模型重建;虛擬手術仿真;軟組織形變;軟組織切割
中圖分類號:TP391.9;R318.5
文獻標志碼:A
文章編號:10061037(2024)03004906
doi:10.3969/j.issn.10061037.2024.03.08
收稿日期:2024-01-03
基金項目:
山東省自然科學基金(批準號:ZR2020MF043)資助。
通信作者:
賈世宇,男,博士,副教授,主要研究方向為手術仿真與計算機圖形學。E-mail: shiyujia@qdu.edu.cn
腹腔是人體的重要組成結構,包含肝臟、胃腸等器官。由于真實的人體腹腔標本及其稀少,需要為手術訓練尋求替代物或其他解決方案,虛擬手術仿真提供了一種較好的解決辦法。虛擬手術仿真是一種在計算機構造的虛擬三維環境中模擬手術過程的技術,研究領域主要包括醫學圖像分割、人體各器官三維模型重建、軟組織模型形變與切割仿真、力反饋模型生成、虛擬模型生理仿真等方面。虛擬手術的廣泛應用能夠幫助醫生完成基于定制病變器官的手術預先演練、醫學教學、手術過程復現等操作,能有效提升手術操作的成功率[1]。虛擬手術仿真首先需要對人體軟組織器官進行三維模型重建[2-3],在獲得目標器官的三維模型后對其進行形變仿真[4-6]和切割仿真[7-9]。目前國內外手術仿真模擬研究多集中于單個器官,或者不能進行多器官重建的可變形切割,并且這些研究大多沒有確定邊界條件。現有相關研究或只能對1~2個器官進行形變和切割操作,或只支持展示多個器官,但不能進行形變和切割操作。本文提出一種對腹腔系統進行形變切割仿真的方法,根據解剖學為腹腔內多個器官設置了合理的連接懸掛方式和邊界約束條件,實現了肝臟、胃、結腸、膽囊等多個器官的實時形變和切割仿真。
1" 材料與方法
本文使用文獻[10]中基于雙體素網格和有限元八叉樹網格的方法進行軟組織器官形變和切割,該方法基于文獻[11]而提出,將單體素網格改為雙體素網格。在獲取肝臟、胃、結腸、膽囊等多個器官的三維模型后,組裝成腹腔結構,設置合理的邊界約束條件;將重建后的三維模型導入自主編寫的體模型生成器中,確定各模型的位置并設置邊界約束條件,最后將三維模型轉換成體模型并導出,導出的文件可以直接導入至自主編寫的仿真器中進行形變與切割仿真。
1.1" 人體腹腔模型重建
由于腹腔內各器官不是完全連接的,為更好地對器官模型進行形變切割仿真,設計時將器官模型分為兩組。由于胃與肝臟、膽囊與肝臟均通過結締組織相連,因此將肝臟、胃、膽囊歸為一組,胃與結腸之間的小腸
部分在仿真中未涉及,因此將結腸單獨歸為一組。為保證仿真結果真實性,依據人體真實醫學CT數據對結腸以外的其他腹腔器官利用基于傳統多視圖幾何的三維重建算法進行三維重建,結腸難以通過CT影像進行三維重建,因此根據醫學資料對結腸手動建模。圖1展示了腹腔CT影像及重建的器官三維面模型。
對肝臟的三維重建分兩部分進行,第一部分為肝臟實質與肝靜脈系統;第二部分為肝臟外管道模型,主要包括Glisson系統(包括肝門靜脈、肝管及肝固有動脈)與下腔靜脈[12]。細長的管道模型難以轉換為體模型,而只有體模型才能夠形變和切割,因此需要將管道模型以面模型的方式鑲嵌于體模型中。肝靜脈系統可以直接鑲嵌在肝臟實質中,而肝臟外管道模型的建立則需要額外構造一個整體輪廓比其略大一些的包裹體,將外管道模型鑲嵌在該包裹體中,包裹體由管道模型表面向外膨脹產生,模擬包裹管道的脂肪組織。
結腸分為升結腸、橫結腸、降結腸和乙狀結腸,由于各人體型不同,結腸大小一般也不同。為保證實驗普適性,對結腸三維重建時以成年男性為標準,為保證建模的準確,需修正結腸輪廓[13]。
由于胃、腸和膽囊為具有一定厚度的空腔結構,直接由外表面生成的體模型不能精確地模擬空腔結構的力學性質和形變特征。因此對于空腔結構的模型,首先以原始外表面為基準設計生成尺寸較小一些的面模型作為空腔結構內表面,翻轉內表面法線,然后將內外表面合并形成空腔結構的完整面模型。生成體模型時空腔部分不會產生體素,因此能夠較為準確地模擬空腔結構的力學性質。
圖2為腹腔解剖結構中所有空腔結構器官重建出的三維模型,為方便觀察,模型設置為半透明。運用體模型生成器,將個性化三維腹腔器官與結腸圖譜模型調配組裝成一個完整的三維場景,器官的相對位置參考相關醫學資料[13](圖3)。組裝完成后,設置各模型顏色、透明度、八叉樹網格等級、體素分辨率等參數。
1.2" 邊界約束條件設置
如果不對器官模型設置邊界約束條件,仿真時,模型會因重力作用而自由下落,直到與地面發生碰撞。而真實人體器官被約束于體腔內,不會散落至地面。為了產生真實的形變切割仿真效果,需要確定器官模型的邊界約束條件。邊界條件的設置分為兩種方式,第一種在器官模型表面直接添加固定點,第二種在模型表面插入一個軟組織模型,用于模擬韌帶、脂肪等結締組織。
腹腔各器官的固定方式不同,因此需要分別確定邊界條件。根據相關醫學文獻[14]對肝臟韌帶的描述,肝臟邊界連接形式簡化為利用韌帶進行固定和約束,可以直接根據韌帶組織確定邊界條件。胃與肝臟之間通過結締組織相連[13],將結締組織模擬為一個與胃和肝臟模型重疊的簡單多面體模型。體素填充根據模型
序號采用順序生成,胃和肝臟體素填充順序位于結締組織后,生成體模型時,能確保胃和肝臟重疊部分的體素覆蓋結締組織的體素,并在胃賁門部和幽門部設置固定點。膽囊和肝臟的結締組織建模方法與胃和肝臟的結締組織相同。結腸通過系膜固定于腹腔后端[13],在結腸與腹腔接觸面設置固定點,實現結腸的邊界約束。
圖4為腹腔解剖結構中各模型的邊界約束條件,圖中的每個小球代表一個固定點。
1.3" 軟組織物理建模
傳統意義上的面模型需要轉換成體模型后才能對其進行形變和切割操作,體模型由一個精細體素網格、一個粗糙體素網格和一個八叉樹網格構成[9]。
體素網格中相鄰體素之間由鏈接相連,模型構造算法在精細網格中計算鏈接與模型原始表面的交點,然后根據交點的位置和法線信息重構模型原始表面。類似地,切割算法在粗糙網格中計算鏈接與切割工具軌跡的交點,根據交點的位置和法線信息重構切割面。切割面一般比較平滑,沒有微小起伏的細節,因此在粗糙體素網格中重構切割面可以減少三角面片數量,提高圖形渲染速度。
八叉樹網格根據粗糙體素網格生成,用于形變計算。模型原始表面與切割面的每個頂點都連接在一個粗糙體素上,每個粗糙體素包含在一個八叉樹網格立方體中,模型原始表面與切割面跟隨八叉樹網格一起變形。切割過程中,包含被切斷鏈接的八叉樹網格立方體將被遞歸細分并復制以便分離切割面兩側的物質。
體模型需要賦予合適的生物力學參數才能產生逼真的形變效果。軟組織為粘彈性材料,具有不均勻性、各向異性、不可壓縮性等力學特性[15],對其嚴格模擬難度較大,因此簡化為各向同性的線彈性材料,并使用共旋有限元法處理大尺度旋轉。形變切割仿真的生物力學參數包括楊氏模量、泊松比、密度和體積約束模量,各器官楊氏模量參考相關文獻[16-18]設定。由于人體軟組織具有不可壓縮性,泊松比應該接近0.5。但當泊松比接近0.5時,軟組織的本構矩陣趨于無窮大,進而產生病態矩陣,導致形變計算不穩定。因此泊松比值一律取0.33,通過引入額外的體積約束模量模擬不可壓縮性。腹腔解剖結構各力學參數見表1。
2" 結果與討論
體模型生成器與仿真器使用C++編寫,圖形渲染使用OpenGL,操作系統為Windows 10 64bit專業版;硬件環境:Dell Precision 5820工作站(CPU為Intel Xeon W-2133,6核,主頻3.6 GHz;內存32 GB;GPU為NVIDIA GeForce RTX 2080 Ti);力反饋設備為兩個Phantom Desktop。
依據真實器官大小設置腹腔各模型尺寸,見表2。腹腔解剖結構各模型的面網格參數及模型類型見表3。
不同的器官尺寸不同,為保證仿真科學性,盡可能符合現實器官尺寸。由于器官位置和屬性不同,因此需要設置模型類型,而各器官均具有頂面和三角形面片,其數量多少決定了渲染速度。計算時,在體模型器官內部填充大量六面體即體素,體素數量越多,體模型的渲染越精細,占用資源越多。
腹腔模型分為兩組:組1為上腹腔,包括肝臟、胃、膽囊及相關的脂肪與結締組織;組2為下腹腔,僅包括結腸。不同組別使用不同的體素網格與八叉樹網格參數,相互之間沒有聯系(表4、表5)。各組通過設置不同的體素網格與八叉樹網格精細度,在保證真實性的情況下提高仿真系統的運行速度(圖5、圖6)。
體模型器官在仿真中使用重構后的表面,而非原始表面。重構面的質量取決于精細體素網格的分辨率,圖5中,重構后網格與原始面網格相比差別非常小,說明選擇的精細體素網格分辨率可以滿足渲染質量的要求。
在仿真實驗中,用戶通過力反饋設備控制虛擬手術工具對腹腔解剖結構各器官進行抓取和切割操作,圖7為仿真過程的畫面截圖,可以看出,在抓取過程中,器官根據手術工具的運動產生相應的形變;在切割過程中,被切割工具掃過的部分生成與切割工具軌跡相吻合的切口,切口兩側產生形變并分離,被切割的部分由于失去結構支撐,在重力作用產生下落現象。同時,切口處較為平滑整齊,且空腔器官在切割時能夠展現出內部的空腔結構。
圖8中,未切割模型時,幀率基本維持在130 Hz左右。切割時,由于需要更新大量的體模型和面網格數據結構,幀率會急劇下降至20 Hz左右,但基本滿足實時性要求。
3" 結論
傳統的面模型并不能直接進行形變和切割操作,本文通過將面模型轉變為體模型的方法來實現形變和切割。通過對各器官設置合理的邊界約束條件,獲得了較為合理的器官連接和懸掛效果。仿真實驗結果表明,合理確定邊界條件的多器官系統產生的仿真過程較為穩定且仿真效果足夠真實。盡管仿真場景包含多個模型,系統幀率在未切割時仍然能夠穩定地維持在130 Hz左右,滿足視覺實時性要求。目前仿真系統在切割時幀率會嚴重下降,降低仿真系統的實時性,后續工作將圍繞提高切割時仿真系統的運行速度展開。
參考文獻
[1]張小瑞, 王澎湃, 孫偉, 等. 虛擬手術中軟組織切割模型研究進展[J]. 計算機應用研究, 2017, 34(9): 2561-2569.
[2]王黎彬, 戚維波. 三維重建及虛擬手術規劃在胸腔鏡解剖性肺段切除術中的應用進展[J]. 浙江醫學, 2019, 41(5): 485-486+491.
[3]韓少山, 宋濤, 姚英民, 等. 三維可視化及虛擬手術技術在住院醫師肝臟手術規范化培訓中的作用[J]. 中國醫學教育技術, 2021, 35(5): 641-646.
[4]李基圣, 張禹, 羅丹, 等. 虛擬肝臟形變仿真手術系統的設計與實現[J]. 信息技術與信息化, 2021(2): 68-70+73.
[5]JING M J, CUI Z X, FU H, et al. Real-time deformation simulation of kidney surgery based on virtual reality[J]. Journal of Shanghai Jiaotong University (Science), 2021, 26(3): 290-297.
[6]王娜, 陳國棟, 許少劍. 虛擬手術中肝臟形變仿真系統[J]. 計算機系統應用, 2019, 28(10): 92-97.
[7]林漓, 張禹, 臺立鋼. 一種優化的虛擬手術肝臟軟組織切割方法[J]. 信息技術與信息化, 2023(3): 33-36.
[8]JIA S Y, PAN Z K, WANG G D, et al. Stable real-time surgical cutting simulation of deformable objects embedded with arbitrary triangular meshes[J]. Journal of Computer Science and Technology, 2017, 32(6): 1198-1213.
[9]JIA S Y, ZHANG W Z, PAN Z K, et al. Using pseudo voxel octree to accelerate collision between cutting tool and deformable objects modeled as linked voxels[J]. The Visual Computer, 2020, 36(5): 1017-1028.
[10] JIA S Y, ZHANG W Z, WANG G D, et al. A real-time deformable cutting method using two levels of linked voxels for improved decoupling between collision and rendering[J]. The Visual Computer, 2023, 39(2): 765-783.
[11] WU J, DICK C, WESTERMANN R. Interactivehigh-resolution boundary surfaces for deformable bodies with changing topology[C]//Workshop on Virtual Reality Interactions and Physical Simulations. Lyon, 2011, 11: 29-38.
[12] 劉樹偉, 李瑞錫. 局部解剖學[M]. 8版. 北京: 人民衛生出版社, 2013: 115-125.
[13] SUSAN S. 格式解剖學[M]. 徐群淵, 譯. 39版. 北京: 北京大學醫科出版社, 2005.
[14] 高海國, 賈世宇. 虛擬肝臟重建與形變切割仿真[J]. 中國醫學物理學雜志, 2023, 40(1): 71-76.
[15] 呂珊珊, 張偉, 梁富娥, 等. 虛擬手術軟組織建模研究[J]. 生物醫學工程學進展, 2022, 43(3): 153-156.
[16] 李飛燕. 虛擬手術中生物軟組織力學性能的研究[D]. 昆明: 云南師范大學, 2019.
[17] LIM Y J, DEO D, SINGH T P, et al. In situ measurement and modelling of biomechanical response of human cadaveric soft tissues for physics-based surgical simulation[J]. Surgical Endoscopy, 2009, 23(6): 1298-1307.
[18] DAVIS N F, MULVIHILL J J E, MULAY S, et al. Urinary bladder vs gastrointestinal tissue: A comparative study of their biomechanical properties for urinary tract reconstruction[J]. Urology, 2018, 113: 235-240.
3D Model Reconstruction, Deformation, and Cutting Simulation of Human Abdominal Organs
LI Jia-bing, JIA Shi-yu
(College of Computer Science and Technology, Qingdao University, Qingdao 266071, China)
Abstract:
By converting traditional surface models into body models, deformation, cutting, and collision simulation of human abdominal structures including multiple organs such as the liver, stomach, colon, and gallbladder were achieved. Firstly, based on the anatomical structure of the physiological abdominal cavity, 3D model of various organs within the abdominal cavity were reconstructed. Then, based on the physiological positions and suspension methods of various organs in the abdominal cavity, determine the relative positions between the 3D model, and set reasonable boundary constraints on the 3D model. Next, converted the 3D model into a voxel based voxel model. Finally, the body model was endowed with biomechanical properties and simulated. The experimental results show that this method can generate realistic and reasonable deformation, cutting, and collision simulation effects while ensuring stable simulation frame rates, and can still meet the requirements of visual real-time performance even in the presence of multiple organs.
Keywords:
human abdominal anatomy; 3D model reconstruction; virtual surgical simulation; soft tissue deformation; soft tissue cutting