支持力反饋的膽囊虛擬手術機器人仿真系統(tǒng)研究

季如寧

蘇州大學 機電工程學院，江蘇 蘇州 215008；蘇州市立醫(yī)院北區(qū) 醫(yī)學工程部，江蘇 蘇州 215008

支持力反饋的膽囊虛擬手術機器人仿真系統(tǒng)研究

季如寧

蘇州大學 機電工程學院，江蘇 蘇州 215008；蘇州市立醫(yī)院北區(qū) 醫(yī)學工程部，江蘇 蘇州 215008

本文利用虛擬現(xiàn)實技術搭建了一個支持力反饋的膽囊虛擬手術機器人仿真系統(tǒng)。主要討論了本系統(tǒng)中涉及的軟組織虛擬模型構建、碰撞檢測、力反饋計算、虛擬機器人的設計及運動控制、虛擬環(huán)境搭建等關鍵技術的實現(xiàn)方法。并對于傳統(tǒng)力反饋計算中存在的計算量大導致系統(tǒng)實時性較差的問題，提出了一種新的力反饋計算方法。通過在所搭建平臺上進行的膽囊虛擬手術操作，分析該系統(tǒng)的性能指標。結果表明，該系統(tǒng)中機器人運動控制較為流暢，對于膽囊的虛擬手術操作具有較為真實的力覺反饋和視覺反饋，且系統(tǒng)具有較好的穩(wěn)定性及實時性。

虛擬手術；機器人；手術仿真；膽囊

引言

隨著人類對智能化生活要求的提高，大大促進了機器人技術的發(fā)展，而機器人技術的發(fā)展對微創(chuàng)外科手術這一人類手術革命又起著一個至關重要的作用。特別是隨著Da Vinci系統(tǒng)[1]和ZEUS系統(tǒng)[2]的面世，全世界開始對微創(chuàng)外科手術機器人進行深入研究。通過眾多的實驗研究可以知道[3-4]，微創(chuàng)手術機器人具有創(chuàng)口小、失血少、術后恢復周期短等優(yōu)點。對于傳統(tǒng)的手術培訓而言，除了尸體和動物以外沒有更好的操作對象[5]。但是利用動物進行手術訓練成本比較高、代價比較大、周期比較長且不符合人道主義精神。伴隨著虛擬現(xiàn)實技術的發(fā)展，將虛擬現(xiàn)實技術引入到手術訓練中，創(chuàng)建一個具有三維效果的虛擬環(huán)境，結合力反饋裝置為外科手術醫(yī)生提供一個手術訓練和學習的平臺。針對性地進行虛擬手術仿真訓練，可以幫助實習醫(yī)生在短時間內獲得臨床手術經驗，減少實習醫(yī)生成長為一名合格醫(yī)生的時間。虛擬手術系統(tǒng)還可以幫助醫(yī)生用于術前規(guī)劃和手術預演，以提高臨床手術的成功率[7]。

在虛擬手術訓練平臺中，訓練者通過力觸覺設備對虛擬手術環(huán)境中的人體組織器官進行交互操作，能夠獲得較高沉浸感和真實感，使得訓練者有一種真實手術操作的感覺，無需真正的人體器臟組織，且可以反復進行訓練，成本很低。鑒于虛擬手術訓練的這些優(yōu)點，國內外眾多學者都對此技術展開了研究。2001年，西班牙的Meier等[8]開發(fā)了一種具有力反饋功能的三維微創(chuàng)手術培訓系統(tǒng)；次年，蘇永松等[9]設計了一種骨科手術模擬系統(tǒng)；2003年，斯坦福大學的研究人員[10]開發(fā)了一種血管以及血管縫合的仿真系統(tǒng)；2005年，譚坷等[11]設計了一種鼻腔鏡虛擬手術仿真系統(tǒng)；2010年，Konietschke等[12]基于自行研制的手控器開發(fā)了一套微創(chuàng)外科手術多模式訓練平臺，開創(chuàng)了微創(chuàng)手術訓練的新時代。2012年，東南大學的宋愛國老師的團隊[13]利用Omni作為力反饋交互設備，開展了雙通道力觸覺交互的虛擬肺手術仿真系統(tǒng)研究。

虛擬手術仿真訓練對于真實感和沉浸感有著較高的要求，這對訓練系統(tǒng)中軟組織器官的真實性、變形的實時性以及變形的逼真程度等都提出了更高的要求。本研究構建了一種具有力反饋手感的膽囊虛擬機器人手術仿真訓練平臺，從提高圖像的流暢度、變形的逼真程度、力觸覺手感出發(fā)，針對膽囊微創(chuàng)手術的操作，詳細闡述了該仿真訓練系統(tǒng)的組成及構建方法，并針對傳統(tǒng)碰撞力計算中存在的計算量較大，影響系統(tǒng)響應實時性的問題，提出了一種改進方法。

1 仿真系統(tǒng)的設計

虛擬手術系統(tǒng)的組成可以分為硬件模塊及軟件模塊，硬件模塊主要由交互設備、主機、顯示器、鼠標、鍵盤等組成；軟件模塊主要由仿真環(huán)境和各個功能模塊（視窗變換、手術器械去抖、運動縮放和限位、漫游、碰撞檢測、力反饋計算等）組成。仿真系統(tǒng)結構，見圖1。

圖1 仿真系統(tǒng)平臺結構

其中，力反饋器（交互設備）作為虛擬仿真系統(tǒng)的重要組成部分，是主要的控制信息輸入源，它能夠將用戶的行為信息轉化為運動控制信號，通過仿真環(huán)境生成機輸入到虛擬手術環(huán)境中，控制虛擬手術器械進行作業(yè)任務，完成各個虛擬手術的仿真。虛擬手術器械的運動信息將通過顯示器反饋給用戶，人體組織器官對虛擬手術器械的反饋力通過力反饋裝置的操作手柄反饋給操作者。本系統(tǒng)選用Force Dimension公司的Omega 7.0七自由度觸覺反饋裝置作為交互設備（下文稱“主手”），見圖2。其主要性能參數如下：工作空間為160 mm×160 mm×130 mm，線性分辨率為0.006 mm，角分辨率0.28 deg，可持續(xù)施加力12.0 N，力反饋x、y、z，剛度為14.5 N/mm，自由度為7。

2 仿真系統(tǒng)實現(xiàn)

仿真系統(tǒng)中力反饋設備選擇Omega 7.0，計算機配置為i7-6820HQ CPU、16 G內存及NVIDIA Quadro M2000M顯卡。系統(tǒng)軟件通過VC 2010結合CHAI 3D進行開發(fā)。CHAI 3D是一個用于電腦觸覺形象化和交互式實時仿真的免費C++庫，基于其開發(fā)的程序可移植性好，只需要創(chuàng)建相應的接口，程序就可以運行。CHAI 3D能支持3自由度、6自由度、7自由度等多種力覺設備，同時它還提供了碰撞檢測模塊、文件操作模塊、虛擬器械模塊等多個功能模塊，囊括了常用的虛擬現(xiàn)實所需的方法。

圖2 Omega 7.0參考圖

2.1 幾何建模

2.1.1 虛擬手術機器人及器械建模

手術機器人的機械結構由3部分組成，機械臂、微器械以及機器人底座。由于在虛擬仿真的過程中需要實時地更新顯示機械臂各個部件的位姿，所以在建立各個部件的幾何模型時，即要保證各個桿件的尺寸，又要合理設置各桿件的局部坐標和運動桿件在世界坐標系下的位姿。

為了減小仿真程序的計算量，在建立機器人各個桿件的幾何模型時，將各個桿件的局部坐標設置在各個桿件間相對運動的關節(jié)處。Solidworks中建立的虛擬機器人模型，見圖3。虛擬手術機器人本體共7個關節(jié)自由度，其中1～3關節(jié)為無驅動控制關節(jié)，4～7關節(jié)為可驅動控制關節(jié)，見圖4。

圖3 機械臂自由度分布

圖4 驅動關節(jié)分布

針對膽囊手術過程中對膽囊進行的按壓、夾持及切割等操作，設計了虛擬操作器械，見圖5。

圖5 虛擬手術器械

2.1.2 膽囊及其附屬管路建模

本系統(tǒng)中采用3DMax三維建模軟件進行膽囊虛擬模型的繪制（圖6a）。將繪制的模型導出格式為.3DS的文件，然后將文件導入到Deep Exploration中，對膽囊模型貼圖渲染（圖6b），并將渲染后的模型再次保存為.3DS格式文件，在搭建虛擬環(huán)境的時候讀入此文件。

圖6 膽囊虛擬模型

2.2 物理模型

建立基于物理特性和生理特性的軟組織模型并對人體的組織器官形變過程進行實時、逼真地模擬是整個手術仿真系統(tǒng)的關鍵。目前常用的物理建模有有限元法、邊界元法、長單元法和質量－彈簧模型等方法。

由于真實的膽囊具有粘彈性，為保證虛擬仿真的可行性和實時性，這里暫且可以忽略其粘性特性。綜合考慮虛擬手術仿真的實時性和真實性，本文選用質量-彈簧模型對軟組織進行物理建模。利用此方法建立的模型較為簡單，計算量小，適當控制模型中節(jié)點的數量，可以同時滿足仿真精度和仿真實時性的要求。

這種建模方法的主要思想是將仿真對象離散為若干個質點，質點與質點之間用符合線性彈性模型要求的彈簧連接，整個模型的質量集中在質點上，整個系統(tǒng)總趨向零能量，膽囊及其附屬管路的簡化物理模型，見圖7。

圖7 膽囊的質量-彈簧模型

軟組織的變形實質上就是質點的運動產生的，而每一個質點的運動都遵守牛頓第二定律。

式中mi表示質點i的質量，xi表示i點的位置，它是一個三維向量，和分別表示xi對時間t的一階和二階導數。公式的右邊表示的是作用在這個點上的力。第一項表示的是與速度相關的主力，其中Ci表示的是阻尼系數，第二項表示的是質點i與質點j之間連接彈簧作用的力，第三項表示的是作用在質點i上的其它外力（如重力和操作者施加的力）的和。

當其中某一個質點在外力的作用下發(fā)生位置變化時，與其連接的彈簧發(fā)生變化，無質量彈簧將會伸長或縮短，其彈性力發(fā)生變化，破壞了原有的力平衡關系，為形成新的力平衡狀態(tài)，質點的位置發(fā)生變化，運算形成新的平衡狀態(tài)，組成新的網格，即物理模型發(fā)生形變，進而引起幾何模型發(fā)生變形。

2.3 碰撞檢測

碰撞檢測是判斷虛擬手術工具與膽囊模型之間是否發(fā)生了碰撞，并且在發(fā)生碰撞的情況下精確地定位模型發(fā)生碰撞的位置，稱為碰撞點。只有確定了接觸發(fā)生，才有必要給模型實施變形處理，只有根據碰撞檢測的結果，才能對模型的變形進行精確的計算。

目前大多數碰撞檢測使用的是包圍體層次結構檢測模型，常用包圍體有軸對稱包圍盒[14]、方向包圍盒[15]、包圍球[16]、離散有向多面體[17]等。由于AABB具備計算量較小的優(yōu)點，能夠實現(xiàn)快速碰撞檢測，故本研究采用此方法進行碰撞檢測。

AABB的基本思想是幾何特性簡單而體積較大的包圍盒來近似地描述復雜的幾何對象，在對兩個物體碰撞檢測時，應先檢查兩者的包圍盒是否發(fā)生了相交，若不相交，則說明兩個包圍盒中的物體并未發(fā)生碰撞；如果相交，則兩個包圍盒中的物體發(fā)生了碰撞。如果系統(tǒng)要求得到精度更高的檢測結果，還需對物體之間的位置關系進一步計算，即進行碰撞的精確檢測。因為包圍盒形狀比較簡單，所以求包圍盒的相交要比求物體的相交容易的多，從而提高了運算速度。

2.4 碰撞力計算

當檢測到虛擬器械與軟組織模型發(fā)生碰撞后，需要確定力反饋的大小和方向，并通過力反饋器輸出，見圖8。

傳統(tǒng)碰撞力的大小計算是先求取每個自由點單獨的受力情況，此時假定與之相鄰的自由點固定不動，當所有自由點的力求解完畢后,再計算這些自由點的合力。由于這種方法考慮了所有的自由點，導致計算量變大，在模型復雜、自由節(jié)點較多的情況下會大大降低系統(tǒng)響應的實時性。考慮到距離碰撞點較遠的自由點對于力反饋的貢獻很小，故本研究提出一種新的力反饋計算方法。該方法操作如下：首先設置一個距離閾值D，遍歷所有質點，并計算該質點到碰撞點的距離，若小于該閾值，則記錄此點；然后遍歷所記錄的每個質點，計算該質點手術器械的距離，進而計算各個質點的力Fi，然后計算虛擬器械到相應質點的距離矢量之和∑Li，最后計算合力的大小。上述方法操作流程，見圖9。

圖8 軟組織變形簡圖

圖9 力反饋計算方法

在上述操作過程中，選取合適的閾值，既能大大提高系統(tǒng)力反饋的實時性，又能夠保證力反饋的真實性。

2.5 虛擬手術場景建模及場景漫游

為了讓操作者對虛擬手術中的器械模型有一個宏觀的認識，了解手術環(huán)境，熟悉手術過程中各不同組成部分的相對位置關系，需要進行虛擬手術場景建模，即在虛擬手術場景中添加手術機器人、手術床、人體及腹腔組織器官等模型。

虛擬場景的建立是基于CHAI3D中封裝的OPENGL完成的。先是建立各虛擬模型的機械結構，然后用3DMax對機械結構進行重建，保存為.3DS格式文件,最后將模型導入到虛擬環(huán)境中。手術場景建模結果，見圖10。

為了方便操作者對手術環(huán)境進行全方位的了解，虛擬系統(tǒng)需要提供多種漫游控制功能：包括了視角的前進、后退、左右平移、重置觀察點位置、左右旋轉、旋轉視圖以及視角的上升、下降。本系統(tǒng)通過在虛擬環(huán)境中添加一個攝像機，用來模擬操作者的觀察點，通過鼠標控制來改變攝像機的位置，從而實現(xiàn)上述漫游功能。

圖10 手術場景建模

3 仿真系統(tǒng)實驗

按上述方法搭建了機器人虛擬手術仿真系統(tǒng)后，本研究在此系統(tǒng)上進行了實驗。實驗分為包括機器人運動控制仿真及膽囊虛擬手術操作仿真。

3.1 虛擬場景漫游

場景漫游不同視角觀察得到的場景模型，見圖11。

圖11 不同視角下的虛擬手術場景漫游

3.2 手術機器人運動仿真

本系統(tǒng)中的建立的手術機器人具有7個自由度，前3個自由度是無驅動關節(jié)，用于術前手動調整臂形。后4個關節(jié)是驅動關節(jié)，用來滿足手術操作仿真的需要。由于物理主手與手術機器人末端關節(jié)并非完全對應，所以本文先利用D-H參數法對虛擬手術機器人進行運動學分析，然后以主手的位置信息作為機器人末端位置信息，并通過逆解求取個驅動關節(jié)的位姿，然后跟新虛擬模型中機器人的位姿，從而實現(xiàn)主手對虛擬手術機器人的控制。

由于在實時仿真的過程中往往存在延時、抖動等現(xiàn)象，因此不僅需要力反饋器在實時性上滿足要求，還需要添加去抖、限位、避撞等功能模塊。運動控制流程圖，見圖12。虛擬機器人運動控制，見圖13。

圖12 運動仿真流程圖

圖13 虛擬機器人運動控制

3.3 膽囊虛擬手術仿真

調整好虛擬機器人姿態(tài)后，程序進入膽囊虛擬操作界面，此界面可切換虛擬器械。針對膽囊分別設計了按壓、夾持及膽囊管切割實驗。為膽囊按壓實驗，見圖14。位于上述操作狀態(tài)下主手的位置信息，及力反饋在的x、y、z三個坐標軸上的分量，見表2。

圖14 膽囊按壓變形過程

表2 手術器械的位置和受力（mm/N）

將虛擬手術器械切換成夾持器械，對膽囊體做夾持仿真實驗（圖15a），膽囊體被夾持柱并被拖拽，變形較大。將工具切換到切割器械，對膽囊管進行切割仿真（圖15b），膽囊管被切斷。

為進一步優(yōu)化所搭建的仿真系統(tǒng)平臺，我們挑選某醫(yī)院臨床專業(yè)10名實習生和兩名肝膽科室醫(yī)生進行上述實驗仿真操作，然后與實驗者們進行反饋交流。多數實習生表示，在本系統(tǒng)上進行的膽囊仿真操作的過程中，力觸覺感覺平穩(wěn)，圖像較為流暢，無停頓感，接觸力大小連續(xù)變化，虛擬環(huán)境中的膽囊變形逼真度較高。實驗者也提出一些改善意見：添加切割后后血液的滲出、多器械同時操作及添加膽囊周圍組織等。

圖15 膽囊夾持實驗（a）和膽囊管切割實驗（b）

4 結論

本文利用虛擬現(xiàn)實技術搭建了一個支持力反饋的膽囊虛擬手術機器人仿真系統(tǒng)。該系統(tǒng)能夠實現(xiàn)對虛擬環(huán)境的漫游；借助主手能夠實現(xiàn)虛擬手術機器人的運動控制，并且能夠借助所設計的虛擬器械，對膽囊進行按壓、夾持及切割的虛擬操作。實驗結果表明:虛擬環(huán)境中機器人的運動過程較為流場，對于膽囊的虛擬手術操作反饋逼真度較高。由于虛擬手術仿真系統(tǒng)較為龐大,若想實現(xiàn)完全真實的操作手感及完全復現(xiàn)更多的手術操作，還需進行更為深入的研究。后續(xù)的研究工作將圍繞不斷提高視覺和力覺反饋的真實度展開。

[1] Guthart GS,Salisbury JK.The intuitiveTMtelesurgery system:overview and application[A].Robotics and Automation, 2000.Proceedings. ICRA’00.IEEE International Conference on[C].New York:IEEE,2000,1:618-621.

[2] Butner SE,Ghodoussi M.Transforming a surgical robot for human telesurgery[J].IEEE Trans Robot Autom,2003,19(5):818-824.

[3] Lomanto D,Cheah WK,So JB,et al.Robotically assisted laparoscopic cholecystectomy: A pilot study[J].Arch Surg,2001,136(10):1106-1108.

[4] Ruurda JP,Broeders IA,Simmermacher RP,et al.Feasibility of robot-assisted laparoscopic surgery: an evaluation of 35 robotassisted laparoscopic cholecystectomies[J].Sur Lapar Endos Percut Tech,2002,12(1):41-45.

[5] 黃凱.具有力反饋的微創(chuàng)腹腔手術機器人虛擬手術技術研究[D].哈爾濱:哈爾濱工業(yè)大學,2010.

[6] 程立英.虛擬手術若干關鍵技術研究[D].沈陽:東北大學,2006.

[7] Satava RM.Surgical education and surgical simulation[J].World J Surg,2001,25(11):1484-1489.

[8] Meier U,García FJ,Parr NC,et al.3D surgery trainer with force feedback in minimally invasive surgery[A].Computer Assisted Radiology and Surgery.Proceedings of the International Congress and Exhibition[C].Berlin:DBLP,2001:32-37.

[9] 蘇永松,許忠信,李浩宇.一個基于PC的骨科手術模擬系統(tǒng)[J].計算機工程,2003,29(21):41-42.

[10] Hoznek A,Zaki SK,Samadi DB,et al.Robotic assisted kidney transplantation: an initial experience.[J].J Urology,2002,167(167):1604-1606.

[11] 譚珂,郭光友,潘新華,等.一種鼻內窺鏡虛擬手術仿真系統(tǒng)[J].計算機工程,2006,32(16):243-244.

[12] Konietschke R,Tobergte A,Preusche C,et al.A multimodal training platform for minimally invasive robotic surgery[A].New York:IEEE,2010:422-427.

[13] 張小瑞,孫偉,宋愛國,等.雙通道力/觸覺交互的虛擬肺手術仿真系統(tǒng)[J].儀器儀表學報,2012,33(2):421-428.

[14] Cai P,Indhumathi C,Cai Y,et al.Collision detection using axis aligned bounding boxes[M].Berlin:Springer,2014:1-14.

[15] Ding XJ.Research on collision detection algorithm based on OBB[J].Appl Mech Mater,2013,(433-435):936-939.

[16] Berkley J,Turkiyyah G,Berg D,et al.Real-time finite element modeling for surgery simulation: An application to virtual suturing[J].IEEE Trans Visual Com Grap,2004,10(3):314-325.

[17] Zhou JZ,Xu XP,Zhu ZC,et al.Research and application of K-DOPS algorithm in virtual maintenance training system for diesel engine[J].Adv Mater Res,2013,(805-806):1911-1916.

Research on Supportive Force Feedback of Gallbladder Virtual Surgical Robot Simulation System

JI Runing
School of Mechanical and Electrical Engineering, Soochow University, Soochow Jiangsu 215008, China;Department of Medical Engineering, Suzhou Municipal Hospital North District, Suzhou Jiangsu 215008, China

In this paper, we used virtual reality technology to build a supportive feedback gallbladder virtual surgery robot simulation system. This paper mainly discussed the implementation of key technologies such as soft tissue virtual model construction, collision detection, force feedback calculation, virtual robot design and motion control and virtual environment construction. And a new force feedback calculation method was proposed for the problem that the computational complexity in the traditional force feedback calculation leaded to the poor real-time performance of the system. The performance of the system was analyzed by the gallbladder virtual operation on the platform. The results showed that the motion control of the robot was relatively smooth, and it had more realistic force feedback and visual feedback for the virtual operation of gallbladder, and the system had good stability and real-time nature.

virtual surgery; robot; surgical simulation; gallbladder

TP242

A

10.3969/j.issn.1674-1633.2017.12.007

1674-1633(2017)12-0030-05

2017-05-08

作者郵箱：jrn844@126.com

本文編輯 袁雋玲