基于混合現實的手術導航系統在顱頜面創傷骨整復中的應用研究

林承重 張勇 董韶 吳錦陽 張楚茜 萬新軍 張詩雷

1.上海交通大學醫學院附屬第九人民醫院口腔第二門診部，上海交通大學口腔醫學院，國家口腔醫學中心，國家口腔疾病臨床醫學研究中心，上海市口腔醫學重點實驗室，上海 200011；2.上海交通大學醫學院附屬第九人民醫院口腔顱頜面科，上海交通大學口腔醫學院，國家口腔醫學中心，國家口腔疾病臨床醫學研究中心，上海市口腔醫學重點實驗室，上海 200011；3.上海理工大學光電信息與計算機工程學院，上海 200011

顱頜面外科所涉及的區域空間狹窄、解剖結構復雜，顱頜面創傷或畸形的手術風險高、整復難度大，通常難以精準恢復預期的功能及外形[1-3]。隨著現代化數字外科技術的迅速發展，外科導航技術已在顱頜面創傷骨整復中得到廣泛應用，能有效提高手術精準性，減少手術風險[4-5]。但目前外科導航系統在成像顯示方面尚存在有不足之處，如不能直觀地呈現病灶解剖結構、臨床醫生需要在屏幕和術區之間頻繁視野切換等[6]。這限制了現有手術導航系統在顱頜面創傷外科的進一步發展和應用。

混合現實（mixed reality，MR）技術是全新一代數字全息影像技術，具有虛擬世界與現實世界深度結合、環境與使用者實時交互、虛擬模型與真實目標精確匹配等特性[7-8]。近年來，MR技術在神經外科、骨科、心胸外科等都逐步得到應用，MR 技術可以將術前重建三維影像疊加在術區，直觀地呈現給術者[9-11]。但MR 在術中導航的應用仍較有限，其存在無法實時動態追蹤移動目標、三維模型與物理環境的交互效果不佳、配準誤差較大等不足之處。本研究提出搭建基于MR顯示及紅外光學定位的頭盔式手術導航系統，通過配準精度與應用誤差分析，評估該系統的可行性，進一步通過頭顱模型試驗和臨床應用探討該MR導航系統在顱頜面創傷骨整復中的適用性。

1 材料和方法

1.1 基于MR的手術導航系統

整體系統設計目標是實現一套基于MR顯示及紅外光學定位的口腔顱頜面外科手術導航系統。本系統主要由三部分組成，分別為MR 顯示端的Microsoft HoloLens 2（微軟公司，美國）、紅外光學定位追蹤端的Polaris Vicra（Northern Digital Inc公司，加拿大）、PC數據通訊端的戴爾筆記本電腦（戴爾公司，美國）。該系統主要包含以下5個模塊，系統工作流程見圖1。

圖1 MR手術導航系統的工作流程Fig 1 System flowchart of the MR-based surgical navigation system

1）術前規劃：對CT 影像數據進行圖像分割、三維重建和手術規劃，并將三維數據導入unity3D開發環境，生成Windows 的通用應用平臺（uni‐versal windows platform，UWP）應用程序導入到HoloLens端。

2）光學圖像配準：采用基于特征點的配準方法，實現手術靶區與術前CT 影像在紅外光學定位追蹤系統下的空間配準。

3）HoloLens 端空間標定：HoloLens 端虛擬空間中設有4個虛擬標記點，在完成光學圖像配準后，術者佩戴HoloLens 眼鏡，按順序將光學定位探針的尖點與虛擬標記點匹配，實現HoloLens 端虛擬空間在光學空間下的標定。

4）數據傳輸：空間配準過程及導航過程需要在PC 端、HoloLens 端、光學定位追蹤端不間斷地數據傳輸。光學追蹤儀與PC 端之間由USB 主機轉接器進行數據傳輸，同時利用無線路由器建立一個無線局域網以實現PC 端與HoloLens之間的數據傳輸。

5）實時動態追蹤：空間配準完成后，可實現術前規劃的虛擬場景與真實目標區域的虛實融合。光學定位跟蹤儀通過跟蹤固定在骨骼上的被動定位支架實時獲取被動定位支架的位置坐標并計算被動定位支架的旋轉與平移，由于被動定位支架和骨骼是剛性連接的，進而可得到術區位置的變換，從而實時更新位置數據，達到實時動態導航的目的。

1.2 系統的誤差測量實驗

1.2.1 3D 打印頭顱模型 將6個頭顱CT 數據的DI‐COM 文件導入 Simplant 軟件 11.04 版本 （Materi‐alise 公司，比利時），完成顱頜面硬組織模型的三維重建。參考常用于顱頜面部骨骼頭影測量分析的標志點，在模型上設計用于配準和精度檢測的17個解剖標志點。同時在虛擬的三維頭顱模型的左右兩側上頜骨分別設計1 條Le FortⅠ型截骨線，并在每條截骨線上各設計了5條等分的刻度線。設計完成的三維頭顱模型以STL 格式導入3D 打印機交工成頭顱模型，模型設計如圖2A～E所示。

圖2 用于精度驗證的3D打印頭顱模型Fig 2 3D printed skull model designed for accuracy validation

1.2.2 誤差測量實驗 1）系統誤差：實驗者使用導航探針尖端分別采集真實頭模上的解剖標志點在光學定位追蹤系統坐標系下的位置作為真實位置，而HoloLens 坐標系下的對應虛擬解剖標志點將被轉換至光學定位追蹤坐標系下，通過系統計算獲得理論上的虛擬位置，真實位置和理論位置的偏差也就是光學追蹤坐標系下的系統誤差。

2）目標配準誤差：實驗者使用導航探針尖端分別采集虛擬模型上的解剖標志點在光學追蹤儀下的真實位置，通過計算其與真實模型上對應解剖標志點的位置偏移，可獲得目標配準誤差，即真實的虛實偏移。

3）應用誤差：選用顱頜面外科常規的Le FortⅠ截骨作為應用誤差分析的實驗手術方式，在混合現實導航系統引導下行頭顱模型雙側Le Fort Ⅰ型截骨。完成截骨后，對各側截骨線的5個測量點使用游標卡尺測量實際截骨線與預先設定截骨線在該5個測量點的直線距離，即應用誤差。

1.3 顴上頜骨復合體（zygomatico-maxillary com‐plex，ZMC）復位的模型實驗

1.3.1 ZMC 模型3D 打印 本實驗以ZMC 復位這一顱頜面創傷中最常見的手術操作作為實驗手術方式。臨床獲取4個ZMC 骨折的頭顱螺旋CT 數據，完成三維建模、術前規劃，將ZMC 模型及切割ZMC 的頭顱模型3D 打印，模型設計如圖3A～H所示。

圖3 ZMC復位實驗的術前規劃影像、3D打印模型、術中復位情況Fig 3 Preoperative planning,3D printed model,and MR navigated intraoperative reduction of ZMC

1.3.2 ZMC 復位實驗 1）ZMC 虛擬復位：完成導航系統的配準后，將ZMC虛擬模型和分割ZMC的頭顱虛擬模型分別以綠色和暗紅色顯示，透明度50%，通過顯示或隱藏ZMC 虛擬模型，在真實頭模上進行ZMC的虛擬復位。

2）虛擬模型位移誤差測量：使用導航探針尖端分別采集ZMC 虛擬模型上的5個標志點在光學追蹤儀下的真實位置，通過計算其與虛擬模型對應標志點的理論位置偏差，可獲得ZMC 虛擬模型的位置偏移。

3）顴上頜縫、顴弓根、顴額縫三點固定ZMC后，驗證虛擬模型與真實模型的疊加情況。

1.4 臨床應用

病例1，患者男性，32歲，因“顱面部損傷后伴額部塌陷1 年余”入院。?？茩z查：意識清楚，查體配合，問答切題，顱面部左右不對稱，左側額部塌陷，額部至右側上瞼可見瘢痕，右眼義眼，左眼球動度可，視力可，左右側嗅覺（?），雙側眼瞼無下垂，皺額對稱正常。入院診斷：創傷性額部畸形。治療方案：額骨缺損行個性化聚醚醚酮（polyetheretherketone，PEEK）植入物整復?；趥€性化PEEK植入物精準就位的特性，本研究將混合現實手術導航系統進行初步的臨床應用，驗證其在頜面創傷骨整復應用的技術路線。

1.5 統計學方法

采用SPSS 22.0 軟件進行統計處理，計量資料用均數±標準差描述數據，組間數據進行單因素方差分析（方差齊性）或Kruskal-Wallis 檢驗（方差不齊）評估組間差異。以P<0.05 表示差異有統計學意義。

2 結果

2.1 系統誤差和目標配準誤差

通過對6個模型的各17個解剖標志點進行系統誤差檢測，結果如圖4A 所示，本MR 導航系統的平均系統誤差為（1.23±0.52）mm。對6 組數據進行方差齊性檢驗，結果顯示F=0.389，P=0.855>0.05，提示6 組數據方差齊性。進一步以不同組別為自變量，系統誤差值為因變量進行單因素方差分析，F=0.661，P=0.654>0.05，不同組別之間差異無統計學意義。本MR導航系統的目標配準誤差結果如圖4B 所示，平均目標配準誤差為（2.83±1.18）mm。對6 組數據進行方差齊性檢驗，結果顯示F=2.082，P=0.074>0.05，提示6 組數據方差齊性。進一步以不同組別為自變量，目標配準誤差值為因變量進行單因素方差分析，F=0.801，P=0.552>0.05，不同組別之間差異無統計學意義，即本系統具有較高的穩定性。

2.2 截骨應用誤差

根據在虛擬模型上預先規劃的截骨線，進行混合現實引導下雙側上頜骨Le FortⅠ型截骨實驗。結果如圖2F、G 所示，深藍色直線為預先設定的參考線，紅色曲線為混合現實引導下的實際截骨線。誤差的測量結果如圖4C 所示，本MR 手術導航系統的平均截骨應用誤差為（3.13±1.66）mm。

圖4 MR手術導航系統的誤差測量結果Fig 4 Error distribution of MR-based surgical navigation system

2.3 ZMC模型的虛擬手術復位

ZMC 虛擬模型呈綠色顯示，分割ZMC 的頭顱虛擬模型呈暗紅色顯示，虛擬模型的透明度均為50%，通過顯示或隱藏ZMC 虛擬模型，在真實頭模上進行ZMC的虛擬復位，如圖3I、J所示。ZMC虛擬模型的平均位置偏移誤差為（3.77±1.37）mm（圖4D）。

2.4 ZMC模型復位后的驗證

完成ZMC 復位固定、MR 導航系統配準后，ZMC 虛擬模型透明度為30%，分割ZMC 的頭顱虛擬模型透明度為80%，通過虛擬模型與真實目標的配準擬合，ZMC復位情況（圖3K、L）。

2.5 術中導航效果

本MR手術導航系統的術中導航及應用過程如圖5 所示。經過術前規劃、光學圖像配準、MR 端空間標定最終實現虛擬頭顱模型疊加到患者真實頭顱上，并在HoloLens 端直觀地呈現給術者，輔助外科醫生對PEEK植入材料的定位及驗證。

圖5 病例1的術前規劃影像、術中導航情況和術后重建效果Fig 5 Preoperative surgical planning,MR navigated defect reconstruction,and the clinical outcomes of case 1

3 討論

手術導航技術在過去30 年得到了廣泛應用，能有效提高手術精準性，減少手術風險。但目前手術導航系統在成像顯示方面仍存在一些問題，例如：是單點導航，術者在手術過程中只能看到某一點的導航信息，而無法直接看到整個術區的位置與結構信息；術中導航虛擬圖像與患者術區實際圖像缺乏直接的空間關系，術者需要在屏幕和術區之間頻繁視野切換，這些都會影像手術的精確性和安全性[6,12]。近年來，一些新的三維數字成像技術正迅速在醫學外科領域獲得應用轉化，包括虛擬現實（virtual reality，VR）、增強現實（augmented reality，AR） 和 MR 等。MR 是一個新概念，它融合了VR 和AR 的優點，可實現三維虛擬圖像與真實目標的融合顯示，而且允許用戶與現實世界以虛擬世界進行交互[7-8,13]。但在手術導航方面，目前MR 技術尚無法實時動態追蹤移動目標、配準精度也有較大不足，這限制了其在臨床的進一步應用。本研究提出搭建基于MR顯示及紅外光學追蹤定位的手術導航系統，利用空間定位追蹤、全息成像和配準技術，將患者術區虛擬模型與真實模型動態融合，并實時、直觀地呈現給術者。

3.1 AR/MR技術的區別

AR/MR 技術均體現了虛擬圖像在真實世界中的顯示。AR 是通過計算攝像機視頻的位置及角度并加上相應的圖像分析技術，將虛擬的圖像或三維模型實時地投射到現實世界中，AR 為用戶提供了計算機生成圖像在真實環境的疊加和三維可視化[14]。MR是近年在AR基礎上提出的新概念，MR將虛擬信息和真實信息融合，利用全息影像、實時交互的技術對現實世界進行重塑，實現虛擬信息在真實現實中的融合[7]。如果以一條1 到0 的數軸來展示AR、MR 以及VR，則谷歌公司的AR 設備 Google Glass 趨近于 1，Oculcs VR 公司的 VR 設備Oculus Rift 趨近于0，而微軟公司研發的Holo‐Lens 為代表MR 設備居于二者之間[15]。Google Glass 的AR 技術為用戶提供計算機衍生于現實世界中的虛擬世界或信息，基本上AR 只是起到一個虛擬模型的展示和引導作用，通過顯示虛擬數據和圖像來“擴展”真實世界?；贖oloLens 為代表的MR 技術，虛擬對象不像AR 那樣簡單地投影在現實世界的表面上，而是虛擬模型與物理目標深度融合。同時，MR 技術允許用戶與現實世界以及添加到其中的數字內容進行交互，具有環境與使用者的實時交互的特性。本研究基于HoloLens搭建的MR系統不僅實現虛擬模型與真實術區精確擬合，同時術者可通過“手勢”“語音”“凝視”等系統模塊與全息圖像進行交互。

3.2 MR手術導航系統的誤差分析

手術導航的根本目的是為外科醫生提供立體可視化的術中定位，提高手術的精確度，降低手術風險及創傷。因此，系統配準精度是評價手術導航系統的最關鍵指標，主要包括系統誤差、目標配準誤差和應用誤差三個部分[16]。本MR 手術導航系統的系統誤差是指真實標志點與光學坐標系下HoloLens 端對應的理論虛擬標識點的誤差，其主要受光學定位追蹤端的定位偏差以及空間坐標轉換計算的影響。本研究的整體系統誤差為（1.23±0.52）mm，小于2 mm，說明本MR 系統中HoloLens 端虛擬世界和真實導航目標在光學追蹤系統下配準具有理論可行性。這與Sun等[17]報道的（1.30±0.39）mm和Tu等[18]報道的（1.61±0.44）mm相近。

MR 導航系統的目標配準誤差主要受3個方面影響：1）光學定位追蹤端的定位偏差，光學追蹤設備在工作空間的誤差小于0.2 mm，點配準算法的誤差一般小于0.5 mm[19]，同時，解剖標志點數目和空間分布、光學坐標系下配準操作的人為因素也會影響系統精度；2）MR 端的空間標定誤差，主要受配準標定誤差的影響及人為坐標測量因素的影響，配準過程中需要用導航探針尖端采集Ho‐loLens虛擬空間的虛擬標記點，可能會存在人為操作誤差；3）MR 端對三維環境動態定位能力，其核心為即時定位與地圖構建（simultaneous localization and mapping，SLAM），目前 MR 設備的SLAM 技術仍有不足之處：1）單目視覺技術對于三維空間理解的局限；2）頭盔快速運動造成的圖像模糊，導致立體配準失??；3）SLAM 通常假設場景是靜止的，當真實場景目標物體移動時，SLAM 對場景的理解會滯后，且影響算法的穩定性[20-21]。本研究目標配準誤差為（2.83±1.18）mm，該配準精度優于同類系統的目標配準精度，如In‐cekara等[22]報道的目標配準誤差 （4.0±0.8） mm，McJunkin等[23]報道的目標配準誤差（5.8±0.5）mm，Fotouhi等[24]報道的目標配準誤差（10.8±3.45）mm。

應用誤差是導航系統在實際應用過程中產生的誤差，與導航系統的校準不佳、動態參考架追蹤范圍不足、影像學數據漂移、術者經驗等因素均有關系[16]。MR 系統的應用誤差主要受系統的目標配準誤差及系統的實時動態追蹤功能影響。本研究搭建的基于MR顯示與光學定位追蹤的手術導航系統，不僅可有效解決傳統導航系統中導航信息和手術場景分離的問題，同時基于光學定位系統的高精度定位追蹤功能，可彌補MR 設備在SLAM 方面的不足，從而實現MR 系統對移動目標的實時動態融合顯示。本研究在MR系統引導下的頭顱Le Fort Ⅰ型截骨實驗的截骨應用誤差為（3.13±1.66） mm，優于 Gibby 等[25]報道的 （3.62±1.71）mm。

3.3 MR技術的臨床應用

顱頜面創傷及其所致畸形具有明顯的不規則性，且常累及多個解剖部位，通過MR技術對患者術前影像資料進行三維重建，可以直觀地呈現損傷與鄰近重要解剖結構的位置關系。在此基礎上進行術中導航，將患者的術前損傷三維影像或術前規劃三維影像疊加于真實術區，可以清晰地看到病變所在邊界和位置、虛擬手術規劃，提高手術的精確性與安全性。本研究完成了ZMC 復位的模型實驗和額骨缺損修復的臨床應用。首先，基于MR技術的三維顯示，醫生能夠更直觀、高效地與患者進行術前溝通，患者也更能立體、直觀地了解治療方案、潛在風險和修復重建效果，這也是目前MR 技術在醫學領域的一個主要應用場景[26-27]；其次，利用MR 技術可以讓術者對病灶的理解更加精準，進行術前風險評估，制定最佳手術方案，可視化的術前評估有助于增強術者的信心和提高手術安全性[10,28]；第三，術中使用基于光學定位追蹤和MR技術提供的實時三維可視化擬合圖像，術者可更微創、精準、完整地獲取術區的視覺和空間信息，并基于術前規劃影像完成修復重建過程，手術的精確性和安全性均得到提升；此外，MR 技術結合3D 打印技術在醫學外科培訓中具有較大優勢。由于頜面部解剖結構復雜、骨塊小、骨縫多、手術難度大，MR 技術結合3D 打印模型為外科培訓提供了一個理想平臺，能夠極大地提高低年資醫師的培訓效率[29]。

綜上，本研究搭建了基于MR顯示及紅外光學追蹤定位的手術導航系統，具有虛實融合效果佳、動態導航穩定性好的優點，在顱頜面外科的醫患溝通、醫學教育、術前規劃和術中導航等各方面都有一定的應用優勢。盡管目前基于MR技術的手術導航仍有不足之處，其大規模的臨床應用尚有待相關技術的發展和改進，基于MR技術的手術導航將是數字化外科及精準醫學的一個重要發展方向。

利益沖突聲明：作者聲明本文無利益沖突。