面向髖關節穿刺手術的實用化增強現實導航方法

陳紓，李凱戎，張楠心，孟剛

面向髖關節穿刺手術的實用化增強現實導航方法

陳紓1，李凱戎2，張楠心3，孟剛4

（1.福州大學 物理與信息工程學院，福州 350108；2.澳門科技大學 人文藝術學院，澳門 999078；3.福建醫科大學附屬第一醫院，福州 350004；4.南京工業大學 藝術設計學院，南京 211899）

旨在利用成熟的技術路線和功能整合，實現面向髖關節穿刺手術的無創傷實用化骨骼增強現實（AR）導航。采用基于神經網絡的自動分割方法對現有臨床CT影像數據進行骨骼圖像分割，并進行三維體積重建；利用虛擬現實開發手段，實現手術導航功能。實現了面向AR的CT掃描方法及配準裝置設計，開發了基于CT影像的實用化骨骼組織三維自動重建功能。成功實現了與真實人體配準的骨組織AR預覽。完成了從臨床CT影像采集到形成真實人體配準的實時骨骼顯示的全過程驗證。為無創骨骼導航提供了一種新的技術路線和方法，證明了在無創條件下快速實現虛擬骨骼與真實皮膚配準顯示的技術可行性。為臨床骨科手術提供了新的思路和參考，并可為其他領域的外科手術導航研究提供技術支持和參考。

增強現實（AR）；手術導航；骨科；髖關節

穿刺手術是治療髖關節病癥的重要手段。臨床需要根據經驗合理規劃穿刺位置和路徑以減少附加傷害，從而降低術后手術并發癥的可能性。增強現實（Augmented Reality，AR）技術可以將計算機生成的深層三維組織模型疊加顯示在自然人體結構上，從而為手術直觀地提示隱藏在體內的手術目標的實時信息，以允許手術醫生直接關注內部患處與體表結構的位置關系，以降低手術判斷的難度、降低失誤概率。因此AR手術導航對髖關節手術的治療具有重要的輔助作用。本研究針對髖關節穿刺手術對AR手術導航的功能需求展開研究。擬通過對現有技術在應用轉化過程中的關鍵環節進行系統化概念設計，探索從臨床醫學影像數據自動化處理到實用化AR手術導航的基礎實現路徑，并通過系統開發等工程實證研究，驗證技術路徑的可行性。

1 背景

近年來，AR在骨科手術中的應用研究近年來呈現增長趨勢[1]。Uddin等[2]對當前的脊椎手術AR引導研究進行了綜述，并對未來研究的發展作出了樂觀的預測。研究綜述了近十年骨科AR導航概念驗證研究的情況。在人體模型中的測試研究占比為21%；AR的實用性、優勢和劣勢的評估調查占比為26%，此類研究主要圍繞人機工程學，以及使用AR平臺時儀器的準確性評價展開。同時占比11%的技術論文對AR的當前技術環境進行了評估，并為創建可廣泛應用的緊湊、高度通用、便攜式AR系統提供了未來方向。

以此趨勢為契機，在近年的相關研究中更加關注AR技術在臨床實用環境中的適應性問題，重點探討AR技術在實際臨床手術中的引入。例如，Battaglia等[3]提出結合CAD/CAM與AR技術輔助執行腓骨游離瓣采集進行下頜重建的數字工作流程，驗證了AR技術改善骨科手術環境的潛力。然而，在此項研究中AR技術的作用僅為為現場外科醫生提供額外的手術信息提示，相較于傳統可視化引導的分屏比照方式，提升了實時性與直觀體驗。由于無標簽位置配準方法的性能局限，尚無法做到自由視角下的AR顯示。Gibby等[4]進行了以人體局部模型為實驗性對象的可行性實驗，提出了一種針對患者皮膚的個性化的實時引導方法。該方法提出將3D重建影像與CT圖像疊加的引導方法用于腰椎骨骼的間接配準，并在研究中提出了放置椎弓根插管導向器的引導方法，從而避免使用實時熒光透視或術中CT O-Arm 3D成像造成的連續掃描。這項研究證明了利用頭戴顯示AR（HMD-AR）技術進行骨科手術引導的可行性，然而該方法對技術裝備、手術操作等均提出很高的要求，且在術中進行的連續X射線成像對醫患都存在潛在風險。而Elmi Terander等[5]對椎弓根手術引導的現實導航方法進行了前瞻性研究，并從臨床視角驗證了結合ARSN系統的集成手術環境所提供的AR成像對手術精度、操作時間、預后結果等有促進作用。該方法避免了術中多次X射線檢查，但過高的裝備成本及技術要求使其很難在手術頻次密集的臨床診療中獲得有效推廣。

可見，降低技術裝備成本、提高原始數據處理效能等問題的解決，成為決定AR技術能否具備臨床實用性的關鍵因素[6]。如何利用成熟手段及工具形成簡潔的數據處理過程并實現高效、無創傷的手術導航的方法，是目前研究者所關注的重要問題。近年來，采用商用虛擬現實引擎開發骨手術導航的研究思路被廣泛關注。如Moreta Martinez等[7]提出將三維打印模型作為患者身體的替代物，利用Unity3D等商用虛擬現實引擎創建個性化AR圖形配準工具，從而對脛骨腫瘤的位置進行AR顯示。該方法證明了用于醫療教育、模擬和指導的簡潔AR開發模式構建的可行性。這兩項研究驗證了利用商用AR設備進行骨科手術引導的可能性。然而，該方法依賴于直接在骨骼上進行位置綁定，因而所針對的手術種類局限于開放式骨腫瘤手術，方法的適應性有待提升。

綜合現有研究可以發現，圖像標記點（maker）仍然是有效且被廣泛采用的AR圖形配準方法。尤其是在進行O-ARM等頻繁X射線掃描操作時，甚至可以實時添加maker操作。因此，基于maker的AR配準視為一種在未來研究中可以采用且穩定有效的方式。此外，盡管AR在臨床中的可行性被大量研究證明，但仍然存在實用化不足等問題，這也對臨床AR導航系統的實用性、經濟性提出更高的需求。

另一方面，專門針對髖骨的AR手術引導研究則已經實現了相應的概念驗證[8]。同時，利用可見光攝像機采集配準圖像，并將圖形標志物作為配準參照物的設計路線，被證明具備較高的可行性[9]，且現有的商用AR技術及設備也被證明適用于臨床手術引導[10]。

綜合研究現狀可知，在當前相關領域的研究中，主要采用可見光視頻圖像采集、配合皮膚表層maker配準的技術路線。該路線在無創傷的前提下，對AR設備硬件處理器性能的要求也相對較低，是一種有效且便捷的AR引導實現途徑。

2 問題的提出

本研究旨在設計一種骨外科AR方案，用于在無創傷的前提下實現髖關節穿刺手術的AR引導。該方案需要在一般移動設備環境下，以腿部皮膚表面為參照，實現基于術前CT影像的髖關節骨組織三維重建模型的配準成像，從而為髖關節穿刺提供準確的目標位置顯示。該方案除了應具備實現成本低、操作簡便、原始數據處理及時等特點之外，尚需進一步提升AR技術在醫學應用場景下的適應性。

為了實現上述目標，本研究提出了髖關節穿刺手術導航概念，其核心為基于自動信息處理方法實現從CT數據到AR功能的多模態數據自動轉換與虛實配準信息傳遞，從而提升AR技術在醫學應用場景中的實用性，如圖1所示。

圖1 髖關節手術導航概念設計

手術導航概念的實現主要包括三個階段：術前CT掃描，獲取骨骼目標區域的醫學影像信息；三維重建，獲取虛擬骨骼和皮膚模型作為AR引導和虛擬可視化數據的基礎；AR導航，通過皮膚表面標記的激活和位置參考，引導體內髖關節的實時信息。通過定義上述三個階段，AR手術導航的實現目標以明確的技術要求形式進行概括。在后續的研究中將通過有針對性的設計、方法、開發等具體手段對上述目標進行實現。每個階段的主要挑戰可以歸納為以下幾個關鍵問題：

1）髖骨位置體表皮膚平展光滑、無紋理，難以直接作為激活和對準虛擬骨骼模型的注冊標記。此外，皮膚變形、CT掃描位置和術中體位不一致，也是導致虛擬模型注冊困難的主要原因。

2）在AR系統中獲取骨骼模型信息通常需要兩種方法。一種是采用MPR法對實時X掃描影像進行閾值分割和影像密度疊層，從而構建多角度骨骼模型影像，但該方法本質上形成的是多視圖二維圖像映射，因此數據可重用性差，對切割、穿刺等的有限元仿真能力有限，而且對設備的要求較高。要獲得更精確的三維拓撲模型，需要借助專門的三維重建軟件，這會增加數據處理的時間和成本，并且需要專業人員進行操作。

3）頭戴式顯示器（HMD）設備相對昂貴，一些研究報告稱醫生佩戴HMD進行手術需要較長的適應時間，并且存在質量大、布線復雜、電池壽命有限、手術期間容易暈眩[11]等問題。相比之下，基于普通移動智能設備（如平板電腦、手機等）的AR導航顯示具有設備成本低、方便使用等優點，更適合于手術室等復雜的使用環境[12]。然而，普通設備上的攝像頭存在不同程度的廣角畸變失真問題，會影響模型的配準。

3 方法

為了解決無法通過皮膚直接配準的問題，本研究采用間接配準的方式，通過在骨骼與皮膚間相對穩定的位置設置中繼標志物，用于骨骼部分坐標的介導，并提出了改進的臨床CT掃描方法及相關裝置。同時，針對臨床CT數據的快速模態轉換及可視化問題，本研究通過測試不同的臨床數據分割方法，確定了高效的骨CT自動分割及重建技術路線，實現了基于網絡的輕量化客戶端。

3.1 臨床CT掃描方法實驗

AR導航的實現關鍵在于：在自然狀態下對隱藏于皮膚肌肉等組織間的真實骨骼及三維重建的虛擬骨骼模型進行位置的配準并實時顯示。骨骼信息雖然可以通過常規CT檢查獲取，但在AR環境中人體骨骼的實時位置信息卻無法直接獲取與綁定。因此，提出了將人體皮膚作為骨骼位置信息的中繼物，先行配準真實皮膚與三維重建皮膚，再進一步提高骨骼配準精度的間接配準思路。為了解決皮膚紋理少、變形程度大等問題，可以對marker信標進行設計，用于提高位置信息指示精度及效率。

實驗過程為：通過對臨床志愿者體表綁定掃描初始標志物，進行普通臨床CT掃描；采用基于神經網絡的CT自動三維重建方法，獲得皮膚表面定位標志物、皮膚、骨骼組合三維模型，三者空間位置關系均源自原始臨床影像，作為配準依據，并依據重建數據，進行三維打印獲取真人等比尺寸的樹脂及硅膠模型，作為臨床志愿者的真實人體替代物；采用虛擬模型與實物模型的方式，進行配準實驗。

為了獲取可供AR顯示和配準的原始數據，設計了一種無創傷的臨床掃描方案，將可注入造影劑的樹脂盒子作為皮膚的配準特征物，用于真實皮膚與虛擬皮膚的配準點設置參考，如圖2所示。

圖2 面向骨AR的CT掃描方法

標記盒直接附著于患者皮膚，該標記盒將與骨骼和皮膚一起被重建出來，作為初始定位信標。在AR配準環節中，將依照標記盒的頂面中點、底平面，以標記盒表面圖形的指示方向為引導進行設置。為了能利用真實病例中的CT影像數據，實現虛擬模型疊加在真實場景上的對位，在設計標記圖像的同時應將其立體化，如此才可進行標記盒的三維重建。在標記盒的兩頭分別設計一個注入口和一個排氣口，并注入造影劑，從而使標記盒三維特征及空間指向可以被清晰觀察。

3.2 實用化髖關節三維自動重建

為了實現臨床快速獲取骨骼模型，擬引入神經網絡的方法進行臨床的快速CT圖像分割。主要的原因是，骨影像特征十分顯著，當前的神經網絡方法可以獲得較為穩定的分割結果用于重建。本研究選擇了U-Net卷積神經網絡結構進行CT影像的分割訓練[13]，并與當前常用的骨影像分割方法進行比較，選擇更為高效的自動分割方法。

實驗數據集來自實驗室合作單位福建醫科大學附屬第一醫院提供的CT數據，選取髖關節腔鏡手術的術前CT檢查數據共120例，并利用Mimics軟件的手動骨骼影像分割進行標簽制作，從而形成數據集。所有的圖像都經過了窗位280 HU、窗寬400 HU的預處理。數據集圖像經數據增強的方式擴大，并隨機抽取其中的20%分配到驗證集用于準確度測試。采用基于圖像預處理的傳統混合型傳統閾值分割方法進行半自動骨影像分割，用于橫向對比以確定各項方法的重建效能。主要方法有全局閾值法、局部閾值法、Otsu法[14]等常用于醫學增材制造中骨分割的CT圖像分割方法[15]以及基于臨床數據訓練的U-net卷積神經網絡。

骨影像分割結果對比，采用三維語義分割中常用的相似度系數，計算四種三維語義分割集合的交集與并集之比。計算結果區間為[0,1]，越接近1表示方法分割正確率越高。具體計算方式如下：

其中為數據集中真實標簽的影像體素數量，為不同方法的骨骼影像分割結果的影像體素數量，通過對真實標簽與分割形成的掩膜圖（二值圖）進行點乘求和計算，可獲得不同方法的準確分割體素數量，結果如表1所示。

表1 測試集的分割結果比較

Tab.1 Comparison of test set segmentation results

由上表可知，U-Net網絡的平均分割精度最好，分割的最小系數值也明顯高于其他方法，穩定性較強，能為后續的三維重建提供較好的條件。需要說明的是，由于CT影像包含股骨等皮質骨的比例較大，因此Otsu法在平均分割精度上也顯得十分優秀，但其在松質骨上產生了過分割，故最小值與平均值相差較大，并且其分割結果中出現大于20%的最大誤差，這一點在相關文獻中亦有記載[16]，印證了經典方法具有不穩定性。

與此同時，U-Net卷積神經網絡也表現出顯著的效率優勢。在本實驗運行環境中，采用一臺DEll-T1700服務器進行分割測試，已訓練網絡的平均分割速度是45 ms/seq，完成397張影像的單病例的平均分割時間約為18 s。附加后續三維重建所需的格式轉換及存儲讀取等時間，完成測試集分割的總耗時為24.33 s。基于骨CT的逐幀分割結果，可以實現骨模型自動三維重建，主體部分模型基本與人工重建基本一致。

在上述實驗中，常用的經典分割方法均需要通過人工進行預處理，單病例平均耗時為654.7 s。而基于神經卷積網絡的自動骨分割方法僅在一般個人計算機運算環境下的平均處理速度已顯著高于人工介入的處理方法，約為人工法的27倍。此項工作驗證了神經網絡CT骨影像重建方法與經典圖像分割方法相比，在準確性、穩定性和綜合效率方面存在顯著的優勢，而綜合效能優良的自動化骨CT分割與體模型重建則是AR臨床應用的關鍵環節。因此，本研究采用HTML方式編寫了可視化界面，便于CT影像的讀入，以及重建結果的輸出，如圖3所示。

4 AR預覽實現

結合醫療場景中的實用化需求，本研究選用了商用虛擬現實引擎Unity-3D作為實現AR功能的開發平臺。基于Unity3D、Vuforia和Opencv for Unity插件進行了面向髖骨手術的AR配準方法研究，利用人工標識物對髖骨模型進行配準，根據改進的方法發布了UWP版本。主要過程為：對標識物三維注冊方法進行研究，對預置的標識物進行處理并評估其性能；在Vuforia中進行ImageTarget模塊的實現和改進，結合Opencv for Unity優化設計方案，對髖骨模型定位進行初步的實驗驗證。采用多點放置的自然圖像紋理的平面矩形作為皮膚表面的激活標識。原因有以下幾點：

圖3 CT數據讀取及髖關節自動重建界面

1）術中場景視口移動范圍有限，光照較為穩定，對檢測實時性的要求高，矩形標志更適合該應用場景。

2）立體標識檢測范圍雖然更廣，但標識物空腔體積較大，容易影響術中視口和醫師操作手術器械的動作；不便放置在皮膚上進行CT掃描，皮膚將會出現顯著的凹陷形變而不利于配準。也有部分研究方案提出將三維標識物脫離真實模型外置，但相對位置依賴于術前手動設置且患者不可移動，此類方式的適用場景存在較多限制。

3）平面矩形標識物的操作空間更大。若平面標識為適宜的大小，并在皮膚表面多位置、多角度擺放，則能夠達到立體標識的效果；多平面標識之間的相對位置也能檢測術中標識相對于CT掃描的位移情況，從而降低配準誤差；在系統中為每個標識附上相應的ID號，使系統只要檢測到至少一個標識點就可以進行定位，也能夠提升標識物的抗遮擋性。

綜上，根據需求進行了標識物的初步設計。考慮過大的標識物會遮擋手術視口，過小則會影響識別效果，在測量髖骨模型的具體數值后（長：45.77 cm，寬：18.38 cm，高：25.67 cm），決定采用3個邊長為5 cm的標識作為配準marker貼在皮膚模型上，標記中心位置與配準盒在皮膚上轉印的印記中心重合，用于承繼相對的位置信息。由于三組marker中心不共線、水平位置不共面，因此具備不同的中心坐標系，從而進行虛擬皮膚、骨骼重建模型的空間位置相互印證及配準的手動微調校準。紋理圖的選用依據是特征點多、對比度強、分辨率較高，能夠在適中的光照下在攝像機視口進行辨別，如圖4所示。

圖4 選用的三張識別紋理圖片

在Unity3D框架的基礎上掛載實現虛擬模型，主要涉及以下步驟：

1）通過Vuforia或其他開源手段對標志物進行配準注冊，用于后續AR場景的激活。

2）將AR Camera的世界坐標中心位置改為基于相機，便于標識物坐標系的統一。

3）調整好每個標識物在髖骨上的位置，掛載用于定位的子物體。子物體的世界坐標與虛擬髖骨包圍盒中心重合，如圖5所示。

圖5 定位虛擬模型標識掛載

由于需要采用多個marker點進行位置的相互印證，本研究設計了以下印證邏輯：

1）保存場景中所有標識的初始角度、位置。

2）若檢測到追蹤標識容器長度為0，則停止模型渲染，否則進行第三個步驟。

3）遍歷追蹤容器中的所有標識，計算每個檢測標識的位置、角度，最后加載模型渲染。

通過這種方式，可以有效對模型的初始位置進行調整，以接近真實的marker點位置。但由于實驗中各過程的誤差累積，需要設置手動微調（modify）模塊進行最終校準。校準的參照物以運行設備攝像機視口中的真實皮膚輪廓、皮膚黏貼的marker點邊角為配準依據。通過手動校準可以最大限度地修正配準初始值，可在引導過程保持配準精度。采用Unity3D引擎配套的UGUI模塊編寫了手動配準模塊的UI界面，針對平移變換及以各marker點中心坐標為原點的角度傾斜變換，設置了變量入口，最小可平移距離為1 voxel，最小可調角度為1′，每個變量均可通過按鍵和輸入框進行調節，如圖6所示。

圖6 手動配準模塊

5 配準定位實現與檢測

模擬多種自然光照環境及觀察視角，進行髖骨定位效果檢測。以虛、實場景中的皮膚為參照，以表面關鍵特征點貼合為準。邀請臨床專家進行現場驗證，以確保配準精度和范圍符合實際手術需要，運行結果如圖7所示。

測試結果顯示，在正常燈光的正上方定位識別效果最佳，配準效果因光照、角度的不同而不同。在實際的測試場景中需要手動配準，由13次模擬臨床手動配準測試可知，平均手動微調時間約為5 min，可以滿足臨床穿刺引導的顯示需求。在配準定位測試環節中可以有效觀測因通用設備攝像頭差異所導致的配準誤差情況。造成誤差的主要原因有：

1）攝像頭的焦距在40 cm以內，難以檢測到所有標識物，真實空間單個標識物的移位同樣會造成誤差。

2）標識物采用普通紙材質印刷，在強光照下易被反光吞噬細節。

圖7 不同環境與方向的定位測試

3）鏡頭畸變導致多標簽相互印證配準時容易產生模型抖動。

基于上述測試結果，除設備及應用環境等客觀因素外，鏡頭畸變問題較為突出。采用常規圖形處理方法（如undistort函數等）以棋盤格標定的方式獲取針對不同設備的鏡頭畸變矯正參數，實驗設備的鏡頭桶形畸變獲得了較好的校正，如圖8所示。

圖8 圖像畸變矯正前后對比

經過改善標簽材料、增強環境光源及針對實驗設備的鏡頭畸變矯正等一系列改進以后，進行多角度AR配準成像測試，結果較為理想，如圖9所示。

圖9 骨AR配準測試結果

本研究利用一般移動設備進行AR系統加載及測試，并聯合合作單位的臨床醫療人員對髖關節穿刺關鍵部位進行了多角度AR成像，以及模擬穿刺實驗與實用體驗評價。通過優、良、中、較差、差等五級評價指標對各點配準效果進行評價，并隨機利用不同的手持式移動設備對AR系統進行橫向交叉實驗。最終結果表明：

1）通過AR引導的髖關節穿刺手術可以將預選的穿刺位置縮小至直徑為5 cm的圓周范圍內，極大地降低了穿刺點的選擇判斷難度。

2）通過隨機抽樣的移動設備進行系統搭載實驗，使符合配準要求的手動校準時間低于5 min。臨床專家評價顯示，校準操作易于學習與實施，可以在常規術前與準備過程同步進行配準的手動校準。

3）AR引導的模擬穿刺實驗結果評價顯示，引導效果的優良率達到86.3%，具有較好的引導效能。

上述臨床專家評價結果表明，本文提出的實用化無創AR引導方法，在骨科中、大型關節穿刺等介入式手術中，可以基本滿足手術引導性能需求。

6 結語

本文介紹了一種基于髖骨穿刺手術的導航方法，該方法結合間接配準、神經網絡圖像分割等方法，達到了髖骨模型虛實配準的效果。同時針對不同移動設備的性能特點增添了多點配準、手動配準和不同型號攝像頭鏡頭畸變矯正等必要的功能模塊，使AR導航性能具有較好的信息處理效率及使用體驗。為了滿足術中觀察視口的需求，該方法使用一般外置攝像設備或移動設備的攝像頭進行視頻輸入，用于虛擬三維重建模型與真實物體的配準。經過人工標識物的自動配準和調整誤差的手動配準過程，皮膚虛擬模型與患處真實影像能夠高度貼合，并顯示內部骨骼的精確位置，從而實現了初步可行性驗證。該研究成果可為進一步挖掘方法及系統的潛能提供基礎，進一步引入更為復雜的術式規范，對前交叉韌帶快速重建、骨隧道定位引導等手術進行實時引導。然而，在測試過程中發現了以下缺點：

1）采用的印刷標識物在非自然光照（如白熾燈）下易反光，攝像頭的圖像采集精度不高導致標識物的識別存在障礙，對標志物圖形設計、標志物材料、AR設備硬件性能等提出了一定的要求，需要在未來的應用推廣過程中加以關注。

2）針對不同的設備需要進行專項的鏡頭畸變操作，鏡頭桶形畸變導致的杠桿效應是初始配準存在較大誤差的主要原因，需要通過擴大預置參數范圍加以解決，在后續的產品化開發中可針對不同設備，將畸變矯正參數以預設選項模式導入AR系統，保證一般設備的AR配準性能。

3）三維重建模型數據屬于點云類型，存在頂點數巨大的特征，為達成理想效果需要搭載設備消耗較大算力。需要在三維重建過程中導入適當的模型優化流程，并進一步聚焦重建區域進行篩選，以有效控制冗余模型頂點數據的形成，從而降低對運行設備的性能要求。

同時本研究也發現，視頻攝像采集的方法雖然目前廣泛應用于娛樂與商用虛擬現實行業，但是在醫學等專業領域則存在可見光干擾、接口標準化、患者隱私保護等問題，在專業應用領域的實現路徑上存在較多事務性問題等不可預見的影響。在自動駕駛領域采用的以激光雷達為探測傳感器的基于平面特征的點云配準方法[17]，對未來的研究有較大啟發。因此，該方向在未來的研究中將作為一個有趣的方向加以深入探索。

[1] 張愛民. 增強現實技術在創傷骨科疾病的應用現狀[J]. 中華醫學雜志, 2017, 97(14): 1120-1123. ZHANG Ai-min. The Application Status of Augmented Reality Technology in Orthopedic Trauma Diseases[J]. Chinese Medical Journal, 2017, 97(14): 1120-1123.

[2] UDDIN S A, HANNA G, ROSS L, et al. Augmented Reality in Spinal Surgery: Highlights from Augmented Reality Lectures at the Emerging Technologies annual meetings[EB/OL]. (2021-10-01)[2023-02-01]. https:// dig-i-tal-commons.wustl.edu/open_access_pubs/11150.

[3] BATTAGLIA S, BADIALI G, CERCENELLI L, et al. Combination of CAD/CAM and Augmented Reality in Free Fibula Bone Harvest[J]. Plastic and Reconstructive Surgery Global Open, 2019, 7(11): e2510.

[4] GIBBY J T, SWENSON S A, CVETKO S, et al. Head-Mounted Display Augmented Reality to Guide Pedicle Screw Placement Utilizing Computed Tomography[J]. International Journal of Computer Assisted Radiology and Surgery, 2019, 14(3): 525-535.

[5] ELMI-TERANDER A, BURSTR?M G, NACHABE R, et al. Pedicle Screw Placement Using Augmented Reality Surgical Navigation with Intraoperative 3D Imaging: A First In-Human Prospective Cohort Study[J]. Spine, 2019, 44(7): 517-525.

[6] CHEN X, XU L, WANG Y. Augmented Reality in Surgery: A Comprehensive Systematic Review[J]. Computers in Biology and Medicine, 2020, 121: 103827.

[7] MORETA-MARTINEZ R, GARCíA-MATO D, GARCíA- SEVILLA M, et al. Augmented Reality in Computer- Assisted Interventions Based on Patient-Specific 3D Printed Reference[J]. Healthcare Technology Letters, 2018, 5(5): 162-166.

[8] LIU He, AUVINET E, GILES J, et al. Augmented Reality Based Navigation for Computer Assisted Hip Resurfacing: A Proof of Concept Study[J]. Annals of Biomedical Engineering, 2018, 46(10): 1595-1605.

[9] 韓玉仁, 李鐵軍, 楊冬. 增強現實中三維跟蹤注冊技術概述[J]. 計算機工程與應用, 2019, 55(21): 26-35. HAN Yu-ren, LI Tie-jun, YANG Dong. Overview of 3D Tracking Registration Technology in Augmented Reality[J]. Computer Engineering and Applications, 2019, 55(21): 26-35.

[10] 黃銘明, 蘇其瑜, 曾維, 等. 下頜骨骨折虛擬手術培訓系統研究[J]. 計算機工程與應用, 2018, 54(23): 223-229. HUANG Ming-ming, SU Qi-yu, ZENG Wei, et al. Research of Virtual Surgery Training System of Mandibular Fracture[J]. Computer Engineering and Applications, 2018, 54(23): 223-229.

[11] ZHANG Yan-xiang, WANG Ruo-yi. A Study on the Effects of Head Mounted Displays Movement and Image Movement on Virtual Reality Sickness[C]//2020 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW). Atlanta, GA, USA. IEEE, 2020: 630-631.

[12] DE Sá M, CHURCHILL E. Mobile Augmented Reality: Exploring Design and Prototyping Techniques[C]// Proceedings of the 14th international conference on Human-computer interaction with mobile devices and services. San Francisco, California, USA. New York: ACM, 2012: 221-230.

[13] 吳東, 孔祥朋, 楊敏之, 等. 深度學習卷積神經網絡在髖關節翻修術前CT分割領域的研發與初步應用[J]. 中華骨科雜志, 2023(1): 62-71. WU Dong, KONG Xiang-peng, YANG Min-zhi, et al. The Development and Primary Application of a Deep Learning Convolutional Neural Network in the Field of Revision Total Hip Arthroplasty CT Segmentation[J]. Chinese Journal of Orthopaedics, 2023(1): 62-71.

[14] OTSU N. A Threshold Selection Method from Gray- Level Histograms[J]. IEEE Transactions on Systems, Man, and Cybernetics, 1979, 9(1): 62-66.

[15] MCCORMACK J, O’DONNELL G, MCHUGH P. CT image segmentation methods for bone used in medical additive manufacturing[J]. Journal of Manufacturing Processes, 2017, 27: 25-34.

[16] TASSANI S, KORFIATIS V, MATSOPOULOS G K. Influence of Segmentation on Micro-CT Images of Trabecular Bone[J]. Journal of Microscopy, 2014, 256(2): 75-81.

[17] LI Jian-wei, ZHAN Jia-wang, ZHOU Ting, et al. Point Cloud Registration and Localization Based on Voxel Plane Features[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2022, 188: 363-379.

Practical Augmented Reality Navigation Method for Hip Joint Puncture Surgery

CHEN Shu1, LI Kai-rong2, ZHANG Nan-xin3, MENG Gang4

(1.College of Physics and Information Engineering, Fuzhou University, Fuzhou 350108, China; 2.Faculty of Humanities and Arts, Macau University of Science and Technology, Macau 999078, China; 3.First Affiliated Hospital, Fujian Medical University, Fuzhou 350004, China; 4.Nanjing University of Technology, School of Art and Design, Nanjing 211899, China)

The work aims to utilize mature technological routes and functional integration to achieve non-invasive practical bone augmented reality (AR) navigation for hip joint puncture surgery. The automatic segmentation method based on neural networks was adopted to segment bone images from existing clinical CT image data and perform 3D volume reconstruction. Virtual reality development methods were used to achieve surgical navigation functions.In this work, a CT scanning method and the registration device design for AR were implemented, and a practical 3D automatic reconstruction function of bone tissue based on CT images was developed. AR preview of bone tissue registration with real human bodies was successfully achieved. The entire process validation from clinical CT image acquisition to real-time bone display for real human registration was completed. This study provides a new technical route and method for non-invasive bone navigation, demonstrating the feasibility of quickly achieving virtual bone and real skin registration display under non-invasive conditions. The results of this study provide new ideas and references for clinical orthopedic surgery, and can provide technical support and reference for surgical navigation research in other fields of surgery.

augmented reality (AR); surgery navigation; orthopedic; hip joint

TB472

A

1001-3563(2023)12-0430-08

10.19554/j.cnki.1001-3563.2023.12.051

2023–02–05

福建省自然科學基金“基于機器學習的胰腺圖像自動三維重建方法研究”（2022J01992）；福建省自然科學基金對外合作項目“基于增強現實的可視化實時引導技術在前交叉韌帶骨隧道精準定位中的研究”（2023I0014）

陳紓（1980—），男，博士生，副教授，主要研究方向為數字媒體技術，產品創新設計思維及方法。

孟剛（1979—），男，博士，副教授，主要研究方向為產品視覺創新設計思維及其方法。

責任編輯：馬夢遙