基于光學定位的超聲與CT圖像融合
——顱頜面軟組織導航關鍵技術研究及初步應用

楊成帥　蔣東升　周輝紅　吳錦陽　宋志堅　張詩雷

?

基于光學定位的超聲與CT圖像融合
——顱頜面軟組織導航關鍵技術研究及初步應用

楊成帥蔣東升周輝紅吳錦陽宋志堅張詩雷

【摘要】目的建立基于光學定位的超聲與CT圖像融合的技術路線，旨在解決顱頜面軟組織外科導航的關鍵問題。方法①獲取超聲圖像的二維空間位置，通過最鄰近差值算法進行三維重建，獲取其三維空間位置信息；②將超聲及DICOM格式的CT影像數據，運用自主研發的基于dLDP的圖像融合算法進行融合；③超聲與CT圖像融合的臨床驗證，并評價其融合效果。結果所建立的基于dLDP的圖像融合算法實現了顱頜面部超聲與CT的融合，平均融合誤差1.96 mm。結論基于dLDP圖像融合算法的精度和圖像顯示效果能基本滿足臨床需求，并且對于自主研究口腔顱頜面軟組織術中導航系統具有重要指導意義。

【關鍵詞】超聲電子計算機斷層掃描顱頜面軟組織導航圖像融合

作者單位：200011上海市上海交通大學醫學院附屬第九人民醫院口腔顱頜面科（楊成帥，吳錦陽，張詩雷）；200032上海市復旦大學上海醫學院數字醫學研究中心（蔣東升，宋志堅）；200011上海市上海交通大學醫學院附屬第九人民醫院超聲科（周輝紅）。

顱頜面外科具有解剖結構的復雜性和治療目的的特殊性［1-2］。因此，臨床上力求以較小的創傷，安全、精確地完成手術操作。由于骨骼組織具有剛體結構不形變的特點，所以現代數字化技術，如虛擬手術、手術導航等，使得顱頜面外科骨性手術精度大大提高。目前，該技術在臨床上已得到普遍應用，包括顱頜面骨折手術、顳下頜關節成形術、骨腫瘤切除、輪廓修整等［3-8］。對于顱頜面軟組織而言，因其術中易發生形變而造成影像漂移［9-10］，使得術前圖像不能夠真實和實時地反映術中軟組織的形態，術中無法實時測量病灶及軟組織形變，易產生較大的導航定位誤差，限制了外科導航技術在軟組織手術中的應用。

因此，我們針對口腔顱頜面軟組織形變而導致術中導航影像漂移的難題，運用自主研發的圖像融合算法，建立基于光學定位的超聲與CT圖像融合的技術路線，并對其進行了臨床驗證及評價，以期解決顱頜面軟組織外科導航的關鍵問題。

1　材料與方法

1.1實驗設備

我們采用邁瑞M7 Series便攜式彩色多普勒超聲診斷系統（深圳邁瑞生物醫療電子股份有限公司）來采集二維超聲圖像；使用NDI（Northern Digital Incoporated）Polaris光學定位儀采集二維超聲圖像的位置與方向信息；CT設備為荷蘭PHILIPS公司64層CT掃描儀（圖1）。

圖1　系統裝置組成部分Fig. 1 Components of the system

1.2超聲與CT圖像融合過程

超聲與CT圖像融合主要包括以下三大步驟，即數據采集、圖像預處理和圖像配準融合。

1.2.1數據采集

利用NDI公司Polaris光學定位裝置進行超聲探頭的自由式掃描來采集數據，該過程能得到具有空間位置信息的二維超聲序列圖像，而定位跟蹤的目標就是要把圖像的坐標系轉換到世界坐標系，記錄圖像的二維空間位置信息（圖2）；CT掃描范圍為顱頂至舌骨水平，層厚1.25 mm，刻光盤存為DICOM格式。

1.2.2圖像預處理

①讀取位置向量：讀取每一幅二維圖像的位置向量，讀取的位置向量包括一組四元數和一組坐標軸的平移量；

圖2　定位儀及超聲系統組成的坐標系Fig. 2 Coordinate system consisting of positioning device and ultrasonic system

②圖像三維空間變換：將第一幅二維圖像的位置信息作為圖像空間的z=0位置，其他二維圖像根據其位置向量計算其位于圖像空間中的位置；

③灰度插值：將所有二維圖像都放入圖像空間中，即將超聲、CT各模態影像數據導入圖像處理軟件MIPAV（Medical Image Processing，Analysis，and Visualization）中，根據各數據的特點分別進行圖像預處理（圖3）。根據最雙線性插值算法將兩幅二維圖像之間的圖像空間進行灰度賦值。

圖3　二維超聲圖像在三維場中的位置關系Fig. 3 The position of two dimensional ultrasound images in three dimensional field

1.2.3基于dLDP的超聲與CT配準算法的圖像融合

首先，通過衡量中心體素與鄰域體素不同方向的局部梯度變化，進行LDP計算。其次，通過LDP特征提取，將圖像由原始空間轉化至特征空間。最后，通過模式識別完成圖像配準，即可獲得超聲與CT的融合顯示，從而實現多模影像信息的融合。

1.3臨床驗證及評價

為了驗證上述方法及系統的可行性，分別選取面部異物（圖4）及腮腺腫物患者（圖5）進行CT及光學定位的自由式超聲掃描。連接整合后的系統在口腔頜面外科、超聲科醫生醫師與工程師的共同現場監控下運行正常，并取得了病灶區域的超聲圖像。

圖4　右面部異物的CT及超聲影像Fig. 4 CT and ultrasound images of right facial foreign body

圖5　左腮腺腫物的CT及超聲影像Fig. 5 CT and ultrasound images of left parotid gland tumor

為檢測圖像融合后的效果，我們將融合后的超聲與CT數據導入圖像處理軟件MIPAV中，將超聲與CT疊加顯示。由兩名超聲科醫師和放射科醫師選取超聲與CT相對應層面上的對應點，并通過軟件的標尺工具測量兩點之間的距離，以評價圖像融合的精度。

2　結果

圖6　CT與超聲圖像的融合顯示Fig. 6 Overlying display of CT and ultrasound images

連接組裝后的系統運行正常，整個操作過程所需時間（含設備安裝、初始設定等操作）小于15 min，基本能滿足在醫師現場監控下臨床應用的要求。運用MIPAV圖像處理軟件，對圖像融合精度進行了測量，平均誤差為1.96 mm（圖6）。

3　討論

近幾年，實時超聲融合被廣泛研究并完成商業化。隨著影像技術和融合技術的進步，多模態融合已由傳統的實時超聲與CT、MRI的融合，擴展為3D超聲、增強超聲與增強CT、增強MRI、功能成像PET等模態的融合，使多種模態的圖像在一個屏幕上顯示，理論上增加了診斷的精度。

盡管多模態融合定位系統已商業化，但其工作依賴于定位、配準、標定、更新等多個技術及對應設備的精確配合協作，而上述技術設備自身的不完善帶來的潛在誤差，最終導致系統的誤差。從融合圖像的種類上，現有的研究大多集中在傳統影像的融合上，對一些新的功能性成像與解剖學成像的融合研究較少。從融合圖像的數量上，目前的多模態融合，大多只實現了兩種模態的圖像融合。就研究領域而言，目前主要局限于神經外科和普外科領域［11-15］。

本研究在基于光學定位系統的基礎上，進行超聲與CT圖像融合的算法研究，并進行了臨床驗證，取得了較好效果。首先，本研究自主研發了適用于顱頜面軟組織的超聲與CT圖像融合算法，并搭建了基于光學定位的超聲與CT圖像融合系統平臺。其次，在采集數據方面，我們采用光學定位裝置進行跟蹤定位，避免了使用磁定位裝置時因周圍金屬器具的存在而影響定位精度。第三，在圖像融合效果評價方面，我們參考文獻［16］的臨床醫師主觀評價方法，制作適用于顱頜面軟組織的融合圖像臨床評價表，由超聲科醫師和放射科醫師共同評閱融合圖像，并運用圖像處理軟件，對融合圖像精度進行測量，平均誤差為1.96 mm，與Hakime等［17］實驗得到的最小誤差（1.9±1.4 mm）基本相符，說明自主研究的超聲與CT圖像融合算法精度較好。

雖然上述研究取得了較好的臨床效果，但也存在一些問題：①口腔顱頜面部軟組織無相對固定和清晰的解剖標志點，尤其是在顱頜面軟組織腫物的圖像配準時，在超聲與CT的相同層面上較難找到對應的標志點，造成配準誤差增大；②進行超聲數據采集時采用手動自由式掃描方法，導致獲取的二維超聲數據層厚間隔不一致，三維重建以后的圖像質量不清晰；③二維超聲圖像的三維空間位置重建耗時較長。

綜上所述，我們針對口腔顱頜面軟組織易形變而導致術中導航影像漂移的難題，通過自主研發的圖像融合算法，實現了基于光學定位的顱頜面超聲與CT圖像融合技術方法的建立及初步臨床應用，該技術對口腔顱頜面軟組織導航的研究具有重要的指導意義。但目前所存在的問題還需進一步深入研究和完善，在未來臨床中應有多中心隨機的臨床實驗，以研究其他因素對系統精度的影響，并驗證我們自主研發的超聲與CT多模態定位系統的臨床可靠性和實用性；進一步嘗試融合更多種模態信息，加大在一些新的功能性成像與解剖學成像的融合研究的力度，充分利用每一種影像的優點，實現優勢互補，為病變的準確定位提供保障；簡化系統流程，方便臨床使用。相信隨著計算機技術的發展，該技術有較大的臨床推廣應用價值，為研發具有自主知識產權的顱頜面軟組織手術超聲導航系統奠定前期基礎。

參考文獻

［1］Schramm A，Suarez-CunqueiroMM，Barth EL，et al. Computerassisted navigation in craniomaxillofacial tumors［J］. J Craniofac Surg，2008，19（4）：1067-1074.

［2］Juergens P，Beinemann J，Zandbergen M，et al. A computer-assisted diagnostic and treatment concept to increase accuracy and safety in the extracranial correction of cranial v ault asymmetries［J］. J Oral Maxillofac Surg，2012，70（3）：677-684.

［3］Schmelzeisen R，Gellrich NC，Schramm A，et al. Navigationguided resection of temporomandibular joint ankylosis promotes safety in skull base surgery［J］. J Oral Maxillofac Surg，2002，60 （11）：1275-1283.

［4］Yu H，Wang X，Zhang S，et al. Navigation-guided en bloc resection and defect reconstruction of craniomaxillary bony tumours［J］. Int J Oral Maxillofac Surg，2013，42（11）：1409-1413.

［5］Rudman K，Hoekzema C，Rhee J. Computer-assisted innovations in craniofacial surgery［J］. Facial Plast Surg，2011，27（4）：358-365.

［6］Gui H，Yang H，Shen SG，et al. Image-guided surgical navigation for removal of foreign bodies in the deep maxillofacial region［J］. J Oral Maxillofac Surg，2013，71（9）：1563-1571.

［7］Yu H，Shen SG，Wang X，et al. The indication and application of computer-assisted navigation in oral and maxillofacial surgery-Shanghai's experience based on 104 cases［J］. J Craniomaxillofac Surg，2013，41（8）：770-774.

［8］張詩雷，林艷萍，沈國芳，等.高精度光學導航輔助顱頜面骨畸形整復的技術方法建立與應用［J］.中國口腔頜面外科雜志，2010，8 （1）：10-15.

［9］辛鵬飛，沈國芳.口腔頜面外科手術導航分類及其定位配準［J］.口腔頜面外科雜志，2010，20（1）：60-63.

［10］Vetter M，Hassenpflug P，Thorn M，et al. Evaluation of visualization techniques for image-guided navigation in liver surgery［J］. Stud Health Technol Inform，2002，85：536-541.

［11］Howard JH，Tzeng CW，Smith JK，et al. Radiofrequency ablation for unresectable tumors of the liver［J］. Am Surg，2008，74（7）：594-601.

［12］Zagoria RJ，Pettus JA，Rogers M，et al. Long-term outcomes after percutaneous radiofrequency ablation for renal cell carcinoma［J］. Urology，2011，77（6）：1393-1397.

［13］Davol PE，Fulmer BR，Rukstalis DB. Long -term results of cryoablation for renal cancer and complex renal masses［J］. Urology，2006，68（1）：2-6.

［14］Simon CJ，Dupuy DE，Dipetrillo TA，et al. Pulmonary radiofrequency ablation：long-term safety and efficacy in 153 patients ［J］. Radiology，2007，243（1）：268-275.

［15］Vogl TJ，Naguib NN，Gruber-Rouh T，et al. Microwave ablation therapy：clinical utility in treatment of pulmonary metastases［J］. Radiology，2011，261（2）：643-651.

［16］李坤成，李永忠，趙富強，等.CT與MRI圖像配準與融合技術在顱腦腫瘤的初步應用［J］.中國醫學影像技術，2001，17（9）：823-825.

［17］Hakime A，Baere T D，Deschamps F，et al. Abstract No. 124：Clinical evaluation of spatial accuracy of a fusion imaging technique combining previously-acquired computed tomography and real time ultrasound for imaging of liver tumors［J］. J Vasc Int Radiol，2010，21（2）：S49.

·論著·

Ultrasound and CT Image Fusion Based on Optical Positioning - The Key Technology Research and Preliminary Application of Craniomaxillofacial Soft Tissue Navigation

YANG Chengshuai1，JIANG Dongsheng2，ZHOU Huihong3，

WU Jinyang1，SONG Zhijian2，ZHANG Shilei1. 1 Department of Oral and Cranio-maxillofacial Science，Shanghai Ninth People's Hospital，Shanghai Jiaotong University School of Medicine，Shanghai 200011，China；2 Digital Medical Research Center，Shanghai Medical College，Fudan University，Shanghai 200032，China；3 Department of Ultrasound，Shanghai Ninth People's Hospital，Shanghai Jiaotong University School of Medicine，Shanghai 200011，China. Corresponding author: ZHANG Shilei（E-mail: leinnymd@hotmail.com）.

【Key words】Ultrasound；Computed tomogrphy；Craniomaxillofacial soft tissue；Navigation；Image fusion

【Abstract】ObjectiveTo establish the technological route of ultrasound and CT image fusion based on optical tracking system and to apply in soft tissue navigation of craniomaxillofacial surgery. Methods（1）To acquire twodimensional ultrasound images and three-dimensional reconstruction through the nearest neighboring difference algorithm；（2）Ultrasound and CT image fusion through the dLDP algorithm independently researched；（3）Clinial verification and evaluation of the effect of image fusion. Results The independently researched image fusion algorithm based on dLDP realized the fusion of craniomaxillofacial ultrasound and CT，the average error was about 1.96 mm. ConclusionThe accuracy and display effect based on the dLDP algorithm can meet the clinical requirements. It has important significance in independent research of craniomaxillofacial soft tissue navigation system.

【中圖分類號】R782

【文獻標識碼】A

【文章編號】1673－0364（2016）02－0098－04

基金項目：國家自然科學基金（81371193）；上海市科委重點項目（15441906000）；上海交通大學醫工交叉研究基金青年項目（YG2015QN05）。

通訊作者：張詩雷（E-mail：leinnymd@hotmail.com）。

doi：10.3969/j.issn.1673-0364.2016.02.003

收稿日期：（2015年2月2日；修回日期：2015年3月29日）