基于點云三維重建技術(shù)的甲狀腺超聲穿刺三維導航研究

王子燦,付 莊,盧晨卓,趙艷娜，謝榮理，張 俊，費 健

(1.上海交通大學機械系統(tǒng)與振動國家重點實驗室，上海200240;2.上海市瑞金康復醫(yī)院，上海 200023;3.上海交通大學醫(yī)學院附屬瑞金醫(yī)院，上海 200025)

0 引言

甲狀腺穿刺手術(shù)作為一種體表下手術(shù)，為了正確定位甲狀腺結(jié)節(jié)的位置，醫(yī)生在手術(shù)的同時需通過超聲掃描儀獲取手術(shù)位置的截面信息，從而了解體表下的組織情況[1]。這種通過提供額外的體內(nèi)視覺信息的手術(shù)輔導技術(shù)稱為手術(shù)視覺導航技術(shù)[2-4]。當前甲狀腺手術(shù)的導航系統(tǒng)大多依賴于超聲截面圖像，但其空間姿態(tài)信息不明確的弱點導致醫(yī)生通過超聲截面視圖獲取結(jié)節(jié)相對手術(shù)穿刺針位置的難度增加，限制了系統(tǒng)的導航能力[5-6]。

通過甲狀腺自動超聲掃查機器人，可以獲得帶有準確空間和時間信息的超聲掃描圖像。將圖像重建成為甲狀腺三維模型，并和CT重建模型進行融合后，可組建甲狀腺穿刺手術(shù)導航模型[7]。以此為基礎，將傳統(tǒng)的甲狀腺超聲截面導航穿刺機器人系統(tǒng)與三維導航模型融合，可以為醫(yī)生提供穿刺時針尖相對于甲狀腺結(jié)節(jié)和周邊組織的位置和姿態(tài)，提升導航的直觀程度。

1 自動超聲掃查與圖像分割

1.1 甲狀腺自動超聲掃查機器人

超聲掃查機器人的掃查范圍如圖1所示。掃查機器人平臺基于文獻[8]的工作進行了修改，在增加超聲穿刺探頭的前提下，根據(jù)甲狀腺附近頸部掃查部位的皮膚表面幾何形狀進行了運動軌跡重新規(guī)劃，保證了甲狀腺的所有區(qū)域均能被掃描探頭掃查到。

圖1 自動超聲掃描區(qū)域規(guī)劃

為了獲取帶有附加空間時間精密數(shù)據(jù)的超聲截面圖像，可將如圖2所示的超聲掃描儀器和自動掃查機器人運動控制平臺相結(jié)合，每當運動控制模塊更新機器人關(guān)節(jié)角度和末端位置姿態(tài)信息時，會同時紀錄當前的掃查圖像，從而獲得高時間空間精度的甲狀腺掃描圖像。

圖2 掃查圖像采集-運動控制聯(lián)合系統(tǒng)

1.2 甲狀腺圖像分割算法

獲得帶有空間姿態(tài)和時間信息的甲狀腺原始掃描圖像后，需要對超聲圖像進行圖像強化和區(qū)域分割，才能獲得適應于建立三維模型的甲狀腺圖像。三維重建算法的總流程如圖3所示。

圖3 超聲模型三維重建算法結(jié)構(gòu)

其中，甲狀腺圖像分割算法分為經(jīng)典圖像學算法和基于深度學習網(wǎng)絡UNet架構(gòu)的圖像分割算法。經(jīng)典圖像學習算法包含增強圖像特征成分的圖像增強流程和提取最大聯(lián)通甲狀腺區(qū)域的洪泛算法。

通過圖像學分割算法獲得的各個步驟的甲狀腺圖像如圖4所示。由圖4b可見，經(jīng)典圖像分割算法選取甲狀腺組織位置的效果有限:一方面不能獲取掃描圖像內(nèi)分離的甲狀腺區(qū)域；另一方面在圖像較為嘈雜時不能區(qū)分甲狀腺與周邊組織信息，生成圖像不利于點云重建。因此系統(tǒng)引入了UNet深度學習圖像分割算法[9]。UNet的網(wǎng)絡架構(gòu)如圖5所示。

圖4 甲狀腺圖像

圖5 UNet深度網(wǎng)絡結(jié)構(gòu)

作為有監(jiān)督的機器學習算法，UNet網(wǎng)絡需要研究者提供作為學習目標的分割圖像作為訓練集。可以從經(jīng)典圖像算法分割結(jié)果圖像中選擇分割效果較優(yōu)的5%比例的圖像作為訓練集，并且通過圖像訓練集增強(image train set augmentation)的方法將訓練集合擴大為原有大小的10倍，降低了模型的過擬合，提升了模型的泛化能力。最終通過UNet分割的甲狀腺圖像如圖4c所示，可見UNet成功將甲狀腺輪廓提取出來，可以進入點云重建的算法步驟。

2 甲狀腺超聲三維重建與CT模型數(shù)據(jù)融合

2.1 甲狀腺超聲三維重建算法

甲狀腺超聲三維模型的方案建立在點云融合算法的基礎上，將單張甲狀腺的分割后的二值圖像通過式(1)采樣并表達為空間點云，則有

(1)

xscanner、yscanner、zscanner分別為生成點云在掃描頭坐標系下的表示；xpixel和ypixel為像素坐標系表示；wscanner和hscanner分別表示掃描頭掃查寬度和深度；wpixer和hpixel分別表示圖像的像素寬度和高度。

將二值圖像表達為掃描頭坐標系下的點云后，再將點云根據(jù)圖像附加的空間位置姿態(tài)信息統(tǒng)一表達在機器人基座坐標系下，即可完成將多張點云融合成為一個三維點云模型。

由于甲狀腺掃描運動和通信過程的不穩(wěn)定，實際得到的點云面片之間的間距是不均勻的，導致最后點云成像的結(jié)果不佳。基于曼哈頓距離相鄰點云切片插值增強算法，通過分析2張二值圖像之間的差距，在二者間插入指定張過渡圖像，實現(xiàn)圖像的平滑過渡，從而使得點云變得稠密均勻。

現(xiàn)將起點圖像稱為Gstart，其中值為1的像素集合為Pstart；終點圖像稱為Gend，值為1的像素集合為Pend。如圖6所示，將圖像重疊后，可以發(fā)現(xiàn)2張圖像值為1的區(qū)域根據(jù)交疊關(guān)系形成了3個子集，分別為Pstart∩Pend，Pstart-Pend，Pend-Pstart。

圖6 二值圖像的曼哈頓距離表生成算法圖解

Pstart∩Pend為圖形變化中不會發(fā)生改變的區(qū)域；Pstart-Pend為起始圖像包含而終點圖像不包含的區(qū)域，即消失的像素的集合，記為Pvanish；而Pend-Pstart為終點圖像包含而起始圖像不包含的像素區(qū)域，即新生成的像素的集合，記為Pemerge。

算法為了保證中間插入的圖像具有漸變效果，根據(jù)L1距離，從Pvanish部分遠離Pstart∩Pend的區(qū)域開始置0，而Pemerge從靠近Pstart∩Pend的區(qū)域開始賦值為1。最終生成的點云融合效果如圖7所示。

圖7 甲狀腺超聲掃描點云面片融合效果

獲得甲狀腺三維點云模型后，為了加速渲染，可對甲狀腺模型使用VTK庫中的高斯濺水法(Gaussian splatter)和等值面重建算法(iso-surface reconstruction)，獲得了甲狀腺外殼的面片三維模型[10]，從而大大減少了同一個模型幾何單元數(shù)量，在不損失模型精度的情況下提升了模型的渲染效率。形成的面片模型效果如圖8所示。

圖8 甲狀腺三維重建結(jié)果

2.2 甲狀腺模型與CT模型配準融合

寒假里，爸爸媽媽帶我去了盼望已久的長白山。在南方長大的我，還從沒見過北方這么壯觀的雪景。放眼望去，白雪皚皚，到處都像鋪了一層厚厚的白色地毯。遠處的雪道上，人們一起一伏，悠閑地滑著雪。我頓時被吸引住了，拉著爸爸、媽媽直奔服務臺，辦手續(xù)、領(lǐng)道具。

(2)

通過CT貼片的方式可以確定人體在CT坐標系下的坐標，再通過穿刺機器人針尖定位在貼片部位的方式，可以獲得定位點在機器人基座坐標系下的坐標，從而可以使用最少6個定位點確定CT模型和超聲模型的空間配準關(guān)系。配準后渲染效果如圖9所示。

圖9 甲狀腺超聲、CT模型配準重建結(jié)果

3 穿刺手術(shù)導航系統(tǒng)和實驗分析

根據(jù)上述理論和算法研究，在自動超聲掃描機器人的基礎上構(gòu)建穿刺導航機器人系統(tǒng)，將機器人姿態(tài)與甲狀腺混合模型渲染在同一模型空間中，為醫(yī)生提供全面的空間位置姿態(tài)信息。

在搭建完成的掃描穿刺導航手術(shù)機器人平臺上，可進行以甲狀腺超聲數(shù)據(jù)三維重建為目的人體自動掃查實驗，以及以檢驗機器人導航準確性的人體模型實驗，如圖10所示。

圖10 自動掃描人體實驗及導航穿刺人體模型實驗

自動掃描實驗結(jié)果如圖11所示。在0.001 s的數(shù)據(jù)采集周期下，其核心伺服掃查運動流程運動速度不大于0.30 mm/s，標準差不大于±0.01 mm/s，證明甲狀腺自動掃查運動速度均勻，和掃描區(qū)域皮膚貼合緊密，能夠滿足后繼三維重建和手術(shù)導航的要求。

圖11 自動掃描流程速度曲線分解

對于甲狀腺的圖像處理和三維重建算法實驗，由表1可以觀察到UNet圖像分割算法極大提升了可用圖像數(shù)量，且最后和精確的CT重建數(shù)據(jù)配準時，甲狀腺重建生成的可用體素數(shù)量占總個數(shù)的95%以上，證明了三維重建算法的有效性和精確性。

表1 UNet分割算法生成可用圖像比例與CT配準有效體素比例

圖12 模型運算穿刺針空間x坐標位置與真值對比

由圖12可以看出，模型運算結(jié)果與真值之間的差距主要由不大于100 ms的通信時延造成，并且由此產(chǎn)生的最大控件誤差不大于±0.1 mm，說明模型能夠準確反映物理空間中針尖位置。

4 結(jié)束語

基于甲狀腺自動超聲掃查機器人獲得的圖像，設計并實現(xiàn)了一套集三維重建、模型融合、實時渲染的甲狀腺超聲掃查穿刺手術(shù)導航機器人方案。根據(jù)人體自動掃查實驗的三維重建結(jié)果和導航模型空間配準結(jié)果，可以獲得如下結(jié)論：

a.提出的甲狀腺模型重建算法可以有效生成高質(zhì)量的、準確直觀的甲狀腺模型。

b.提出的CT、超聲數(shù)據(jù)融合方法能有效提升模型的直觀程度和信息量。

c.所建立的甲狀腺超聲穿刺導航系統(tǒng)能夠精確反映穿刺針在空間中的位置和姿態(tài)，以及相對穿刺目標之間的位置關(guān)系，其空間絕對誤差不大于±0.1 mm。