三維醫(yī)用電子內(nèi)窺鏡可視化中的幾何畸變

夏振平，張博文，王 飛，程 成，顧敏明

(1.蘇州科技大學(xué) 電子與信息工程學(xué)院，江蘇 蘇州 215009；2.蘇州市立醫(yī)院泌尿外科，江蘇 蘇州 215002)

1 引 言

近年來，三維(Three Dimensions, 3D)影像獲取與可視化技術(shù)在娛樂、醫(yī)療、教育、軍事和科學(xué)研究等領(lǐng)域有著廣泛的應(yīng)用[1-3]。成人雙眼平均瞳距(Inter-Pupillary Distance, IPD)為63 mm，左右眼位于不同的位置使得觀看到的內(nèi)容存在視差[4]。左右眼感知到的視差圖像經(jīng)過視覺系統(tǒng)處理后形成雙目單視。在雙眼信息融合過程中，視差提供了重要的深度感知信息。3D影像獲取與顯示系統(tǒng)就是基于人類視覺系統(tǒng)的這一特性，模擬人眼感知真實世界的方式，通過不同的呈現(xiàn)手段創(chuàng)造了虛擬的3D世界。

3D醫(yī)用電子內(nèi)窺鏡是3D技術(shù)在醫(yī)療領(lǐng)域應(yīng)用的重要方向之一。自2010年英國進行了世界首例3D腹腔鏡外科手術(shù)[5]后，3D醫(yī)用電子內(nèi)窺鏡被廣泛使用[6-8]。與傳統(tǒng)的兩維(Two Dimensions, 2D)內(nèi)窺鏡相比，3D內(nèi)窺鏡具有相當?shù)拇笮『椭亓浚以谏疃雀兄⑾鄬Υ笮∨袛唷⑹盅蹍f(xié)調(diào)等方面具有顯著優(yōu)勢[9]，其也逐漸被醫(yī)護人員認可，慢慢替代了傳統(tǒng)的2D內(nèi)窺鏡。Kong等人[10]比較了3D腹腔鏡手術(shù)與傳統(tǒng)2D腹腔鏡手術(shù)在手術(shù)時間、誤差率以及深度感知、舒適度等方面的差異。研究表明，3D腹腔鏡手術(shù)具有顯著的深度感知效果，并且手術(shù)誤差率明顯降低。Schoenthaler等人[11]通過比較移動小物件和精細切割的任務(wù)執(zhí)行情況，研究發(fā)現(xiàn)3D內(nèi)窺鏡相較傳統(tǒng)內(nèi)窺鏡具有更好的表現(xiàn)，使用3D內(nèi)窺鏡執(zhí)行任務(wù)時受測者感到更為自信和舒適。蔣堃等人[12]比較了腎上腺腫瘤手術(shù)中使用3D和傳統(tǒng)2D腹腔鏡的差別。手術(shù)時間和術(shù)中出血作為研究比較的兩項指標，3D腹腔鏡手術(shù)均具有統(tǒng)計學(xué)意義的顯著性優(yōu)勢。結(jié)果表明，3D腹腔鏡技術(shù)較傳統(tǒng)2D技術(shù)在空間定位及深度感知上有明顯優(yōu)勢，從而降低了手術(shù)的難度，縮短了手術(shù)時間。除了實際的臨床手術(shù)，在醫(yī)學(xué)外科手術(shù)技巧培訓(xùn)中，3D內(nèi)窺鏡技術(shù)也以其優(yōu)勢發(fā)揮著重要作用[13]。

與3D技術(shù)在其他領(lǐng)域的應(yīng)用類似，圖像質(zhì)量和使用舒適度的提高一直是醫(yī)護人員對3D技術(shù)應(yīng)用的訴求，也是相關(guān)科研技術(shù)人員追求的目標。為了獲得更廣的觀測視角，內(nèi)窺鏡通常采用短焦距的廣角鏡頭，從而使獲取的雙目視圖(2D)圖像存在明顯的幾何畸變效果。為了快速有效地評價內(nèi)窺鏡圖像的幾何畸變程度，侯蕊等人[14]提出了一種基于橢圓擬合的檢測方法。為了提高內(nèi)窺鏡的成像質(zhì)量，宋璐等人[15]提出了一種基于FPGA的圖像畸變校正方法，對常見的桶形畸變進行校正，從而提高成像的精確度；張建勛等人[16]基于加權(quán)引導(dǎo)濾波的圖像增強算法，提出了內(nèi)窺鏡成像紋理細節(jié)提升方法，該方法可以去除漂浮雜質(zhì)。王強等人[17]通過多顏色空間非線性對比度拉伸的方法提高內(nèi)窺鏡所獲圖像的血管與組織的對比度，可以增強原始特征不明顯的細小血管。由于3D內(nèi)窺鏡系統(tǒng)有單目圖像或多目2D視差圖像組成，當前的3D內(nèi)窺鏡圖像質(zhì)量及相關(guān)舒適度的評價及提升研究還僅是基于2D圖像。基于3D內(nèi)窺鏡影像獲取、顯示和視覺感知全過程，構(gòu)建3D內(nèi)窺鏡虛擬空間模型，對于醫(yī)護人員在使用3D內(nèi)窺鏡進行手術(shù)時真實感知到的場景進行優(yōu)化顯得十分重要。

使用過程中醫(yī)護人員的視覺不舒適可能是當前阻礙3D內(nèi)窺鏡技術(shù)推廣的最大障礙之一，長時間使用時可能引起頭暈、頭痛、惡心甚至嘔吐[18]。研究人員提出了很多理論試圖解釋這類3D內(nèi)容觀看時產(chǎn)生的不舒適癥狀，其中的經(jīng)驗理論認為當前感知的信息與前期經(jīng)驗積累的信息不符是引發(fā)此類3D視覺感知不舒適的重要因素[19]。那么，3D內(nèi)窺鏡影像獲取與可視化過程中的參數(shù)不匹配會產(chǎn)生感知立體影像的空間幾何畸變，這種幾何畸變在物體運動時產(chǎn)生的動態(tài)畸變與預(yù)期的剛性和穩(wěn)定性會形成沖突，這種沖突會引起3D內(nèi)窺鏡使用過程中醫(yī)護人員的視覺不舒適。

本文考慮到3D醫(yī)用電子內(nèi)窺鏡系統(tǒng)可視化的特殊性，詳細分析了其影像獲取、3D顯示系統(tǒng)呈現(xiàn)以及醫(yī)護人員通過3D眼鏡等輔助設(shè)備視覺感知的全過程，構(gòu)建了系統(tǒng)的3D內(nèi)窺鏡可視化模型。對可能造成虛擬空間幾何畸變的因素進行了逐一分析，提出了有針對性的使用指導(dǎo)意見，對3D內(nèi)窺鏡實際使用過程中的感知精度和視覺舒適度的提升具有一定作用和參考價值。

2 三維醫(yī)用電子內(nèi)窺鏡

三維醫(yī)用電子內(nèi)窺鏡基于人眼觀看真實世界的方式，提供了具有深度信息的立體影像，從而大幅提高了手術(shù)操作的精準性。三維醫(yī)用電子內(nèi)窺鏡系統(tǒng)主要由兩部分組成，即3D內(nèi)窺鏡成像系統(tǒng)和用于可視化的3D顯示系統(tǒng)。

為了盡可能地減少患者的創(chuàng)傷，縮小創(chuàng)口的大小，內(nèi)窺鏡的尺寸大小是嚴格限制的。現(xiàn)有報道中，3D內(nèi)窺鏡的直徑可以小到4 mm[7]。實現(xiàn)3D內(nèi)窺鏡的方法中，最典型的應(yīng)該是雙光通道方法。其由兩個完全一樣的高清攝像頭組成，攝像頭并排設(shè)置，可以獲取具有視差的雙視圖(如圖1所示)。除此之外，特殊設(shè)計的雙光通道組合一個高清攝像頭也可以實現(xiàn)3D內(nèi)窺鏡的雙通道圖像獲取[20]。無論采用哪種方式實現(xiàn)，3D內(nèi)窺鏡系統(tǒng)最終的目的是讓使用該設(shè)備的醫(yī)護人員能夠看到具有視差的左右眼視圖，從而形成具有深度信息的立體視覺。

圖1 雙光通道三維醫(yī)用電子內(nèi)窺鏡。(a)三維攝像機系統(tǒng)；(b)雙攝像機；(c)硬式內(nèi)窺鏡；(d)雙鏡頭。

3D內(nèi)窺鏡中的深度信息是由雙光通道處于不同的位置而形成。以直徑為4 mm的硬式3D內(nèi)窺鏡為例，管壁的厚度至少0.5 mm，留給雙通道攝像頭的空間僅為3 mm。雙攝像頭左右放置，攝像頭基線距離僅為1.2 mm左右[7]。與成人雙眼平均瞳距IPD的63 mm相比，3D內(nèi)窺鏡系統(tǒng)的雙攝像頭基線距離是非常小的，這也就形成了該3D獲取與成像系統(tǒng)的特殊性。

形成立體視覺的第二個條件就是立體顯示系統(tǒng)。在使用相同的3D成像內(nèi)容的情況下，立體顯示系統(tǒng)可以使用傳統(tǒng)的眼鏡式或裸眼立體顯示。在三維醫(yī)用電子內(nèi)窺鏡系統(tǒng)可選的顯示系統(tǒng)中，同時基于幾何空間的畸變研究，從本質(zhì)上，這兩者在空間幾何構(gòu)建上并沒有實質(zhì)性差別[21]。傳統(tǒng)眼鏡式立體顯示以偏振眼鏡式為例，它是通過不同偏振方向或偏振態(tài)的光區(qū)分左右眼影像。裸眼立體顯示系統(tǒng)在空間不同方向投射具有視差的左右眼影像。兩者均為了向觀看者的左右眼分別投射具有視差的左右視圖，以形成立體視覺。

3D內(nèi)窺鏡系統(tǒng)的臨床應(yīng)用如圖2所示。微創(chuàng)手術(shù)過程中，3D內(nèi)窺鏡系統(tǒng)獲取具有視差的左右視圖影像(圖2(b))，通過偏振式立體顯示系統(tǒng)顯示手術(shù)過程中的影像，醫(yī)護人員佩戴偏振式立體眼鏡觀看3D顯示屏幕進行手術(shù)操作或手術(shù)狀態(tài)的監(jiān)控。由于實際應(yīng)用中的場地等條件限制，醫(yī)護人員觀看同一3D手術(shù)內(nèi)容時所處的位置和觀看的角度是不同的(圖2(a))。理論上講，每個醫(yī)護人員所感知到的立體影像是不完全相同的，除了前面講到的立體影像采集與顯示部分，立體影像的觀看位置和角度也是影響最終感知效果的重要因素[22]。3D內(nèi)窺鏡顯示系統(tǒng)同樣存在最佳的觀看位置和角度的范圍，這與3D內(nèi)窺鏡雙攝像頭基線范圍、3D顯示屏幕的大小、人眼瞳距等因素都直接相關(guān)。

圖2 三維內(nèi)窺鏡臨床應(yīng)用。(a)手術(shù)過程中通過偏振式立體眼鏡觀看影像；(b)手術(shù)進行中獲取的三維內(nèi)窺鏡影像，具有視差的左右視圖通過偏振式三維顯示系統(tǒng)顯示。

3 三維內(nèi)窺鏡影像獲取與可視化模型

3D內(nèi)窺鏡影像獲取與可視化參數(shù)之間的關(guān)系直接影響最終的感知效果。3D影像獲取中采用平行攝像頭配置模式(圖3(a))，3D顯示中采用基于雙目視差的立體顯示(圖3(b))是較為常見的系統(tǒng)模式[23-24]。3D內(nèi)窺鏡影像獲取與可視化模型將基于以上常見配置模式構(gòu)建。

圖3 三維影像獲取、顯示與感知。(a)平行式雙攝像機配置獲取真實世界場景影像；(b)虛擬世界場景呈現(xiàn)與視覺感知。

3D內(nèi)窺鏡影像獲取與可視化過程可以總結(jié)為3個主要的坐標轉(zhuǎn)換步驟，最終形成由物體空間(Xo,Yo,Zo)向圖像空間(Xi,Yi,Zi)的轉(zhuǎn)換過程。物體空間以雙攝像頭的連線中心點為坐標原點(圖3(a))，圖像空間以雙眼連線的中心位置為坐標原點(圖3(b))。物體空間與圖像空間之間的轉(zhuǎn)換需要通過攝像頭的傳感器坐標以及顯示屏坐標，轉(zhuǎn)換過程如式(1)～(3)所示[24]。其中，空間坐標轉(zhuǎn)換涉及的符號及其含義如表1所示。

表1 空間坐標轉(zhuǎn)換涉及的符號

第一個坐標轉(zhuǎn)換步驟是由3D的物體空間轉(zhuǎn)換到2D的攝像頭傳感器坐標，物體空間(Xo,Yo,Zo)中的物點Po投射到左右攝像頭傳感器上分別形成Ol和Or。Ol和Or分別以(Xcl,Yc)和(Xcr,Yc)的2D形式表達，具體轉(zhuǎn)換過程如式(1)所示。

(1)

其中：f是攝像頭的焦距，bc是雙攝像頭的基線距離，s是平行式配置模式下攝像頭傳感器的補償位移，Yc的表達默認在垂直方向上左右傳感器坐標無差異。式(1)基于小孔成像模型，考慮左右攝像頭傳感器的補償位移，表達了從3D物體空間到2D攝像頭傳感器坐標的轉(zhuǎn)換過程(如圖3(a)所示)。

第二個坐標轉(zhuǎn)換步驟是由攝像頭傳感器坐標轉(zhuǎn)換到顯示屏坐標，體現(xiàn)為攝像頭傳感器采集的圖像內(nèi)容在顯示屏上呈現(xiàn)，Ol和Or在顯示屏坐標分別對應(yīng)左右視圖Sl和Sr的位置。Sl和Sr分別以(Xsl,Ys)和(Xsr,Ys)的2D形式表達，具體轉(zhuǎn)換過程如式(2)所示。

(2)

其中，Ws是顯示屏的寬度，Wc是攝像頭傳感器的寬度，Ys默認在垂直方向上顯示屏顯示的左右視圖坐標無差異。默認顯示屏和攝像頭傳感器具有相同的寬高比例，僅以寬度比例代表坐標的放大率。

第三個坐標轉(zhuǎn)換步驟是由2D的顯示屏坐標轉(zhuǎn)換到3D的圖像空間，體現(xiàn)為人眼的雙目立體視覺融合過程，雙目影像Sl和Sr融合為圖像空間中的三維像點Pi(Xi,Yi,Zi)，具體轉(zhuǎn)換過程如式(3)所示。

(3)

其中：be為模型中的雙眼基線距離，也就是瞳距IPD，Vd是觀看者相對3D顯示屏的實際觀看距離。如果是近眼3D顯示設(shè)備，觀看距離同樣可以根據(jù)相關(guān)參數(shù)進行換算求得。整個雙目融合的感知過程如圖3(b)所示，觀看距離及觀看者瞳距等觀看條件直接影響感知到的幾何空間構(gòu)建，這也體現(xiàn)了人因在3D成像系統(tǒng)中的重要地位。

基于通常使用的平行攝像頭配置模式，攝像頭傳感器和顯示屏幕上左右視圖在Y方向上并沒有任何差異。如果能確保3D影像的采集和可視化過程中的基線距離(bc和be)、會聚距離(Cd和Vd)以及視場角度(α和β)完全一致，物體空間將與圖像空間完美匹配。雖然表達式(1)～(3)中沒有涉及攝像機會聚距離Cd以及視場角(α和β)，但是表1的這些參數(shù)之間是有可以相互表示的約束關(guān)系。

鑒于3D內(nèi)窺鏡系統(tǒng)的特殊性：3D影像采集的雙攝像頭基線距離bc遠小于可視化過程中的雙眼瞳距IPD(be)。3D內(nèi)窺鏡系統(tǒng)中物體空間與圖像空間絕不可能完全匹配。通常情況下，3D內(nèi)窺鏡系統(tǒng)中，物體空間的物體在圖像空間中將會以放大數(shù)十倍的形式呈現(xiàn)。這也完全符合3D內(nèi)窺鏡“顯微”助視的特性，但在放大過程中也要確保影像相對大小的一致性。

4 空間幾何畸變分析

3D內(nèi)窺鏡系統(tǒng)的幾何畸變分析是基于3D內(nèi)窺鏡影像獲取與可視化模型，分析相關(guān)參數(shù)變化導(dǎo)致圖像空間中的物像在各個維度上放大倍數(shù)不一致的問題。Woods[24]和Gao[22]基于常規(guī)的3D影像采集與可視化過程，分析了立體空間的幾何畸變問題。作為一種獨特的3D系統(tǒng)，3D內(nèi)窺鏡系統(tǒng)可視化的虛擬圖像空間是基于真實空間放大數(shù)十倍的可視化效果。在常規(guī)的3D影像獲取與可視化系統(tǒng)中，3對參數(shù)的匹配與否將影響幾何畸變。每一對參數(shù)均一致時，感知的虛擬影像將與真實空間物體完全匹配。在3D內(nèi)窺鏡系統(tǒng)中，雙攝像頭的基線距離是固定的，并且遠小于雙眼IPD。理想的物像重現(xiàn)是3個維度上具有相同的放大率。為確保3個維度上的放大率一致，影像采集與可視化的視場大小必須一致(如式(4)所示)，同時基線距離與會聚距離的比例必須相同(如式(5)所示)。基于典型的案例，攝像頭基線距離約為1.2 mm左右，而成人IPD為63 mm，相比之下雙眼IPD是攝像頭基線長度的50倍左右，所以3D內(nèi)窺鏡系統(tǒng)理想的放大率也是50左右。

α=β，

(4)

(5)

為了更直觀地呈現(xiàn)3D內(nèi)窺鏡系統(tǒng)的可視化效果，圖4展示了3D內(nèi)窺鏡系統(tǒng)的可視化模擬結(jié)果。真實世界(物體空間)中一個邊長為2 cm的立方體(圖4(a))在虛擬世界(圖像空間)的理想放大影像為邊長1 m的立方體(圖4(b))。3D內(nèi)窺鏡不恰當?shù)氖褂茫瑫a(chǎn)生感知影像的幾何畸變?nèi)鐖D4(c～f)所示。在實際應(yīng)用當中，3D顯示屏幕尺寸的選擇以及使用者的最佳觀看距離需要遵循式(4)和式(5)。以攝像頭會聚距離30 mm，單個攝像頭視場角58°為例，最佳觀看距離為1.5 m，與之匹配的三維顯示屏為190.5 cm(75 in)(屏幕比例為16∶9)。

圖4 三維內(nèi)窺鏡可視化效果模擬。(a)真實世界中的物體；(b)無畸變的放大可視化；(c～f)畸變的可視化效果與理想情況的比較。

5 結(jié) 論

三維電子內(nèi)窺鏡憑借立體影像提供的立體空間深度感知優(yōu)勢，可以為更加精確的診斷和手術(shù)操控提供保障，已廣泛應(yīng)用于各類醫(yī)學(xué)診斷、微創(chuàng)手術(shù)以及醫(yī)學(xué)培訓(xùn)。空間復(fù)現(xiàn)的精確性是3D內(nèi)窺鏡的基本要求，影像獲取與可視化參數(shù)的匹配程度不僅影響空間復(fù)現(xiàn)的精確度，還有可能導(dǎo)致醫(yī)護人員使用時的視覺不舒適問題。本文基于3D電子醫(yī)用內(nèi)窺鏡系統(tǒng)影像獲取、顯示及感知過程的分析，建立了影像獲取與可視化模型，分析了3D內(nèi)窺鏡系統(tǒng)的特殊性以及使用過程中可能出現(xiàn)的立體空間幾何畸變情況，提出了參數(shù)匹配以確保3D內(nèi)窺鏡影像無畸變等比例放大的方法。