基于視差放大與超分辨率的三維光場腹腔鏡標定

劉雪巖，許聿達，雷建昕，周光泉，張為中，周 平*

（1.東南大學 生物科學與醫學工程學院，江蘇 南京 210016；2.南京醫科大學第一附屬醫院，江蘇 南京 210029）

1 引 言

腹腔鏡是腹部微創手術的重要成像工具，在臨床中具有廣泛的應用。目前使用的三維腹腔鏡均基于雙目立體視覺原理設計，需臨床醫生佩戴專用眼鏡并自行在頭腦中重建手術對象的三維信息。根據雙目立體視覺的成像原理可知，這種三維腹腔鏡受使用環境限制，“雙目”間的基線很短，其三維成像精度較低，難以獨立滿足臨床中三維測量的要求。具有獨立三維測量功能的三維腹腔鏡是當前研究的前沿問題。

2017年，Liu等提出了一種基于光場成像原理的三維腹腔鏡［1］，為三維腹腔鏡的研究提供了一個新的思路。但是，Liu等提出的三維光場腹腔鏡僅給出了實現可能，對成像模型、標定與成像算法等關鍵問題并未給出解決方案，且其成像分辨率僅為54×36，無法滿足臨床需求。標定算法與光場圖像的分辨率是影響三維光場腹腔鏡標定精度的重要因素。傳統的光場成像系統標定均基于雙平面模型，采用將成像參數一次標定或多次分步標定的策略進行。通常，一次標定的精度較高，如Dansereau等［2-3］提出的標定方法，缺點在于成像模型中的參數物理含義不清晰，不利于對成像過程的理解。對于多次分步標定而言，后標定的參數精度受前標定精度的影響，如Zhou［4］等提出的標定方法，優點在于參數物理意義清晰。但這些光場標定方法均應用于傳統光場相機，并不適用于光場視差較小的光場腹腔鏡。此外，成像分辨率是影響標定精度的重要原因，特別是對于光場成像，由于受到帶寬積的限制，位置分辨率遠低于傳統成像分辨率。為解決分辨率低的問題，超分辨率算法是近年的研究熱點［5-6］。自卷積神經網絡在圖像處理領域取得突破性進展后［7］，Dong等在2014年提出了首個基于深度學習的圖像超分辨方法［8］，實現了遠超傳統方法的超分辨重建效果。隨后，一系列基于神經網絡結構的方法，如VDSR［9］，SR DenseNet［10］，SR GAN［11］等，基 于 上 采 樣 的 方 法，如 轉 置 卷積［12］、pixel-shuffle［13］等，以及基于損失函數的方法，如perceptual loss［14］、adversarial loss［11］等，進一步提升了深度學習超分辨方法的性能。

針對三維光場腹腔鏡的標定問題，本文在前期兩步標定法工作的基礎上，在第二步標定中針對光場視差較小的問題提出了光場視差放大方法。針對光場三維腹腔鏡的帶寬積問題，提出了基于SRDenseNet的改進型超分辨率網絡，分別對位置分辨率與角度分辨率進行超分辨率處理。

2 光場視差放大

基于以往研究成果與Dansereau的虛擬物平面理論，三維光場腹腔鏡的標定模型可用如圖1的雙平面模型表示。基于光場的雙平面理論，虛擬物平面代表方向平面（u，v），微透鏡陣列（Micro Lens Array，MLA）平面代表位置平面（s，t），因此，將三維光場腹腔鏡中的一條光線表示為L（u，v，s，t）。本文將其標定過程分解為光線成像于MLA平面與傳感器平面兩個步驟。首先，空間中的一個物點P（Xw，Yw，Zw）成像于MLA平面 點p（x，y），其成像過程如式（1）所示：

圖1 三維光場腹腔鏡的雙平面模型Fig.1 Two-parallel-plane model of 3D light field endoscope

其中：以虛擬物平面中心建立坐標系，Zc為所得的空間物點坐標中的Z方向坐標值，dob-ml表示虛擬物平面與MLA平面間的距離，MLA平面與傳感器平面間的距離采用dml-im表示，hm為物方焦平面到虛擬物平面間的距離，d為微透鏡直徑。此外，（U，V）為光線落于方向平面的坐標，但不是標定中必須求取的參數。根據光場理論，當以中心子孔徑圖像為研究對象時，（U，V）=（0，0），將式（1）描述的過程進行簡化，便于完成第一步標定。除式（1）所示參數外，光場腹腔鏡的標定需計算微透鏡陣列與傳感器平面間的距離dml-im，在傳統標定中使用單個特征點的光場視差實現。因光場腹腔鏡中的光場視差較小，標定精度較低，本文提出光場視差放大的方法加以解決。光場視差放大方法通過分析兩個特征點在不同光場特征圖像中的投影距離與dml-im間的關系，克服了單個特征點光場視差小對三維光場腹腔鏡標定的影響，其原理如圖2所示。

圖2 三維光場腹腔鏡的成像模型Fig.2 Imaging model of 3D light field endoscope

其中：q為傳感器平面的像元尺寸；Ze2是特征點P2所成實像Pe2在相機坐標系中的Z坐標，該坐標值在第一步標定后，可通過基于EPI的方法計算得到［15］；與單個特征點的光場視差不同，ΔX與ΔU反映在圖像中，其對應的像素數值通常大于1個像素，即實現了視差放大功能。三維光場腹腔鏡的標定即為求取式（1）與式（2）中的參數。

3 光場圖像超分辨率算法

本文使用棋盤格標定板進行光場三維腹腔鏡的標定。在標定過程中，使用中心子孔徑圖像進行第一步標定，其分辨率為354×236；使用元素圖像與中心子孔徑圖像進行第二步標定，元素圖像分辨率為13×13。子孔徑圖像與元素圖像分別為光場圖像的位置切片與角度切片，本文采用子孔徑圖像與元素圖像分別超分辨的策略，即分別進行光場圖像的位置超分辨與角度超分辨運算。本文基于SR DenseNet網絡進行改進，針對標定特征點搜索算法對邊界屬性的要求，將通道注意力機制［16］引入超分辨率網絡，總體結構如圖3所示。

圖3 超分辨網絡的總體結構Fig.3 Overall structure of proposed SR network

該網絡的基本思想是使用多個級聯的CAD模塊（Channel Attention Dense Block）對輸入的低分辨率圖像進行特征提取，再通過轉置卷積上采樣提升圖像分辨率。網絡共包含68個卷積層與16個全連接層，實現了輸入二維圖像的寬、高各2倍的超分辨處理。通道注意力機制體現在CAD模塊中，輸入經過可配置層數的k個密集連接卷積層后，再采用通道注意力機制對不同通道特征的自適應權重分配使重要特征的權重提升，進而增強特征提取與映射的效果。CAD模塊的結構如圖4所示。

圖4 CAD模塊結構Fig.4 Structure of CAD module

在傳統的卷積操作中，輸入特征的每個通道權重是相同的。雖然網絡可以通過整體調整對應卷積核的參數值來間接調整每一通道的權重，但這種方法無法實現對不同輸入內容的自適應權重分配。在對標定板圖像進行超分辨處理時，對于邊界區域與其他區域的超分辨率要求不一，反映在網絡中為不同通道特征的重要程度不同。為實現通道權重的自適應調整，本文采用通道注意力先對輸入特征X的每一通道XC進行全局平均池化，得到對應每個通道的特征值uc：

使用全局池化的目的在于獲取全局視野，利用整個通道的信息來提取特征。然后，本文使用兩個全連接層對特征值進行非線性映射，得到每個通道的權重vc=f(uc)，最終將通道乘以對應權重作為輸出，即YC=vC×XC。通過上述架構，通道注意力實現了獨立于空間特征的通道特征重分配，且這種分配是自適應、通過學習得到的。CAD模塊尾部添加的通道注意力部分能夠重新分配密集連接機制帶來的多通道特征，兩者的有機結合進一步提升了網絡的超分辨性能。

超分辨率網絡的理想應用場景是將現有的子孔徑圖像、元素圖像作為輸入，實現分辨率的增強。然而，由于我們無法獲得高于現有光場腹腔鏡圖像分辨率16倍的圖像，因此無法在有監督學習的框架下完成網絡訓練?？紤]到低、高分辨率標定板圖像的結構相似性，本文將原始圖像進行降采樣得到低分辨率圖像（LR）［8］，將原始圖像作為高分辨率標簽圖像（HR），使用此LR-HR圖像組作為訓練數據完成網絡訓練。網絡訓練完成后，再將原圖作為輸入圖像實現超分辨率的目標。角度、位置超分辨網絡使用的數據集均為實驗室自行拍攝，分別包含4.5萬與1.2萬組LRHR圖像，按照4∶1的比例隨機劃分為訓練集與驗證集。

本文的深度學習實驗環境為：Intel Core i7-8700 CPU，32 GB內存，Nvidia GeForce RTX 2080Ti GPU。軟件平臺為Windows10操作系統，Keras 2.2.4深度學習框架。兩個網絡分別進行了150輪訓練，使用Adam優化器和均方誤差（Mean Square Error，MSE）損失函數，初始學習率設置為10-5。位置、角度超分辨率網絡在訓練集與驗證集上的峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）訓練曲線如圖5所示，超分辨率處理結果如圖6所示。在訓練中，訓練集實施了在線數據增強，在訓練時對每張輸入LR圖像進行隨機的高斯隨機噪聲疊加，以提升網絡的穩健性與泛化能力。訓練進行150輪后，位置超分辨率網絡在進行了數據增強的訓練集與驗證集上的PSNR分別達到約36.6 d B與36.4 d B，角度超分辨率網絡的PSNR均在32.8 d B左右。

圖5 超分辨率網絡訓練曲線Fig.5 Training curves of super-resolution network

Matlab的光場工具箱在進行元素圖像重置時，采用雙三次插值計算像素值。從獲得“新”像素值的角度出發，雙三次插值是一種基本的超分辨率算法。為評價本文提出的超分辨網絡的性能，這里分別測試了雙三次插值方法、經典SR DenseNet網絡和本文提出網絡在原始訓練集LR圖像上的超分辨效果。其中，經典SR DenseNet的訓練輪數、優化方法等與本文提出的網絡相同。對比結果如表1所示。

表1 超分辨率算法的性能對比Tab.1 Performance comparison between super-resolution methods （dB）

由表1可知，以標定板圖像作為輸入圖像時，本文所提網絡具有更好的超分辨率效果。需要指出的是，位置超分辨與角度超分辨網絡的訓練集不同，因此兩者的PSNR數值不能用于直接對比。

4 實 驗

本文實現的三維光場腹腔鏡實驗系統由二維腹腔鏡（沈大）、物鏡（f=50 mm），微透鏡陣列（Pitch=0.063 mm，f=2 mm），中繼鏡與單反相機（Canon 600D，5 184×3 456 pixel，q=4.2 um）組成。如圖2所示，所有設備采用籠式結構固定，以保證光軸共軸。根據微透鏡Pitch與傳感器像元尺寸可知，光場腹腔鏡的角度分辨率為13×13，子孔徑圖像分辨率為354×236 pixel。

4.1 超分辨率網絡實驗結果

本文使用棋盤格標定板完成三維光場腹腔鏡的標定。光場腹腔鏡拍攝棋盤格標定板，其中心子孔徑圖像如圖6（a）所示。采用本文提出的位置超分辨率網絡，將子孔徑圖像的分辨率提高至原始圖像的4倍，即708×472 pixel，所得結果如圖6（b）所示。在對式（1）所含參數進行標定時，選擇棋盤格的角點作為標定特征點。如圖6（b）所示，子孔徑圖像分辨率增加，角點鄰域內的黑白區域邊界更加銳利，這些變化有利于提高角點檢測的準確性，進而提高標定精度。

圖6 標定圖像超分辨率結果Fig.6 Super-resolution results of calibration images

基于圖2原理進行參數dml-im標定，需要在元素圖像中搜索特征點，因此在位置超分辨率之后，采用本文提出的角度超分辨率網絡，將元素圖像的分辨率，即角度分辨率從13×13提高至26×26。如圖6（c）～6（d）所示，元素圖像的細節更加清晰，有助于提升特征點的搜索精度。

4.2 三維光場腹腔鏡標定

與經典標定方法相似，本文使用中心子孔徑圖像實現標定，選擇棋盤格標定板的角點作為特征點，采用張正友標定法完成式（1）所含參數的標定。針對dml-im，本文選擇元素圖像的中心點作為圖2所示的特征點P1的像點Pim1，選擇元素圖像中像點垂直于黑白交界的垂足作為特征點P2的像點Pim2。為實現dml-im的標定，如圖2所示，需分別確定特征點P1，P2在MLA平面的像點Pml1，Pml2。采用中心子孔徑圖像，根據光場成像原理，微透鏡在微透鏡陣列中的位置索引即為該微透鏡對應的元素圖像中心點在中心子孔徑圖像中的坐標，因此，與特征點P1的像點Pim1對應的像點Pml1在中心子孔徑圖像的坐標，即為Pim1對應的微透鏡在微透鏡陣列中的索引。對于Pml2的確定，依據光場成像原理，元素圖像可視為微透鏡拍攝主透鏡所成的像，因此元素圖像中特征點間的幾何關系在中心子孔徑圖像中仍成立，即特征點P2在中心子孔徑圖像中的像點Pml2應為Pml1垂直于黑白交界的垂足，如圖7所示。

圖7 d ml-im標定特征點Fig.7 Calibration feature points d ml-im

本文采用27幅位置、角度不一的標定板圖像完成第一步標定，在元素圖像、中心子孔徑圖像中選擇300對特征點完成第二步標定。經優化，使用與不使用超分辨率網絡的三維光場腹腔鏡的標定結果如表2所示。

表2 超分辨率前后三維光場腹腔鏡的標定結果Tab.2 Calibration results of 3D LFE with&without super-resolation

本文采用超分辨率前后的反投影誤差與直線擬合的確定系數（R 2）評價標定結果以及超分辨率處理對標定性能的提升效果，如圖8所示。可見第一步標定中27張圖像超分辨前有個別圖像的誤差顯著高于平均值，超分辨處理后這些圖像的誤差明顯降低；使用與不使用超分辨的平均重投影誤差分別為0.058 pixel和0.050 pixel，使用超分辨網絡后的平均重投影誤差降低了約16%。

圖8 標定反投影誤差和R-SquareFig.8 Re-projection error and R-square of calibration

第二步標定中，使用與不使用超分辨網絡的直線擬合R 2系數分別為0.86和0.91。可見超分辨后的R 2提升了約6%，數據點在回歸直線附近的分布更加密集，說明超分辨網絡能夠降低第二步標定的隨機誤差，提升直線擬合的準確度。

綜上所述，本文提出的超分辨網絡能夠提升光場腹腔鏡標定圖像的清晰度，降低光場腹腔鏡第一步和第二步標定過程的隨機誤差，幫助計算得到更精準的標定參數。

5 結 論

影響三維光場腹腔鏡標定精度的主要原因在于較小的光場視差與較低的圖像分辨率。針對第一個問題，本文提出了一種光場視差放大的方法，將標定中單個特征點的光場視差計算，轉變為兩個特征點在不同特征圖像中的距離計算，從根本上避免了小視差帶來的系統誤差；針對第二個問題，本文提出了一種適用于光場圖像的超分辨網絡，實現了比經典SRDenseNet更清晰、準確的超分辨重建效果，能夠有效提升光場腹腔鏡圖像的角度分辨率與位置分辨率。實驗結果表明，光場腹腔鏡的角度分辨率從13×13提高至26×26，位置分辨率從354×236提高至708×472，光場腹腔鏡的整體分辨率提高了16倍。此外，使用本文方法后，光場腹腔鏡標定的反投影誤差下降了約16%，直線擬合確定系數提升了約6%。使用超分辨率圖像后，在標定方法不變的情況下，標定精度的提高進一步驗證了本文超分辨率網絡的有效性。在今后的工作中，會考慮在網絡中加入3D或4D卷積結構，以獲得更好的重建效果。