基于深度學習的胰腺圖像自動三維重建

紀建兵，張景林，楊媛媛

摘? 要： 胰腺圖像的三維重建對于輔助疾病診斷具有重要意義。提出一種全自動的胰腺圖像三維重建方法，利用改進的U-Net深度學習網絡對圖像進行分割，并結合面繪制算法生成三維可視化模型。實驗結果表明，該方法重建準確度較高，執行效率快，對輔助診療具有積極的作用。

關鍵詞： 胰腺; 深度學習; 面繪制; 三維重建

中圖分類號：TP391.9? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2022）01-68-04

Automatic 3D reconstruction of pancreas image based on deep learning

Ji Jianbing1， Zhang Jinglin1， Yang Yuanyuan2

（1. College of Information Engineering， Fujian Business University， Fuzhou， Fujian 350012， China;

2. Department of General Surgery， Fujian Medical University Union Hospital）

Abstract： The 3D reconstruction of the pancreas images is of great significance for assisting disease diagnosis. A fully automatic 3D reconstruction method of the pancreas is proposed， which uses an improved U-Net deep learning network to segment the images， and creates a 3D visual model by surface rendering algorithm. The experiment results show that the proposed method has high reconstruction accuracy and fast execution efficiency. Therefore， it has a positive effect on assisting diagnosis and treatment.

Key words： pancreas; deep learning; surface rendering; 3D reconstruction

0 引言

胰腺癌的治療主要在于對局部腫瘤做有效的切除手術，但手術存在很大的風險。手術前讓病人做計算機斷層掃描（Computer Tomography，CT），對掃描圖像中的胰腺器官進行三維重建，可以直觀地顯示出其立體空間結構從而精準判定出內部的實際情況，這對于制定出有效的治療方案以及減少因判斷失誤造成的意外具有重要作用[1]。胰腺結構復雜、形狀多變，利用Mimics、3D Slicer等軟件工具的人工重建方式存在很大的不確定性。因此，研究胰腺圖像自動三維重建具有很強的現實意義，也是醫學圖像處理領域所關注的重要命題。

由于胰腺圖像的灰度信息難以概括出某種確定的屬性，通過閾值分割、邊緣檢測等傳統的圖像處理算法難以達到預期效果。近年來對胰腺圖像的自動分割研究主要以深度學習技術展開[2]，其原理是通過構建和訓練卷積神經網絡對圖像中的每一個像素進行目標和背景分類，從而完成整個序列圖像的分割。圖像分割結果僅顯示了二維層面的信息，無法全方位直觀地觀測到目標的細節，因此還需要對分割后的結果進行三維重建。面向醫學圖像的三維重建方法主要有面繪制[3]和體繪制[4]，其中體繪制方法存在計算量大、難以滿足實時性要求，而面繪制的方法只需要繪制出三維空間表面，因此成像速度快，更適合于胰腺圖像自動三維重建的需求。

本文提出基于深度學習的胰腺圖像自動三維重建工作系統。該系統利用改進的U-Net[5]深度學習網絡對圖像進行分割，并結合面繪制方法的移動立方體（marching cube，MC）[6]算法對分割結果進行三維重建。實驗結果表明，所提方法重建速度快，準確度較高，對手術引導具有積極作用。

1 基于深度學習的胰腺圖像自動三維重建

1.1 方法流程

基于深度學習的胰腺圖像自動三維重建整體流程如圖1所示。流程的關鍵節點在于圖像分割網絡的構建及應用。首先使用帶有胰腺真實標記的CT圖像數據訓練深度卷積神經網絡，然后通過已訓練網絡對CT圖像中的胰腺進行分割，最后將分割結果重建為三維模型。流程中對所有的CT圖像均采用統一的圖像增強方法進行預處理。

1.2 圖像增強

由于CT圖像采集具體流程的差異，如采集設備及技術標準的不同等因素均會對成像產生全局影響，因此在將圖像數據導入深度學習網絡之前，需要使用圖像增強的手段對原始圖像做必要的統一處理，從而改善圖像視覺效果，便于網絡的分析和特征提取。

本文采用的圖像增強方式有灰度歸一化和直方圖均衡化。灰度歸一化算法為Max-Min歸一化，其本質是將灰度值轉化為百分制的形式，可以避免過小值的像素點在深度學習網絡的計算中被忽略。直方圖均衡化用于調整圖像的灰階分布，通過提高圖像對比度來增強圖像細節，使網絡能更好地提取圖像特征。

1.3 胰腺圖像分割網絡

醫學圖像分割領域使用最為廣泛的深度學習網絡是由Ronneberger等人提出的U-Net，該網絡通過逐級的下采樣和上采樣，并在相同的層級上加入跳躍連接使得網絡在最終輸出的時候能夠同時考慮淺層信息和深層信息，因此對于大部分的圖像分割任務都能產生良好的效果。但由于胰腺在圖像中的占比小，以及位置不固定等原因，使用U-Net對胰腺圖像分割存在特征提取不充分和存在較多冗余信息，導致分割結果不夠理想。

為了獲得更好的胰腺圖像分割效果，本文在U-Net的基礎上進行了分割網絡改進。首先，在卷積單元中使用了由HE等人提出的殘差連接[7]，通過將處理前后的特征信息相加形成殘差卷積塊，使得網絡能夠保留更多的原始胰腺特征細節，從而豐富特征提取;然后，在跳躍連接中加入了由Oktay等人提出的注意力門控模塊[8]對冗余信息進行過濾，使網絡能夠專注于胰腺目標區域的學習;模型最后的輸出由Sigmoid函數進行歸一化，從而輸出每一像素的概率圖譜。網絡整體結構如圖2所示。

在網絡模型訓練過程中，由于胰腺區域和背景區域的像素量差異大，本文使用了Dice損失[9]進行誤差計算，定義為：

[Loss=1-2×P×T+εP+T+ε]? ?⑴

其中P為網絡預測輸出的分類概率圖譜，[ Pi∈0，1]，T為真實標記，[T∈0，1]，[?]為極小常數的平滑項，用于避免當[P]和[T]都為0時導致分母為0的錯誤。

1.4 基于MC算法的胰腺圖像三維重建

通過面繪制的三維重建是根據二維圖像序列生成可視化三維物體，得到的物體表面是一個閉合的灰度等值面。因此，使用MC算法實現胰腺圖像三維重建需要先將分割后的片層圖像組成三維數據場，然后提取出等值面，進而繪制成三維可視化模型。算法的主要步驟是：

⑴ 將分割后的胰腺圖像序列按深度組成一個三維體數據，并將數據中兩組上下相對應的四個頂點組成一個體元;

⑵ 通過體元中8個頂點的灰度值與給定閾值的關系狀態進行查表（見圖3），得到等值點所在的邊編號，然后在邊上進行線性插值得到等值頂點的坐標;

⑶ 用三角形將等值點連成三角面并以灰度差分法求取法向量，從而得到一個體元內的等值面;

⑷ 把所有體元內的等值面連接在一起，繪制出整個胰腺的三維可視化模型。

2 實驗

2.1 實驗數據

實驗在NIH胰腺公開數據集（CT-82）上進行，該數據集共有82例有效3D腹部CT數據，掃描的分辨率為512×512像素，片層厚度在1.5mm至2.5mm之間，對影像數據中的胰腺區域進行逐片層的人工標注。該數據集是公開的，可用于方法評估。實驗中將數據集解壓為二維圖像，隨機抽取70例用于模型訓練，抽取12例用于結果評價。

2.2 評價指標

評價指標包括DSC（Dice Similarity Coefficient，集合相似度系數）、系統重建耗時以及與真實標記重建結果的可視化對比。其中，DSC通過網絡預測的分割與真實標記相交部分占總體的比值來衡量分割的準確度，以P表示算法預測結果，Y表示真實標記，則DSC定義為：

[DSC=2P∩YP+T]? ? ⑵

2.3 胰腺圖像分割結果

胰腺圖像的分割結果見表1。從表1可以看出，本文提出的分割網絡獲得了較高的分割準確度，且相比標準U-Net，分割的平均DSC提高了10%，最好的分割結果提高了3.49%，在最差情況下的DSC仍高出11.48%。這些數據證明了本文對U-Net的改進能夠更好的提高胰腺圖像分割的準確度。

2.4 三維重建結果

胰腺圖像自動三維重建結果與真實標記的比較如圖4所示，圖中列出了測試集中3組典型樣本（CT-82中的第69、75和第77例）的重建結果對比。在結果較好的測試樣本中（如第69例），本文方法重建結果與真實標記基本相同，且優于使用標準U-Net的自動重建;重建結果存在的較多誤差主要在于多預測了無關的組織（如第75例），其主要原因在于網絡存在多分割，但相比U-Net，本文方法的改善效果明顯，重建出的三維圖像主體明確，誤差明顯減少;而對于結果較差的樣本（如第77例），誤差主要表現在漏掉了一部份組織，但本文方法對于局部重建效果仍有明顯改善。因此，本文方法對于不同測試樣本的重建結果與真實標記基本接近，能夠直觀反映出胰腺器官的實際情況，且三維重建結果優于使用標準U-Net的方法，證明了本文方法的實用性。

表2中統計了通過兩組分割網絡進行自動重建的系統耗時。相比使用U-Net網絡，本文方法增加了1.2%的網絡大小，因此增加了少量的重建耗時，但沒有明顯影響到整個系統的計算效率。在效率最低的情況下，本文方法用時不到15秒即可完成整個CT樣本的自動三維重建，證明了本文方法的高效性。

3 結束語

為更好輔助胰腺疾病診斷，本文提出基于深度學習的胰腺圖像自動三維重建系統。利用改進的U-Net網絡對CT圖像中的胰腺目標進行自動分割，并結合MC算法實現三維重建。本文方法重建速度快，準確度較高，能夠全方位、多角度地了解胰腺結構，對輔助醫學診療具有積極作用。重建的準確度與分割結果關系緊密，下步研究的重點是進一步提升分割的準確度。

參考文獻（References）：

[1] 周瑞泉，紀洪辰，劉榮.智能醫學影像識別研究現狀與展望[J].第二軍醫大學學報，2018.39（8）：917-922

[2] 曹正文，喬念祖，卜起榮，等.結合超像素和U型全卷積網絡的胰腺分割方法[J].計算機輔助設計與圖形學學報，2019，31（10）：1777-1785

[3] 賀楠楠.醫學圖像三維重建面繪制算法研究[J].電腦知識與技術，2017，13（32）：210-211，213

[4] 易瑋瑋，陳子軒，徐澤楷，侯文廣.一種基于CPU的三維超聲圖像體繪制方法[J].生命科學儀器，2019，17（1）：32-36，31

[5] Ronneberger O，Fischer P，Brox T.U-net：Convolutional networks for biomedical image segmentation[J].CoRR abs/1505.04597（2015）

[6] rensen W E， Cline H E.Marching cubes：A high resolution 3D surface construction algorithm[J].Acm Siggraph Computer Graphics，1987，21（4）：163-169

[7] HE K，ZHANG X，REN S，et al. Deep residual learning for image recognition[C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway：IEEE，2016：770-778

[8] OKTAY O，SCHLEMPER J，LE FOLGOC L，et al. Attention?UNet：Learning where to look for the pancreas[EB/OL].[2019-04-13].https：//arxiv.org/pdf/1804.03999.pdf.

[9] Milletari F， Navab N， Ahmadi S A. V-net： fully convolutional neural networks for volumetric medical image segmentation [C]//2016 fourth international conference on 3D vision （3DV）. New York： IEEE，2016：565-571