基于同構化改進的U-Net結直腸息肉分割方法

沈志強 林超男 潘 林 聶煒宇 裴 玥 黃立勤 鄭紹華

(福州大學物理與信息工程學院，福州 350108)

引言

結直腸癌(colorectal cancer，CRC)是全球第二大常見的癌癥致死病種[1]。全球癌癥數據統計顯示，2020年有190 萬以上的CRC 病例，其中死亡病例93.5 萬，約占癌癥死亡病例的1/10[1]。大多數CRC 來源于腺瘤性息肉，最初在結腸和直腸內壁上呈良性生長，隨著時間的流逝而轉變成惡性腫瘤。研究顯示，早期診斷的CRC 患者5年相對生存率可達90%，但至晚期診斷下降到只有14%[2]。可見，結腸息肉的早期發現和診療至關重要。結腸鏡檢查是一種被廣泛使用于臨床的結腸篩查和息肉檢測技術[3]。但是，在結腸鏡檢測過程中，結腸內部環境復雜以及存在潴留液體、腸黏膜反射等現象，增加了內鏡醫生的負擔。最近的臨床研究表明，平均每個受試者大約有25%的息肉會被遺漏[4]。計算機輔助診斷(computer-aided diagnosis，CAD)通過檢測或分割出息肉區域，有可能輔助醫生提高息肉的檢出率，并減輕醫生的負擔。

在過去的20年，已經有許多基于特征匹配的息肉檢測和分割方法被提出[5]，有基于模糊聚類的息肉分割方法[6]，基于息肉輪廓區域顏色、形狀和曲率分析的特征提取方法[7]，基于超像素特征勾勒息肉區域并融合稀疏自編碼器提取具有不同顯著性特征的方法[8]，采用第二曲率顯著性區域測量的息肉結構特征提取方法[9]等。但是，由于息肉區域的多樣化紋理、形狀和顏色，以及與背景區域的極大相似性，所以這些方法都無法達到較好的性能，精確的息肉分割仍極具挑戰性。

近年來，深度學習在計算機視覺領域取得了巨大的成功。具體來說，卷積神經網絡(convolutional neural network，CNN)在圖像分類[10-11]、圖像分割[12]和目標檢測[13]等視覺任務中取得了一系列突破。與此同時，深度學習方法在醫學圖像處理領域(如醫學圖像分割和病變檢測等方面)也取得了令人矚目的成果。特別地，編解碼網絡U-Net[14]已經成為目前最流行的分割框架之一。

U-Net 編解碼器的處理單元是雙層卷積層，編碼器和解碼器網絡中的相應單元由跳層路徑(skip connection，SC)所連接。盡管U-Net 在圖像分割中取得了巨大的成功，但它的網絡結構仍然存在兩個局限:一是編解碼器對應的特征之間存在語義鴻溝[15-17]；二是雙層卷積層無法學習多尺度信息[17]。為了緩解編碼器和解碼器特征映射之間的語義鴻溝，有研究者提出了一種名為U-Net++的深度監督網絡，其編解碼器則由一系列巢狀跳層路徑所連接[15-16]。然而，嵌套連接極大地增加了網絡的復雜度，且忽略了對每個處理單元內部結構的改進。接著，又有學者提出了一種多級殘差編解碼網絡(MultiResUNet)，包括用于學習多尺度特征圖的多級殘差塊(MuitiRes Block)和用于減少語義鴻溝的殘差路徑(ResPath)[17]。然而，其編碼器和解碼器網絡中的MultiRes Block 與ResPath 中的處理單元是不同的，這種差異導致MultiResUNet 將U-Net 的兩個局限性割裂看待，會導致局部最優的情況發生，即無法減小因編解碼器的處理差異而產生的語義差距。

本研究提出一種基于同構化改進的U-Net 網絡(dense residual unit based identical network，DRINet)，可同步解決U-Net 中存在的上述兩個問題。首先，該網絡將同構單元(identical unit，IU)引入到原始U-Net 的編解碼器和跳躍連接中，以構成INet；然后，設計一個基于卷積單元(convolutional units，CU)的同構網絡(CINet)作為過渡模型，其處理單元與原始U-Net 相同，即通過在跳躍路徑中引入與編解碼器相同的處理單元，可以顯著地抑制由處理差異引起的語義鴻溝。接著，為了使網絡能夠學習多尺度特征，提出了一種密集殘差單元(dense residual unit，DRU)，并以一種基于DRU 的同構網絡DRI-Net 作為最終模型。經驗證，DRI-Net 能夠有效降低語義差異，并能夠學習多尺度信息。

1 材料和方法

1.1 數據來源

利用公開數據集CVC-ClinicDB[18-19]評估DRINet 的分割性能。CVC-ClinicDB 數據集由612 幀結腸鏡圖像組成，抽取自29 個病例的結腸鏡視頻。單幅圖像的分辨率為388 像素×284 像素。該數據集的結腸鏡圖像都至少含有1 個息肉標注，少數圖像含有2 個息肉標注。在上述數據集中，息肉在形狀、大小、結構、方向等方面變化很大，且與背景之間的界限非常模糊，很難區分(見圖1)，這對精確的息肉分割帶來很大的挑戰。模型對于不同分辨率的結腸鏡圖像，在輸入時對其分辨率進行歸一化，統一為256 像素×256 像素。為驗證分割網絡改進對結果的影響，未使用數據增強。

圖1 4 個形態、大小和位置相異的息肉腸鏡圖像(虛線框為息肉區域)Fig.1 Four polyps with various shape，size，and position (Polyp regions highlighted by dotted lines)

1.2 方法

1.2.1 同構網絡I-Net

I-Net 的設計思路是在跳層路徑中引入與編解碼網絡相同的處理單元，以便有效減少因處理差異而引起的語義鴻溝。此外，在I-Net 中嵌入合適的處理單元，使框架能夠在降低語義鴻溝的同時，提取多尺度特征。

如圖2所示，將I-Net 按照跳層路徑劃分為5 個層級。第1 個跳層路徑有4 個IU。在第1 層中，從解碼器輸出的特征圖經過8 個IU，包括4 個IU 及其后續的4 個最大池化層和4 個IU 及其后續的4個轉置卷積層。編碼器單元和解碼器單元之間有對稱的上采樣和下采樣操作:下采樣操作通過犧牲空間信息擴充特征通道來聚合語義信息，而上采樣操作則恢復空間信息。由于在跳層路徑中沒有上采樣和下采樣，因此在第一層跳層路徑中引入了4個IU，經過處理后的特征圖即可聚合與解碼器輸出相當的語義信息。由于語義鴻溝逐層減小，在第2、第3 和第4 跳躍路徑層中分別引入3、2、1 個IU。第五級的UI 可視為編碼器的最后1 個單元和解碼器的第1 個單元，因此將其視為1 個獨立的跳層路徑。在跳層路徑的末尾，兩組特征映射實現融合。

圖2 I-Net 網絡結構Fig.2 Overview of Identical Network

為了驗證I-Net 的有效性，首先將IU 實例為CU構成CI-Net，作為過渡模型。

1.2.2 基于卷積單元的同構網絡CI-Net

在CI-Net 模型中，同構單元用卷積單元初始化，如圖3所示。與原U-Net 相比，CI-Net 在跳層路徑中引入額外的處理單元，即卷積單元。CI-Net 的跳層路徑類似于能夠聚合語義信息的迭代深度聚合層[23]。每個卷積層的濾波器尺寸為3×3，其后是一個批量歸一化(batch normalization，BN)層和一個整流線性單元(rectified linear unit，ReLU)。CI-Net是I-Net 的過渡模型，其模型細節如表1所示。

表1 CI-Net 和DRI-Net 的架構細節Tab.1 The architecture details of CI-Net and DRI-Net

圖3 雙層卷積單元Fig.3 Convolutional Unit including two convolutional layers

1.2.3 密集殘差單元

為了精確分割息肉，模型應該有足夠的能力學習復雜的上下文信息，并分析不同尺度的感興趣區域。然而，正如文獻[17]中提到的，U-Net 的處理單元是兩個3×3 的卷積層，相當于一個5×5 的卷積操作，因此只能從輸入的特征映射中提取單尺度特征，使處理單元具備提取多尺度特征的能力，直接方法是將3×3、5×5 和7×7 的卷積層融合在同一單元中。另一種方法是級聯一系列3×3 的卷積層，然后將這些層的輸出特征拼接起來，生成多尺度特征輸出。

在MultiResUNet 中，受InceptionNet 啟發，在MultiRes Block 中級聯3 個3×3 卷積層，并將各層的輸出特征拼接，以此獲得多尺度特征，并結合殘差連接以實現特征復用[17]。雖然卷積層的簡單級聯可以獲得多尺度特征，但是在同一個網絡中，大量的卷積層堆疊容易造成信息丟失。密集連接在級聯多個卷積層的基礎上，每個卷積層都將同一模塊內的所有前置卷積層的輸出特征作為輸入，提到了特征利用，防止信息丟失[10]。受到密集連接的啟發，在保留MultiRes Block 優點的基礎上，利用密集連接對其進行改進，提出了密集殘差單元(dense residual unit，DRU)。DRU 充分利用了密集連接和殘差連接的思想，使模型能夠快速收斂，并學習更豐富的特征信息。DRU 的結構如圖4所示。DRU由兩個分支組成。主分支包括一個壓縮輸入特征映射的1×1 卷積層，以及3 個學習多尺度特征的3×3 卷積層；將特征映射輸入到1×1 卷積層壓縮通道信息，然后將輸出的壓縮特征映射作為3×3 卷積層的輸入；后續的3×3 卷積層將其前一層的輸出作為輸入；子分支包括一個1×1 的卷積層，其將輸入特征轉換到與主分支輸出特征具有相同的通道數；最后，將這兩個分支的輸出特征圖相加，再穿過BN 層和ReLU 激活層。

1.2.4 基于密集殘差單元的同構網絡DRI-Net

DRI-Net 將I-Net 的同構單元設置為密集殘差單元(見圖4)。將DRU 插入到I-Net 中，DRI-Net 不僅可以減少語義鴻溝，還能學習多尺度特征。如本文第1.1 節的描述，語義信息是從上到下通過犧牲空間分辨率聚合的。因此，從上到下，DRU 的卷積核個數分別為32、64、128、256、512。DRI-Net 的模型細節如表1所示。

圖4 密集殘差單元Fig.4 Dense residual unit

1.2.5 損失函數

雖然復雜的損失函數(如Dice 損失函數[20]和focal loss[21]函數)可以進一步提高模型的分割性能，但為了更直接地比較模型的有效性，在消融實驗中使用二進制交叉熵函數(binary cross entropy loss，BCE)。交叉熵損失定義為

式中，Y表示標注圖像，表示模型預測輸出。

在泛化性研究中，利用BCE 損失函數和Dice損失函數的加權組合函數，對模型進行優化。WCED 損失函數形式如下:

式中，β為0.5。

BCE 損失的定義見式(1)，Dice 損失定義為

式中，Y表示標注圖像，表示預測圖像。Dice 的定義見式(5)。

由于模型訓練時采用批處理操作，因此實際訓練中使用的損失函數形式為

式中，N表示每批圖像的數量，L(Y，)為BCE(Y，)或WCED(Y，)。

1.2.6 評價指標

采用K折交叉，驗證評估模型的性能。在K折驗證法中，一個數據集被隨機分成K個子集。在每個K折上執行以下步驟:第一步，使用K-1 折數據作為訓練數據訓練模型；第二步，生成的模型在數據的第K折數據上進行驗證。本研究取K=5。

使用Dice 系數和交并比作為評價指標，評估最佳分割結果。

Y和之間的Dice 系數定義為

Y和之間的交并比定義為

式中，Y表示標注圖像，表示預測輸出圖像。

1.2.7 實驗設置

在PyTorch[22]深度學習平臺上完成實驗，通過Adam 優化器訓練模型；學習速率固定為1×10-4，epoch 為150。在單個NVIDIA GeForce GTX 1080 進行實驗。

在CVC-ClinicDB 的實驗中，將所提出的CI-Net和DRI-Net 與U-Net、UNet++和MultiResUNet 進行比較。CI-Net 作為I-Net 的中間模型，DRI-Net 作為I-Net 的最終模型。分別從分割性能和模型參數量兩方面考察模型在分割任務上的精度和效率。

在消融實驗中，分別探究DRI-Net 網絡結構中各部分的作用。對DRI-Net 相應的組成模塊進行消融，分別消融同構網絡、殘差連接和密集連接，得到3 個消融模型，分別為:消融同構網絡的DRI-Net(DRI-Net＿w/oI)、消融殘差連接的DRI-Net(DRI-Net＿w/oR)和消融密集連接的DRI-Net(DRI-Net＿w/oD)。DRI-Net＿w/oI 消融DRI-Net 跳層路徑中的DRU，以研究同構網絡對模型分割性能的貢獻。DRI-Net＿w/oR 消融DRU 的殘差連接，以驗證殘差連接對DRU 的作用。DRI-Net＿w/oD 消融DRU 的密集連接，以驗證密集連接對DRU 的作用。

在泛化性實驗中，使用包含2 000 幅圖像的ISIC 2017 訓練集進行模型訓練，使用包含600 幅圖像的官方測試集進行測試。本實驗采用ISIC 2017挑戰中提出的評價指標，包括準確性(ACC)、Dice、IoU、敏感性(SEN)和特異性(SPE)。其中，Dice 和IoU 的定義見式(5)、(6)。

準確性定義為

敏感性定義為

特異性定義為

最終排名根據IoU 得出。

2 結果

2.1 實驗結果

在CVC-ClinicDB 上的分割結果如表2所示。在分割精度方面，DRI-Net 取得Dice 為90.06%±1.74%，IoU 為85.52%±1.50%。在Dice 上，DRINet 以8.50%、7.03%和3.28%的優勢分別超過UNet、U-Net++和MultiResUNet；在IoU 上，DRI-Net 以11.03%、7.10%和3.46%的優勢分別超過U-Net、UNet++和MultiResUNet。結果表明，相比于其他方法，DRI-Net 實現最優的分割精度。另一方面，DRINet 的模型參數量為7.75 M，與U-Net 的模型參數量(7.76 M)近似，稍高于MultiResUNet 的模型參數量(7.26 M)，顯著低于U-Net++的模型參數量(9.04 M)。結果表明，DRI-Net 具有與最優的分割模型同一量級的模型參數量。綜上所述，DRI-Net以最少參數實現最優分割性能。

2.2 消融實驗

在CVC-ClinicDB 上進行消融實驗，定量分析結果如表2所示。相比于基礎模型U-Net，3 個消融模型均實現分割性能的提升，其中DRI-Net＿w/oI 取得的分割性能接近于DRI-Net 的分割性能。為了更直觀地理解數據結果，將此定量結果繪制成箱線圖，如圖5所示。消融實驗的定性結果如圖6所示。DRI-Net＿w/oI 產生的分割邊界受到了背景噪聲的干擾，DRI-Net＿w/oD 傾向于欠分割，DRI-Net＿w/oR傾向于過分割，顯然可視化結果與定量數據是一致的。綜合上述分析，DRI-Net 網絡中的各模塊均對所提方法有一定貢獻。

圖5 消融實驗結果箱線圖Fig.5 The box plots of ablation study

圖6 在CVC-ClinicDB 數據集上的定性結果Fig.6 The qualitative results on CVC-ClinicDB dataset

表2 消融實驗的5 折交叉驗證結果Tab.2 Segmentation results of 5-fold cross-validation of ablation study

2.3 泛化性實驗

為了驗證DRI-Net 在其他醫學特定領域上的表現，增加了在皮膚鏡圖像上的實驗。國際皮膚成像合作(International Skin Imaging Collaboration，ISIC)2017 挑戰賽的測試集已經公開，在ISIC 2017 上對DRI-Net 進行評估，并將DRI-Net 與ISIC 2017 挑戰賽的前5 名解決方案以及目前最優的皮膚病變分割方法[25-26]進行比較。

表3給出了在ISIC 2017 上的實驗結果。可以看出，DRI-Net 取得了與目前最優方法Sep-UNet 相當的分割性能，并且優于ISIC 2017 排行榜前五的分割方法。在Dice 上，以6.23%、2.89%和1.31 的優勢分別超過U-Net、U-Net++和MultiResUNet。在IoU 上，以6.96%、3.29%和2.06 的優勢分別超過U-Net、U-Net++和MultiResUNet。ISIC 2017 數據集上的定性分割結果如圖7所示，定性分割結果與定量指標相契合，DRI-Net 的分割結果(黃線)能較好地擬合真實標簽(綠線)。以上結果表明，DRI-Net在其他模態數據集上具有良好的泛化性能，且取得與目前最優模型相當的分割結果。

圖7 ISIC 2017 數據集分割實例(綠線:標注；藍線:U-Net；紫線:U-Net++；紅線:MultiResUNet；黃線:DRI-Net)Fig.7 Segmentation results of representative cases on ISIC 2017 dataset (Green line: ground truth；Blue line: U-Net； Purple line: U-Net++； Red line:the proposed method)

表3 在ISIC 2017 數據上的分割結果Tab.3 Segmentation results on ISIC 2017 dataset

3 討論

本研究提出DRI-Net，以解決U-Net 存在的局限性:第一，編解碼器對應的特征之間存在語義鴻溝[15-17]；第二，雙層卷積層無法學習多尺度信息[17]。設計一種全新的分割深度學習網絡，應用于結直腸息肉分割，實現較優的分割性能，并在皮膚鏡圖像中驗證其泛化性，具有一定的臨床應用潛力。

從表2看出，相比于U-Net，DRI-Net 在息肉分割性能上有顯著提升，由此證明DRI-Net 的改進策略是切實有效的。相比于MultiResUNet，DRI-Net 在息肉分割性能上也有提升。結果證明，此性能的提升源自于同構網絡極大地抑制因處理差異導致的語義鴻溝。此外，CI-Net 相對于MultiResUNet 在分割精度上的提升也能進一步證明上述結論。雖然CU 只提取單一尺度特征，但CI-Net 借助同構網絡，減少了特征間的語義鴻溝，抵消了單尺度特征的局限性。然而，與DRI-Net 相比，雖然CI-Net 的網絡規模略大，但 DRI-Net 在 Dice 上比 CI-Net 高出1.43%，在IoU 上比CI-Net 高出0.56%。此性能差異證明DRU 優于CU，具備學習多尺度特征的能力。以上結果證明，同構網絡和密集殘差單元的結果使DRI-Net 能夠有效克服U-Net 存在的局限性。

消融實驗結果表明，DRI-Net 與DRI-Net＿w/oI相比性能提升，證明了同構網絡的有效性；DRI-Net與DRI-Net＿w/oD、DRI-Net＿w/oR 的對比分別證明，密集連接和殘差連接有助于提高模型的學習能力。

圖6的箱線圖表明，DRI-Net 的5 折交叉驗證結果更集中，模型更穩定。此外，DRI-Net＿w/oI 相對于U-Net，在分割性能上有較大提升。由此可見，多尺度特征能夠學習分割目標的尺度變化，對于分割性能的提升是明顯的。相比之下，DRI-Net＿w/oD 和DRI-Net＿w/oR 相對于U-Net，在IoU 上的提升幅度稍低。因為同構網絡減少的是由于編解碼器處理差異而造成的語義鴻溝，主要是修復分割細節，所以在IoU 指標提升上相對不顯著。已有研究證明，分割細節修復是更困難的任務[17，26]。綜上所述，由密集連接和殘差連接構成的多尺度模塊主要學習分割目標的尺度變化；同構網絡設計減少因處理差異造成的語義鴻溝，主要修復分割細節。由上述分析可知，同構網絡、密集連接和殘差連接均對DRINet 取得的結果具有一定貢獻。

表3泛化性研究的結果表明，DRI-Net 在皮膚鏡圖像的分割結果與目前的最優方法[25-26]相當，并且優于ISIC 2017 排行榜前五的分割方法。同時，DRI-Net 也優于U-Net、U-Net++和MultiResUNet。由圖5可以看出，DRI-Net 能夠較精確地定位病灶區域，并描繪出目標區域的邊緣細節。以上結果證明，DRI-Net 在其他模態數據集上具有良好的泛化性能。

已有研究證明，U-Net 編解碼網絡連接的語義特征之間存在語義鴻溝[15-17，20，26]。U-Net + +和MultiResUNet 通過實驗結果證明語義鴻溝的存在，并通過改進網絡結構，減少特征間的語義差異[15-17]。V-Net 通過在編解碼單元之間引入殘差連接，保證特征傳遞中能充分利用前級的特征信息，從而減少特征之間的語義差異[20]。DAV-Net 在VNet 的基礎上引出空間和通道的雙重注意力機制，以對特征進行重校準，從而使重要特征能夠更高效傳遞[26]。通過實驗證明，特征間的語義鴻溝是由于編解碼器輸出特征間的處理差異造成的，并通過同構網絡有效降低語義差異，實現更精確的分割結果。然而，對語義鴻溝的描述是通過定性分析得到的，這對于進一步提高分割性能具有指導意義。在下一步的工作中，計劃將語義鴻溝的定量描述項作為損失函數的優化項，然后通過訓練優化降低語義差異。

4 結論

針對結腸鏡檢查時人工判讀容易造成息肉漏檢的問題，提出一種基于同構化改進的U-Net 網絡DRI-Net。DRI-Net 網絡不僅能夠緩解U-Net 網絡的編解碼特征間的語義鴻溝，且具備提取多尺度特征的能力，具有重要的臨床參考價值，對其他醫學圖像的分割任務也有一定的指導意義。