基于內卷U-Net 的醫學圖像分割模型

林志潔，鄭秋嵐，梁 涌，邢 衛

（1.浙江科技學院 信息與電子工程學院，杭州 310018；2.杭州醫學院 食品科學與工程學院，杭州 310013；3.麗水市第二人民醫院 精神病科，浙江 麗水 323000；4.浙江大學 計算機科學與技術學院，杭州 310027）

0 概述

圖像分割的目的是以有意義的方式劃分圖像，以便對對象進行定位、區分和估量，其主要的應用對象包括自然圖像和醫學圖像。在醫學領域，圖像語義分割對于進一步的臨床分析、診斷、規劃治療和估量病情至關重要。相對于自然圖像而言，醫學圖像的語義分割通常需要較高的精度［1］。近年來，基于深度卷積神經網絡的醫學圖像語義分割技術［2］例如MRI、CT、X 射線等已被開發用于各種形式的醫學圖像［3］，其克服了傳統分割模型的局限性，且顯示出較好的應用效果［4］。在卷積神經網絡模型的訓練過程中，該技術的參數通過基于損失函數計算梯度的方法來優化，使用損失函數進行預測圖像和真實圖像的對比［5］。盡管深度神經網絡模型在進行醫學圖像語義分割方面取得了一定進展［6］，但采用的卷積操作通常僅考慮位置的平移不變性［7］，局部感受野較小，導致沒有辦法表達長范圍的依賴關系。

本文設計一種新的內卷U-Net 醫學圖像分割模型，使用內卷操作代替卷積操作，并將其作為基本的網絡結構，從而有效提升醫學圖像語義分割的精度。通過采用注意力機制模塊有效學習醫學圖像中長范圍的依賴關系，并在有監督的生物醫學分割場景下評估本文模型，證明所提模型的有效性。

1 相關工作

1.1 傳統分割模型

近年來，研究人員提出不同的醫學圖像語義分割模型，例如閾值處理、邊緣檢測、聚類、區域增長、活動輪廓模型（Active Contour Model，ACM）等。閾值、區域生長等早期模型能夠實現醫學圖像的語義分割，但由于這2 種模型僅使用圖像強度或紋理信息的性質，語義分割的性能受到較大的限制［8］。ACM 模型在醫學語義分割方面表現出較好的性能，經典模型有無邊緣活動輪廓（Active Contour Without Edge，ACWE）模型［9］、Mumford Shah 模型［10］等。在Chan 和Vese 的語義分割模型中引入水平集函數來形成分割模型，將其視為通過求解偏微分方程（Partial Differential Equations，PDE）求解的能量最小化問題。后來，分割模型被應用于處理多相問題和紋理問題［11］。諸如雙投影和圖切割模型的高效求解器被用于提升計算效率［12］，這些經典模型［13］的共同缺點是時間消耗過長。此外，基于特征提取、神經網絡或支持向量機的有監督分割模型也顯示出合理的結果。然而，這些模型基于分割的手工特征，其結果取決于研究人員的技能和經驗，適用性和結果質量有待提高。活動輪廓模型由于具有良好的性能，被本文所采用。

1.2 基于卷積神經網絡的分割模型

作為一類深度神經網絡，卷積神經網絡在分類、分割、配準等計算機視覺任務中表現出卓越的性能。基于卷積神經網絡的模型的一個特殊優勢是它們能以端到端的方式工作，可以在學習過程中提取分層和多分辨率功能。Alex-Net［14］，VGG-Net［15］，GoogleNet［16］、Involution-Net［17］等卷積神經網絡架構已被開發并引入到各種圖像識別任務中。從廣義上講，基于卷積神經網絡的分割模型可以分為基于像素或基于圖像的模型。在通常情況下，基于像素的模型把每個像素（或超像素）生成像素塊，將像素塊作為卷積神經網絡模型的輸入，并用于分類，其中像素的標簽被作為訓練模型的目標［18］。LI 等［19］提出一個新的有效框架，將邊界估計作為一個渲染任務，可以識別模糊點，通過豐富的特征表示學習來校準邊界預測，引入逐點對比學習來提高同一類點的相似度，并對比降低不同類點的相似度，改善美國圖像的邊界估計。FERNANDO 等［20］開發一種算法來模擬術前MR 圖像的切除，構建了一個新的數據集EPISURG，在訓練過程中對人工切除的圖像進行三維卷積神經網絡訓練。EPISURG 數據集包含431 名接受切除手術的患者的431張術后和269張術前MR 圖像。DING 等［21］提出一種新的跨模態圖像分割框架，其中圖像配準和標簽融合均由深度神經網絡實現，并針對圖像配準提出一種一致性配準網絡，能夠聯合估計前向和后向密集位移場。

研究證明，引入不同的損失函數能夠在訓練過程中提高U-Net 的性能［22］。文獻［23］通過在分割損失函數中引入形狀感知項，提高頸部X 射線圖像的性能。在損失函數方面，本文采用目前最新的醫學語義分割的損失函數，該函數通過借鑒傳統模型，顯著提高了分割性能［24］。

1.3 活動輪廓模型

ACM 模型將分割視為能量最小化問題［25］，其中活動樣條或輪廓的能量通過基于PDE 的模型最小化到對象的邊界。經典的ACM 模型通過圖像漸變來檢測對象的邊界，然而，這一模型有一個主要限制，它將被卡在局部最小值，因此無法獲得令人滿意的分割結果。近年來，研究人員提出諸多ACM 模型，例如BRESSON等［26］提出的ACWE 模型和基于快速全局最小化的活動輪廓模型（Fast Global Minimization Active Contour Model，FGM-ACM）。

ACWE 模型可以表述為如式（1）所示的能量最小化問題［25］：

其中：s是長度的歐幾里得元素，式（1）右邊的第1 項是曲線C的長度；f是要分割的圖像；Ωc是圖像f域的閉合子集Ω；外部和內部的f平均值分別表示為c1和c2；λ是一個任意固定參數（λ>0），用于控制正則化過程和c1、c2之間的平衡；能量為包括輪廓長度DC 和CE 損失函數的能量，通過改進損失函數，可以增加更多的約束。

為提高語義分割的效果，引入水平集和PDE 的Heaviside 函數來降低能量的表達式如式（2）所示：

其中：H?是Heaviside 函數的平滑近似值。最小化的梯度下降法定義［25］如式（3）所示：

然而，包括ACWE 在內的基于PDE 的解決方案需要在每個單獨的圖像上計算，比較耗時，因此即使效果良好，但是ACWE 不太適合在需要快速得到結果的臨床環境下應用。

為實現快速穩定的全局最小化，提出基于總變化能量TV 的EACWE［26］，表達式如式（4）和式（5）所示：

其中：u是一個介于0～1 之間的特征函數為ACWE 模型提供了全局最小值。此外，由于受到基于Heaviside 功能和基于PDE 解決方案的ACWE 模型先前版本的限制，因此基于總變化能量TV 的EACWE提供了快速且非固定的解決方案，且u被限制為0 或1。ACME 模型執行分割任務的這種最小化問題能夠應用于深度學習領域，且該模型的有些參數可以被固定學習所固定，有些參數可以被視為可訓練參數，能夠以端到端的學習方式評估該最小化方程。

1.4 損失函數

在訓練卷積神經網絡模型中，損失函數（或成本函數）起重要作用。損失函數是用于測量預測或分割誤差的函數，可以反向傳播到先前層以便更新或優化權重。常用的損失函數及相關表征指標如下：

1）Dice 系數（Dice Core，DC）：DC 通常被用作評估分割性能的度量，現在也可以作為損失函數性能的表征指標［25］。DC 能夠測量參考和分割之間的重疊程度。該元素測量范圍為0～1，當DC 為1 時，表示完美且完全重疊。DC 可以定義為：

其中：T為真實圖像（或專家注釋）；P為預測（或分割）圖像，T?[0,1]m×n、P?[0,1]m×n；n為索引圖像空間N中的每個像素值。

DC 系數主要用于提高醫學圖像的語義分割性能，表達式如式（7）所示：

雖然CE 和DC 損失函數在圖像分割中均取得了不錯的效果，但主要被用于測量T和P之間相似性的像素損失函數，且不考慮幾何信息［25］。

2）交叉熵（Cross Entropy，CE）損失函數：CE 是一種被廣泛使用的逐像素測量模型［2］，用于評估分類或分割模型的性能。CE 損失函數可以表示為二值交叉熵損失函數，如式（8）所示：

CE 損失函數將softmax 層的輸出視為像素分類問題以評估每個像素。文獻［2］指出，為提高生物醫學圖像細胞邊界分割的性能，采用加權方案的CE 損失函數可以作為U-Net 模型細胞邊界盡可能準確的解決方案之一。此外，目前有諸多基于CE 的損失函數研究，但僅有少數函數考慮了對象的幾何細節［25］。

2 基于內卷神經網絡的分割模型

本文采用傳統U-Net 的網絡宏觀架構，在網絡架構的內部引入密集的網絡塊，并在網絡塊的內部采用內卷操作。具體的網絡架構如圖1 所示，其中下半部分的內卷結構來自文獻［24］，在2.2 節將介紹所采用的卷積神經網絡架構。

圖1 本文網絡的架構Fig.1 Rchitecture of network in this paper

2.1 AC 損失函數

采用活動輪廓損耗的目的是在ACWE 模型的最小化問題中找到活動輪廓，從而使自動圖像分割的活動輪廓能量全局最小化［25］。本文采用文獻［25］的損失函數，該損失函數能夠提供較好的醫學圖像語義分割性能。損失函數的表達式如下［25］：

式（10）和式（11）的長度和面積均可寫成像素方式，如下：

在ACWE 模型中，c1和c2是可變的，定義如下：

其中：在監督學習框架中，c1和c2分別表示為內部（前景）和外部（背景）的能量，可以簡單地預先定義為c1=1、c2=0；u和v分別表示為預測圖像和給定圖像。

2.2 基于內卷的神經網絡架構

在本小節中，將使用U-Net和密集的U-Net架構作為本文的基本分割框架，并評估所提損失函數的性能。

目前，U-Net 被廣泛使用，它是一種端到端的編碼器-解碼器神經網絡，能夠用于語義分割，可以獲得高精度的結果。U-Net神經網絡的跳躍連接，被應用于將特征映射從下采樣路徑轉發到上采樣路徑，以定位高分辨率特征，從而生成分割輸出。對于U-Net 的主要架構，在下采樣路徑中，每層由2 個3×3 的卷積層、1 個ReLU 單元和1 個最大池化層組成。在上采樣路徑中，每個步驟包括1個2×2上卷積層和1個串聯操作。U-Net網絡模型容易出現梯度消失問題。為解決該問題，本文提出基于內卷［24］密集塊的U-Net，即Involution-Net，其中密集塊允許每層直接連接其他層以保持前饋性質，來自網絡的參數和提取的特征更有效，且能得到重用。在本文網絡框架中引入密集的塊層，該塊層類似于文獻［25］提出的額密集，區別在于密集塊內部采用了內卷、向下轉換和向上轉換操作，密集塊層由批量歸一化（Batch Normalization，BN）、ReLU 單元和卷積組成，并密集連接在一起。密集塊的輸出是上述3 個模塊層輸出的串聯。在下采樣路徑中，密集塊共38 層。瓶頸和上采樣路徑分別為16 層和40 層，密集網絡共120 層。本文網絡的結構和文獻［25］的網絡結構類似，不同的是本文網絡采用了內卷操作代替卷積操作。

如文獻［24］所述，卷積神經網絡的空間不可知性和空間緊湊性在提高效率、解釋翻譯等價性方面有意義，但它剝奪了卷積核適應不同空間位置、不同視覺模式的能力。此外，卷積神經網絡的局部性限制了卷積的感受野，給單次捕獲遠距離空間交互帶來了挑戰。在許多成功的深層神經網絡中，卷積濾波器內部的通道間存在較嚴重的冗余情況，降低了不同通道的靈活性。為此，文獻［24］提出內卷操作，它與卷積具有對稱相反的固有特性，即空間特異性和通道不可知性，是網絡結構的重要組成部分。具體地說，對合核在空間范圍上不同，但在通道之間共享。由于對合核的空間特性，如果將對合核參數轉化為卷積核等固定大小的矩陣，并使用反向傳播算法進行更新，則學習到的對合核將無法在不同分辨率的輸入圖像之間傳輸。在處理可變特征分辨率時，可以僅根據相應位置本身的傳入特征向量生成屬于特定空間位置的對合核，這是一種直觀而有效的實例化。此外，通過在通道維度上共享對合核可以減少核的冗余。綜合上述2 個因素，對內卷運算的計算復雜度與特征通道的數量成線性關系，在此基礎上，允許動態參數化對內卷核在空間維度上進行廣泛覆蓋。

由于卷積神經網絡通常僅考慮位置的平移不變性，局部感受野較小，導致沒有辦法表達長范圍的依賴關系。本文設計的U-Net 網絡相對于傳統的網絡而言沒有采用3×3 的卷積核，而采用內卷的網絡結構。對 內卷核Hi，j∈Rk×k×1（為便于演示，本 例中G=1）是由（i，j）處單個像素條件下的函數φ產生。對內卷的乘加運算分為2 步，N表示乘法，L表示在k×k空間鄰域內聚集的總和。

在U-Net 的瓶頸層加入來自文獻［27］的注意力機制模塊。圖2 所示為引入注意力機制模塊的架構，注意力機制模塊的引入能夠在降低計算復雜性的同時提取積極的上下文信息。

描述注意力機制模塊引入流程的表達式如下所示：

其中：Q?RN×C；K?RK×C；A?Rc×C；X?RN×C；Y?RN×C。

特征圖首先經過2 個二維卷積層形成查詢矩陣Q和值V矩陣，然后矩陣Q被傳遞給顯著位置并選擇模塊，該模塊的輸出將是查詢矩陣中前k個顯著位置。注意力機制模塊使用從前k個位置選擇的數據來計算親和矩陣A。在聚合過程中，將通過使矩陣V與矩陣A相乘，得到輸出矩陣Y，并將該輸出矩陣重構為C×H×W。矩陣Y經過1×1 卷積變換后，將最終被添加到輸入X中。圖2 中的SPS 模塊主要用以選擇顯著的位置選擇，具體算法可以參考文獻［27］。

3 實驗結果與分析

使 用U-Net 和內卷U-Net（Involution-Net）作 為兩級分割網絡架構，并分別在使用不同損失函數時對比模型的分割性能。

3.1 數據集

在肺部CT 數據集中測試了本文模型，該數據集由各種人群的3 000 張肺部CT 數據構成。在實驗中，數據集被劃分為3 個子集，包括2 200 張訓練集，300 張驗證集和500 張測試集。

3.2 性能指標

選擇Hausdorff 距離（Hausdorff Distance，HD）指標評估分割準確度，HD 是2 個輪廓間距離的對稱度量，HD 的值越小，說明準確度越高，HD 的表達式［28］如式（18）所示：

其中：t和p代 表T和P的像素；DH是t和p之間的 歐幾里德距離。

4 實驗結果

本文使用Tensorflow_gpu 1.40 來實現網絡模型，利用ADAM 優化器訓練模型直到收斂，圖3 所示為本文模型分割肺部CT 的分割結果示例。由圖3可知，本文模型能夠將肺部出現的異常區域較精準地分割出來。

圖3 本文模型的分割結果示例Fig.3 Segmentation result example of model in this paper

4.1 不同損失函數對模型性能的影響

表1 所示為當使用CE 或AC 損失函數時，U-Net和Involution-Net 分割肺部CT 的結果對比。由表1 可知，與U-Net-CE 模型相 比，U-Net-AC 模型的HD 降 低了0.80；與Involution-Net-AC 模型相比，Involution-Net-AC模型的HD 值降低了0.56。因此，使用AC 損失函數時，模型具有更高的分割準確度。

表1 不同模型的對比結果Table 1 Results comparison with different models

圖4 所示為AC 和CE 損失函數在每個階段的運行時間。由圖4 可知，Involution-Net-AC 的總運行時間是30 s，比Involution-Net-CE 的總運行時間101 s更短。U-Net-AC 的總運行時間是18 s，而U-Net-CE需要19 s。對比可知，使用AC 損失函數能夠縮短模型的總運行時間。

圖4 AC 和CE 損失函數在每個階段的運行時間Fig.4 Running time of AC and CE loss functions at each stage

綜合表1和圖4的分析結果，本文選用AC損失函數。

4.2 穩健性分析

通過改變正交化權重λ 值可以提升模型的性能和穩健性。使用DC指標評估λ值對AC損失函數的影響，已知λ 值對基于Involution-Net的模型影響較小，當λ 接近0 時，模型的分割性能較差，因為只剩下邊界項來控制損失函數［29］。除了采用DC 指標來衡量模型的穩健性以外，還可以采用HD 指標來衡量模型的穩健性。如表1 所示，使用HD 指標評估模型的性能，并將本文模型U-Net-AC 和Involution-Net-AC 與具有CE 損失功能的先進分割模型U-Net 和Involution-Net 進行對比。從表1 可以看出，與其他模型相比，本文模型的Hausdorff距離值大幅下降。由于Hausdorff 距離越小，表示模型的性能越穩健，因此可得本文模型具有良好的穩健性。

表2 所示為不同肺部分割模型的對比，評價指標為Dice 系數和偏差指標，Dice 系數也能代表模型的分割準確度。在表2 中：偏差列括號中的數值表示模型分割的區域和真實區域之間的差異；N/A 表示對應的模型性能不適應采用偏差指標來衡量。從表2 可以看出，本文模型（Involution-Net-AC）具有較高的Dice 系數和較低的偏差值，表明本文模型具有較好的分割準確度和穩健性。

表2 不同肺部分割模型的對比Table 2 Comparison of different lung segmentation modles

5 結束語

平移不變性和感受野太小是干擾醫學圖像語義分割的關鍵因素，本文針對卷積神經網絡的固有缺陷，提出使用內卷結構為神經網絡的主要結構，并在U-Net 的瓶頸層引入注意力模塊，從而學習圖像內容之間長范圍的依賴關系。實驗結果表明，與其他經典模型相比，本文模型大幅縮短Hausdorff 距離，具有較高的分割準確度以及較好的穩健性。下一步將針對醫學圖像的特點（如塊狀結構）設計特殊的注意力機制，以有效學習和理解醫學圖像，從而提高醫學圖像的分割質量。