基于擴張卷積與注意力的甲狀腺超聲分割方法

謝紫薇，魯大營，李志琦，孔晨曦，吳 熙，張 俊

(曲阜師范大學 網絡空間安全學院，山東 曲阜 273100)

0 引 言

甲狀腺結節是一種生長在甲狀腺內的異常腫塊，惡性結節是甲狀腺癌的早期癥狀，去年的報道中指出甲狀腺癌的患病率已升至全球第九位[1]。因為甲狀腺結節患病率的迅速增長和超聲圖像的低價、無輻射等特性，超聲圖像被廣泛應用于甲狀腺結節的檢測。但是，在甲狀腺的超聲圖像中，甲狀腺結節的外形與周圍組織結構相似，且有鈣化點陰影等因素，導致圖像中結節部位與背景邊界模糊，精確分割甲狀腺結節的難度較大。以往的手動分割方式過于依賴醫生們的狀態和閱歷，主觀性過強，因此，需要一種自動分割結節的方法輔助醫生進行病情診斷。

1 相關工作

甲狀腺結節的分割方法主要分為傳統方法和深度學習方法。

1.1 傳統方法

傳統方法包括利用能夠變形到物體邊界的曲線或曲面獲取結節邊緣輪廓的基于活動輪廓模型的方法[2-7]、將圖像看作浮雕表面的基于分水嶺變換的方法[8-11]和通過迭代聚合相鄰像素來提取感興趣目標區域的基于區域的方法[12-13]。Tsantis等人[2]首次將活動輪廓模型算法應用于甲狀腺超聲結節圖像分割，在最后一步使用梯度矢量流描繪結節輪廓。后來Chan等人[3]從無邊緣活動輪廓的全局分割模型得到了可變背景活動輪廓，雖然與無邊緣活動輪廓相比圖像分割效果有所提升，但是在有噪聲的圖像中分割結節的表現不佳。隨后，Iakovidis等人[4]和Savelonas等人[5]提出的方法都結合了區域圖像強度和紋理局部二值模式分布，還有Kollorz等人[7]使用的基于局部邊緣的活動輪廓的方法。活動輪廓模型方法的廣泛應用主要是由于這些模型能夠提供亞像素精度的靈活閉合曲線，但是它對于參數變化敏感且計算成本高。

Beucher等人[8]首次提出基于分水嶺變換的方法，Kollorz等人[10]和Ponraj等人[11]先后利用電力流域對甲狀腺結節進行了分割，分水嶺可以視為一種無監督的聚類算法，但是它因圖像噪聲、梯度局部不規則產生的過度分割問題卻給分割任務帶來了極大的阻礙。基于區域的方法是Chang等人[12]首次將區域增長作為甲狀腺超聲圖像分割的補充算法，此類方法初始區域設置不同，結果也大不相同，導致無法廣泛使用。Zhao等[13]提出的甲狀腺結節圖像分割算法是基于歸一化模型的，同樣不具備擴展性。

1.2 深度學習方法

基于深度學習的方法[14-30]在擴展性和自動化程度等方面相比于傳統方法都有所提高，在近幾年受到研究者們的推崇。Ma等人[15]首次將卷積神經網絡用于分割甲狀腺超聲圖像，將甲狀腺結節分割問題當作一個塊分類問題，獲得了不錯的分割效果，但是方法復雜度較高。Li等人[17]提出的8層全卷積模型FCN-TN將Long等人發表的全卷積神經網絡(Fully Convolutional Neural Network，FCN)[18]用于甲狀腺結節的超聲圖像分割，在甲狀腺圖像上實現了像素級的分割，然而會導致分割效率低和過擬合的問題。在對圖像分割進程具有重要意義的U-Net[19]和U-Net++[20]相繼發表后，以編碼路徑-跳躍連接-解碼路徑組成的U型結構為基礎架構的方法層出不窮，比如王波等人[21]、何穎等人[22]和Kumar等人[23]的模型，U-Net在FCN的基礎上實現了端到端的分割，U-Net++在它的基礎上使用密集連接將來自編碼端的淺層低級語義和解碼端的深度語義更緊密的結合。但是上述模型中的卷積操作對小體積的結節分割能力有限，Wu等人[24]受空洞卷積[25]和Chen等人[26]的啟發，結合空洞空間卷積池化金字塔技術對甲狀腺進行分割，模型分割的準確性得到一定提升。

隨著Attention U-Net模型[27]的出現，注意力機制走進研究者們的視野。Attention U-Net[27]引入注意力門結構，上一級的特征通過下一級的特征來監督，隨著模型訓練次數的增加，限制圖像中背景部分的激活值。PSANet(Point-wise Spatial Attention Network)[28]在特征映射方面是將各個位置與其他每個位置都建立聯系幫助預測自己，導致計算量過大。壓縮和激勵網絡(Squeeze-and-Excitation Networks，SENet)[29]則從特征之間的依賴關系入手以改進U型結構模型，調整通道特征的權重，提高了分割模型對于通道域特征的敏感程度，但是SENet[29]是先降維再映射到高維度，一定程度上破壞了權重和通道的相應關系，計算速度也會下降，Wang等人提出的輕量級通道注意力ECANet[30]的改進緩解了這一問題。Dual attention network(DANet)[31]結合空間注意力與通道注意力，從兩種維度上提取了像素之間的依賴關系，最后將兩者的結果整合得到最終結果，但是矩陣計算多，復雜度高。

鑒于以上的問題，該文提出了一種用于甲狀腺超聲圖像的結節分割方法，稱為DCA-UNet++(Dilated convolution and efficient Channel Attention UNet++)，主要貢獻如下：(1)采用擴張卷積(Dilated Convolution，DC)模塊，在不降低分辨率的情況下提高模型獲取上下文信息的能力，全面準確地分割結節區域；(2)在特征提取階段，構建高效通道注意力(Efficient Channel Attention，ECA)模塊，靈活調節各通道特征的權重，增強甲狀腺圖像中結節區域的有益信息提取，遏抑非結節(背景)區域的無益信息提取；(3)設計混合雙損失函數保障模型的收斂性能，提升分割準確度，并在公開的DDTI(Digital Database Thyroid Image)數據集上進行訓練測試并與其他先進方法進行對比，驗證該模型提升了甲狀腺結節分割精度。

2 DCA-UNet++方法

在整個甲狀腺部位的超聲圖像中，非結節區域占比遠大于結節區域，且非結節區域與結節區域彼此粘連，由此出現了結節輪廓形態分割不準確和背景像素過多的類不均衡問題。為緩解上述問題，該文提出了DCA-UNet++方法，DCA-UNet++整體架構如圖1所示，基礎架構由多個密集連接的編碼部分(正方形)、跳躍連接、解碼部分(圓形)組成。不同的是，DCA-UNet++模型在編碼部分不僅包括卷積層(連續2組3×3的2D卷積)、批標準化(Batch Normalization，BN)、修正線性單元(Rectified Linear Unit，ReLU)激活函數、下采樣，還包括擴張卷積模塊和高效通道注意力模塊。

圖1 DCA-UNet++整體結構

2.1 DC模塊

考慮到甲狀腺超聲圖像中甲狀腺結節所占區域較小、位置不確定，再加上語義分割模型在深層提取語義信息時池化操作損失的分辨率在后續解碼階段很難完全恢復，該文在DCA-UNet++模型的深層處采取擴張卷積模塊(DC模塊)，結構如圖2所示，其中包括兩部分，分別由3×3卷積、BN、ReLU函數和擴張率為2的擴張卷積、BN、ReLU函數組成。該模塊在保持分辨率的基礎上增大感受野，捕獲有關甲狀腺結節更豐富的上下文信息，精確定位結節所在位置。

圖2 DC模塊結構

擴張卷積，又名空洞卷積，它引入了一個超參數擴張率l，該參數定義了卷積核在處理數據時各值的間距，在標準的卷積操作中l=1。文中具體的擴張卷積操作定義為：

式中，O是輸出特征，x、y表示特征點的位置，N是卷積核數，i、j表示卷積核的位置，I是輸入特征，F表示卷積。

圖3的(a)(b)分別表示l=1、2的擴張卷積，其中白色圓點是卷積核，黑色部分是對應的感受野范圍。可以看出，擴張卷積在保持卷積核數量不變的同時，感受野增大。這樣可以在不犧牲甲狀腺圖像信息的前提下，保留空間層面的結節特征，提升DCA-UNet++識別并分割小區域結節的效果。

圖3 擴張卷積感受野示意圖

2.2 ECA模塊

以擴張卷積模塊增加DCA-UNet++的感受野，是在空間維度融合了更多甲狀腺結節的特征。但是通道維度的特征仍然是以同等的重要性在DCA-UNet++中提取傳遞，其中也包括甲狀腺超聲圖像中非結節區域的特征，即背景區域的有害信息。為使DCA-UNet++在特征提取階段更關注于結節區域的通道維度特征，在編碼階段構建高效通道注意力模塊(ECA模塊)來分配通道權重。

當甲狀腺圖像經過卷積層后，會產生與卷積核數對應數量的通道，每個通道分別存儲著不同的特征，調整各個通道之間的重要程度以保障有益信息的傳遞至關重要。這項工作由Hu等人首度關注，Hu等人提出的SE塊結構[27]如圖4(a)所示，SE塊分為壓縮和激勵兩個階段。在壓縮階段，輸入特征圖經過全局平均池化得到維度是R1×1×C的輸出特征圖；接著在激勵階段經過圖5(a)所示的兩個不同全連接層，兩個全連接層的輸出特征圖維度分別是R1×1×C/r(r是降維系數)和R1×1×C，在此過程中完成了先降維后升維的操作；再經過Sigmoid激活函數得到特征描述符，維度為R1×1×C，將其與輸入特征圖進行矩陣相乘得到最終輸出特征圖。

圖4 SE塊和ECA模塊結構

圖5 全連接層和局部通道交互結構

SE塊中的降維操作會破壞權重值和通道的直接對應關系，而且通道間的全局交互降低分割效率。為了解決上述問題，ECA模塊在SE塊的基礎上進行改進，結構如圖4(b)所示，H、W、C分別表示輸入特征圖的高、寬和通道數。原理是輸入特征圖經過全局平均池化得到維度是R1×1×C的輸出特征圖；接著通過局部跨通道交互得到維度為R1×1×C的輸出特征圖；再經過Sigmoid激活函數得到維度為R1×1×C的通道特征權重分配，將其與原輸入特征圖進行矩陣相乘得到下一層加權的輸入特征圖，完成對甲狀腺圖像通道層面特征的重新標定。

ECA模塊中最關鍵的是局部跨通道交互操作，其結構如圖5(b)所示。顧名思義局部跨通道交互是指該通道與自己相近的部分通道顯式地建立依賴關系，其中建立依賴的通道數用λ表示，即通道xi的權重僅由其與λ個“鄰居”決定，計算公式如(2)所示：

(2)

為了使局部通道交互更加高效，令所有信道共享相同的學習參數。這樣該局部通道交互操作可視為具有超參數λ大小的卷積核的快速一維卷積，卷積核λ的大小由公式(3)自適應確定，其中|P|odd是指最接近P的奇數，α和γ是需要被設定的系數，該文分別將其設定為1和2。維度為R1×1×C的通道特征權重分配經公式(4)取得，其中C1D指的是一維卷積，σ是Sigmoid激活函數。

(3)

ω=σ(C1Dλ(x))

(4)

一方面，ECA模塊使用局部跨通道交互減少參數量，幾乎沒有給DCA-UNet++增加多余計算量。表1是相同條件下ECA模塊與其他注意力模塊的參數量比較。另一方面，ECA模塊免除降維，維護了甲狀腺圖像中權重值和通道之間的直接對應關系，有效提取并保留了通道維度的特征。最后，在編碼部分的每一步都加入ECA模塊，兼顧了低層特征和高層特征通道層次的提取，給結節特征分配更大權重，自適應扼制了甲狀腺超聲圖像中非結節區域有害信息的提取傳遞，促進DCA-UNet++更關注于結節區域的信息。

表1 不同注意力模塊參數量的比較

2.3 損失函數

甲狀腺結節的語義分割實際上是將超聲圖像中的像素逐個分類，這類問題常使用交叉熵損失函數(Cross Entropy Loss)，但是在甲狀腺超聲圖像中結節所占部分較少，背景(非結節區域)像素過多，所以存在正負類不均衡的問題。該文在交叉熵損失函數的基礎上混合使用Dice損失函數(Dice Loss)來緩解此問題。交叉熵損失函數的公式為：

(5)

式中，n表示像素點數量，p(x)表示實際輸出概率值，q(x)表示專家標簽概率值。Dice損失函數的公式為：

(6)

式中，n表示像素點數量，λ表示分類類別數量，文中設為2(結節區域與非結節區域)。文中將wλ設為1/λ，p(x)表示實際輸出概率值，q(x)表示專家標簽概率值。最終損失函數是LCE和LDice之和。

3 實驗與分析

3.1 數據集及預處理

該文在公開數據集DDTI(Digital Database Thyroid Image)上進行實驗與分析，該數據集包含347張甲狀腺B型超聲圖像，對應于299名甲狀腺疾病患者的病例，其中包括由至少兩名專業放射科醫生對可疑甲狀腺病變的完整注釋和診斷描述，以xml形式保存在數據集中。首先，將JPG格式的圖像轉為PNG格式，并使用letterbox方法將圖像縮放到同一大小，其次用代碼將xml文件與圖像結合得到專家標簽。再次，將數據集以7∶2∶1的比例劃分為訓練集、驗證集和測試集。最后，由于數據集數據量較少，在數據集中的圖像進入正式訓練之前，采用隨機旋轉、翻轉等操作將數據集擴充至472張圖片及對應的專家標簽，其中包括訓練集及驗證集425張，測試集47張。

3.2 實驗環境及參數設置

實驗的硬件條件是Windows10系統服務器，顯卡是NVIDIA Tesla P100-PCIE。實驗環境是Tensorflow-gpu2.4、Anaconda3.6、pytorch1.8框架。在所有實驗中，輸入圖像大小是560*360，batch size大小為4，模型優化器為自適應矩估計[33]，初始學習率是0.01，設置每迭代一次學習率下降10%，迭代次數是50。

3.3 評價指標

在實驗中采用召回率Recall、精確率Precision、平均交互比mIou、F1-Score和整體精度OA等性能指標對DCA-UNet++進行多方位評價，其中平均交互比是表示模型分割的結果和真實標簽的重合部分平均值。下面給出各個評價指標的計算公式：

(7)

(8)

(9)

(10)

(11)

公式(9)中，k+1是包含空類在內的類別數。公式(7)～(11)中，TP(True Positive)表示預測為結節且預測正確，TN(True Negative)表示預測為非結節且預測正確，FP(False Positive)表示預測為結節且預測錯誤，FN(False Negative)表示預測為非結節且預測錯誤。所有指標取值范圍都在0～1之間，越靠近1，結果越好。

3.4 實驗結果與分析

3.4.1 各模塊消融實驗

整個實驗首先利用數據集中的訓練集進行模型訓練，驗證集評估模型，之后在測試集上進行測試，得到最終的分割結果。DCA-UNet++模型是在U-Net++的基礎上，在編碼部分融合ECA模塊，同時使用DC模塊，以提升模型性能。為驗證ECA模塊和DC卷積模塊對甲狀腺結節分割的影響，將U-Net++、只增加ECA模塊的模型CA-UNet++、添加ECA模塊和DC模塊的模型DCA-UNet++進行10-fold交叉驗證實驗，實驗均采用混合雙損失函數，實驗結果如表2所示。

表2 ECA模塊與DC模塊對模型分割性能的影響

在編碼部分添加ECA模塊之后，各個評價指標均有所提升，其中mIou和Recall較之U-Net++的對應指標分別提升了5.36%和1.06%。由此可以看出，添加ECA模塊的確有利于分割結節性能的提升。

添加DC模塊之后，模型的感受野增大，各方面的性能指標有所提升。但是其中召回率提高的同時精確度卻有所下降，其可能原因有二。其一，甲狀腺超聲圖像中往往同時存在著大結節和小結節，擴張卷積的感受野無法兼顧。其二，多個甲狀腺超聲圖像中存在著多結節，這種情況下容易出現欠分割的問題，為了彌補以往模型欠分割的表現而看重對結節的查全導致了召回率增大的同時精確率有所下降。

3.4.2 與其他方法對比實驗

由于甲狀腺的公開數據集不易獲取，限制了其他模型性能評估的數據來源。所以，為了驗證文中方法的有效性，在同等環境配置和同一數據集上對各個模型進行了復現實驗和指標對比，DCA-UNet++與不同方法的實驗定量結果對比如表3所示。

表3 各類方法在DDTI數據集上的分割效果對比

由表3可以看出，與U-Net++相比，DCA-UNet++的mIou增加了6.76%、Recall增加了1.83%、F1-Score增加了0.16%、OA增加了0.39%。而與經典模型U-Net相比，DCA-UNet++在mIou、Recall和OA方面分別增長了2.94%、0.10%、0.02%，而與Attention U-Net模型相比，DCA-UNet++分別增長了2.01%、0.95%、0.14%。另外，由表中數據看出，相較于U-Net和Attention U-Net，U-Net++在少數方面表現欠佳，是因為DDTI數據集里因為甲狀腺結節超聲圖像中的噪聲眾多，密集連接的高維計算使U-Net++網絡容易受到噪聲的干擾，且雖然U-Net的指標不錯，但是分割結果有全黑的情況。最后在評價指標上來看，DCA-UNet++克服了U-Net++的缺點并進一步提升了甲狀腺結節超聲圖像的分割效果，但是相較于Attention U-Net，DCA-UNet++在精確度和F1-Score方面有所下降，原因可能有二：一是因為基線模型U-Net++高維計算導致結節圖像中的噪聲影響增大。二是因為在同一圖像中存在不止一個大小不一的結節，為緩解此現象帶來的欠分割問題，加大查全結節的力度導致召回率上升而精確度下降，上升幅度小于下降幅度，從而帶來了相較于基線U-Net++模型的性能提升，而較Attention U-Net有一定的下降。

3.4.3 實驗結果可視化

為了進一步直觀驗證文中方法的效果，在分割的DDTI甲狀腺結節超聲圖像數據集中選取4幅與U-Net、Attention U-Net、U-Net++進行可視化對比，4幅圖像有不同的輪廓邊緣、對比度和結節數量，如圖6所示。其中(a)是原始圖像，(b)是專家標注的真實標簽，(c)～(f)分別是U-Net、Attention U-Net、U-Net++和DCA-UNet++(文中方法)的分割結果。

圖6 各類方法在DDTI數據集上的分割效果可視化

第一行的圖像中甲狀腺結節輪廓較為明顯，但是圖像中結節區域和非結節區域對比度低，U-Net模型的結果顯然低于其他方法，整體上文中方法的結果是最與專家標簽契合的，尤其是結節右側邊緣部分。第二行結節輪廓清晰且圖像對比度高，4種模型都可以較為準確地分割結節，但是四周的邊緣部分仍是文中方法最為吻合專家標簽，保留了更多細節信息。第三行圖像中存在2個結節，U-Net和Attention U-Net模型對于左結節、右結節有欠分割現象，U-Net++存在漏分割問題，相比之下文中方法分割結果更完整。第四行圖像中結節輪廓不明顯且圖像對比度低，分割難度大，4種模型表現都欠佳，其中文中方法有效分割范圍最大，準確率較高。

4 結束語

甲狀腺結節是人體中生長的異常腫塊，常見于成人體內。早期的自動分割與評估有助于后續的診斷和治療，但是結節和周圍組織的粘連還有超聲圖像中的陰影噪聲等問題會影響結節的分割。該文提出了一種新的甲狀腺結節醫學圖像語義分割模型DCA-UNet++，借助擴張卷積模塊、ECA模塊和混合雙損失函數改善了甲狀腺結節超聲圖像中由于結節區域小、背景像素噪聲多帶來的分割困難問題。DCA-UNet++在DDTI甲狀腺結節B型超聲圖像數據集上進行了測試評估，結果表明DCA-UNet++與其他方法相比確實提高了分割結果的準確性。但是面對甲狀腺結節超聲圖像中多結節的問題，還是存在分割不完整、邊緣不平滑的情況，將來還有必要進行更深層次的研究。在接下來的研究工作中，可以使用生成對抗網絡GAN來處理甲狀腺結節的分割，提高分割的性能和精度。