改進Mask R-CNN的甲狀腺結節超聲圖像分割方法

劉明坤，張俊華，李宗桂

云南大學 信息學院，昆明 650500

研究表明，全球大約有50%的人存在甲狀腺結節病癥[1]，而甲狀腺結節癌變的幾率約為5%～15%，嚴重威脅著人類的健康[2-4]。

甲狀腺結節性疾病一般通過醫生手工對超聲影像進行標定和劃分結節區域來診斷[5]。然而超聲圖像一般存在大量偽影且固有斑點噪聲大，對比度和分辨率較低[6]，不同型號及類型的超聲設備采集的超聲圖像也存在較大差異，并且甲狀腺結節無標準形態，這些問題給醫生準確分割不同患者的甲狀腺結節輪廓帶來挑戰。在此過程中因不同醫生操作經驗不同，還會出現觀察者誤差。因此對甲狀腺結節超聲圖像進行準確的分割對提高診斷相關疾病的效率有重要意義。

近年來已有不少自動或半自動甲狀腺結節超聲圖像分割方法。Koundal 等人[7]提出了一種利用中性點域的距離和正則化水平集的方法對甲狀腺超聲圖像進行斑點抑制和結節分割，但水平集演化參數的設定和中性點區域的劃分需要人工進行，主觀性強。Ma等人[8]使用卷積神經網絡（convolutional neural networks，CNN），通過甲狀腺邊緣像素點對甲狀腺和甲狀腺結節進行分類，根據分類結果生成分割概率圖，但性能不理想。Li等人[9]使用全卷積網絡（fully convolutional networks，FCN）對甲狀腺結節超聲圖像進行分割，全卷積網絡只考慮各個像素間的分類，忽略了空間規整，缺乏空間一致性，同時上采樣的結果模糊平滑，對圖像中細節不敏感，致使分割誤差較大。Wang 等人[10]使用快速區域卷積神經網絡（faster region-convolutional neural network，Faster R-CNN）[11]對甲狀腺乳頭狀癌超聲圖像進行識別，Faster R-CNN中感興趣區域池化層（region of interesting pooling，ROI Pooling）將特征圖按固定尺寸進行池化時，對特征圖邊界坐標浮點數進行取整，映射到原始圖像中就會產生較大的像素點差別，導致識別精度較差。Ying等人[12]使用基于U型卷積神經網絡（U-Net）的改進網絡對甲狀腺結節超聲圖像進行分割，U-Net網絡在單一尺度上進行預測，并不能完全解決尺度變化的問題，其網絡層數過少也很容易產生過擬合的現象，且在分割一些不明顯的甲狀腺結節的情況下仍會產生較大的誤差。

為了解決以上問題，本文提出一種改進的掩膜區域卷積神經網絡（mask region-convolutional neural network，Mask R-CNN），對原主干網絡進行改進，增強了其特征提取能力。改進的Mask R-CNN 實現了對甲狀腺結節超聲圖像的自動精確分割，避免了人為因素的影響。

1 原始Mask R-CNN網絡

原始Mask R-CNN網絡結構如圖1所示，由主干網絡、區域建議網絡（region proposal network，RPN）、感興趣區域匹配層（region of interesting align，ROI Align）和全連接網絡組成。輸入圖像經過主干網絡進行特征提取，然后將特征圖輸入到RPN網絡中生成候選區域，并送入ROI Align得到對齊后最佳候選框，最后通過全連接網絡構成分類預測、候選框預測和掩碼預測。

圖1 原始Mask R-CNN網絡Fig.1 Original Mask R-CNN network

1.1 主干網絡

本文中原始Mask R-CNN 的主干網絡是由殘差網絡（residual network 101，ResNet101）[13]和特征金字塔網絡（feature pyramid networks，FPN）[14]構成，其包含三個支路：一是從底而上的ResNet101支路；二是從頂而下的上采樣支路；三是橫向連接。網絡結構如圖2所示。

圖2 主干網絡Fig.2 Back bonenetwork

其中從底而上的路徑即為ResNet101 的前向傳播過程，特征圖在此過程中經過某些層時會發生尺寸變化，故將不改變特征圖尺寸的特征層劃分為同一層級，在此過程中每一層級的寬度從下自上依次為C1=512，C2=256，C3=128，C4=64，C5=32。每次進行橫向連接所使用的特征圖，就是將同一層級的最后一層輸出特征圖進行256×1×1的卷積，不改變圖像尺寸并將特征圖通道數都設置為256，以便進行特征融合，而所有層級的輸出構成FPN網絡的從底向上支路。

從頂而下的路徑使用上采樣的方法，P5 層是C5 層進行1×1 的卷積得到的，P6 層為P5 層經過最大池化操作獲得。橫向連接是將同尺寸的上采樣輸出特征圖與自底而上路徑的每層級輸出進行融合，然后通過一個3×3的卷積，用來消除混疊效應，最后輸出特征圖。

1.2 區域建議網絡

RPN 網絡在得到的特征圖上生成多種尺寸的滑動窗口，滑動窗口通過卷積進行滑動并在特征圖上選定多個候選目標，再通過分類器和回歸器，判定目標屬于前景或背景并確定最佳候選框位置。

1.3 感興趣區域匹配層

獲取候選框后，ROI Align 層根據候選框的位置坐標，在特征圖中將相應區域池化為固定尺寸的特征圖，以便輸入全連接網絡進行分類、候選框回歸及掩膜預測。因目標位置的四個坐標值為浮點數，故采用雙線性插值的方法替代了在ROI Pooling 的候選框提取過程中將坐標值四舍五入取整的方法，很好地解決了ROI Pooling操作中目標位置不匹配的問題。

1.4 生成分類邊框及掩膜

全連接網絡由兩個分支組成，如圖3 所示，一個分支利用最后得到的特征圖，通過全卷積網絡對掩膜進行像素級分割預測。另一個分支利用特征圖及最佳候選區域實現目標的分類預測。

圖3 全連接網絡Fig.3 Full connected network

掩膜預測支路通過5 次14×14 的卷積運算，再使用2×2 反卷積生成28×28 的特征圖，最后經過1×1 卷積和激活函數得到28×28的輸出特征圖，該圖中每個點代表某類別的前景背景置信度，用0.5 的置信度閾值得到該類別物體掩膜。

分類邊框預測支路通過7×7的卷積運算，再經過兩個1 024特征向量的全連接層，完成分類和邊框回歸。

2 改進的Mask R-CNN

原始Mask R-CNN 網絡用于分割甲狀腺結節超聲圖像時存在以下三個弊端：

（1）對甲狀腺結節超聲圖像中細微特征的提取能力較差，細節部位分割精度較低。

（2）輸入圖像的底層信息與高層信息融合路徑過長，導致融合特征圖中底層信息大量丟失，影響分割精度。

（3）輸入圖像進行上采樣和下采樣時會造成信息丟失，使得底層信息和高層信息量并不對等，從而導致信息量較弱的特征信息的作用變小，并不能有效利用全局特征信息。

針對以上問題，本文對原Mask R-CNN的主干網絡進行改進，其網絡模型如圖4所示。

圖4 改進后主干網絡結構Fig.4 Improved backbone network structure

首先在原Mask R-CNN 的主干網絡ResNet101 結構中加入了一種改進的注意力模塊，以增強ResNet101的細微特征提取能力。然后在主干網絡FPN 結構的基礎上增加了一條由下至上的支路，通過減少底層信息的傳輸路徑來有效地保留信息，提高底層信息的傳輸效率，使得底層信息能夠被網絡有效地利用。再將所增加支路輸出的各個尺度特征進行融合，以均衡原FPN的上采樣操作和所增加支路的下采樣操作帶來的信息丟失。最后將融合后的特征圖恢復至原輸入特征圖尺度，再輸入網絡中進行后續操作。通過提高網絡特征提取能力，并將多層特征融合得到多尺度特征圖，能使網絡充分利用圖像的全局信息，解決多尺度檢測問題。

2.1 改進的ResNet101結構

本文在ResNet101 的C2～C5 每一層級的最后添加了一種改進的注意力機制模塊。改進的注意力機制模塊由擠壓激勵網絡（squeeze-and-excitation networks，SENet）模塊[15]和空間注意力模塊（spatial attention module）[16]兩個主要部分構成，故本文稱其為SESNet（squeeze-excitationand-spatial networks，SESNet）。改進的ResNet 101 結構如圖4（a）所示，C1為輸入圖像，故不在其后增加注意力機制。

SENet模塊是一種通道注意力模塊，其核心思想是通過網絡根據損失函數自動學習不同位置特征的權重，提高有效特征的權重，降低無效或效果較小的特征的權重，從而使訓練模型具有更高的分割精度。

設F∈RC×H×W為輸入特征圖，首先進行特征壓縮：

式中，uc表示輸入特征圖F中的第c個二維矩陣，該式表明該層c個特征圖的數值分布情況，Zc表示得到的全局信息。

然后將得到的全局信息進行特征權重學習：

式中，Fsq為特征壓縮后的特征圖，MSE為第c層特征圖的權重，的目的是為了減少通道個數從而降低計算量。W1Zc即為一個全連接操作，起到降維作用，后通過ReLu 激活函數；W2Zc為第二個全連接操作，使其恢復初始維度，最后經過sigmoid 激活。該步驟中兩個全連接層的作用是用于融合各通道的特征圖信息。

最后將學習到的特征權重值MSE與輸入特征圖F進行逐元素相乘，表達式如下：

空間注意力模塊利用像素間的空間關系生成空間注意圖，能夠關注在各個特征通道內不同位置像素的權重值大小。

空間注意力的計算公式如下：

其中，f7×7為7×7 的卷積核，AvgPool(F)為平均池化運算，MaxPool(F)為最大池化運算。

然后將SENet模塊的輸出特征圖F′與空間維度權重值MS(F′)進行逐元素相乘，表達式如下：

圖5即為SESNet示意圖，將SENet模塊與空間注意力模塊進行連接，輸入特征圖先后通過SENet模塊和空間注意力模塊。

圖5 SESNet示意圖Fig.5 Schematic diagram of SESNet

本文提出的SESNet的計算方式如下：

式中，F為輸入特征圖，F′為SENet 模塊的輸出特征圖，F′為SESNet的最終輸出特征圖，?為逐元素相乘。

特征圖經過SESNet 時不會改變特征圖尺寸，只通過像素的特征權重的大小，讓網絡自動調整保留的特征圖數據，然后將特征值權重與特征圖融合，強化特征圖中有效特征，再輸入后續網絡中。特征圖經過SESNet處理后，能夠使特征圖中高層特征信息更加明顯，使后續處理的精度結果更高。

2.2 改進的FPN結構

為提高各尺度特征圖的信息傳播與融合[17]，增強底層信息在全局特征中的作用，本文在原FPN的基礎上增添一條由下而上的支路，縮短了底層信息與高層信息的融合路徑，如圖4（b）所示。

本文使用FPN網絡的P系列層映射，D系列層為新增融合路徑，D2是C2進行256×1×1卷積后的特征層，可以充分保留原始圖像中的底層信息。然后將D2通過步幅為2 的3×3 卷積層進行下采樣得到D3，再將D3 與P3逐元素相加，通過3×3 的卷積消除混疊效應，最后輸出。各層依次如上法迭代，迭代公式如式（8）所示，D系列層寬度依次為D2=256，D3=128，D4=64，D5=32。

新增的D系列層充分保留了底層信息，與P系列層相加之后可以得到具有豐富底層信息與高層信息的輸出特征圖。

2.3 改進的輸出結構

新增的第三支路可以將底層信息與高層信息進行融合，但僅限于橫向連接的各層之間。且上采樣和下采樣會導致特征信息缺失，并不能有效利用全局特征信息。

本文將新增第三支路后的FPN 的多尺度輸出特征進行融合，平均所有尺度特征圖的信息，充分保留其語義及位置信息，如圖4（c）所示。首先選取中間層N4 層的尺寸作為融合尺寸，然后將N2、N3通過步長為2的3×3 卷積進行下采樣，將N5、N6 通過×2 操作的上采樣，得到同一尺寸的特征圖。再將各特征圖進行逐元素相加后求均值得到Ni。其公式如下：

式中，i為層數，imin為系列層中最小層數，imax為系列層中最大層數。

再將融合后特征圖Ni通過步長為2 的3×3 卷積進行下采樣得到N5、N6，通過×2 操作的上采樣得到N2、N3，通過1×1的卷積得到N4，最后將得到的多尺度特征圖再次輸出。

通過將輸出特征圖融合后再輸出，可以均衡不同尺寸特征圖間的信息差異，并再次強化有效特征。

3 實驗分析

3.1 實驗環境

本實驗使用CPU為CoreTMi7-8700k 3.7 GHz，顯卡為NVIDIA RTX 2080s，顯存為8 GB。軟件環境為基于Keras的學習框架，并以Tensorflow為支撐來實現。

3.2 數據集

本實驗數據由云南省某醫院提供，包括來自不同設備和不同灰度且擴展名為.png 格式的已消除病人信息的甲狀腺結節超聲圖像。共有1 000張甲狀腺結節超聲圖像，包括正常的甲狀腺結節和已發生病變的甲狀腺結節的圖像，訓練標簽由多名專業醫生共同標注，減小了觀察者誤差。

3.3 模型訓練

本實驗將1 000張甲狀腺結節圖像經過旋轉、縮放、平移、裁剪等數據增強方式后擴充到3 000 張。將其中2 400張圖像作為訓練集，其余600張作為測試集。使用Adam 優化器，超參數設置為學習率0.001，batch_size=16，訓練輪次200輪。實驗過程對訓練損失最小的權重文件進行保存并用于測試。

3.4 評價指標

（1）采用Dice系數[18]為評價指標。Dice系數主要用來評估兩個不同樣本間的相似程度，即判斷兩個樣本中重合部分占總元素的比例，所占比例越高，模型精度越高。

Dice系數的計算公式如下：

式中，A表示原圖中甲狀腺結節的面積，B表示掩膜預測的甲狀腺結節面積。

本實驗中首先通過訓練得到模型，后用模型根據測試圖像生成標簽，最后用生成標簽與原標簽計算Dice系數，根據其相似程度來評估模型的性能。Dice系數越接近1，則表明甲狀腺結節超聲圖像分割精度越高。

（2）使用精確度（precision，P）、召回率（recall，R）和F1分數對分割結果進行評價。

其公式如下：

式中，TP表示正確分割甲狀腺結節的部分，FP表示將黑色背景預測為甲狀腺結節的部分，FN表示將甲狀腺結節預測為黑色背景的部分。

4 實驗結果及分析

4.1 模型分割評估

本文設計了注意力機制的消融實驗，在原Mask RCNN 主干網絡ResNet101 的C2～C5 層級后分別加入SESNet。為評估改進的注意力機制性能，本文還對SESNet 與SENet 和CBAM 進行了對比實驗，分別將三種注意力機制加入到原Mask R-CNN 網絡的C2～C5 層級后進行比較。實驗結果如表1所示。

表1 注意力機制實驗Table 1 Attention mechanism experiment

由消融實驗結果可知，與在主干網絡ResNet101 的C2～C5 層級的其他位置加入SESNet 相比，在C2～C5 層級都加入SESNet時，分割精度最高，且改進后的注意力機制性能優于SENet與CBAM。

本文進一步通過消融實驗來對所提出模型進行性能評估。采用的對比模型如下：

模型1 原始Mask R-CNN網絡。

模型2 在原Mask R-CNN 基礎上，只在主干網絡ResNet101的C2～C5層級都加入SESNet。

模型3 在原Mask R-CNN 基礎上，只在主干網絡FPN中增添第三支路。

模型4 在原Mask R-CNN 基礎上，只將主干網絡的輸出融合后再輸出。

模型5 改進的Mask R-CNN。

分割結果如表2所示。

表2 各模型分割結果Table 2 Segmentation results of each model

由表2可知，在Mask R-CNN原網絡基礎上分別改進ResNet101 結構、FPN 結構和輸出結構后，Dice 系數、P、R和F1分數都有所提高。改進后的Mask R-CNN分割平均Dice系數達到0.914 8。

4.2 不同分割算法的比較

為了進一步驗證本文改進模型的性能，將同一數據集應用于FCN32s、FCN8s、U-Net、原Mask R-CNN四種網絡模型進行訓練，并對分割精度進行評估。

不同網絡的分割結果如表3所示。

表3 各模型分割結果Table 3 Segmentation results of each model

由表3可知，本文提出的改進Mask R-CNN網絡的平均Dice系數、平均精確度P、平均召回率R以及平均F1分數的數值結果與上述算法相比均有顯著提升，具有更高的性能。

如圖6所示，本文提出的主干網絡結構能夠充分利用圖像中的全局信息，從而使改進Mask R-CNN網絡的分割精度優于原網絡。

圖6 不同網絡的甲狀腺結節超聲圖像分割結果Fig.6 Ultrasonic image segmentation results of thyroid nodule in different networks

5 結束語

本文提出了一種改進的Mask R-CNN網絡，對其主干網絡進行如下改進：（1）對所提取特征的通道信息和空間信息按權重進行分配，以突出分割目標的特征；（2）對多個尺度的特征圖進行融合，以使其具有充分的全局信息；（3）對融合后輸出的特征圖進行再融合，以均衡特征信息的不對等。實驗結果表明，本文改進后的Mask R-CNN 網絡能夠有效提升對甲狀腺結節超聲圖像的分割精度，可以輔助醫生做出高效的診斷。