基于改進MultiRcsUNct網絡的甲狀腺超聲圖像分割

石 威，李昕澤，黃文昌，王寧浩1;，焦 陽，崔崤峣

（1. 中國科學技術大學生物醫學工程學院（蘇州） 生命科學與醫學部，安徽合肥 230026；2. 中國科學院蘇州醫學工程技術研究所醫用聲學室，江蘇蘇州 215163）

0 引 言

甲狀腺是人體重要的器官，其大小形態的變化在臨床醫學的診斷中有很重要的意義。目前，臨床上常用超聲來檢查甲狀腺[1-3]，但是由于甲狀腺周圍結構復雜，且甲狀腺的形狀和大小具有多樣性[4]，導致對甲狀腺的分割比較困難。

隨著醫學影像技術的發展，臨床檢查普及了計算機輔助診斷手段，促進了醫學圖像分割技術的發展，Long等[5]提出了全卷積神經網絡（Fully Convolutional Nctwork， FCN），該網絡將圖像級的分類網絡應用到圖像分割領域，實現了像素級分類；Ronncbcrgcr等[6]基于FCN分割結果較粗糙的缺點，提出了U-Nct，該網絡采用了對稱式的編碼-解碼結構，并采用跳躍連接將編碼階段與解碼階段的特征相融合，從而實現了更精確的分割；Ding等[7]提出了一種改進的U-Nct模型（RcAgU-Nct），該網絡模型將改進后的殘差單元嵌入編碼和解碼路徑之間的跳躍連接中，并引入注意力機制將淺層和深層獲得的權值特征映射加倍；Ibtchaz 等[8]提出了MultiRcsUnct網絡，將原有的卷積層替換成改進的Inccption塊，能比較好解決圖像不同尺度的問題，并引入Rcs Path模塊，減小了編碼器與解碼器對應階段之間可能存在的語義鴻溝；Chcn等[9]提出一種即插即用的新型卷積 Octavc卷積，將特征圖分為高低頻通道，減少空間冗余，且該卷積可以在不改變網絡結構的前提下替換傳統卷積；沈雪雯等[10]提出了一種基于 U-Nct++ 的空間分頻超聲圖像分割注意力網絡（SFDA-Nct），該網絡引入了 Octavc卷積、CBAM注意力模塊等實現超聲圖像的分割；唐柳等[11]在U-Nct架構的基礎上，結合Octavc卷積，提出了一種用于超聲心動圖的分割網絡。

由于超聲圖像存在大量的固有缺陷，如斑噪聲嚴重、對比度低、偽影等，自動準確分割超聲圖像非常困難。這些缺陷綜合起來，使得分割效果不理想[12-14]。本研究針對甲狀腺超聲圖像的特性，以MultiRcsUNct網絡為基線，利用其MultiRcs模塊實現對不同大小和形態的甲狀腺的分割，并結合Octavc卷積，將訓練過程的特征圖按通道分為高頻和低頻部分。高頻部分描述了灰度劇烈變化的邊緣和細節信息，低頻部分描述了灰度平穩變化的輪廓信息[15]，對兩部分設置不同的權重，重點關注高頻的邊緣和細節信息，可有效地從信噪比較低的超聲圖像中分割出甲狀腺，且對于邊緣的分割更加精細。

1 方 法

1.1 MultiRcsUNct網絡

MultiRcsUNct網絡是基于U-Nct提出的一種新型的網絡結構[8]，與U-Nct網絡結構相似，網絡分為編碼和解碼兩部分，如圖1所示。該網絡在U-Nct的基礎上引入多殘差（MultiRcs）模塊和殘差路徑（Rcs Path）模塊。MultiRcs模塊的結構如圖2所示，該模塊借鑒了Inccption網絡的思想，分別使用3×3、5×5、7×7不同尺寸的卷積核來提取特征，并將輸出結果按通道方向拼接，以學習不同尺寸的空間特征，該模塊使用2個3×3的卷積層來代替5×5的卷積層，使用3個3×3的卷積層代替7×7的卷積層，減少了網絡參數量且可以加速網絡訓練，同時，引入了使用1×1卷積的殘差結構。使用該模塊替換了U-Nct的卷積層。

圖1 MultiRcsUNct網絡結構Fig.1 The architecture of MultiResUNet network

圖2 MultiRcs 模塊結構Fig.2 The structure of MultiRes module

Rcs Path模塊結構如圖3所示，沒有直接將編碼器的特征圖與解碼器特征圖簡單拼接在一起，而是通過一系列卷積層傳遞編碼器特征。這些額外的非線性操作可以減少編碼器和解碼器特征之間的語義差距。此外，還引入了使訓練更容易、并且在深度卷積網絡中非常有用的殘差連接。

圖3 Rcs Path 模塊結構Fig.3 The structure of Res Path module

1.2 Octavc卷積方法

Octavc卷積借鑒了自然圖像中高頻信息描述圖像的細節特征、低頻信息描述圖像的輪廓特征的思想。該方法指出對于普通卷積，所有輸入和輸出特征圖具有相同的分辨率是沒有必要的，因為一些特征圖表示低頻信息，存在空間冗余，可以進一步壓縮。為了減少空間冗余，將特征圖按通道方向分為高頻XH和低頻XL兩個組，并且將低頻特征圖的空間分辨率降低為高頻特征圖的一半[9]。Octavc卷積層如圖4所示。

圖4 Octavc卷積模塊結構Fig.4 The structure of Octave Convolution module

圖4中，C表示通道數，h、w表示特征圖的尺寸，α∈[0，1]表示高低頻信息的比例，所以，最終的輸出可表示為

YH和YL的表達式為

其中：upsamplc（X，n）表示系數為n的上采樣操作，pool（X，n）表示參數為n的池化操作，f（X，W）表示卷積核為W的卷積操作。

Octavc卷積被設計為即插即用，無需調整網絡結構，也不用調整參數，即可用在常用的卷積神經網絡中，該方法在第一層 Octavc卷積中設置αin=0、α°ut=1，實現將輸入的特征轉化為多頻特征表示，在最后一層 Octavc卷積中設置αin=1、α°ut=0，實現最終的單個頻率特征的輸出。在其他特征層，設置αin=α°ut=α。

1.3 Oct-MRU-Nct網絡

由于甲狀腺超聲圖像形態不確定，且信噪比低，斑點噪聲較多，導致使用常規的分割算法無法準確分割出甲狀腺。MultiRcsUNct網絡針對形態不確定的問題有了較好的解決方案，但是無法解決圖像噪聲等問題。本研究將 MultiRcsUNct網絡與Octavc卷積相結合，提出了改進的 MultiRcsUNct網絡（簡稱 Oct-MRU-Nct）。

Oct-MRU-Nct網絡在網絡特征提取部分，將MultiRcsNct網絡的傳統卷積替換為Octavc卷積，有針對性地對圖像的高低頻特征進行學習，并降低低頻特征的空間冗余，在能學習不同空間尺度特征的前提下，可以有效地從信噪比較低的圖像中分割出待測目標。Oct-MRU-Nct網絡的結構如圖5所示。

圖5 Oct-MRU-Nct網絡結構Fig.5 The architecture of Oct-MRU-Net network

Oct-MRU-Nct網絡保留 U-Nct網絡的基本結構，對輸入圖像做平均池化，將其分辨率降低為原圖的一半，并將其和原圖同時作為Octavc MultiRcs模塊的輸入。在下采樣階段，使用了 4個 Octavc MultiRcs模塊進行特征提取，Octavc MultiRcs模塊的結構如圖6所示。對每個Octavc MultiRcs模塊得到的特征進行Rclu激活以及批歸一化操作。在上采樣階段，使用轉置卷積增大特征圖的分辨率，然后再經過Octavc MultiRcs模塊進行特征提取，并通過Octavc Rcs Path模塊將下采樣階段與上采樣階段的特征進行融合，Octavc Rcs Path模塊如圖7所示。編碼器特征和解碼器特征映射之間的語義差距可能會隨著網絡加深而減小，所以在Octavc Rcs Path1、2、3、4中逐漸減少了Octavc卷積模塊的數量，分別使用了4、3、2、1個Octavc卷積模塊。

圖6 Octavc MultiRcs模塊結構Fig.6 The structure of Octave MultiRes module

圖7 Octavc Rcs Path模塊結構Fig.7 The structure of Octave Res Path module

最后，將Octavc MultiRcs模塊的低頻輸出進行上采樣，增大其分辨率，與高頻通道的輸出相加，并使用1×1卷積融合其通道間的差異，最終輸出同時包含高低頻信息的結果。

2 實驗與分析

2.1 實驗準備

本實驗使用的數據集為Wundcrling等[16]提供的甲狀腺公開數據集，其中包括以11～16 MHz頻段超聲換能器采集的16位健康志愿者的甲狀腺圖像，并通過手動標記得到對應的標簽。經過數據清洗，去除一些缺失值，即沒有甲狀腺的圖像，保證所有參與訓練的數據都是有效的，最終保留了1 000個訓練圖像和200個測試圖像作為數據集。

本文的實驗在 Windows10平臺下進行，基于Tcnsorflow2.1.0和Kcras2.3.1深度學習框架搭建了訓練環境。在訓練網絡時，選擇了二值交叉熵作為損失函數，選擇了Adam作為優化器，初始學習率設置為 1×10-4。

本文采用圖像的平均交并比（Mcan Intcrscction ovcr Union， mIoU），Dicc 系數（Dicc cocfficicnt）以及靈敏度（Scnsitivity， SE）作為算法評價指標。評價指標如式（4）～（6）所示：

式中：c表示類別數（前景或者背景），PT表示正確分類的正樣本數，即預測為正樣本，實際也是正樣本；PF被錯誤地標記為正樣本的負樣本數，即實際為負樣本而被預測為正樣本；NF指被錯誤地標記為負樣本的正樣本數，即實際為正樣本而被預測為負樣本。

2.2 實驗及結果

分別使用 U-Nct網絡、MultiRcsUNct網絡與Oct-MRU-Nct網絡針對甲狀腺數據集進行訓練及測試。α越大，低頻通道所占比例就越大，網絡參數量會相應地變小。為了研究不同的α值對網絡性能的影響，本實驗選擇了3個α進行測試，測試結果如表1所示。

表1 不同參數α的網絡性能Table 1 The performances of the networks with different parametersα

由表1可以看出，當α=0.25時，mIoU=0.911，當α=0.75時，mIoU=0.895，α從0.75變為0.25時，模型參數量僅增加了 104 731，但性能有較大的提升。α越小，網絡模型參數量越大，網絡性能相對越好，但是如果α=0時，此時全部是高頻通道，網絡無法學習低頻特征，失去了Octavc卷積的意義。所以本實驗選擇α=0.25探究網絡的性能。

訓練過程中的mIoU如圖8所示，可以看出，Oct-MRU-Nct網絡在第35次左右收斂，mIoU最終收斂在為0.91，MultiRcsUNct網絡在第45次左右收斂，mIoU最終收斂在為0.89，U-Nct網絡在第65次左右收斂，mIoU最終收斂在為 0.87，所以Oct-MRU-Nct網絡收斂后的mIoU相較于U-Nct網絡和 MultiRcsUNct網絡都有明顯的提升，且Oct-MRU-Nct網絡收斂速度較快。

圖8 訓練過程中三個不同網絡的平均交并比（mIoU）Fig.8 The mIoUs of three different networks in training process

測試結果如圖9、10 所示，其中，圖9（a）、10（a）表示原始圖像，圖9（b）、10（b）表示標簽圖像（Ground Truth），圖9（c）、10（c）表示使用 U-Nct網絡分割結果，圖9（d）、10（d）表示使用 MultiRcsUNct網絡分割的結果，圖9（c）、10（c）表示使用本文方法（Oct-MRU-Nct網絡）分割的結果。從圖9中可以看出，相較于MultiRcsUNct網絡和U-Nct網絡，Oct-MRU-Nct網絡由于使用高低分頻的思想，對高頻細節信息更加敏感，分割的邊緣比較精細，如圖中藍色框標注處所示。從圖10中可以看出，U-Nct網絡對小目標無法實現有效分割，而 Oct-MRU-Nct網絡和MultiRcsUNct網絡由于使用了多尺度特征提取的思想，對小目標表現更加友好，相對MultiRcsUNct網絡，由于 Oct-MRU-Nct網絡較多地關注高頻細節信息，對小目標分割效果更好。

圖9 三種不同算法的結果對比（1）Fig.9 Comparison of three different algorithms (1)

圖10 三種不同算法的結果對比（2）Fig.10 Comparison of three different algorithms (2)

測試集在三個模型上針對上述指標進行了分析，并且結合了冉冬梅等[14]提出的針對甲狀腺超聲圖像分割的傳統算法進行對比，結果如表2所示。從表2中可以看出，在參數量相差不大的情況下，Oct-MRU-Nct網絡模型性能較好，在各個評價指標上都有提升，相比MultiRcsUNct網絡，Oct-MRU-Nct網絡在mIoU提高了0.017左右，Dicc系數提高了0.013左右，在SE指標上提高了0.021左右。說明本文算法對于甲狀腺超聲圖像分割有較好的效果。

表2 三種算法性能比較的結果Table 2 The performance comparison results of the three algorithms

3 結 論

本文提出了一種基于 Oct-MRU-Nct網絡的甲狀腺超聲圖像分割算法。該算法通過引入MultiRcs模塊，更好地學習了不同的空間特征；通過引入Rcs Path模塊，減少編碼器和解碼器特征之間的語義差距；通過引入Octavc卷積的分頻機制，對高頻細節更加敏感，分割的邊緣更加精細。實驗結果表明，本文算法在相同的硬件環境及相同量級的參數量下，mIoU，Dicc系數，SE等指標都有明顯的提升。這說明該算法對甲狀腺超聲圖像有較好的分割效果。從分割結果可知，本文算法具有檢測小目標的能力，且對邊緣和細節的分割效果更加精細。

本文中的算法對甲狀腺超聲圖像具有通用性，可針對甲狀腺不同的疾病進行檢測，且有較高的準確率和魯棒性。但由于Octavc卷積中的參數α需要人為設定，缺乏自適應性，一定程度上影響了甲狀腺超聲圖像的分割效率。因此，在今后的研究中，將考慮如何自適應設置參數α，提高甲狀腺分割效率。