甲狀腺結節超聲自動診斷算法研究

章浩偉，李占齊，李 淼

（1.上海理工大學 醫療器械與食品學院，上海 200082；2.鄭州頤和醫院，河南 鄭州 450000）

0 引言

近年來，甲狀腺癌的發病率逐年上升。2019 年，美國有52 070 名成年人確診甲狀腺癌，甲狀腺癌是20-34 歲美國女性最常見的癌癥之一［1］。國內統計結果顯示，2012 年北京地區的甲狀腺疾病發病率為10 年前的4.9 倍［2］。部分甲狀腺結節會發生惡變，導致甲狀腺癌，因此對于甲狀腺結節的觀察與診斷十分重要，早期發現治療可以在很大程度上降低甲狀腺癌的發生率與死亡率。甲狀腺結節的超聲診斷很大程度上受到醫生主觀經驗的影響，自動化智能化的甲狀腺結節檢測可大幅度減少醫生工作量，降低診斷時對臨床經驗的依賴程度，獲得與穿刺活檢相當的診斷精度。

卷積神經網絡（Convolutional Neural Network，CNN）能端到端地進行訓練，自動學習圖像的高級與低級特征，在醫學圖像檢測中具有重要應用。然而，由于甲狀腺超聲圖像組織結構復雜、邊界模糊、形狀不規則，給檢測識別工作帶來很大挑戰。目前，甲狀腺結節的快速、準確診斷是一項亟待解決的難題。

1 相關研究

Wu 等［3］針對甲狀腺超聲圖像結節分割不準確的問題，設計聯合上采樣模塊，融合具有不同擴展系數的普通標準卷積和擴展卷積的上下文信息，實現了93.19%的準確率和0.8558 的dice 值；邵蒙恩等［4］結合CV 模型與RSF 模型，建立CV-RSF 模型，實現了甲狀腺結節超聲圖像的半自動分割；Wei 等［5］提出一種具有注意力機制的雙路徑U 型網絡Attention-DPU，采用微型雙路徑模塊代替普通卷積層，利用注意力機制提高圖像分割效率和準確率；Zhang 等［6］提出一種端到端、多通道、無規則的CNN 網絡，旨在提取更多的語義信息用于超聲圖像的分割，與U-Net、U-Net++、M-Net和Dilated U-Net 相比，該網絡的性能分別提高了6.59%、36.03%、23.64%和31.71%；吳迪［7］利用集成學習（Boosting）算法將多個弱分類器組合為一個強分類器，在測試集上的惡性結節預測準確率達到86%，召回率達到96%；Singh等［8］基于灰度共生矩陣（GLCM）提取特征，然后利用SVM對甲狀腺結節進行分類，最大分類精度為84.62%；Yu 等［9］建立了一個基于區域活動輪廓和紋理的特征提取框架，通過結合人工神經網絡（ANN）與SVM 分類器，實現了準確率為92.00%，敏感性為100%，特異性為87.88%的分類性能；Xiao 等［10］對3 個不同深度的網絡模型ResNet50、Xception、InceptionV3 進行特征提取，以簡單級聯的方式融合3 種網絡提取的特征，然后將特征輸入到ANN 分類器中，判別超聲圖像的良惡性，最終實現了85.13%的準確率和0.91 的AUC 值。

以上文獻多是針對甲狀腺超聲圖像進行分類或分割的單一任務研究，不能對甲狀腺結節進行整體診斷與評價。基于此，本文設計一種改進的Mask R-CNN 算法，以ResNet50、SENet 為基礎主干網絡，并融合殘差注意力機制模塊得到SE-ResNet50 網絡，改進多任務損失函數，實現了基于深度卷積神經網絡（Deep Convolutional Neural Network，DCNN）的集甲狀腺超聲結節檢測、良惡性判別與分割三項任務于一體的研究。

2 實驗方法

2.1 實驗數據分析

2.1.1 甲狀腺結節鑒別特點分析

圖1 為甲狀腺超聲圖像示例。臨床上，醫生主要從形態特征、衰減特性、回聲模式、鈣化特性等方面對甲狀腺結節進行診斷［11］。具體來講，良性甲狀腺結節形態規則、邊界清晰、結節后方呈回聲增強或等回聲，結節的縱橫比一般小于1，結節周圍聲暈規則，有完整包膜，內部無鈣化或有粗大鈣化［12］；惡性甲狀腺結節形態不規則，邊界欠清晰，結節后方回聲衰減，結節縱橫比通常大于1，包膜不明顯或無完整包膜，出現微小鈣化、血流信號增強，常伴有頸部淋巴結轉移性腫大［13］。

Fig.1 Thyroid ultrasound image example圖1 甲狀腺超聲圖像示例

2.1.2 實驗數據采集與預處理

采集2 934 幅甲狀腺超聲圖像作為實驗數據集，采集地點為徐州市某三甲醫院，其中良性結節圖像有1 673 張，惡性結節圖像有1 261 張，圖像為二維JPG 格式，采集所用超聲診斷儀類別不同，包括Philips-123、SIEMENS、GE Voluson S8、ACCUVIX-gfg、TOSHIBA。

原始超聲圖像周邊有較多對實驗無用的信息，如醫院名稱、圖像采集時間、設備名稱、患者信息、超聲探頭的發射頻率、探測深度等。為避免圖像分辨率過大帶來的計算負擔，通過保持原始圖像ROI（Region of Interest）區域的長寬比例調整圖像大小，得到甲狀腺超聲圖像的ROI 子圖。對于一個尺寸為h×w 的圖像，裁剪其周邊無用信息，按照尺寸max｛h，w｝進行零值填充，resize 成512×512 大小，最后在醫生的指導下制作成標準的COCO 數據集形式。圖2 為ROI 子圖及其對應掩碼。

2.2 實驗平臺

訓練集和測試集的比例為8∶2，即訓練集∶測試集=2 347∶587。實驗模型部署在中科曙光的超級運算平臺上，實驗系統為Linux 操作系統，編譯環境為Python 3.7.9，CUDA 版 本10.0，顯卡為Tesla V100-SXM2-32GB，使 用pytorch1.4.0 進行整體模型的搭建。

Fig.2 Ultrasound image and corresponding mask image圖2 超聲圖像及其對應掩碼圖像

2.3 算法建立

2.3.1 Mask R-CNN 算法

基于CNN系列的目標檢測算法，如Fast R-CNN［14］、Faster R-CNN［15］和Mask R-CNN［16］等在目標檢測領域均取得了巨大成功。相較于Faster R-CNN 網絡，Mask R-CNN在其基礎上添加了一個掩膜預測分支。圖3為Faster RCNN 與Mask R-CNN 的架構圖，Mask R-CNN 將Faster RCNN 中的RoIPooling 改進為RoIAlign，在預測框提取過程中使用雙線性插值法，改進了RoIPooling 中量化偏差對后續回歸定位產生的影響，因此Mask R-CNN 的檢測效果更勝一籌。Mask R-CNN 是一個兩階段檢測模型：第一個階段基于輸入圖像產生可能的目標候選建議框；第二個階段預測目標類別，優化回歸框，并基于第一階段的輸出生成目標區域像素級別的分割掩膜。

Fig.3 Faster R-CNN and Mask R-CNN architecture圖3 Faster R-CNN 與Mask R-CNN 架構

2.3.2 改進損失函數的Mask R-CNN 算法

Mask R-CNN 的多任務損失函數包含定位損失、分類損失以及分割損失3 個部分。如式（1）所示，Lcls為分類損失，表示預測類別與實際類別的接近程度；Lbox為邊框回歸損失，表示模型的定位效果；Lmask為分割掩碼損失，以二進制交叉損失值作為分割損失函數。在多任務網絡結構中，使用兩個權重參數α1和α2控制檢測與分割任務的優先等級。在以ResNet50 為主干網絡，以Imagenet 數據集上預訓練的權重為初始權重的Mask R-CNN 模型中，通過改變α1和α2的大小，得到“3.2”項下表2 的結果。根據表中結果顯示，在接下來的實驗中，將α1和α2分別設置為0.9 和0.7。式（2）為分割分支的損失函數，其中y和y?分別為真實值與預測值。

2.4 主干網絡選擇與算法模型構建

2.4.1 主干網絡

ResNet 網絡使用跳躍連接和擬合殘差兩種方式，利用殘差映射模塊結構，通過跳躍連接將各個階段的輸入信息跳躍連接至輸出處，下層網絡只需要在兩者之間學習不同的地方，一定程度上避免了相同特征的重復學習，簡化了學習目標，有效緩解了深層網絡導致的梯度消失或梯度爆炸問題［17］。SENet（Squeeze-and-Excitation Networks）采用一種全新的特征重標定策略，通過學習的方式自動獲取每個特征通道的重要程度，基于此提升有用的特征權重，抑制或減輕無用的特征權重，通過優化網絡運行時間，減少參數計算量，使SE 模塊具有注意力機制特點［18］。

采用殘差網絡ResNet50 和SENet 為基礎主干網絡，通過融合殘差與注意力機制，將SE 模塊作為注意力門控單元嵌入到ResNet 網絡中，得到主干網絡SE-ResNet50。如圖4所示，該網絡首先降低輸入特征維度，變為輸入的1/r，然后通過ReLU 激活函數增加更多的非線性單元，有助于更好地擬合通道間復雜的相關性；接著通過一個FC 全連接層恢復原始維度，再通過Sigmoid 函數進行權重歸一化；最后通過Scale 將歸一化后的權重加權到每個通道特征上［18］。

Fig.4 SE-ResNet module圖4 SE-ResNet 模塊

2.4.2 整體算法模型構建

設置ResNet50、SENet、SE-ResNet50 為主干網絡，使用Mask R-CNN 模型的多任務功能實現甲狀腺結節的定位、分割與良惡性分類等一體化自動診斷，通過改進多任務損失函數中的權重占比，實現模型優化。圖5 為本次實驗構建的甲狀腺超聲結節定位、分割、良惡性判別模型。

Fig.5 Ultrasound thyroid nodule localization，segmentation，benign and malignant discrimination model圖5 甲狀腺超聲結節定位、分割、良惡性判別模型

2.4.3 參數設置

在目標檢測任務中，IoU 為交并比，表示預測框與實際標注框的交疊率［19］。IoU_thr 為類別置信度，其值在［0，1］之間。當IoU=0 時，預測框與真值框沒有交集，此時結果最差；當IoU=1 時，預測框與真值框重合，此時結果最好。當預測候選框與原標記框的交并比IoU＞IoU_thr 時，視為正樣本；反之，視為負樣本［20］。本實驗的IoU_thr 設置為0.5，epoch 設置為20，在訓練過程中采用優化策略，等間距調整學習率，初始學習率設置為lr=0.002 5，學習率采用warmup［21］的方式，Learning momentum 設置為0.9，Backbone stride 設置為［4，8，16，32，64］，RPN NMS threshod 設置為0.7。采用遷移學習策略，在ImageNet 數據集上預訓練ResNet50、SENet 與SE-ResNet50 網絡得到權重參數，作為實驗模型的初始化參數［22］。

3 實驗結果與分析

3.1 實驗評估指標

將惡性結節標注為malignant，設置為正樣本；良性結節標注為benign，設置為負樣本。為定量評估分類性能，結合臨床應用，設置以下4 個指標：真陽性（True Positive，TP）指惡性結節被正確判定為惡性；假陽性（False Positive，FP）指良性結節被錯誤判定為惡性結節；真陰性（True Negative，TN）指良性結節被正確判定為良性；假陰性（False Negative，FN）指惡性結節被錯誤判定為良性結節。用于圖像分類的幾種評價指標定義如式（3）、式（4）、式（5）所示。其中，精確率（Precision）也稱為查準率，用于衡量分類器檢測出的陽性樣本確為陽性樣本的概率；召回率（Recall）也稱為敏感性（Sensitivity）、查全率，其值越高，陽性樣本被漏診的概率越低；特異性（Specificity）也稱為真陰性識別率，其值越高，發生誤診的概率越低；mAP（Mean Average Precision）為AP 的平均值，即平均精度均值。

根據預測分數值與IoU_thr的關系確定預測結果，如表1 所示，Ypred為網絡預測分數，Y _gt 為實際的樣本類別。

Table 1 Definition of prediction results表1 預測結果定義

3.2 實驗結果評估

表2 為以ResNet50 為主干網絡時，不同損失函數權重參數下的檢測效果。可以看出，當α1= 0.9,α2= 0.7 時，mAP 值最高。因此，以下結果展示與評估均在該設置下進行。

Table 2 Detection effect under different weight parameters of loss function表2 不同損失函數權重參數下的檢測效果

表3 為在3 個主干網絡下，Mask R-CNN 算法在實驗數據集上的測試結果。從表中可以看出，融合殘差注意力機制的SE-ResNet50 主干網絡實現了精確率為0.936，召回率為0.851，特異性為0.948，mAP 值為0.824 的效果，模型檢測效果顯著。

Table 3 Test results表3 測試結果

實驗的測試數據集有587 例，圖6（彩圖掃OSID 碼可見）為SE-ResNet50 主干網絡下的檢測結果示例。其中，紅色矩形虛線框為模型檢測出來的甲狀腺結節定位，矩形上方為良惡性判別預測及對應的預測分數，紅色曲線為模型分割的掩膜邊界，綠色曲線為在醫生指導下標注的實際結節范圍的可視化展示，為實驗參照的金標準。可以看出，本文算法對甲狀腺結節的定位準確，分類效果良好，特別是能夠較為準確地對惡性結節中的微鈣化特點進行判別。對于結節分割問題，本文算法能夠預測出結節的大致輪廓，但邊緣分割還不夠精準，這是由于甲狀腺結節超聲圖像邊緣模糊，即使是經驗豐富的醫生勾畫出的輪廓也不一定準確。此外，本文模型有將同一個結節檢測為兩個、將周圍器官檢測為結節的情況。在超聲圖像中，甲狀腺周圍組織器官在形態上與甲狀腺結節較難區分，這也是導致模型多檢測或錯誤檢測的原因之一。

Fig.6 Test result example圖6 檢測結果示例

圖7 為SE-ResNet50 主干網絡下，本文算法在測試集上的準確率與損失率曲線。可以看出，本文算法準確率整體呈上升趨勢且穩定收斂，損失率呈下降趨勢且穩定收斂，說明其在實驗數據集上性能良好。

Fig.7 Accuracy rate and loss rate curve of the test set圖7 測試集準確率、損失率曲線

4 結語

本文以甲狀腺結節的超聲自動化診斷為研究目標，以Mask R-CNN 算法為模型，進行了主干網絡和損失函數兩方面的改進創新，具體表現在：①以ResNet50、SENet 網絡為基礎主干網絡，融合殘差注意力機制構建SE-ResNet50主干網絡；②對多任務損失函數進行加權優化，在優化損失函數的基礎上，通過比較ResNet50、SENet、SE-ResNet50 3 種不同主干網絡的性能，發現融合殘差注意力機制的SEResNet50 網絡在甲狀腺結節的超聲檢測、分類、分割任務中表現最佳。其在實驗數據集上實現了精確率為0.936，召回率為0.851，特異性為0.948，mAP 值為0.824 的檢測效果。該算法能為甲狀腺結節的超聲診斷提供較為可靠的參考依據，在甲狀腺疾病超聲診斷自動化領域具有一定的工程學意義。

然而，實驗也具有一定局限性：首先是醫學數據較難獲取，本次實驗數據量較小，后續可通過增加數據量提高實驗結果的可靠性和魯棒性；其次，甲狀腺結節超聲圖像的邊緣分割精度不高，仍需進一步改善。后續會進一步向超聲科醫生學習病理知識，應用于結節邊緣與紋理特征的提取上，輔助自動化診斷。