基于雙路卷積神經網絡在甲狀腺結節良惡性鑒別診斷中的初步研究

鄧 偉，閆 諾，鄭志強，張英霞

（1.內蒙古醫科大學附屬醫院超聲科，內蒙古 呼和浩特 010050；2.內蒙古大學電子信息工程學院，內蒙古 呼和浩特 010050）

甲狀腺癌是內分泌系統最常見的惡性腫瘤，位居中國惡性腫瘤的第7位，也是近年來發生率上升最快的惡性腫瘤[1]。目前超聲檢查是甲狀腺結節術前診斷的重要手段[2]。超聲醫師根據超聲聲像圖特征對甲狀腺結節進行良惡性的鑒別診斷，但高診斷準確率對超聲醫師的檢查技能、臨床經驗及思維分析能力要求較高。面對目前醫療資源不均衡、診斷不規范、診斷水平參差不齊等因素，如何利用有限的醫療資源，快速有效地提高我國甲狀腺結節術前診斷能力，成為亟待解決的問題。近年來，深度學習作為前沿醫學技術逐漸應用于醫學影像領域，并在甲狀腺結節超聲診斷中不斷創造新高度，其中卷積神經網絡[3]的應用最為廣泛，其優勢是能夠自動提取甲狀腺結節的超聲圖像特征，減少人工干預，提高圖像識別效率。

目前所應用的卷積神經網絡模型大多使用單個圖像作為代表圖像輸入，而甲狀腺結節是三維立體的，從而使提取到的結節特征受限，導致卷積神經網絡學習到的敏感特征有限。在臨床實際工作中，超聲醫師一般通過橫切和縱切兩個切面觀察甲狀腺結節的特征，結合卷積神經網絡相同構造的卷積神經網絡輸入同樣的數據集也會提取到不同特征的情況[4]。為此我們提出了雙路卷積神經網絡模型，模型包含兩條相同的卷積神經網路路徑，其中一條以結節的橫切圖像輸入（CNN1），另一條以相應結節的縱切圖像輸入（CNN2），利用雙路卷積神經網絡間可提取到互補的特征，能夠增強卷積神經網絡擬合能力和提取特征表達的性能，分別提取其形狀及紋理相關特征，通過網絡輸出得到甲狀腺結節識別分類結果。

1 資料與方法

1.1 一般資料

選取2016 年1 月—2021 年1 月間我院經手術或細針穿刺細胞學檢查（Fine-needle aspiration cytology，FNAC）病理證實的甲狀腺結節1 105枚，良性結節263 枚（包括甲狀腺腺瘤、甲狀腺腫及亞急性甲狀腺炎），惡性結節842 枚（包括乳頭狀癌及濾泡狀甲狀腺癌），每個結節均提供橫切面與縱切面圖像（圖1，2）。圖像采用不同的超聲儀器進行采集（百勝MYLAB CLASSC、日立AVIUS、東芝APLIO400、Mindray RE8、GE LOGIQ E8、LOGIQ E9、Siemens S2000 HELX ABVS、法國SuperSonic Imagine Aix-Plorer），探頭頻率為8～15 MHz 或5～12 MHz。所有圖像按3∶1∶1 的比例分為訓練集、驗證集及測試集，選取884 枚結節（惡性結節680枚，良性結節204 枚）作為訓練集和驗證集用于深度學習模型的訓練，余221枚結節（惡性結節162枚，良性結節59 枚）用于測試。所有結節最大直徑為0.4～3.9 cm，排除甲狀腺彌漫性病變、甲狀腺癌彌漫性鈣化型以及甲狀腺部分切除術后的結節。

1.2 圖像預處理

對超聲甲狀腺結節的組織數據進行預處理，如調整對比度和邊緣增強、調整圖像尺寸、刪除注釋、對圖像進行過濾、去噪等操作。因視覺診斷依賴于結節和周圍組織的信息。因此，我們對原始圖像進行裁剪，將結節作為圖像主體，并保留結節周圍相關組織的信息，刪除與結節記錄較遠的部分，防止無用信息對網絡造成干擾。

本文采用深度學習的方式對結節所在位置進行分割。將結節與甲狀腺其他組織進行區分。所采用的模型是改進的Deeplabv3+，該模型是優秀的分割網絡，在圖像分割的諸多領域取得優秀的成果[5]。在MICCAI 2020 甲狀腺結節超聲分割挑戰賽中取得第1名，得到MIoU 為82.5%。本文采用在高年資醫生指導下由專業醫生標注的4 000 張甲狀腺結節圖片作為分割網絡的訓練集，對網絡進行訓練，最終取得Miou 為81.5%的分割結果。并且由于采用帶邊界距離的裁剪方式，最終所有結節都被包涵在裁剪的范圍內。

1.3 模型構建與訓練

1.3.1 模型構建

采用Resnet50 構建深度學習模型，雙路卷積神經網絡由兩條結構相同的卷積神經網絡構成，用于甲狀腺結節的診斷，其中一條為CNN1，另一條為CNN2。CNN 由標準的卷積層、池化層及全連接層組成，能夠通過多個中間層捕獲輸入和輸出之間的高度非線性映射，可訓練的卷積濾波器、局部鄰域池操作和歸一化操作在輸入上交替執行，并生成從低級到高級越來越復雜的特征層次結構[6]，將甲狀腺結節橫切圖和相應縱切圖分別輸入兩條子網絡特征提取路徑進行訓練。把兩條子網絡的特征提取層結合為聯合層作為輸入，類別層作為輸出，兩層之間進行全連接，使兩條通道的子網絡成為整體，構成雙路卷積神經網絡（圖3）。

1.3.2 模型訓練

由于數據集中的圖像對深度學習訓練存在數據量不足的問題，主要采用數據擴增方法來增加訓練集，讓數據盡可能的多樣化，使得訓練的模型具有更強的泛化能力。主要包括使用標準化對圖像進行增強，使用幾何變換（平移、翻轉、旋轉）、隨機調整亮度、添加高斯噪聲和椒鹽噪聲對圖像進行仿射變換。但由于超聲聲像圖的特殊性，一些數據增廣的方式不適用。例如對比度的改變會影響到甲狀腺結節的邊界信息；二維超聲聲像圖分辨率本就不高，增加噪聲同樣不適用；甲狀腺解剖位置相對固定，使用幾何變換會破壞位置信息，所以此方法在超聲圖像上亦不適用。本研究中所使用的數據增廣的方法主要為裁剪與縮放。網絡采用跨數據集的遷移學習，在ImageNet 的預訓練基礎上訓練網絡，以達到更好的泛化[7-8]。

通過交叉驗證對數據的劃分+對評估結果的整合，我們可以有效的降低模型選擇中的方差。將原始的數據集進行分組，按照3∶1∶1 的比例分為訓練集、驗證集及測試集。首先用訓練集對分類器進行訓練，再用驗證集來測試訓練集得到的模型，以此作為評價分類器的性能指標。一般情況下，訓練集迭代次數為60 次或80次，每次迭代后進行驗證，隨著迭代次數的增加，模型的精確度趨于穩定。

1.4 性能測量

雙路卷積神經網絡及CNN1、CNN2 分別對測試集圖像（221 枚結節）進行識別和判斷，CNN1、CNN2分別輸入甲狀腺結節橫切面和縱切面圖像，同時記錄模型對測試集的識別結果，診斷性能以術后病理結果為金標準，計算Kappa 系數、靈敏度、特異度、準確度[9]。

1.5 統計學分析

使用SPSS 25.0 軟件進行統計描述和統計分析，計數資料統計描述采用例數或百分比表示。采用基于Kappa 系數的一致性檢驗分別評估雙路卷積神經網絡及CNN1、CNN2 檢測結果與術后病理結果的一致性，計算Kappa 系數、靈敏度、特異度、準確度。Kappa 系數越大說明兩種檢測結果的一致性越高，Kappa值≥0.75 說明結果的一致性好，Kappa值為0.4～＜0.75 說明結果的一致性一般，Kappa值＜0.4說明結果缺乏一致性。兩種方法的靈敏度、特異度及準確度比較采用卡方檢驗。檢驗水準（α）為0.05。

2 結果

測試集221 枚甲狀腺結節，共442 張圖像。其中良性結節59枚，惡性結節162 枚。雙路卷積神經網絡模型測試集診斷甲狀腺結節的靈敏度、特異度及準確度分別為95.68%、84.75%、92.76%。兩路子網絡：橫切圖輸入CNN1 測試集診斷甲狀腺結節的靈敏度、特異度及準確度分別為82.10%、66.10%、77.83%；縱切圖輸入CNN2 測試集診斷甲狀腺結節的靈敏度、特異度及準確度分別為84.57%、69.49%、80.54%。

χ2檢驗表明，與雙路卷積神經網絡模型相比，CNN1 和CNN2 的靈敏度、特異度及準確度均有顯著性差異（P＜0.05），雙路卷積神經網絡模型的靈敏度、特異度及準確度均高于CNN1 和CNN2；CNN1與CNN2 相比，靈敏度、特異度及準確度均無顯著性差異。Kappa 一致性檢驗結果顯示：雙路卷積神經網絡模型與病理診斷的Kappa值為0.813，P＜0.05，表明二者診斷能力的一致性好；CNN1 與病理診斷的Kappa值為0.460，P＜0.05，表明二者診斷能力的一致性一般；CNN2 與病理診斷的Kappa值為0.521，P＜0.05，表明二者診斷能力一致性一般（表1）。

表1 雙路卷積神經網絡與CNN1、CNN2 診斷能力比較

3 討論

近年來，深度學習作為機器學習中的一項新技術，在甲狀腺結節良惡性鑒別方面的應用已經日趨成熟，并不斷創造新高度，其中卷積神經網絡的應用最為廣泛，其優勢是能夠很好的捕獲輸入圖像的語義特征，能夠自動提取二維甲狀腺結節超聲圖像的有效特征，充分利用輸入圖像的2D 結構、邊界、邊緣和不同的紋理特征，同時具有良好的噪聲容忍度。相比于超聲醫生，卷積神經網絡在克服異構性方面更具有優勢，從甲狀腺圖像中學習特征時不受超聲醫生使用的工程特征的限制，診斷重復性更高[10]。目前，多項研究表明在鑒別甲狀腺結節的良惡性方面，卷積神經網絡達到了與有經驗的超聲醫生相當的診斷性能[11-12]。

目前所應用的卷積神經網絡模型大多為單路卷積神經網絡，使用單個圖像作為代表圖像輸入，而甲狀腺結節是三維立體的，從而提取到的結節特征有限，導致卷積神經網絡學習到的敏感特征有限[13]。在實際臨床工作中，超聲醫生一般通過橫切和縱切兩個切面觀察甲狀腺結節的特征，為此我們提出了雙路卷積神經網絡模型，模型包含兩條卷積神經網絡路徑。基于卷積神經網絡通過逐層學習提取更深層次的特征表達，學習能力相同的卷積神經網絡學習到的連接權重不盡相同，這也為卷積神經網絡提取到的特征帶來差異性。卷積神經網絡中非凸優化問題的搜索域中有大量局部極值，致使網絡易陷入局部最優，并且其隨機初始化連接權值等特點導致了不同網絡狀態處在不同能量值點，最終致使同樣的神經網絡對相同數據提取到不同的特征[4]。本研究選擇兩條結構相同的子網絡，其中一條以結節的橫切圖像輸入，另一條以相應結節的縱切圖像輸入，分別提取其形狀及紋理相關特征，通過網絡輸出得到甲狀腺結節識別分類結果。

鑒于卷積神經網絡間提取的特征具有互補性，有研究提出多支分路網絡結構，多支分路網絡能夠增強卷積神經網絡的擬合能力和提取特征表達的性能，相對于單路卷積神經網絡，可以提高甲狀腺結節的識別能力。Ma 等[14]提出將兩種不同卷積層和全連接層的預先訓練的卷積神經網絡融合在一起，一條輸入結節的原始超聲圖像，另一條輸入此圖像的二值圖像，兩種基于卷積神經網絡的模型融合后，對甲狀腺結節的診斷性能顯著提高。Liu 等[15]提出了一個多分支分類網絡以集成面向多視圖診斷的特征，其中每個網絡分支捕獲并增強一組特定的特征，選擇結節代表圖像，分別輸入原始結節圖像、結節及周圍組織圖像和GVF-snake 法得到的結節輪廓圖像，通過識別結節內部、周邊組織及邊緣特征提高對甲狀腺結節的診斷率。不同于上述分支網絡單切面超聲圖像不同視角特征的輸入，本研究中雙路卷積神經網絡選擇同一結節的縱切面及橫切面圖像進行輸入，擬合超聲檢查中的多切面掃查，能夠更全面的提取圖像特征。雙路卷積神經網絡模型測試集診斷甲狀腺結節的靈敏度、特異度及準確度分別為95.68%、84.75%、92.76%，均優于單路卷積神經網絡模型（均P<0.05），與病理診斷結果的一致性較高（Kappa值＝0.75，P＜0.001）。

甲狀腺結節橫切面及縱切面圖像能夠更加全面的提供結節體積、邊界、微鈣化分布及背膜是否受侵等特征，而這些特征均是鑒別診斷結節良惡性的重要指標，其中甲狀腺背膜是否受侵是甲狀腺惡性結節侵襲性的重要影像學信息之一[16-18]。深度學習模型可自動提取潛在的圖像特征，并在甲狀腺醫學影像研究領域中不斷創新，未來的發展趨勢主要是多網絡融合及對甲狀腺惡性結節侵襲性的預測。此模型理論上能夠更全面的提取圖像特征，更擬合超聲檢查中的多切面掃查，具有極大的預測潛力。本團隊初步嘗試對418 張經過高年資超聲醫生分類的甲狀腺乳頭狀癌術前超聲圖像進行有無侵襲性分類，實驗結果為帶有分類器的訓練好的雙路卷積神經網絡在訓練集上第26 輪的準確率達到99%，在測試集上準確率為71%，不帶有分類器的訓練好的雙路卷積神經網絡在訓練集上前30 輪的準確率達到73%，在測試集上準確率為63%，初步證明雙路卷積神經網絡對甲狀腺乳頭狀癌侵襲性的預測可能實現。本研究還存在一些不足，用于模型訓練的圖像數據相對較少，缺乏有效標準訓練數據，為進一步提升診斷性能，算法模型仍需改進。