基于遷移學習的超聲圖像甲狀腺結節定位方法

孫芳芳，張 玲，梁樂平

(空軍軍醫大學第二附屬醫院，西安 710038)

1 引 言

甲狀腺結節是指甲狀腺內出現一個或多個組織結構異常的團塊，是最常見的結節性病變之一[1]。超聲成像檢查具有無創、低成本、無電離輻射、可實時成像等特點，被廣泛用于檢測和診斷甲狀腺疾病，為臨床早期診療方式的選擇提供了很大的幫助。因此，深入了解甲狀腺結節的超聲圖像組學特征，有利于提高此類疾病的診療水平和效果[2]。

由于超聲圖像存在對比度低、灰度不均勻、斑點噪聲較嚴重、邊緣模糊等缺陷，并且不同的檢測設備和使用習慣等因素也會造成誤差，導致超聲診斷結果需要依賴醫生經驗和主觀判斷得出。利用計算機輔助診斷可有效降低對醫生經驗的依賴，提高診斷準確性[3]，尤其是隨著人工智能技術的發展，深度學習輔助診斷發揮了不可替代的作用[4-6]。深度學習通過多層神經網絡，可以從醫學圖像數據中自動學習和提取隱含的圖像特征，用于臨床診斷和預測。深度卷積神經網絡(convolutional neural network, CNN)通過引入卷積層和池化層可以壓縮圖像特征，減少參數數量，提高學習效率，是醫學圖像分析方面使用最廣泛的模型[7-8]。但深度CNN是監督學習模型，要求標記大量訓練樣本數據，而在醫學影像領域要獲取大規模的訓練樣本數據集比較困難。針對該問題，可以采用遷移學習的方法，借助由自然圖像數據集預訓練完畢的深層網絡模型，對醫學圖像數據進行特征提取[9-10]。

目前，采用深度學習方法檢測和分析甲狀腺結節超聲圖像的研究，主要集中在對結節良、惡性的分類與識別和結節部分圖像分割等方面[11]。在此，主要研究對結節區域進行自動定位的方法。該方法不僅可為結節圖像分割和特征提取提供有效支撐，同時也是基于圖像診療的前提[12]。

在深度學習中，目標定位可以被定義為一個包圍盒回歸任務，其核心思想是通過神經網絡直接學習將包圍盒映射到其指定目標。本研究的包圍盒指在訓練圖像中對甲狀腺結節區域進行標注的矩形框。基于遷移學習的方法，本研究利用Xception、VGG-19和Resnet50三種深度卷積神經網絡模型，提取甲狀腺超聲圖像的隱含特征，然后采用已進行包圍盒標注的超聲圖像對自定義網絡進行訓練，從而實現超聲圖像甲狀腺結節的自動定位，有效提高醫生的工作效率和檢測精度。

2 甲狀腺結節定位方法

2.1 方法概述

遷移學習是將一個數據庫中學習到的模型、參數運用到另一個場景中，兩個場景應該是相似的領域，并且具有相似的任務。Keras有幾個表現很好的CNN模型，這些模型通過特征提取或者微調等遷移學習方法，對ImageNet以外的數據集有很強的泛化能力。因此，利用在大規模圖像集上訓練完畢的VGG19、Xception和Resnet50預訓練神經網絡模型，采用遷移學習的方法提取甲狀腺超聲圖像特征，將預訓練網絡的輸出層替換為自定義網絡，然后采用監督學習算法，利用放射科醫生已進行包圍盒信息標記的數據集對自定義網絡進行訓練，得到優化的神經網絡結構，實現對甲狀腺結節的自動定位。

2.2 模型體系結構

VGG19網絡包含16個卷積層、5個最大池化層、3個全連接層和1個輸出層，在卷積層中每個卷積核大小都是3*3。Relu激活函數的最大特點是采用幾個連續的小卷積核代替較大的卷積核，從而增加網絡深度以確保學習更復雜的模式[13]。Xception網絡引入了深度可分卷積，即先在每個特征圖上進行空間卷積，再對每個特征點用1*1卷積來學習不同通道的特征，該設計在不增加網絡復雜度的同時，提高了精度[14]。Resnet50網絡中包含49 個卷積層和1 個全連接層，其使用深度殘差網絡，有效地解決了梯度消失和梯度爆炸的問題[15]。以上模型主要用于圖像分類，其輸出層為全連接層加上softmax以判斷目標類別。本研究的目的是目標定位，即完成回歸任務輸出四個數字標記包圍盒位置。需采用自定義網絡對預訓練模型進行修改，因此，網絡會嘗試將包圍盒坐標“回歸”到圖像上，并根據對預定義的目標變量(數據集中的坐標集)的擬合來預測它們。

本研究基于遷移學習的網絡模型在預訓練模型的基礎上，保留訓練好的模型卷積層的參數，只去掉最后的全連接層，并在卷積層之后加入參數優化層。具體過程如下：

首先，Xception、VGG19和Resnet50被加載作為基礎圖層，其輸入圖像尺寸分別為(299，299，3)、(224，224，3)和(224，224，3)，讀取方式為RGB模式。其次，在預訓練模型的輸出端添加一個平坦層，提取包圍盒坐標。然后， 添加丟棄率為0.5的dropout層，以降低該模型的計算量。 最后，添加兩個全連接層，將輸出維度降低到64和4，以對應于包圍盒坐標的四個點。全連接層采用線性激活函數，網絡結構見圖1。將超聲圖像輸入該網絡可以對其進行訓練，此時不再訓練卷積神經網絡，而僅訓練自定義的輸出網絡并將卷積層的權重和內核凍結，由于這些卷積層通過訓練已經能夠識別圖像的抽象特征，因此節省了大量的時間。

圖1 基于遷移學習的甲狀腺結節自動定位框架

2.3 數據和圖像增廣

本研究使用文獻[16]中的數據集，甲狀腺超聲掃描的RGB圖像大小為315×560和360×560像素。每一例均有原始超聲圖像和記錄各種信息的XML文件，且包含由醫生標注的包圍盒坐標信息。在有監督訓練中，XML信息一并寫入。本研究使用了294張來自該數據集的原始圖像，由于數據規模有限，為提高網絡模型的泛化能力，防止過擬合，對數據集進行了數據增廣。采取表1所示的圖像增廣方式，最終的增廣數據集包括3 234張圖像(294張原始圖像和2 940張增廣圖像)。訓練集、測試集和驗證集的比例設置為60：20：20(分別有1 940，647和647張圖片)。圖2為其中一個原始圖像的樣本經數據增廣后的效果對比。

表1 圖像增廣方式

圖2 預先標記包圍盒信息的超聲圖像和增廣圖像

3 實驗仿真與性能分析

3.1 參數設置

實驗的損失函數為均方誤差(mean square error，MSE)，采用批量訓練方法，batch size設為20，優化方法為Adam。在性能指標中設置交并比(intersection over union, IOU)，IOU指算法預測的包圍盒和真實包圍盒交集的面積除以它們并集的面積，取值為[0,1]，交并比反映了算法預測的包圍盒和真實包圍盒的接近程度，交并比越大，兩個包圍盒的重疊程度越高。此外，在實驗中基于圖像尺寸將所有的坐標值進行歸一化，從而使其范圍被限制在0和1之間。

3.2 實驗平臺

本研究中神經網絡的訓練和測試采用基于TensorFlow的keras框架。由于計算量很大，本研究使用googlecolab服務所提供的GPU資源。為客觀地比較三種網絡性能，實驗過程中訓練和測試環境均保證一致性。

3.3 實驗結果及分析

訓練過程持續25個epoch，在每個epoch 結束后，如模型損失得到改善，則保存模型權重。本研究基于Xception、VGG19和Rsenet50預訓練模型的結節定位方法分別被表示為Xception-NLM、VGG19-NLM和Resnet50-NLM方法。Xception-NLM、VGG19-NLM和Resnet50-NLM這三種方法的訓練過程圖，見圖3-圖5。圖中Training和 Validation曲線分別代表訓練和驗證的MSE損失和IOU性能隨著迭代次數的變化。

圖3 Xception-NLM訓練過程圖

圖4 VGG19-NLM訓練過程圖

圖5 Resnet50-NLM訓練過程圖

由圖可知，三個模型的訓練和驗證MSE損失經過 2 次迭代后，接近收斂到一個較低水平。三個模型的IOU在迭代15次之后都趨于收斂到約80%的穩定性能，且Resnet50-NLM方法的IOU性能收斂較快。而驗證集的IOU性能略優于訓練集，為過度擬合的表現，是使用drop層的結果。采用訓練好的模型對測試集進行測試，結果見圖6，可以看出Resnet50-NLM方法的MSE損失和IOU性能是最優的。

圖6 測試集MSE損失和IOU性能對比

表2 模型訓練耗時(計算一次迭代)

表3 在測試集上的運行平均時間(647張圖像)

三種方法的模型訓練消耗時間和在測試集上的平均運行時間見表2和表3。可以看出，Resnet50-NLM方法的訓練耗時最短，在測試集上的運行時間稍長。因此，Resnet50-NLM方法的綜合性能優于其它兩種方法，是擬合較好的模型。圖7為采用不同方法對測試集進行結節位置預測的最好輸出結果，可以看出，基于本研究所提遷移學習的方法可以有效地對甲狀腺結節區域進行自動定位。

4 結論

使用機器學習方法的優勢在于可以識別由于圖像質量、錯誤等原因而被放射科醫生忽略的關鍵區域，提高了檢測效率。本研究建立了一種基于遷移學習的甲狀腺超聲圖像結節定位方法，利用帶有標注信息的超聲圖像對網絡進行訓練，從而實現對結節的高效率定位。本方法的檢測效率還有待提高，以達到臨床應用效果。在后續工作中，需增加數據庫的樣本量，對模型的超參數進行優化，并對不同預訓練模型的結果進行融合，以提高定位精度。