基于深度學習的肺癌患者頸部淋巴結良惡性輔助超聲診斷

宮 霞 吳衛華* 張文濤 王 雷 陳 潔

1(上海市胸科醫院 上海 200030)2(上海交通大學附屬胸科醫院 上海 200030)3(南京大學 江蘇 南京 210023)

0 引 言

頸部尤其是鎖骨上淋巴結轉移是肺癌重要的轉移形式，有無淋巴結的轉移直接關聯到肺癌的分期、手術方式以及預后等，故對其鑒別診斷非常關鍵。由于超聲成像設備成本低、便攜性、無創傷和無輻射等優點，在現代醫學檢測中有著廣泛的應用。傳統的醫學影像分析基于醫生對于獲取圖像進行主觀評估，比較耗時，分析醫療影像精度取決于操作者的經驗，評估結果往往具有很大的主觀性[1-2]。近年來發展起來的計算機輔助區分肺癌轉移性淋巴結病變和良性病變具有重要的臨床應用前景，深度學習技術應用于圖像檢測取得了長足發展，在分類[3]、分割和目標檢測[4]等領域，精度都優于人類[5]。因此，將深度學習應用于超聲圖像分析具有強大的理論基礎支撐。把深度學習技術應用于醫療影像(CT、MRI和PET)檢測，通過大量標注好的數據，訓練影像分析模型，極大提高了醫生的診斷效率和準確性。超聲圖像分辨率較CT、MRI低，圖像存在大量偽影和噪聲，深度學習技術應用于超聲圖像分析發展空間大，具有重要的理論意義和實際應用價值。

目前常見的應用于超聲圖像分割的深度學習模型FCN(Fully Convolutional Networks)[6]、UNet[7]等，取得了一定研究成果，但將噪聲激勵函數應用于網絡結構中，改進網絡性能值得深入研究。當數據量小的時候，通常采用傳統機器學習方法，而深度學習模型需要大量的數據來訓練，否則模型會出現過擬合。如何使模型在處理小樣本時保持良惡性分類的高準確率，也是研究的難點。

1 相關工作

超聲圖像應用越來越廣泛，但基于深度學習技術分析超聲圖像較其他醫療影像更難，原因如下：超聲圖像中含有固有的斑點噪聲，而且圖像為2D。國內外學者采用卷積神經網絡對醫學影像的分割大都處理前列腺[8]、腹部[9]、心臟[10]和臍靜脈[11]的超聲圖像；Baumgartner等[12]提出了一種實時系統，該系統能對臨床手持式2D超聲圖像進行12種常用標準掃描平面的檢測。Huang等[13]提出了Multi-Scale DenseNet (MSDNet)；Ding等[14]對Faster R-CNN改進，提出了DCNNs；Milletari等[15]提出了一個激勵函數PReLU：

(1)

文獻[16-17]采用與UNet相似的CNN，使用能改進網絡性能的噪聲激勵函數。關于ResNet不同變體及改進，何愷明等[18]提出的ResNeXt，ResNeXt結構可以在不增加參數復雜度的前提下提高準確率，同時還減少了超參數的數量。文獻[19]提出一種稱為DenseNet的新架構，不同于ResNet將輸出與輸入相加，形成一個殘差結構，DenseNet將輸出與輸入相并聯，實現每一層都能直接得到之前所有層的輸出，ResNet將輸出與輸入相加，形成一個殘差結構，而DenseNet卻是將輸出與輸入相并聯，實現每一層都能直接得到之前所有層的輸出。文獻[20]結合殘差網絡與DenseNet兩者優點，提出了一類全新的雙通道網絡結構Dual Path Networks(DPNs)，該網絡結構后面加上mean-max pooling層可以提高準確率。文獻[21]提出一種神經條件隨機場(Neural Conditional Random Field，NCRF)深度學習框架，通過一個直接位于CNN特征提取器上方的全連接CRF，來考慮相鄰圖像塊之間的空間關聯。

2 方 法

2.1 遷移學習

遷移學習技術，指在已有圖像數據集上預訓練例如VGGNet模型參數作為初始化參數，然后使用標注好的超聲圖像數據集，大大加快網絡的訓練速度。同時有效避免訓練數據量不足帶來的過擬合現象，改善了深度網絡識別超聲圖像結果。一種更精細的方法是利用在大型數據集上預先訓練的網絡(通常是在ImageNet數據集上訓練的)，這樣的網絡將已經學習了對大多數計算機視覺問題有用的特性，利用這些特性將使我們比任何只依賴于可用數據的方法獲得更好的精確性。文獻[22]提出了一種轉移學習策略，將訓練好的基礎CNN底層知識從大量的自然圖像數據庫轉移到任務特定的CNN。文獻[23]建立了一個基于深度學習框架的診斷工具，用于篩選具有常見可治療性致盲視網膜疾病的患者，框架利用遷移學習，訓練神經網絡與傳統方法的數據的一小部分，標注數據集達到了11萬。

本文采用了兩種遷移學習方式，一是使用預訓練卷積神經網絡的瓶頸特征(bottleneck features)預測淋巴結的良惡性；二是對預訓練的卷積神經網絡的頂層做微調(fine tuning)，從而預測淋巴結良惡性。

(1)利用預訓練卷積神經網絡的瓶頸特征預測淋巴結的良惡性 在全連接層之前的最后一個激活映射的輸出即為bottleneck features，對于預訓練好的VGG16模型，首先去除其全連接層，然后凍結(Frozen)VGG16所有層，在訓練過程中凍結層的參數不再發生變化，最后連接上自定義的網絡結構，需要自定義針對自己分類問題的全連接層。其中，運行VGG16是非常昂貴的，可以把bottleneck features存儲成離線狀態，而不是將自定義的網絡結構直接添加到一個凍結的卷積基礎之上并運行整個系統。在訓練自定義網絡結構的參數時，將其加載為輸入，從而只需要計算這個自定義的小的網絡結構即可，節省了大量的計算資源。

(2) 對預訓練的卷積神經網絡的頂層做微調預測淋巴結良惡性 對于預訓練好的VGG16模型，首先去除其全連接層，然后凍結(Frozen)VGG16除最后一個卷積塊的所有層(凍結部分層，與利用bottleneck features方式凍結所有層以區別)，最后連接上自定義的含全連接層的網絡結構。

為了進行微調，所有的層都應該從經過適當訓練的權重開始。例如，不應該在預先訓練的卷積基礎上，在一個隨機初始化的全連接的網絡上訓練。這是因為由隨機初始化的權重觸發的大梯度更新會破壞卷積基礎上的學習權重。因此首先要訓練頂級分類器，然后才開始在它旁邊微調卷積的權重。

為了防止過擬合，可以選擇只對最后一個或幾個卷積塊進行微調，而不是整個網絡，因為整個網絡將具有非常大的熵容量，所以存在過度擬合的強烈傾向。由低級卷積塊學到的特征比那些發現的更一般，所以保持最初幾個塊固定是明智的，并且只對最后一個塊進行微調。

微調應該以非常慢的學習速度進行，通常使用SGD優化器，而不是像rms這樣的自適應學習速率優化器。這是為了確保更新的大小保持在非常小的范圍內，這樣就不會破壞以前學到的特性。

2.2 數據增強

數據增強(Data Augmentation)是在收集數據準備微調深度學習模型時,經常會遇到某些分類數據嚴重不足的情況，為了防止過擬合，在對預訓練的網絡模型參數進行微調之前，采用的一種技術。當一個模型在太少樣例的訓練集上訓練時，學習到的模型不能泛化到新數據時，即當模型開始使用不相關的特性進行預測時，過擬合就會發生。因此，數據增強是從上下左右四個方向、對感興趣區域(Region of Interest，ROI)的圖像進行水平翻轉和垂直翻轉等6種變換，擴大數據集規模，這樣我們的模型就不會看到完全相同的圖像，有助于防止過擬合，并有助于模型的泛化。

數據增強是一種很好的對抗過擬合的方法，但這還不夠，因為我們的增強樣本仍然高度相關。對過擬合的主要關注是模型的熵容量——模型被允許存儲多少信息。一個可以存儲大量信息的模型可以通過利用更多的特征來更加準確預測，但是它也更有可能開始存儲無關的特征。與此同時，一個只能存儲一些特征的模型將不得不關注數據中最重要的特征，而這些特征更有可能是真正相關的，并能更好地泛化。

有不同的調節熵容量的方法。最主要的是選擇模型中參數的數量，也就是層的數量和每個層的大小。另一種方法是使用權重正則化，如L1或L2正則化，它能使模型權重來取更小的值。在構建卷積網絡結構的過程中，插入Dropout層還有助于減少過度擬合，防止一層一層地重復出現相同的模式，從而以一種類似于數據增強的方式進行操作(Dropout和Data Augmentation都傾向于破壞數據中出現的隨機相關性)。

2.3 UNET

UNet網絡利用了神經網絡內在的多尺度特性，淺層輸出保存了空域細節信息，深層輸出保存了相對抽象的語義信息，利用底層信息補充高層信息，適用于醫學圖像分割、自然圖像生成，在醫學圖像分割比RPN和FCN網絡有更好的分割精確度。UNet模型左側為一個下采樣過程，分4組卷積操作進行；右側的上采樣過程使用的是4組反卷積，每次上采樣將圖片擴展為原來的2倍， 然后將對應層的圖片(特征圖)進行剪裁和復制，然后concat到上卷積的結果上。

本文提出了一種改進UNet卷積網絡，卷積塊采用了inception block，網絡將噪聲激勵函數NHReLU和NHSeLU (Noisy Hard SeLU function)代替ReLU和NReLU(Noisy Rectified Linear Unit functions)噪聲激勵函數。UNet網絡在兩個尺度上預測輸出，而不是只在上采樣最后層輸出，這樣很好地處理了超聲圖像中標注區域尺寸變化的問題，提高對淋巴結超聲圖像分割效果。

噪聲激勵函數為：

f(x)=h(x+c×ξ)

(2)

式中：c是超參；h(x)是激勵函數v(x)對應的硬激勵函數；ξ是從正態分布中采樣的噪聲。硬飽和噪聲激勵函數為：

(3)

(1) 有學習率的噪聲激勵函數。

d(x)=sign(x)

(4)

Δ=h(x)-x

(5)

根據是否使用半正態噪聲的標記，分為：

① 不使用半正態噪聲的標記(half normal=False)：

δ(x)=c×(v(p×(h(x)-x))-0.5)2=

c×(v(p×Δ)-0.5)2

(6)

f(x)=α×h(x)+1-α×x-d(x)×δ(x)×ξ

(7)

② 使用半正態噪聲的標記(half normal=True)：

f(x)=α×h(x)+1-α×x-d(x)×δ(x)×‖ξ‖

(8)

φ(x,ξ)=αh(x)+(1-α)u(x)+d(x)σ(x)ξ

(9)

(2) 噪聲注入到輸入的噪聲激勵函數。

① 不使用半正態噪聲的標記(half normal=False)：

(10)

f(x)=h(x+δ(x)×ξ)

(11)

② 使用半正態噪聲的標記(half normal=True):

f(x)=h(x+δ(x)×‖ξ‖)

(12)

2.4 損失函數與成本函數

二分類問題中loss的定義如下：

(13)

式中:p∈[0,1]代表樣本屬于1的概率；y代表標簽。為了表示方便，定義pt如下：

(14)

① 平衡交叉熵(Balanced Cross Entropy):

CE(pt)=-αlog(pt)

(15)

② Focal Loss:

FL(pt)=-(1-pt)γlog(pt)

(16)

我們使用了α變種的Focal Loss，形式如下：

FL(pt)=-αt(1-pt)γlog(pt)

(17)

Focal Loss函數是對標準交叉熵損失函數的改進，通過增加難分類樣本的權重，使得模型在訓練時更專注于難分類的樣本。

計算成本函數公式如下：

式中：ωi為權重，當預測樣本不是良惡性，那么該權重為50，減少了誤差。

3 實證分析

本研究采集上海市胸科醫院超聲科360例肺癌患者的420幅淋巴結超聲圖像，其中男性190例，淋巴結230幅，女性170例，淋巴結190幅。所有淋巴結均進行針吸細胞學及細針穿刺活檢檢查，所有超聲診斷結果均與病理結果相對照。采集的頸部淋巴結超聲圖像數據是二值圖像，將淋巴結超聲圖像數據集分為訓練集、驗證集和測試集，每幅圖像均由專門超聲醫生掃描并標注出病變細胞的長徑、短徑和良惡性。

使用開源圖像標注工具Labelme和VGG Image Annotator重新標注并提取了每個淋巴結的mask用于訓練。由于惡性占多數，即存在數據不均衡問題，因此針對每一個類別使用數據增強方法擴充訓練數據。增強后的數據有兩組，分別進行訓練和驗證。第一組數據(共3 000張)隨機抽樣2 000張作為訓練集，其余作為驗證集，期間重新生成多組訓練樣本和驗證樣本，以測試網絡性能。第二組數據(5 000張)隨機抽樣3 000張作為訓練集，其余作為驗證集。

數據增強的方法是旋轉90度(可以小于90度)、隨機水平移動幅度0.2(相較于原來圖片寬度)、隨機垂直移動幅度0.2、剪切強度0.2(逆時針剪切)、隨機縮放幅度0.2，隨機通道偏移0.2、隨機水平翻轉、隨機豎直翻轉。采用Borderline-SMOTE2(Synthetic Minority Oversampling Technique)，即合成少數類過采樣技術，對少數類樣本進行分析并根據少數類樣本人工合成新樣本添加到數據集中。噪聲激勵函數中添加的噪聲為0.05，噪聲標準差為0.5。

3.1 淋巴結病灶部位分割

用來訓練的圖像、UNet下采樣和上采樣卷積層指標明確，使用戴斯系數(Dice Coefficient)來評估圖像分割結果和原標簽數據的相似程度。采用ReLU的 Dice系數為0.85，采用NHReLU和SeLU的Dice系數都為0.86。NHReLU的Dice系數和損失函數如圖1所示。

圖1 NHReLU Dice系數和損失函數

通過實驗我們得出，模型采用NHSeLU噪聲激勵函數較ReLU、SeLU和NHReLU分割效果好，Dice系數達0.9。采用NHSeLU的 Dice系數和損失函數如圖2所示。

圖2 NHSeLU Dice系數和損失函數

采用NHSeLU激勵函數的UNet模型對淋巴結病灶分割如圖3所示，模型標出((b)、(d))的病灶區域基本與人工標注((a)、(c))的一致。

圖3 淋巴結病灶分割

3.2 淋巴結良惡性分類

ResNet50實驗結果(增強3 000樣本)：靈敏性、特異性和準確性分別為86.7%、82.8%和84%，AUC為0.848。DenseNet161實驗結果(增強3 000樣本)：靈敏性、特異性和準確性分別為92%、80%和86.5%，AUC為0.861。

ResNet50實驗結果(增強5 000樣本)：靈敏性、特異性和準確性分別為92%、86%和89%，AUC為0.89，如圖4所示。DenseNet161實驗結果(增強5 000樣本)：靈敏性、特異性和準確性分別為93%，88%和90%，AUC為0.90，如圖5所示。

圖4 ResNet50各指標值

圖5 DenseNet161各指標值

ResNet50與DenseNet161(增強5 000樣本)準確率和AUC比較，如圖6所示。可以看出,DenseNet161優于ResNet50網絡。實驗表明訓練的準確率和戴斯系數較驗證集上的高，主要是數據量不夠，今后應該進一步增加樣本量，避免模型過擬合。

圖6 ResNet50與DenseNet161準確率和AUC比較

實驗結果表明，該網絡能夠實現肺癌患者頸部淋巴結超聲圖像快速、準確分割，分割結果的靈敏性、特異性和準確性最高分別為93%、88%和90%，AUC為0.90。這些量化指標將對區分肺癌患者轉移性淋巴結與良性淋巴結鑒別提供極大幫助，同時也驗證了模型的有效性。文獻[20]使用mean-max pooling 層來提高準確率，但該方法并未對本文實驗準確率有提高，這一點也值得進一步研究。

4 結 語

本文基于UNet網絡分割超聲圖像，引入了多種噪聲激勵函數改進了網絡的性能，提高了戴斯系數；使用VGG、ResNet和DenseNet等網絡預測淋巴結病灶區域的良惡性；采用遷移學習、數據增強和損失函數，防止網絡的過擬合，提高了小樣本下預測良惡性的準確率、靈敏度和特異性。今后值得進一步研究的方向有兩點：(1) 為了提升模型的泛化能力，增加時間的多樣性，應利用生成對抗網絡(GAN)，從隨機噪聲中產生新的正樣本，學習生成新形態的樣本；(2) 本文的深度學習模型對良惡性分類采用單一網絡進行預測，并未采用模型融合技術，因此，檢測采用多種模型融合，分別預測病變部位良惡性的概率，根據模型間權重比例得出最終概率的方法值得深入研究。