基于多尺度遷移學習的肺結節良惡性分類

張修聰，劉 杰，張光磊

（1.北京交通大學計算機與信息技術學院，北京 100044；2.北京航空航天大學生物醫學工程高精尖創新中心，北京 100191）

0 引言

肺癌是世界上發病率和死亡率上升最快的惡性腫瘤之一，對人類生命安全構成的威脅最大。在所有癌癥類型中，肺癌的患病人數和死亡人數均高居首位。由于肺癌發病時間短、轉移速度快，早期診斷十分困難，絕大多數肺癌患者到了晚期才能診斷出癌癥，其五年生存率極低，僅有不到20%。當疾病逐漸惡化或無法進行手術治療時，患者只能依靠放療和化療等醫學手段維持生命，他們的平均存活時間不到一年。通過早期的診斷治療，肺癌患者的5年生存率大大升高，能夠達到70%以上。因此，針對肺癌的早期精準檢測具有重要的臨床意義和治療價值。

肺結節（pulmonary nodule）分為良惡性兩類，直徑小于3 cm，常無明顯癥狀。其中惡性結節占比20%左右。癌癥的風險隨結節大小呈指數增加。在計算機斷層成像（computed tomogra?phy，CT）的掃描下可以檢測肺部是否存在結節。通過CT 掃描檢測能夠及早診斷出部分早期肺癌，有效減少肺癌患者的死亡率約20%。

當今，如何實現早期肺癌的精準檢測是個極具挑戰性的醫學難題。肺癌的臨床檢查方法主要有體格檢查、影像檢查、內鏡檢查、組織活檢等。然而，作為臨床上診斷肺結節良惡性的“金標準”，活體組織檢查相對復雜和耗時，不能對腫瘤進行全面的整體分析。醫生可以在機器輔助診斷模式的幫助下對肺結節的良惡性進行診斷，可以有效解決費時費力、診斷效率較低等問題，其大多傳統的機器學習結節分類方法不能夠實現端到端的方式進行工作，仍然需要手動提取特征。深度神經網絡作為一種最近蓬勃發展的方法，在肺結節良惡性分類研究中具有很大的潛力，然而，所需高質量數據的短缺明顯阻礙了其在醫學圖像識別當中的應用。而遷移學習由于所需數據規模較小，是解決這一問題極具前景的一種深度學習技術。遷移學習是一種機器學習方法，可以實現跨領域任務，可以用來解決領域差異大、模型效率低等問題。

因此，本研究圍繞早期肺結節的精準檢測方法展開，提出了一種基于多尺度遷移學習的肺結節良惡性分類的創新研究思路，旨在通過實現對肺結節良惡性的早期準確判斷，為輔助醫生進行早期肺癌的快速、準確的診斷提供新的更有力的臨床篩查工具。本研究基于肺部圖像數據庫聯盟和圖像數據庫資源計劃（lung im?age database consortium and image database re?source initiative, LIDC-IDRI）開源數據庫，通過對1010例病人的肺部CT影像數據進行分析，構建數據集并進行實驗。

1 相關研究工作

近些年來，在對肺結節良惡性分類的研究中已有不少的研究成果，主要包括傳統的機器學習方法、卷積神經網絡、混合模型等。

傳統機器學習方法的流程通常為：①圖像采集；②區域分割；③特征提取；④建立預測模型。Mizuho 等分別采用了支持向量機和梯度樹增強方法，并使用貝葉斯優化，在公開數據集上，訓練出模型的曲線下方面積（area un?der curve，AUC）分別為0.850和0.896。Tu 等對私有數據集上的肺結節進行三維重建，手動提取了374個特征，采用放射學特征提取和機器學習分類相結合的方法，最終獲得了79%的分類準確率（accuracy），同時AUC達到了0.80。

采用深度學習技術來實現卷積神經網絡（convolutional neural network，CNN）模型的訓練已經成為醫學領域中的常見方法，可以無需憑借先驗知識選取特征就能夠實現端到端的檢測。Shen 等對卷積神經網絡采用了多尺度采樣池化的設計，適應了肺結節大小變化較大的特點，更好的提取結節特征，最終在LIDC-IDRI 數據庫上獲得了86%的分類準確率。Zhu 等建立的肺部CT 圖像智能診斷系統實現了肺結節檢測和診斷兩部分功能，他們分別設計了兩個3D 雙路徑網絡來進行肺結節的檢測和分類，并且在分類時使用了梯度增強的方法，在LIDC-IDRI數據集上進行了驗證，結果顯示其性能超過了高水平的醫生。

此外，機器學習與卷積神經網絡的混合模型也被應用在肺結節的分類任務中。一些研究采用卷積神經網絡進行特征提取和分析，機器學習方法作為分類預測器，也取得了不錯的的分類效果。Hussein 等對結節進行三維重建，提取重建完整結節的水平面、冠狀面和矢狀面上的投影圖，最終獲得了82.4%的分類準確率。

2 數據集處理

本實驗基于LIDC-IDRI 肺結節數據庫，由肺部CT 影像和相應的診斷結果標注而成，包含了從肺癌檢查中獲得的1010例病人的肺部CT影像數據和診斷信息。圖1 為CT 圖像中肺結節的示意圖。每個病例都有對應的XML 文件來記錄結節位置等標注信息。每個結節的良惡性程度由四位經驗豐富的醫生標注的5分量表進行評估（從1到5，惡性可能性不斷增加，其中3為不清楚或未知）。目前數據庫總大小約124 GB，其中每張CT圖像的大小均為512×512像素。

圖1 CT圖像中的肺結節

由于四位醫生的標注是互相之間彼此獨立的，也存在針對同一張CT 圖像中的結節有不同評分的情況，因此我們將每個醫生標注5級評分的中位數作為醫生的綜合意見提取出來，采用會診投票策略來獲得更加準確的數據標簽。將中位數數值小于2.5 的標記為良性結節，數值大于3.5 的標記為惡性結節，介于2.5和3.5 之間的標記為未知。對于未知的結節，由于缺乏可信賴的標簽，決定將其暫不納入訓練集或測試集當中。采用以上標準，共計獲得良性結節369例、惡性結節358例，CT圖像共計4161張。

3 方法

本文提出的基于多尺度遷移學習的肺結節良惡性分類模型，其流程主要包括：①圍繞CT圖像提取ROI 區域并生成多尺度圖像輸入。②使用預訓練的ResNet-50卷積神經網絡來提取特征。③構造基于遷移學習的肺結節良惡性分類模型。

3.1 多尺度圖像輸入

由于肺結節的良惡性和其在CT 影像中的直徑、輪廓、紋理和密度等密切相關，因此選擇一個固定合適的ROI 區域大小是比較重要的。如圖2 所示為數據庫中結節直徑的像素分布表示，可以看出其主要分布在0～40之間，且不同結節之間差異較大。

圖2 結節直徑分布統計圖

為了滿足模型輸入的要求，我們將得到的不同采樣大小的圖像進行差值放大，進而合成為一張RGB三通道圖像作為網絡模型的新輸入。如圖3所示，根據對LIDC-IDRI數據集中各個結節直徑分布的統計，選擇了三種不同的ROI 區域獲取方式。分別在圍繞結節的中心選取邊長像素大小為32×32 像素，64×64 像素，96×96 像素的正方形區域。其中，當ROI 區域較小時，能夠囊括大部分的結節，還能得到穩定的信噪比，保留結節的紋理、分葉等內部信息；當ROI 區域為中等大小時，大概能夠囊括所有的結節，保留一定的邊緣信息；當ROI 區域較大時，能夠囊括所有包含有結節的外部區域，保留一定的周邊環境以及與血管等的距離信息。

圖3 ROI區域采樣合成

提取ROI 區域之后，將不同像素的正方形圖像通過三次插值的方法放大到適應源遷移網絡輸入的標準大小。最后，合成獲得一張三通道RGB圖像。

3.2 基于ResNet-50的特征提取

本研究所遷移的源網絡為深度殘差網絡（deep residual network，ResNet），采用了短路連接網絡結構，如圖4所示。

圖4 殘差網絡的基本構成［14］

圖中展示了構成ResNet 網絡的核心模塊，weight layer 代表了網絡中卷積層等特征提取層；Relu為網絡采用的激活函數；和（）是輸入該塊的特征和經過兩層運算后獲得的特征。該塊的設計核心在于右側的短接結構，使得輸入網絡前的特征和運算后的特征（）同時保留。保證了在經過該網絡塊運算后，至少不會損失已有的特征提取結果，避免了退化問題。

3.3 基于遷移學習構造模型

本文采用遷移學習的方法，將在ImageNet上表現良好的深度網絡模型遷移到我們的目標領域，用以解決肺結節領域數據不足的問題。如圖5所示，在該模型的構造過程中，我們遷移了ResNet-50的網絡結構及其參數，為了使之能夠更加適應良惡性分類問題，我們對網絡模型進行改進添加了三個全連接層，其中含有的神經元數量分別為1024、512和2，輸出結果為良性或惡性。全連接層使用Relu 激活功能，為網絡增加了非線性成分，從而使模型訓練的結果更加穩定。

圖5 遷移學習模型網絡示意圖

為了進一步避免過度擬合并增強模型的泛化能力，同時保持模型的學習能力，進一步將Dropout和正則化項策略引入到全連接層，對網絡模型進行改進。Dropout是指在模型訓練過程中依據特定的概率隨機舍去特定層中的某些神經元，這相當于每次的迭代訓練都是不同的神經網絡。正則化是指將與參數大小有關的項目添加到損失函數中，這樣可以使參數的值盡可能小，從而限制參數的值范圍，并避免過擬合。本研究使用L正則化，將L范數添加到損失函數中。

4 實驗設置

圖像的輸入采用多尺度采樣的方法將圍繞結節中心提取邊長分別為32×32、64×64、96×96像素的ROI區域并插值到224×224像素大小，然后合成一張三通道RGB圖像。在對圖像的采樣之前還需要對來自多個機構的數據進行統一的預處理，包括數據擴增、插值放大和直方圖均衡化。對訓練集中的所有CT 圖像數據都執行旋轉90°、旋轉180°、左右鏡像、上下鏡像等操作，將有限的數量進行5倍的擴充，以此增強網絡模型的魯棒性。采用雙三次插值的方法將圖像放大到224×224像素大小，具有更好的放大效果。采用直方圖均衡化的方式來對圖像進行預處理，使得結節中的紋理、毛刺信息更加豐富。

為了客觀評價模型的泛化能力，本實驗劃分訓練集和測試集需要保證同一個病人的同一肺結節的不同CT 圖像不能被同時分到訓練集或測試集中。因此，在進行十折交叉驗證時采用根據病人分組的方法，即將數據集中的病例按照編號隨機分成十組，輪流將其中的一組作為測試集，剩下九組作為訓練集，也僅對訓練集進行了擴增。

在本研究中，編譯神經網絡時采用了交叉熵損失函數和Adam 優化器，該優化器使用時只需要關注調整其學習率即可。在實驗過程中，本研究提出并使用了一種交替開放卷積網絡層數并同時改變學習率大小的訓練方法。全連接層中的Dropout 的概率一般設定為0.2 左右，采用L正則化策略，系數設置為0.001。

評價標準采用準確率（accuracy）和來對分類結果進行表示。其中準確率表示分類正確的樣本數與總體樣本數的比值，如表1所示，計算公式如下：

表1 結果評價指標

ROC 曲線是反應敏感度和特異度連續變化的綜合指標，以敏感度為縱坐標，（1-特異度）為橫坐標繪制成曲線，曲線下方面積的大小即為，越大則準確率越高。

5 實驗結果

經過十折交叉驗證，對在測試集上的分類準確率和取平均值，模型最終達到了90.26%的分類準確率和0.956 的。表2 展示了本研究和三個最新發表的基于LIDC-IDRI 數據庫的基于深度學習進行肺結節斷層層面上的良惡性分類算法模型的分類準確率、。

表2 與類似研究的效果對比

可以看出，本研究分類效果不論是在準確率還是在上相比于其它三個研究都具有一定的優越性。

本研究還對多尺度采樣的有效性做了對比實驗。試驗的設置與結果如表3 所示。實驗1 采用的多尺度采樣合成RGB 圖像輸入，而實驗2、3、4 中分別采用將特定大小的ROI 區域復制三份作為輸入的方式，其它設置均與實驗1相同。

表3 多尺度采樣對照試驗結果

結果表明，多尺度采樣合成RGB 圖像輸入的方法準確率和明顯優于其它三種輸入方式。這說明多尺度采樣的方法在遷移學習中是可以應用的并且有良好效果的。

6 結語

本文針對肺結節良惡性分類任務，提出了一種基于多尺度遷移學習的肺結節良惡性分類模型。基于LIDC-IDRI 公開數據庫構建數據集，針對肺部CT 圖像提取ROI 區域并生成多尺度圖像作為輸入，遷移了ResNet-50卷積神經網絡結構及參數，并對全連接層進行設計，采用了交替開放式的遷移學習訓練策略，有效提升模型的訓練效果。結果表明，將多尺度遷移學習方法應用到肺結節良惡性分類任務上，分類效果得到明顯提升。