基于多尺度和特征融合的肺癌識別方法

石陸魁，杜偉昉，馬紅祺，張 軍+

(1.河北工業大學 人工智能與數據科學學院，天津 300401；2.河北工業大學 河北省大數據計算重點實驗室，天津 300401)

0 引 言

基于傳統機器學習的肺癌檢測方法依賴于人為標注的感興趣區域，而且需要按照預先設定的特征提取方法來提取病灶特征，難以實現自動化[1-4]。基于深度學習的肺癌檢測方法通過網絡自主學習并提取特征[5,6]，排除了人為因素的影響。Dou等[7]提出一種使用三維卷積神經網絡(convolutional neural networks，CNN)來減少自動檢測肺結節中假陽性的方法。與二維神經網絡相比，三維網絡架構可以提取更豐富的空間信息，從而獲得更具代表性的特征。Ju-lian 等[8]用32×32×32大小的圖像塊作為3D-CNN的輸入，對肺部CT圖像進行結節和惡性檢測，在肺癌檢測任務上取得了不錯的結果，但其未考慮其它尺度的輸入大小對檢測任務的影響。另外，由于標注CT圖像的專業性強，帶標注的數據不足，而且肺結節大小各異且征象較為復雜，使得結節檢測存在一定困難。同時由于小尺度輸入的結節檢測網絡很難獲取到大區域病灶的整體特征，從而影響肺癌的識別。針對上述問題，本文在3D-CNN基礎上，基于遷移學習提出了一種多尺度和特征融合的肺癌識別方法。在Kaggle Data Science Bowl 2017數據集[9]上驗證了該方法的有效性。

1 基于遷移學習的結節檢測模型

在Kaggle Data Science Bowl 2017競賽中，Julian等提出了一種3D-CNN模型，用來檢測肺結節。該結節檢測模型為多任務學習模型，在進行結節概率預測的同時可評估其惡性程度。網絡模型如圖1所示。

圖1 3D-CNN結節檢測模型

該模型基于行為識別網絡C3D，共包含9個卷積層和5個池化層。模型中前六層卷積、第七層卷積分別采用3×3×3、2×2×2大小的卷積核，最后兩個并列的卷積層卷積核大小為1×1×1。前7個卷積層均采用relu激活函數，用于預測結節概率的卷積層采用sigmoid函數，預測惡性程度的卷積層未使用激活函數。池化層多采用最大池化。

該模型采用遷移學習方法，首先用32×32×32大小的肺結節數據訓練該模型；然后，在預測階段，通過向網絡輸入同樣大小的圖像來判斷該區域包含惡性信息的可能性；最后，基于此信息和結節坐標等其它特征，估計該患者發展成肺癌的概率。訓練數據來自LUNA16數據集[10]。根據結節的輪廓點坐標從CT中切割出三維肺結節訓練3D-CNN。基于LUNA16數據集切取的訓練集樣本類型和數量見表1。

表1 訓練集樣本

LUNA16數據集和Kaggle數據集的特點如下：

(1)LUNA16是LIDC數據集的一個子集，包含了888個病例的CT影像，其中共有1186個結節，直徑范圍為3 mm～30 mm，這些結節分別由4名影像科醫生進行標注。在注釋文件中給出了4名放射學專家對每張CT片中出現的結節的定義，包括結節的主要CT征象，如毛刺征、分葉征、鈣化等以及結節的惡性程度。對于直徑大于等于 3 mm 的結節，給出了輪廓點的坐標，直徑小于3 mm的結節給出了中心點的坐標；

(2)Kaggle Data Science Bowl 2017數據集共包含2101個病例CT影像。它是一個two-stage的比賽，兩個階段用的測試集不同。其中，stage1中包含1595個具有癌癥標簽的CT影像，1397個作為訓練集，198個作為驗證集；stage2中包含506個無癌癥標簽的數據。與LUNA16數據集不同的是，此數據集沒有標記結節。

肺結節的檢測結果影響著最終肺癌識別的準確性，而輸入圖片的尺寸對檢測模型的性能影響相當明顯。肺結節通常是指肺實質內直徑不超過3 cm的類圓形病灶，臨床上把直徑大于3 cm的病灶稱為肺部腫塊。一般認為，肺結節的直徑越大，其為惡性的概率越大(直徑大于3 cm的病灶多為惡性)，從而發展成癌癥的可能性越大。Julian等僅用32×32×32大小的圖像塊作為輸入，對于直徑大于3 cm的病灶，只能局部投入網絡，導致網絡提取不到其概貌特征。另外，Kaggle數據集中存在大于3 cm的肺腫塊，其致病人患癌的概率大大升高。要想檢測到此類區域，需向網絡輸入更大尺度的圖像。

2 基于多尺度和特征融合的肺癌識別模型

Julian等提出的模型是一個特殊的卷積神經網絡——全卷積網絡(fully convolutional networks，FCN)，與經典的CNN只能輸入特定尺寸的圖像不同，FCN可以接受任意尺寸的輸入圖像，小尺度輸入時網絡注重細節特征，大尺度輸入時網絡能夠抓住概貌特征。

為了檢測不同大小的結節、充分描述結節的詳細特征，基于Julian等提出的預訓練的3D-CNN，用多尺度輸入方式在Kaggle數據集上檢測結節，建立基于多尺度和特征融合的肺癌識別模型。為了減小漏診的概率，首先以滑窗的方式檢測肺結節，然后提取結節特征并預測得到結節的概率和惡性程度，最后根據網絡提取的特征用XGBoost算法預測肺癌。

2.1 多尺度輸入的結節檢測

結節檢測網絡輸出結果的好壞在一定程度上受限于輸入圖像尺寸的大小。其主要影響如下：

(1)當網絡輸入圖像較小時，如輸入圖像塊尺度為32×32×32時，其適用于提取小結節的特征，也可提取大結節的分葉、毛刺、棘突等細微特征的形狀和分布，但其獲取不到大結節或肺腫塊的整體特征；

(2)當網絡輸入圖像較大時，如輸入圖像塊尺度為64×64×64時，其適用于描述肺結節和肺腫塊的體積、概貌等整體特征。

為此，根據肺結節和肺腫塊的直徑大小，測試圖像采用3種不同尺度，分別為32×32×32、48×48×48、64×64×64。不同尺度的圖像塊投入網絡會得到不同大小的輸出結果，3個不同尺度圖像塊的網絡實際輸出結果大小分別為1×1×1、2×2×2、3×3×3。為降低肺結節的漏檢率，取網絡最后輸出特征圖中體素的最大值作為檢測到的結節最終特征，如圖2所示，當以48×48×48的圖像塊輸入時，網絡最后輸出一個2×2×2大小的特征圖，取8個體素中的最大值作為該圖像塊的結節概率或惡性程度。

圖2 網絡輸出結果的選取方式

在3個尺度下，均以CT圖像中惡性程度最大的結節作為每個病例肺癌識別的主要依據。在肺癌識別階段，首先將多尺度的結節檢測結果進行組合，然后利用XGBoost回歸模型預測患肺癌的概率。小尺度和大尺度之間相互補充，對不同大小結節的特征提取都取得較好的結果。基于多尺度的肺癌識別模型如圖3所示。

圖3 基于多尺度的肺癌識別模型

2.2 特征融合

特征融合方法可以降低單一特征固有缺陷對識別任務的影響，實現多特征互補，提高整體表達能力，使圖像識別方法具有更好的魯棒性和更準確的識別結果。基于深度學習的特征融合通常是把網絡隱層提取到的特征圖進行融合，然后將融合后的特征投入分類器得到最終結果。

由于結節檢測網絡最后提取出的特征太少，不能滿足XGBoost回歸模型的訓練，使得肺癌預測結果不甚滿意。為了改進這一不足，將網絡提取的瓶頸層特征和輸出層特征融合來進行肺癌預測。以32×32×32大小的圖像塊作為網絡輸入時為例，將瓶頸層64個1×1×1的特征和網絡最后輸出的結節概率、惡性程度和區域坐標等特征融合，即將所有的特征向量按照串行的方式組合在一起，形成一個新的特征向量，再識別肺癌。融合后的特征不僅包含結節的陽性概率和惡性程度兩個屬性，還包含了深度神經網絡提取到的多個高級特征，對肺部病灶的特征描述更加全面，有利于集成分類器對病變做出診斷。

多個尺度特征融合時，每個尺度的瓶頸層和輸出層特征融合后，再將3個尺度的特征相組合。該方法可從病灶的細節特征、概貌特征、細節加概貌特征3個角度檢測不同大小的病灶區域，從而降低肺結節的漏診率。當結節檢測網絡輸入圖像塊的尺寸為48×48×48和64×64×64時，網絡提取的瓶頸層和輸出層的特征圖尺寸大于1×1×1，最終的取值方式參見2.1節的網絡輸出結果的選取方式。基于多尺度和特征融合的肺癌識別模型如圖4所示。

圖4 基于多尺度和特征融合的肺癌識別模型

另外，一個已訓練的XGBoost模型能夠自動計算特征重要性，在多尺度和特征融合的基礎上，對多個尺度融合后的特征按照特征重要性程度自動進行選擇來訓練集成分類器，這在一定程度上擴大了有效特征的決策權，減小了噪聲特征對分類器訓練的影響，對肺癌預測更為有利。圖5以7個特征為例展示了XGBoost模型給出的肺癌識別中每個特征的特征重要性得分，分數越高表明該特征對肺癌識別的決策權越大。

圖5 特征重要性

2.3 癌癥預測

根據深度神經網絡提取出Kaggle數據集中所有病人的結節信息等特征，用訓練集的特征和對應的癌癥標簽訓練XGBoost回歸模型，再在測試集上進行癌癥預測。

結節的惡性程度與其體積、部位、邊緣特征等密切相關，惡性越大表明該患者已患肺癌或未來一段時間內患癌的可能性極大，所以結節的惡性程度是識別肺癌的重要特征。Julian等的肺癌預測方法是用病人惡性最大的結節特征訓練XGBoost模型并預測肺癌。從結節惡性程度角度出發，本文在多尺度和特征融合基礎上，設計了兩種多尺度的肺癌識別策略。兩種策略均采用病人惡性程度最大的結節特征向量訓練XGBoost模型，然后在3個尺度下檢測出的每個病人的所有結節上做預測，取病人在各尺度下所有結節中的最大預測概率作為該病人的癌癥預測結果。最后以病人為單位，對3個尺度的癌癥預測結果取均值作為最終的患癌概率。兩種肺癌識別策略的區別如下：

多尺度差異性識別策略：從3個尺度的差異性角度出發，3個不同尺度分別對應訓練3個XGBoost回歸模型。在每個尺度下，利用各自的XGBoost模型在病人的所有結節上預測患癌概率。

多尺度互補性識別策略：從3個尺度的互補性角度出發，3個尺度共同訓練同一XGBoost回歸模型，利用該模型在3個尺度下分別做預測。

3 實驗結果

為驗證所提模型的有效性，在Kaggle Data Science Bowl 2017數據集上進行了測試。目的是根據這些既無結節標記也無癌癥標簽的CT影像預測出它未來一年內患肺癌的概率。實驗利用Ubuntu16.04系統進行仿真，CPU配置為Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz，GPU配置為兩張Nvidia的Tesla P100顯卡，使用CUDA8.0和cuDNN6.0并行計算，在Keras2.2.4深度學習框架上構建網絡模型，其后端為TensorFlow1.4，代碼運行于Python3.5環境下。

實驗結果的評價標準是將預測集506個病人的肺癌預測結果提交到Kaggle官網，官網反饋一個損失值，損失值越低，說明肺癌識別方法越有效。該損失值的計算公式為

(1)

為了方便肺癌識別結果比較，除采用LogLoss作為評價指標外，本文在stage1的198個驗證集上還采用了敏感性(Sensitivity)、特異性(Specificity)和準確率(Accuracy)這3種度量方式，公式定義分別如下所示

(2)

(3)

(4)

其中，TP表示肺癌被正確分類的個數；FP表示非肺癌卻被識別為肺癌的個數；FN表示肺癌被分類為非肺癌的個數；TN表示非肺癌被正確分類的個數。

將Kaggle數據集的stage1和stage2數據投入訓練好的3D-CNN后，網絡會檢測出每個病人的所有候選肺結節，且檢測出的結節概率大小不一，為了更高效地識別肺癌，僅采用概率大于0.6的結節來進行肺癌預測。本文在Julian等方法的基礎上進行了改進，且在改進前復現了其方法，得到LogLoss值為0.419 46。本文以LogLoss作為主要評價指標，敏感性、特異性和準確率為輔助評價指標。驗證集的最終結果以0.5為臨界值：若預測概率大于等于0.5，則判定為肺癌；若小于0.5，則判定為非肺癌。臨界值的選擇會在一定程度上影響肺癌的識別結果，所以驗證集的評估結果僅供參考。實驗包括3個部分：多尺度的有效性驗證、特征融合的有效性驗證和對比實驗。

3.1 多尺度識別

為了驗證多尺度輸入對肺癌識別效果的影響，根據前面提到的多尺度輸入方法進行結節檢測，再進一步識別肺癌。首先，在32、48、64這3個尺度下分別進行了結節檢測和肺癌預測，在肺癌識別階段，用到網絡提取的結節的最大惡性、最大惡性結節的z軸坐標和Julian等的可疑組織檢測器檢測出的mass特征。然后，將網絡在3個尺度下輸出的特征進行組合后識別肺癌。另外，Julian等用3D-CNN檢測結節時的批次大小為128，本文改進實驗的批次大小均為64。所以復現結果和32尺度輸入的結果稍有不同，但差異不大。多尺度輸入時的實驗結果見表2。

表2 多尺度的肺癌識別結果

實驗結果表明，3個尺度的特征組合在一定程度上降低了預測集的損失。另外，敏感性較其它3個單尺度有所提高，降低了漏診率；特異性較單尺度時稍有降低；肺癌識別的準確率優于單尺度。

3.2 特征融合識別

由于網絡末層提取的特征單一，不足以描述病灶的詳細特征，本實驗從多個角度出發，將網絡瓶頸層提取的64個特征和網絡輸出的特征相融合，經數據歸一化處理后再預測肺癌。本節實驗進行肺癌識別的特征有：每個病人惡性最大結節的瓶頸層64個特征、輸出層兩個特征、z軸坐標和Julian等的mass特征。首先，針對單尺度進行了特征融合；其次，將3個尺度的融合后的特征進行組合來預測肺癌；然后，在3個尺度特征組合的基礎上，按照特征的重要性自動提取前90個特征識別肺癌；最后，按照多尺度差異性識別策略和多尺度互補性識別策略分別進行了實驗。表3列出了兩種識別策略的樣本量大小，即檢測出的符合條件的肺結節數量。特征融合的實驗結果見表4。

從實驗結果可以看出，在單尺度下，特征融合后的結果普遍好于特征融合之前。3個尺度的特征融合時，驗證

表3 兩種多尺度肺癌識別策略的數據集大小

表4 特征融合的肺癌識別結果

集的識別結果要優于融合之前，但是損失值卻高于先前，原因是瓶頸層的特征存在噪聲干擾。所以，在3個尺度特征融合的基礎上，按照特征重要性選擇了部分有效特征，實驗結果表明該方法優于選擇特征之前，也好于特征融合之前。從損失值上可看出，多尺度差異性識別策略和互補性識別策略都達到了較好的識別效果，多尺度互補性識別效果尤為顯著，進一步驗證了所提出的多尺度方法的有效性。

3.3 對比實驗

近兩千支隊伍參加了Kaggle舉辦的Data Science Bowl 2017競賽，官網公布了部分隊伍的排名結果。近兩年，一些醫學圖像領域的專家、學者也對此數據集做了相關實驗。為了更好地與本文的實驗結果相比較，表5給出了部分競賽排名結果。比賽結束后，第一名團隊改變了訓練方案，得到了更優的結果0.3989，然而其在分類精度上仍有待提高[5]。本文實驗結果不僅好于Julian本人的方法，且優于其整個團隊[6]的識別結果。

表5 競賽排名

為了進一步驗證所提模型的有效性，與其它文獻中的模型進行比較，結果見表6。表中“-”標志表示文獻未給出該評價指標的實驗結果。

表6 同其它模型的比較結果

實驗結果表明，與其它文獻中的方法相比，本文所提方法取得了較高的分類精度，且優于Kaggle競賽中第一名的結果；在敏感性上，結果不太理想，會增加肺癌的漏診率；在特異性上，取得了滿意的結果。總體上，所提方法在肺癌識別任務上成效較為理想。

4 結束語

通過肺部CT圖像可以檢測出肺部疾病，幫助患者及時得到有效治療。本文為提高肺癌的識別精度，提出了一種基于多尺度和特征融合的肺癌識別方法。實驗結果表明，多尺度的方法更能完善惡性結節的有效特征，特征融合方法能夠充分描述結節的詳細特征，均有利于后續的癌癥診斷。所提出的方法在Kaggle數據集上損失值更低，且識別精度較高。

未來工作可深入研究并改進3D深度神經網絡算法，同時構建更為有效的病理特征以提高肺癌識別的敏感性。另外，早期患者的隨診情況也對肺癌識別起到關鍵作用。若肺結節在短期內變化明顯，其致癌風險極高。所以，對病人多個階段的肺部CT圖像進行識別并關聯也是未來研究的一個方向。