融合多尺度決策的肺結節分類研究

池洪澤，楊 靜，2

（1.太原理工大學信息與計算機學院，山西晉中 030600；2.太原理工大學 信息中心，山西太原 030024）

肺癌是世界上致命的癌癥之一，對人們的健康構成威脅[1]。肺結節早期診斷可以降低肺癌死亡率[2]。20 世紀60 年代，計算機輔助診斷(CAD)被提出并用于肺癌診斷，減輕了醫生的壓力，幫助他們更準確地診斷病例[3]。傳統上，通過研究人員手工提取手工特征并設計分類器，但設計手工特征耗時且需要專業醫學知識。特征提取的有效性取決于醫生在肺癌診斷方面的專業知識以及他們對傳統機器學習方法的理解。此外，手工制作的特征是主觀的，它們的概括性很差。因此，開發一種自動特征提取算法是非常重要的。近年來，3D CNN 帶來了比2D CNN 更好的表現[4]。3D CNN 可以提取結節的空間特征，這對結節分類非常重要。

人工提取的特征通常包括紋理、形狀、密度和球形特征，分類器通常包括支持向量機(SVM)等[5-8]，通常利用圖像預處理和模式識別方法來區分惡性和良性結節。Costa 等人[9]使用平均系統發育距離和分類多樣性指數來提取肺紋理特征。為了更好地對肺結節進行分類，研究人員通常會改進CNN 網絡的特征提取器和特征分類器。沈等人[10]提出了一種多裁剪卷積神經網絡(MC-CNN)來自動提取結節顯著特征。多尺度特征圖包含更多的語義信息，該策略在結節分類上取得了良好的效果。為了利用空間3D上下文信息，劉等人[11]提出了一種端到端的結構，稱為密集卷積二叉樹網絡來分類結節。他們在DenseNet 中引入了中心裁剪操作，并利用過渡層上的分離和融合操作來豐富多尺度特征。雖然有一些方法解決了這些挑戰，但這些方法并不全面，還可以進一步改進。例如，朱等人[12]利用3D 雙路徑網絡(DPNS)來提取肺結節體積特征，這對于避免過擬合是有效的。為了捕捉細粒度的特征，張等人[13]將擠壓-激發注意網絡與聚集殘差變換ResNeXt 相結合，并將他們提出的方法應用于肺結節的良惡性分類。蔣等人[14]基于DPNS 體系結構，在DPNS 中加入了空間和上下文注意模塊，集合了多網絡對肺結節進行分類。他們提出的注意機制在特征細化方面是有效的，但空間注意模塊還可以進一步改進。空間注意網絡沒有考慮多尺度、多分辨率和殘差連接問題，這些問題對于肺結節分類非常重要。謝等人[15]融合灰度共生矩陣(GLCM)特征、傅立葉形狀特征和深度學習特征，利用AdaBoosted 反向傳播神經網絡來區分結節。Kaya 等人[16]融合了深層特征和手工制作的特征，這些特征包含結節的形態、顏色或文本特征。Jason 等人[17]融合了ApplSci 放射定量圖像特征和3D深層特征。張等[18]融合了三維提取的基于局部二值模式的紋理特征、基于方向梯度的形狀特征直方圖和深度特征。最后，他們利用GBM 來區分良性和惡性結節。對于上述肺癌診斷的混合特征方法，已經證明將人工特征與深度學習特征相結合可以進一步提高肺結節識別的準確性[15-18]，但人工特征的提取仍然存在與傳統方法相同的問題。為了利用多屬性特征和多尺度特征，趙等人[19]提出了一種多流網絡的結核分類方法，并構造了一種新的損失函數來克服不同屬性之間的不平衡。

雖然現有的深度學習方法在應用科學方面取得了很大的進步。由于肺癌數據集較小，設計一種能夠自動提取豐富有用特征的新方法是非常重要的，并且該方法應該能夠盡可能避免過擬合，從而保證方法的魯棒性。

為了應對這些挑戰，該文提出一種基于DPN 多尺度決策層融合技術用于肺結節分類。使用3D 雙路徑網絡(DPN)作為主干網絡，它集合了殘差連接和密集連接的優勢。基于DPN 的密集連接，提取了豐富的特征，避免了剩余連接的過擬合，主干網絡確保了模型的整體性能。為了提取更全面的肺結節圖像特征，使用多尺度作為輸入后，對多個尺度的決策層進行融合，實驗證明，改進的網絡架構對于提高結節分類性能是有效的。

1 方法

1.1 構建多尺度結節塊

結節塊的選取對網絡性能有很大影響。如果輸入的肺結節過大，在模型訓練過程中會引入很多冗余信息，比如肺泡等，導致學習不到相關的特征信息，對網絡性能有很大影響。相反，如果輸入的結節塊過小，網絡在訓練時提取的特征信息會比較有限，不夠全面，會導致辨別能力不足。輸入單一尺度的結節塊很難滿足網絡性能需求。

因此，根據數據中結節塊的大小，選取多個尺度作為數據的輸入。結節直徑通常在3～30 mm 之間，針對結節直徑大小不同，設計了三種尺度來滿足不同的結節。針對結節大小設計的三種尺度，分別為16×16×8、32×32×16、48×48×24 的結節塊，由于CT 圖像的Z維分辨率比較低，設計了Z維比X、Y維小的輸入大小。

1.2 多尺度決策層融合模型

文中提出的多尺度決策層融合模型(Fusion-MDPN)如圖1 所示，模型使用DPN 作為主干網絡，每一尺度決策層使用四個DPB 塊，該模型一共分為四部分，第一部分（如圖1(1)部分）是DPN1(16×16×8)分類模型，對于較小結節塊可以提取更全面的圖像特征，第二部分（如圖1(2)部分）是DPN2(32×32×16)分類模型，對于中等結節，可以提取更具辨別性的特征；第三部分（如圖1(3)部分）是DPN3(48×48×24)，對較大結節的特征可以充分利用；第四部分（如圖1(4)部分）是決策層融合，以達到更準確的分類結果。

圖1 中根據數據集的xml 文件裁剪出三種尺度的結節塊(16×16×8)、(32×32×16)、(48×48×24)，進而對圖像進行預處理，3D Conv 表示卷積和池化，APL 表示平均池化層，FC 表示全連接層，每層DPB 分別有3、4、20、3 個雙路徑塊。

1.3 決策層融合

決策層融合是基于DPN 網絡，將三個分類結果進行融合。訓練數據如下:

其中，Xj是第j個肺結節圖像塊的深度特征向量，Yj是第j個肺結節圖像塊的類標簽，N是訓練圖像的總數。深度特征圖經過Softmax 分類之后，能獲得每個結節對應不同尺度惡性和良性的預測概率值。

每個結節有三種尺度，其惡性、良性概率值分別為P1i、P0i，i∈{1,2,3}。惡性與良性概率值和為1。將a(a≥2)個P1i≥0，0.5或P1i＜0.5的概率平均值作為結節惡性最終預測概率值PFusion[1]，同理可得良性最終預測概率PFusion[0]。最終預測標簽公式如式（1）所示：

式中，y＇是最終的預測標簽，y＇=1 為惡性結節，y＇=0 為良性結節。決策融合流程如圖2 所示。

1.4 3D 雙路徑網絡(DPN)

雙路徑連接把殘差學習和密集連接的優勢結合起來。殘差連接對解決梯度消失問題是有效的，同時可以實現特征重用，密集連接更容易學習新特征，可以避免重新學習冗余特征圖，密集連接相對于殘差連接，其參數更少。3D 雙路徑塊結構如圖3 所示，實現過程中，基于超參數d，輸入特征映射被分成兩部分。一部分F(x)[d:]用于殘差學習，另一部分F(x)[:d]用于密集連接。雙路連接可以表述如式（2）所示:

式中，x為雙路連接塊的輸入，F(x) 為卷積函數，R為ReLU 激活函數，y為輸出。

1.5 損失函數

在訓練時，訓練數據集合為Z={(Xi,Yi)}(i=1,2,…,N)，Xi是輸入，Yi是輸入標簽，Yi,yi∈{0,1}，0 代表良性結節，1 代表惡性結節，用w表示訓練參數，損失函數如式（3）所示：

式中，N表示樣本總數目，LC(P(Xi),y)=-lbpy(Xi)表示交叉熵損失，py(Xi)表示Softmax 層計算得到Xi屬于類別yi的估計概率值。

2 數據集與實驗設置

2.1 數據集與預處理

1）數據集

該研究中使用的數據集是LIDC-IDRI 數據集，由1 010 名肺癌患者胸部CT 掃描以及標記注釋病變組成。從結節收集報告中獲取結節及其注釋中心。由于圖像的分辨率不同，使用具有固定分辨率的樣條插值，沿所有三個軸的分辨率為0.5 mm/體素。每個結節片都是根據帶注釋的結節中心從重新采樣的CT 圖像中裁剪出來的。四位經驗豐富的胸科放射科醫生對每個結節的惡性懷疑度從1 到5，表明惡性懷疑度增加。取結節的平均分，大于等于3 為惡性，小于3 的記為良性。該文移除了ID 不明確的結節樣本。最終得到886 套CT 圖像和1 186 個結節，其中有650 個良性結節和536 個惡性結節。

2）數據增強

為了減少正負樣本的不平衡，對數據集進行了數據擴充。通過將圖像旋轉90°和180°來增加陽性樣本。為了進一步保持兩個類別之間的平衡，對大多數類陰性樣本進行了向下抽樣。數據擴充減少了正則化的需要。數據擴充通過在數據集中創建變量來人為地擴展數據集，并可用于減少訓練中的過擬合問題。其中80%作為訓練集，20%作為測試集。

2.2 實驗細節

該實驗的硬件環境是Intel(R)Xeon(R)Gold 5120 CPU 2.2 GHz 處理器，顯卡為NVIDATeslaP4，內存容量128 G，使用語言為Python。使用小批量梯度下降法訓練權值，將批量大小設為64，動量設為0.9，學習速率初始化為0.1，每2 000 次迭代衰減5%，使用5 折交叉驗證策略來評估該方法的性能。

2.3 網絡性能評價指標

用準確率、敏感性、特異性、AUC(Receiver Operating Characteristic curve 即ROC 曲線面積)作為評估模型分類性能好壞的指標。其中TP 為真陽數，FP 為假陽數，TN 為真陰數，FN 為假陰數。評價指標計算公式如下：

3 實驗結果與分析

3.1 單獨模型分類性能

把各個分類模型單獨分類，使用Softmax 分類函數評估分類性能，如表1 所示。單路DPN1、單路DPN2、單路DPN3 和決策融合DPN 分類模型的精度分別為87.45%、88.62%、89.89%和92.58%。通過單獨分類模型的比較，可以看出決策融合DPN 網絡比其他分類模型性能要好，輸入48×48×24 的模型分類性能總體優于32×32×16 的模型，因為大尺度圖像塊包括更多的結節信息，對結節的分類更有幫助，輸入尺度為32×32×16 的模型分類性能總體比輸入尺度為16×16×8 的要好一些，但對于一些較小的結節16×16×8 輸入要優于其他模型。可以看出該文提出的子模型可以作為單獨的分類器。

表1 不同尺度分類方法性能比較

3.2 決策融合模型分類性能

決策融合模型(Fusion-MDPN)分類結果如表2所示，Fusion-MDPN 的總體準確率達到92.58%，實驗結果表明決策融合方法可以提高分類性能。圖4 所示是各個分類模型DPN1(16×16×8)、DPN2(32×32×16)、DPN3（48×48×24）和決策融合模型Fusion-MDPN 的ROC 曲線，決策融合模型Fusion-MDPN 的曲線明顯高于單獨分類模型，并且AUC 值最大，證明了決策融合可以提升分類模型的整體性能。

3.3 與其他分類方法比較

該文方法和其他分類方法的性能對比如表2 所示。基于比較結果，所提出的模型達到了最高的準確率和AUC 評分。通過3D DPN 提取大量的深度特征，有效地實現了特征的重用，并且由于殘差連接和密集連接，可以盡可能多地捕捉到圖像的原始特征。

表2 與其他分類方法比較

4 結束語

根據肺結節本身特征，該文提出了一個基于DPN多尺度決策融合的肺結節分類方法來區分惡性和良性肺結節。該模型以多尺度作為輸入，3D DPN 作為主干網絡，能夠提取更豐富的特征信息，決策融合提升了模型的整體性能。該模型不需要手工提取特征，也不需要對結節圖像進行分割，可以更高效地完成肺結節的良惡分類，可以給醫師提供較有力的輔助診斷。下一步研究工作將引入注意力機制，增加細粒度表示，通過進一步優化網絡結構，提高分類性能。