融合注意力的多維多特征浸潤性腺癌診斷

鮑澗穎，張 巖，徐建林，莫錦秋

1.上海交通大學 機械與動力工程學院，上海 200240

2.上海交通大學附屬胸科醫院 呼吸內科，上海 200030

1 引言

近年來，肺癌已經成為嚴重危害人類身體健康的癌癥之一[1]。與其他癌癥相比，肺癌早期沒有任何癥狀，很多病人在就診時就已經達到不可手術的局部晚期或者是已經發生了轉移，并且中后期的病人術后恢復較差[2-3]。利用低劑量螺旋CT進行肺癌的篩查是診斷早期肺癌的重要手段，可靠的診斷結果能夠大大增加患者治愈的可能性[4]。根據美國NLST 研究統計，在影像學可疑的肺癌病例中，有20%的患者最終手術病理不是肺癌。對于肺腺癌來說，其亞病理類型極大地影響手術方式，而術中快速冰凍病理在診斷小直徑腫瘤是否為浸潤性時準確率較低[5]。因此，對于形狀特征相似的早期肺癌小結節，特別是肺腺癌小結節的亞病理類型的診斷，僅僅依靠影像科醫生的主觀診斷會有一定的局限性，并且術前能較為準確地確認亞病理類型對于手術方案的制定也有較大的意義。

目前，有越來越多的學者研究利用肺部CT 圖像進行肺結節的智能診斷，從而輔助影像科醫生，提高結節診斷的效率及準確率[6]。高揚采用多輸入的2D 卷積網絡[7]，其網絡的輸入設計為包含結節、不包含結節與只包含結節圖像的對同一個結節對象的三種不同視圖，在公開數據集LIDC-IDRI（Lung Image Database Consortium image collection）上進行了肺結節的良惡性預測。蔡俊輝等人[8]對87例腺癌患者的CT圖像提取醫學特征參數，并利用不同的機器學習模型，用于對其浸潤性及非浸潤性腺癌的分類。劉一璟等人[9]引入中心裁剪操作改進3D DenseNet網絡，提高了算法分類精度。Lu Shengyu[10]結合了醫學知識的形態描述和2D網絡模型提取的深度特征，利用SVM（Support Vector Machine）進行肺結節分類。Meraj T 等人[11]通過提取結節形態學特征、強度特征等來描述結節特征，結合logit boost分類器進行肺癌診斷。Lyu J 等人[12]提出設計了多層次的2D 交叉卷積殘差網絡，對結節的惡性程度進行預測。Wu P 等人[13]利用深度殘差網絡并結合遷移學習對結節樣本與非結節樣本進行了有效的分類。尹柯等人[14]通過對浸潤性腺癌及非浸潤性腺癌的病灶特征對比分析，確認了病灶平均直徑及形態對構建診斷模型有很好的借鑒依據。吳保榮等人[15]設計了融合多維度的卷積神經網絡，利用結節三維圖像及二維多尺度圖像進行訓練分類，并對兩類網絡的分類結果進行加權融合，進行肺結節分類。

目前較多的研究為單一地設計2D 網絡或3D 網絡作為肺結節的分類算法，或是基于結節特征參數利用機器學習算法進行分類。吳保榮等人的融合多維度卷積神經網絡融合了2D及3D網絡的分類結果，不過與現有的較多研究中的網絡一樣，只進行了結節原始的圖像信息的學習，與醫學上的先驗信息結合較少。由于目前肺結節的數據集較少，無法與其他大型數據集一樣達到萬例以上，且用深度學習來研究對浸潤性腺癌結節與非浸潤性結節進行分類的研究更少，無法在術前準備中提供足夠的診斷幫助。蔡俊輝等人對浸潤性腺癌的分類進行了研究，他們用隨機森林法在敏感度為66.7%及特異度為100%的情況下，取得準確率86.7%，但其研究的樣本總量僅有87例，分類準確率具有較大的偶然性，且在惡性樣本診斷準確率上做了較大的犧牲。

本文研究磨玻璃小結節中的浸潤性腺癌結節在術前的診斷，不同于公開數據集LIDC-IDRI的樣本來自于多名放射科醫師的存在互異性的主觀判斷，本文采集了來自上海胸科醫院的具有金標準的，即有術后病理支持的1 760份磨玻璃肺小結節CT樣本，其中浸潤性腺癌結節為340 份，非浸潤性結節為1 420 份，每份CT 樣本中含有連續的層厚為1 mm的共20層CT薄層。根據肺結節在CT數據中分布于連續多個薄層中所具有的空間信息，以及在醫學上具有統計學意義的肺結節的形態等平面特征信息[16]，設計了多維度及多特征圖像如邊緣特征、紋理特征等融合的分類器結構。根據不同樣本中肺結節尺寸差距較大的特點，提出了基于注意力機制的殘差網絡模型，分別利用設計的3D卷積網絡與2D卷積網絡提取不同的特征信息，并對不同維度網絡提取的特征向量連接成新的特征向量，利用XGBoost 進行訓練分類，最終完成對肺結節中浸潤性腺癌的分類診斷。

2 方法描述

如圖1所示，本文提出的基于注意力機制的不同維度的網絡提取特征融合模型AFCNN（Attention-Fusion Convolutional Neural Network）的實現主要分為以下幾個部分進行：圖像預處理、數據增強、分類器結構構建。

圖1 模型實現流程

原始數據集經過圖像預處理，生成有效的2D及3D用以分類的初始數據集，2D 數據用來表達肺結節中心層的紋理特征及輪廓特征等信息，3D 數據表達肺結節CT圖像的空間特征信息。2D數據進行平面隨機裁剪、旋轉、2Dcutmix等數據增強方法，3D數據進行空間隨機裁剪、空間翻轉、3Dcutmix等數據增強方法，分別生成用以網絡訓練的2D 數據集及3D 數據集，利用提出的融合模型進行分類。融合模型AFCNN 由兩部分構成，2D ACNN（2D Attention Convolutional Neural Network）用以訓練提取2D數據集的特征向量，3D ACNN用以訓練提取3D數據集的特征向量，該模型對提取的2D特征向量及3D 特征向量均轉換為一維向量并進行連接，形成新的特征向量，能夠充分表達肺結節的空間特征信息以及平面特征信息，再利用xgboost算法進行訓練分類，能夠得到更準確的分類結果。

2.1 圖像預處理及數據增強

2.1.1 圖像預處理

如圖2 所示，對原始CT 數據集進行的圖像預處理主要為兩部分：肺實質提取與肺結節數據提取。

肺實質提取是因為肺部CT圖像中除了肺實質部分外，還有胸廓、肋骨等信息，而這些位置的像素信息對于肺結節的病理性質判斷無作用，反而會對結節特征的學習造成干擾，提取肺實質部分可以加強網絡對有效特征的學習。肺實質提取主要根據不同部位的像素值不同，利用閾值法對肺實質部分進行粗略的提取，得到粗略的肺實質輪廓。然后利用形態學運算等方法，補回位于肺實質邊緣被誤裁剪的肺結節，得到更加精確的肺實質輪廓，利用該輪廓信息，從原始CT 圖像中獲取肺實質部分，去除胸廓等多余信息。

肺結節數據提取是利用經肺實質提取后的CT圖像生成每個肺結節樣本的3D 圖像數據和2D 特征圖像數據。提取肺結節時采用的位置信息為人工標注所得，在結節的幾何學中心所在的CT層上緊密地框出結節所在位置，標記中心層位置并記錄結節所占連續CT 薄層的層數。

以標注的結節中心層為中心，依據中心層上標注的結節位置框，另再取中心層前后各幾層的CT圖像薄層，對齊裁剪并拼接成尺寸為Nx×Ny×Nz的3D 數據，Nx與Ny表示數據集中CT 圖像上的像素數量，Nz表示CT 薄層數，本研究中尺寸實例化為32×32×9。3D 圖像數據用來表達結節及其周邊的空間圖像信息。

首先，在勘測設計全過程中，非數字化信息較多，主要包括外業勘測和勘探資料。內業設計中存在較多各專業之間、上下工序之間的接口資料，這些非數字化信息的影響與一體化和智能化目標的實現相差甚遠，需要較多的時間和精力來進行整理。其次，勘測和設計數據尚未形成統一的格式和標準，各專業和工序之間存在獨立性，很難實現統一管理和共享。最后，基于管理者視角，在整個勘測設計的計劃管理和質量管理等方面，仍然采用傳統的方法，計算機技術的優勢尚未充分發揮出來[1]。

2D特征圖像數據由結節中心層圖像生成，含三部分分量圖像：結節中心層圖像、LBP（Local Binary Patterns）特征圖像、輪廓特征圖像。2D 特征圖像在深度方向不具有位置不變性。

分量圖像中的結節中心層圖像與3D數據中心層的圖像保持一致，本實例中尺寸為32×32，并將其轉換為灰度圖。

LBP特征圖像主要是為了表達肺結節的紋理信息。以每個像素點(x0,y0)為中心，用窗口覆蓋的像素點值與中心點值進行大小比較，根據中心點與周圍點的值大小關系來重新表示中心像素點的值。如公式（1）所示：

其中，LBP(x0,y0)表示該點計算得到的LBP特征值，n表示窗口邊緣覆蓋的像素點的數量，在本文實例中取8，vi和v0分別表示第i個窗口邊緣像素點的像素值和中心點的像素值。

輪廓特征圖像用于表達結節的輪廓信息。CT圖像中，磨玻璃小結節的邊緣模糊，可不通過高斯濾波等操作，直接利用sobel算子計算各個位置的梯度，以此來表現肺結節邊緣信息。2D特征圖像的每一分量圖像都依據結節中心層的圖像生成，其對應的實際CT 圖像中的位置信息相同，且尺寸均為Nx×Ny，在本文實例中取32×32。

2.1.2 數據增強

對2D 及3D 數據集分別采用相應維度的常見數據增強方法以及cutmix 算法。可采用常見的數據增強方法如：平面方向內的圖像旋轉（如90°、180°、270°），平面方向內的轉置、加入高斯噪聲等。特別的，對2D數據進行平面上的隨機裁剪，對3D 數據進行空間內的隨機裁剪，以及深度方向上的上下翻轉，能增強2D 及3D 數據集的泛化性能，支持分類器網絡參數的訓練。由于醫學圖像樣本采集成本高，本實例中還采用了cutmix 算法，增強網絡對肺結節局部特征的學習能力。該算法是對樣本中的部分數據進行隨機裁剪，隨機取另一樣本，將相應的數據部分與原樣本剩余部分進行組合，形成新的樣本，新樣本的標簽根據兩組樣本在新樣本的數據中心所占比例進行組合。對2D 數據集進行2Dcutmix，即進行平面上的任意位置及二維大小的隨機裁剪及樣本融合，對3D 數據進行3Dcutmix，即進行空間內的任意位置及任意三維大小的隨機裁剪以及樣本融合。通過對原始數據進行不同維數的特征融合，提高了樣本的多樣性，并且能夠增強不同維數的網絡對局部特征的學習。

圖2 圖像預處理

2.2 帶注意力機制的網絡分類器及分類訓練

對肺結節的病理診斷主要依據肺結節部分圖像，而其他肺實質等信息對病理診斷的貢獻較小。對于磨玻璃小結節，肺結節部分圖像占獲得的數據樣本圖像比重較小，且在不同樣本中的肺結節大小比重差距較大。本研究中的磨玻璃肺小結節直徑變化范圍較大，可為5 mm 至20 mm 不等。由于CT 圖像中的像素大小與實際物理空間中的肺部實體尺寸具有唯一對應關系，對肺結節進行縮放則會破壞圖像與實體尺寸間的對應聯系，丟失肺結節的實際大小信息。為了在不同尺寸的肺結節樣本中，使網絡的分類都能更多地依據肺結節部分的圖像信息，而對肺實質部分的圖像信息更少地參考，所以設計網絡模塊時引入注意力機制，即通過不同通道上的特征圖像表達強度的比較，根據特征圖像的表達強度不同從而分配給通道以相應的特征權重。

如圖3 所示，設計帶注意力機制的殘差學習模塊。利用注意力機制，在訓練階段學習優化網絡中的特征圖各通道權重，可以學習到圖像中對分類有重要意義的特征，從而在測試集中提取到重要的圖像特征。該機制能夠使網絡更多地關注于肺結節部分的信息，從而改善網絡對該數據集的分類能力。為了減少因為網絡深度過大引起的梯度消失，設計殘差學習模塊，更好地結合上下文提取的圖像特征，使得提取到的各部分特征圖像更好地參與網絡分類。

如圖3的帶有注意力機制的殘差學習模塊中，卷積變換部分由卷積層與ReLU層構成，用于提取上層網絡輸出中的特征圖像，而近路連接部分由尺寸為1的卷積層構成，直接連接上層網絡的輸出，使得高維特征圖像與低維特征圖像更好地結合。注意力機制則可以用來加強卷積變換部分對重要特征的權重。

圖3 帶注意力機制的網絡模塊

模塊中的注意力機制的不同特征通道的權重計算依據兩部分組成，分別為各通道的特征圖像均值及最大值。用Xi來表示通道i上特征圖像的值的集合，則該注意力機制的實現可用公式（2）表示：

其中，Xinew表示通道i上加權后的特征圖像的集合，max 表示特征圖像中的最大值，avg 表示特征圖像的平均值，f1表示卷積核為1 的卷積變換及激活函數ReLU的變換組合，即為Conv（1×1）-ReLU，卷積核為1的卷積操作用于對不同通道上的權重信息進行整合，ReLU 的作用則是為了增強該注意力轉換中的非線性。f2為與f1相同的卷積變換結構。f2與f1分別進行訓練。f1為根據最大值處理過的特征圖像來決定不同通道相應的權重，f2為根據平均值處理過的特征圖像來決定不同通道相應的權重。將兩組注意力機制訓練后得到的權重結果相加，對特征圖像的每個通道附以不同的權重，通過訓練，可使重要的特征通道具有更大的權重，學習到圖像中具有分類意義的重要特征。

該機制的實質就是對該模塊中的卷積變換部分的各特征通道進行加權，通過對上述權重的訓練，從而獲得特征表達更清晰的特征圖像，如公式（3）所示：

其中，c為特征圖的通道數，X為每個通道上的特征圖像經過權重系數疊加后的輸出總特征圖像。

在卷積變換后的特征圖像經過權重整合后，近路連接部分用卷積核為1的卷積變換進行信息整合，兩部分的特征圖像進行疊加，更好地整合低維及高維的特征信息，作為該模塊的輸出提供給網絡后續部分進行訓練學習。

2.2.2 2D ACNN網絡結構

2D ACNN 用來學習肺結節的平面特征如邊緣特征、紋理特征等，該網絡模型依據帶注意力機制的殘差學習模塊設計，詳細結構如圖4所示。網絡包含三個帶注意力機制的殘差學習模塊，其中Conv2D 表示由卷積層、批量歸一化層及激活層實現，即Conv(ks×ks)-BNReLU 的復合操作，其中ks表示卷積核的尺寸，加入批量歸一化的目的是使得激活函數的輸入符合其數值敏感區間，從而減小梯度消失的現象，增加網絡的收斂能力，加快網絡參數的訓練。Avg-Max Attention表示上述的由平均值及最大值實現的注意力模塊，即每個通道上輸入與輸出的關系為Outi={f1[m ax(Xi)]+f2[a v g(Xi)]}Ini，下標i表示特征圖像在第i通道上的分量，在2D 網絡中，該特征分量為二維，將該變換記為g。帶注意力機制的殘差學習模塊的輸出由注意力模塊及卷積核為1的模塊輸出相加得到，即Xout=g(Xin′)+h(Xin)，Xin為該學習模塊的輸入，Xin′為注意力模塊的輸入，由Xin經過兩次Conv2D 模塊操作得到，h表示卷積核為1 的Conv2D 變換。該網絡的輸入層Conv2D 的卷積核設置為7，是為了增大網絡上層的感受野，MaxPool 表示最大池化操作，用以減小網絡需要訓練的參數數量。AdaptiveAvgPool 表示全局平均池化操作，對每一通道上的特征圖像進行全局池化，用平均值來表示該通道的特征值。全局池化后輸出2D 特征向量，通過全卷積Linear層進行分類。

2.2.3 3D ACNN網絡結構

3D ACNN 用來學習肺結節的空間信息，肺結節的空間特征具有深度方向的不變性，所以設計3D 網絡結構來學習肺結節數據的上下文信息。為了減少網絡需要訓練的參數數量，該網絡模型主要有三個帶注意力機制的殘差學習模塊，詳細結構如圖5 所示。類似的，Conv3D表示由卷積層、批量歸一化層及激活層實現，即Conv(ks×ks×ks)-BN-ReLU的復合操作，其中ks表示卷積核的尺寸，在該實例中卷積核的長度、寬度、深度的尺寸保持一致。Avg-Max Attention 為平均值及最大值實現的注意力模塊，Outi={f1[m ax(Xi)]+f2[a v g(Xi)]}Ini，在3D網絡中，通道i上的特征分量為三維，將該變換記為g。帶注意力機制的殘差學習模塊的輸出為Xout=g(Xin′)+h(Xin)，其中Xin′由Xin經過兩次 Conv3D 模塊操作得到，h表示卷積核為1 的Conv3D 變換。該網絡的Conv3D 的卷積核均設置為3，可以減小網絡需要訓練的參數數量。AdaptiveAvgPool表示全局平均池化操作，對每一通道上的三維特征圖像進行全局池化，用平均值來表示該通道的特征值。全局池化后輸出3D特征向量，通過全卷積Linear層進行分類。

圖4 2D ACNN網絡結構

圖5 3D ACNN網絡結構

2.2.4 分類目標函數及特征融合

2D網絡和3D網絡單獨訓練，網絡優化的目標都是最小化損失函數，因研究中為解決的二分類問題，損失函數選擇為二值交叉熵函數，并加入正則化項，如公式（4）所示：

其中，yi為樣本i的標簽，ye為分類器對樣本i的預測標簽，n為樣本的總量，為正則化項，α為正則化系數，一般取很小的正數，‖wi‖2為網絡中權重系數的二范數。L2 正則化通過優化目標函數的值，控制網絡中權重參數的大小，降低網絡復雜度，減少網絡過擬合。

兩組網絡分別訓練好后，取圖4 中2D 網絡輸出的2D 特征向量以及圖5 中3D 網絡輸出的3D 特征向量進行特征融合，因為2D特征向量及3D特征向量即為相應網絡提取出的用以二分類的特征向量，所以可以表達3D空間特征以及2D平面特征，特征融合的實現方法為將網絡輸出的2D 特征向量和3D 特征向量均轉換為一維向量，進行連接，即其中表示3D特征向量中第1通道上的向量，表示2D特征向量中第1通道上的向量，以此類推，k表示3D特性向量的總通道數，t表示2D特性向量的總通道數。以vnew作為樣本的新的特征向量，利用XGBoost算法對新的特征向量進行分類學習，得到的分類結果作為該分類器的最終分類結果。在實驗中XGBoost 選擇每次基于樹的模型進行迭代，迭代權重eta設計為0.1，樹的最大深度設計為5，避免過擬合，XGBoost模型的目標優化函數與公式（4）一致。

3 實例應用及分析

本文所采用的數據集來自上海胸科醫院，均為歷年經過開刀后有準確病理的病例，直徑5 mm 到20 mm 之間的磨玻璃肺小結節樣本。共有1 760 例，其中浸潤性腺癌結節樣本340 例，非浸潤性腺癌結節樣本1 420例。在非浸潤性結節樣本中，包含有微浸潤性腺癌、原位腺癌及其他良性結節。每個病例數據都包含層厚為1 mm的連續20張CT薄層圖像。對比于大部分論文研究的LIDC-IDRI公開數據集，本課題研究的數據集具有金標準，公開數據集的結節樣本良惡性是由四位放射科醫生獨立標注的，按肺結節惡性程度大小從1到5分為5個等級，5表示惡性程度最高，1表示為良性結節。醫生的診斷具有主觀性，在1 187例結節的診斷中，將四位醫生判斷結果差距在1 以內的作為有效診斷，則僅有571例結節的診斷有效，其余樣本的不同醫生診斷差距很大。所以公開數據集的標注不能作為真實的肺結節病理，并且該數據集中同時磨玻璃結節與實性結節等不同類型的結節，本課題的數據集只針對研究磨玻璃結節中的浸潤性腺癌的分類。

本文所運行的實驗平臺的配置為Intel Core i9-9900處理器，NVIDIA GeForce RTX 2080Ti獨立顯卡，32 GB 內存。實驗中的數據處理及模型搭建是采用python3.7，主要基于pytorch 的深度學習框架。實驗中的網絡中參數的初始化利用凱明方法進行初始化。

為了使網絡得到充分的訓練并且減少訓練結果的偶然性，利用五折交叉驗證對提出的算法進行驗證，將原始數據集隨機等分為相同大小且相互獨立的5份，每份樣本中含有浸潤性腺癌結節樣本68 例，非浸潤性腺癌結節樣本284 例。第i次驗證時，選擇第i份樣本作為測試集，其余的4 份樣本作為訓練集訓練，即每次訓練中的訓練集與測試集的比例為4∶1。初始的訓練集中共有1 408份樣本，其中浸潤性腺癌結節樣本272份，非浸潤性腺癌結節樣本1 136份。訓練過程中通過數據增強，將訓練集增廣至84 224 份，其中浸潤性腺癌樣本和非浸潤性腺癌樣本為1∶1。

分別做五組實驗，分別對兩個網絡進行訓練驗證，記錄結果，并對兩個網絡的訓練結果進行融合，記錄其結果。實驗中2D 樣本的尺寸實例化為32×32，3D 樣本的尺寸實例化為32×32×9，正則化系數α取為0.000 01，本文采用了SGD 優化器進行優化，訓練網絡的初始學習率設計為0.02，動量參數設置為0.9，學習率以10倍進行衰減。初始學習率的選擇依據表1的實驗結果。

表1 不同學習率下2D及3D網絡的實驗結果

網絡訓練中，學習率設置過大會導致不易收斂，學習率過小會導致困于局部最值。在本文實驗中，根據表1中的結果可知，當初始學習率取0.02時，可以在不犧牲敏感度和特異度的情況下具有較高的準確率，所以在這個量級中取初始學習率為0.02。正則化系數不宜過大，會阻礙網絡訓練，所以取較小的10E?5 可對過擬合起一定的限制作用，該值的上下波動對實驗結果的影響很小。

該實驗中，分別利用準確率、敏感度和特異度三個指標對模型的性能進行評價。指標的定義如公式（5）所示[17]：

其中，TP表示樣本真實類別及預測結果均為正的樣本數量，TN表示真實類別及預測結果均為負的樣本數量，FP表示真實類別為負，預測為正的樣本數量，FN表示真實類別為正，預測為負的樣本數量。在該實例中，敏感度用來表示類別為浸潤性腺癌的樣本預測正確的比例，特異度用來表示類別為非浸潤性結節的樣本中預測正確的比例。

如圖6所示，為本文模型對測試集上部分肺結節分類錯誤的可視化結果。框選為非浸潤性腺癌結節的三組結節實際病理為非浸潤性，但被診斷為浸潤性結節，對應的百分比為診斷為浸潤性結節的概率。框選為浸潤性腺癌結節的三組結節實際病理為浸潤性結節，但模型對其預測為浸潤性結節的概率很低，所以最終分類結果為非浸潤性結節。圖中，兩組肺結節的相似度很高，浸潤性腺癌中的前兩組結節形狀很規則，且密度值規律，而非浸潤性的幾組結節的形狀不規則，因而導致模型產生誤判。

圖6 模型分類錯誤的部分樣本

五折交叉驗證的結果如圖7所示，分別表示五組實驗的準確率、敏感度和特異度結果。曲線圖中的橫坐標均表示實驗組號，縱坐標分別表示準確率值、敏感度值和特異度值，每幅曲線圖中的三條曲線分別表示單獨用3D 網絡分類的結果、單獨用2D 網絡分類的結果，以及特征融合后的分類結果。圖7（a）展示了三種方法在五組測試集上的準確率結果，2D 網絡在各組中普遍表現較差，平均準確率為0.753，3D 網絡在各組中表現優于2D網絡，平均準確率為0.814，因為3D數據集具有比2D數據集更多的信息，且結節的空間特征對分類結果有比平面特征更強的作用。融合分類結果是結合了2D網絡提取的特征向量和3D 網絡提取的特征向量，所以可以結合空間特征和平面特征得到更好的分類準確率，平均準確率為0.827。圖7（b）展示了三種方法的敏感度結果，在不同組數據集上，2D 網絡和3D 網絡的分類結果沒有明顯的優劣之分，因為敏感度表現為浸潤性腺癌中診斷正確的比例，其原始數據量較小，所以2D 網絡與3D 網絡的分類結果沒有明顯的區別，融合分類在結合空間特征和平面特征后，第4 組實驗中沒有改善，其余組中融合分類的敏感度都有較大的提升。圖7（c）展示了三種方法的特異度結果，2D 網絡的特異度明顯低于3D 網絡，這與準確率上的實驗結果一致，3D 網絡可以學習到更多的信息，通過對不同維度的特征融合可以使得特異度有一定程度的提升。

圖7 五折交叉驗證的準確率、敏感度及特異度

本文對浸潤性腺癌分類的研究基于具有金標準的共1 187 例樣本，且為了對比人工對浸潤性腺癌結節診斷的準確率，在數據集中隨機抽取了20份樣本，由一位具有多年經驗的醫生進行診斷，醫生的診斷準確率為70%。從圖7 可知，本文提出的算法準確率為0.827，敏感度為0.829，特異度為0.826。可見相對于醫生的經驗判斷，本文方法在浸潤性腺癌結節及非浸潤性結節的診斷上誤診率有較大改善。說明本文模型能通過對肺結節圖像信息的學習，獲得好的浸潤性結節診斷能力，具有較高的準確率且不犧牲分類的敏感度和特異度。

4 結論

本文針對浸潤性腺癌小結節的診斷問題提出了基于注意力機制的多維度多特征融合的分類模型，首先對原始CT 圖像進行了肺實質提取，去除胸廓等干擾信息。為了增強模型對肺結節特征的學習，在該模型的輸入設計中，2D肺結節樣本為中心層圖像、LBP特征及輪廓特征的組合，3D 肺結節樣本為連續CT 薄層的組合。根據該數據集樣本量較少，且樣本不平衡的特征，應用傳統數據增強方法及cutmix算法，增強數據集的泛化性能。為了增強網絡學習對肺結節有效特征的能力，在網絡設計中融合注意力機制及殘差學習模塊。網絡訓練者先獨立訓練2D及3D卷積網絡，再提取兩組網絡輸出的特征向量，連接成新的特征向量，用xgboost對特征向量進行再訓練，進一步增強分類器的準確率，使分類器綜合學習結節的空間特征及平面特征，結果證明對不同維度下提取的特征向量進行融合再分類，分類的結果都要優于單獨用2D 網絡或3D 網絡分類的結果，能在準確率、敏感度和特異度方面都能達到較好的水平。該算法在采集自上海胸科醫院的結節直徑為5～20 mm的共340份浸潤性腺癌的結節樣本及1 420份非浸潤性的結節樣本上研究，通過交叉驗證得到分類準確率為82.7%，敏感度為82.9%，特異度為82.6%。本文工作為磨玻璃小結節的亞病理類型分類診斷提供更為實用的診斷算法。