基于CT征象量化分析的肺結節惡性度分級

陳 皓 段紅柏 郭紫園 強永乾

①(西安郵電大學計算機學院 西安710121)

②(陜西省網絡數據分析與智能處理重點實驗室 西安710121)

③(西安交通大學第一附屬醫院 西安 710061)

1 引言

基于電子計算機斷層掃描技術(Comp uted Tomography,CT)的影像學檢查為肺內結節惡性度早期診斷和監測提供了基礎[1]。正如多個醫學協會的診斷指南中所述[2–4]，肺結節影像的紋理和形態等征象與肺結節的惡性度分化有很大的關系，而鈣化、圓度和邊緣清楚度等征象也有助于評估結節的惡性度。但由于人眼能夠有效識別的灰階信息僅占CT影像所提供信息的很小一部分，且許多小結節是亞厘米結節，同時考慮到醫生水平的差異性，故以人工分析為主的工作模式使得對肺結節的識別分析結果存在著偏差。利用計算機視覺技術輔助醫師高效地獲得肺內結節相關語義征象的量化結果，并根據征象的量化結果對肺結節的惡性度進行分級，不僅能提高醫生的工作效率，同時有助于提高診斷的準確率和可解釋性。

傳統的肺結節惡性度分級方法包括支持向量機(Support Vector Machine,SVM)，K近鄰等方法。如Rodrigues等人[5]通過結構共線矩陣提取肺結節的特征并使用多層感知機、SVM和K近鄰3個分類器進行良惡性分類。Nobrega等人[6]使用樸素貝葉斯、多層感知器、SVM和K近鄰進行良惡性的分類。傳統的惡性度分級方法在結果可解釋性上存在一定的優勢，方便進一步分析分類模型，但在分類性能上并不理想。隨著深度學習技術的發展，卷積神經網絡(Convolution Neural Network,CNN)在肺結節惡性度分類方面被廣泛應用。如Zuo等人[7]提出一種多分辨率CNN從不同深度層中提取不同級別和分辨率的特征構建良惡性分類網絡。Shen等人[8]通過CNN得到不同語義征象的表示形式，然后組合起來用于推斷肺結節良惡性分類結果。Wang等人[9]使用CNN模型中的3種模型對肺結節良惡性分類性能進行比較分析，通過比較發現多通道CNN模型對結節的惡性腫瘤風險的分類能力最好。CNN方法可以做到端到端的學習，但此類方法包含大量參數，需要較大的內存和計算資源開銷。同時深度學習算法屬于“黑盒”，無法進一步理解和分析模型是如何進行分類決策的。近年來一些集成學習方法，如隨機森林(Random Forest,RF)、極端梯度提升(eXtreme Gradient Boosting,XGBoost)和自適應增強(Adaptive Boosting,Ada-Boost)等也得到了較多應用[10]。如Nishio等人[11]使用XGBoost進行肺結節的良惡性分類。吳艇帆等人[12]針對肺腺癌磨玻璃結節患者運用邏輯回歸、人工神經網絡、SVM和AdaBoost等4種經典算法，進行模型性能的分析和比較。集成學習方法相比于傳統的方法在性能上得到了明顯提高，相對CNN方法在對結果進一步解釋分析方面更具優勢，但此類方法的性能與訓練方法及所采用的特征集結構有著直接關系。在特征提取方面?，F有從CT中提取特征的方法大都以影像組學特征為主，主要包括灰度統計特征、紋理特征、形狀特征和三者的組合特征等。如Ferreira等人[13]通過共生矩陣提取紋理特征并從垂直線像素的灰度強度數組中提取邊緣清晰度特征，根據紋理和邊緣清晰度的圖像特征對肺結節進行良惡性分類。Wu等人[14]從形狀、灰度和紋理方面提取特征。通過隨機森林對肺結節良惡性進行分類。Shaukat等人[15]提取了圖像紋理、2D和3D形狀以及強度特征，然后通過兩層前饋神經網絡實現良惡性分類。影像組學特征能夠很好地對圖像中的淺層信息進行量化，并且具有較好的可解釋性。但它不足以表達圖像的全局信息，同時過濾噪聲能力較弱。此外提取影像組學特征時，對包含偽影、空腔和骨頭等結構信息需要進行特殊處理[16]。另一方面CNN作為一個性能優良的特征提取器，能夠很好地提取出圖像全局性的高階特征。常用的CNN特征包括深層卷積特征或淺層卷積特征。如Shi等人[17]采用VGG-16提取肺結節特征，使用SVM分類器進行良惡性分類。Nobrega等人[6]通過使用VGG-16,VGG-9和MobileNet等網絡提取肺結節的深層卷積特征，然后使用樸素貝葉斯、多層感知器、SVM和K近鄰進行良惡性的分類。CNN可以通過多層非線性機制獲得高階抽象特征。但是通過卷積得到的特征圖分辨率較低，且在卷積過程中容易丟失原圖中很多底層的細節信息。上述兩種特征提取方式都有其優勢和局限性，可結合兩種特征提取方法來構造出更全面的特征以表達CT影像的信息。為了提高計算性能，針對集成學習器的生成優化方法也開展了許多研究工作[18]。本文以隨機森林為例進行分析，如Elyan等人[19]將類分解的細粒度隨機森林應用在醫學診斷中。對原始數據集通過K-Means聚類可將n個標簽聚成K×N個標簽，增強數據標簽的多樣性以此來提高隨機森林的性能。雖然在一定程度上提高了隨機森林分類器的性能，但只是通過對數據集的處理來生成更好的決策樹，對于決策樹之間的結構組合并沒有進行深入挖掘。如Miao等人[20]使用改進的隨機森林對心力衰竭患者的死亡率進行預測建模。利用新穎的分裂規則和終止標準，能識別更準確的預測因子以區分幸存者和非幸存者，從而提高隨機森林的性能。Paul等人[21]在構造每個節點的過程中，不斷更新特征的重要性功能列表。并且針對森林中的樹木數量制定了新的理論上限，最終收斂于一組很重要的特征。與傳統的隨機森林相比，該算法在檢測乳腺組織病理的分類準確率上有顯著提高。上述優化方法整體上是一個正向的加法過程，缺乏逆向的反饋過程僅依靠提升單棵決策樹的性能來改進集成學習器的整體準確率，并沒有從整體上考慮不同決策樹組合對性能的影響。

本文實現了對CT征象的量化分析和肺結節惡性度分級計算的方法。主要貢獻包括：(1)為了獲得更豐富的影像信息，提出融合影像組學特征和通過CNN獲得的高階特征共同構造CT征象分析所需的特征集。(2)為了充分利用語義標簽，提出通過進化集成學習方法對7種CT征象進行量化分析。這為肺結節惡性度分級的計算提供了基礎，同時也進一步提高了肺結節惡性度分級結果的可解釋性。(3)使用通過差分進化算法優化的多分類器來提高肺結節惡性度分級的準確率。這種方法具有結構簡單，可解釋性更佳的優點。本文第2節詳細介紹本文所提出的方法；第3節進行實驗及討論；第4節對本文工作進行了總結。

2 本文方法

本文使用7種語義征象開展研究工作，分別為鈣化征象、球形度征象、邊緣征象、分頁征象、毛刺征象、紋理征象和精細度征象。整體思路為：首先，構造信息更為豐富的特征集；其次，針對7種征象，通過以RF為個體的群體進化搜索過程構造不同征象的量化評分器；最后，將7種征象的量化結果作為特征輸入到惡性度分級模型計算分級結果。圖1為此過程的流程圖。

2.1 特征集

為了獲得針對7種征象進行描述所需的更豐富的特征集，本文提出融合影像組學特征和CNN特征來組成特征向量。具體流程如圖2所示。首先，使用自適應閾值對肺結節進行分割，再采用影像組學方法提取肺結節影像的低階特征。其次，訓練7種征象對應的CNN模型，用來提取該征象的CNN高階特征。最后，合并影像組學特征和該征象所對應的CNN高階特征，并通過特征選擇去除合并特征集中的冗余信息。此過程主要分為3個步驟，具體內容如下：

圖1 肺結節惡性度分級流程

圖2 多特征融合流程

步驟1影像組學特征提取。主要從灰度、紋理和幾何形狀3個方面進行提取。對于灰度方面，根據直方圖提取圖像的最大值、最小值、均值、方差、偏度、峰度、直方圖熵、能量、標準差、中值和均方根共11維特征。對于紋理方面，采用灰度共生矩陣在(0°,45°,90°,135°)上提取紋理能、紋理熵、對比度、相關性、差異性、紋理熵、同質性、協方差、紋理均值和逆差分矩共40維特征。對于幾何形狀方面，提取直徑、橢圓的長短軸比例、離心率、周長、面積、緊湊度和矩形度共7維特征。

步驟2 CNN特征提取。圖2中給出了提取CNN特征所使用的卷積神經網絡結構。主要有2個卷積層、2個池化層以及1個最終輸出特征的全連接層。卷積核大小分別為32×3×3,64×3×3。池化層大小分別為32×2×2,64×2×2。全連接層大小為1×200。在訓練模型時增加丟棄率為0.5的dropout層以及softmax層。并設置迭代次數為1000次，batch-size為44，使用Adam優化器，其中Adam的學習率取0.0001，損失函數為cross_entropy。通過訓練每種征象的分類準確率都可達到85%以上，最后從全連接層提取到200維的CNN特征。

步驟3特征融合。將58維的影像組學特征和每種征象的200維CNN特征進行合并，對合并后258維的特征通過特征重要性排名，并設置閾值進行特征選擇，輸出該征象的最終特征集。

2.2 基于進化集成學習的CT征象量化

基于前述特征集，可利用集成學習過程構造不同CT征象的分類器以實現量化計算。隨機森林是一種典型的bagging算法，是隨機子空間與bootstrap兩種算法的結合。根據大數定理的證明隨著決策樹的不斷增加，最終隨機森林的性能會趨于穩定。在決策樹構造過程中采用兩個隨機過程，數據集有放回的隨機采樣以及構造每個決策樹子節點特征向量的隨機采樣。隨機過程的引入保證了整個隨機森林中決策樹的多樣性，但會導致隨機森林中存在冗余和性能低的決策樹。而隨機森林的最終結果是通過投票結果得到的，以此可以看出最終的結果與每棵性能樹以及組合樹之間的組合有著明顯關系。但是bagging方法計算性能的提升是以系統復雜度的增大為代價的。這導致集成分類器的準確率與復雜度之間產生了一個很難調和的矛盾。能否在提高集成學習器準確率的同時優化其組成結構，從而降低模型的復雜度呢？實現思路為利用遺傳規劃算法(Genetic Programming,GP)的進化搜索過程來生成并優化集成學習器。流程圖如圖3所示。以下是進化集成學習器的具體步驟：

步驟1初始化種群。種群由 NP個隨機生成的個體 構 成，表示 為pop={RF1,RF2,···,RFNP},j=1,2,···,NP。其中 NP為 種群規模，R Fj為 t n個決策樹的組合， tn為可變參數。為了增加種群的多樣性，每次有放回地隨機采樣40%的數據集作為個體初始化的數據集，設置當前迭代數值g en=0。

圖3 基于進化搜索構造集成學習器的流程

2.3 惡性度分級器

softmax回歸模型是一種簡單有效的多分類器，可作為惡性度分級計算的工具。為了保證惡性度分級計算的準確率，使用基于差分進化算法(Differential Evolution,DE)的強化學習過程對softmax模型進行優化學習。softmax多元模型可表示為

3 實驗

LIDC-IDRI數據集由1018個病例組成，每個病例包含了4位醫生對每個3 mm以上肺結節的坐標以及7種CT征象和惡性度的語義描述評分。4位醫生的年資不同，導致對每個結節的標注信息存在差異性。本文將每個結節中4位醫生標注的坐標求均值作為該結節的中心坐標，將4位醫生對每個CT征象語義和惡性度評分求眾數作為CT征象和惡性度的最終評分。最終提取大小為30×30像素的2000個肺結節影像樣本作為本文的實驗數據。由于鈣化征象的評分的差異性較大，故本文將此征象的1～5分合成一類進行二分類實驗。實驗所采用的實驗環境為：Inter?Core(i5)處理器2.3 GHz CPU 8 GB RAM，實驗所有的代碼使用Python3.6實現，實驗中搭建CNN模型時使用Keras2.2.2框架。對于進化集成學習器的參數設置如下：迭代次數 NG為500，種群規模 NP為200，交叉率Pc為0.6，變異率Pm為0.4，控制兩種變異策略的概率Pms為0.5，均勻交叉概率Pcs為0.5。對于DE優化softmax模型時，參數設置如下：迭代次數為500，交叉率CR為0.3，縮放因子F為0.5。

3.1 評價指標

本文采用準確率(ACC)、精確率(Pre)、召回率(Rec)和F1-Score作為評價指標，通過五折交叉驗證對CT征象的量化結果及惡性度分級進行評估。ACC的計算方法見式(1)，其他3個指標的計算公式為

其中，Pre是指實際為正的樣本占被預測為正的樣本的比例。Rec是指實際為正的樣本中被預測為正的樣本占實際為正的樣本的比例。F1-Score為Pre和Rec的調和平均數，可用來檢測模型的穩健性。

3.2 實驗統計結果

3.2.1 7種CT征象的特征集結構

表1為對7種CT征象在進行特征選擇時選取的閾值及所對應的特征數量。采用嵌入式特征選擇方法，根據隨機森林的特征重要性排名在不降低準確率的情況下設置閾值進行篩選。從表1中可以看出不同的語義征象選取的閾值不同，對應的有效計算機特征數量也不同。說明不同語義征象在影像中的表現形式不同，所對應的計算機特征存在差異性。

3.2.2計算精度

表2為7種CT征象量化和惡性度分級在4個指標上的實驗統計結果。由表2可得到7種CT征象量化的準確率在0.9642～0.9844，平均ACC為0.9733，平均Pre為0.9673，平均Rec為0.9628，平均F1為0.9655。肺結節惡性度分級的ACC為0.8618,Pre為0.8678,Rec為0.8617,F1為0.8627。

表1 不同征象的有效特征

3.2.3可解釋性價值

表3為優化后的惡性度分級模型的參數值，可以看出將每種CT征象的量化結果作為惡性度分級特征時，每種征象的量化結果與最終惡性度分級結果之間的映射關系，從而可以進一步理解和分析每種CT征象對惡性度分級結果的影響。從表3可以看出球形度評分對惡性度1級的影響較大，紋理征評分對于惡性度2級的影響相對較大，鈣化征評分對惡性度3級時的影響相對較大，邊緣評分對于惡性度4級的影響相對較大，精細度評分對惡性度5級的影響較大。

3.3 實驗對比

3.3.1征象量化結果對比

為了驗證本文提出的進化集成學習方法的有效性，選取了RF，極端隨機樹(Extremely randomized Trees,ET),AdaBoost,XGBoost和梯度提升樹(Gradient Boosting Decision Tree,GBDT)共5種典型算法進行實驗對比。對比算法采用sklearn算法包實現，使用網格搜索法對于決策樹個數參數進行優化，其他的參數均為默認參數。表4給出了7種征象在不同集成學習器上的量化結果對比。圖4給出了紋理征象的進化集成學習器在優化過程中最優個體的ACC及子樹數量的變化曲線。

從表4中可以發現ET的性能在3個對比算法中表現最好，XGBoost相對RF在性能上有一定的提高。本文方法相對ET,ACC平均提高0.021,F1指標平均提高0.016。對比XGBoost,ACC平均提高0.028,F1指標平均提高0.020。對比RF,ACC平均提高0.023，F1指標平均提高0.014。在樹個數方面可以看出本文方法產生的分類器所需的決策樹個數最少，比RF平均降低了65%，比XGBoost平均降低72%，比ET平均降低39%。

表2 惡性度分級和CT征象量化的精度

表3 惡性度分級模型的權重系數

表4 不同集成學習器的量化計算結果對比

圖4 進化集成學習器的優化過程

從圖4中可以明顯看出最優個體的ACC為0.972，子樹數量穩定為70。顯然，相較于傳統的集成學習方法，本文提出的進化集成學習方法不但可提高集成分類器的性能，還可在進化過程中不斷優化自身的結構，以降低分類器的復雜度。

本文還與近幾年文獻中所提出的4種主要基于CNN的方法進行了對比。文獻[11]通過CNN學習到不同CT征象的表示形式，然后組合起來用于推斷肺結節良惡性分類結果。文獻[22]提出一種多階轉移學習法來評估肺結節的分級性能，通過構建每個CT語義的神經網絡來提取特征。將每個特征作為輸入用來探索哪些屬性可以支持惡性腫瘤診斷。文獻[23]通過提取影像組學特征并進行特征選擇得到7個CT征象和惡性度的特征集，然后對其進行分類。文獻[24]訓練多個CT征象的CNN模型，再將征象的計算結果放入網絡中進行惡性度分類。表5給出了上述文獻方法與本文方法的征象量化及惡性度分級結果的ACC指標對比。

從表5中可以看出本文的惡性度分級準確率略低于文獻[24]，但明顯好于其他3種算法，而對7種CT征象的評分結果則都好于文獻[24]。這說明本文提出的基于進化集成學習的CT征象量化方法是有效的，而基于softmax模型的惡性度分級方法的準確率并不理想。但是，通過softmax模型可計算7種CT征象與5級惡性度之間的權重關系，在結果的可理解性方面相對于CNN方法具有明顯優勢。另一方面，文獻[23]在特征提取方面只提取了影像組學特征，因此其精度不如本文方法。可見使用CNN特征加影像組學特征的特征集構造方法能夠更全面地反映CT影像中的信息。

3.3.2不同結構特征集的對比分析

為了說明影像組學特征和CNN特征融合的有效性，以紋理征象為例來討論特征集的聚類分析效果。因為紋理征象分值為1～5分，所以將其聚成5類。首先分別對影像組學特征和CNN特征以及融合特征3組不同結構的特征集進行聚類計算，對聚類效果采用互信息、均一性、同質性和完整性的調和平均值(v-measure)進行評價。這3個指標用來衡量聚類產生的類別與真實標簽之間的關系，指標越大表明聚類效果越好。

從圖5中可以看出融合后的特征相對2個單一結構特征的不同類簇之間的邊界更清晰，同時對同一類簇內的內聚性效果更好。從表6也可以看出融合后的特征在3個指標上的結果都更佳，這也說明了融合特征的有效性。

4 結束語

本文提出了一種基于語義標簽的惡性度分級方法。為了驗證此方法，在LIDC-IDRI數據集上進行測試，同時與多種典型算法以及近幾年相關文獻中提出的CNN方法進行了對比。結果顯示，本文方法具有較高的準確率，同時更有利于提高計算結果的可解釋性。在討論中分析了本文所采用的特征融合方法的有效性。

表5 相關文獻的量化結果對比

圖5 不同特征集合的聚類結果可視化對比

表6 不同特征集合的聚類結果對比