基于改進深度卷積對抗生成網絡的肺結節良惡性分類

李 莉,張浩洋,喬 璐

(東北林業大學 軟件工程系,哈爾濱 150000)

0 概述

肺癌的前期表現形式為形狀大小不同的肺結節,對肺結節準確檢測判斷影響肺癌的治愈概率,而肺結節計算機輔助判斷能夠對CT圖像中的結節進行檢測、分割以及判斷,可以提高早期患者的存活率[1]。因此,如何通過計算機輔助工具對肺結節良惡性進行準確的識別和判斷,成為提高病患生存概率的關鍵,對于治愈肺癌有著重要的意義。

肺部CT影像計算機輔助判斷系統的系統性能評價指標,主要體現在對于早期肺結節的檢測與分類能力的準確性以及處理效率等[2-3]。而相同數據下網絡模型的優劣與否所采用的一般都是開源數據庫,如最大的開源肺部CT影像數據集LIDC-IDRI[4]。LIDC-IDRI數據庫中的CT圖像,對于患者肺結節的位置和良惡性級別指標有著明確的信息,可為訓練模型的特征量化過程提供科學的依據[5]。

常見的計算機輔助工具流程是通過模型的構建以及數據的訓練,能夠得到準確的肺結節檢測鑒別結果的工具,幫助影像醫師利用科學工具對臨床實例產生更加精確的判斷[6]。在肺結節良惡性輔助判斷領域,由訓練集進行網絡模型訓練,測試集與原始樣本集的對照結果表明模型的效率和精確度,最終完成分類。目前,比較常用的分類方法包括C-均值分類器、支持向量機(SVM)分類器以及隨機森林(Random Forest)分類器等[7]。文獻[8]使用深度置信網絡,通過DBN模型的微調整使得良惡性識別率達到了86%,但是DBN模型使用的SVM分類器對復雜等級分類和高噪聲影響的數據處理效果較差。文獻[9]使用模糊C均值(FCM)方法對原始數據集進行特征聚類,最終敏感率達到87.58%,但是FCM的缺點是特征提取能力不如卷積神經網絡(CNN)。文獻[10]在卷積神經網絡中,從肺結節空間三維角度方面進行考慮,著重對難分辨和小目標圖像進行特征提取和學習訓練,最終準確率達到89.93%,但是針對肺結節特征的提取而言,CNN雖然對圖像的特征提取以及學習能力較強,但是需要大量符合訓練要求的肺結節各等級樣本。而良惡性結節數量的不平衡給惡性結節圖像特征的提取帶來了困難,從而使得神經網絡提取特征難度大幅增加[11-12]。而生成對抗網絡的提出,能夠以原始圖像和隨機噪聲為輸入,產生與原始圖像相似的圖像。然而,由于GAN網絡的不穩定和自由性將會導致輸出的不理想、不穩定性以及系統崩潰等問題的產生。

通過以上分析,本文提出一種基于改進DCGAN模型與半監督FCM結合的SFDG(Semi-supervised Fuzzy C Means Deep Convolutional Generative Adversarial Network)肺結節良惡性分類方法。在肺結節良惡性分類時建立學習率加速策略,同時使用Adam替代隨機梯度下降方法優化網絡的參數,在生成樣本檢測模塊,運用半監督FCM聚類與CNN網絡相結合的方法,將原始各等級圖像作為聚類中心點對生成圖像集進行聚類,輔助判別器網絡對聚類結果、原始圖像以及生成圖像做判斷,以便于調整網絡參數權值,最終訓練出模型。

1 相關技術

1.1 深度卷積生成對抗網絡

在整個肺結節良惡性識別過程中,良惡性結節的圖像特征提取對最后訓練出的網絡模型進行分類的準確率有著關鍵的影響[13-14],而卷積神經網絡對圖像特征具有強大的提取能力和泛化能力,其局部感知和權值共享特性大幅減少網絡參數的設置,降低了網絡模型的復雜性,同時又提高了解決過擬合問題的能力[15-16]。DCGAN模型的核心思想為博弈達到納什平衡,即判別器和生成器都達到較好的結果。生成器網絡G的目的是生成盡可能接近真實圖像特征紋理的圖像,提高自己的生成能力且降低判別器的判別能力,而判別器網絡判斷輸入圖像來源以及具體等級。生成器網絡以隨機噪聲Z和圖像類別C為輸入來輸出產生類似圖像G(Z)。判別器網絡則以類似圖像G(Z)和真實樣本X進行輸入,輸出判斷圖像的真假。

相對于傳統的卷積神經網絡[17],深度卷積生成對抗網絡進行如下改變來保證樣本的質量以及收斂速度:

1)在生成器網絡的上采樣過程中采用轉置卷積操作,判別器網絡將池化層轉化成步幅卷積操作。

2)在生成判別網絡中除輸入層外使用BN進行穩定的批處理學習,可以避免因為少數初始化不良而造成的訓練崩潰問題。

3)取消傳統CNN全連接隱藏層,生成網絡中除輸出層的Tanh函數外都使用Relu激活函數,而判別網絡激活函數采用LeakyRelu函數。

生成網絡D的損失函數如式(1)所示:

(1)

判別網絡G的損失函數如式(2)所示:

(2)

其中,x為真實圖片,D(x)為當前圖片是真實圖片的概率,z為隨機噪聲,G(z)為將隨機噪聲送入模型生成出的假圖像,D(G(z))為判別器網絡判定當前圖像為假圖像的概率。由于生成器網絡的目標為盡可能使得生成圖像接近原始真實紋理圖像,所以損失函數設置為1-D(G(z))來保證判別器輸出假圖像概率盡可能小。而判別器網絡優化目標是提高判斷真實圖像的能力,因此,D(x)越大越好,同時希望噪聲影響越小越好,則損失函數設置為D(x)+1-D(G(z))。

生成器網絡結構如圖1所示,輸入為接受隨機噪聲z,輸出為圖像G(z)。整個網絡上采樣主要采用反卷積算法,反卷積過程如圖2所示。首先生成器網絡模型輸入一個隨機噪聲,通過全連接層轉化為特征映射后,通過上采樣方法經過反卷積層最終形成和真實圖像具有相似特征的圖像,其中每一層都使用批標準化處理[18]。判別器網絡為傳統的卷積神經網絡,將輸入的圖像與原始圖像進行對比,經過特征提取和卷積運算等操作后,最終經過softmax函數輸出概率,設定閾值來決定相應的輸出[19]。

圖1 生成器網絡結構Fig.1 Generator network structure

圖2 反卷積過程示意圖Fig.2 Schematic diagram of deconvolution process

1.2 半監督FCM聚類

FCM算法是一種將未進行劃分的、無序無標簽的數據進行合理劃分的聚類算法,它把所有數據的特征進行提取和比對,將具有相同特征或相似度的數據劃分到同一種類中,同時保證不同種類之間的差別盡可能大,即相似度最小。

半監督聚類方法是通過部分已有標簽樣本,來引導整個聚類迭代優化的過程,屬于半監督學習。每個模型的樣本信息輸入對于聚類效果的影響是直接的,用戶的輸入包括標簽和限制條件,在實際應用中,成對限制條件容易得到,即分到一類中和不能分到一類中[20]。在半監督FCM算法中,當輸入的信息為帶有標簽的樣本時,算法可以將原來的無監督聚類轉化為標簽樣本進行迭代訓練處理。

2 肺結節良惡性分類

2.1 模型適用度分析

為解決肺結節良惡性識別中樣本之間比例不平衡的問題,同時利用卷積神經網絡的特征學習能力以及GAN生成圖像的能力,在訓練過程中達到預防GAN訓練不穩定的目的,因此在分類的過程中,引入DCGAN網絡與半監督FCM算法相結合的模型。

改進DCGAN模型分析如下:

1)生成網絡產出的符合特征要求的圖像,經過圖像的翻轉、增強,并加入到訓練樣本中,可解決良惡性樣本失衡的問題。

2)通過對生成器圖像來源判斷過程進行改進,將原始的輸入變為各種類別的真實圖像與生成圖像,輸出為fake或者當前圖像屬于真實圖像中的哪一種。

3)在訓練迭代的前期,考慮到隨機噪聲對生成器網絡的影響以及生成、判別器網絡能力失衡,引入半監督FCM聚類方法,將生成圖像提取特征后,輔助卷積神經網絡進行判斷以及參數反饋,優化損失函數,使得整體網絡模型具有更好的魯棒性。

2.2 改進的DCGAN框架

針對肺結節良惡性分類中目前出現的問題,對現有的DCGAN框架進行改進并應用到肺結節良惡性分類中,改進方法如下:

1)改變整體框架,將數據來源分類為原來的real和fake,輸出結果變為真實圖像等級分類realc=1～5以及fake。

2)改變原始框架,訓練迭代優化中使用的隨機梯度下降方法,通過Adam方法為不同的參數設計自適應的學習率,解決DCGAN網絡中噪聲高的問題。

3)在判別器網絡判別損失函數設計中,針對前期隨機噪聲較大的問題,引入半監督FCM聚類方法,對于輸入到判別器中的未標注類別圖像與原始圖像集進行特征提取且聚類,在損失函數中加入FCM聚類方法,對圖像類別進行判定并進行加權設置,計算出良惡性分類準確率最高的設定。

改進后的網絡框架包括生成器網絡G以及判別器網絡D,在生成器網絡中輸入隨機噪聲z和類別后,模型輸出為生成圖像G(z)。判別器網絡輸入為包含類別等級的真實圖像X以及生成圖像G(z),輸出結果為判定結果圖像等級結果或fake。具體框架對比如圖3～圖6所示。

圖3 原始框架示意圖Fig.3 Schematic diagram of original framework

圖4 改進后框架示意圖Fig.4 Schematic diagram of improved framework

圖5 改進前判別流程示意圖Fig.5 Schematic diagram of discrimination processbefore improvement

圖6 改進后判別流程示意圖Fig.6 Schematic diagram of improveddiscrimination process

2.3 特征提取

半監督FCM聚類算法在肺結節良惡性分類中主要應用于特征提取和相關量化。LIDC數據庫的XML文件中提供肺結節的各類屬性,其中肺結節的分葉征和毛刺征程度等能直接體現肺結節的惡性程度,對于提高準確率有較大意義。

對輸入圖像進行讀入后,計算圖像的灰度方差、似圓度、邊界的粗糙度和緊湊度、徑向均值等,計算后的值能體現出分葉征和毛刺征等信息,完成特征提取的目的,從而輔助判斷肺結節良惡性程度。

1)灰度方差。通過圖像的灰度均值以及橫縱像素數來計算圖像區域的灰度方差,其中mean為灰度均值。灰度方差計算公式如下:

2)似圓度。似圓度是計算一個圖形類似于圓的程度,可以對肺結節良惡性的判斷提供部分參考,其中A表示結節的面積,p表示周長。似圓度計算公式如下:

3)邊界粗糙度。邊界粗糙度通過徑向距離分解若干小段,根據公式計算每一段的R(j)值,得到均值后可以體現出整個圖像的粗糙度,在肺結節中體現為毛刺特征等病理特征。邊界粗糙度計算公式如下:

4)緊湊度。緊湊度可通過內切圓與外切圓的比值反映出肺結節球型度以及其分葉征,對肺結節良惡性判斷起輔助作用。緊湊度計算公式如下:

5)徑向取值。徑向取值統計肺結節圖像邊界上像素點到質心距離的均值與方差,在一定程度上反映結節的分葉征。

特征信息示意圖如圖7所示。

圖7 特征信息示意圖Fig.7 Schematic diagram of feature information

2.4 改進DCGAN網絡的肺結節良惡性分類

特征提取計算完成后,與有標簽的原始圖像各特征進行聚類分析,判斷當前圖像各類特征與原始圖像特征距離計算后所屬類別的標簽。將半監督FCM聚類算法應用到肺結節良惡性識別上,計算原始圖像聚類中心與輸入未標簽圖像之間的距離,未標簽圖像與每個類別距離進行比較排序,取最高概率值所在的類別標簽作為當前預測標簽。這樣通過距離最近的樣本類別,可以根據判別器網絡對輸入圖像進行判斷時計算出一個參考度,使未標記的肺結節樣本能準確聚類到已標記的樣本中。

在完成判別器網絡對結節的等級分類判斷過程中,除考慮圖像的來源分類以及肺結節類別的損失函數外,還需對非標記樣本的特征進行提取計算,根據半監督FCM聚類方法對已標注數據集進行相應聚類預測。通過聚類預測與實際圖像所屬類別之間的差距設定損失函數值,在判別器網絡損失函數的設定中,包括來源分類、卷積神經網絡對肺結節圖像判定的等級分類和聚類方法的損失判定。

由于訓練集中包含有標簽樣本Xl以及無標簽樣本Xu,生成器產生的樣本為If。判別器網絡接受樣本后,對于肺結節K分類問題(本文K=5),給出K+1個預測估計概率。

對已有肺結節標簽的樣本,考慮模型預測的標簽是否正確,計算分類相應的概率:

Llabel=-ln[p(y|x,y

對于肺結節訓練集中的無標簽樣本,將模型預測考慮為是否為真實圖像,即計算不估計為K+1類的概率:

Lunabel=-ln[1-p(K+1|x)]=

對于生成器產生的肺結節圖像,模型預測考慮是否為假圖像,即計算估計為K+1類的概率:

判別器網絡優化目標為:

提取計算完成后,與有標簽的原始圖像各特征進行聚類分析,判斷當前圖像各類特征與原始圖像特征距離計算后所屬類別的標簽。改進后的DCGAN肺結節良惡性模型流程如圖8所示。

圖8 DCGAN肺結節良惡性分類模型流程Fig.8 Procedure of benign and malignant pulmonarynodules of DCGAN

3 實驗結果與分析

LIDC數據庫中對于肺結節良惡性等級評定為1級～5級,分別為良性、疑似良性、未知、疑似惡性、惡性共5種。本文從LIDC數據集中提取5 812個經過預處理后64像素×64像素的肺結節圖像,且等級1～5的結節個數分別為277個、1 030個、1 416個、1 231個和1 858個,其中使用80%的結節圖像作為訓練集,剩余的20%作為測試集。

3.1 評價標準

本次實驗采用表1中的肺結節檢測評價標準,主要包括標準定義靈敏度(SEN)、特異度(SPE)和準確率(ACC)3個指標。

表1 肺結節檢測評價標準Table 1 Lung nodule detection and evaluation criteria

3個指標計算公式如下:

其中,SEN表示正確預測為惡性結節的概率,SPE表示正確預測為良性結節的概率,ACC表示整體模型的綜合判別能力。

3.2 肺結節良惡性分類

本文實驗所使用的改進后DCGAN網絡與半監督FCM算法相結合的良惡性分類模型,首先將輸入圖像的肺結節良惡性類別進行預測,然后對分類等級結果小于3和大于等于3的數據進行統計,最后將等級標簽小于3的結節作為良性結節,等級標簽大于等于3的作為惡性結節進行統計量化。從表2可以看出,改進后的模型D對肺結節良惡性具有良好的分類效果。

表2 改進模型D網絡對良惡性的分類Table 2 Improved model D network for classification ofbenign and malignant

在保持相同實驗的條件下,本文將當前經典的相關方法與改進后模型實驗結果相比較,結果如表3所示,無論是從靈敏度、特異度和準確率,都具有比其他方法更高的性能。因此在改進DCGAN網絡框架與半監督FCM聚類結合后的模型中,判別器網絡對于肺結節良惡性分類具有良好的判別能力,且準確率達到90.96%。

表3 本文算法與傳統算法對肺結節良惡性分類比較Table 3 Comparison of benign and malignant classificationof pulmonary nodules with the proposed algorithm andtraditional algorithms %

3.3 實驗對比分析

與傳統DCGAN網絡應用到肺結節良惡性識別相比,本文提出的SFDG模型有以下優點:

1)在傳統DCGAN網絡的迭代訓練過程中,使用調整參數及更新權重從而優化損失函數的方法為隨機梯度下降法,雖然該方法能夠快速更新參數并不斷發現損失函數局部最優值,但是大幅的波動無法準確地給出損失函數的極值。而本文SFDG模型采用的是Adam算法,能夠設定使得各參數自適應的學習率,從實際效果來看,自適應方法相對于傳統的SGD方法解決了其收斂過慢以及參數更新時損失函數波動較大的問題,從而使得訓練中最佳的優化器保證了模型的優良性能。

2)在傳統DCGAN網絡中,由于生成器網絡的輸入為隨機噪聲,生成的肺結節圖像與原始樣本差距過大,這就使得在訓練前期生成網絡和判別器網絡的能力對比差距過大,需要較長時間的訓練以及參數調整。而本文引入的半監督FCM聚類方法,解決了前期生成網絡只依靠隨機噪聲和等級類別生成圖像的現狀,使得生成網絡在生成圖像時有更好的樣本聚類特征參數參考,可生成更高質量的訓練圖像。

3)引入FCM算法后,判別器網絡在最終對輸入圖像進行識別時,在依靠卷積神經網絡以及特征聚類輔助識別的情況下,使得判別器具有高效的識別準確率。

4)與傳統卷積神經網絡相比,改進后的DCGAN網絡能夠通過聚類分析以及生成的圖像提供具有高質量的肺結節訓練樣本,解決傳統CNN網絡中符合訓練要求樣本較少的問題。

本文模型與傳統DCGAN模型及半監督FCM的收斂速度和準確率對比結果如圖9、圖10所示。在準確率和收斂速度上,本文SFDG模型具有明顯的優勢,實驗結果表明,在迭代50 000次后,本文模型具有良好的性能。

圖9 本文模型與傳統DCGAN模型收斂速度對比結果Fig.9 Comparison results of convergence speed betweenthe proposed model and the traditional DCGAN model

圖10 本文模型與傳統模型準確率對比結果Fig.10 Comparison results of accuracy between themodel proposed and traditional model

通過以上分析,本文提出模型利用DCGAN網絡對圖像的生成能力、卷積神經網絡對特征提取的能力以及半監督FCM的聚類來輔助提高判別能力。實驗結果表明,SFDG模型的準確率達到90%以上,且具有良好的魯棒性,改進后的網絡模型具有較好的肺結節分類能力,且靈敏度達91.45%、特異度達89.27%、準確率達90.96%。

4 結束語

本文采用改進DCGAN框架與半監督FCM算法相結合的模型,將原始DCGAN框架的圖像來源問題改進為肺結節良惡性等級劃分問題,優化了原始目標函數,在判別器網絡D中對輸入圖像進行卷積計算判別預測的過程中,通過半監督FCM聚類算法分析輸入圖像特征并與原始各等級圖像進行比對,完成聚類預測后輔助判別器網絡進行判斷,最終迭代訓練后得到具有較強肺結節良惡性分類的網絡模型,且準確率達90.96%。本文方法主要針對孤立性肺結節的良惡性判斷,且輸入輸出的圖像均為二維圖像,提高粘連性結節的識別準確率以及對三維圖像數據的處理,仍需要進一步的研究。