基于全卷積神經網絡的肺纖維化合并肺腫瘤CT圖像的分割方法*

韋明炯，楊創勃，劉雨峰，溫界玉，康彥智，左博，趙宇新

(1.陜西省第二人民醫院， 陜西 西安 710005；2.陜西中醫藥大學， 陜西 西安 712046；3.西安市北方醫院，陜西 西安 710068)

1 引 言

肺癌發病率逐年攀升，且因發病時間短，潛伏時間長，導致通?；颊弑淮_診時已惡化成晚期，存活率小于15%。但如果在早期發現并及時治療，患者的存活率可以提升到40%～70%[1-2]。CT技術的廣泛應用可為醫生在臨床診斷中提供精確的參考依據。但由于肺部構造特殊，CT圖像中血管、組織與肺部病灶交織在一起，不易分辨。因此，需要從CT圖像中準確定位、分割和提取肺部病灶，為臨床醫師提供良好的診斷依據。圖像分割法主要是通過一定的方法和算法將CT圖像分成若干具有相似性的區域。傳統的CT圖像分割方法提取圖像特征較少，分割效果較差，因此，本研究提出一種基于全卷積神經網絡的肺纖維化合并肺腫瘤CT圖像的分割方法。

2 基于全卷積神經網絡的肺纖維化合并肺腫瘤CT圖像的分割研究

2.1 提取肺部圖像ROI

分割肺部CT圖像的主要目的是分類病灶，CT圖像中存在一些不相干的噪聲信息，如果在分割過程中出現差錯，會導致分類結果不準確，造成病情誤判。在肺部纖維化合并肺腫瘤的影像中，肺纖維結節會出現在肺實質的內部，因此，需要先分割肺實質圖像，即不包含胸腔輪廓以及氣管等，完全是雙肺內部區域，再完成對肺纖維結節的疑似區域的分割[3-4]。本研究采用迭代閾值法，可解決CT圖像中明暗對比不明顯、整體圖像偏暗、像素之間差異小等問題。圖像經過膨脹、腐蝕、孔洞填充、開運算、閉運算、掩模運算等操作，最終得到肺實質圖像，見圖1。

圖1 肺實質圖像

取得消除器官的肺實質圖像后，后期的病灶分類主要是針對ROI。因此，需進一步提取ROI，完成肺部CT圖像的增強[5-6]，用迭代閾值法對消除器官的肺實質圖像進行分割，見圖2。

圖2 ROI的提取流程

經過ROI提取，肺實質圖像可以減少數據量和噪聲干擾，完成病灶區域的勾勒，達到圖像預處理的效果。

2.2 改進全卷積神經網絡結構

全卷積神經網絡屬于深度學習算法，是一種平移不變的人工神經網絡。傳統的全卷積神經網絡結構的收斂速度較慢，當目標函數比較復雜時，計算時間較長[7-8]。因此，需要優化全卷積神經網絡，神經網絡結構主要分為卷積層、池化層、全連接層和輸出層。得到的神經網絡主要由卷積操作和下采樣操作[9-11]完成。卷積操作會改變特征圖大小，因此，需要填充操作，以便訪問特征圖中有完整區域的部分。原始輸入16×16的像素圖像，卷積核設置為5×5，經過卷積操作后，輸出的特征圖為12×12，見圖3。

圖3 有效填充示意圖

卷積層上一層的輸入與卷積核進行卷積后完成偏置，可通過激活函數輸出后，構成下一層的特征圖，運算公式為：

(1)

式中，l表示網絡的層數，k代表卷積核，N表示特征圖中的一個選擇，f()表示未激活的函數。下采樣主要包括平均池化、最大池化和隨機池化三種操作。一般在全卷積神經網絡中，第一個采樣層會與第二個卷積層相連[12-13]，但是第二個卷積層不再單一輸入某個特征圖，而是將多個特征圖組合，匯總成為一張圖，作為該層的輸入，而輸出部分對應的仍是一張特征圖，可以說輸出的特征圖是通過卷積核對輸入的多個特征圖求出均值得到的。但是不同的卷積神經網絡對于輸入的特征圖有著不同的選取標準[14-15]。本研究神經網絡的選取規則見表1。

表1 全卷積神經網絡各層特征的選取規則

改進后的全卷積神經網絡連接系統和傳統網絡結構相同。至此完成了基于全卷積神經網絡的肺纖維化合并肺腫瘤CT圖像分割方法的研究。

3 實驗

3.1 搭建測試環境

為驗證本研究基于全卷積神經網絡的肺纖維合并肺腫瘤CT圖像分割方法的有效性，設計了對比實驗。實驗平臺相關參數見表2。

表2 測試平臺參數

訓練本研究分割方法的全局安居神經網絡，見圖4。

圖4 Caffe學習框架的訓練過程

Caffe可以在CUP與GPU之間無縫切換，且其參數能以文本的形式出現，方便圖像的分割操作。在實驗中，從LIDC-IDRI數據庫中選擇CT影像樣本，包含1 000多個病例，每個病例中均包含肺部的橫切面CT圖像，本研究從中選取若干肺纖維化病例合并肺腫瘤的CT圖像。采用全卷積神經網絡結構，通過批量輸入圖像，在卷積網絡中的卷積層膠體運算，最后在全連接的輸出層輸出分割結果。在卷積網絡中各層的特征圖數量以及相關參數，見表3。

表3 全卷積各層特征圖數量以及參數

表3中，C1為卷積層，在其中進行濾波器的卷積運算，輸出激活函數；S2為采樣層，降維處理上一層的輸入數據，即將輸出的特征圖縮小一半；C3、S4為網絡層，C3與C1相似，S4與S2相似，為第二個下采樣層，但此時的特征圖尺寸比較大；C5為卷積層，由48個特征圖構成，其處理方式與C1有一定差異，經過C5處理后，特征圖大小發生改變；S6為下采樣層，C7和S8的原理同上，F9為全連接層，其中包含若干的神經單元，每個神經單元均與上一層全連接。

3.2 設計評價指標

為評價分割方法中對肺纖維結節分割過程的提取效果，需選取一些圖像分割的指標。本研究選擇了醫學影像中常用的分割度量指標：IOU、Dice系數、精準率與召回率，IOU主要表示評估圖像的分割效果，計算公式如下：

(2)

A表示影像分割中，經驗豐富的醫師專家勾畫的肺纖維化結節標簽，也稱為金標準，B表示分割結果。當該值為1時，表示分割結果與金標準完全重合。Dice系數能夠衡量兩個集合的相似程度，計算公式如下：

(3)

當該值為1時，表示分割效果最理想。準確率P的計算公式為：

(4)

TP表示被正確檢測到的肺纖維結節，TP+FP表示所有被預測的肺纖維結節，召回率的計算公式為：

(5)

3.3 實驗結果分析

為了更好地驗證本研究方法的有效性，將其與傳統的直方圖凹形分析法、最小類內方差法和最大熵法進行對比，四種方法在數據集上訓練過程的loss曲線，見圖5。

圖5中，方法1-方法4分別代表直方圖凹形分析法、最小類內方差法、最大熵法和本研究方法?？梢钥闯觯狙芯糠椒白畲箪胤ㄔ谟柧歟pochs為40左右時就基本收斂了，最終的loss值穩定于0.03和0.02。對比本研究方法及最大熵法的loss曲線可以發現，使用改進的全卷積神經網絡的收斂速度得到了提升，并最終收斂于更低的loss值。對比所有網絡訓練的loss曲線可以看出，本研究的圖像分割方法在訓練的過程中收斂速度最快，最終的loss值也最低。幾種方法的圖像分割結果，見圖6。圖6(a)-(f)列分別為輸入的肺纖維化合并腫瘤CT圖像；經驗豐富的醫師專家勾畫的肺纖維化結節標簽；直方圖凹形分析法分割效果；最小類內方差法分割效果；最大熵法分割效果和本研究方法分割效果。

圖5 四種分割方法的訓練loss曲線圖

圖6 不同分割方法的分割效果對比

將圖6中各個CT圖像的評價結果匯總整理取平均值，在以上分割方法中，分割評價指標情況，見表4。

表4 不同分割方法的分割指標統計表

由表4可知，傳統分割方法計算得到的分割指標都比較低，且易出現過分割和漏分割情況。與金標準對比，能反映出分割結果與金標準之間的相似性較低。本研究分割方法的各個分割指標系數均得到了不同程度的提升。說明本研究設計的基于全卷積神經網絡的CT圖像分割方法具有一定的有效性。

4 結束語

本研究將改進的全卷積神經網絡應用于肺纖維化合并肺腫瘤CT圖像的分割訓練中，解決了傳統方法中特征提取不完全導致影像分割不理想的情況。通過提取ROI，并對比四個常用的醫學影像分割度量指標，結果顯示，本研究的分割方法相比三種傳統方法穩定性較好，準確率較高，具有一定的優勢。但也存在一些不足之處，目前訓練的圖像樣本數量較少，后續還需擴充數據庫容量來提高分割準確度。