基于神經網絡的直腸癌CT圖像自動分割和分類

肖波，朱旭東，魏華江，魏波，陳同生,3

1. 華南師范大學生物光子學研究院 a. 教育部激光生命科學重點實驗室；b. 廣東省激光生命科學重點實驗室，廣東 廣州 510631；2. 中山大學第三附屬醫院 胃腸外科，廣東 廣州 510630；3. 華南師大（清遠）科技創新研究院有限公司，廣東 清遠 511517

引言

直腸癌是指從齒狀線至直腸乙狀結腸交界處之間產生的癌變，是臨床常見的惡性腫瘤，屬于一種消化系統惡性腫瘤，具有較高的發病率和死亡率[1]。相關數據顯示，世界各國每年新發直腸癌患者數量超過120萬，其中死亡患者將近60萬，死亡率接近50%[2]。術前準確T分期是臨床治療直腸癌的前提和基礎。目前，臨床對于直腸癌術前分期的判定，主要是通過影像學檢查實現，其中CT掃描速度快、操作簡單，但是由于難以分辨直腸壁層次結構，導致術前T分期診斷準確性受到一定的影響，因而符合率相對偏低。且直腸腫瘤的分割主要依賴放射科醫生手動勾畫，這種方法不僅主觀性強且耗時費力[3]。所以準確且快速地在直腸癌CT圖像中分割出腫瘤和確定其T分期對直腸癌臨床治療是非常有幫助的。

過去對直腸癌T分期大多是基于圖像的紋理特征[4-6]。基于深度卷積神經網絡的醫學圖像處理方法不同于影像學檢查，其構建的模型可以自動學習提取和選擇圖像特征并進行預測，從而能更全面、深入地挖掘圖像中的信息[7]。如Shelhamer等[8]2015年提出全卷積網絡（Fully Convolution Network，FCN），實現了從端到端的圖像分割，將圖像級分類提升到像素級分類。Ronneberger等[9]2015年在全卷積網絡的基礎上提出U-Net網絡，它是一個完全對稱的U型結構且采用維度拼接的方式進行特征融合，在醫學圖像分割上應用廣泛[10-12]。Badrinarayanan等[13]2017年在全卷積網絡的基礎上提出了SegNet網絡，主要在網絡的編碼和解碼上做出了改進。分類網絡中Krizhevsky等[14]提出的AlexNet模型在同年舉辦的圖像分類競賽中獲得冠軍，此后，更多的更深更寬的神經網絡被提出[15-16]。Szegedy等[17]提出的InceptionV1模型在2015年ILSVRC比賽分類任務上以93.3%的正確率獲得該屆比賽的冠軍，后改進模型提出InceptionV3[18]。這些分類器模型在醫學圖像分類上都取得了很好的效果[19-20]。

放射科醫生主要根據直腸和腫瘤的相對位置來確定直腸癌腫瘤T分期，因此本研究先利用深度卷積神經網絡模型單獨分割直腸和腫瘤區域，再根據分割的結果進行分類，最終得出不同深度卷積神經網絡模型在直腸癌CT圖像上腫瘤分割和腫瘤T分期的情況，判斷能否為直腸癌臨床診斷中治療方案的制定提供有價值的參考信息。

1 材料與方法

1.1 數據集的獲取

本研究獲取了2010年3月至2019年7月廣州市中山大學附屬第三醫院收治的763例直腸癌患者的臨床資料。每位患者的CT圖像中均包含動脈期、靜脈期、平掃期和延時期4個掃描時期的圖像。在醫生的指導下從240名患者的4個掃描時期中各挑選一張較為典型和清晰的圖像共960張作為數據集，由放射科醫生標注出直腸和腫瘤區域，所有患者的直腸癌腫瘤T分期均有病理診斷結果。圖1為放射科醫生標注后的直腸癌CT圖。

圖1 放射科醫生的標注結果

1.2 網絡模型

本研究用到的網絡模型包括分割模型和分類模型。分割模型采用FCN、U-Net、SegNet作為基礎網絡構架，通過網絡中間層得到包含多尺度信息的特征圖。FCN全卷積網絡中無全連接層，可以輸出與輸入圖像相同的尺寸。其中FCN分割網絡下采樣過程中直腸癌圖像經過5個卷積層和5個最大池化層得到特征圖pool5，FCN-32s網絡為直接用pool5預測分割區域。將pool5經過反卷積得到特征圖pool6，FCN-16s網絡為用pool6與pool4疊加的特征圖預測分割區域。pool6與pool4疊加后的特征圖經過反卷積得到特征圖pool7，使用的FCN-8s網絡為用pool7與pool3疊加的特征圖預測分割區域。利用U-Net分割網絡分割直腸癌CT圖像，其中下采樣過程中直腸癌圖像經過5個卷積層和5個最大池化層；上采樣過程中圖像經過5個反卷積層，且每層得到的特征圖與下采樣過程中對應的特征圖拼接融合，最終分割出目標區域。SegNet分割模型與U-Net模型基本類似，僅在下采樣最大池化操作時記錄各個位置并在上采樣時將記錄的位置反饋回去得到更加準確的特征圖。分類模型采用簡單CNN、AlexNet和InceptionV3。作為基礎網絡構架。簡單CNN模型分類器包含3個卷積層，2個池化層和2個全連接層。網絡使用3×3的卷積核以及用線性激活函數ReLU激活，學習率設為0.01、迭代次數為100次。

1.3 圖像分割和分類流程

本研究采用目前應用廣泛的深度卷積神經網絡模型對直腸癌CT圖像進行分割和T分期研究，處理流程如圖2所示。將訓練集中所有標注后的CT圖像的直腸模板圖和腫瘤模板圖分割出來；將無標注的原圖和腫瘤模板圖輸入腫瘤分割網絡進行訓練；將無標注的原圖和直腸模板圖輸入直腸分割網絡進行訓練；將測試集中的圖像分別輸入訓練好的腫瘤分割網絡和直腸分割網絡，分別得到腫瘤和直腸的模板圖；與標注的腫瘤區域和直腸區域對比得出評估指標Dice、精確度和召回率。分類中首先不用分割網絡將訓練集中原圖直接輸入分類器訓練分類網絡、測試集中圖像直接輸入訓練好的分類器網絡得出分類結果，與病理結果對比得出分類的準確率、特異性和靈敏度。配合分割網絡一起使用時，將訓練集中原圖、腫瘤模板圖以及直腸模板圖共同輸入分類器訓練分類網絡，然后先將測試集中的圖像輸入腫瘤分割網絡和直腸分割網絡得到腫瘤和直腸的模板圖，再將原圖和分割的模板圖輸入訓練好的分類器進行分類得到分類的準確率、特異性和靈敏度。

圖2 圖像分割和分類處理流程

2 結果

2.1 分割結果

因為直腸區域和腫瘤區域存在重疊部分，所以需要將他們單獨分割。圖3為測試集中隨機選取的4張直腸癌CT圖像的腫瘤標注和分割結果。第1列為未標注原圖，第2列為腫瘤標注圖（其中紅色區域為腫瘤），第3列為真實的腫瘤區域圖，第4、5和6列分別為FCN-8s、U-Net和SegNet分割出的腫瘤模板圖。圖4為圖3中選取的4張直腸癌CT圖像的直腸標注和分割結果。第1列為未標注原圖，第2列為直腸標注圖（其中紅色區域為直腸），第3列為真實的直腸區域圖，第4、5和6列分別為FCN-8s、U-Net和SegNet分割出的直腸模板圖。從圖中基本可以看出U-Net模型分割的結果與真實結果重合度最好，FCN-8s分割的結果與真實結果重合度較差。

圖3 腫瘤分割結果

圖4 直腸分割結果

模型的分割性能通過戴維斯系數、精確度和召回率來評估，評估指標值越大分割性能越好，評估公式如公式(1)～(3)所示。

式中，Dice為戴維斯系數，Precision為精確度，Recall為召回率；TP、FP和FN分別代表分割結果中真陽性、假陽性和假陰性的體素數量。

表1為測試集上3種分割模型分割腫瘤區域的平均統計結果。表2為測試集上3種分割模型分割直腸區域的平均統計結果。其中U-Net模型對直腸和腫瘤分割的戴維斯系數、精確度和召回率都是最高的。FCN-8s模型分割效果相對較差。

表1 腫瘤分割結果（%）

表2 直腸分割結果（%）

2.2 分類結果

本研究用簡單CNN、AlexNet和InceptionV3分類模型對直腸癌CT圖像進行分類，并比較了直接分類直腸癌CT圖像和先用U-Net網絡分割后再進行分類的結果。分類性能用準確率 、特異性和靈敏度評估，評估指標值越大分類性能越好，評估公式如公式(4)～(6)所示。

式中，Accuracy為準確率，Sensitivity為靈敏度；Specificity為特異性；TP、FP、TN、FN分別代表分割結果中真陽性、假陽性、真陰性、假陰性的體素數量。

表3為測試集上T2和T3期分類結果統計。其中當不用分割網絡時簡單CNN模型的分類準確率、特異性和靈敏度接近50%，分類性能很差；AlexNet模型的分類準確率、特異性和靈敏度接近80%，分類性能較好；InceptionV3模型的分類準確率、特異性和靈敏度接近85%，分類性能最好。當先用U-Net分割后再分類時簡單CNN模型的分類性能大幅提升，AlexNet模型和InceptionV3模型的分類性能略微提高。且InceptionV3模型對直腸癌的分類效果總是最好的。

表3 T2期和T3期分類結果（%）

表3的結果表明在U-Net分割基礎上InceptionV3 模型的分類效果是最好的。表4為U-Net分割的基礎上用InceptionV3模型分別分類T1期和T2期、T2期和T3期、T3期和T4期的結果。對直腸癌T1期和T2期的區分主要看腫瘤是否穿過直腸內壁，對T2期和T3期的區分主要看腫瘤是否穿過直腸壁肌肉層到達直腸外壁，對T3期和T4期的區分主要看腫瘤是否穿過直腸外壁。因直腸壁肌肉層相對較厚，所以InceptionV3模型對直腸癌T2～T3期的分類效果最好，對T1～T2期、T3～T4期的分類相對較差。

表4 U-Net分割后使用InceptionV3模型的分類結果（%）

為防止訓練的時候出現過度擬合的問題將所有分類網絡的迭代次數設置為100次。其中分類直腸癌T2期和T3期的網絡中學習情況和迭代次數的關系如圖5a所示，訓練的損失和迭代次數的關系如圖5b所示。迭代100次左右后訓練的準確率幾乎不變，且除了簡單CNN模型外其余模型損失函數都收斂。

圖5 分類器模型訓練結果

受試者工作特征 (Receiver Operating Characteristic， ROC）曲線分析技術越來越多地被應用在機器學習和數據挖掘領域中，用來全面度量分類器的性能。圖6為不同分類器分類直腸癌T2和T3期的ROC曲線。InceptionV3分類器模型曲線下面積（Area Under Curve，AUC）值最大，模型分類性能最好；AlexNet分類器模型AUC值相對較大，模型分類性能也很好；簡單CNN分類器模型與U-Net分割網絡一起使用時模型分類性能好，而單獨使用時分類性能很差。

圖6 分類器模型的ROC曲線

3 討論

直腸和腫瘤的分割中由于腫瘤和直腸區域存在一定的重合且有些形狀較為類似，難以在一個分割網絡中同時準確分割出來，所以本研究使用兩個網絡分別分割直腸和腫瘤。其次就是部分患者的CT圖像成像不清晰或直腸區域較為模糊不清使得最終的可用數據集大小有限。專業的放射科醫生稀缺，數據僅由一個放射科醫生進行標注可能導致標注的區域存在一定的隨機性和誤差。目前尚無開放的直腸腫瘤CT圖像數據庫，難以保證在其他數據集上也有很好的分割和分類效果。而U-Net模型是目前公認的在醫學圖像分割上性能很好的，這一點在我們的數據集上也得到了驗證。

2014年美國國立綜合癌癥網絡直腸癌臨床實踐指南推薦分期為Tl～T2的患者使用直腸全系膜切除術；T3～T4的患者則推薦先接受新輔助放化療，所以臨床上區分直腸癌T分期是很有意義的。本研究先直接用沒有標注的原圖訓練簡單CNN、AlexNet和InceptionV3分類模型，簡單CNN模型分類效果很差，準確率僅為50%左右；InceptionV3模型分類效果相對較好，準確率為85%左右。配合U-Net分割網絡后模型分類性能都有較大的提升，其中InceptionV3模型分類效果最好，準確率為95.4%。說明從直腸和腫瘤的相對位置入手讓機器自動確定T分期具有一定的可行性。

深度卷積神經網絡模型在直腸癌T分期上有很好的預測效果，如Kim等[21]2019年用AlexNet和InceptionV3模型分類133例直腸癌T2和T3期患者的MRI圖像，分類的準確率分別為89%和94%。未來深度卷積神經網絡模型在預測局部晚期直腸癌在新輔助放化療后的緩解情況、直腸癌術前N分期、直腸癌術前M分期、預測患者的生存期以及預測腫瘤的基因突變等方向也都將有廣泛的應用。盡管預測效果很好，但計算機視覺診斷只能作為一種輔助工具和手段，還不能成為最終的結果，最終的結果通常需要病理醫生根據病理結果確認。但是計算機輔助診斷的作用也是不容忽視的，且未來的發展前景巨大。

4 結論

直腸癌CT圖像的分割中U-Net模型的分割性能優于FCN-8s和SegNet模型。直腸癌CT圖像的分類中InceptionV3模型的分類性能優于簡單CNN和AlexNet模型。在U-Net分割的基礎上使用簡單CNN、AlexNet和InceptionV3分類模型能顯著提高分類準確率。因此深度卷積神經網絡模型在直腸癌CT圖像上進行腫瘤分割和術前T分期有較好的應用前景，能為直腸癌臨床治療方案的制定提供有用的信息。