基于全卷積網(wǎng)絡(luò)的肝臟CT語(yǔ)義分割

徐婷宜 朱家明 李祥健

摘? 要：肝臟CT（計(jì)算機(jī)斷層掃描）圖像分割為臨床肝臟醫(yī)療分析提供了可靠依據(jù)。文中探索了完全卷積網(wǎng)絡(luò)（FCN）用于肝臟CT圖像中的檢測(cè)和分割。FCN已被證明是用于語(yǔ)義分段的非常強(qiáng)大的工具，它能接受任意大小的的輸入并通過(guò)有效地推理與學(xué)習(xí)產(chǎn)生相應(yīng)大小的輸出。該文將分類網(wǎng)絡(luò)VGG調(diào)整為完全卷積網(wǎng)絡(luò)，并通過(guò)遷移學(xué)習(xí)將其轉(zhuǎn)移到分割任務(wù)，展示了由端到端，像素到像素訓(xùn)練的卷積網(wǎng)絡(luò)語(yǔ)義分割。此架構(gòu)能將來(lái)自深層粗糙層的語(yǔ)義信息與來(lái)自淺層精細(xì)層的外觀信息相結(jié)合，以生成準(zhǔn)確而精細(xì)的分割。本架構(gòu)肝臟分割I(lǐng)OU值達(dá)到0.9，取得較好的分割效果。

關(guān)鍵詞：全卷積網(wǎng)絡(luò);語(yǔ)義分割;深度學(xué)習(xí)

Abstract： Computed Tomography （CT） image segmentation provides a reliable basis for clinical liver medical analysis. A Full Convolutional Network （FCN） is explored for detection and segmentation in liver CT images. FCN has been proven to be a very powerful tool for semantic segmentation. It can accept inputs of any size and generate corresponding output through effective reasoning and learning. This paper adjusts the classification network of Visual Geometry Group （VGG） to a fully convolutional network and transfers it to the segmentation task through transfer learning. It shows an end-to-end， pixel-to-pixel trained convolutional network semantic segmentation. This architecture can combine semantic information from deep rough layers with appearance information from shallow fine layers to generate accurate and fine segmentation. In this architecture， the liver segmentation Intersection-over-Union （IOU） value reaches 0.9， and a good segmentation effect is achieved.

Keywords： full convolutional network; semantic segmentation; deep learning

1? ?引言（Introduction）

計(jì)算機(jī)斷層掃描（CT）是觀察骨關(guān)節(jié)及軟組織的一種理想的方式，肝臟病變檢測(cè)常用CT圖像觀察[1]。肝臟手術(shù)需要有關(guān)肝臟大小、形狀和精確位置的信息。臨床診斷大多數(shù)依靠醫(yī)生耗費(fèi)大量時(shí)間手動(dòng)檢測(cè)和分割，這就突出了計(jì)算機(jī)分析的必要性。本文中所述圖像語(yǔ)義分割的意思是計(jì)算機(jī)把圖像中所有的像素點(diǎn)分配給其對(duì)應(yīng)的標(biāo)簽。采用VGG、Alex-Net等CNN網(wǎng)絡(luò)，以圖像中每個(gè)像素點(diǎn)為中心提取像素補(bǔ)丁，將補(bǔ)丁送入分類后對(duì)應(yīng)的標(biāo)簽中，每個(gè)補(bǔ)丁中心像素得到相對(duì)應(yīng)的標(biāo)簽，將所有像素點(diǎn)執(zhí)行操作，即可得對(duì)應(yīng)像素點(diǎn)的標(biāo)簽[2]。全卷積網(wǎng)絡(luò)用卷積層取代全連接層，使得網(wǎng)絡(luò)能進(jìn)行像素級(jí)分割的分類，從而解決語(yǔ)義分割問題[3]。FCN可以接受任意大小的輸入，并通過(guò)有效地推理與學(xué)習(xí)產(chǎn)生相應(yīng)的輸出，使這個(gè)體系結(jié)構(gòu)的損失函數(shù)在整個(gè)圖像分割結(jié)果上進(jìn)行計(jì)算[4]。網(wǎng)絡(luò)處理的是整個(gè)圖像，因此可以通過(guò)圖像的分辨率更有效地進(jìn)行縮放。相比于傳統(tǒng)的CNN圖像分割，F(xiàn)CN分割圖像還能減少不必要的重復(fù)存儲(chǔ)和計(jì)算卷積，使得訓(xùn)練更加高效。

2? 肝臟分割算法構(gòu)建（Construction of liver segmentation algorithm）

2.1? ?數(shù)據(jù)采集

IRCAD（Research Institute Against Digestive Cancer）匯集了消化道癌癥研究實(shí)驗(yàn)室，計(jì)算機(jī)科學(xué)/機(jī)器人研究部門和微創(chuàng)科培訓(xùn)中心。本文采用IRCAD的Liver segmentation-3D-ircadb-01數(shù)據(jù)庫(kù)，它由對(duì)75%的肝腫瘤的10位女性和10位男性進(jìn)行3D CT掃描組成。數(shù)據(jù)庫(kù)提供了一系列有關(guān)圖像的信息，例如根據(jù)庫(kù)尼諾（Couninaud）分割的肝臟大小（寬度、深度、高度）或腫瘤的位置。這也表明與鄰近器官的接觸，肝臟的非典型形狀或密度，甚至圖像中的偽像等問題都會(huì)成為肝臟分割的主要困難。二十組肝臟3D圖像如圖1所示。

2.2? ?全卷積網(wǎng)絡(luò)的構(gòu)建

全卷積網(wǎng)絡(luò)采用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了從圖像像素到像素類別的變換。全卷積網(wǎng)絡(luò)通過(guò)轉(zhuǎn)置卷積（transposed convolution）層將中間層特征圖的高和寬變換回輸入圖像的尺寸，從而令預(yù)測(cè)結(jié)果與輸入圖像在空間維（高和寬）上一一對(duì)應(yīng)：給定空間維上的位置，通道維的輸出即該位置對(duì)應(yīng)像素的類別預(yù)測(cè)[5]。全卷積像素預(yù)測(cè)如圖2所示。

本文的前置基礎(chǔ)網(wǎng)絡(luò)為VGG16，通過(guò)丟棄最終的分類器層并將全連接層轉(zhuǎn)換為卷積層來(lái)構(gòu)建全卷積網(wǎng)絡(luò)。架構(gòu)中附加一個(gè)通道維數(shù)為2的1×1卷積來(lái)預(yù)測(cè)每個(gè)粗略輸出位置的肝臟評(píng)分，然后再附加一個(gè)反卷積層來(lái)將粗略輸出提升到像素密集輸出。上采樣在網(wǎng)絡(luò)中進(jìn)行，通過(guò)像素級(jí)損失的反向傳播進(jìn)行端到端的學(xué)習(xí)。本文初始網(wǎng)絡(luò)為FCN-8s的DAG網(wǎng)絡(luò)，它學(xué)會(huì)了將粗糙的、高層的信息與精細(xì)的、低層的信息結(jié)合起來(lái)[6]。我們還探討了添加另一個(gè)較低級(jí)別的鏈接層來(lái)創(chuàng)建FCN-4s DAG網(wǎng)絡(luò)的附加值。這是通過(guò)與圖3中的Pool3和Pool4層的鏈接相似的方式鏈接Pool2層來(lái)完成的。最初的網(wǎng)絡(luò)架構(gòu)如圖3所示。

全卷積網(wǎng)絡(luò)工作流程：

（1）首先對(duì)輸入的原圖像實(shí)行卷積操作conv1和池化操作pool1，則原圖像縮小到原來(lái)的1/2;

（2）將步驟（1）的輸出結(jié)果作為輸入信息，對(duì)圖像進(jìn)行第二次卷積操作conv2和池化操作pool2，則圖像進(jìn)一步縮小到原圖的1/4;

（3）將步驟（2）的輸出結(jié)果作為輸入信息，對(duì)圖像進(jìn)行第三次卷積操作conv3和池化操作pool3，則圖像進(jìn)一步縮小到原圖的1/8，此外，保留pool3過(guò)程中產(chǎn)生的feature map;

（4）將步驟（3）的輸出結(jié)果作為輸入信息，對(duì)圖像進(jìn)行第四次卷積操作conv4和池化操作pool4，則圖像進(jìn)一步縮小到原圖的1/16，此外，保留pool4過(guò)程中產(chǎn)生的feature map;

（5）將步驟（4）的輸出結(jié)果作為輸入信息，對(duì)圖像進(jìn)行第三次卷積操作conv5和池化操作pool5，則圖像進(jìn)一步縮小到原圖的1/32;

（6）將步驟（5）的輸出結(jié)構(gòu)作為輸入信息，利用conv6和conv7構(gòu)建的全連接層進(jìn)行進(jìn)一步卷積操作，輸出圖像的大小依然是原圖的1/32，此時(shí)得到的feature map記為heat map;

（7）先將步驟（3）、步驟（4）中的feature map，以及步驟（6）中的heat map進(jìn)行上采樣操作，得到的圖像記為X;

（8）利用conv4的卷積核對(duì)X進(jìn)行反卷積操作來(lái)進(jìn)一步補(bǔ)充圖像分割細(xì)節(jié)部分，得到的圖像記為Y;

（9）最后利用conv3中的卷積核對(duì)Y進(jìn)行第二次的反卷積操作，得到圖像Z，圖像Z即為圖像語(yǔ)義分割的結(jié)果[7]。

2.3? ?數(shù)據(jù)增強(qiáng)

手動(dòng)分割遮罩對(duì)于數(shù)據(jù)集來(lái)說(shuō)只在2D之內(nèi)，肝臟分割的數(shù)據(jù)集相對(duì)較小，因此數(shù)據(jù)增強(qiáng)是最適合的。當(dāng)只有很少的訓(xùn)練樣本可用時(shí)，數(shù)據(jù)增強(qiáng)對(duì)于教導(dǎo)網(wǎng)絡(luò)期望的不變性和魯棒性是必不可少的。數(shù)據(jù)增強(qiáng)的方式有多種選擇，例如，調(diào)整亮度、對(duì)比飽和色調(diào)等因素來(lái)降低模型對(duì)色彩的敏感度。本文通過(guò)將比例轉(zhuǎn)換應(yīng)用于可用的訓(xùn)練圖像來(lái)達(dá)到數(shù)據(jù)增強(qiáng)的目的。

3? ?實(shí)驗(yàn)（Experiment）

本次訓(xùn)練數(shù)據(jù)集中的圖像格式是DICOM格式，因此在將數(shù)據(jù)轉(zhuǎn)換為TFRecord格式以供以后在TensorFlow中進(jìn)行訓(xùn)練之前，我們必須先做一些預(yù)處理工作。在本項(xiàng)目范圍內(nèi)，我們只劃分了肝、骨、腎等四類。因此，每個(gè)預(yù)處理的數(shù)據(jù)樣本將是圖像-形狀（512，512）的輸入圖像和遮罩二維數(shù)組具有與圖像相同的空間形狀，指示每個(gè)像素屬于哪個(gè)類。訓(xùn)練中隨機(jī)抽取數(shù)據(jù)集對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練，激活函數(shù)為relu函數(shù)，使用Adam優(yōu)化方法和交叉熵?fù)p失函數(shù)對(duì)全卷積函數(shù)進(jìn)行訓(xùn)練。二維訓(xùn)練樣本2258張，驗(yàn)證樣本565張，在進(jìn)入網(wǎng)絡(luò)前進(jìn)行歸一化處理，減去圖像均值。在FCN預(yù)訓(xùn)練模型的基礎(chǔ)上進(jìn)行迭代，實(shí)驗(yàn)平臺(tái)為L(zhǎng)inux平臺(tái)下的TensorFlow框架。使用批量大小為32的完整訓(xùn)練大概需要48小時(shí)，同時(shí)使用基本的數(shù)據(jù)增強(qiáng)。

3.1? ?Adam優(yōu)化算法

Adam優(yōu)化算法來(lái)源于適應(yīng)性矩估計(jì)，同時(shí)具有AdaGrad（適應(yīng)性梯度算法）和RMSprop（均方根傳播）的優(yōu)點(diǎn)。Adam的主要參數(shù)有學(xué)習(xí)率α、一階矩估計(jì)的指數(shù)衰減率β1和二階矩估計(jì)的衰減率β2。α控制了權(quán)重的更新比率，在迭代優(yōu)化的前期，學(xué)習(xí)率較大，則前進(jìn)的步長(zhǎng)較長(zhǎng)，這時(shí)便能以較快的速度進(jìn)行梯度下降;而在迭代的后期，逐步減小學(xué)習(xí)率的值，減小步長(zhǎng)，這樣有助于算法的收斂，獲得最優(yōu)解。β1用于計(jì)算導(dǎo)數(shù)的平均值，β2計(jì)算平方版指數(shù)加權(quán)平均數(shù)，ε是固定值用來(lái)防止分母為0，本文參數(shù)設(shè)置為α=0.0003，β1=0.9， β2=0.99，ε=10e-8。Adam參數(shù)具有很好的解釋性，通常無(wú)須調(diào)整或僅需很少的微調(diào)。

3.2? ?交叉熵?fù)p失

交叉熵?fù)p失的計(jì)算分為兩個(gè)部分：softmax分類器與交叉熵?fù)p失。

Softmax分類器將網(wǎng)絡(luò)最后的輸出y通過(guò)指數(shù)轉(zhuǎn)變?yōu)楦怕使剑绻剑?）所示。

用于計(jì)算類別i的網(wǎng)絡(luò)輸出類別，分母為輸出指數(shù)和。

交叉熵?fù)p失是用來(lái)評(píng)估當(dāng)前訓(xùn)練得到的概率分布與真實(shí)分布的差異情況。在深度學(xué)習(xí)中，p（x）表示真實(shí)分布，q（x）表示預(yù)測(cè)分布，在實(shí)際實(shí)驗(yàn)中，交叉熵值越小，說(shuō)明預(yù)測(cè)分布與真實(shí)分布越接近[8]。交叉熵公式如式（2）。

3.3? ?交并比

IOU（Intersection-Over-Union）即交并比，是進(jìn)行目標(biāo)檢測(cè)的一個(gè)重要算法，它具有非負(fù)性、不可同一性、對(duì)稱性和滿足三角不等式等優(yōu)點(diǎn)。

IOU表示了產(chǎn)生的候選框（candidate bound）與原標(biāo)記框（ground truth bound）的交疊率或者說(shuō)重疊度。它衡量了兩個(gè)邊界框重疊的相對(duì)大小，一般約定0.5是閾值，IOU越高，邊界框越精確。IOU的公式如式（3）。

4? ?實(shí)驗(yàn)結(jié)果分析（Analysis of results）

訓(xùn)練過(guò)程的可視化包括訓(xùn)練集和驗(yàn)證集的acc和loss曲線，根據(jù)曲線的不同特點(diǎn)進(jìn)行超參數(shù)調(diào)節(jié)，可以不斷優(yōu)化網(wǎng)絡(luò)。用tensorboard觀察訓(xùn)練（train）和驗(yàn)證（val）的損失（loss）在訓(xùn)練時(shí)的變化如圖所示。Train/loss不斷下降，val/loss不斷下降，說(shuō)明網(wǎng)絡(luò)訓(xùn)練正常，val/iou_loss不斷上升，說(shuō)明分割的精度不斷提高。本文分割的IOU值為0.9。

肝臟CT圖，手動(dòng)真實(shí)分割圖，本文分割圖如圖5所示。

5? ?結(jié)論（Conclusion）

本文通過(guò)全卷積網(wǎng)絡(luò)來(lái)對(duì)特定目標(biāo)進(jìn)行語(yǔ)義分割，結(jié)果表明具有數(shù)據(jù)增強(qiáng)的FCN，以及適當(dāng)?shù)臋?quán)重，給實(shí)驗(yàn)提供了較好的結(jié)果。FCN分割的缺陷在于分割結(jié)果不夠精細(xì)，對(duì)圖像中的細(xì)節(jié)不敏感。同時(shí)在對(duì)像素分類時(shí)忽略了在通常的基于像素分類分割方法中使用的空間規(guī)整步驟，沒有充分考慮像素與像素間的關(guān)系。在未來(lái)的實(shí)驗(yàn)中，可嘗試添加相鄰切片來(lái)提高分割性能。

參考文獻(xiàn)（References）

[1] Hssayeni MD， S.M， Croock MS， et al. Intracranial Hemorrhage Segmentation Using Deep Convolutional Model[J]. Benchmarking Datasets in Bioinformatics， 2020， 5（1）： 14.

[2] Russel Mesbah， Brendan McCane， Steven Mills， et al.Improving Spatial Context in CNNs for Semantic Medical Image Segmentation[C]. 2017 4th IAPR Asian Conference on Pattern Recognition （ACPR）， 2017.

[3] Bo Zhao， Jiashi Feng， Xiao Wu， et al. A Survey on Deep Learning-based Fine-grained Object Classification and Semantic Segmentation[J]. International Journal of Automation and Computing，? 2017， 14（2）： 119-135.

[4] 章琳，袁非牛，張文睿，等.全卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計(jì)算機(jī)工程與應(yīng)用，2020，56（01）：25-37.

[5] Ben-Cohen A， Diamant I， Klang E， et al. Fully Convolutional Network for Liver Segmentation and Lesions Detection[C]. International Workshop on Deep Learning in Medical Image Analysis， 2016.

[6] Long J， Shelhamer E， Darrell T. Fully Convolutional Networks for Semantic Segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2014， 39（4）： 640-651.

[7] 李智能，劉任任，梁光明.基于卷積神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)宮頸細(xì)胞圖像的語(yǔ)義分割[J].計(jì)算機(jī)應(yīng)用與軟件，2019，36（11）：152-156.

[8] 趙梓淇，裴昀，常振東，等.基于深度學(xué)習(xí)的CT影像肺結(jié)節(jié)檢測(cè)[J].吉林大學(xué)學(xué)報(bào)（信息科學(xué)版），2019，37（05）：572-581.

作者簡(jiǎn)介：

徐婷宜（1996-），女，碩士生.研究領(lǐng)域：醫(yī)學(xué)圖像處理.本文通訊作者.

朱家明（1972-），男，博士，副教授.研究領(lǐng)域：智能與自適應(yīng)控制，圖像處理.

李祥健（1992-），男，碩士生.研究領(lǐng)域：數(shù)字圖像處理.