CRF 3D-UNet肺結節分割網絡

侯騰璇，趙涓涓+，強 彥，王三虎，王 磐

(1.太原理工大學 信息與計算機學院，山西 晉中 030600；2.呂梁學院 計算機科學與技術系，山西 呂梁 033000)

0 引 言

近年來，隨著計算機和胸外科技術的日趨成熟，醫學影像在肺癌中起到不可忽視的作用。診斷肺癌的影像學方法包括了X射線檢查、正電子發射斷層掃描成像和計算機斷層掃描成像(computed tomography，CT)等，醫生無需對患者的病變組織進行侵入式提取便可觀察到病變組織的大小、位置、形態、紋理等特征。肺癌最開始多表現為肺部結節，它們尺寸小、對比度低、形狀異質化高，CT圖像中肺結節的邊緣模糊、灰度不均勻、受到噪聲和偽影的影響大。用于肺結節分割的傳統方法[1-3]大多數比較局限、結節種類針對性強，分割精度也遠遠低于醫師期望的水平。而且，CT影像數據指數型增長，加重了醫生的負擔。因此，提出一種對于肺結節種類針對性小甚至無針對性的方法實現肺結節的分割對肺癌的早期診斷十分重要。機器學習的快速發展給肺結節的分割帶來了新方向。Olaf Ronneberger等提出UNet[4]網絡是一種像素級圖像分割的深度卷積網絡，比較適用于生物、醫學影像領域。以LUNA16為數據集，通過UNet網絡訓練的迭代優化，分割準確率達到約88.91%，有很大的提升空間。因此，提高肺結節分割的準確度定位在對UNet網絡結構的研究改進。

1 相關工作

1.1 UNet分割網絡

肺結節的分割不是一個孤立的領域，而是一個從粗略到精細的自然過程。UNet網絡結構特點是將分割目標的底層信息和高層信息結合用于目標像素點定位。其中，經過多層的卷積操作和下采樣操作得到的低分辨率圖像是原始圖像對應的底層信息，該信息為分割目標提供在原始圖像中的相對位置信息。而高層信息是指編碼路徑對應到相同高度的解碼路徑的高分辨率圖像，該圖像中含有的信息為目標圖像的分割提供梯度等精細特征。但是，UNet結構仍存在很多缺陷，使用二維的卷積、池化操作提取肺部CT圖像的特征導致肺結節丟失豐富的空間信息；再者，下采樣過程中丟失了很多上下文信息，在上采樣的過程中并沒有完全恢復目標的細節和相應的空間維度，導致上采樣的結果比較模糊，對圖像中的細節不敏感；UNet網絡實現了對肺部圖像像素級的分割，但是分割的過程只提取單個像素的特征，完全忽略像素與像素的關聯。總結以上分割方法存在的問題：像素級別的分割方法忽視了肺結節的空間一致性[5]，導致上下文信息的丟失，未將像素間的關系考慮在內，這些問題使得UNet分割的結果準確率低。

1.2 全連接條件隨機場

Philipp Krahenbuhl等提出了全連接條件隨機場[6](fully connected conditional random fields，fully CRF)是一種基于概率的無向圖結構，可以用于像素級圖像的分割。目標圖像中的各個像素都存在對應的類別標簽，視目標圖像的像素為圖的頂點，頂點作為狀態特征，連接圖中所有像素點作為邊，邊代表轉移特征，求解像素標簽時考慮圖像中其余像素對該像素的影響，極大地細化了標記和分割，使得邊界處分割準確。

1.3 CRF 3D-UNet網絡

針對上述存在的問題，本文提出一種將3D-UNet網絡與全連接條件隨機場結合的模型，用于分割肺結節。本文的數據集使用Lung Nodule Analysis 2016 (LUNA2016)，這個數據集中含有的CT圖像有對應的醫生標記好的結節，并提供具體位置。第一步對LUNA16數據集中結節樣例進行預處理，為3D-UNet網絡生成適當的訓練集，使用這些訓練集來訓練有監督分割器。3D-UNet網絡分割結果根據輸出的各像素是否屬于結節的概率，構建CT影像的像素概率地圖。通過機器視覺算法[8]，將各區域合并，輸出疑似區域集。最后將此疑似區域集經過一系列處理操作然后輸入到全連接條件隨機場，實現從粗分割到細分割的突破。

2 方法描述

本文提出了CRF 3D-UNet網絡結構，3D-UNet網絡(如圖1所示)對CT序列圖像進行操作之后得到了像素概率地圖，即粗分割的結果。之后連接全連接條件隨機場(如圖2所示)，該技術將分割的目標圖像中像素間的關系考慮在內，輸出具有空間一致性的分割結果圖。本文提出的整體模型框架將全連接條件隨機場與3D-UNet網絡[9,10]技術結合，前端使用3D-UNet網絡進行特征粗提取，后端使用全連接條件隨機場技術優化前端的輸出，端到端網絡的構建使得分割圖更加精確。

圖1 3D-UNet網絡結構

圖2 全連接條件隨機場結構(fully CRF)

2.1 3D-UNet網絡結構

由于肺部CT圖像是一個三維的斷層圖，肺結節在體積、形狀及許多其它特征如精細度、內部結構、球形度等方面有很大的變化[11]，加之血管、支氣管等復雜的構造使肺部CT圖像具有豐富的上下文環境。使用二維的卷積、池化、上采樣操作會丟失很大一部分空間和上下文信息。對比二維CNN，三維CNN將數據的空間信息利用起來，提煉出圖像層與層之間隱含的代表性特征。所以本文采用三維CNN結構，而且為了保留邊界處的卷積結果，使用Same填充，處理CT序列影像數據。

本文提到的3D CNN結構指的是3D卷積層、3D池化層、3D上采樣層。輸入肺結節的CT序列圖像，經過3D CNN操作得到不同通道去除冗余之后的顯著性特征。

3D卷積層：CRF 3D-UNet網絡從3D卷積層開始，輸入F和卷積核W之間的操作定義為

(1)

3D最大池化層：3D卷積層之后接著是3D最大池化層，利用不同通道之間的平移不變性對特征進行子采樣。3D最大池化操作不做卷積操作，只取當前窗口最大值作為新圖的像素值。然后深度上滑動，得到多個特征圖。本文的最大池化層包含兩種，第一種應用于圖1網絡結構的第6層和第12層，假設當前第l層是卷積層，而第l+1層是最大池化層，對于經過卷積層的輸出結果選擇一個立方體領域內的最大體素值進行激活，大小縮為原來的一半；第二種應用于網絡結構的第3層和第9層，假設當前第l層是卷積層，而第l+1層是最大池化層，對于經過卷積層的輸出結果選擇一個立方體領域內的最大體素值進行激活并且將最大值的位置坐標記錄下來，之后傳遞到對應的上采樣層，最大池化的操作如圖3所示。

圖3 3D最大池化+標記坐標

3D上采樣層：上采樣就是池化的逆過程(索引在上采樣過程中發揮作用[8])，在上采樣層中可以得到在池化中相對卷積核的位置。經過3D卷積層和3D最大池化層之后得到了最低分辨率的特征地圖，很明顯經過池化之后，每個卷積核會丟失9個像素值，這些權重是無法復原的，因此，需要通過對特征地圖進行3D上采樣操作來彌補丟失的信息。如圖1網絡結構所示，此結構是對稱的，第13層和第19層的上采樣操作是先將立方體區域的體積翻倍然后對立方體領域進行三線性插值，第16層和第22層是接收第3層和第9層傳遞過來的最大值的坐標位置，然后將立方體區域的體積加倍，將最大值填入原來的位置，剩余立方體區域中的值補為0。同時這4層融合對應層傳遞過來的經過卷積之后的深度特征。

綜上，網絡結構前半部分經過卷積和池化操作損失了分割目標很多的上下文信息和空間信息，而實現分割的關鍵是像素點的精確定位，所以在池化階段做出了改進，在最大池化的過程中引入索引功能，融合兩種不同的池化操作可以實現像素更精準的定位。

2.2 精分割

后端使用全連接條件隨機場技術，考慮輸入圖像像素間的關聯性，實現對肺結節更加精確的分割。從網絡結構圖1和圖2可以看出，前端的輸出是經過3D-UNet網絡級聯淺層特征的結果O1，對結果圖進行一系列操作之后輸入到全連接條件隨機場。這里的操作指的是先將結果圖O1與輸入圖I進行數值型或操作得到圖H1，然后在圖H1中定位到O1中結節的位置將其像素值置為0，同時將胸腔區域的像素值也置為0，得到圖H2；然后綜合考慮本文用到的LUNA16數據集和山西某醫院的數據集結節的尺寸情況，統計所得結節最大直徑大約是27.442 mm。通過改進遺傳算法的任意圖形最大內接矩形[12]算法找到粗分割圖中肺結節的最大內接矩形，然后定位矩形的4個坐標點，將坐標相加除以2找到最大內接矩形的中心點，最后以中心點為中心將H2框到28 mm×28 mm的區域內，將H2作為全連接條件隨機場的輸入，H2包括有可能成為結節的其它像素點。

對于相同大小的輸入圖H2，每個像素i具有類別標簽Mi，這里的類別標簽有兩類：肺結節和非肺結節。這樣每個像素點作為節點，像素之間的連線作為邊，構成了完全無向圖。序列M={M1,M2,…Mn}和T={T1,T2,…Tn},標簽Y={Y1,Y2}即構成全連接條件隨機場(T,M)，T的大小小于輸入的肺結節序列圖像大小，代表對應序列圖像的真實標簽，Mj是賦予每個像素點的分類標簽。我們通過觀測變量T來推測像素i對應的類別標簽Mi。條件隨機場符合吉布斯[13]分布如式(2)

(2)

其中，g=(v,e)代表序列圖M中的節點v和邊e，t是圖M中的最大團，φt是最大團的勢函數，Z(T)是規范化因子[14]，代表一系列最大團之和。吉布斯能量函數E(M|T)如式(3)

E(M|T)=∑t∈Tgφt(Mt|T)

(3)

為了簡便，以下省略全局變量T，一元勢函數φv和二元勢函數φe組成目標能量函數，如式(4)

(4)

其中，φv(Mi)=-logP(Mi)。一元勢函數原本的計算只考慮了單個像素點的特征就對像素點進行分類標簽，這和前端的輸出一致，所以本文中全連接條件隨機場直接計算二元勢函數即可。二元勢函數將像素與像素之間的關系考慮進來，為相似的像素標記相同的標簽，而對于差別很大的像素給予不同類型的標簽，使像素點標簽的分配更符合空間一致性。這樣的操作才能使肺結節邊界處的分割結果更準確。最終每個像素點對應的標簽通過最大后驗概率求得如式(5)

X*=argmaxM∈YNP(M|T)

(5)

由于經過3D-UNet網絡的每一個像素的一元分類器的輸出獨立于其它像素的分類器的輸出并且通過最大后驗概率求得的一元分類的輸出存在噪聲且不連續，所以對二元勢函數的訓練很重要。二元勢函數的形式如式(6)

(6)

其中，在肺結節的訓練中g=2，需要訓練兩個將特征fi和fj作為自變量的高斯核，每個核賦予一定的權重ω，當Xi≠Xj時，u(Mi,Mj)=1；否則u(Mi,Mj)=0。全連接條件隨機場的二元勢函數的訓練考慮像素點的手工特征如：位置信息和顏色信息，將其編碼成向量融入二元勢函數如式(7)

(7)

其中，pi代表位置變量，Ti代表顏色向量，θα,θβ,θγ是需要訓練的高斯核參數，這些參數從數據中學習得來，控制相似性的程度。在式(7)中第一項表示位置相近而且有相似顏色的像素點成為相同標簽的可能性，而第二項表示移除H2圖中一些孤立的區域。對于輸入圖H2，其一元勢函數的值已經通過3D-UNet網絡得出，二元勢函數通過編碼手工特征進一步精確定位像素，將一元勢函數和二元勢函數相加得到每個像素點屬于肺結節的概率。

3 實驗結果

3.1 數據集和實驗環境

本文方法所使用的實驗數據是LUNA16數據集和山西某醫院的數據集,其中將LUNA16作為訓練集，將山西某醫院的數據平均分開，一半作為訓練集，一半作為測試集。LUNA16數據集包括888個肺部疾病患者，其中肺結節的最大直徑是27.442 mm，并且數據集中選取的是至少由3位專家標注的1186個結節，將這些結節作為最后要檢測的區域。采集到的山西某影像科數據含有219例病人，經診斷120 例病人是肺結節，這些病人平均含有148張CT數據，17 760張CT圖像中含有2800個結節(有可能多個切片表示一個結節)，大直徑范圍為：1.6 mm-23 mm，肺結節的平均直徑為5.1 mm。經一組專家診斷最終確定，2800個結節中良性結節有1180個，惡性結節有1620個。本文網絡的運行環境為Python3.4，Keras框架，Theano后端，CentOS7.4，GPU tesla m40,處理器Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20 GHz。

3.2 網絡結構訓練過程

3.2.1 3D-UNet網絡結構

首先是對圖像的預處理過程，讀取LUNA16和合作醫院作為訓練部分的數據的標注得到每個結節序列圖對應的包含結節的最大范圍的掩膜圖；然后提取肺部感興趣區域生成每個結節對應的肺實質區域以縮小我們的結節搜索范圍；二值化圖像設置合理的閾值實現能夠區分肺和密度更高的組織，之后使用形態學操作填補黑色肺實質區域；將感興趣區域的掩碼作用于CT圖像，對感興趣區域的邊界框進行裁剪，之后將得到的圖像大小調整為512×512；最終結果是一系列可以作為訓練樣本的肺部圖像。將肺部圖像成對讀入網絡進行訓練，隨機初始化權重，將最初的學習速率設置為1.0e-5，循環次數設置為20，一次讀入的圖像數設置為8，使用Adam優化器，從頭開始訓練經過3個小時訓練完畢。損失函數使用Dice[15]系數。

3.2.2 全連接條件隨機場推斷過程

將經過3D-UNet網絡訓練得到的2586張粗分割圖作為全連接條件隨機場的輸入，訓練二元勢函數的參數。全連接條件隨機場的推斷過程[16,17]主要包括：根據3D-UNet的輸出粗分割圖初始化一元勢函數；信息傳遞，對于當前像素點i，依據求得不同的高斯核函數來計算其余像素點對當前像素點的影響程度；若兩個相近像素點的標簽差異很大，添加懲罰項；將二元勢函數的結果與一元勢函數相加來更新當前像素點的標簽。算法流程見表1。

表1 全連接條件隨機場的推斷過程

3.3 實驗結果

3.3.1 評價標準

本文從3個度量標準來對分割結果做出評測，靈敏性、特異性、交叉比[18]。

2016年8月，新的北辰基督教堂建成啟用。新教堂建筑面積12000平方米，最高處24米，階梯式大廳可容納2500人。

靈敏性是指所有的肺結節得到正確分割的概率；靈敏性=真陽性/(真陽性+假陰性)。特異性是指所有非結節得到正確診斷的概率；特異性=真陰性/(真陰性+假陽性)。交叉比是指本文方法分割出的結果與專家手工標記結果的交集與并集的比值。

將本文方法與之前方法做出比較，結果見表2，我們的方法準確度達到93.25%，目前效果最佳。

3.3.2 結果與分析

我們用山西某醫院的219列病人的一半數據作為測試集驗證我們方法的準確率。山西某醫院的數據包括微小型肺結節、孤立型肺結節、血管粘連型肺結節、胸膜牽拉型肺結節和磨玻璃型肺結節。使用提出的方法對比了在去噪、處理細小組織、邊緣模糊目標物體與背景灰度值相近目標物體等方面的分割效果。圖4顯示了該方法對胸膜牽拉型肺結節的分割的效果，可以明顯看出使用本文提出的方法分割出肺結節邊緣形狀最符合專家手動標記的分割結果，胸膜和結節的連接部分比較細致，灰度值接近，邊界區域較難分割，條件隨機場技術針對像素點的位置與周圍像素點對其產生的影像，本文使用兩種算法的融合可以將胸膜和肺結節邊界區分開。

表2 不同方法的準確率/%

圖4 胸膜牽拉型肺結節的分割

圖5顯示了該方法對血管粘連型肺結節的分割效果，由于血管的復雜性，將小血管誤認為肺結節分割很容易，導致準確分割肺結節困難。可以明顯看出圖5(c)、圖5(e)、圖5(f)、圖5(g)的分割結果并沒有將肺結節和粘連處的血管區分開，本文提出的方法達到了這個效果。

圖5 血管粘連型肺結節的分割

圖6顯示了該方法對磨玻璃型肺結節的分割效果，磨玻璃型結節的特性(形狀多變、顏色較淡等)和血管很難區分，很明顯看出圖6(c)、圖6(e)、圖6(f)、圖6(g)方法對肺結節和血管的分割效果不夠理想，而本文提出的方法效果較好，也更貼近專家提供的期望邊界。

圖6 磨玻璃型肺結節的分割

圖7 孤立型肺結節的分割

圖8顯示對不同類型肺結節的分割結果，可以看出添加了全連接條件隨機場的分割效果要整體優于沒有添加該技術的方法所得結果，而且在某些毛刺特征明顯的結節邊緣處分割效果優于人工標記，主要是因為該方法兼顧了灰度對比度與邊緣連續性。但是對于胸膜牽拉型的肺結節有時候會出現過分割的現象，主要是由于胸膜牽拉型肺結節的牽拉處灰度值和肺結節的灰度值相比對比度很低。

圖8 對不同類型的肺結節進行分割的結果

表3顯示了對山西省某醫院不同類型肺結節分割的錯誤率E[18]對比，其錯誤率定義為式(8)

(8)

其中，R0和Rm分別是本文算法分割的肺結節邊界和專家手動標記的肺結節邊界。

表3 不同類型肺結節的錯分率

3.3.3 與目前成熟分割算法的對比

成熟的分割算法有：模糊C均值聚類算法(FCM)，李越[19]提出將FCM算法作為基礎，同時應用小波變換方法針對CT圖像展開分解，之后將分解后的低頻圖的像素點作為FCM算法的基礎點,然后采用馬氏距離來進一步修正，從而確保更加準確反映醫學圖像中的信息。但是經實驗此算法對于胸膜牽拉型結節和血管粘連型結節的分割效果比較差。Jonathan Long等[17]提出用于圖像像素級分割的全卷積網絡(fully convolutional networks，FCN)，FCN把原本卷積網絡后面接的幾個全連接層都換成卷積，這樣就可以獲得一張2維的feature map，而后接softmax層獲得每個像素點的分類信息，從而解決了分割問題。但是此方法存在的問題就是下采樣過程丟失的信息并未在反卷積過程彌補完整，所以造成分割結果準確度不高。Simon JégoU等[20]改進DenseNets來處理語義分割問題。但由于此方法主要應用于通用圖像，如：分割一幅圖像中的建筑物、車、藍天等像素差別特別大，而且前景和背景沒有引起太大的差異。對比肺結節CT圖像，正好相反，目標和背景對比差異太大，在一個大的背景下分割小目標，像素對比差異較微小。所以將該方法用于肺部CT圖像的分割效果并不佳。表4顯示將本文方法與這3種算法用于肺結節分割的結果準確率對比。圖9顯示了這些算法和本文方法的結果圖對比。

表4 不同方法對不同類型肺結節的分割準確率/%

圖9 成熟算法與本文算法的結果圖對比

4 結束語

由于肺結節CT圖像含有豐富的空間信息，結合肺結節的形狀、紋理異質性高[21]等特性，本文提出了CRF 3D-UNet網絡結構用于肺結節的分割。該網絡前端利用了CT圖像中豐富的空間信息，將兩種最大池化操作結合用于像素的精確定位，上采樣的過程中融合淺層的深度特征來彌補下采樣過程中丟失的上下文信息，輸出肺結節的粗分割圖；后端結合全連接條件隨機場優化前端的輸出，考慮了像素間的關聯性，實現從粗分割到精分割的跨越，顯著提高了分割的精度。經過對山西某醫院數據的測試，最終本文方法獲得93.25%的準確率，93.14%的靈敏性，90.21%的特異性。

使用CRF 3D-UNet網絡方法分割出CT圖像的肺結節之后，后續的計劃是對分割出的肺結節進行惡性度分類，分析其后期的生長情況，為肺癌的早期預防提供真正意義的輔助診斷。