基于多尺度UNet的腎臟CT圖像分割

馮嘉欽 邱衛根 張立臣

(廣東工業大學 廣東 廣州 510000)

0 引 言

隨著醫學成像技術的不斷發展,醫學圖像處理在非侵入式計算機輔助醫學診斷具有重要的臨床價值[1]。腎臟的主要功能是清除人體內的代謝產物和某些毒素,清晰的腎臟圖像分析對腎臟器官疾病的正確診斷具有重要的臨床價值。尤其是隨著腎癌、腎結石等疾病微創介入治療手術的廣泛開展,準確的腎臟組織信息是微創手術術前計劃、術中指引和術后評估的重要依據[2],腎臟圖像的分割技術研究是腎臟醫學圖像處理研究的重要領域。

醫學圖像處理在一定程度上集中在疾病檢測、圖像分割、圖像配準和圖像融合四個方面。同時,醫學圖像分割任務中存在邊界模糊、器官末端特征復雜等問題,使得醫學圖像分割任務在可行性和性能上都存在巨大的困難。其中,腎臟圖像分割在腎臟疾病的評估和臨床診斷中起著重要的作用。因此,腎臟圖像分割在醫學圖像分割任務中具有舉足輕重的地位。在腎臟圖像分割中,腎皮質、腎盂等腎臟組織是解決腎臟圖像分割問題的關鍵。另外,不同的人體可能會出現不同的腎臟病變,也增加了分割的難度。同時,與自然圖像相比,醫學圖像層次特征更加不明確。人體的解剖組織結構和形狀復雜,因個體差異,器官圖像所呈現的尺度、紋理特征等都差異很大,對醫學圖像的精準分割的難度也有所增加。

本文在UNet[3]網絡的基礎上,構建基于多尺度UNet的CNN模型,并應用于腎臟圖像的分割領域。多尺度UNet模型通過融合使用Inception模塊和殘差模塊,在獲取多尺度特征的同時,加快模型訓練過程的收斂。為了獲得更精準的分割結果,使用了數學形態學的方法,對模型分割結果進行優化,以得到更精準的分割結果。

1 相關內容

腎臟圖像分割技術在國內外得到非常廣泛的研究,其大致可以分成兩類:基于標記點模型的方法和基于能量最小化的方法。

在基于標記點模型的方法方面,一種通過主動外觀模型和live wire結合的方法[4],可更準確識別器官,實現腹部CT圖像的多器官分割。另一種基于主動形狀模型的腎臟超聲圖像分割算法,在主動形狀模型中引入遺傳優化算法[5],使模型獲得更魯棒的初始化,可加快收斂速度并提高準確率。另一方面,依據區域相似性和形狀特征,文獻[6]實現了一種可自動學習的區域生長法。更進一步,利用先驗知識來定位腎臟組織[7],同樣實現自適應的區域生長算法。基于標記點模型的方法在復雜性和計算效率方面具有一定的優勢,其難點在于對種子點的選取較為敏感,容易受到粘連的影響,而且需要大量的訓練樣本建立統計模型。

在基于能量最小化的方法方面,結合測地活動輪廓模型和Chan-Vese模型綜合形式的能量函數[8],使用圖割方法優化能量函數,從而使輪廓趨于目標邊界,實現CT圖像中腎臟的整體分割。另一方面,文獻[9]首先找出腎臟的候選區域,根據先驗區域構建腎臟的概率形狀,使用馬爾可夫隨機場構造能量函數,采用信念傳播算法最小化能量函數,得到分割腎臟的最優解。基于能量最小化的圖像分割方法應用非常廣泛,尤其是可變形模型和圖割的方法效果更加顯著,受到了越來越多的關注。為了實現基于水平集的可變形模型[10],其加入速度函數受到形狀先驗、灰度特征和空間交互性的控制。文獻[11]通過貝葉斯概率統計,構建了水平集分割框架來實現腎臟組織的容量分析。可變形模型通常采用變分技術,通過梯度下降法優化能量函數,結合圖割方法,使能量函數能有效地全局最小化。另一方面,首次給定了估計活動輪廓長度的理論公式[12],并采用圖割方法加以優化。文獻[13]在窄帶范圍內使用圖割方法,優化帶有區域限制的測地活動輪廓模型[14],彌補了傳統活動輪廓模型的算法缺陷。另外,文獻[15]通過圖割方法優化水平集能量函數的離散形式,提高了算法效率。文獻[16]通過集成學習主動輪廓建模,檢測腎臟內部初始化遮蓋,不斷拓展其邊界,達到分割腎臟部位的效果。

近年來,深度卷積神經網絡在圖像分類[17-18]、目標檢測[19]等方面獲得廣泛的應用,深度學習已經成為圖像處理研究領域的主要方向。深度卷積神經網絡利于提取語義豐富的圖像特征,也是深度卷積神經網絡在圖像處理領域最大的優勢。全卷積神經網絡FCN-32s[20]通過其自身的多卷積層,自動提取圖像上的多層特征,開創了使用端到端訓練模型分割圖像的先河。但由于FCN-32s設置了較大的卷積核和步長,所得到的腎臟圖像分割結果仍然不夠精細。對于FCN-32s進行改進,得到全卷積神經網絡K-Net來上下采樣獲取圖像特征[21],從而對圖像每個像素點進行分類,得到腎臟整體圖像的分割圖,利用GrowCut算法[22]對腎臟圖像中的腎皮質部分進行分割。文獻[23]分別訓練水平和垂直兩個方向上的子模型,通過兩個級聯子模型,進行圖像全局空間相關性的獲取,豐富了語義信息,提高了腎臟分割效果。文獻[24]利用了金字塔池化模型(PPM),添加到三維全卷積網絡,提高對圖像多尺度特征提取的能力,對CT圖像進行整組處理,在三維圖像上實現端到端的學習模型。文獻[25]通過AlexNet對腎臟CT圖像進行腎臟ROI的選取,使用UNet模型對腎臟ROI的進行有針對性的分割。文獻[26]使用CNN檢測出CT圖像中的腎臟邊界,結合邊界信息和3D UNet對腎臟區域進行有效的分割,提高了分割準確率。文獻[27]提出了SERU模型,利用ResNeXt機制為UNet模型添加了分組和深度可分割卷積,大大減少了模型參數量和加快了網絡收斂速度,同時利用SE模塊,提升了特征圖中的空間相關性,從而改善了分割效果。

目前,絕大多數的腎臟分割算法只實現了腎臟基本的分割,對于腎臟CT圖像中細節關鍵部位,包括:腎皮質、腎盂等存在較為復雜特征的組織還存在一定的分割難度。同時隨著CT圖像中每個橫截面的變化,腎臟部位呈現出尺度上的變化,對于同一組CT圖像會因為尺度上的明顯變化而導致分割效果明顯變差,因此這也是醫學圖像分割任務上的難點之一。隨著臨床醫學領域對腎臟圖像精準分割的需求越來越高,對于CT圖像的分割要求也將越來越高。本文研究適于臨床醫學,提出腎臟圖像的高精準分割模型,具有重要的現實意義。

2 本文算法

本文圖像分割算法具體流程如下:第一,對圖像進行提取以及數據增強;第二,根據所面臨的難點,進行UNet網絡模型的改進;第三,利用數據集,對多尺度UNet進行訓練;最后,將圖像輸入到訓練后的模型得到模型分割圖,對于模型分割圖,采用數學形態學上的優化來進行細微差異的優化,得到最終分割圖。測試結果將在本文實驗中提及。

2.1 數據增強

訓練數據集數據增強。訓練數據多樣性是決定網絡訓練反向傳播中收斂速度與效果的重要指標。為了提高網絡在CT圖像不同情況和噪聲下的泛化能力,提高模型分割的準確率,采用一系列的數據增強方法來增加訓練集的多樣性。數據增強效果如圖1所示,分別采用了:(1) 旋轉:水平旋轉,垂直旋轉。圖1中顯示垂直旋轉。(2) 加入高斯噪聲,圖1中為隨機像素點加入了符合均值為5,方差為100的高斯分布的灰度值。(3) 改變亮度,圖1為每個像素點的灰度值提高40。(4) 彈性變形,圖1為經過彈性系數34,高斯過濾器尺度為7變形。

(a) 原圖像 (b) 旋轉 (c) 高斯噪聲

2.2 多尺度UNet模型

2.2.1UNet圖像分割模型

UNet圖像分割模型結合了級聯(skip connection)和對稱采樣的思想,分別通過四層的上采樣和下采樣操作來對圖像進行特征的提取,同時每層對應的下采樣輸出特征圖和上采樣輸出特征圖進行級聯,能夠有效地提取各個層次的特征。因此UNet進行醫學圖像的分割能夠結合低分辨率信息和高分辨率信息,分別提供物體分類識別和精準分割依據。最后將輸出特征圖由激活函數softmax進行每個像素的分類概率運算。

經過了概率運算,輸出圖像每個像素點的分類概率,使用分類概率對每個像素點進行分類。最后,預測值與真實值共同輸入到交叉熵損失函數中得到每個像素的分類代價。

經過前向傳播和代價運算之后,進行反向傳播,需要對代價函數以及逐層參數往前求偏導數,更新每層神經網絡的權重,從而對其代價函數求最小解。經過上述操作后的神經網絡能夠起到對圖像分割進行學習。

2.2.2Inception模塊提取多尺度特征

針對圖像處理中物體不同尺度的問題,由文獻[28]提出的Inception模塊,首次運用在GoogleNet中,在大型圖像分類數據集ImageNet[29]上得到很好的分類效果。其結構為卷積神經網絡中一種結構上的組合,對于特征圖分別進行1×1、3×3、5×5,以及最大池化,得到的四個結果進行通道上的融合,對于特征圖中的不同尺度的特征能有效地提取,很大程度上解決了存在尺度差異的問題,從而提高了分割準確度。

2.2.3殘差機制

文獻[30]提出了能夠有效解決神經網絡中反向傳播過程中梯度消失問題的殘差機制。由于深度學習中一般網絡參數量和傳播層數十分龐大,在訓練過程中,圖像經過了深度龐大的網絡來提取特征,通過反復多次卷積和池化運算,必然會導致特征的嚴重失真,導致反向傳播過程中梯度消失。因此,提出了殘差機制和ResNet,具體通過在卷積神經網絡中加入殘差塊,為網絡訓練中正向傳播提供更加細節的圖像特征,從而提高傳播效率,有效減少梯度消失,提高收斂速度。

2.3 多尺度UNet模型構造

UNet是采用了skip connection以及對稱上下采樣的全卷積神經網絡模型。本文對UNet進行改進得到多尺度UNet網絡模型,網絡結構如圖2所示。

圖2 多尺度UNet模型構造圖

在UNet網絡模型基礎上,根據2.2.2節所提到的Inception模塊,本文將每一次進行下采樣之前加入Inception塊,對下采樣前的特征圖分別進行1×1、3×3、5×5,以及最大池化操作,其中,考慮到3×3和5×5卷積是對尺寸比較大的特征圖進行,所以運算時會產生巨大的計算量和參數量,因此在3×3和5×5卷積之前,采用1×1卷積降低特征圖的通道數,從而減少計算成本。注意的是,以上3×3和5×5卷積為了保持特征圖尺寸,padding參數分別設置為1和2,將4個操作得到的特征圖進行拼接融合。這樣考慮到了不同范圍的感受野,因此可以進行多尺度特征的提取,解決CT圖像中尺度差異問題。

根據2.2.3節所提到的殘差機制,本文為多尺度UNet網絡結構添加了殘差塊。首先,每層下采樣層中進行下采樣操作,即進行步長核尺寸為2、步長為2的最大池化,得到下采樣塊,作為下一層的下采樣層的輸入(最后一層下采樣塊作為第一層上采樣層輸入),同時也作為殘差塊。其次,當前下采樣塊和下一層下采樣層進行下采樣操作之間的特征圖進行特征圖融合操作,完成本文的殘差機制。因此這樣將失真程度小的特征圖和失真程度大的特征圖進行融合,改善深度卷積神經網絡中特征圖失真問題,為經過多層卷積網絡的特征圖提供更加低層次,更加細節的特征,同時也加快網絡收斂速度。

除此之外,在每個卷積操作后面都進行BatchNormalization[31]操作,稱為BN,因為深度神經網絡在做非線性轉換前的激活輸入值的分布,隨著不斷的訓練會逐漸發生偏移,使得原特征空間和目標特征空間分布不一致,影響泛化能力。再者,整體分布會逐漸往非線性函數的取值區間的上下兩端移動,所以收斂速度變慢,甚至梯度消失。為了解決上述兩個原因,BatchNormalization通過規范化手段將每層網絡的神經元輸入值分布拉回到均值為0方差為1的標準正態分布,即輸入圖像所規范化后的分布,其規范化公式如下:

(1)

同時,為了網絡更好表達非線性,進行目標任務的擬合,神經網絡中需要對每個神經元的輸出進行激活操作,其中文獻[32]提出了ReLU作為網絡的激活函數能夠有效防止梯度在反向傳播中的消失問題,而LeakyReLU作為ReLU的一種變體,相比于ReLU其對負值輸入具有很小的坡度,使得導數不總是為零,解決了ReLU函數接收到負輸入時,神經元停止學習的問題。因此,多尺度UNet在每個BN操作之后選用LeakyReLU函數作為激活函數。LeakyReLU函數如下:

(2)

式中:x為輸入值,a為一個較為小的實數,范圍為(0,1)。

2.4 數學形態學算法優化分割圖

經過多尺度UNet網絡模型分割的圖像,與真實分割圖還存在一定的差異,這些差異一般存在分割目標的邊緣位置,例如腎臟的腎皮質外圍、腎盂等位置存在比較多的細節末梢,是影響分割效果的重點。為了減少這方面的誤差,本文引入了數學形態學中的一系列運算以及分水嶺算法[33]來對模型分割圖像進行優化。其中,閉運算指的是先進行膨脹運算再腐蝕運算。其中,腐蝕運算可以使得目標圖像的邊界收縮,可以用來消除小且無意義的目標物,運算如下:

AθB={x,y|(B)xy?A}

(3)

式中:表示用結構B去腐蝕圖像A,即B遍歷滑動圖像A下的橫縱坐標,如果B在圖像A的(x,y)處,完全被包含在圖像A重疊的區域,則將圖像A中(x,y)的值賦值為1,否則為0。

膨脹運算使目標邊界向外部擴張,可以填充目標區域內細小的空洞。運算如下:

A⊕B={x,y|(B)xy∩A≠θ}

(4)

式中:表示用結構B去膨脹圖像A,即B遍歷滑動圖像A下的橫縱坐標,如果B在圖像A的(x,y)處與A的交集不為空,則將圖像A中(x,y)的值賦值為1,否則為0。

后處理優化的具體步驟為:(1) 通過閾值處理,將模型分割圖由灰度圖轉化為二值圖像。(2) 由于目標區域中可能存在噪聲,通過閉合運算,消除目標區域中的噪聲。(3) 對圖像進行膨脹運算,來增加目標區域,使得分離的目標區域連接在一起,目標區域之外的區域確定為背景區域。(4) 計算目標區域中每個像素點與背景區域的距離。(5) 確定目標區域,在(4)的距離中選出最大的距離與給定的超參數相乘,得到閾值,遍歷(4)中的距離,如果超過閾值的像素點視為非目標區域,進一步篩選出目標區域。(6) 使用(3)中的目標區域減去(5)中的目標區域,得到目標區域的邊緣區域,即為未知區域。(7) 因為在腎臟CT圖像切片中可能存在兩邊的腎臟,所以對兩個分割區域作不同的標記。(8) 對于(7)中標記不同的兩個分割區域運用分水嶺算法,將標記傳入的輪廓作為注水點,對模型分割圖像的其他像素點根據分水嶺算法規則進行判斷,并對每個像素點的區域歸屬進行劃定,直到圖像上所有的像素點都被劃分為止,從而進行最后的劃分修正,提高劃分效果。

3 實 驗

3.1 實驗數據集采集

實驗采用grand-challenge中KITS19比賽提供的數據集。KITS19腎臟CT圖像數據集是由University of Minnesota在對300例腎癌患者進行部分或者完全切除腎臟腫瘤的過程中,CT掃描所生成的腎臟CT圖像以及標準分割圖像。由于切片的厚度不同所以會得到CT圖像數量不同的圖像組,同時考慮到圖像組中還存在一定量的全背景圖像(即不包含腎臟區域的圖像),因此,去除此類圖像,減少負例在數據集中的占比,加快對腎臟圖像分割的擬合。KITS19數據集總共有210組CT圖像,經過圖像的提取和上述的負樣本篩除,得到6 893幅CT圖像,其中,訓練集有6 485幅CT圖像,測試集有408幅CT圖像。

3.2 實驗參數配置

在訓練多尺度UNet模型過程中,選擇mini_batch數目為:2。訓練輪次設置為200次,選擇初始學習率為0.000 1,其中,在優化器方面,選擇Adam優化器,其中優化器的參數為:β1=0.9;β2=0.999;ε=10-8。

實驗基于64位的Linux系統ubuntu 16.04版本和NVIDIA GTX Geforce 1080 Ti GPU,采用PyCharm編輯軟件以及編譯器為Python 3.6版本,采用深度學習框架為PyTorch。

3.3 實驗結果及分析

3.3.1實驗效果展示

圖3給出了CT圖像、標準圖像、測試集經過模型分割后的模型分割圖像,以及對模型分割圖像進行數學形態學優化后的最終分割圖像。可以看出最終分割圖能夠得到比較滿意的分割結果。

圖3 腎臟CT分割圖像結果

3.3.2評估指標

Intersection over Union(IoU,均交并比)是語義分割中的標準度量,同時是度量分割任務有效性的標準。其表示目標分割區域正確預測的占比,計算值越大代表分割效果越好。

(5)

式中:TP為正確預測的目標區域;FN為錯誤預測的非目標區域;FP為錯誤預測的目標區域。

DSC[34]是一種計算兩個集合相似度的函數,同時也是醫學圖像分割中的常用的量度標準。其計算值越大代表預測結果和真實結果越相似。

(6)

式中:TP為正確預測的目標區域;FN為錯誤預測的非目標區域;FP為錯誤預測的目標區域。

需要注意,目標區域在腎臟CT分割任務中為腎臟部分,而非目標區域是非腎臟部分,即背景部分。

3.3.3實驗結果分析

為了能夠定量分析實驗結果以及實現效果,進行消融實驗,通過UNet、多尺度UNet以及多尺度UNet+后處理優化三個算法進行測試集的預測。圖4直觀展示了多尺度UNet和后處理優化算法對原來模型在分割效果上的提升,其中,經過原來模型改造的多尺度UNet,在分割效果上得到了實質的改善,其次,后處理優化在效果上也能提供一定的幫助。

(a) Unet分割圖 (b) 多尺度Unet分割圖 (c) 多尺度Unet分割圖+后處理分割圖 (d) 標準分割圖圖4 消融實驗效果對比圖

圖4中每一行表示對同一圖像的不同分割圖,矩形框標示出了UNet和多尺度UNet所產生的比較明顯的分割誤差。由于CT圖像的每個橫截面存在明顯尺度差異的特性,同時UNet模型欠缺解決尺度差異的能力。因此對比圖4中(a)、(b)和(d)可以看出UNet分割圖呈現出了較大的誤差,而在多尺度UNet分割圖中正是減少了這一方面的誤差,因此多尺度UNet能夠解決UNet模型所分割的圖像絕大部分的誤差。再者,對比圖4中(b)、(c)和(d)可以看出多尺度UNet分割圖還存在一些細節末端上的噪聲或者誤差,因此,針對圖4中(b)存在非目標區域的小區域噪聲,以及目標區域邊緣的細節誤差,加入了一系列數學形態學方法和基于分水嶺的后處理優化,對多尺度UNet中一定的誤差進行糾正。

為了進行更好的定量分析,根據預測分割圖和真實分割圖,分別計算IoU、DSC兩個比較廣泛應用的模型評估指標,同時計算出對于整個測試集的IoU平均值,DSC平均值,簡稱MIoU、MDSC。表1給出了UNet、多尺度UNet以及多尺度UNet+后處理優化三個方法的MIoU以及MDSC評估指標的比較。可以看出,多尺度UNet模型的改良對圖像分割效果在很大程度上有所幫助。同時,在多尺度UNet模型基礎上,加入后處理優化,能夠為模型分割圖去除噪聲,對最后的分割結果起到一定的改善作用。

表1 消融實驗結果對比(%)

將本論文方法與其他6種方法進行對比,包括:2.5D Residual UNet[35]、邊界3D UNet[26]、Hyper Vision Net[36]、AlexNet+UNet[25]、SERU[27]、3D UNet[37]。表2給出了包含后本文算法在內的7種方法的準確率比較。本文在多尺度UNet模型基礎上能夠有效地對腎臟CT圖像進行分割,同時在和其他方法比較中也有一定的優勢。

表2 CT圖像分割結果對比(%)

4 結 語

隨著醫學技術的發展,尤其是腎癌、腎結石等疾病微創介入治療手術的廣泛開展,臨床醫學對準確的腎臟組織分割的精準性要求越來越高,腎臟圖像的精準分割越來越具有強大的市場價值。近年來,隨著深度學習技術的發展,由于網絡與機器硬件的速度越來越快普及,以及越來越多的醫學圖像數據集的出現,這些極大地推動了深度學習在醫學圖像處理的快速發展。本文在UNet模型的基礎上提出了基于語義分割的多尺度UNet模型,通過對圖像進行像素級的分類,模型很好地適應了腎臟CT圖像不同尺度和不同細節特征的特點,有效地實現了對腎臟圖像完整的語義分割。同時為了得到更精準的腎臟組織細節圖像,本文模型最后更結合了數學形態學和分水嶺方法,有效地減少了腎臟圖像邊緣位置和關鍵部位的噪聲干擾。本文使用KITS19競賽中的腎臟CT圖像對模型進行訓練并測試,實驗結果表明,本文算法能完整地對圖像腎臟部位精準分割,在精確度上優于現在主流的一些算法,說明本文算法能為臨床腎臟疾病診斷提供依據。接下來的工作包括:進一步優化算法,使其適應更多環境下采集到的腎臟圖像的精準分割;更進一步地優化CNN網絡結構,使后部的數學形態學功能融進CNN網絡,從而實現端對端模型。