基于U-Net的多尺度視網(wǎng)膜血管分割方法

喻魯立，陳 黎,2

(1.武漢科技大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，湖北 武漢 430065；2.智能信息處理與實時工業(yè)系統(tǒng)湖北省重點實驗室，湖北 武漢 430065)

0 引 言

視網(wǎng)膜血管的形態(tài)和結(jié)構(gòu)一直是高血壓、冠心病、糖尿病等疾病的重要診斷指標之一。視網(wǎng)膜血管作為人體內(nèi)唯一可以無創(chuàng)觀察到的清晰血管，其檢測與分析對于上述疾病的研究有著重要的意義。但是由于視網(wǎng)膜血管密集且復(fù)雜，傳統(tǒng)的形態(tài)提取方法是由醫(yī)生來進行手工分割，耗時較多，不能滿足大量病患的診斷需求，同時也容易受到分割者主觀因素的影響導(dǎo)致手工分割的質(zhì)量不高。因此視網(wǎng)膜血管分割任務(wù)成為了計算機圖像處理領(lǐng)域的熱點和難點。近年來，深度學(xué)習發(fā)展逐漸成熟，自2012年AlexNet[1]刷新了Imagenet[2]的最好結(jié)果之后，深度卷積神經(jīng)網(wǎng)絡(luò)在計算機視覺的各個領(lǐng)域都取得了不錯的成績。FCN[3]在PascalVOC分割任務(wù)中取得了卓越的成績，U-Net[4]在某些醫(yī)學(xué)圖像處理上取得了最高的精度。PSP-Net[5]和DeepLab[6]也在其他的語義分割的任務(wù)中取得了好的成績。在這些神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，Ronneberger等[4]提出的結(jié)構(gòu)在醫(yī)學(xué)圖像處理中是被應(yīng)用的最廣泛的一種。

目前，國內(nèi)外研究人員提出了許多基于U-Net結(jié)構(gòu)的視網(wǎng)膜血管分割方法，比如文獻[7]提出了在U-Net中采用循環(huán)卷積塊。文獻[8-10]提出將注意力模塊引入U-Net結(jié)構(gòu)中使得網(wǎng)絡(luò)能選擇性地專注于顯著部分，以便更好地捕捉視覺結(jié)構(gòu)。文獻[11-13]提出在U-Net結(jié)構(gòu)中引入密集連接塊(Dense Blocks)。文獻[14-15]提出將U-Net結(jié)構(gòu)中的卷積塊替換成Inception模塊增強網(wǎng)絡(luò)對空間信息的提取能力。文獻[16]提出基于U-Net的多路徑網(wǎng)絡(luò)，在U型結(jié)構(gòu)中增加多個U型子網(wǎng)絡(luò)。該文將基于U-Net進行改進，將多尺度策略和Gao Huang等[17]提出的密集鏈接相結(jié)合以增強模型對圖片進行特征提取時在不同分辨率下的信息提取能力，使模型在視網(wǎng)膜血管末梢以及分叉處取得更精細的分割結(jié)果。

1 相關(guān)工作

1.1 更深層的神經(jīng)網(wǎng)絡(luò)

隨著神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)層加深，不同的模型之間的差異更加明顯，這也驅(qū)使著研究人員開始重新審視以往的研究思路，并且開始探索網(wǎng)絡(luò)層間不同的連接方式。Highway Networks[18]是第一個能對一百層以上的端到端網(wǎng)絡(luò)進行有效訓(xùn)練的網(wǎng)絡(luò)結(jié)構(gòu)，通過使用旁路和可學(xué)習的門限機制使得部分信息流在無衰減的情況下通過一些網(wǎng)絡(luò)層。而這些跳過一些網(wǎng)絡(luò)層的跳層鏈接被認為是減輕深層網(wǎng)絡(luò)帶來的梯度消失影響的關(guān)鍵，文獻[3,19]證明了卷積神經(jīng)網(wǎng)絡(luò)的跳層鏈接是有效的。而ResNets[20]的提出進一步證明這一觀點。由此，Gao Huang等[17]提出密集連接網(wǎng)絡(luò)。在傳統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)中，通常將第L層的輸出結(jié)果作為第L+1層的輸入，從而有轉(zhuǎn)換XL=HL(XL-1)。而ResNets[20]增加了一個跳層鏈接，通過公式(1)跳過了非線性轉(zhuǎn)換。

XL=HL(XL-1)+XL-1

(1)

ResNets[20]的一個優(yōu)點是梯度可以直接從后面的網(wǎng)絡(luò)層傳遞到較早的網(wǎng)絡(luò)層，但是這也可能會阻礙網(wǎng)絡(luò)層之間的信息傳遞。而更密集的連接可以進一步改善層與層之間的信息傳遞。Gao Huang等[17]提出了一種不同的連接方式，將每一層的輸出都當成后續(xù)網(wǎng)絡(luò)層的直接輸入。也就是說網(wǎng)絡(luò)中的第L層的輸入是前面0至L-1層的輸出。

XL=HL([X0,X1,…,XL-2,XL-1])

(2)

其中，X0,X1,…,XL-2,XL-1是L層以前的各個層生成的特征圖的串聯(lián)。這樣的連接方式減輕了深層網(wǎng)絡(luò)梯度傳播對網(wǎng)絡(luò)性能的影響。同時，Krizhevsky等[1]提出的ReLU激活函數(shù)已經(jīng)在主流神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中替代了sigmoid激活函數(shù)。使用ReLU激活函數(shù)被證明可以使加深的網(wǎng)絡(luò)層更容易收斂，ReLU激活函數(shù)的公式如下：

ReLU(x)=max(x,0)

(3)

Batch Normalization[21]作為一種可以學(xué)習的歸一化層，可以在一定程度上減輕梯度消失和梯度爆炸給網(wǎng)絡(luò)帶來的負面影響，同時也不會消耗過多的算力?？梢酝ㄟ^在網(wǎng)絡(luò)中逐層進行歸一化處理的方式來減小反向傳播時較遠層因梯度傳遞造成的負面影響。

1.2 多尺度策略

目前大多數(shù)語義分割網(wǎng)絡(luò)都采用了編解碼結(jié)構(gòu)。由于在編碼過程中降低了圖像的分辨率，所以這種方法會忽略圖像中的一些細節(jié)。為了解決這一問題，Ronneberger等人[4]提出在編碼器和解碼器之間建立躍層連接，使得網(wǎng)絡(luò)能更加有效地提取到不同層次的特征，從而取得更精確的分割結(jié)果，但對于目標信息仍然會有丟失。為了解決這一問題，文獻[22-23]通過在傳統(tǒng)網(wǎng)絡(luò)中引入多尺度學(xué)習策略來增強目標信息的特征提取從而提升任務(wù)精度。文獻[6]證明可以通過引入較低級別的特征進一步加強細節(jié)信息的獲取。隨著多尺度策略的進一步研究，多尺度特征融合策略引入了上下文相關(guān)的組合，共同利用高級特征和低級特征的優(yōu)勢。文獻[24-26]合并了多尺度特征以進行語義分割，并提升了分割結(jié)果的精度。同時，Sun Ke等[27]提出的高分辨率網(wǎng)絡(luò)，在整個過程中維護高分辨率的特征，逐步增加高分辨率到低分辨率的子網(wǎng)，形成更多的階段并將多分辨率子網(wǎng)并行連接。這個方法在人體姿態(tài)任務(wù)中取得了良好的效果。因此多尺度策略可提升網(wǎng)絡(luò)的性能。

1.3 損失函數(shù)

視網(wǎng)膜血管分割是一個像素二分類問題，視網(wǎng)膜血管區(qū)域定義為正樣本，其他區(qū)域定義為負樣本。而在數(shù)據(jù)集當中，正負樣本的比例接近1∶9，正負樣本比例嚴重失衡，如果采用圖像分割任務(wù)中常用的均方差損失函數(shù)或二分類交叉熵損失函數(shù)，網(wǎng)絡(luò)則會更加關(guān)注樣本多的類別，使模型的預(yù)測結(jié)果強烈地偏向負樣本。因此，樣本少的部分經(jīng)常缺失或是只能被部分檢測到。所以實驗中，該文采用Fausto Milletari等[28]提出的Dice損失函數(shù)來對模型進行參數(shù)更新。公式如下：

(4)

其中，N表示模型需要預(yù)測的像素點總數(shù)；pi[0,1]表示每個樣本的預(yù)測值；gi{0,1}表示每個像素的標簽值。Dice對每個像素點計算梯度的公式如下：

(5)

2 文中方法

文中提出的方法是基于U-Net[4]改進的模型，主要改進是在U-Net網(wǎng)絡(luò)的編碼階段和解碼階段之間通過增加密集連接網(wǎng)絡(luò)的方式維持了網(wǎng)絡(luò)對編碼階段每一層輸出的特征圖的學(xué)習。然后將密集連接網(wǎng)絡(luò)輸出的特征圖輸入到解碼器的相應(yīng)層中，接著與其他各層的特征圖進行融合。以此來提高網(wǎng)絡(luò)的特征提取能力，從而使網(wǎng)絡(luò)學(xué)習到更多的細節(jié)信息。

提出的模型整體呈一個四層的倒梯形結(jié)構(gòu)，每一層都保持著該層對應(yīng)分辨率下的特征表達。其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。網(wǎng)絡(luò)中有三次下采樣和三次上采樣，該文將保持編碼階段每次下采樣之前得到的特征圖的表達，直到與解碼階段對應(yīng)的上采樣特征圖融合進入該層對應(yīng)的解碼階段，并且通過ReLU激活函數(shù)來加強特征圖的細節(jié)信息，從而提高網(wǎng)絡(luò)對特征圖細節(jié)信息的提取能力，在特征圖融合的時候?qū)Σ煌叨鹊奶卣鲌D的尺度和通道進行融合，然后將融合后的特征圖輸入到對應(yīng)的解碼階段。

圖1 提出的網(wǎng)絡(luò)結(jié)構(gòu)

2.1 多尺度方法

為了保持不同分辨率下特征圖的表達，使網(wǎng)絡(luò)能更好地學(xué)習到圖像中所包含的信息，該文在編碼階段和解碼階段的對應(yīng)網(wǎng)絡(luò)層中間增加了部分卷積塊用來保持模型對不同尺度特征的學(xué)習。然后將經(jīng)過這些增加的卷積塊進一步提取信息后輸出的特征圖輸入到解碼階段對應(yīng)的網(wǎng)絡(luò)層中，與低分辨率網(wǎng)絡(luò)層經(jīng)過上采樣以后的特征圖進行融合，使網(wǎng)絡(luò)盡可能地保留不同尺度的特征信息。方法如圖2所示。

圖2 保持多尺度特征提取的結(jié)構(gòu)

2.2 密集連接

由于該文在編碼階段和解碼階段中間增加了部分卷積塊，導(dǎo)致網(wǎng)絡(luò)變的更深，使得網(wǎng)絡(luò)喪失了部分淺層的特征，同時產(chǎn)生了深層網(wǎng)絡(luò)常有的梯度消失問題。所以在增加的卷積塊之間使用密集連接，增強網(wǎng)絡(luò)中的信息傳遞，解決梯度消失和淺層特征缺失的問題。以圖3為例。特征圖進入模型編碼階段后輸出的結(jié)果為x1,x1經(jīng)過歸一化處理后作為該層后面每一個卷積塊的輸入，x1經(jīng)過第一個卷積塊后生成的特征圖x2再經(jīng)過歸一化處理后也作為該層后面每一個卷積塊的輸入，所以第二個卷積塊的輸入為y2=H([x1,x2])。以此類推，解碼階段對應(yīng)層的輸入為y=H([x1,x2,x3,x4])。

圖3 密集連接

常規(guī)的U-Net采用的是編碼器最后一層的輸出作為解碼器的輸入，這一輸入含有最豐富的語義信息，但是圖像經(jīng)過多重卷積和池化操作后會缺少一些細節(jié)信息，因而對于分割目標會出現(xiàn)過分割和欠分割的問題，所以該文選擇保持不同分辨率下的特征表達，并使用密集連接的方式保證網(wǎng)絡(luò)中的信息流通。最后將多尺度多層次的特征圖輸入到解碼階段對應(yīng)的網(wǎng)絡(luò)層中與其他尺度的特征圖進行融合。從而使最終的特征圖保留不同尺度下的細節(jié)信息。

3 實驗結(jié)果及分析

實驗在一個工作站上運行，操作系統(tǒng)為ubuntu18.04，工作站配備Intel(R) Xeon(R) CPU E5-2620 V4處理器，主頻為2.10 GHz，內(nèi)存64G，GPU由四個TiTan XP組成。

3.1 實驗數(shù)據(jù)及其預(yù)處理

實驗采用了DRIVE數(shù)據(jù)集和CHASE_DB1數(shù)據(jù)集。DRIVE數(shù)據(jù)集中包含40張彩色視網(wǎng)膜圖像以及視網(wǎng)膜圖像標簽，其中前20張圖像及其標注圖像作為實驗的訓(xùn)練樣本，后20張圖像及其標注圖像作為實驗的測試樣本；CHASE_DB1數(shù)據(jù)集中包含28張彩色視網(wǎng)膜圖像以及視網(wǎng)膜圖像標簽，在該數(shù)據(jù)集隨機挑中20張圖像及標注用于訓(xùn)練樣本，其余的8張圖像及標注用于測試樣本。在只有少量樣本用于實驗的情況下，為了提升模型的分割效果，增強模型的魯棒性，實驗中對每個數(shù)據(jù)集進行如下操作：首先對每張圖像以48為間隔裁剪成256×256的圖像塊，并且對每個圖像塊及其標注圖像以25%的概率隨機進行上下左右翻轉(zhuǎn)。同時也對每個圖像塊隨機進行圖像增強操作。由于模型對圖像進行了三次下采樣，所以該實驗需要將圖片填充至長寬都為8的倍數(shù)，所以在測試前在圖片周圍填充一些值為0的像素點。

3.2 評價指標

在視網(wǎng)膜血管的分割中，若模型預(yù)測的結(jié)果與專家的標注圖像相同則該像素點為真陽性(TP)，若相反，則該像素點為假陽性(FP)；對于圖像背景，若預(yù)測圖像像素點與標注圖像相同則該像素點為真陰性(TN)，若相反則該像素點為假陰性(FN)。

為了定量分析網(wǎng)絡(luò)模型的分割結(jié)果并且更好地與其他方法進行對比，采用準確率(ACC)、靈敏度(SE)、特異性(SP)和F1分數(shù)(F1-score)這四個通用指標來客觀評價模型對視網(wǎng)膜血管的分割效果。其中F1分數(shù)越高，表示模型的分割結(jié)果與標注圖像越相似。以上指標計算公式如下：

(6)

(7)

(8)

(9)

(10)

(11)

3.3 參數(shù)設(shè)置及訓(xùn)練

該優(yōu)化方法采用隨即梯度下降算法(stochastic gradient descent，SGD)；訓(xùn)練批次設(shè)置為1 000；batchsize設(shè)置為8；測試批次為1；學(xué)習率初始化為0.001，權(quán)重衰減設(shè)置為0.9，在訓(xùn)練中使用poly策略對學(xué)習率進行調(diào)整，公式如下。

(12)

3.4 實驗結(jié)果與分析

為了證明密集連接的有效性和必要性，進行了是否加入密集連接的對比實驗。結(jié)果如表1所示。

表1 是否增加密集連接的消融實驗

經(jīng)過實驗發(fā)現(xiàn)，該模型的分割能力和損失函數(shù)的采用有關(guān)。為了取得更好的效果，使用分割中常用的交叉熵損失函數(shù)(BCE loss)和Dice損失函數(shù)進行了對比實驗，結(jié)果如表2所示。實驗結(jié)果表明，使用Dice損失函數(shù)得出的分割結(jié)果在靈敏度和F1-score上要大幅優(yōu)于使用交叉熵損失函數(shù)得出的結(jié)果。這是由于在視網(wǎng)膜血管在圖像上存在嚴重對類別不平衡，使用交叉熵損失函數(shù)訓(xùn)練網(wǎng)絡(luò)容易導(dǎo)致模型受到樣本占比較多的類別影響導(dǎo)致模型過擬合。而Dice損失函數(shù)可以解決樣本分布不均衡的問題，并在訓(xùn)練過程中對難以學(xué)習的樣本進行有針對性的優(yōu)化。從而緩解樣本分布不均衡帶來的負面影響，提升模型的性能。

表2 損失函數(shù)的消融實驗

為了驗證文中算法的模型分割性能，，將文中算法與U-Net[4]、Residual U-Net[29]、Ladder-Net[30]、R2U-Net[7]四種分割網(wǎng)絡(luò)進行對比實驗。采用相同的網(wǎng)絡(luò)訓(xùn)練參數(shù)，對以上五種網(wǎng)絡(luò)分別進行訓(xùn)練，并利用驗證集對訓(xùn)練好的模型性能進行測試。

文中算法與U-Net[4]、Residual U-Net[29]、Ladder-Net[30]、R2U-Net[7]在各項評價指標上的對比情況如表3和表4所示。在CHASE_DB1數(shù)據(jù)集上，文中算法相比于其他四種分割網(wǎng)絡(luò)的靈敏度、特異性、準確率和F1-score均有不同程度的提高；在DRIVE數(shù)據(jù)集上，文中算法相比其他四種分割網(wǎng)絡(luò)的靈敏度、準確率和F1-score均有不同程度的提高。

表3 在CHASE_DB1數(shù)據(jù)集上的分割性能對比

表4 在DRIVE數(shù)據(jù)集上的分割性能對比

圖4展示了文中算法的分割效果。由圖4可以很直觀地看出，對于DRIVE數(shù)據(jù)集，文中算法的分割結(jié)果相比于U-Net的分割結(jié)果，對于圖像右側(cè)和圖像中部的細小血管保留更加完整，分割輪廓也更加清晰。對于CHASE_DB1數(shù)據(jù)集，文中算法的分割結(jié)果相比于U-Net的分割結(jié)果，在圖像四周的細小血管末梢分割更為清晰，并且有效解決了細小血管斷裂的問題，血管的連通程度更高。

圖4 分割結(jié)果對比

4 結(jié)束語

針對視網(wǎng)膜圖像處理和醫(yī)學(xué)影像的分割特點，傳統(tǒng)的分割網(wǎng)絡(luò)對于過分割和欠分割等問題，提出了一種通過在網(wǎng)絡(luò)編解碼結(jié)構(gòu)中采用密集鏈接的方式增加卷積塊的方法，增強了模型在不同尺度下對于圖像細節(jié)的提取能力，確保最大程度地保留細節(jié)信息。從實驗結(jié)果可以看出，該算法相比于其他算法有更好的分割效果。在后面的工作中，將著重于解決部分細小血管分割斷裂的問題，進一步提升模型的分割精度。