基于U-net++的全卷積網(wǎng)絡(luò)的視網(wǎng)膜血管分割

李豐卓

（中南民族大學(xué)生物醫(yī)學(xué)工程學(xué)院 湖北·武漢 430074）

0 引言

各類眼科疾病會(huì)引起視網(wǎng)膜血管發(fā)生形變。對(duì)眼底圖像的定量分析，可以提前通過視網(wǎng)膜血管的異常結(jié)構(gòu)實(shí)現(xiàn)心血管疾病的預(yù)測、診斷和治療。近年來，深度學(xué)習(xí)方法在醫(yī)學(xué)圖像分割領(lǐng)域應(yīng)用廣泛，相關(guān)學(xué)者針對(duì)相關(guān)問題研究了許多自動(dòng)分割的算法。早期，許多計(jì)算機(jī)視覺算法基于血管的先驗(yàn)知識(shí)等信息，從圖像預(yù)處理的角度來處理這個(gè)問題。然而，隨著深度學(xué)習(xí)方法的提出，可以通過自動(dòng)特征學(xué)習(xí)來獲取更多的圖像特征信息。尤其是卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks,CNN）的提出使其可以通過權(quán)值共享來實(shí)現(xiàn)復(fù)雜圖像的快速高效處理，在圖像分類、分割、重建等方面得到了廣泛的應(yīng)用。一些研究已經(jīng)證明，CNN在視網(wǎng)膜血管分割方面取得了更好的性能。例如，Liskowsk等人[1]利用CNN設(shè)計(jì)一個(gè)二分類器，將血管分割任務(wù)看成逐像素的分類任務(wù)，實(shí)現(xiàn)了較為準(zhǔn)確的分割效果，與傳統(tǒng)方法相比性能有所提升，對(duì)血管的細(xì)微結(jié)構(gòu)也有較好的效果。然而，由于視網(wǎng)膜血管結(jié)構(gòu)復(fù)雜多變，這些方法分割的血管依舊比較模糊。

針對(duì)視網(wǎng)膜血管結(jié)構(gòu)復(fù)雜多變，精細(xì)血管結(jié)構(gòu)分割不精確等問題，本文在U-net基礎(chǔ)上引入U(xiǎn)-net++[2]來進(jìn)一步提高視網(wǎng)膜血管圖像的分割精度和精確率，通過實(shí)驗(yàn)證明方法可以有效提升視網(wǎng)膜血管分割的準(zhǔn)確率和精度。

1 方法

深度學(xué)習(xí)模擬人工神經(jīng)網(wǎng)絡(luò)，能夠?qū)崿F(xiàn)從輸入提取復(fù)雜的深層次特征。與傳統(tǒng)的機(jī)器學(xué)習(xí)算法不同，無須使用過多的人工特征，由于其自學(xué)特征的能力給圖像處理技術(shù)帶來了巨大突破。近年來，隨著GPU性能的提升，深度學(xué)習(xí)在生物信息學(xué)，醫(yī)學(xué)圖像處理，自然語言處理等各個(gè)領(lǐng)域得到了廣泛的應(yīng)用。

1.1 U-net++網(wǎng)絡(luò)

基于編碼器-解碼器網(wǎng)絡(luò)在醫(yī)學(xué)圖像分割領(lǐng)域應(yīng)用廣泛，其通過跳躍連接的特征融合方式更是將低級(jí)特征和高級(jí)特征緊密結(jié)合，即使在復(fù)雜背景下也能有效地實(shí)現(xiàn)圖像的準(zhǔn)確分割。根據(jù)這些特點(diǎn)，在原始U-net上，高效集成多種深度的U-net來共享編碼器；重新設(shè)計(jì)跳躍連接，聚合多尺度語義特征；設(shè)計(jì)剪枝方案，變化U-net++結(jié)構(gòu)使得特征融合更加靈活，加快網(wǎng)絡(luò)的學(xué)習(xí)速度，所用的U-net++結(jié)構(gòu)如圖1所示。

整個(gè)網(wǎng)絡(luò)首先融合了多種不同深度的U-net，避免了U-net的最佳深度的未知先驗(yàn)設(shè)計(jì)，無須廣泛的架構(gòu)探索。同時(shí)，這些U-net還可以設(shè)計(jì)融入殘差塊，密集連接塊等減少網(wǎng)絡(luò)參數(shù)，提升網(wǎng)絡(luò)分割性能；重新設(shè)計(jì)的跳躍連接避免了不必要的特征強(qiáng)制融合方式，無須在編碼解碼子網(wǎng)上來強(qiáng)制融合相同比例的特征圖，可以聚合多尺度的特征信息，實(shí)現(xiàn)更為靈活的特征融合；還能通過剪枝來快速探尋最優(yōu)的分割分支。網(wǎng)絡(luò)的連通計(jì)算如下：

式中xi,j表示神經(jīng)元Xi,j的輸出，其中i代表沿編碼器方向索引下采樣層，j代表沿著跳躍連接密集塊的卷積層。函數(shù)H()表示卷積運(yùn)算，卷積完之后再用激活函數(shù)激活，D()和U()分別表示下采樣層和上采樣層，[]表示串聯(lián)層。如圖1所示，j=0的節(jié)點(diǎn)接受的僅僅是上一個(gè)編碼器層的一個(gè)輸入，級(jí)別j=1的節(jié)點(diǎn)接受兩部分連續(xù)層的輸入，一部分輸入來自連續(xù)層的跳躍連接，另一部分輸入來自連續(xù)層的上采樣，j＞1接受j+1個(gè)節(jié)點(diǎn)的輸入，其中j個(gè)輸入是同級(jí)別的路徑中之前j個(gè)節(jié)點(diǎn)的跳躍連接，另外一個(gè)輸入是從低層級(jí)的相鄰節(jié)點(diǎn)的上采樣的輸出。最后，全部之前的特征圖都會(huì)疊加在當(dāng)前節(jié)點(diǎn)，這是因?yàn)樵诿總€(gè)跳躍連接都使用了密集卷積塊。

圖1：U-net++

1.2 數(shù)據(jù)集及預(yù)處理

DRIVE Dataset是用于視網(wǎng)膜病變研究的數(shù)據(jù)集，其中包含有40張彩色視網(wǎng)膜血管圖像。在網(wǎng)絡(luò)訓(xùn)練之前，通過標(biāo)準(zhǔn)化對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，同時(shí)利用隨機(jī)翻轉(zhuǎn)，高斯噪聲等來進(jìn)行數(shù)據(jù)增強(qiáng)，擴(kuò)充數(shù)據(jù)集，避免網(wǎng)絡(luò)過擬合。

2 實(shí)驗(yàn)

2.1 評(píng)價(jià)標(biāo)準(zhǔn)

在視網(wǎng)膜分割任務(wù)中，血管分割可以看作是一個(gè)圖像翻譯任務(wù)，對(duì)每一個(gè)像素進(jìn)行二分類，判斷每個(gè)像素是否屬于視網(wǎng)膜血管。為了衡量分割網(wǎng)絡(luò)的效果，引入了Dice相似系數(shù)來衡量分割結(jié)果與手工掩膜之間的相似性。以及使用ROC曲線及AUC值等來評(píng)價(jià)網(wǎng)絡(luò)的分割性能。

2.2 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果如表1所示，對(duì)比了不同方法下模型的性能。

模型 Dice ROC AUC u-net 0.751 0.9648 0.8754 u-net++ 0.796 0.9700 0.8831

從表中可以看出，我們的方法在Dice系數(shù)上提高了0.045，ROC曲線提高了0.0052，AUC值提高了0.0077，證明了引入該方法有效提升了視網(wǎng)膜血管的分割結(jié)果。

經(jīng)過數(shù)據(jù)預(yù)處理送入到網(wǎng)絡(luò)之后的分割結(jié)果如上圖所示：最左側(cè)是原始視網(wǎng)膜圖像，標(biāo)簽是醫(yī)生手工分割的，最右側(cè)是網(wǎng)絡(luò)的分割結(jié)果。通過標(biāo)簽與網(wǎng)絡(luò)預(yù)測結(jié)果對(duì)比可知，我們的網(wǎng)絡(luò)可以實(shí)現(xiàn)準(zhǔn)確清晰地分割血管。