區(qū)域生長和U-Net結(jié)合的視網(wǎng)膜血管分割系統(tǒng)設(shè)計與實現(xiàn)

蔣夢朵，張鵬宇，張書赫，孫心月，陶黎明，周金華

中國盲人數(shù)目約500萬人，占世界盲人總數(shù)的18%[1]。心腦血管疾病是歐洲可預(yù)防性失明的最常見原因[2]。視網(wǎng)膜血管是全身血管系統(tǒng)中唯一可以無創(chuàng)直接觀測到的部分。Razieh et al[3]指出視網(wǎng)膜血管作為心腦血管疾病檢查的重要部位。在心腦血管疾病檢查中，2D彩色眼底圖[4]相比于3D光學(xué)相干斷層掃描[5]有更好的優(yōu)勢，不僅可以降低成本，而且適合做大規(guī)模篩查工作。但是心腦血管疾病的臨床診斷主要依靠于眼科醫(yī)師的專業(yè)判斷及計算機輔助診斷[6]，并且視網(wǎng)膜血管分割算法主要在編寫腳本程序中進行的，需要進行大量參數(shù)調(diào)整，不便于觀察可視化結(jié)果。該研究旨在設(shè)計并開發(fā)一種區(qū)域生長和U-Net結(jié)合的視網(wǎng)膜血管分割處理系統(tǒng)。

1 材料與方法

1.1 數(shù)據(jù)集DRIVE是一個最常用于血管分割的數(shù)字視網(wǎng)膜圖像數(shù)據(jù)集，它由Nieneijer團隊于2004年組成[7]，包括一組20張訓(xùn)練圖像和一組20張測試圖像，圖像分辨率均為565×584像素，其中7張顯示輕度早期糖尿病視網(wǎng)膜病變跡象。此外，STARE數(shù)據(jù)集也是用來進行視網(wǎng)膜血管分割的彩色眼底圖數(shù)據(jù)庫，包括20張眼底圖像,圖像分辨率為605×700像素。這兩個數(shù)據(jù)集中每個彩色眼底圖像分別對應(yīng)著兩組標準的視網(wǎng)膜血管分割結(jié)果，本文統(tǒng)一使用第一組專家分割結(jié)果做性能分析。

1.2 U-Net網(wǎng)絡(luò)匹配濾波模型[8]、數(shù)學(xué)形態(tài)學(xué)模型[8]能夠?qū)崿F(xiàn)視網(wǎng)膜的半自動血管分割，算法簡單，分割精度較高。為了實現(xiàn)是視網(wǎng)膜的全自動分割，U-Net網(wǎng)絡(luò)[9]早在2006年就被Hinton提出，其主要由兩大核心部分組成，第一部分為收縮路徑，用于下采樣；第二部分為擴張路徑，用于上采樣，如圖1中間部分所示，圖中卷積層上的數(shù)字表示輸出的特征通道數(shù)，下采樣過程中通道數(shù)增加，上采樣過程中通道數(shù)減少。視網(wǎng)膜圖像(見圖1A)輸入U-Net網(wǎng)絡(luò)之前，需要對所有訓(xùn)練集和測試集進行預(yù)處理操作[10]以增強血管與背景的對比度，見圖1B。由于數(shù)據(jù)集的樣本量較少，為獲取大量的數(shù)據(jù)來擬合模型參數(shù)，對數(shù)據(jù)集進行隨機區(qū)塊(見圖1C，圖像分辨率為64×64像素)提取以達到數(shù)據(jù)擴增的目的。兩個卷積層后面接ReLU激活函數(shù)[11]，該函數(shù)的主要功能是克服梯度消失現(xiàn)象。為學(xué)習(xí)區(qū)分視野邊界與血管，U-Net網(wǎng)絡(luò)需要加入掩膜區(qū)塊圖像(見圖6E)。為實現(xiàn)基于整張圖像的自動分割，收縮路徑與擴張路徑上的卷積層的邊界填充均設(shè)置為1，采用卷積核大小為1和輸出特征通道數(shù)為2的卷積層作為網(wǎng)絡(luò)的輸出，輸出結(jié)果見圖6G。U-Net網(wǎng)絡(luò)不僅能支持少量樣本的訓(xùn)練模型，針對每個像素點進行分割以獲得更高的分割準確率，而且訓(xùn)練本身具有自我調(diào)節(jié)的過程和權(quán)重劃分，有效的卷積層能大幅度地降低訓(xùn)練時間，同時引入圖像鏡像操作，更好地對數(shù)據(jù)進行訓(xùn)練。本網(wǎng)絡(luò)采用交叉損失熵作為損失函數(shù)[12]，像素點經(jīng)Sigmoid函數(shù)[13]映射以輸出血管像素的概率。

圖1 U-Net網(wǎng)絡(luò)的可視化結(jié)構(gòu)(以DRIVE為例)

1.2 區(qū)域迭代生長經(jīng)U-Net網(wǎng)絡(luò)對視網(wǎng)膜血管進行初次分割后，盡管視盤區(qū)域的血管分割和整個血管網(wǎng)絡(luò)中的絕大多數(shù)血管分割有了顯著效果，但細微視網(wǎng)膜血管仍存在漏分割的現(xiàn)象。為此，借助“視網(wǎng)膜血管網(wǎng)絡(luò)是相互連通的血管樹構(gòu)成”這一先驗知識[14]，在基于U-Net網(wǎng)絡(luò)的初步分割的基礎(chǔ)上對視網(wǎng)膜血管樹進行區(qū)域生長，具體過程如下：① 對視網(wǎng)膜圖像(見圖2A)進行綠色通道歸一化處理，結(jié)果見圖2B。② 將歸一化后的視網(wǎng)膜圖像經(jīng)均值濾波(卷積核大小為100)后得到背景圖像，歸一化后的視網(wǎng)膜圖像與背景圖像相減得到(見圖2C)的濾波增強圖像。③ 選取視網(wǎng)膜血管的“種子點”：利用四個方向(45°、90°、135°和180°)的線檢測方法對濾波增強圖像進行單像素的血管中心檢測，檢測結(jié)果如圖2D～G所示。接著將四個方向的線檢測結(jié)果疊加得到如圖2H所示的視網(wǎng)膜血管“種子點”分布圖。④ 區(qū)域迭代生長：利用區(qū)域生長法和梯度信息對視網(wǎng)膜圖像中的血管區(qū)域進行迭代生長和分類。由于視網(wǎng)膜血管樹是一個相互連通的區(qū)域，血管部分一般處于梯度較低的區(qū)域，在視網(wǎng)膜血管每個“種子點”像素位置上向8鄰域進行遍歷以尋找屬于血管的像素，血管與背景的判斷標準滿足[14]。

(1)

公式(1)中，ρ為像素的梯度值，α=1，每次迭代一次。由于視網(wǎng)膜血管邊緣像素的梯度值較高，參數(shù)μf?ρ可防止出現(xiàn)血管邊緣被歸為背景的情況。接著，再次進行區(qū)域迭代生長，直到所有像素分類完畢。本文中μf=0.0789和σf=0.0774時，圖2J是在基于U-Net網(wǎng)絡(luò)的分割結(jié)果的基礎(chǔ)上利用種子點和公式(1)得到的區(qū)域迭代生長以后的結(jié)果，即最終血管分割結(jié)果，與圖2I相比，細微視網(wǎng)膜血管分割效果得到進一步的提升。

圖2 獲取視網(wǎng)膜血管“種子點”的可視化結(jié)果

2 結(jié)果

2.1 系統(tǒng)配置實驗的仿真平臺為MATLAB，計算機配置為Intel(R) Core(TM) i7-7700 CPU @ 3.60 GHz，16G內(nèi)存，Nvidia Quadro P4000 GPU，采用64位的windows10。

2.2 性能指標為了系統(tǒng)地定量分析本文血管分割結(jié)果的性能，使用三個指標來衡量區(qū)域生長與U-Net網(wǎng)絡(luò)(Region Growing and U-Net Network，RG-Unet)結(jié)合的算法性能。這三個指標為：

(2)

(3)

(4)

其中TP、TN、FP、FN分別為真陽性、真陰性、假陽性、假陰性。敏感度(sensitivity)表示正確分類的血管像素占真正血管像素的百分比；特異性(specificity)表示正確分類的非血管像素占真正非血管像素的百分比。如果提高分割的敏感性，必然降低其分割的特異性，反之亦然。準確率(accuracy)表示正確分類血管和非血管像素占整個圖像總像素的百分比。

2.3 視網(wǎng)膜血管分割結(jié)果圖3是對DRIVE眼底圖像庫測試集中編號為01_test、02_test和11_test的示例進行血管分割所得的可視化結(jié)果。其中，第一列為三個示例的原圖，第二列為第一位專家分割金標準圖像，第三列為本文算法進行視網(wǎng)膜血管分割的結(jié)果。由圖3B、C所示，視網(wǎng)膜血管的主干部分(如金黃色部分所示)都能被分割出來，只有少數(shù)微血管以及位于視盤邊緣的血管(如紫色和天藍色部分所示)被漏分割或錯誤分割。表1和表2分別是利用公式(2)-(4)計算DRIVE和STARE中20個示例血管分割的敏感度Sn、特異性Sp和準確率Acc所得的定量結(jié)果，經(jīng)計算得敏感度Sn、特異性Sp和準確率Acc的平均值分別為0.7684、0.9821和0.977 7。根據(jù)表1和表2中的敏感度，說明本文方法能正確地分割絕大多數(shù)血管；然后根據(jù)表1和表2中的特異性，說明本文方法將背景錯誤分割為血管的概率較低(小于3%)；最終根據(jù)表1和表2的準確率，說明大部分血管和背景都能被正確地分割的概率高于96%。由圖3、表1和表2綜合看出，RG-Unet能分割出視網(wǎng)膜血管的主干部分，血管網(wǎng)絡(luò)具有較好的連續(xù)性和平滑性,可以高精度、可視化地觀察到視網(wǎng)膜血管結(jié)構(gòu)。

圖3 三組血管分割結(jié)果

RG-Unet及匹配濾波、數(shù)學(xué)形態(tài)學(xué)和U-Net網(wǎng)絡(luò)四種模型分別對DRIVE眼底圖像庫測試集中編號為01_test、02_test和11_test三個示例圖像進行視網(wǎng)膜血管分割，所得的分割結(jié)果見圖4。其中，第一列為三個示例的原圖，第二列是DRIVE眼底圖像庫中第一位專家金標準圖，第3列至第6列分別是匹配濾波模型、數(shù)學(xué)形態(tài)學(xué)模型、U-Net網(wǎng)絡(luò)模型和RG-Unet對三個示例圖像進行視網(wǎng)膜血管分割的結(jié)果。RG-Unet及匹配濾波、數(shù)學(xué)形態(tài)學(xué)、U-Net網(wǎng)絡(luò)四種分割模型對DRIVE眼底圖像庫測試集中20個示例圖像進行視網(wǎng)膜分割所得敏感度Sn、特異性Sp和準確率Acc的定量結(jié)果見表3。在DRIVE眼底圖像庫測試集中選取4張存在輕度早期糖尿視網(wǎng)膜病變跡象的視網(wǎng)膜圖像經(jīng)本文系統(tǒng)處理后的結(jié)果見圖5。其中第1行為4個示例的原圖，第2行為第一位專家金標準圖像，第3列為RG-Unet系統(tǒng)處理后的視網(wǎng)膜血管分割圖像，可以清晰地觀察到存在輕度早期糖尿視網(wǎng)膜病變跡象的視網(wǎng)膜圖像中的血管結(jié)構(gòu)，醫(yī)師可通過血管結(jié)構(gòu)的變化對人體患病的位置和程度有大致的判斷，有效地提高診斷與治療的效率，有效避免由于疾病導(dǎo)致的視覺損失。

表1 RG-Unet分割DRIVE眼底圖像庫中20個示例血管的定量結(jié)果

表2 RG-Unet分割STARE眼底圖像庫中20個示例血管分割的定量結(jié)果

表3 RG-Unet和三種模型分割 DRIVE眼底圖像庫的定量結(jié)果

2.4 系統(tǒng)功能在本研究中，利用MATLAB GUIDE實現(xiàn)視網(wǎng)膜圖像處理系統(tǒng)的過程可以分為用戶交互的圖形界面布局和相應(yīng)功能實現(xiàn)的程序兩大部分。在第1節(jié)的研究過程中，本研究將用戶交互界面設(shè)計成兩大模塊，分別對應(yīng)于兩個界面：主界面為視網(wǎng)膜圖像預(yù)處理模塊，如圖6所示；子界面為視網(wǎng)膜血管分割模塊，如圖7所示。

圖4 四種不同模型分割DRIVE眼底圖像庫01_test、02_test和11_test的結(jié)果

圖5 存在輕度早期糖尿視網(wǎng)膜病變跡象的視網(wǎng)膜圖像經(jīng)系統(tǒng)所保存輸出的視網(wǎng)膜血管分割結(jié)果A：原始的視網(wǎng)膜圖像；B：DRIVE中第一位專家金標準圖像；C：經(jīng)RG-Unet系統(tǒng)處理后保存輸出的視網(wǎng)膜血管分割圖

2.4.1視網(wǎng)膜圖像預(yù)處理模塊 視網(wǎng)膜圖像預(yù)處理模塊包括選擇圖片、選擇RGB通道、圖像歸一化、限制對比度自適應(yīng)直方圖均衡化(contrast limited adaptive histogram equalization，CLAHE)和Gamma校正(gamma correction, GC)，見圖6。原始的視網(wǎng)膜眼底圖像顯示在界面的左上角，RGB通道中的綠色通道結(jié)果顯示在界面右邊區(qū)域左上角，歸一化圖像顯示在右邊區(qū)域右上角，CLAHE增強圖像和GC校正圖像分別顯示在界面右邊區(qū)域的左下角和右下角。

2.4.2視網(wǎng)膜血管分割模塊 視網(wǎng)膜血管分割模塊包括基于U-Net網(wǎng)絡(luò)的血管分割和再次區(qū)域生長的血管分割(最終分割結(jié)果)，見圖7。基于U-Net網(wǎng)絡(luò)的血管分割結(jié)果顯示在界面的左上角，RG-Unet分割結(jié)果顯示在界面的右邊區(qū)域。U-Net分割結(jié)果與RG-Unet分割結(jié)果顯示在一個界面，與初次分割結(jié)果相比，RG-Unet分割結(jié)果在微血管上有了進一步的改善，無需在程序腳本中進行調(diào)整參數(shù)，更便于調(diào)整前后結(jié)果的可視化觀察。

圖6 視網(wǎng)膜圖像預(yù)處理界面

圖7 視網(wǎng)膜血管分割界面

3 討論

在視網(wǎng)膜血管分割中，微血管分割一直是各種分割方法的研究重點[9]，為此，不同的視網(wǎng)膜血管分割模型被提出，如匹配濾波、數(shù)學(xué)形態(tài)學(xué)和深度學(xué)習(xí)等。基于匹配濾波的方法主要是通過計算濾波后圖像的最大響應(yīng)值來提取血管分割圖像[14]，容易在視網(wǎng)膜視盤處(高亮部分)出現(xiàn)誤分割現(xiàn)象。為充分考慮血管自身的特性，數(shù)學(xué)形態(tài)學(xué)法直接對血管進行操作來彌補較弱的響應(yīng)以實現(xiàn)血管分割[14]，分割后的血管上容易出現(xiàn)“空洞”，在血管連通性和平滑性上表現(xiàn)不好。根據(jù)大量的血管先驗知識，基于深度學(xué)習(xí)的方法開始被使用于視網(wǎng)膜眼底圖像處理中。U-Net網(wǎng)絡(luò)利用專家手工標定的訓(xùn)練集訓(xùn)練后對像素進行分類的有監(jiān)督學(xué)習(xí)方法對血管進行自動提取[8]，這種方法在高亮部分和血管連通性上都處理得較好，但細微血管處的分割效果仍需要進一步的提升。RG-Unet就是將U-Net與區(qū)域生長相結(jié)合，利用四個方向的線檢測來尋找視網(wǎng)膜血管的“種子點”, 增加細微血管像素占真正血管像素的百分比，不僅能夠有效消除視盤處(高亮部分)的影響，正確地分割出大部分視網(wǎng)膜血管，具有較好的血管連續(xù)性和平滑性，而且能夠提升細微視網(wǎng)膜血管的分割效果。

盡管RG-Unet獲得了較好的視網(wǎng)膜血管分割效果，借助該系統(tǒng)能夠高精度、可視化地觀察視網(wǎng)膜血管結(jié)構(gòu)，無需在程序腳本中進行調(diào)整參數(shù)，快速方便，但沒有進一步研究疾病與視網(wǎng)膜血管的形態(tài)屬性(如長度、寬度、彎曲度和分支角度等)的關(guān)系。因此，如何探究由RG-Unet系統(tǒng)獲取的視網(wǎng)膜血管的形態(tài)屬性與疾病的類型、程度之間的聯(lián)系是下一步的研究重點。

本研究利用MALAB軟件在算法實現(xiàn)以及可視化界面開發(fā)等方面的優(yōu)勢，對視網(wǎng)膜圖像中的血管進行預(yù)處理并利用U-Net網(wǎng)絡(luò)原理進行視網(wǎng)膜血管初步分割，再通過利用區(qū)域迭代生長算法對視網(wǎng)膜血管進行二次分割。通過MATLAB GUIDE設(shè)計完成了視網(wǎng)膜血管分割系統(tǒng)，利用MATLAB編寫血管分割相關(guān)的腳本程序，進而視網(wǎng)膜血管分割的界面設(shè)計與功能實現(xiàn)。本研究提供了一個有效的眼底血管分割系統(tǒng)，在醫(yī)學(xué)圖像分割方面具有一定的研究與應(yīng)用價值。此外，該系統(tǒng)具有界面交互性良好、操作簡單等特點，為醫(yī)師可視化地觀察視網(wǎng)膜血管結(jié)構(gòu)的變化提供了一種有效的應(yīng)用平臺，也為醫(yī)師判斷病變性質(zhì)提供了思考方向。