基于集成分類型深度神經網絡的視網膜眼底血管圖像分割*

蔣 蕓,王發林,張 海

(西北師范大學計算機科學與工程學院,甘肅 蘭州 730070)

1 引言

眼底疾病種類繁多復雜,其中發病率和致盲率比較高的有白內障、青光眼和糖尿病視網膜病變等[1]。眼底是唯一能夠直接觀察到血管的人體部位,其自身的變化,如血管寬度、角度和分支形態等,為疾病的早期診斷提供了依據[2]。眼底血管分析是目前診斷眼底疾病的主要方式,眼底血管分割則是疾病定量分析的必要步驟。近年來,隨著計算機硬件和圖像處理技術的發展,圖像分割技術也開始應用到眼底圖像領域[3]。

目前,國內外研究人員在眼底圖像血管分割方面已有一些研究,主要分為無監督和有監督2大類[4]：

(1)無監督方法。無監督方法事先沒有標注訓練樣本,在大多數情況下直接構建模型。主要包括基于血管跟蹤的方法[5,6]、基于匹配濾波的方法[7,8]、基于形變模型的方法[9]、基于C均值聚類的方法[10,11]和基于驗證的自適應局部閾值化的多閾值探測方法[12]等。文獻[5]提出了一種視網膜圖像血管分割和特征提取方法,這種多尺度線跟蹤方法是從一組像素開始,這個過程是從亮度選擇規則派生的,并在橫截面輪廓條件無效時終止。文獻[7]提出的基于匹配濾波的方法首次將濾波器與圖像進行卷積,提取目標對象,因為視網膜血管剖面的灰度符合高斯特性,所以可以通過計算圖像濾波后的最大響應值來進行血管分割。在文獻[9]中,基于形變模型的方法思路很直觀,它用曲線來描繪出血管的邊界,邊界曲線通過能量函數的參數來定義,在邊界兩側能量變化的影響下,邊界曲線發生形變,因此使能量函數最小化就可以達到分割血管的目的。由于視網膜中病變部位的特征和正常血管特征極為相似,所以這些方法會導致檢測錯誤。

(2)有監督方法。與無監督方法不同,有監督方法需要標注訓練樣本以構建最佳預測模型。有監督方法包含：K-近鄰方法[13]、支持向量機[9,14,15]和人工神經網絡[16]等。目前性能最優的視網膜血管分割方法是基于深度神經網絡的方法[17 - 19]。Ronneberger等人[19]提出的U_Net,首先使用卷積神經網絡CNN(Convolutional Neural Network)從原始醫學圖像中提取特征；然后將這些特征上采樣到分割圖像,大大增強了深度神經網絡以端到端以及像素到像素的方式分割血管的能力。圖像的上下文信息被捕獲并傳播到更高分辨率的層,因此獲得更高的分割準確率，但仍然無法解決細小血管處分割斷裂的問題,分割準確率有待提升,性能也有很大的改善空間。文獻[20]提出了一種將異構上下文感知功能與判別性學習框架相結合的方法對視網膜血管進行分割。文獻[21]提出了一種整體嵌套邊緣檢測的方法對視網膜血管進行分割。文獻[22]提出了一種基于卷積神經網絡與最近鄰搜索的簡單組合的方法對視網膜血管進行分割。文獻[23]提出了一種基于U-Net的遞歸卷積神經網絡RCNN(Recurrent Convolutional Neural Network)以及基于U-Net模型的遞歸殘差卷積神經網絡對視網膜血管進行分割。

針對現有分割方法中準確率不高,對病灶和噪聲敏感等問題,本文利用3個深度分類神經網絡對視網膜眼底圖像的每個像素點進行二分類,從而獲得完整的視網膜血管二值圖像。在STARE、DRIVE和CHASE標準數據集上得到了較好的實驗結果。本文的主要工作如下：(1)利用3個分類性能良好的網絡(18層殘差網絡、擴寬因子為8的16層寬度殘差網絡和擴寬因子為10的28層寬度殘差網絡),提出了一種基于分類網絡分割眼底血管的方法。以病理醫生標注的兩類區域邊界附近以類信息為標簽的像素點為中心,構建包含該像素點上下文信息的正方形圖像塊的訓練集。以每個正方形圖像塊包含的像素的彩色灰度值作為特征,以這些圖像塊中心像素類信息為標簽訓練以上3個網絡,并獲得了良好的分類準確率。(2)逐像素遍歷測試圖像生成補丁即固定大小的圖像塊,將這些補丁按一定批量輸入已經訓練好的網絡中,對每個像素進行分類，形成完整的分割圖像。(3)利用集成學習的思想,將不同模型輸出的分割結果進行融合,得到最終的視網膜血管分割圖像。

2 卷積神經網絡

殘差模塊通過使用跳過連接解決了梯度消失和梯度爆炸的問題,且它們在圖像分類方面有著良好的效果[24]。而殘差網絡[25]由大量的殘差模塊組成，鑒于它們良好的分類性能,本文的工作是利用集成學習[26]的思想將殘差網絡進行融合，并重新構建殘差網絡中的殘差模塊,從而實現視網膜血管圖像的分割。

2.1 網絡結構

本文利用性能良好的分類神經網絡對眼底圖像的每個像素點進行二分類,得到分割圖像,實現了一種基于分類型神經網絡分割眼底血管的方法。本文提出的網絡結構如圖1所示，其中，Res_block代表殘差模塊，WRes_8_block表示寬度為8的殘差模塊，WRes_10_block表示寬度為10的殘差模塊。

Figure 1 Structure of the proposed network 圖1 本文提出的網絡結構

如圖1所示,該網絡結構由3個獨立的個體學習器組成：1個18層殘差網絡、1個16層寬度殘差網絡(其擴展因子為8)和1個28層寬度殘差網絡(其擴展因子為10)，分別稱為resnet18、wrn_16_8和wrn_28_10。這3個個體學習器是3個結構不同的神經網絡,它們的基本模塊都為殘差模塊。本文將殘差網絡進行微調,通過在眼底圖像中隨機提取固定大小且以中心點像素類型為標簽的補丁圖像訓練所提出的網絡；然后將測試圖像逐像素遍歷生成補丁,將這些補丁按一定批量輸入已經訓練好的網絡中；最后對每個像素進行分類,形成完整的分割圖像。網絡結構參數如表1所示。表1顯示了每個卷積操作塊輸出特征圖的大小、卷積塊的個數和每個卷積塊內卷積的個數。s表示卷積操作時的步長，Bn表示批次量歸一化，ReLu表示ReLu激活函數,fc表示全連接操作;512-d表示輸入特征的維度為512。

(1)resnet18。該學習器由18層殘差模塊組成,殘差模塊如圖2a所示。和圖3a相比較,本文使用的3×3卷積不僅加入了批量歸一化操作,而且激活函數的位置也做了相應的調整,同時在跳過連接過程中加入了1×1卷積和批量歸一化。xL表示第L個殘差模塊的輸入,xL+1表示第L個殘差模塊的輸出。特征圖xL在殘差模塊內部的傳輸過程如式(1)～式(5)所示：

Figure 2 Structure comparison of residual modules in individual learners圖2 個體學習器中殘差模塊結構對比圖

(1)

Table 1 Network parameter of individual learners表1 個體學習器網絡結構參數

Figure 3 Convotation module圖3 卷積模塊示意圖

(2)

(3)

(4)

最后輸出為：

(5)

(2)wrn_16_8。該學習器是由16層且擴寬因子為8的寬度殘差模塊組成。寬度殘差模塊如圖2b所示,m為殘差模塊中卷積核的個數,與圖2a和圖3a相比,寬度殘差模塊在原始殘差模塊的基礎上增加了一個系數k,這樣寬度殘差網絡中寬度殘差模塊的卷積核個數就變為m*k,令k=8,同時加入了Dropout操作(drop_rate=0.4)和批次量歸一化操作。與resnet18學習器中殘差模塊相比,ReLU激活函數的位置發生了變動。加寬殘差模塊勢必會帶來訓練參數的激增,為了避免殘差網絡陷入過擬合的陷阱,引入了Dropout,淺層寬度殘差網絡就可以達到深層殘差網絡的效果。文獻[27]指出這樣微調的優點是：引入寬度殘差模塊,拓寬卷積核的個數,能夠減少網絡深度，增加殘差網絡的寬度，降低卷積層數并加快計算速度,在相同深度的殘差網絡中,寬度殘差網絡具有更好的性能。

(3)wrn_28_10。該學習器由28層且擴寬因子為10的寬度殘差模塊組成,寬度殘差模塊如圖2b所示。wrn_28_10與wrn_16_8的殘差模塊的不同之處是擴展因子k=10,drop_rate=0.3。

2.2 集成學習

集成學習通過構建并結合多個學習器來完成學習任務,有時也被稱為多分類系統。集成學習先產生一組“個體學習器”,再用平均法、投票法或學習法將它們結合起來。個體學習器通常由一個現有的學習算法利用訓練數據產生,例如C4.5決策樹算法、BP神經網絡算法等。

圖4是集成學習的一般結構。如圖4所示,所有個體學習器都是一個種類的,稱為同質個體學習器；相反地,如果所有個體學習器不全是一個種類,則稱為異質個體學習器。目前來說,同質個體學習器的應用是最廣泛的。同質個體學習器按照個體學習器之間的依賴關系可分為2類,第一類是個體學習器之間存在強依賴關系,一組個體學習器需要串行生成；另一類是個體學習器之間不存在強依賴關系,一組個體學習器可以并行生成。本文所使用的集成學習就是由同質個體學習器組成,并且它們之間不存在強依賴關系。

Figure 4 Ensemble learning 圖4 集成學習示意圖

在集成學習中,通過模型融合將每個個體學習器的結果結合起來,以便得到更優的結果。假設集成學習包含N個同質個體學習器{h1,h2,h3,…hN},其中hi在數據x上的輸出為hi(x)。集成學習中常用的融合策略主要有平均法、投票法和學習法,本文利用平均法對個體學習器的結果進行融合。對于數值型輸出hi(x)∈R,最常見的融合策略是使用平均法，一般有2種平均法，簡單平均法(如式(6)所示)和加權平均法(如式(7)所示)。

(6)

(7)

2.3 訓練及測試

目前醫療圖像的數據集都比較小,所以本文對使用的數據集采用數據增強的方法(包括圖像旋轉、水平翻轉和垂直翻轉等)增加數據樣本，這對提高網絡魯棒性、網絡分割準確率和防止過擬合都十分重要。

本文在訓練階段和測試階段提取圖像補丁的方法不同,所以將訓練階段和測試階段分開表示。訓練集的構建是非常關鍵的一個環節,定義R(·)為從圖像中提取尺寸為d×d正方形圖像塊的算子。R(pxy)∈R(d)2表示以(x,y)為中心像素在原始圖像I中提取的包括像素周邊上下文像素信息的圖像塊,具體描述如下：

R(pxy)={pr n|pr n∈I},

x-d/2≤r≤x+d/2,d/2≤n≤y+d/2

(8)

其中,r,n表示像素點的位置坐標。需要指出的是,由于圖像塊的尺寸是一個像素個數為偶數的正方形塊,圖像塊R(pxy)包括了中心像素pxy和它的鄰域像素的空間位置關系,因此對該像素進行標記和分類時,該像素不是孤立存在的,而是包括了上下文像素信息的圖像塊的分類。本文的目標是對于任意輸入的圖像塊R(pxy),構建一個函數f(·)預測中心像素pxy的類標簽c(pxy),具體函數映射定義為:

f:R(pxy)→c(pxy)

(9)

其中,R(pxy)的定義如式(8)所示,包含以pxy為中心像素的上下文像素灰度信息。

在訓練階段,從訓練圖像中隨機選取像素點,以該像素點為中心提取一個32×32(d=32)的圖像塊,每個圖像塊被標記為0或1,即將每個圖像塊都進行分類,0屬于背景,1屬于血管。而每個圖像塊的類別是根據這個像素點在真實圖像對應位置像素點的強度決定的,若該像素點的強度為1,就將這個圖像塊標記為1；相反地,若該像素點的強度為0,就將這個圖像塊標記為0。本文共生成20萬個這樣的圖像塊，然后將這些圖像塊按一定的批量輸入到提出的網絡結構中,對這些圖像塊進行預測，根據預測值和真實類標簽來更新優化網絡。為了提高訓練網絡的有效性,同時避免無效數據對訓練時間的消耗,隨機提取的像素點都是在對應的專家標注的眼球輪廓圖像的對應位置強度值為1的像素點。對3個學習器分別單獨訓練及優化,并將各自的網絡模型保存,以便選取最優的網絡模型在測試階段調用。

在測試階段,本文對每幅測試圖像逐像素生成32×32的圖像塊,將這些圖像塊按一定批量輸入已經訓練好的個體學習器中,得到相應的二分類結果,然后將分類結果對應到像素點上,形成視網膜血管分割圖。和訓練階段相似,測試階段也是在專家標注的眼球輪廓圖像中強度值為1的位置提取的像素點。3個學習器生成各自的預測分割圖,然后利用平均法進行融合,得到最終的視網膜血管分割圖像。由于提出的方法是逐像素分類的,所以分割一幅完整的圖像所需時間較長。在DRIVE、STARE和CHASE數據集上分割一幅血管圖像分別需要2 min 47 s、3 min 52 s和7 min 19 s。

本文基于深度學習開源包PyTorch,在配置為Intel(R) Xeon(R) E5-2620 V3 2.40 GHz CPU,NVIDIA Tesla K80 GPU 和Ubuntu64 操作系統的服務器上實現了所提方法。在訓練階段,輸入批量大小為512,補丁大小為32×32,使用隨機梯度下降法(SGD)優化網絡,初始學習率為0.1,利用階梯衰減法更新學習率,衰減因子為0.01,動量為0.9,權重衰減系數為0.000 5,訓練總共迭代100個周期。損失函數使用交叉熵損失函數，定義如式(10)所示：

(10)

3 實驗結果與分析

3.1 數據集

本文在3個公開的視網膜眼底血管圖像數據集(STARE[32]、DRIVE[33]和CHASE[34])上對提出的方法進行測試。STARE數據集由20幅視網膜眼底血管圖像和對應的真實標記圖像以及相應的專家標注眼球輪廓圖像組成,利用留一法生成訓練集和測試集,然后對評估指標求和平均處理得到最終的評估結果(http：//www.ces.clemson.edu/ahoover/stare/)。

DRIVE數據集由40幅視網膜眼底血管圖像、對應的真實標記圖像和相應的專家標注眼球輪廓圖像組成,其中序號為21～40的眼底圖像組成訓練集,序號為1～20的圖像組成測試集(http://www.isi.uu.nl/Research/Databases/DRIVE/)。

CHASE數據集由14幅左眼眼底圖像、相應的14幅右眼眼底圖像、對應的真實標記圖像和相應的專家標注眼球輪廓圖像組成,前10幅對應的左、右眼眼底圖像即20幅圖像組成訓練樣本集,后4幅對應的左、右眼眼底圖像即8幅圖像組成測試樣本集(https://blogs.kingston.ac.uk/retinal/chasedb1/)。

3.2 性能評估指標

為了評估本文方法對視網膜眼底圖像分割的效果,本文通過生成混淆矩陣對敏感性(Sensitivity)、特異性(Specificity)、準確率(Accuracy)和F-measure等評估指標進行性能分析。各個評估指標的計算公式分別如式(11)～式(15)所示：

敏感性(Sensitivity)表示正確分割血管像素的總數與真實血管像素的總數之比:

(11)

特異性(Specificity)表示正確分割背景像素的總數與真實背景像素的總數之比:

(12)

準確率(Accuracy)表示正確分割血管和背景像素的總數之和與整幅圖像總像素之比:

(13)

F-measure表示敏感性與精準率之間的比例關系:

(14)

(15)

其中,TP為正確分割的血管像素的數目,TN為被正確分割的背景像素的數目,FP為被錯誤分割為血管像素的背景像素數目,FN為被錯誤分割為背景像素的血管像素數目。

3.3 視網膜血管提取結果

為了驗證以分類網絡進行分割以及集成學習的有效性,本文將3個個體學習器對視網膜血管分割結果和融合后的視網膜血管分割結果做了對比。表2是STARE數據集上的結果對比,表3是DRIVE數據集上的結果對比,表4是CHASE數據集上的結果對比。

Table 2 Segmentation results of individual classifier and fusion on STARE dataset表2 STARE數據集上個體分類器與融合的分割結果

Table 3 Segmentation results of individual classifiers and fusion on DRIVE dataset表3 DRIVE數據集上個體分類器與融合的結果

Table 4 Segmentation results of individual classifiers and fusion on CHASE dataset表4 CHASE數據集上個體分類器與融合的結果

表2～表4中都包含了4種結果：(1)resnet18學習器對視網膜血管的分割結果；(2)wrn_16_8學習器對視網膜血管的分割結果；(3)wrn_28_10學習器對視網膜血管的分割結果；(4)3個學習器分割結果融合后的視網膜血管的分割結果。

Figure 5 Comparison of retinal blood vessel segmentation results on STARE,DRIVE,and CHASE datasets圖5 STARE、DRIVE和CHASE數據集上視網膜血管分割結果比較

表2～表4中的3個學習器的分割準確率都達到了96%,95%,96%以上。同時,比較表2～表4的resnet18和wrn_16_8可以看出,引入寬度因子的淺層寬度殘差網絡和深層殘差網絡效果一樣，甚至更好。比較wrn_16_8和wrn_28_10發現,在STARE和DRIVE數據集上，wrn_28_10的準確率有所提升,但在CHASE數據集上，wrn_28_10的準確率反而降低,這表明一味地增加寬度殘差網絡的深度和寬度在某些數據集上并不能提升性能。表2～表4融合后的分割準確率、F-measure和Specificity比單個分類器的準確率、F-measure和Specificity都高。這表明對個體學習器的融合是有效的,不同個體學習器學習的特征經過融合互補之后,性能均有所提升。為了進一步展示該方法在視網膜血管分割中的優勢,本文比較了融合前后的眼底血管分割圖像,如圖5所示。第1行對應STARE數據集，第2行對應DRIVE數據集，第3行對應CHASE數據集。每一行的a列對應原始視網膜圖像,b列是由專家分割的視網膜血管圖像,c列是由resnet18學習器分割的視網膜血管圖像,d列是由wrn_16_8學習器分割的視網膜血管圖像,e列是由wrn_28_10學習器分割的視網膜血管圖像，f列是將個體學習器的分割圖像融合得到的視網膜血管圖像。圖5c、圖5d和圖5e顯示3個個體學習器都可以很好地分割視網膜血管圖像,但是它們仍然包含一些噪聲,并且小血管的分割相對模糊。為了對細小血管進行更準確的分割,本文將個體學習器分割結果進行了融合,圖5f表明,融合后的視網膜血管圖像噪聲水平更低,對細小血管的分割更加全面,而且比較清晰,有更好的魯棒性和精準性。

對STARE數據集的ROC曲線分析得到AUC為0.986 6。對DRIVE數據集的ROC曲線分析得到AUC為0.980 1。對CHASE數據集的ROC曲線分析得到AUC為0.982 7。AUC是ROC曲線下各部分的面積,AUC值越大,當前分類方法越有可能將正樣本排在負樣本前,從而能夠更好地分類。

3.4 不同分割方法結果的對比

為了進一步檢測本文方法對視網膜血管分割的有效性,本文在STARE、DRIVE和CHASE數據集上分別將其與文獻[21-23,35-43]中的方法進行比較,通過敏感性、特異性、準確率和F-measure等幾個指標來比較視網膜血管分割的性能。

表5是不同方法在STARE數據集上視網膜血管分割的性能指標。與文獻[21,23,36,37,42]的方法相比,雖然本文方法在特異性上沒有達到最優,但準確率、敏感度和F-measure相比這些方法都是最高的，尤其在敏感度這一指標中,本文提出的方法與文獻[13]的方法相比更具優勢,提高了0.25%。

表6是不同方法在DRIVE數據集上視網膜血管分割的性能指標。與文獻[21,22,36]的方法相比,本文方法在敏感度上沒有達到最優效果，與文獻[20,23,35,37]的方法相比,本文方法在特異性上也沒有到達最優效果，但均與最優指標相差不大。在準確率和F-measure上與其他方法相比,本文方法達到了最優。

Table 5 Retinal blood vessel segmentation results on STARE dataset表5 STARE數據集上視網膜血管分割結果

Table 6 Retinal blood vessel segmentation results on DRIVE dataset表6 DRIVE數據集上視網膜血管分割結果

表7是使用不同方法在CHASE數據集上視網膜血管分割的性能指標。與文獻[23]的方法相比,本文方法在敏感度上沒有達到最優效果。與文獻[23,35,39]的方法相比,本文方法在特異性上也沒有到達最優效果,但與最優指標相差不大。但是,在準確率和F-measure上與其他方法相比,本文方法達到了最優效果。表5～表7均表明本文方法極大地提高了算法的F-measure,得到了能提取細小血管、分割結果完整度高、有臨床應用價值的分割結果。

Table 7 Retinal blood vessel segmentation results on CHASE dataset表7 CHASE數據集上視網膜血管分割結果

圖6～圖8分別是在STARE、DRIVE和CHASE數據集上文獻[24]的方法和本文方法的分割圖像的對比,其中a列為原始視網膜圖像,b列為專家手動分割標準參考圖像,c列為文獻[23]的方法的分割結果圖像,d列為本文方法的分割結果圖像。

Figure 6 Segmentation image comparison on STARE dataset圖6 STARE數據集上分割圖像比較

Figure 7 Segmentation image comparison on DRIVE dataset圖7 DRIVE數據集上分割圖像比較

Figure 8 Segmentation image comparison on CHASE dataset圖8 CHASE數據集上分割圖像比較

由圖6可知,圖6c中細小血管出現了斷裂現象,同時周圍出現大量偽影,這會對臨床診斷造成嚴重的干擾。而本文方法的血管分割圖像在細小血管周圍沒有出現大量偽影,并且只有少量的細小血管發生斷裂現象。由圖7可知,文獻[23]的方法提取的血管寬度過細,許多細小血管沒有得到體現,血管提取的完整度不高。細小血管對視網膜圖像有著重要的意義,丟失細小血管信息對醫療診斷十分不利。本文方法對視網膜血管圖像的分割更具完整性和連通性。由圖8可知,文獻[23]的方法提取的血管管狀結構不明顯,在血管末端和分支處存在斷裂。本文方法提取的血管圖像在血管交叉處不易因其特殊的形態結構而造成分割斷裂,末端血管也能很好地被分割出來,斷裂的細小血管少。這也進一步說明本文方法具有良好的分割性能,具有更強的魯棒性和有效性。綜上所述,本文方法可以對視網膜血管圖像進行有效精準的分割。

4 結束語

視網膜眼底血管的高精準分割可以成為醫生診斷眼底疾病十分重要的參考依據。本文提出了一種基于深度神經網絡的逐像素分割方法。利用3個以分類型神經網絡為結構的個體學習器對視網膜圖像每個像素點進行分類來形成視網膜血管圖像,并將個體學習器的分割結果進行融合得到最終的視網膜血管分割圖像。由于殘差網絡對特征值的改變特別敏感,本文利用不同結構的殘差模塊和寬度殘差模塊,使提取的特征更加準確。本文分別在STARE、DRIVE和CHASE數據集上對本文方法進行了驗證，準確率分別達到97.36%,95.57%和96.36%,F-measure分別達到了84.98%,82.25%和79.87%。對分割血管圖像的分析和比較結果表明,本文提出的方法比其他方法更具優勢。