基于多層特征融合的視網膜血管分割模型

劉延龍，吳 聰

(湖北工業大學計算機學院，湖北 武漢 430068)

眼睛是人類接收和獲取外界信息的重要途徑之一，占接受信息總和的80%。因此，眼睛的健康對人們日常的生活和工作學習有著至關重要的影響。醫學臨床中，眼底視網膜檢查是眼部檢查的重要步驟，對眼底視網膜圖像的判讀和分析，有助于醫生對相關疾病進行檢查和診斷。而檢查最重要的則是提取出眼底視網膜血管的形態和結構。在視網膜血管圖像中，視網膜血管結構和形態的改變是眼底病變最常見的形式。視網膜血管的血液循環受到其周圍的局部組織影響，往往是許多其他心腦血管疾病發生的原因。例如，糖尿病視網膜病變可以通過視網膜血管結構的改變來診斷。它會導致失明，這意味著早期發現是至關重要的。高血壓是另一種視網膜疾病，高血壓性視網膜病變。高血壓患者血管曲度增加或血管狹窄。因此，視網膜血管分割的準確性可作為相關疾病判斷的重要依據。但是人工分割視網膜血管不僅費時費力，還需要豐富的經驗和熟練的技能。因此，開發高精度、省時省力的計算機系統輔助視網膜血管檢測是目前廣泛需要的。

近年來，許多基于深度學習的方法被應用于視網膜血管分割領域。并取得了不錯的視網膜血管分割結果。Song Guo等[10]采用短連接來縮小輸出層之間的語義差距，命名為多尺度深度監督網絡(multi-scale deeply supervised network，BTS-DSN)。Juntang Zhuang等[11]提出了一種具有多個編碼器和解碼器的網絡。它采用了跳躍連接，使網絡具有更多路徑的信息傳輸。M.Z.Alom等[12]提出了一種R2U-Net，他們將RNN和ResNet的結構集成到了編碼器-解碼器結構中。Changlu Guo等[13]提出了一種深度密集殘差網絡結構(a deep dense residual network structure，DRNet)。該方法將殘差連接和密集連接的思想相結合應用于視網膜圖像的血管分割。文獻[14]提出了利用atrous卷積(attention guided U-Net with atrous convolution，AA-UNet)的注意力引導U-Net，重復使用特征進行血管分割。在文獻[15]中，提出了一種多路徑遞歸U網深度學習體系結構。該結構結合了遞歸神經網絡和卷積神經網絡，對原有的U-Net和遞歸單元進行了相應的改進。Xiaoyu Guo等[16]提出了在密集U-Net中使用Inception模塊進行視網膜血管分割。Zhun Fan等[17]提出了一種采用不同于傳統卷積的卷積方式來獲取更多信息的方法。它可以更好地捕捉不同形狀和大小的視網膜血管。Aashis Khanal等[18]在網絡中使用動態卷積學習更多的特征用于視網膜血管分割，從而提高對細小血管的檢測能力。

綜上所述，這些方法都是端到端的，沒有對低層特征進行有效的利用。本文提出多層特征融合方法，充分利用了低層視覺特征，是視網膜血管分割的一種新思路。

1 基于多層特征融合的視網膜血管分割模型

本文提出了一種視網膜血管分割的多層次特征融合模型(圖1)。

圖1 MFFNet的網絡結構

2.1 多層特征融合模型(MFFNet,Multilevel Feature Fusion Net)

本文提出的多層特征融合模型包含兩個部分:包含連續記憶力模塊(CMB,Contiguous Memory Block)的編碼器和包含多層特征融合模塊(MFFB,Multilevel Feature Fusion Block)的解碼器。定義Iraw作為輸入和Iseg作為最后的輸出。在編碼器中，首先使用卷積層來從輸入的原始圖像捕獲特征F0。

F0=Oconv(Iraw)

(1)

式(1)中，Oconv是一個卷積運算。F0用作第一個連續記憶力模塊(CMB)的輸入。MFFNet中采用了四個連續的記憶力模塊。定義Fd是dth連續記憶力模塊的輸出。

Fd=Ocmb,d(Fd-1)

(2)

式(2)中Ocmb,d是dth連續記憶力模塊的運算，是一個包含卷積運算和矯正線性單元(ReLU)的復合函數。其中，Fd充分利用了連續記憶力模塊中的每個卷積層，因此編碼器實現了一種連續的記憶和存儲機制。關于連續記憶力模塊的更多細節將在2.2介紹。利用連續記憶力模塊捕獲特征后，得到一個充分利用所有卷積層信息的特征。將其用于解碼器中，設計一個用于上采樣的多層特征融合塊。最后，經過一個卷積層，MFFNet的輸出可以由下式得到：

Iseg=OMFF(Iraw)

(3)

式(3)中OMFF 是整個MFFNet的操作。

這里的DP包含BN,Relu，1×1卷積和一個大小2×2的最大池化。

“所以平臺化+專業化，我認為是陽光印網這樣的平臺和印刷企業合作的最佳的一個相互融合的模式?！睏畋笳f，除了共享、共生，他們還要與合作企業共融發展。

2.2 編碼器中的連續記憶力模塊(CMB,Contiguous Memory Block)

在下采樣過程中，本文采用了下面的特征傳遞方式，來學習更多關于低層特征的信息。圖2展示了連續記憶力模塊中特征傳遞的細節，它是通過將前一個CMB的信息傳輸到當前CMB的每一層，從而形成了一種連續記憶機制。

圖2 連續記憶力模塊結構

Fd-1和Fd作為在dthCMB的輸入和輸出，它們有相同的特征圖G0。這意味著在CMB中保持相同的特征圖。dthCMB的cth卷積層的輸出可通過以下途徑獲取:

Fd,c=σ[Wd,c(Fd-1,Fd,1,Fd,2,…,Fd,c-1)]

其中σ代表ReLU函數，Wd,c是Cth卷積層的權重。讓Fd,c有G0特征圖，G代表增長率。[Fd-1,Fd,1,Fd,2,…,Fd,c-1]是(d-1)thCMB中的特征, CMB中的卷積層1,2,…,c-1的輸出可以由G0 +(c-1)×G得到。輸出可以直接利用于所有后續層中的每一層，傳遞需要保存的特征。可以從下式得到:

Fd,c=Cd(Fd,1,Fd,2,…,Fd,c)

其中Cd表示在dthCMB中的連接操作，充分利用了現有CMB的低層次特征。最終的dthCMB輸出可通過下面方法得到:

Fd=R(Fd-1,Fd,c)

上式中R為ResNet的跳躍連接。最后，在下采樣過程中的最后一個CMB的輸出特征(F)，將用于上采樣過程中的MFFB，計算方法如下：

F=σ[W(Fd)]=σ{W[R(Fd-1,Fd,c)]}

(4)

2.3 解碼器中的多層特征融合模塊(The Multilevel Feature Fusion Block，MFFB)

圖3是解碼器中的多層特征融合模塊，該模塊輸入有兩層特征。將下采樣過程中學習到的視覺特征稱之為低層特征，上采樣學習到的語義特征稱為高層特征。多層特征融合塊的左側是一個低層語義特征處理的過程，CMB對訓練好的低層特征進行調整。這個連續記憶力模塊有助于消除無效的特征并增強有用的低層特征。然后跟隨一個3×3的卷積學習一個新的權重特征融合。該操作可以通過以下方式獲取:

圖3 多層特征融合模塊

Flow-level=W(w0Fd-1,w1Fd-1,…,wcFd,c)

Fd,c是dthCMB下采樣特征學習過程得到的每個特征圖。W代表卷積運算，也是特征的學習權值。

右邊是高層特征處理，通過卷積操作調節輸入的高級特征的權重，然后通過上采樣過程返回到與低層特征相同的通道數和維數。然后，對兩個層次特征進行連接和加權。最后，在經過CMB處理后，它將用于下一個MFFB。MFFB的輸出可以通過下式得到:

Fhigh-level=W(aFnew-high-level,bFlow-level)

Fnew-high-level是當前多層特征融合塊的輸出，Flow-level是下采樣過程學習的特征，a和b代表Fnew-high-level和Flow-level的權重。W是像原始U-Net一樣的連接操作。

在多層特征融合塊中采用連續記憶塊的原因是為了產生一種新的高級特征，然后對其進行后處理以提高結果的準確性?？梢哉{節框架中每一層的權重，允許兩個層次的特征更有效地融合。但是，如果在CMB中直接連接輸入和輸出，將導致特征的數量增加，意味著更多的計算。為了解決這個問題，CMB的輸入并不直接與其輸出連接。在CMB的每一層中先采用1×1卷積，再采用3×3 卷積，以抑制特征圖數量的增加。一方面，經過CMB學習后，低階特征的維數總是相同的。另一方面，通過上采樣使高層特征的通道數與低層特征通道數保持一致。down processing(DP)包括BN、Relu、1×1 conv和大小為2×2的max-pooling。上采樣是由一個步長為2的轉置卷積組成的。MFFNet的體系結構見圖4。

圖4 MFFNet的網絡結構

3 實驗結果和分析

在不同的視網膜血管數據集上實驗，以檢查MFFNet的性能。

3.1 數據準備及預處理

DRIVE:該數據集是從荷蘭糖尿病視網膜病變(DR)的一個篩查項目中收集的。像素為565×584，包含40張圖像。為了進行訓練，分成20張圖像進行訓練，20張圖像進行測試。

CHASE_DB1:本數據集來自英國兒童聽力與健康協會的一個研究項目。像素為999×960，包含28張圖像。分成20張圖像進行訓練，其余8張圖像進行測試。兩個數據集的具體信息見表1。

表1 DRIVE和CHASE_DB1

3.2 評價指標

本文實驗中使用的評估方法性能的指標包括準確度(AC)、靈敏度(SE)和特異性(SP)。不同指標的計算如表2所示。

表2 本文使用的評價標準

其中TP為真陽性，表示有血管的區域分類正確。反之，如果該區域分類錯誤，則命名為false negative(FN)。非血管區分類正確稱之為True negative(TN)。如果背景區域分類錯誤，則稱為假陽性(FP)。

3.3 實驗結果與分析

本文所有的實驗都是在帶有GPU Titan X的windows PC上進行的。其中，第一個卷積層是一個步長為2的7×7卷積，其他所有層的設置如圖4所示。本文實驗使用的網絡層數如圖5所示。在這項工作中，設定的增長率(k)是16。

圖5 采用深度為4的MFFNet進行視網膜血管分割

在實驗結果可視化對比(圖6)中，展示了U-Net、U-Net+MFFB(在U-Net的上采樣過程中使用MFFB)和MFFNet在DRIVE和CHASE_DB1上的分割結果。可以看出，MFFNet的分割性能更好，檢測出了一些容易遺漏的細小結構。表3顯示了U-Net、殘差U-Net、LadderNet、U-Net+MFFB和MFFNet在DRIVE和CHASE_DB1上的分割結果。結果表明:1)U-Net+MFFB和MFFNet的性能與其它模型對比都有所提升，證明了引入多層特征融合的策略是有效的。2)MFFNet的AC和AUC分別比U-Net在DRIVE和CHASE_DB1上的AC和AUC高1.59%/1.7%和0.97%/1.2%，證明包含了CMB和MFFB的MFFNet性能更好。在醫學圖像分割任務需要的高精度來講，改進效果顯著。

圖6 在DRIVE和CHASE_DB1上的分割結果

表3 在DRIVE和CHASE_DB1上的測試結果

4 結論

本文提出一種多層次特征融合網絡(MFFNet)，該網絡能夠增強特征學習和傳輸，用于視網膜血管分割。本文設計的連續記憶力模塊意味著CMB的輸出可以直接利用下一個CMB中的每一層，CMB中的每一卷次層可以利用后面的每一層傳遞有用的特征。然后，提出一種多層特征融合塊來融合兩層特征。它不同于大多數直接連接低層特征和高層特征端到端方法,而是高效的提取低層視覺特征并將其與高層語義特征相融合從而提升分割性能。通過對所提出的MFFNet在DRIVE和CHASE_DB1數據集上進行測試，可以發現與其他流行的方法相比，該方法在該分割任務上表現更好。