新型下采樣法在視網膜血管分割中的應用

【作 者】 呂志金，陳雪芳，趙曉芳，劉華珠

1 東莞理工學院 計算機科學與技術學院，東莞市，523429

2 東莞理工學院 電子工程與智能化學院，東莞市，523429

0 引言

眼底視網膜血管圖像作為人體唯一可以直接無創觀察的血管圖像，其形態和生理特征可以在一定程度上反映某些疾病的進展，專業的眼科醫生一般據此進行診斷，但是傳統的人工篩查過于煩瑣且很大程度上依賴醫生的主觀意識，因此采用計算機輔助的視網膜血管分割算法已經逐漸成為眼底篩查診斷的研究重點。

最新的一項研究表明，基于深度學習的方法在醫學成像領域的不同方向中均取得了優異的成績，包括肺部分割、糖尿病識別、腦腫瘤檢測以及視網膜血管分割等[1]。目前，國內外專家團隊已經提出很多算法模型來對眼底視網膜圖像進行分割，其中最為經典的是2015年RONNEBERGER等[2]提出的U-Net網絡模型，采用對稱的U形結構作為模型框架，通過對圖像卷積和下采樣操作提取特征，然后進行卷積、堆疊以及上采樣操作得到分割圖像，在各大醫學圖像分割任務中均取得優異成績，目前很多算法都是在其基礎上改進的。

在U-Net網絡的各種變體中，比較經典的是Dense-UNet和Res-UNet網絡模型。2016年HUANG等[3]提出了DenseNet網絡，其在保證網絡層與層之間最大限度信息傳輸的前提下，將所有層連接以實現圖像信息的最大提取，CAI等[4]采用DenseNet模型中的DenseBlock模塊替換掉原始U-Net網絡的卷積模塊，提出了Dense-UNet模型。2015年HE等[5]提出了ResNet網絡，通過在輸入和輸出之間建立一條關聯通道，從而很好地解決了梯度爆炸和梯度消失問題，XIAO等[6]通過采用ResNet網絡中的殘差模塊來替換原始U-Net網絡的卷積層，提出了Res-UNet模型。這2種模型都是通過增加網絡的寬度，從而使模型可以提取更多的特征信息以實現分割性能的提升，但是在性能提升的同時，增加了大量的可訓練參數，使得模型的復雜度大大增加。

不同于以往的研究，過去通過堆疊不同模塊雖然實現了模型性能的提升，但也增加了模型的復雜度，消耗了大量的算力。我們提出一種新的下采樣模塊PF池化，其可以更好地融合相鄰像素的語義信息。在不同的模型及不同分割任務上進行驗證，結果表明采用PF池化替換原始最大池化后，模型性能有了進一步提升，且模型復雜度增加很小，時間開銷可以忽略不計，具有良好的泛化性，可以有效地應用于醫學圖像的分割任務中，輔助醫生進行臨床診斷。

1 新采樣算法

1.1 預處理

視網膜眼底圖像往往存在亮度信息不均勻的問題，使得細小血管與背景之間的對比不明顯，不利于模型分割。為了更好地實現對微小血管的提取，需要先將原始圖像預處理。傳統預處理一般采用圖像綠色通道G作為灰度圖像，并將其作為模型的輸入信息，本研究采用RGB三通道加權生成灰度圖像（見式(1)）作為模型的輸入信息，其中Gray為灰度圖中像素點的像素值，R、G、B為原始圖像紅、綠、藍三通道像素點的像素值。之后通過圖像歸一化、直方圖均衡化、Gamma矯正提升血管和背景信息的對比度。Gray=0.299h R+0.587h G+0.114h B (1)

1.2 PF池化

如圖1所示，其中image為原始圖像，我們將其按行列奇偶進行拆分，分別提取對應位置像素，得到4幅圖像（image0：奇數行奇數列；image1：奇數行偶數列；image2：偶數行奇數列；image3：偶數行偶數列），所得子圖像信息與原圖像基本一致。

圖1 原始圖像分割圖示Fig.1 Original image segmentation illustration

受此啟發，考慮到傳統的最大池化（見圖2）簡單選取局部最大值作為采樣結果的方法可能會導致丟失部分圖像信息，于是我們構建了一個可以融合相鄰像素信息來實現下采樣的模塊，模型架構如圖3所示。與最大池化方法只取2h 2窗口內最大值不同，我們的模型將采樣窗口內4個位置的像素分別提取，然后將對應位置的像素拼接從而得到4幅尺度減半的新圖像，之后我們將4幅尺寸減半的圖像在通道維度堆疊，最后采用1h 1卷積進行通道壓縮，最終實現了原始圖像通道數不變，而寬高減半的效果，以此作為模型的下采樣模塊。與最大池化方法相比，本方法可以保留更多的圖像原始信息，進一步提升模型分割準確率。

圖2 最大值池化流程Fig.2 Max-pooling flow chart

圖3 PF池化流程Fig.3 PF-pooling flow chart

2 實驗結果

我們在不同的數據集和模型分別對比采用PF池化方法與最大池化方法的模型，從而證明PF池化模塊的有效性和普適性。

2.1 數據集

DRIVE：數據集圖像來自荷蘭的糖尿病視網膜病變篩查項目，篩查人群為400名25～90歲的糖尿病患者。隨機選取其中40張圖像組成DRIVE數據集，其中包含33張無糖尿病視網膜病變圖像，7張輕度早期視網膜病變圖像，取其中20張作為訓練集，20張作為測試集。

STARE：數據集圖像包含20幅眼底圖像，其中10幅存在視網膜病變，10幅不存在視網膜病變，取其中15幅作為訓練集，5幅作為測試集。

兩個數據集的真實血管分割圖均由經驗豐富的眼科醫生手工分割而成。為進一步擴大數據集的規模，我們旋轉和反轉操作預處理好的圖片，并從每張圖像內的圓形感興趣區域中隨機選取200個64像素h 64像素的區域送入模型進行訓練（見圖4）。

圖4 送入模型的64像素×64像素的訓練數據Fig.4 64 pixel×64 pixel training data fed into the model

2.2 評測指標

為了準確比較不同模型之間的性能，我們采用4個不同的評價指標進行比較，分別是ROC曲線下面積、準確率VAcc（見式(2)）、F1分數（見式(3)）和靈敏度VSen（見式(4)）。

式中：TP、TN、FP、FN分別表示預測為血管且預測正確、預測為背景且預測正確、預測為血管且預測錯誤以及預測為背景且預測錯誤；Vprecision表示精準率（見式(5)）；Vrecall表示召回率（見式(6)）。

2.3 實驗結果

通過與輸入圖像為RGB三通道圖像、采用G通道灰度化后圖像以及本研究所采用的三通道加權灰度化后的圖像進行比較，從圖5的各項指標中可以看出，采用本預處理方法處理得到的圖片，其血管與背景的對比更加明顯，模型最終分割性能更加精準，可以更加高效地實現對微小血管的分割。

圖5 不同灰度化方法處理的分割結果對比Fig.5 Comparison of segmentation results processed by different grayscale methods

其次在不同的模型上對所提出的PF池化模塊進行評測。首先搭建一個原始的U-Net網絡，然后將其中的最大池化模塊替換為本研究所提出的PF池化模塊，比較結果如表1所示（其中加黑部分為所處指標內最優結果，所有結果均為百分制），從表1可以看出PF池化在各項指標上均優于采用傳統最大池化的U-Net模型，并且在STARE數據集的F1分數指標上獲得了1.93%的巨大提升，這表示PF池化可以更加有效地提升微小血管的分割精度，并且圖6使用了PF池化的網絡模型，在每一輪迭代中性能均優于采用原始最大池化的分割模型，且收斂更快更平緩。

表1 模型各項指標比較（%）Tab.1 Comparison of various indicators of the model（%）

圖6 不同下采樣方法在U-Net模型上的性能對比Fig.6 Performance comparison of different down-sampling methods on the U-Net model

下面在其他最新提出的模型上對PF池化模塊的泛化性進行驗證，結果如表2所示（其中加黑部分為所處指標內最優結果，所有結果均為百分制），從表2中各項指標可以看出使用了PF池化作為下采樣模塊的網絡模型在各項指標上均有所提升，這表明所提出的PF池化模塊具有良好的泛化性，可以很好地適應不同的網絡架構，從而提升模型性能。

表2 PF池化泛化性驗證Tab.2 PF-pooling generalization verification

為了進一步驗證PF池化模塊的泛化性，在DSB2018數據集上使用U-Net網絡模型進行評測，從圖7(c)、(d)的左上白色圓圈部分可以看出，使用了PF池化模塊的U-Net網絡可以更好地融合相鄰像素的語義信息從而實現精準分割，這進一步證明了PF池化模塊具有良好的泛化性。

圖7 DSB2018數據集泛化性驗證Fig.7 Generalization verification on DSB2018 dataset

3 結論

本研究提出了一個具有良好泛化性的下采樣模塊PF池化，與傳統最大池化模塊相比，其可以更好地融合相鄰像素間的語義信息。我們在視網膜血管分割任務及細胞分割任務中對所提出模型進行驗證，實驗結果表明，使用PF池化作為下采樣模塊的模型分割性能優于采用最大池化模塊的網絡模型，可以更加有效地實現對眼底細小血管的提取。不同模型及不同分割任務的實驗結果表明，PF池化模塊具有良好的泛化性，可以有效地應用于醫學分割任務，提升分割精準度。