基于監督的全卷積神經網絡視網膜血管分割

王娜 傅迎華 蔣念平

摘要：視網膜血管分割算法是自動視網膜疾病篩查系統主要部分。視網膜血管檢測在醫學診斷上應用日益廣泛，對糖尿病、青光眼等病狀有較精確的診斷。提出一種新的全卷積神經網絡視網膜血管分割的監督方法，該方法在視網膜圖像和相應的血管標簽圖之間進行端對端預測，采用跳躍結構融合圖像深層和淺層的特征信息，得到精確的分割結果。以準確性（Acc）為標準判斷，在DRIVE數據集上表現出比現有其它技術更好的性能。

關鍵詞：視網膜血管；Gabor；全卷積神經網絡；監督學習；跳躍結構

DOIDOI：10.11907/rjdk.173236

中圖分類號：TP301

文獻標識碼：A 文章編號：1672-7800（2018）008-0045-04

英文摘要Abstract：Retinal blood vessel detection is more and more widely applied on medical diagnosis，such as diagnosis of diabetes mellitus and glaucoma and it has more accurate results.In this paper，we use the algorithmbased on gabor filter and fully convolution neural network to segment the retinal vessels of fundus images.Through the gabor filter，the retinal blood vessel images were treated with vascular enhancement，and then the fully convolution neural network was used to supervise and study the images and the real retinal vessel segmentation images.Finally，the jump structure was used to fuse the image depth information shallow information，and output results.Based on accuracy （Acc），better performance in the DRIVE dataset over other existing techniques is demonstrated.

英文關鍵詞Key Words：retinal image；Gabor； fully convolutional neural networks； supervised learning； jump structure

0 引言

隨著近年來圖像識別和人工智能的迅速發展，計算機輔助診斷得到大量應用，常用于圖像處理和分析，檢測病變并分析病變性質，為診斷醫師提供參考。計算機輔助診斷加快了醫師對病情判斷的效率，為診斷憑證提供了充足數據，進一步降低了誤診概率。

在醫學視網膜診斷方面，通過大量現有醫學數據可觀察到視網膜血管的形態特征，如寬度、長度、血管走向角度，這些屬性對篩查、診斷和評估許多疾病，例如高血壓、青光眼、糖尿病性視網膜病變（DR）和黃斑變性（AMD）等有重要影響，因此血管分割是分析視網膜眼底圖像的必要步驟。雖然可以通過人工進行視網膜血管圖像分割，但由于視網膜血管在圖像中分布復雜、深淺不一，使手動分割工作量巨大，分割過程極其耗時，且需要充足的經驗和技巧。自動、精確地分割視網膜血管醫學圖像，從而進行計算機輔助診斷可以很大程度上節省人力，得到更精確的診斷結果。因此，近幾年來，自動視網膜血管分割成為一個極其重要的研究課題，其基本原則是計算機可以較好地實現圖像增強和圖像過濾，通過設定的處理過程，得以將可疑病變從正常解剖背景中分離、顯示出來。

近年來用于視網膜血管分割的算法有很多，大致可以分為監督算法和無監督算法。

基于無監督的視網膜血管分割通過確定血管在圖像中的特征屬性，將圖像中具有這種特征屬性的部分視為血管，不具有此特性的部分視為非血管。而在監督方法中，將與分斷參考圖像對應的手動分割血管圖像作為訓練集學習血管提取規則，分類標準由給定的手動分割血管的真實圖像確定。由于監督方法是基于提前分類好的數據進行分類，其性能通常優于無監督方法。

而在監督學習算法中，神經網絡模擬人腦的訓練學習系統，基于統計概率而不是推理進行分類，使得神經網絡在檢測與識別上比一般監督方法更加精確。神經網絡通過模擬人腦神經元結構，使用數學權重確定特定輸入的概率，通過抑制的數據訓練調整加權系統，并通過反饋進行調整和再訓練。文獻[2]中卷積神經網絡CNN可以通過多層卷積網絡結構自動學習圖像特征，還可以學習多層信息；因淺層卷積層的感知域較小，可以學習圖像的局部特征，而深層的卷積層具有較大的感知域，可以學習到一些比較抽象的特征，更有助于對圖像精準分割。

基于卷積神經網絡CNN的分割方法指為了對一個像素分類，使用該像素周圍的一個圖像塊作為CNN的輸入，用于訓練和預測。該方法有一些缺點：①存儲開銷很大。例如對每個像素使用的圖像塊大小為15×15，則所需存儲空間為原來圖像的225倍；②計算效率低下。相鄰的像素塊基本上是重復的，針對每個像素塊逐個計算卷積，造成很大程度的重復計算；③像素塊大小限制了感知區域大小。通常像素塊比整幅圖像小很多，只能提取一些局部特征，從而導致分類性能受到限制。而文獻[1]提出了全卷積神經網絡，該網絡試圖從抽象的特征中恢復每個像素所屬的類別，即從圖像級別的分類進一步延伸到像素級別的分類。FCN將傳統CNN中的全連接層轉化成一個個卷積層，所有的層都是卷積層，故稱為全卷積網絡。

實驗采用FCN神經網絡對視網膜圖像進行血管分割。以分割的真實邊緣作為監督信息，訓練一個端到端的網絡，讓網絡作像素預測，直接預測分類圖。傳統的卷積神經網絡最終預測結果是一張分類圖，它取消了全連接層，不再把二維矩陣（圖片）壓縮成一維的標量。

計算機輔助診斷的過程分為圖像處理過程（預處理）、圖像征象提取（特征提取）、數據處理過程。在預處理部分一般對圖像進行配準、形態處理等。預處理部分對視網膜圖像進行血管增強有利于之后的血管分割，所以實驗在進行血管分割之前先增強視網膜圖像，再進行血管分割。

1 模型

在進行神經網絡訓練測試前 ，對眼底圖像做Gabor濾波，目的是提取圖像的特征分量，使血管特征愈加明顯。有利于神經網絡的學習和分割。本實驗分為兩步，第一步是進行圖像預處理，對圖像進行配準、像素處理以及Gabor濾波增強；第二步是將視網膜眼底圖像分為訓練集和測試集。將訓練集圖像作為輸入，以真實的視網膜分割邊緣圖像作為監督圖像。如圖1所示，前向采用卷積、池化、激勵、dropout、上采樣等算法，最終用Softmax對分割圖像進行最后分類，得到一個二維分類圖，分為血管與非血管，再與真實的視網膜血管分割圖像進行比較，繼而反饋回神經網絡，調整學習參數，反向用隨機梯度下降法。

2 Gabor與全卷積神經網絡算法實現

2.1 Gabor濾波

由于血管與背景的對比度低，使血管分割難度增大，因此，血管增強是血管分割中常用的預處理方法。

在圖像處理中，Gabor函數是一個用于邊緣提取的線性濾波器。Gabor濾波器的頻率和方向表達與人類視覺系統類似。研究發現Gabor濾波器十分適合紋理表達和分離。為了把Gabor變換用于圖像領域， 構造二維Gabor濾波器。二維Gabor濾波器在頻域和空間域都具有最優的局部特性，能夠很好地描述空間頻率、空間位置、方向選擇性等局部信息，同時對光照不敏感。Gabor濾波器脈沖響應，可以定義為一個正弦波（對于二維Gabor濾波器是正弦平面波）乘以高斯函數。由于乘法卷積性質，Gabor濾波器的脈沖響應的傅立葉變換是其調和函數的傅立葉變換和高斯函數傅立葉變換的卷積。該濾波器由實部和虛部組成，二者相互正交。一組不同頻率不同方向的Gabor函數數組對于圖像特征提取非常有用。

在進行Gabor處理時，單獨通過RGB彩色圖像的可視化組件，可以看出綠色通道能較好地顯示視網膜血管，而紅色和藍色通道顯示對比度低且噪點多。因此，選擇綠色通道小波處理，以及組成特征向量本身，即每個像素的綠色通道強度作為它的一個特性。

式（1）中，A是一個對角矩陣，定義了濾波器的各向異性，代表了一個各向異性的高斯窗口，當=1時，為二維高斯窗口，在任意方向伸長。k=[k1，k2]為不同方向的調制頻率，a為尺度因子。

在實際應用時，可以根據檢測對象的方向趨勢，選擇合適的方向參數進行濾波。如在本實驗中，在檢測視網膜血管時，根據血管走向的偏轉角度進行濾波，可以使特征點定位更加準確。本實驗選取ε=1、k=[0，3]，方向選擇18個不同方向，得到血管增強圖，如圖2所示。

圖1與圖2分別為兩組不同眼底圖像的Gabor濾波結果。在Gabor濾波后的眼底圖像中，圖像中血管部分得到增強，更加突出。不同尺度值得到的增強圖像效果不同。當尺度值較小時，增強后的視網膜血管被細致地描繪出來，且可以忽略圖像中的病灶部分，不會受到圖像中病變生成的病灶影響，但噪點干擾較多；當尺度值較大時，增強后的視網膜血管較為純凈和突出，圖像噪點較少，但也將帶病灶的部分增強，會給之后的神經網絡分割帶來一些干擾。

2.2 全卷積神經網絡

本實驗第二步是將經過Gabor濾波增強的圖像輸入到全卷積神經網絡進行訓練和測試。卷積神經網絡分類使用的網絡一般在最后的連接層會將原來的二維矩陣壓縮成一維，從而丟失了空間信息，最后訓練輸出一個標量作為分類標簽，而圖像語義分割輸出的是一個分割圖。然后拿真實邊緣作為監督信息，訓練一個端到端的網絡。

本實驗構造的全卷積神經網絡框架包括卷積層、池化層、激勵層、Dropout。卷積層通過不同卷積核獲取圖片的特征信息。通過卷積層獲得圖像特征雖然可以直接使用這些特征訓練分類器，但是這樣做將面臨巨大數據量的挑戰，而且容易產生過擬合現象。為進一步降低網絡訓練參數及模型過擬合程度，在卷積層之后進行池化處理。池化方式通常有最大池化、均值池化、重疊池化。本次實驗選用最大池化。在激勵函數上，本實驗采用Relu函數，Relu是線性的，而且梯度不會飽和，得到的SGD的收斂速度會比Sigmoid和Tanh快很多，而且sigmoid和tanh需要計算指數等，計算復雜度高，Relu只需要一個閾值就可以激活。最后采用dropout進一步防止模型過擬合。Dropout指在訓練的時候隨機丟棄一些激活的神經元，這樣可以讓模型魯棒性更高，因為它不會依賴于某些局部特征。Dropout可以消除減弱了的神經元節點之間的聯合適應性，增強泛化能力。

由圖3看出，從階段一到階段五是在不斷地提取特征、池化及激勵計算。階段六是將階段五輸出最大池化后的圖像pool5進行卷積特征提取，再進行dropout，弱化一部分神經，最后將卷積后的圖像進行上采樣處理。上采樣方法有多種，本實驗采用卷逆積方法。Max_pool5上采樣后的圖像可以得到分割結果，但是在不斷的卷積采樣過程中會丟失掉很多信息，最終得到的上采樣圖像結果通常很粗糙。所以不直接采用上采樣后的Max_pool5進行最后的softmax分類。本實驗采用跳躍結構構造最終的分類圖。跳躍結構如圖4所示。

圖中FCN-2s最后在輸出特征圖上進行步伐為2的上采樣。 FCN-4s先在pool4層添加一個卷積核大小為1*1的卷積層，產生一個額外輸出。而FCN_2s圖代表pool5層的所有信息，對FCN_2s和pool4層的輸出進行融合，最后在融合后的結果上進行步伐為2的上采樣。

圖中FCN-8s先在pool3層進行如上步驟，添加卷積層產生額外輸出，然后把FCN_4s和pool3層額外的輸出進行融合，再進行步伐為8的上采樣，這樣可回到原圖像尺寸大小，在這個特征圖上進行像素分類。再對這個預測進行分類。這種方法既可以保留深層特征信息，也不會遺漏淺層特征信息。最后把FCN-8s進行Softmax分類，分為血管和非血管兩類，產生最終的視網膜血管分割圖像。

3 實驗結果

本實驗對采集到視網膜血管圖像進行濾波與分割，部分結果如圖6所示。圖中第一行是眼底圖像的原圖，第二行是經過Gabor濾波和全卷積神經網絡分割的結果，第三行是匹配濾波算法進行視網膜血管分割的結果。

可以看出，第二行血管大致方向和分支被分割出來，但部分光照較亮的地方對血管檢測產生了較大干擾。較為明顯的血管被較好地自動分割，但是細微的血管分割出來有斷點，不夠連續。由于本次實驗的樣本量較小，訓練的神經網絡次數不夠，造成網絡參數不夠精確，致使分割結果沒有達到完全的精確，后期通過增大樣本采集數量進行學習和訓練，同時預處理時進行光照處理排出光照干擾，將會得到更精確的分割結果。而匹配濾波雖然將血管細致地描繪出來，但匹配濾波對光照的抗干擾能力差，光照對比鮮明的地方被誤認為是血管進行了分割，最終結果噪聲很大。

為了更精確地評估現有的算法，計算出4個數據TP、TN、FP、FN來判斷算法分割結果的精確度。TP表示預測為血管而實際也為血管的圖像像素總和，TN為預測為非血管實際也為非血管的圖像像素總和，FP為預測為血管實際為非血管的圖像像素總和，FN為預測為非血管真實為血管的圖像像素總和。

式（2）為Acc計算公式，Acc由預測正確的正樣本加上預測正確的副樣本除以圖像總像素，可以得到圖像中預測正確的像素比率。Acc參數是一個可以評估預測算法的參數。實驗用的20張圖像的結果將匹配濾波得到的灰度圖結果，并進行局部閾值以及圖像去躁，使結果變成一個二值圖像，然后與真實分割的圖像進行對比計算TP、TN、FP、FN的值，再計算出Acc值，最后取20張Acc的均值作為匹配濾波的分割準確率。同時將20張全卷積神經網絡與相對應的手動分割圖像進行對比計算，也取20張圖像的Acc值作為全卷積神經網絡的分割準確率。

從表1可以看出全卷積神經網絡的分割準確率在訓練數據量較小的情況下，分割準確率高于匹配濾波。

4 結語

在實驗中，Gabor濾波能有效地對眼底圖像的視網膜血管進行增強。全卷積神經網絡對圖像進行像素級分類，從而解決了語義級別圖像分割問題。全卷積神經網絡接受任意尺寸的圖像輸入，從而可以對每個像素都能產生預測，同時保留了原始輸入圖像中的空間信息，最后在上采樣的特征圖上進行逐像素分類，同時跳躍結構使分割結果更為準確。本次實驗可以較好地分割出眼底圖像中的血管部分，但受到光照和訓練集數據量的影響，得到的結果仍然不夠精細。進行8倍上采樣效果雖然比2倍的效果有明顯改善，但是上采樣的結果仍然比較模糊、平滑，對血管分割中的細節不敏感。

參考文獻：

[1] LONG J，SHELHAMER E，DARRELL T.Fully convolutional networks for semantic segmentation[C]，IEEE Conference on Computer Vision and Pattern Recognition，2015：3431-3440.

[2] LI Q，XIE L，ZHANBG Q，et al.A supervised method using convolutional neural networks for retinal vessel delineation[C].International Congress on Image and Signal Processing，2016：418-422.

[3] SAINATH T N，SAN MARTIN M C P.Convolution Neural Networks[P].US，US20160283841.A1，2016-09-29.

[4] LEE T S.Image representation using 2D Gabor wavelet[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2002，18（10）：959-971.

[5] LYONS M，AKAMATSU S，KAMACHI M，et al.Coding Facial Expressions with Gabor Wavelets[C].IEEE International Conference on Automatic Face and Gesture Recognition，1998：1-200.

[6] DAUGMAN J G.Complete discrete 2-D Gabor transforms by neural networks for image analysis and compression[J].IEEE Transactions on Acoustics Speech & Signal Processing，1988，36（7）：1169-1179.

[7] SOARES J V，LEANDRO J J，CESAR R M，et al.Retinal vessel segmentation using the 2-D Gabor wavelet and supervised classification[J].IEEE Trans Med Imaging，2006，25（9）：1214-1222.

[8] MCQUELLIN C P，JELINEK H F，and JOSS G.Characterisation of fluorescein angiograms of retinal fundus using mathematical morphology：a pilot study[C].Adelaide：the 5th International Conference on Ophthalmic Photography，2002.

[9] SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for large-scale image recognition [DB/OL].Computing Research Repository，2014（4）：1409-1556.

[10] JIA Y，SHELHAMER E，DONAHUE J，et al.Caffe：convolutional architecture for fast feature embedding[C].ACM International Conference on Multimedia，2014：675-678.

[11] CHAUDHURI S，CHATTERJEE S，KATZ N，et al.Detection of blood vessels in retinal images using two-dimensional matched filters[J].Medical Imaging IEEE Transactions，1989，8（3）：263.

[12] SALEM S，SALEM N，NANDI A.Segmentation of retinal bloodvessels using a novel clustering algorithm （RACAL） with apartial supervision strategy[J].Medical and Biological Engineering and Computing，2007，45：261-273.

[13] AKITA K，KUGA H.A computer method of understanding ocular fundus images[J].Pattern Recognition，1982，15：431-443.

（責任編輯：江 艷）