基于U-Net神經網絡眼底圖像的視盤分割研究

曾 錕，郭學東，黃銘斌，許祥叢，楊旭倫，張 浩，陳允照，陳 勇

（1.佛山科學技術學院 機電工程與自動化學院，廣東 佛山 528200；2.佛山科學技術學院 物理與光電工程學院，廣東 佛山 528200）

圖1 視盤視杯結構圖Fig.1 Optic disc cup structure chart

0 引言

眼底圖像中的視盤在青光眼篩查和診斷中起著重要作用，青光眼的早期發現有助于顯著降低不可逆性視力喪失的風險[1]。青光眼通常會導致視盤形狀、顏色和視網膜厚度發生變化，主要表現為視盤的中心亮區域（視杯）擴增，臨床上最常使用的診斷指標是視盤視杯垂直比（CDR），簡稱杯盤比，越大的杯盤比預示著更大的青光眼患病風險；在實際臨床判斷中，眼底圖像的杯盤比CDR大于0.65這一閾值常被判定為青光眼[2]。計算的杯盤比越準確，對青光眼眼部疾病的診斷篩查就越有利，而準確的杯盤比，依賴于眼底圖像視盤的精確分割，因此，眼底圖像視盤的精確分割極為重要。眼底圖像視盤視杯結構圖如圖1所示。

在過去的傳統方法中，Aquino等人[3]采用形態學邊緣檢測方法分割視盤邊界，趙圓圓等人[4]使用基于水平集的CV模型約束邊界梯度對視盤進行分割，趙曉芳等人[5]使用Sobel算子對視盤進行邊緣提取，隨后使用霍夫變換檢測圓來獲取視盤輪廓。這些方法實現簡單，但由于每張眼底圖像的亮度不一樣，加上臨床研究表明視盤是垂直高度比水平高度大約長7%～10%的近似橢圓[6]，所以利用形態學、圓形霍夫變換等技術并不能精確地分割視盤，而且霍夫變換的計算量大，導致分割慢、效率低。

近幾年，深度學習以其在計算機視覺和圖像識別領域的卓越性能吸引了許多研究者的注意，越來越多的人將深度學習算法，特別是卷積神經網絡（Convolutional Neural Networks, CNN），應用于醫學圖像的分析中[7]。Chen等人[8]使用以視盤為中心的圖像塊訓練端到端的CNN網絡用于青光眼的疾病診斷；Li等人[9]在青光眼診斷中，通過深度卷積網絡提取圖像全局與局部的特征，將全局與局部信息的診斷結果加權融合得出最終的診斷結果。不同于傳統的圖像分析算法，深度學習不需要人工選取圖像的特征，深度模型可以自動從圖像中學習解決問題的最優特征表達，深度網絡有許多層，隨著層數的增加，網絡對輸入圖像不斷提取高層特征并生成最后的輸出結果，通過多次迭代降低輸出的損失函數從而不斷優化深度網絡結構參數。由于將特征提取與網絡的最終輸出結果相關聯，可以提取對疾病診斷有效的圖像特征以達到更好的圖像分析性能。因此，深度學習具有較強的基于數據的自主學習能力[10]，并且隨著越來越多深度網絡的結構和優化算法被提出，深度學習的泛化性能也不斷提升，最近在醫學圖像領域不斷取得優異的成果[11]。在眼科圖像分析領域，最近深度學習才被逐漸應用，大多數的工作集中在使用簡單的 CNN網絡進行彩色眼底圖像的分析，主要應用在眼底結構的分割、視網膜損傷的分割和檢測、眼疾病的診斷和圖像質量評價。

本文提出了一種基于U-Net神經網絡的層級式視盤自動定位方法，該方法結合機器學習，通過U-Net神經網絡有效學習視盤區域的特征結構，并將顯著圖與卷積網絡有機結合，而且通過多層卷積能夠減少圖像亮度的差異，在快速定位視盤的同時也兼顧了定位結果的準確率。相對于傳統的視盤分割方法，提高了分割的精確度，而且分割耗時更短。

1 方法

本文的視網膜視盤分割的方法流程大致如下：

1）數據集的獲取。

2）對原始眼底圖像進行人工分割標記視盤，然后對人工標記視盤的眼底圖像和原圖進行各種預處理操作，以便于后面的機器學習操作。

3）使用深度卷積神經網絡對人工分割標記好的眼底圖像進行訓練、測試，以獲取輸入眼底圖像的視盤特征結構。

4）結合經過訓練、測試獲取的視盤特征對眼底圖像進行視盤位置的預測，最后得出相應的視盤分割結果圖。

視網膜視盤分割方法流程圖如圖2所示：

圖2 視網膜視盤分割方法流程圖Fig. 2 Retinal optic disc segmentation's flow chart

1.1 眼底圖像預處理

由于采集后的眼底圖像比較容易受到光照強度、噪聲等多種外界因素的干擾，從而增加了視盤定位和分割的難度[12]。為了讓視盤的特征結構更加突顯，所以在眼底圖像進行訓練之前，很有必要對視網膜眼底圖像（標簽圖和原圖）進行一系列的預處理操作。對眼底圖像進行歸一化和增強主要是想達到兩方面的目的：第一解決光照強度不均勻帶來的影響，第二是凸顯視網膜視盤的特征結構。而對眼底圖像進行濾波則有助于去除任何易受影響的噪音，同時保持邊緣和使圖像的對比度及亮度值進行了修改，以增強梯度變化和視網膜視盤邊界特征。

1.1.1 圖像歸一化增強

為了解決眼底圖像的光照不均勻問題和增強圖像對比度，所以需要對眼底圖像進行歸一化增強處理。歸一化處理公式為

其中，I(x,y)為輸入的視網膜眼底圖像；L(x,y)和C(x,y)分別為像素點(x,y)的光照強度漂移因子和對比度漂移因子；I'(x,y)為進行歸一化處理后的眼底圖像。

1.1.2 濾波

各種濾波方式對不同性質的噪聲有著不同的濾波特性[13]。實際濾波時，由于圖像往往會受到兩種不同性質噪聲的同時干擾，因而單獨采用高斯濾波或中值濾波都不會達到最好的去噪效果。為了能同時對兩種不同性質的噪聲進行濾除，現提出了一種新的混合濾波算法，該算法首先對受高斯噪聲污染的像素采用高斯濾波算法進行濾除去噪，而對受椒鹽噪聲污染的像素則采用中值濾波算法進行去噪。經過實驗結果證明，該方法更具有實用性和有效性。

均值為零的二維高斯函數如式（2）表示：

式（2）中，σ表示高斯函數的標準差。

1.2 U-Net神經網絡

本研究采用U-Net網絡作為本論文的網絡體系，使用深度卷積神經網絡對人工分割標記好并且經過預處理的眼底圖像進行一定迭代次數的訓練、測試，通過深度卷積神經網絡有效學習視盤區域的特征結構，以獲取輸入眼底圖像的顯著圖。

U-Net的網絡體系如圖3所示，U-Net通俗來講是全卷積神經網絡的一種變形，主要其結構經論文作者畫出來形似字母U，因而得名U-Net。U-Net與其他常見的分割網絡有一點非常不同的地方：U-Net采用了完全不同的特征融合方式——拼接，U-net采用將特征在channel維度拼接在一起，形成更厚的特征。而FCN融合時使用的對應點相加，并不形成更厚的特征。

圖3 U-Net網絡體系Fig.3 U-Net network structure

網絡架構中有兩條路徑：收縮路徑（左側）和擴展路徑（右側）。收縮路徑主要是用來捕捉圖片中的上下文信息，而與之相對稱的擴展路徑則是為了對圖片中所需要分割出來的部分進行精準定位。每條路徑由4個塊組成。在每個塊中有兩個卷積層，其核大小為3×3，并且在每次卷積運算后都有一個校正的線性單元（RELU）。然后，將步幅為2的2×2最大池化層添加到收縮路徑，并將2×2上卷積層添加到擴展路徑。快捷方式連接被添加到具有相同分辨率的層，從收縮路徑到擴展路徑，以提供高分辨率特征。在擴展路徑之后，使用1×1卷積層將特征映射到對應于背景、視盤的2通道概率圖。對于每個像素，選擇概率最高的通道作為分割結果。而為了能使網絡結構能更高效的運行，結構中是沒有全連接層，這樣可以很大程度上減少需要訓練的參數，并得益于特殊的U形結構可以很好地保留圖片中的所有信息[14]。

本網絡選擇比較常用的ReLu作為激活函數，ReLu解決了梯度消失的問題，而且計算速度和收斂速度快，另外減少了參數的相互依存關系[15]。ReLu函數公式為

為了避免過擬合[16]，在1×1卷積層之前插入了退出層。在訓練階段，只有一半的單元被隨機保留以將特征饋送到下一層，而在測試階段，所有單元都被利用來生成分割。通過避免在每個樣本上訓練所有單元，通過防止訓練數據上的共同適應，降低了過擬合的機會。

1.3 眼底圖像預測

經過卷積神經網絡對眼底圖像進行一定迭代次數的訓練、測試后，結合訓練、測試獲取的視盤特征對眼底圖像進行視盤位置的預測，最后得出相應的視盤分割結果圖。

2 實驗結果

2.1 數據集

在本研究中的數據集是百度研究院從實際使用案例中收集的，并且具有行業規模和質量的免費提供于研究和個人使用的數據集。數據集是由兩個不同的眼底照相機獲取的，其中用于訓練的是由蔡司Visucam 500（2124×2056像素）獲取，用于驗證和測試的是由佳能CR-2（1634×1634像素）獲取，所有數據集加起來一共有1200張彩色眼底圖片，正常與病變的眼底圖像比例為1:1，并且將數據集按1:1:1比例分為3個子集，分別用于訓練、驗證和測試。

2.2 評價標準

接受者操作特性曲線（Receiver Operating Characteristic Curve，ROC）：為了更直觀地看出視盤的分割性能，在分類結果上計算對應的敏感度和特異度并繪制相應的ROC曲線，ROC曲線的橫坐標為假陽性率（FPR，1-Specificity），縱坐標為真陽性率（TPR，也稱為Sensitivity），其中敏感度（Sensitivity，SEN）又被稱作真陽性率，是指被正確判定為視盤區域像素占實際視盤區域像素的百分比；特異度（Specificity，SPE）又被稱為真陰性率，是指被正確判定為背景區域像素占實際背景區域像素的百分比。最后，根據ROC曲線計算曲線下面積（Area Under Curve，AUC）作為評估視盤分割性能的重要指標，越大的AUC代表更優的分割性能。敏感度和特異度的計算公式為

其中，TP為真陽性，指分割正確的視盤像素個數；TN為真陰性，指分割正確的背景像素個數；FP為假陽性，指分割錯誤的視盤像素個數；FN為假陰性，指分割錯誤的背景像素個數。

2.3 正常視網膜實驗結果

正常視網膜分割實驗結果如圖4所示。

正常眼底圖像的杯盤比CDR為0.230。

由圖4（a）可以看出，原圖首先經過預處理后，能較好得到圖片的邊緣信息，對可能是視網膜視盤的區域進行分割；由圖4（b）可以看出本論文的方法成功實現了對正常視網膜視盤的分割；由圖4（c）和杯盤比可以看出，視盤分割的準確率比較高。

2.4 病變視網膜實驗結果

病變視網膜實驗結果如圖5所示。

病變眼底圖像的杯盤比CDR為0.707。

圖4 正常視網膜視盤分割結果圖Fig. 4 Segmentation results of normal retinal optic disc

圖5 病態視網膜視盤分割結果Fig.5 Segmentation results of pathological retinal optic disc

由圖5（a）中可以看出，原圖首先經過預處理后，能較好得到圖片的邊緣信息，對可能是視網膜視盤的區域進行分割；由圖5（b）可以看出本論文的方法成功實現了對病變的視網膜視盤的分割；由圖5（c）和杯盤比可以看出，視盤分割的準確率比較高。

圖6 本文視盤分割ROC曲線圖Fig.6 This paper presents ROC curve chart for optic disc segmentation

2.5 ROC曲線

本文提出的視盤分割方法的ROC曲線如圖6所示。

由圖6可以看出，本文提出的視盤分割方法具有良好的分割性能。

2.6 結果對比

本文提出的視盤分割方法與傳統的視盤分割方法對比見表1。

從表1可以看出，本文方法分割平均準確率為98.9%，相對于傳統的視盤分割方法，本文的U-Net神經網絡能夠有效學習有利于分割視盤的特征，從而提高分割的精確度，而且分割耗時更短。

3 討論

本文提出的視盤分割方法適用于數據量比較大的視盤分割，使用U-Net神經網絡對人工分割標記好的眼底圖像進行迭代的訓練、測試，通過深度網絡能夠有效學習有利于分割視盤的特征，以獲取輸入眼底圖像的視盤特征結構，從而提高分割的精確度，而且分割耗時更短。而本文的方法不適用于數據量比較小的視盤分割，因為數據量比較小，視盤特征結構的信息量比較小，以至于神經網絡對輸入眼底圖像的視盤特征結構的獲取不夠精確，導致分割的精確度降低。

4 結論

本論文根據視網膜視盤在青光眼篩查和診斷中起著重要作用的情況提出了一種基于U-Net神經網絡的視盤分割的方法。為了驗證所提分割方法的有效性，從原始圖像中先對其進行人工分割標記視盤位置，并對進行人工分割好的眼底圖像進行一系列的預處理操作；然后，利用U-Net神經網絡對經過預處理的視網膜圖像進行迭代的訓練、測試，以獲取有利于視網膜視盤分割的特征結構模型；最后，根據獲取的特征結構模型，對正常和病變的眼底圖像進行預測視盤的位置。該實驗平臺采用 spyder（python 3.7）進行仿真，由實驗結果可知，該方法成功實現了對正常和病變的視網膜視盤的分割，而且分割的準確率比較高。本文研究的基于U-Net神經網絡的視盤分割方法在青光眼篩查和診斷中起著重要作用，使青光眼得到早期發現，有助于顯著降低不可逆性視力喪失的風險。不足的是U-Net神經網絡訓練的數據集較少，預測的時候會把背景的少數面積錯誤預測為視盤。

表1 視盤分割平均準確率與每張圖片處理時長對比Table 1 The average segmentation accuracy of optic disc was compared with the processing time of each image