智能化糖尿病眼底病變診斷系統

倪純+陳慕凡+瞿蒙+戴領+盛斌+李華婷+李平+吳強+賈偉平

摘 要 糖尿病視網膜病能造成患者視力損失或失明。我們提出了一個讓患者了解自己的視網膜狀況的智能糖尿病眼底診斷系統，包含云服務器和手機端應用。患者可自主拍攝眼底圖像，并通過手機應用上傳至服務器。服務器端將對圖像進行分析處理，包括視盤和黃斑區的定位，血管分割，病變檢測和病變分級。根據國際標準，對于非增生性糖尿病視網膜病變（NPDR）分為正常、輕度、中度和重度四個等級，采用圖像分割的方法來提高效率。采用醫院提供的眼底圖像進行測試，總體達到85%的準確率。

關鍵詞 糖尿病視網膜病篩查 眼底鏡 多尺度線性算子

中圖分類號：R587.2； R770.41 文獻標識碼：A 文章編號：1006-1533（2017）23-0020-05

Intelligentized diabetic retinopathy diagnosis system

NI Chun1， CHEN Mufan1， QU Meng1， DAI Ling1， SHENG Bin1*， LI Huating2， LI Ping3， WU Qiang2， JIA Weiping2（1. School of Electronic Information and Electrical Engineering， Shanghai Jiao Tong University， Shanghai 200240， China； 2. Shanghai Sixth Peoples Hospital， Shanghai 200233， China； 3. Faculty of Information Technology， Macau University of Science and Technology， Macau）

ABSTRACT Diabetic Retinopathy （DR）， the most common one of diabetic eye diseases， can cause loss of vision or blindness. We propose an automatic diabetic retinopathy diagnostic system to help patients know about their retinal conditions. The images are taken through the phone application and then transmitted to a cloud server to be analyzed， including localization of optic disk and macular， vessel segmentation， detection of lesions， and grading of DR. We use a multi-scale line operator to improve accuracy in segmenting small-scale vessels， a binary mask and image restoration to reduce the effect of the existence of vessels on optic disk localization. After the analysis， the fundus images are then graded as normal， mild Non-Proliferative Diabetic Retinopathy （NPDR）， moderate NPDR or severe NPDR. The grading process uses region segmentation to improve the efficiency. The final grading results are tested based on the fundus images provided by the hospitals. We evaluate our system through comparing our grading results with those graded by experts， which comes out with an overall accuracy of up to 85%.

KEY WORDS diabetic retinopathy screening； ophthalmoscope； multi-scale line operator

1 糖尿病視網膜病的研究現狀

糖尿病視網膜病是最普遍的糖尿病眼部疾病之一[1]。而在視網膜特征和病變的檢測上，主要的挑戰在于小尺度血管的分割的準確率不高[2]。對于眼底圖像的獲取，目前的研究主要專注于智能手機照相機的圖像質量的提高，而對于患者來說，同時用透鏡對準他們的眼睛并拍攝照片是非常不方便的。我們致力解決兩個問題：①眼底圖像的檢測能更準確嗎？②視網膜病變的分級能否更加高效？基于Ricci的工作[3]，我們使用了多尺度的線性算子以提高小尺度血管的分割精確度[4-6]。此外，我們使用了二值遮罩和圖像修復以減少血管的存在對定位視盤的影響[7-9]。我們進行預處理，諸如形態學操作和濾波操作[10-11]。在病變分級上，我們把圖片分成互不重疊的三個區域，每次只分析其中一個區域，效率自然也提高了。

2 研究內容及方法

2.1 圖像處理

我們首先提取出圖像的G通道并進行灰度反轉，隨后通過形態學腐蝕操作來定位眼底圖像的視網膜邊界區域，再迭代地采用形態學膨脹操作對視網膜邊界區域向外擴充，在擴充過程中，對邊界上的像素點進行均值濾波，依次完成擴充邊界。由于血管灰度較背景像素低，在眼底圖像中呈現類似邊緣的結構，而一般的邊緣算子檢測出來的血管不夠完整，而且受光照不均等噪聲影響，會產生一些“假血管”，分割精度有待提高[12-14]。針對血管局部呈現線性結構這一特征，我們設計了一個多尺度直線（line）算子，且該line算子可以旋轉以匹配不同方向的血管。對于每一個像素點（i，j），用此算子進行濾波得到一系列灰度值L（i，j），取其中最大值。最終的輸出表示如下：endprint

在微血管瘤的檢測中，現有的很多方法不能很好的應用于視盤存在病變、視盤亮度丟失等情況的眼底圖像中。首先我們提取原圖像的G通道，因為G通道的圖像保留了大量的對比度信息，視盤更加明顯。接下來對G通道圖像進行均值濾波，為了消除背景中極個別亮點對視盤的中心定位產生的影響，均值濾波過后檢測圖像中最亮的像素點，求這些像素點的坐標的平均值作為視盤的中心點。為了減小計算量、節省時間，可選取感興趣區域（ROI），ROI的選取是以剛得到的中心點為中心選取一個160×160像素大小的區域。接下來對感興趣區域進行血管的分割，用血管分割的結果作為圖像修復的模板mask。然后使用基于快速行進的圖像修復算法對ROI進行修復。以視盤中心點為中心，等間距地向外散發出20條射線，檢測第i條射線上的第j個點的梯度值。公式如下：

對這些點使用快速橢圓擬合算法，擬合出視盤邊界（圖2）。

黃斑區檢測基于視盤的定位。黃斑區是眼底圖像的一個重要結構其表現為眼底圖像的中央暗斑。為了使其更加明顯我們對圖像進行直方圖均衡化以增強圖像的對比度。為了定位黃斑區可先選取圖像的中間部分作為感興趣區域以減少計算量以及減小圖像周圍噪聲的影響。硬性滲出是導致反照視網膜和失明的一大因素。本文算法主要基于對比度來區分出硬性滲出區域。因為血管區域與周圍區域的對比度也不低（血管較暗，周圍較亮），因而在對原彩色圖像灰度化后，需要通過形態學閉操作來消除血管對檢測產生的影響。接著通過11×11的算子對圖像中每個像素的鄰域進行方差計算，選取方差大于某個閾值的點作為滲出區域邊界候選點，并進行形態學上的閉操作來填補區域間的小洞。通過反復的腐蝕、重建操作，將背景灰度逐步填充到滲出區域內，獲取無病變的背景圖像。重建、填充等步驟主要作用在于將背景灰度逐步填充到滲出區域內。最后將背景圖像與原始圖像做差，顯然，差值較大之處即為滲出區域，將差值矩陣進行閾值分割，并將符合條件的點標記在原圖上即可得到滲出區域。

2.2 病癥分級

為了提高運算速度，將圖像分割成三部分（圖3）。首先，我們檢測區域1中的病變（包括滲出、出血、微血管瘤），如果檢測出其中一類，便分為重度NPDR，停止檢測。否則，繼續檢測區域2。同樣地，若在區域 2中檢測出任何的病變，便定義為中度NPDR，停止檢測。否則繼續檢測區域3，若在區域3中檢測出病變，則為輕度NPDR，否則該圖像正常。

2.3 圖像獲取

智能手機檢眼鏡是借助智能手機獲得視網膜圖像的便攜式設備。設計的光學檢眼鏡如圖4所示，由三個主要部件組成：智能手機，視網膜鏡片和人眼。

在以前使用視網膜鏡片[7]的研究中，沒有使用任何框架來穩定智能手機和鏡頭的位置。在我們的方法中，框架能夠確保照相機的中心線和透鏡的中心線之間的重疊。此外，鑒于不同人的屈光度差異，智能手機和視網膜鏡片之間的框架被設計為可調節的（圖5）。

3 實驗結果

3.1 圖像處理

使用了DRIVE， DIARETDB1， DIARETDB0和STEAR這四個公開的數據庫來評估我們的算法。DRIVE包含40張分辨率為768×584的彩色眼底圖片，STARE包含20張分辨率為605×700的彩色圖片，另兩個數據庫共包含219張分辨率為1 500×1 152的彩色眼底圖片，包括25張無異常的圖像和194張不同等級的圖像。不同方法的血管分割結果可見圖6。Jiang[5]和Zhang[6]的方法會有血管缺失或多余的狀況，而我們的方法沒有這種問題。考慮到病變的存在會影響視盤和黃斑區的檢測結果，我們在測試的時候，同時選用了有異常的和正常的圖片（圖7）。可見我們的定位方法不受病變的影響。在處理時間上，也進行了測試和評估。我們用CAL[7]方法來評估血管分割算法，C、A、L三者的乘積表示算法的質量，其值為C、A、L分值（表1）[7]。

視盤定位的準確率比較見表2。盡管Yu和Youssif的方法的準確率略高，但是他們的運算時間更長，分別為4.7 s和210 s，而我們的方法僅不到1 s。

對于病變的檢測，本文算法也取得了很高的準確率，微血管瘤、出血和滲出的檢測準確率分別為99.7%，98.4%和98.1%。當然，算法性能也是我們同時要考慮的一大因素。表3比較了和其他方法的計算時間。

同時也要考慮到，實際情況下，由于患者不熟悉操作或外部環境問題，拍攝的圖像很有可能曝光不足、曝光過度、位置不對或四周黃斑。檢測結果見圖8。

3.2 病癥分級

我們使用約100張眼底圖像進行檢測，并與其它方法的評分準確度進行了比較，結果見表4。

3.3 圖像獲取endprint

用戶可以調整智能手機和視網膜鏡片之間的距離，以獲得視網膜的合理視圖。最后，用戶可以改變焦距以獲得圖像的清晰視圖。以下內容包含圖像的實驗和評估智能眼鏡的質量。受到現存研究[19]的啟發的啟發，我們使用kappa統計，做了這個實驗評估測試。在瞳孔擴張后，采取100例患者（200眼）的樣本量，比較智能手機（iPhone 5）320檢眼鏡和被認為是用于評估圖像質量的標準裝置掃描激光檢眼鏡（佳能OCT-HS100）拍攝的圖像的分級結果（表5）。通過不同設備從同一患者拍攝的眼底圖像之間的分級結果的一致性顯示了智能眼鏡的圖像質量是否合格。一致性越高，圖像質量越好。圖像根據國際臨床糖尿病視網膜病變嚴重程度評分。

4 結論及討論

我們提出了一個完全智能化的糖尿病眼底病變診斷系統，能夠自主拍攝圖像、分析并生成分析報告，特別是在特征和病變的檢測上提高了準確率和效率。檢眼鏡包含間接的視網膜鏡片，智能手機和它們之間的框架。用戶可以首先將智能相機的中心線和視網膜透鏡的中心線對準在同一條線上。然后，以簡化模型眼睛為樣本，用戶可以調整模型眼與視網膜長度之間的距離。研究結果也表明分析圖像的結果不錯。因此，病人能較好地使用該系統來檢查他們的眼睛狀況，從而決定是否就醫做進一步檢查。未來，我們將優化手機應用并進一步提高算法的準確率。

參考文獻

[1] Qi J， Yang P， Fan D， et al. A survey of physical activity monitoring and assessment using internet of things technology[C]. IEEE Intl Conf CIT/IUCC/DASC/PICOM， 2015： 2353-2358.

[2] Gao F， Li T， Hu J， et al. Comparative analysis of three purication protocols for retinal ganglion cells from rat[J]. Mol Vis， 2016， 22： 387-400.

[3] Ricci E， Perfetti R. Retinal blood vessel segmentation using line operators and support vector classication[J]. IEEE Trans Med Imaging， 2007， 26（10）： 1357-1365.

[4] Sekhar S， Al-Nuaimy W， Nandi A. Automated localisation of optic disk and fovea in retinal fundus images[C]. European Signal Process Conf， 2008： 1-5.

[5] Jiang X， Mojon D. Adaptive local thresholding by verification-based multithreshold probing with application to vessel detection in retinal images[J]. IEEE Trans Pattern Anal Mach Intell， 2003， 25（1）： 131-137.

[6] Zhang B， Zhang L， Zhang L， et al. Retinal vessel extraction by matched filter with first-order derivative of Gaussian[J]. Comp in Biol and Med， 2010， 40（4）： 438-445.

[7] Gegundez-Arias ME， Aquino A， Bravo JM， et al. A function for quality evaluation of retinal vessel segmentations[J]. IEEE Trans Med Imaging， 2012， 31（2）： 231-239.

[8] Yu H， Barriga ES， Agurto C， et al. Fast localization and segmentation of optic disk in retinal images using directional matched filtering and level sets[J]. IEEE Trans Info Tech in Biomed， 2012， 16（4）： 644-657.

[9] Youssif AA-HA-R， Ghalwash AZ， Ghoneim AASA-R. Optic disc detection from normalized digital fundus images by means of a vessels direction matched filter[J]. IEEE Trans Med Imaging， 2008， 27（1）： 11-18.

[10] Hoover A， Goldbaum M. Locating the optic nerve in a retinal image using the fuzzy convergence of the blood vessels[J]. IEEE Trans Med Imaging， 2003， 22（8）： 951-958.endprint

[11] Sinha N， Babu RV， Optic disk localization using L1 minimization[C]. IEEE Intl Conf Image Process， 2012， 2829-2832.

[12] Marin D， Aquino A， Gegundez-Arias ME， et al. A new supervised method for blood vessel segmentation in retinal images by using gray-level and moment invariants-based features[J]. IEEE Trans Med Imaging， 2011， 30（1）： 146-158.

[13] Lupascu CA， Tegolo D， Rosa LD. Automated detection of optic disc location in retinal images[C]. IEEE Intl Sym Comp-Based Med Sys， 2008： 17-22.

[14] Lu S， Lim JH. Automatic optic disc detection from retinal images by a line operator[J]. IEEE Trans Biomed Eng， 2011， 58（1）： 88-94.

[15] Qu M， Ni C， Chen M， et al. Automatic diabetic retinopathy diagnostic system based on adjustable ophthalmoscope and multi-scale line operator[J]. Pervasive Mob Comput， 2017， 41： 490-503.

[16] Zhang X， Thibault G， Decencière E， et al. Exudate detection in color retinal images for mass screening of diabetic retinopathy[J]. Med Image Anal， 2014， 18（7）： 1026-1043.

[17] Dutta MK， Ganguly S， Srivastava K， et al. An efficient grading algorithm for non-proliferative diabetic retinopathy using region based detection[C]. Intl Conf Telecom and Sig Process， 2015： 743-747.

[18] Hatanaka Y， Nakagawa T， Hayashi Y， et al. Improvement of automated detection method of hemorrhages in fundus images[C]. Annual Intl Conf IEEE Eng in Med and Biol Society， 2008： 5429-5432.

[19] Russo A， Morescalchi F， Costagliola C， et al. Comparison of smartphone ophthalmoscopy with slit-lamp biomicroscopy for grading diabetic retinopathy[J] Amer J Ophthalmol， 2015， 159（2）： 360-364.endprint