眼科篩選的自動眼底圖像診斷

丁廷波，鄧 鴻，陳國寶，方晏紅，嚴中紅，陳忠敏

(1.重慶理工大學 藥學與生物工程學院， 重慶 400054；2.重慶市江津區中心醫院， 重慶 402260)

現今眼科疾病已經成為了一個世界性的問題，《愛爾眼科中國國人眼底病變狀況大數據報告》數據表明，60歲以上人群的眼底檢查異常率均高于21.39%，即每5個60歲以上的人群中就有一個眼底異常的人，而據衛健委統計，我國目前只有3.2萬名眼科醫生，眼科醫生和眼科患者比例過低，極大影響了病人的就診以及治療。對此，各種檢查眼底的技術被開發出來應對眾多的病人，而在各類技術的開發和應用中，彩色眼底攝影(fundus photography，FP)技術尤為突出，它以最為經濟、無創的成像方式服務于視網膜檢測[1]。可以廣泛應用在評估多種眼科疾病，如年齡相關性黃斑變性(age-related macular degeneration，AMD)、糖尿病視網膜病變(diabetic retinopathy，DR)和青光眼(glaucoma)等，同時也產生了大量的眼底圖像需要鑒別的問題。再則，由于眼底疾病初期特征不明顯，眼底疾病的種類繁多，而大多數國家的醫療診斷都存在醫生和患者比例低的問題，及時診斷治療也變得困難[2]。人們努力去改進技術手段，用計算機來識別和描述眼底圖像的解剖學結構特征和其他結構之間的聯系，輔助眼科醫生工作，以求能夠更好地用于預測各種類型的眼底疾病[3-4]。

現在科研人員針對所有種類眼底疾病分類的研究較少，王丁辰等[5]研究的眼底圖像分類精確率為44.81%；而對于單一眼底疾病的預測模型較多，Rajput等[6]利用眼底圖像對糖尿病黃斑病變進行自動檢測準確率為95.75%，Jijiang等[7]研究的白內障精確率為93.2%，黃瀟等[8]研究的糖尿病視網膜病變精確率為95.3%。成功應用在臨床的眼科診斷系統針對的多是部分單一眼底疾病，如Erping等[9]開發的診斷先天性白內障(congenital cataract，CC) 的智能系統，系統準確率為98.87%，臨床試驗準確率為98.25%；Hrvoje等[10]利用黃斑區OCT視網膜圖像訓練AMD疾病模型，該預測模型可以有效地用于監測AMD病情的發展；世界第一臺智能DR篩查設備IDx-DR，可以自動識別眼底圖像的質量，自動診斷DR的分期，精確率在95%以上[11]。

本文針對眼底疾病種類繁多，眼底圖像數據量大，醫生和患者比例低，以及眼底圖像疾病識別率低的問題。通過用InceptionV3神經網絡訓練疾病預測模型的方式，在深入分析眼底圖像各類疾病特征的基礎上，得到一個眼底圖像疾病預測模型。

1 數據與數據處理

眼底圖像數據集來源于北京大學舉辦的“智慧之眼”國際眼底圖像智能識別競賽(odir2019)以及在醫院采集的400幅眼底圖像。數據集中所有眼底圖像被劃分為8個標簽，包括正常、糖尿病視網膜病變、青光眼、白內障、年齡相關性黃斑、高血壓視網膜病變、近視和其他疾病/異常。為了降低原始圖像給實驗帶來的干擾，刪除其中帶有鏡頭污染和異常圖像，總計6 940張眼底圖像作為原始數據。

1.1 標準圖像數據集的組成

針對原始數據集的圖像來源于各種不同型號的相機，如佳能、蔡司、科瓦等，采集的圖像分辨率不一的問題，統一采取以下圖像標準化處理。

圖1(a)為原始眼底圖像，長方形，帶有黑色的背景框，眼底的信息集中在圖像的中心；去除原始圖像多余黑色底框后如圖1(b)所示，圖像大小降低，統一為224*224分辨率；圖1(c)為翻轉圖像，右眼眼底圖像全部鏡面翻轉，保證視盤、黃斑與左眼圖像結構位置保持一致。經過以上技術手段處理，原始數據集6 940張圖像從1.32 G降低到標準圖像數據集198 M，整體數據量減少了85%，降低了后續模型訓練時間。

圖1 眼底圖像

1.2 增強圖像數據集的組成

針對數據集圖像有限的問題，為了增加數據的數量、多樣性，增強訓練模型的泛化性，對標準數據集進行增強處理。通過對每一張帶有疾病標簽的眼底圖像進行平移剪切以及中心縮放，增加眼底圖像的數量。224*224分辨率的眼底圖像對應(0,0,112,112)，(112,0,112,112)，(0,112,112,112)，(112,112,112,112)4個坐標進行平均分割，以中心為主縮放為0.5，0.6，0.8，0.9倍的圖像重組。

1.3 篩選圖像數據集的組成

在標準數增強數據集的基礎上，分析每種疾病的疾病特征，對于增強圖像進行篩選，得到針對性更好的篩選圖像數據集。

1.3.1正常眼底圖像特征分析

正常眼底圖像如圖2所示，能夠清晰地看到視杯、視盤、黃斑，以及視網膜顳側上小靜脈和視網膜顳側上小動脈等結構。視盤位于視網膜后部偏鼻側，黃斑位于視神經盤顳側稍下約3.5 mm處,攜帶的各種病理信息可用于如糖尿病視網膜病變、高血壓性視網膜病變、AMD、青光眼等診斷[12]。

圖2 正常眼底圖像

1.3.2糖尿病視網膜病變特征分析

糖尿病視網膜病變特征為：出現視網膜前出血，視網膜淺層出血、玻璃體積血、黃斑水腫、新生血管性青光眼，牽拉性視網膜脫離[13]。圖3為糖尿病視網膜病變眼底圖像，可以觀察到大范圍的結構改變。針對DR病變臨床特征分步廣的特點，圖4為增強圖像，編號1～4的平移分割圖像不能夠提供整體的疾病特征，從數據集中刪除，保留編號4～8圖像，更好地體現糖尿病視網膜病變全局特征。

圖3 糖尿病視網膜病變眼底圖像

圖4 增強圖像

1.3.3高血壓視網膜病變特征分析

圖5為高血壓視網膜病變圖像，主要特征為滲出及出血，可見棉絨斑、出血廣泛，有微血管改變。其他特征為硬性滲出及棉絨狀塊斑，常見于后極部，出血長見于后極部動脈附近，呈現點狀散布，少數呈墨跡狀[13]。針對HR病變特征分布的特點，將圖6所示的增強圖像中的編號1～4平移分割圖像從數據集中刪除，保留編號5～8圖像，更好地指向高血壓視網膜病變整體的表現。

圖5 高血壓視網膜病變圖像

圖6 增強圖像

1.3.4年齡相關性黃斑變性特征分析

AMD病變分為干性AMD和濕性AMD，病變特征集中表現在黃斑區附近。如圖7所示是干性AMD，主要病理改變為脈絡膜毛細血管萎縮、玻璃膜增厚、玻璃膜疣和視網膜色素上皮萎縮等導致的黃斑區病變[14]。黃斑位于視神經盤顳側稍下約3.5 mm處,將圖8的增強圖像中編號1、2的圖像集中在視盤部位的平移分割圖像從數據集中刪除，保留編號3～8圖像，其中編號3最明顯的特點是玻璃膜疣明顯，讓網絡更好地學習黃斑區域的病變特征。

圖7 干性AMD病變圖像

圖8 增強圖像

1.3.5白內障特征分析

白內障通常分為輕度、中度和重度，血管和視神經盤是其檢測和分級的主要參考。輕度白內障眼底圖像中的血管信息少于正常眼底，僅小血管不可見；中度白內障的眼底圖像中主要血管和視神經盤可見，而大小血管不可見；重度白內障的眼底圖像中視神經盤模糊不清[15]。圖9為白內障眼底圖像，眼底血管模糊，整體邊緣信息減少，對于圖10的增強圖像，刪除平移剪切編號1～4圖像，保留縮放圖像編號5～8，提供白內障整體結構信息。

圖9 白內障眼底圖像

圖10 增強圖像

1.3.6青光眼特征分析

青光眼是一組損害視神經的眼部疾病，當眼睛無法排出多余的液體時，眼睛內的液體壓力就會增加，壓力擠壓視神經，破壞神經纖維，損傷的神經纖維導致視網膜神經纖維層的惡化，導致視杯和視盤比例增大[16]。圖11是青光眼的眼底圖像，圖像中視杯與視盤的比例異常，在圖12的增強圖像中，將編號3、4部分沒有包含視杯視盤的眼底圖像刪除，編號5的視盤橫徑不完整，也刪除，保留剩下的5個包含視盤和視杯結構部分。

圖11 青光眼眼底圖像

圖12 增強圖像

1.3.7近視特征分析

圖13是病理性近視圖像。近視的眼底圖像特征：乳頭產生各種形狀，如三角、梭形、長圓，乳頭周圍環形萎縮灶，后極后凹(葡萄腫)脈絡膜萎縮，彌漫及黃斑，大血管暴露，眼底黃白色，黃斑結構不清楚，無中心反光，脈絡膜大片、地圖狀萎縮，鞏膜暴露，色素紊亂、沉著，反復黃斑出血，黃斑囊樣變性、裂孔，視網膜脫落[17]。對于圖14中近視眼增強圖像，刪除編號3、4圖像，保留剩下的6種增強圖像，突出近視眼眼底圖像疾病特征。

圖13 病理性近視圖像

圖14 增強圖像

1.3.8其他特征分析

其他疾病包括：視網膜分支動脈阻塞，玻璃體變性，視網膜色數沉著，黃斑前膜，視網膜色素上皮細胞脫失，視網膜中央動脈阻塞，色素上皮細胞增殖，有髓神經纖維，斑點狀膜樣改變，屈光介質渾濁等，對于此類別的眼底圖像，因為種類繁多，單一的樣本有限，對于增強圖像不做處理。

2 眼底圖像建模環境

為了獲得一個高精度的眼底圖像疾病識別模型，采用了神經網絡訓練建模的方式，選擇一個輕型神經網絡，載入帶有標簽的眼底圖像訓練集。

2.1 神經網絡模型

卷積神經網絡(convolutional neural network，CNN)被認為是深度神經網絡的一種常見變體，對于圖像分類以及圖像識別有著很強的能力，在計算機視覺中有著廣泛的應用，并以其權值分擔和局部連通性而聞名[18]。選取的神經網絡是InceptionV3網絡作為網絡主體，是因為作為輕型神經網絡的一種，它是在InceptionV1和InceptionV2的基礎上引入了因式分解的思想發展而來的，大量的研究中都證明它在結構和性能上的可靠。

InceptionV3的計算成本遠遠低于性能更高的后繼者[19]，這使得在大數據場景或內存或計算能力固有受限的場景中使用Inception網絡成為可能[20-21]。InceptionV3網絡結構的特點在于，之前提出了使用2個級聯的3*3的濾波器來代替網絡中的5*5的濾波器，而在此基礎之上，進行如圖15所示的濾波器結構改造，對于3*3的卷積核再次分解為3*1+1*3的模式，又再進一步的降低了網絡的計算量[22]。對于大量的眼底圖像訓練，使用InceptionV3網絡可以減少計算工作量，縮短實驗的周期，降低對硬件的要求，對于模型的精度有很好的保證。

圖15 濾波器結構

2.2 網絡詳細參數

為了提高神經網絡的預測精度，可以從2個方面入手，一是原始數據分析，二是算法模型的優化[23]。針對各類疾病眼底圖像的不同特征和表現，提供給神經網絡不同側重的數據集，以此來提高網絡模型的預測結果。以InceptionV3網絡為主體進行搭建，選用了SGD(lr=0.01,decay=1e-6,momentum=0.9,nesterov=True)作為神經網絡中的優化器， Softmax作為最后分類器。原始數據經過圖像預處理、圖像增強、圖像篩選、進入神經網絡提取特征，最終得到標準數據集、增強數據集、篩選數據集3類預測結果。

2.3 評價指標

評價一個神經網絡的性能，主要是有準確率(accuracy)、精確率(precision)、召回率(recall)、曲線下面積(AUC)等。

以下是評判標準的4個公式，其中，TP表示預測是正常的，實際也是正常的樣本；FP表示預測是異常的，實際是正常的樣本；TN表示預測為異常，實際為正常樣本；FN表示預測為異常，實際也是異常樣本。其中，TP和TN都是預測和實際樣本一致的，FP和FN都是預測和實際樣本不匹配的，而評價指標都是對4個指標不同的計算方法。

Accuracy表示正確的預測結果和總的預測對象的比值：

(1)

Precision表示正常樣本預測正確結果和所有預測為正常樣本的比值：

(2)

Recall又稱為靈敏度(sensitivity)，表示正常樣本預測正確總數和所有正常樣本的比值：

(3)

AUC是ROC曲線下的面積，表示正例排在負例前面的概率，ROC曲線坐標由{(x1,y1),(x2,y2),…,(xp,yp)}的點連接而成，則AUC公式如下：

(4)

2.4 實驗環境

使用華碩的飛行堡壘6筆記本電腦，GPU是GTX1050Ti，系統是Windows 10家庭中文版，CPU是Intel(R) Core(TM) i7-8750H CPU @ 2.20 GHz 2.21 GHz，內存 8.00 GB(7.85 GB可用)。

3 實驗結果

3.1 模型預測結果

表1是標準數據集模型的預測結果，把標準數據集的6 940張圖像載入InceptionV3網絡，其中6 540張圖像作為訓練圖像，8個種類的疾病都用50張圖像作為驗證圖像，通過4次訓練得到以下結果。從表2中可以看到，第4次重復實驗最好的Precision是52.41%，靈敏度51.75%。

表1 標準數據集預測結果

表2 增強數據集預測結果

表2是不同數據量的增強數據集預測結果，在標準數據集6 940的基礎上增加增強圖像，總量增加到12 000、14 000、16 000張。訓練模型預測結果的精確率、靈敏度以及AUC面積等評價指標都在上升。最好的結果在數據量16 000時，精確率是62.34%，靈敏度62.50%。

通過深入分析眼底疾病特征，篩選增強眼底圖像，獲得如表3所示的不同數據量的篩選數據集結果，分別對應圖像數據量為12 000、14 000、16 000的模型預測結果。最好的預測結果在數據量16 000時，精確度75.93%，準確率93.63%，召回率71.75%。表3和表2結果相比，準確率、精確率、召回率以及AUC的評分都有所提高，而與文獻[5]的神經網絡模型預測識別率44.81%相比，精確率提高了31.12%。

表3 篩選數據集預測結果

3.2 單一疾病預測結果

圖16預測結果1是表1的4次重復實驗中的第4次預測結果的單一疾病預測結果。通過標準數據集模型預測結果在單一疾病中的表現，可以看到白內障眼底圖像的預測結果表現最好，為70%，高血壓視網膜病變只有8%，精度不高的原因是圖像本身沒有明確給網絡提供學習的方向和重點，網絡隨機提取圖像信息作為該疾病的特征。

圖16 數據集預測結果

圖16預測結果2是表2中總量16 000的增強數據模型集預測結果的單一疾病預測結果，從中可以看出白內障的精確率是84%，病理性近視的精確率達到94%，證明增強圖像可以有效提高訓練模型的精確率。

圖16預測結果3是表3中總量16 000的篩選數據集模型預測結果的單一疾病預測結果，其中疾病預測結果最好的是病理性近視，準確率94%，白內障的準確率達到了92%，接近文獻[7]學習模型預測的93.2%。年齡相關性黃斑達到了88%，接近文獻[24]中用DCNN形成的智能識別眼底圖像88.4%的準確率。

4 結論

通過深入分析眼底圖像疾病特征，針對增強眼底圖像進行篩選，提高了神經網絡模型對疾病的預測結果。通過搭建以InceptionV3為主體的神經網絡，把不同種類的眼底圖像數據集作為訓練對象，獲得眼底圖像疾病預測模型。對比現有的眼底疾病識別率44.81%，篩選數據集模型預測結果達到了75.93%的精確率，提高了33.63%。白內障識別率達到92%，年齡相關性黃斑達到了88%，病理性近視的準確率達到94%，都接近于單一疾病的準確率。

實驗結果證明，通過深入分析眼底圖像疾病特征，優化眼底圖像數據集構成，可以有效提升訓練模型的預測精度。訓練的篩選數據集模型，可以用于輔助眼科醫生診斷眼底疾病，提高眼底疾病初期診斷篩查的精度。