基于SRM-SE-DenseNet的超廣角眼底圖像病理性近視識別研究

王天宇 石征錦* 黃 鉦 宋國立 趙憶文

1(沈陽理工大學(xué)自動化與電氣工程學(xué)院 遼寧 沈陽 110159) 2(中國科學(xué)院沈陽自動化研究所 遼寧 沈陽 110016) 3(中國科學(xué)院機器人與智能制造創(chuàng)新研究院 遼寧 沈陽 110016) 4(中國科學(xué)院大學(xué) 北京 100049)

0 引 言

病理性近視(PM)是高度近視的一種，典型癥狀為屈光度進行性加深、眼軸不斷增長、視網(wǎng)膜及脈絡(luò)膜組織進行性損害引起的視功能障礙，多伴有眼后極部的鞏膜變薄，并產(chǎn)生多發(fā)病理性改變，如后鞏膜葡萄腫、漆裂紋、Fuchs斑、色素上皮萎縮、視網(wǎng)膜下出血、脈絡(luò)膜新生血管等，嚴重時將導(dǎo)致視網(wǎng)膜脫落而造成失明[1-3]。研究表明，該病的發(fā)病率在逐年增加并且趨向于年輕化[4]。其在中國大陸造成完全失明的人數(shù)多達670萬，患有視力障礙的人數(shù)多達710萬[5]。一般而言，多數(shù)眼部疾病都有一定的治療窗口期[6]，超過治療窗口期容易造成不可逆性視力障礙，因此針對病理性近視進行及時的檢查以及提前預(yù)防具有重要的臨床意義。

目前針對病理性近視的診斷大多依靠資深眼科醫(yī)生根據(jù)患者眼部的全面體檢結(jié)果進行人工診斷，該過程不僅耗時耗力，而且在資深眼科醫(yī)生緊缺、醫(yī)療條件不足的發(fā)展中國家或者國內(nèi)的相關(guān)貧困地區(qū)將很難做到準確診斷，從而因為病情的延誤而造成不可逆的視力損失。據(jù)統(tǒng)計全球大概有89%的視力障礙患者生活在低收入和中等收入國家[7]，因此欠發(fā)達國家和相關(guān)貧困地區(qū)的視力障礙和失明現(xiàn)象依然嚴峻，所以需要一種高效、自動的機器診斷方法，在不需要大規(guī)模的人力參與以及醫(yī)療器械介入的情況下可以輔助醫(yī)生做出及時的診斷決策，為以后遠程輔助醫(yī)療打下堅實的基礎(chǔ)。

近年來，隨著人工智能的發(fā)展以及眼底圖像技術(shù)的成熟，國內(nèi)外學(xué)者開發(fā)了大量針對眼部疾病的計算機輔助診斷系統(tǒng)，包括對糖尿病性視網(wǎng)膜病變、年齡相關(guān)性黃斑病變、青光眼等疾病的診斷。Liu等[8]提出PAMELA(Pathological Myopia Detection Through Peripapillary Atrophy)系統(tǒng)，其自動接收視網(wǎng)膜眼底圖像，并執(zhí)行感興趣區(qū)域(ROI)提取和視神經(jīng)乳頭的分割隨后根據(jù)毛細血管萎縮(PPA)這一特征在含有80幅眼底圖像的數(shù)據(jù)集上使用支持向量機(SVM)對病理性近視進行自動診斷。Benghai等[9]描述了PAMELA系統(tǒng)中的紋理分析和灰度分析模塊。然后使用決策引擎對兩個獨立的預(yù)測結(jié)果進行融合，以獲得整體分析，最終進一步證明了該系統(tǒng)的優(yōu)越性能。Zhang等[10]利用MRMR(Minimum Redundancy-Maimum Relevancy)特征選擇技術(shù)，對候選特征集進行選擇并且排列，最后使用SVM分類器進行分類，從而對病理性近視進行診斷。Xu等[11]提出使用特征袋(bag-of-feature)和稀疏學(xué)習(xí)的方法進行病理性近視的自動診斷。其對數(shù)據(jù)集中的圖像提取SIFT特征，把訓(xùn)練集的所有SIFT特征聚類為K類，構(gòu)成碼本；針對所有數(shù)據(jù)集中的每一幅圖片的SIFT特征，統(tǒng)計視覺詞的出現(xiàn)次數(shù)，得到相應(yīng)的直方圖；將直方圖進行稀疏學(xué)習(xí)作為樣本向量來構(gòu)建SVM的訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)，從而進行病理性近視的自動診斷。目前來看針對病理性近視的自動診斷方法具有以下3個缺陷：

(1) 分類模型構(gòu)建過程中所使用的樣本數(shù)量較少，所以泛化能力相對較差。

(2) 大多采用機器學(xué)習(xí)的方法，其需要對特征進行手動提取以及篩選，工作量相對較大。

(3) 采用傳統(tǒng)的眼底圖像進行病理性近視的識別，而傳統(tǒng)的眼底圖像檢測區(qū)域較窄。

本文采用深度學(xué)習(xí)技術(shù)在超廣角眼底圖像上實現(xiàn)病理性近視的高效自動診斷，在一定程度上解決了傳統(tǒng)人工診斷的煩瑣、低效，以及因醫(yī)療設(shè)備不足、醫(yī)生匱乏等因素造成病情延誤等問題。相比于先前的研究以及在臨床上的應(yīng)用，本文具有以下3個優(yōu)點：

(1) 采用較大的數(shù)據(jù)集，模型的泛化能力較強。

(2) 卷積神經(jīng)網(wǎng)絡(luò)強大的特征自動提取能力，省去了特征工程這一煩瑣的操作，且深度學(xué)習(xí)泛化能力較強。

(3) 數(shù)據(jù)采用超廣角眼底圖像，超廣角圖像檢測區(qū)域更廣泛，所以針對超廣角眼底圖像的自動識別相對于傳統(tǒng)眼底圖像的識別有著更加重要的意義。

本文方法首先進行圖像分割，識別視盤并以其為中心對原始圖像進行裁剪，以去除高干擾區(qū)域，提取目標區(qū)域；然后使用數(shù)據(jù)增強方法對數(shù)據(jù)進行擴充，減少過擬合的風(fēng)險，提高識別準確度；最后利用SRM-SE-DenseNet網(wǎng)絡(luò)模型對數(shù)據(jù)集進行自動識別得出診斷結(jié)果。

1 數(shù)據(jù)集

1.1 超廣角眼底圖像

超廣角眼底成像技術(shù)是一項近年來興起的眼底圖像采集技術(shù)，相較于傳統(tǒng)的眼底圖像，其具有免散瞳、范圍廣(可達200°范圍的成像)、速度快等優(yōu)勢[12]，在近幾年被大范圍應(yīng)用于臨床診斷，有效地提高了診斷水平，如圖1所示。

本文所采用的超廣角眼底圖像由愛爾眼科醫(yī)院提供，如圖2所示。針對每例患者一共有三幅眼底圖像，分別為綠激光眼底圖像、紅激光眼底圖像和偽彩色眼底圖像。

因為綠激光的穿透能力較弱，所以綠激光圖像呈現(xiàn)的是視網(wǎng)膜層面的血管和結(jié)構(gòu)，因為紅激光的穿透能力較強，所以紅激光圖像呈現(xiàn)的是脈絡(luò)膜層面的血管和結(jié)構(gòu)，而偽彩色圖像則是由紅激光圖像和綠激光圖像合并之后得出的偽彩圖，既包含脈絡(luò)膜結(jié)構(gòu)也包含視網(wǎng)膜結(jié)構(gòu)，因此是進行識別分析的最佳選擇。

1.2 數(shù)據(jù)分布

本數(shù)據(jù)集對病理性近視的標定是根據(jù)屈光度和眼軸長度來進行區(qū)分，即等效球徑小于等于-8D或者眼軸長大于等于26.5 mm就認為是病理性近視[13-14]。

一共收集到5 007例18至57歲之間的男女眼底圖像，其中非病理性近視有2 297例，病理性近視有2 710例。在病理性近視中性別比例以及眼別比例相對平衡，而在非病理性近視中女性占比較高于男性。總體而言，眼別數(shù)量相對平衡，女性數(shù)量稍多于男性，病理性近視數(shù)量稍多于非病理性近視，其具體分布如表1所示。

表1 清洗后數(shù)據(jù)分布

2 研究方法

因為患者的偽彩色眼底圖像綜合了視網(wǎng)膜和脈絡(luò)膜的結(jié)構(gòu)以及血管所包含的特征，針對病理性近視的識別主要采用患者的偽彩色眼底圖像。研究方法主要包括以下幾個部分：圖像預(yù)處理、數(shù)據(jù)增強、網(wǎng)絡(luò)結(jié)構(gòu)。

2.1 圖像預(yù)處理

本文主要基于超廣角眼底圖像進行病理性近視的自動診斷，由于其成像范圍較廣，所以圖像內(nèi)包含大量對識別產(chǎn)生干擾的區(qū)域以及噪聲(包括眼睫毛、反光點等)，因此需要對原始圖像進行預(yù)處理。主要分為以下兩部分：

(1) 視盤識別。視盤全稱視神經(jīng)盤，在超廣角眼底圖像中為靠近圖像中心的高亮圓盤區(qū)域，在灰度圖中該區(qū)域的灰度值可達到最大灰度級即255。因此可認為距離圖像中心點最近的高亮點群即為視盤。所以我們先對圖像進行灰度化，然后保留灰度值為255的像素，其他像素的灰度值設(shè)置為0。公式如下：

(1)

式中：Iin(x,y)為輸入像素點；Iout(x,y)為輸出像素點并由此得出像素點的坐標值。隨后計算圖像中心點坐標，其公式如下：

xm=w/2,ym=h/2

(2)

式中：xm、ym為中心點坐標；w、h為圖像的寬度和高度。然后計算每個最大灰度值點與圖像中心點的距離，該距離公式如下：

(3)

式中：(xi,yi)為第i個最大灰度值點坐標；(xm,ym)為圖像中心點坐標；di為第i點與中心點間距離。為了防止其他高亮點對識別的干擾，我們使用一個距離閾值來對其他干擾點進行篩選。即當兩點距離在閾值之內(nèi)時此點將被保留，否則剔除。該距離閾值設(shè)為w/6。隨后在被保留的最大值中尋找中位數(shù)，以去除孤立噪聲點，最后以該中位數(shù)坐標作為視盤的位置。對于無法識別視盤的圖像給予刪除。

(2)
圖像裁剪。當識別出視盤坐標點之后，將以其為中心，以邊長為400的矩形窗對原始圖像進行裁剪。這樣既保留了視盤、黃斑區(qū)等重要識別區(qū)域，也剔除了眼皮、眼睫毛等無關(guān)高干擾區(qū)域。然后將圖像尺寸轉(zhuǎn)換為224×224大小以直接輸入給神經(jīng)網(wǎng)絡(luò)。

2.2 數(shù)據(jù)增強

由于總體數(shù)據(jù)集相對較少，所以需要采用數(shù)據(jù)增強方法對訓(xùn)練集數(shù)據(jù)進行擴充，在一定程度上解決過擬合的問題并進一步提高識別準確率。

由于光照條件的不同而導(dǎo)致數(shù)據(jù)集中圖像明暗不均，這將使得訓(xùn)練集具有較大的類內(nèi)方差，因此，本文通過使用Gamma校正來實現(xiàn)光照不變性，其具體流程為使用不同的γ值生成不同明暗程度的數(shù)據(jù)對數(shù)據(jù)進行擴充。其公式如下：

s=crγ

(4)

式中：s為輸出；c、γ為正常數(shù)，一般情況下c的取值為1；r為輸入。γ取值為0.7、0.9、1.1、1.3，增強后圖像如圖3所示。最終經(jīng)過數(shù)據(jù)增強之后的訓(xùn)練集和測試集數(shù)據(jù)分布如表2所示。

表2 訓(xùn)練集和測試集數(shù)據(jù)分布

2.3 網(wǎng)絡(luò)結(jié)構(gòu)

本文采用深度學(xué)習(xí)方法對超廣角眼底圖像進行病理性近視的自動診斷。深度卷積神經(jīng)網(wǎng)絡(luò)是一種常用的深度學(xué)習(xí)方法，其相對于傳統(tǒng)的機器學(xué)習(xí)方法省去了特征工程這一煩瑣的操作，即利用卷積對圖像的特征進行自動提取，從而進行分類。本文所提出網(wǎng)絡(luò)的基礎(chǔ)結(jié)構(gòu)選用DenseNet[15]，并結(jié)合SE_block(Squeeze-and-Excitation Networks)[16]、SRM_block(Style-based Recalibration Module)[17]對圖像進行識別。網(wǎng)絡(luò)總體結(jié)構(gòu)如圖4所示,其中SE_Dense_Block是在原來Dense_Block的基礎(chǔ)上加入SE_block后所得結(jié)構(gòu)。如圖5所示，即在Dense_Block內(nèi)部的批量歸一化層(Batch Normalization,BN)[18]、ReLU[19]激活層與卷積層的組合(BN_ReLu_Conv)之后添加SE_block，并在過渡層(Transition Layer)之后添加SRM_block。

DenseNet網(wǎng)絡(luò)是由Huang等[15]提出，其網(wǎng)絡(luò)出色的Dense Block結(jié)構(gòu)對每一層輸出的特征圖(feature map)進行充分復(fù)用，一定程度上減輕了梯度消失的問題，網(wǎng)絡(luò)更易于訓(xùn)練并且有一定的正則化效果，相對于ResNet[20]減少了參數(shù)量。該網(wǎng)絡(luò)首先經(jīng)過卷積層(Convolution)和池化層(Pooling)，然后輸入給Dense Block。其一共包含四個Dense Block，每一個Block結(jié)構(gòu)中含有一個1×1卷積層和一個3×3卷積層。隨后接入過渡層減小特征圖尺寸。

SE_block(Squeeze-and-Excitation Networks)由Hu等[16]提出，可以認為是一種通道Attention機制。其利用兩個全連接層(FC)訓(xùn)練產(chǎn)生針對特征圖中每一個通道的權(quán)重，進而對特征進行重新校準，凸顯有用特征并抑制無用特征。事實上，SE_block能夠嵌入到現(xiàn)有的任意基礎(chǔ)網(wǎng)絡(luò)模型中以進一步提高網(wǎng)絡(luò)性能。SE_block結(jié)構(gòu)如圖6所示，圖7(a)為其網(wǎng)絡(luò)架構(gòu)。該結(jié)構(gòu)首先對輸入特征圖進行全局平均池化以把每個特征通道變成具有全局感受野的實數(shù)，即Squeeze操作，假設(shè)忽略樣本個數(shù)，其針對每一個通道的特征圖計算公式如下：

(5)

式中：g∈Rc，gc為第c個通道的輸出；f∈RH×W×C，fc為第c個通道的輸入；H為高；W為寬；Fsq(·)為Squeeze操作函數(shù)。隨后接入excitation操作，以捕獲通道之間的相關(guān)性，訓(xùn)練生成針對于每一個通道的權(quán)重，其計算公式如下：

e=Fex(g,W)=σ(W2δ(W1g))

(6)

Uc=Fscale(fc,ec)=ec·fc

(7)

式中：Fscale(·)為權(quán)重和輸入特征的融合函數(shù)。最終輸出特征為U=[U1,U2,…,Uc]。

SRM_block(Style-based Recalibration Module)是由Lee等[17]提出，其Block也可以嵌入在現(xiàn)有的基礎(chǔ)網(wǎng)絡(luò)模型中，與SE結(jié)構(gòu)不同的是其關(guān)注的是每一個特征通道的style特征，并利用該信息對通道進行重新校正。其網(wǎng)絡(luò)結(jié)構(gòu)與SE_block類似，網(wǎng)絡(luò)架構(gòu)如圖7(b)所示。

其輸入特征X∈RN×H×W×C，style特征T∈RN×C×2由平均池化(AvgPool)和標準差池化(StdPool)計算得出，其計算公式分別如式(8)和式(9)所示。

(8)

式中：N為數(shù)據(jù)個數(shù)；C為通道數(shù)；μnc為第n個樣本中第c個通道所計算得出的均值；xncwh為輸入特征圖中的單個特征點。

(9)

式中：snc為第n個樣本中第c個通道所計算得出的標準差。該通道所得style特征向量如下：

tnc=[μnc,snc]

(10)

該特征向量tnc∈R2，由μnc、snc連接而成。隨后利用通道全連接層(channel-wise fully connected CFC)對特征進行編碼，公式如下：

znc=Mc·tnc

(11)

式中：Mc是CFC第c個通道的權(quán)重。M∈RC×2為CFC的權(quán)重參數(shù)，Z∈RN×C為CFC層輸出，隨后經(jīng)過BN層以及Sigmoid函數(shù)進行整合。式(12)-式(14)為BN層計算公式；式(15)為Sigmoid函數(shù)計算公式。

(12)

(13)

(14)

(15)

(16)

本文所提出的網(wǎng)絡(luò)結(jié)構(gòu)是在DenseNet的基礎(chǔ)上結(jié)合SE_block和SRM_block，DenseNet的基本網(wǎng)絡(luò)參數(shù)保持不變，增長率k=24，網(wǎng)絡(luò)其他的具體示例以及參數(shù)如表3所示。

表3 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)列表

3 實 驗

數(shù)據(jù)增強后的圖像一共20 690幅，其中訓(xùn)練集20 030幅，測試集660幅，具體數(shù)據(jù)分布如表2所示。本文采用準確率(ACC)、靈敏度(SEN)、特異性(SPE)三個度量指標對網(wǎng)絡(luò)模型進行全面的衡量。其表達公式如下：

(17)

(18)

(19)

式中：TP為正確分類為正樣本的數(shù)量；TN為正確分類為負樣本的數(shù)量；FN為實際為正樣本但是預(yù)測為負樣本的數(shù)量；FP為實際為負樣本但是預(yù)測為正樣本的數(shù)量。在本數(shù)據(jù)中，病理性近視為正樣本，而非病理性近視為負樣本。

一般而言，在基礎(chǔ)網(wǎng)絡(luò)之上不同模塊的添加以及組合對分類的性能有著重要的影響，本文在DenseNet的基礎(chǔ)網(wǎng)絡(luò)之上結(jié)合SE_block、SRM_block，組合出5種網(wǎng)絡(luò)結(jié)構(gòu)分別為：

(1) SE_DenseNet(添加的模塊均為SE_block)。

(2) SRM_DenseNet(添加的模塊均為SRM_block)。

(3) SRM_SE_DenseNet(本文所提出的網(wǎng)絡(luò)結(jié)構(gòu))。

(4) SE_SRM_DenseNet(將SRM_SE_DenseNet中的SE_block和SRM_block互換位置，即Dense_Block內(nèi)部為SRM_block，Transition Layer后接SE_block)。

(5) SS_DenseNet(每個添加的模塊均由SE_block和SRM_block組成)。

訓(xùn)練過程的初始學(xué)習(xí)率設(shè)為0.001，L2權(quán)重衰減系數(shù)為0.000 1，DenseNet的增長率為24，SE_block的衰減率為8，每次迭代傳輸16幅數(shù)據(jù)。損失函數(shù)為交叉熵損失函數(shù)并使用Adam[21]優(yōu)化方法對參數(shù)進行優(yōu)化。經(jīng)過一定次數(shù)的迭代之后，其測試最高準確率分別為：78.94%、79.85%、80.03%、79.85%、79.11%，而不加模塊的DenseNet準確率只有77.59%，可見增加模塊確實提高了網(wǎng)絡(luò)的性能。其ACC、SEN、SPE如圖8所示，ROC曲線以及AUC面積如圖9所示，圖10為混淆矩陣。

根據(jù)實驗結(jié)果可知，SRM_SE_DenseNet網(wǎng)絡(luò)結(jié)構(gòu)達到了最佳分類準確率，其特異性和靈敏度分別為88.55%、69.54%。DenseNet網(wǎng)絡(luò)取得了最大的特異性值為96.93%，但是靈敏度卻最小僅有53.97%，而SRM_DenseNet卻得到最大的靈敏度值為70.86%和最小的特異性值86.59%。從ROC曲線以及混淆矩陣可以看出SE_DenseNet和SS_DenseNet網(wǎng)絡(luò)結(jié)構(gòu)的AUC面積要大于SRM_SE_DenseNet，但是這兩個模型的特異性和靈敏度差值過大，可見對識別具有較大的傾向性，即對正樣本識別較差，而對負樣本識別較好，相較與SRM_SE_DenseNet來說這種傾向性減小了很多。其次可知SRM_DenseNet和SRM_SE_DenseNet的傾向性都相對較低但是SRM_SE_DenseNet網(wǎng)絡(luò)的準確率、AUC、特異性均要好于SRM_DenseNet網(wǎng)絡(luò)。綜合考慮，最理想的網(wǎng)絡(luò)結(jié)構(gòu)即為SRM_SE_DenseNet。

為了充分證明本文提出的網(wǎng)絡(luò)性能，本文也與幾種經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)進行了實驗對比，分別為Alexnet[22]、VGG16[23]、GoogleNet[24]、ResNet50[20]。其實驗結(jié)果如表4所示。從實驗結(jié)果可以看出本文所提出的網(wǎng)絡(luò)結(jié)構(gòu)相比于其他幾種網(wǎng)絡(luò)取得了最高的準確率，其靈敏度僅次于Alexnet，總體性能最佳。

表4 與經(jīng)典網(wǎng)絡(luò)的對比實驗數(shù)據(jù)表

與此同時本文也在CPU：Intel Xeon Gold 5118，內(nèi)存：62 GB，顯卡：GeForce RTX 2080Ti的設(shè)備上測試了不同組合的網(wǎng)絡(luò)結(jié)構(gòu)和經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu)在該數(shù)據(jù)集上的識別效率(時間)。分別是整體測試集的識別時間和單幅圖像的識別時間，實驗結(jié)果如表5所示。可以看出，SRM_SE_DenseNet在整體測試集上的識別時間能達到18.131 9 s，針對單幅圖像的識別時間能達到0.027 5 s，與其他網(wǎng)絡(luò)的識別效率相差不多。

表5 識別效率時間表

續(xù)表5

識別效率與多種因素有關(guān)，比如模型的層數(shù)、復(fù)雜度、計算量等，各參數(shù)不同則識別效率不同，相對來說，模型越簡單識別所用時間越短但是識別性能則會相對下降。由于本系統(tǒng)為離線診斷系統(tǒng)，并且圖像識別的準確性關(guān)乎病人的生命健康，所以在識別時間差距不大的情況下，更注重網(wǎng)絡(luò)的識別率，因此SRM_SE_DenseNet的綜合性能較為突出。

4 結(jié) 語

本文提出一種在超廣角眼底圖像上對病理性近視進行自動診斷的方法，做到輔助醫(yī)生進行有效的診斷，相對減少醫(yī)生的工作量，為遠程輔助醫(yī)療打下了一定的基礎(chǔ)，以減少因為資深眼科醫(yī)生以及醫(yī)療設(shè)備不足而造成病人不能及時診療的事情發(fā)生。該方法主要通過圖像處理以及深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)，最終的實驗結(jié)果也證明了該方法的有效性。但是由于超廣角眼底圖像的特殊性質(zhì)，在裁剪過程中細節(jié)特征的丟失是在所難免的，以及對病理性近視的分類方法并不是根據(jù)眼底的實質(zhì)性病變進行判斷的，所以這都是造成判斷錯誤以及靈敏度較低的原因。但是總體來說，本文所提出的網(wǎng)絡(luò)結(jié)構(gòu)表現(xiàn)出來的性能也已經(jīng)充分證明了深度神經(jīng)網(wǎng)絡(luò)在眼底圖像上特別是針對病理性近視診斷上有著重要的應(yīng)用價值。未來的工作將會圍繞以上提出的兩個問題進行研究，盡量在保留細節(jié)特征的前提下，使用根據(jù)眼底實質(zhì)性病變進行病理性近視分類的數(shù)據(jù)集進行診斷，進一步提高識別的準確率。