基于多角度分析統計的眼底圖像微動脈瘤自動檢測

馬瑩,張旭剛?,姚軍平

(1.武漢科技大學 冶金裝備及其控制教育部重點實驗室, 湖北 武漢 430081;2.武漢科技大學 機械傳動與制造工程湖北省重點實驗室, 湖北 武漢 430081;3.武漢科技大學附屬天佑醫院, 湖北 武漢 430064)

在過去的幾年中,糖尿病患者的數量越來越多。據不完全統計,目前我國患糖尿病的人數超過了1.1億,約占我國成年人總數的十分之一,應該盡快采取一些措施來降低糖尿病的患病率及并發率,否則會給人類健康和社會經濟帶來嚴重的不良影響[1]。糖尿病視網膜病變 (Diabetic Retinopathy,DR) 是世界上最具破壞性和最常見的眼部疾病之一,它是造成工作年齡(20歲至60歲)人群失明的主要原因[2]。

微動脈瘤、出血、滲出物和新生血管是DR患者視網膜病變的表現。值得注意的是,由于糖尿病視網膜病變的初始臨床表現并不明顯,所以患者總是會忽視這些癥狀,然而到了晚期,糖尿病患者往往會失明[3]。現階段人工診斷的結果和臨床醫生的診療經驗息息相關,但是由于醫生缺乏專業知識等因素,誤診和漏診也很常見[4]。所以,利用機器學習、圖像處理等技術,自動、準確地分析和處理彩色圖像,實現迅速可靠的計算機支持診斷和治療,仍然是非常必要和緊迫的課題。眼底成像的許多重要工作需要計算機科學的整合,如視網膜血管分割[5]、小動脈和小靜脈分割[6]、病灶分類[7]、眼底圖像滲出物的檢測[8]等。

直到最近,主要有幾種檢測MA的方法,這些方法可以分為三類:傳統數學分析、機器學習和深度學習。Baudoin等人[9]報道了在傳統方法中基于數學形態學的MA識別的首次研究。Spencer等人[10]使用帶有線性結構成分的形態學頂帽變換對視網膜圖像的綠色成分進行了轉換。

然而,傳統的算法不僅不能正確地檢測出大量的MA候選點,而且對背景干擾非常敏感。機器學習方法主要有支持向量機(Support vector machine,SVM)[11],Welikala等人[12]使用支持向量機識別血管和識別PDR實例;K近鄰算法(K-nearest neighbors,KNN)[13],Abramoff和Suttorp Schulten[14]使用KNN檢測基于網絡的DR篩查的紅色病變;隨機森林算法(Random forest,RF)[15],曹文哲等[16]利用隨機森林算法來預測糖尿病視網膜病變風險;神經網絡算法(Neural networks,NNs)[17],Chudzik等人[18]使用卷積神經網絡(CNN)來預測微動脈瘤。但是,以上描述的機器學習算法存在一定的局限性,比如,支持向量機必須要進行特征預提取,KNN算法有可能導致計算效率和泛化的問題。近年來,數據驅動的深度學習已被常規應用于眼底圖像診斷眼部疾病。為了檢測MAs, Eftekhari等[19]提出了一種基于兩階段神經網絡的MA識別解決方案來解決類不平衡問題。現有的深度學習算法由于標記的MA圖片數量少、MA占比小,無法正確學習MA特征,容易出現過擬合的傾向。

盡管已有許多DR檢測技術發表,但微動脈瘤檢測仍然是一項具有挑戰性的任務。本文采用了一種新的基于多角度分析統計的方法進行特征提取,分別對綠色通道圖像和灰度圖像進行預處理和特征提取,每種預處理方式作為一個角度提取一組特征。然后,通過多層感知分類器(Multi-layer Perceptron Classifier,MLP)對候選MA進行分類,最后對所有分類統計結果求均值,完成MA檢測。以下是本文其余部分的組織方式:第1節是對本文所用的材料與方法進行闡述;第2節是結果與分析;第3節是結論。

1 材料與方法

1.1 材料

在e-ophtha-MA數據集上驗證本文所提出方法檢測MA的有效性,e-ophtha-MA是由眼科醫生創建的148張MA注釋照片的集合,其中74張眼底圖片作為訓練集,其余74張眼底圖片作為測試集。

微動脈瘤有四個指標:真陽性(TP)和假陽性(FP)分別為識別正確和識別錯誤的正樣本;真陰性(TN)和假陰性(FN)分別為識別正確和識別錯誤的負樣本。假設測試集中真實微動脈瘤的總數為N,測試集中圖像的數量為M,則以下兩個指標可計算為式(1)、式(2):

(1)

(2)

其中,靈敏度Sensitivity為真陽性微動脈瘤數量與真微動脈瘤總數之比,FPI是每張圖像假陽性的縮寫,顯示每張圖像微動脈瘤的平均假陽性數量。在這種情況下,靈敏度是指準確識別的MAs與真實MAs的比值。在每張圖片中發現的非MAs的數量用FPI表示。通過制訂不一樣的閾值,可以得到不同組的靈敏度和FPI,因此,我們可以創建出一個以靈敏度為縱坐標,以FPI為橫坐標的FROC曲線圖。最后的分數被確定為這7個FPI的平均靈敏度值,本文選取了7個FPI點(1/8,1/4,1/2,1,2,4,8)對應的靈敏度值,統稱為下面的FROC曲線分數。最后,繪制FROC曲線,計算e-ophtha數據集中所提出方法的AUC,以評價分類結果。

1.2 方法流程

本文采取的方法主要可以分為以下四個步驟:圖像預處理、候選區域提取、特征提取和分類,和以往方法不同的是,我們提出了一種新的特征提取方法,傳統的方法是進行一種預處理,然后對預處理后的圖像進行特征提取,本文是對原始綠色通道圖像和灰度圖像分別進行預處理,每一種預處理方式都作為一個角度提取一組特征,然后進行分類,并訓練多個分類器,對分類結果求均值。具體流程如圖1所示。

圖1 本文方法流程圖

1.3 圖像預處理

由于成像角度、拍攝環境照度、患者相對眼動等因素的影響,眼底圖像質量往往參差不齊[20]。為了提高檢測算法的性能,需要對彩色眼底圖像進行預處理,調整光照不平衡,增加微動脈瘤與背景的對比度,減小噪聲的影響。本文提出了一種基于多角度分析統計的特征提取方法,分別對綠色通道圖像和灰度圖像進行預處理,每一種預處理方法作為一個角度提取特征,采用以下兩種方式對圖像進行預處理:直方圖均衡化、照明均衡化。

在進行預處理之前,我們經常提取一個包含完整信息的圓形感興趣區域(ROI)以簡化處理過程。本文采用基于4鄰域的三次插值方法,在保持長寬比不變的情況下,將ROI的直徑調整為900像素,為了縮小感興趣區域,采用直徑為6的圓形濾波器核進行腐蝕操作。

大多數眼底彩色圖像微動脈瘤與背景的對比度較低,因此需要在微動脈瘤檢測前對圖像進行增強,本文采用直方圖均衡化的方法來提高圖像的對比度,主要是通過擴大圖像的灰度分布范圍來實現,其變換公式如式(3):

(3)

其中,N是圖像中像素的總數,nj是像素強度為rj的像素的數量,L為圖像灰度的數量,T(rk)也被稱為rk的累積分布函數(CDF)。

眼底圖像常常出現照明不均衡的現象。為了解決這一問題,本文采用Hoover等人的[21]照明均衡化方法。該方法可以用公式(4)表示,背景圖片Ig是對原始綠色通道圖像I使用大小為3×3的中值濾波生成的,然后從I中減去Ig來修正陰影變化,最后,加上I的平均強度μ來保持灰度范圍恒定。

Ii=I-Ig+μ

(4)

1.4 候選區域提取

候選提取是整個檢測過程的關鍵步驟。這一步的主要目的是限制非MAs的數量。另一方面,在此階段丟失的任何真正的MAs在之后都無法恢復。本文根據MA的特點,采用局部最小區域提取和橫斷面掃描的方法提取MA。

MAs是預處理后視網膜圖像中局部強度最小的結構,通常表現為高斯曲線。也就是說,每個MA區域至少包含一個最小區域。在候選點半徑為3的圓內的其他像素的強度被逐一處理和比較,如果相鄰像素的強度很高,那么候選像素本身就是一個LMR。如果相鄰像素的強度較低,則當前像素可能不是最小值。

1.5 特征提取和分類

MA檢測的關鍵是特征提取。MA檢測的精度與提取的特征質量成正比。我們采用多角度分析統計的方法提取特征,即每進行一次預處理就提取一組特征,首先是原始綠色通道圖像:(1)從原始綠色通道圖像中提取1.5.1和1.5.2特征;(2)對原始綠通道圖像進行直方圖均衡化處理,提取1.5.1和1.5.2特征; (3)對直方圖均衡化后的圖像進行照明均衡化,提取1.5.1和1.5.2特征。其次是灰度圖像:(1)從灰度圖像中提取1.5.1和1.5.2特征;(2)對灰度圖像進行直方圖均衡化處理,提取1.5.1和1.5.2特征; (3)對直方圖均衡化后的圖像進行照明均衡化,提取1.5.1和1.5.2特征。

通過候選區域的提取,減少了非MA點的數量,但仍存在大量的假陽性,為了減少這些點的數量,需要進一步分類。本文采用多層感知分類器(MLP)進行分類,這是一種神經網絡模型,除了輸入層和輸出層外,它還可以在中心有一到多個隱藏層。將每種預處理方式提取的特征放入分類器中,訓練多個分類器,對所有的分類結果求均值。

1.5.1 基于形狀的特征

(1)長軸長(a): 候選區域的相距最遠的兩個像素間的距離;

(2)短軸長(b): 候選區域的相距最近的兩個像素間的距離;

(3)長寬比(r): 長軸與短軸的長度之比r=a/b;

(4)周長(L): 候選區域邊緣像素的數量;

(5)面積(A): 候選區域像素的總數量A=∑j∈Ω1,Ω表示候選區域內像素集合;

(6)圓度(c): 候選區域的圓度c=L2/4πA;

1.5.2基于灰度的特征

(1)MA候選區域內像素灰度的平均值Mc=∑k∈Ωgk/N,Ω表示候選區域內像素集合,gk表示候選區域內像素灰度,N表示候選區域內像素數量;

(2)候選區域中心8鄰域中大于中心點的像素集合A的強度均值與小于中心點的像素集合B的強度均值之間的差值(邊緣平均對比度),C=∑k∈Agk/NA-∑k∈Bgk/NB,NA為屬于A的像素數量,NB為屬于B的像素數量;

(4)邊緣像素對比度的標準差

(5)距離中心最遠距離加3為半徑的圓內不屬于候選區域像素的平均強度Mb=∑k∈bgk/Nb,b表示距離中心最遠距離加3為半徑的圓內不屬于候選區域像素集合,Nb表示其數量;

(6)距離中心最遠距離加3為半徑的圓內不屬于候選區域像素強度的標準差

(7)候選區域的平均強度與上述不屬于候選區域像素平均強度之間的差異Md=Mc-Mb;

(8)灰度值,NInorm=(1/σ)(Inorm-x),其中,Inorm是灰度值,σ和x是Inorm像素灰度值的標準方差和均值。

2 結果與分析

為了評價MA候選提取方法的有效性,我們采取靈敏度這一計算指標,在e-ophtha-MA數據集上進行驗證,并與其他MA候選提取方法進行比較。如表1所示,在e-ophtha-MA數據集上,本文提供的MA候選提取方法的靈敏度為0.91,與其他方法[22]相比,本文提出的MA候選提取方法提取了大部分MA。同時,即使靈敏度很高,我們提出的MA候選提取方法的FPI為298。結果表明,該方法去除了大量的非MA,在MA候選提取階段具有較低的FPI值。

表1 在e-ophtha-MA數據集上MA候選提取性能

我們采用自由響應工作特性曲線(FROC)來評估MA 檢測方法的性能。表2列出了FPI為1/8、1/4、1/2、1、2、4、8時的具體靈敏度值,以及其他幾種方法的結果。表2顯示,該方法在e-ophtha-MA數據集上的最終FROC曲線得分為0.510,高于其他先進方法。在一定的FPI值下,靈敏度最高,特別是當FPIs<1時,該方法對FPIs的靈敏度為0.331,0.373,0.443,0.493,遠高于其他方法。表2測試時間是測試每張圖所用的時間,可以看出,該方法統合了多種預處理方式,在僅增加一些計算復雜度的前提下,使最終識別結果得到了較好的提升。使用e-ophtha數據庫構建的FROC曲線如圖2所示。

表2 在e-ophtha數據庫上不同方法在預定FPIs上的靈敏度

同時,表2列出了不進行多角度分析統計方法提取特征的結果,表中“本文方法(綠色)”表示對綠色通道圖像進行預處理的特征提取結果,不包括灰度圖像。表中“本文方法(灰度)”表示對灰度圖像進行預處理的特征提取結果。根據表2,Fscore在e-ophtha數據庫中不進行灰度圖像預處理的結果為0.483,不對綠色通道圖像進行預處理的結果為0.492,對灰度圖像和綠色通道圖像進行多角度分析統計提取特征的結果為0.510。

由此,多角度分析統計提取特征的結果明顯優于非多角度分析統計的結果。

圖2 在e-ophtha-MA上的FROC曲線

采用ROC曲線和AUC指數評價該方法的分類效果。ROC曲線是以靈敏度為縱軸、特異性為橫軸繪制的散點線圖,一般為(0,0)到(1,1)之間的凹曲線。AUC (Area Under Curve)是ROC曲線與橫軸所圍成的面積大小,其值一般在0.5～1之間,越接近1,則說明分類器效果越好。本文方法在e-ophtha-MA數據集上的ROC曲線如圖3所示,表3顯示了本文方法與其他方法在e-ophtha-MA數據集上的AUC對比。本文所提方法在去除復雜背景點后的AUC達到0.9805,這遠遠大于文獻[22]和[24]的結果。

圖3 本文算法在e-ophtha-MA數據集上的ROC曲線

表3 本文方法與其他方法的AUC結果比較

圖4為對眼底圖像在e-ophtha-MA數據庫檢測識別的部分結果,其中左圖為右圖局部放大。從左圖中可以比較清晰地看出圓環標注區域,其中較小半徑的圓表示原圖中微動脈瘤點標注,較大半徑的圓代表本文所提方法的識別結果。由此可以看出,本文所提出的方法能夠準確識別出MAs,與真實微脈瘤點的位置有很高的重合度,特別是一些特殊的點,如血管附近的點和邊緣點。雖然本文所提出的方法沒有去除血管、視盤等混亂的結構,也沒有人工選擇負樣本,仍然能夠檢測出血管附近或者明亮區域的MAs,但是在一些背景污染嚴重、對比度較弱的區域,仍然有一些遺漏的MAs。

圖4 最終識別結果

3 結 論

本文提出了一種基于多角度分析統計的微動脈瘤自動檢測算法,該算法包括眼底圖像預處理、微動脈瘤候選區域提取、特征提取和分類四個步驟。在開放數據集e-ophtha-MA上對該方法進行了性能測試,靈敏度為0.91,FROC響應曲線最終得分為0.510,AUC為0.9805。結果表明,該方法能有效地提取更多的真微動脈瘤。

在特征提取階段,提出了一種新的特征提取方法,即多角度分析統計的特征提取方法,分別從原始綠色通道圖像和灰度圖像中提取特征,每采用一種預處理方法提取一組特征,就放到分類器里一次,最后訓練多個分類器,對每個分類器的結果取均值,結果表明該方法具有較高的性能。