結合注意力和條件生成對抗網絡的視網膜血管分割

呂念祖，李小霞，2，肖 娟，周穎玥，2

1(西南科技大學 信息工程學院，四川 綿陽 621010)2(特殊環境機器人技術四川省重點實驗室，四川 綿陽 621010)

E-mail ：664368504@qq.com

1 引 言

眼底圖像是表征視網膜健康與否的重要方式，研究表明，視網膜血管形變程度與青光眼、白內障、糖尿病性視網膜病變等眼科疾病嚴重程度有著密不可分的聯系.通過檢測視網膜血管的變化，可以有效地預防和診斷眼科疾病.人工觀察視網膜血管的變化，不僅耗時耗力，而且受人為主觀因素影響較大.因此，為了輔助醫生快速診斷相關疾病，需要利用圖像處理技術對眼底圖像進行精確分割.然而，由于以下四個因素使得極小的血管很難被分割[1]：1)視網膜血管的形狀和寬度各不相同，不能以簡單的圖案表示；2)不同眼底圖像的分辨率、對比度和局部強度的變化很大；3)可能會受光盤、病變區域等其他結構的影響；4)具有低對比度和噪聲的眼底圖像；導致這項分割任務極具挑戰性.因此眼底視網膜血管分割一直是國內外研究的熱點和難點.

近年來，國內外研究者提出了很多算法用于解決眼底圖像分割任務，大致可以分為以下5類：基于血管跟蹤、匹配濾波、形態學處理、形變模型和基于機器學習的方法[2].基于血管跟蹤的方法可以得到血管的局部信息，但是容易受血管分支或交叉點影響，導致跟蹤目標丟失.Zhang等人[3]提出了基于貝葉斯理論和多尺度線檢測的血管跟蹤算法，把正常管點、血管交叉點和分支點都進行了考慮，提高了分割精度.Odstrcilik等人[4]將最小閾值誤差和匹配濾波相結合，該方法簡單有效.2014年Karthika等人[5]提出曲波變換和多結構元素形態學重構來分割血管，提高了視網膜血管分割精度.基于形變模型的方法用連續的曲線來描述血管邊界，Al-Diri等人[6]提出了一種新的視網膜血管分割和測量算法，該算法在保持血管寬度一致性的前提下，利用一種雙生帶(Ribbon of Twins，RoT)的活動輪廓模型來有效提取視網膜血管.基于機器學習的方法將血管像素和背景像素進行二分類，主要分為無監督和有監督算法，無監督算法不需要對像素點進行標記，監督算法需要把像素點標記為血管還是背景.Salazar-Gonzalez等人[7]使用自適應直方圖均衡化以及魯棒距離變換對圖像進行預處理，然后結合矢量流的圖割算法進行血管分割.Wang等人[8]提出一種有監督的方法來解決視網膜血管分割問題，該方法將卷積神經網絡和隨機森林相結合，提高了分割性能.Ronneberger[9]等人提出U型網絡用于細胞分割，然而對視網膜血管分割任務而言，仍無法很好地分割細小的血管.雖然上述算法提高了視網膜血管分割的精度，但是分割性能仍有待提高.

因此，針對現有視網膜血管分割算法存在的挑戰和不足，本文提出了一種基于注意力條件生成對抗網絡的視網膜血管分割方法.首先，設計本文提出的高低層特征注意力模塊，同時作用于高層和低層特征圖，使網絡關注高層語義特征和低層細節特征的融合，剔除不相關的特征和學習相關的特征，可更好地分割細小的視網膜血管；其次，本文使用條件生成式框架對視網膜血管進行分割，其中，將本文設計的注意力模塊和U型網絡結合，作為條件生成對抗網絡的生成器，以殘差網絡為判別器，通過生成器和判別器兩者之間的對抗訓練，進一步提高生成器的分割能力和判別器的判別能力；最后，去除生成器中的BN層，避免小批次訓練分割網絡時BN層帶來批統計量不穩定的問題.本文還對原始眼底圖像進行對比度受限自適應直方圖均衡化、伽馬矯正等預處理，減輕光照、前景和背景對比度低等因素的影響，緩解模型訓練壓力.

2 方 法

2.1 注意力條件生成對抗網絡

生成對抗網絡(Generative Adversarial Networks，GAN)[10]來自博弈論思想，由生成器模型(G)和判別器(D)模型兩部分組成.其中，生成器通過輸入隨機噪聲信號生成圖片；判別器負責判斷輸入圖片是來自生成器生成的圖片還是真實圖片，兩者不斷迭代優化，直到判別器無法判別輸入圖片的來源.GAN目標函數為：

Ez～pz(z)[log(1-D(G(z)))]

(1)

其中E表示期望，z表示隨機噪聲，pz(z)表示z服從高斯分布，x表示真實數據，x～pdata(x)表示x服從真實數據分布.

圖1 注意力條件生成對抗網絡框架Fig.1 Attention condition generation adversarial network framework

然而生成對抗網絡過于自由，無法進行約束；條件生成對抗網絡(Conditional Generative Adversarial Nets，CGAN)則是以某個額外信息作為條件，對生成對抗網絡進行約束，指導數據生成.額外信息可以是圖像類別標簽或分割標簽.本文方法的總體框架如圖1所示，以預處理后眼底圖像作為生成器的輸入，并輸出分割結果；預處理后眼底圖像和真實標簽圖像通道相連作為真實樣本，與生成器輸出圖像通道相連作為假樣本，判別器對真假樣本進行判別.條件生成對抗網絡的目標函數為：

LCGAN=Εx，y～pdata(x，y)[log(D(x，y))]+

Εx～pdata(x)[log(1-D(x，G(x)))]

(2)

式中x代表彩色眼底圖像，y代表彩色眼底圖像對應的像素級標簽，D(x，y)表示判別器預測(x，y)為真實樣本的概率，D(x，G(x))表示判別器預測(x，G(x))為假樣本的概率.生成器的目標在于最小化其損失函數，從而精確的分割出血管，判別器的目標在于最大化其損失函數，使其無法對生成器輸出進行判別，因此CGAN對下式函數進行優化：

Ex～pdata(x)[log(1-D(x，G(x)))]]]

(3)

為了更好地監督生成器，提高血管分割精度，在生成器輸出添加交叉熵損失函數：

Gseg=Ex，y～pdata(x，y)(-ylog(G(x))-(1-y)log(1-G(x)))

(4)

因此最終的目標函數為：Gloss=G*+αGseg，其中α用于平衡兩個目標函數，在本文方法中取α=7.

2.2 注意力生成器與判別器

在U型網絡中，高分辨率的特征圖擁有更多的細節特征，有助于網絡獲取前景位置信息；低分辨率的特征圖擁有更多的語義特征，有助于網絡獲取前景的類別信息.U型網絡解碼器通過上采樣的方式恢復圖像細節，但是這樣會導致邊緣模糊和位置細節信息丟失；因此U型網絡以直接跳連接的方式，將低層特征和高層特征進行通道聯合處理，有助于補充位置細節特征，提高分割精度.然而低層特征圖缺乏語義信息，包含大量無用的背景信息，高層特征圖經上采樣操作后，包含了很多無用的特征.為了解決這一問題，本文設計了一個注意力模塊：即將高低層特征圖相加，增加圖像特征圖豐富的細節信息和語義信息，用于指導網絡選擇有助于視網膜血管分割的特征；并將加權后的特征通過跳連接的方式進行整合，達到抑制低層特征圖和高層特征圖的無用特征的目的，從而提高視網膜血管分割性能.

圖2 高低層(HL)注意力模塊Fig.2 High-Low level(HL)attention module

圖2所示為本文設計的注意力模塊.其中Lf為低層特征圖，Hf為高層特征圖，conv1×1表示1×1的卷積.首先，將Lf做1×1的卷積操作，得到大小不變、通道數為C的特征圖，同時Hf進行與Lf一樣的處理，將處理后的Hf和Lf的特征圖相加，進行特征融合，再經過relu函數得到中間特征圖；然后分成兩個路徑，分別經過1×1的卷積和sigmoid函數，學習出概率圖，再與對應的特征圖相乘，重要的像素點給予更高的權重，不相關的像素點給予較小的權重，從而抑制不相關特征的同時增強有用特征；最后將兩個路徑獲得的特征圖進行通道拼接.低層特征圖注意力概率圖可以由下列公式進行描述：

V=σ1[WlLf+bl+WhHf+bh]

(5)

Al=σ2[Wl1V+bl1]

(6)

式中σ1是relu函數，σ2是sigmoid函數，Wl、Wh、Wl1是1×1卷積核參數，bl、bh、bl1是偏置.高層特征圖注意力概率圖公式與上述公式類似.使用1×1的卷積可以進一步捕獲語義依賴關系.使用softmax激活函數對注意力[11，12]系數進行歸一化會產生稀疏的激活值，因此σ2采用sigmoid激活函數，從而得到每張特征圖的概率圖.注意力生成器網絡如圖3所示.

圖3 注意力生成器網絡Fig.3 Attention generator network

判別器輸入由預處理后眼底圖像、生成器輸出和圖像像素級標簽組成，其中，預處理后眼底圖像與生成器輸出構成假樣本，預處理后眼底圖像與像素級標簽構成真實樣本.本文方法以殘差網絡作為判別器，殘差模塊有助于解決網絡梯度消失和網絡退化的問題，能夠訓練更深的網絡的同時，又能保證網絡的良好性能，判別器網絡結構如表1所示.

表1 判別器網絡結構Table 1 Discriminator network structure

圖4 殘差模塊(basicblock)Fig.4 Residual module(basicblock)

其中conv_7×7表示核尺寸為7，步長為2的卷積操作，maxpool_3×3表示核尺寸為3，步長為2的最大池化操作，avgpool_20×20為核尺寸為20的平均池化操作，fc為全連接層，basicblock為殘差模塊，具體結構如圖4所示.

3 實驗結果與分析

3.1 數據集

采用DRIVE[13]數據集來驗證算法的性能.該數據集是一個公開的用于視網膜血管分割的數據集，其中的數據為彩色眼底圖像，由Staal等人于2004年在荷蘭進行糖尿病視網膜病變篩查時建立.篩查人群年齡在25-90歲之間，每張圖像分辨率為565×584，對應標簽二值掩碼由兩組專家進行標注，掩碼與圖像相對應，其中像素1代表視網膜血管，0代表圖像背景.

3.2 眼底圖像數據擴充與預處理

由于DRIVE數據集中訓練集數據量較少，直接用于訓練會導致神經網絡訓練結果不佳，因此對圖像進行旋轉和水平翻轉，訓練集圖像增加到4800張圖像，其中4560張圖像被用來訓練網絡，剩下240張圖像被用來做驗證集.為了降低光照、噪聲、前景和背景對比度低因素的影響，進一步提高網絡分割精度，對眼底圖像進行預處理.預處理步驟如下：1)將彩色眼底圖像轉換為灰度圖像；2)對灰度圖像進行對比度受限自適應直方圖均衡化(Contrast Limited Adaptive Histogram Equalization，CLAHE)[14]，增強背景和前景對比度的同時抑制圖像中存在的噪聲；3)采用伽馬校正，降低光照不均勻和中心線反射現象的影響；4)計算每張灰度圖像的均值和方差，進行圖像標準化處理，使網絡能更好地學習圖像分布，加快網絡訓練速度；5)將圖像進行補0操作，使得圖像大小為640×640.經過步驟1)-步驟3)處理后的結果如圖5所示.

圖5 眼底圖像預處理示例Fig.5 Fundus image preprocessing example

3.3 評價指標

視網膜分割是將像素點分為血管和非血管兩類.為了更好地評估彩色眼底圖像中視網膜血管的分割精度，使用4種量化指標進行評判，包括靈敏度(Se)、特異性(Sp)、準確率(Acc)和ROC曲線下面積(Area Under Curve，AUC).Se即分割正確的血管點占所有金標準血管點的比例，Sp即分割正確的背景點占所有金標準背景點的比例，Acc即分割正確的血管點和背景點占整幅圖像像素點的比例，AUC即接受操作特征曲線(Receiver Operating Characteristic Curve，ROC)下面的面積，面積越接近1，表明視網膜分割效果越好.Se、Sp和Acc計算公式為：

(7)

(8)

(9)

其中，TP為被正確分割的血管像素個數，TN為正確分割的背景像素個數，FP為分割錯誤的血管像素個數，FN為分割錯誤的背景像素個數.

3.4 訓練過程

本文實驗是在GPU型號為NVIDIA GTX1080Ti的計算平臺下進行.以Tensorflow深度學習框架下的keras搭建網絡.首先訓練判別器，接著訓練生成器，兩者交替訓練；使用Adam優化器，一階矩估計的指數衰減率β1=0.5，二階矩估計的指數衰減率β2=0.999，學習率設置為2e-4，訓練批次大小為3，共訓練70輪，利用驗證集找出訓練過程中的最佳模型.最后在測試集上測試本文提出的視網膜血管分割網絡.

3.5 實驗結果

表2為不同算法在DRIVE數據集上的視網膜血管分割性能指標對比.本文方法的靈敏度(Se)、特異性(Sp)、準確率(Acc)和AUC分別為82.88%、97.45%、95.59%和97.86%，其中靈敏度、特異性、準確率和AUC均高于目前先進的方法，提升了視網膜血管分割效果.

表2 在DRIVE數據集上不同算法的實驗結果(%)Table 2 Experimental results of different algorithms on DRIVE dataset(%)

圖7 本文方法在DRIVE數據集上的分割效果示例Fig.7 Example of the segmentation effect of the method in this paper on the DRIVE data set

圖6為本文方法的ROC曲線和PR(Precision Recall)曲線，圖7為在DRIVE數據集上的分割效果比較，其中小矩形框內部為視網膜血管局部分割情況；通過對比文獻[15]、[20]的實驗結果可得出本文方法血管連通性高，在較大血管分割上效果顯著，能夠準確分割出血管主干支路，并且在一些細小血管處分割效果良好，能有效緩解血管分割斷裂的問題.

4 結 論

視網膜血管分割可以幫助醫生觀察血管狀態，對眼科疾病預防與診斷具有重要的意義.由于彩色眼底圖像存在對比度低、血管細小等問題，導致許多眼底視網膜血管分割算法分割精度不高，因此本文提出了基于注意力機制的條件生成對抗網絡，用于提升眼底視網膜分割效果.本文設計了一個注意力模塊，對有用的像素點給予更高的權重，無用的像素點賦予較低的權重，將注意力模塊與U型網絡相結合作為生成器，使網絡關注相關特征，抑制無關特征，可以有效地提高血管分割精度；以殘差網絡作為判別器，組成注意力條件生成對抗網絡，通過對抗學習，進一步優化生成器，強化生成器分割微小血管能力.與目前先進算法相比，本文算法分割敏感度、特異性、準確率和AUC均有提升，同時對分割其他組織結構具有一定的參考意義.