聯合注意力和Transformer的視網膜血管分割網絡*

蔣 蕓,劉文歡,梁 菁

(西北師范大學計算機科學與工程學院，甘肅 蘭州 730070)

1 引言

醫學圖像分割是發展醫療診斷和治療系統的重要前提之一。青光眼、糖尿病視網膜病變、老年性黃斑變性和眼底視網膜病變等均是眼科領域的常見疾病，其中糖尿病視網膜病變是致盲的主要誘因[1]。將患者眼底圖像的血管和背景像素準確分割對眼部疾病的初步篩選、后續診斷和治療具有重要作用。視網膜血管又是血液循環系統中唯一可以直接和無創地觀察的深層微血管，其具有極其豐富的血管特征信息[2]。由此，研究人員常通過分割視網膜血管獲得視網膜血管的相關形態學信息。但是，觀察圖1所示的視網膜圖像發現，圖1a中有視神經、黃斑和血管等；圖1b視網膜上有出血和滲出物；圖1c的視盤和視杯中間的神經視網膜邊緣帶比較窄；圖1d垂直杯直徑與垂直盤直徑的比值比較小。可見，視網膜血管結構相當復雜，血管薄厚不一且血管之間連接緊密。此外，視網膜血管分割還受到眼底圖像低照明度、噪聲干擾及眼底圖像血管區域和背景之間的差異不突出等問題的影響。隨著近年來深度學習的進步，自動分割技術逐漸成為視網膜血管分割的主流技術，通過視網膜血管的自動分割技術協助眼科醫生檢測眼部疾病對于眼科疾病的臨床診斷和治療具有相當重要的意義。關于視網膜血管自動分割的任務流程如圖2所示。

Figure 1 Retinal images圖1 視網膜圖像

Figure 2 Flow chart of retinal vascular segmentation圖2 視網膜血管分割流程圖

近年來，已有大量的視網膜血管分割方法被提出，它們大致可分為無監督方法和有監督方法。現有的無監督方法主要包括靜脈跟蹤[3]、匹配濾波[4]、形態學特征[5]、多尺度分析[6]和基于模型的算法等。研究人員大多使用B-COSFIRE濾波器[7]、Gabor小波[8]和高斯濾波器[9]響應進行視網膜血管分割。然而，這些方法的實現需要研究人員仔細調整算法的超參數，很大程度上限制了這些方法在臨床實踐中的便捷性。研究人員還提出了一些其它方法用于視網膜圖像的分割，比如區域增長算法、最大熵期望最大化算法[10]和混合主動輪廓模型[11]等，但對于精確分割視網膜血管,其效果還需進一步改進。

隨著近年來深度學習的進步，基于深度卷積神經網絡CNN(Convolutional Neural Network)的方法已成功地打破傳統手工提取特征方法的瓶頸,特別是全卷積神經網絡FCN(Fully Convolutional Network)[12]、U-Net[13]以及U-Net的變體。Alom等人[14]提出基于U-Net的遞歸卷積神經網絡RCNN(Recurrent Convolutional Neural Network)以及基于U-Net的遞歸殘差卷積神經網絡RRCNN(Recurrent Residual Convolutional Neural Network)模型實現視網膜血管分割、皮膚癌分割和肺部病變分割。Jin等人[15]提出了可變形的U-Net DUNet(Deformable U-Net)，在網絡結構中引入可變形卷積并且感受野根據血管的變化自適應地調節。Wang等人[16]設計了3個解碼器組成的硬注意力網絡模型HANet(Hard Attention Net)，1個解碼器旨在動態分析圖像的“硬”和“易”區域，另外2個解碼器負責分割“硬”和“易”區域中的視網膜血管。Atli等人[17]提出先應用上采樣捕獲薄型血管特征，再利用下采樣捕獲厚型血管特征的模型Sine-Net。Huang等人[2]提出了改進的U-Net網絡，由23個卷積層、4個池化層、4個上采樣層、2個dropout層及SE(Squeeze和Excitation)塊組成。

上述方法進展都不錯，但基于FCN的U形網絡框架存在分辨率低的問題。除此之外，由于眼底圖像的結構復雜以及成像環境要求較高，圖像中存在不同規模的噪聲、不平衡的照明、低對比度和空間分辨率，大多數方法選擇采用CNN卷積核有限的感受野關注局部特征，以很好地彌補血管分割中精細的空間細節。設計用于序列到序列預測的Transformer[17]也緩解了這一局限性，其不僅對全局信息的提取能力很強大，且在大規模的預訓練下對下游任務表現出了卓越的可轉移性[18]。Transformer的特性有利于U形架構上采樣階段恢復圖像的全局特征[19]，這大大提高了網絡捕獲眼底圖像局部細小血管和全局上下文特征的能力。綜上所述，本文提出了聯合注意力和Transformer的視網膜血管分割網絡，稱為JAT-Net(Joint Attention and Transformer Network)。本文的主要工作如下：

(1)提出JAT-Net用于視網膜血管自動分割。JAT-Net通過跳過連接將編碼階段精細的高分辨率空間信息和底部Transformer編碼的全局上下文信息送至解碼階段，減少了網絡不同層間的特征冗余。

(2)在編碼階段，JAT-Net采用聯合注意力模塊增強編碼過程中感興趣的目標表示，為緩解連續下采樣造成的位置信息損失，將特征的位置信息和通道信息進行聯合關注，提高了網絡對血管特征的敏感度。

(3)JAT-Net通過Transformer將編碼器輸出的特征圖進行序列化處理，以此緩解編碼階段和解碼階段在建模長期依賴方面表現出的局限性，實現了更高的視網膜血管分割精度。

Figure 3 Structure of joint attention and Transformer network圖3 聯合注意力和Transformer的視網膜血管分割網絡

2 視網膜血管分割網絡

本文針對視網膜血管分割任務設計了一種聯合注意力和Transformer的視網膜血管分割網絡JAT-Net。首先，JAT-Net使用側輸入來構建圖像金字塔，其融合了不同層次的圖像特征,提高了編碼器提取特征信息的能力。然后，將48×48,24×24,12×12,6×6和3×3像素的視網膜血管特征圖依次輸入到5個側輸入分支中，每個分支與上一分支的特征相加,逐步融合生成5個不同分辨率的特征圖。圖3是本文的JAT-Net架構，它主要包含編碼器路徑和解碼器路徑。在JAT-Net的底部加入Transformer用于提取特征圖的全局上下文信息。最后，經過卷積操作和Softmax運算得到視網膜血管分割結果。

2.1 編碼器和解碼器網絡結構

在網絡結構中引入恒等映射捷徑使深層網絡更容易優化且不會產生更高的訓練錯誤率，甚至還能降低分割錯誤率[20]。由此，在編碼階段利用恒等映射捷徑的思想將原始輸入特征圖與經過2個串行3×3卷積、批規范化BN(Batch Normalization)層和ReLU激活的特征相加，然后將編碼器輸出的特征圖送至聯合注意力模塊，以更好地關注局部血管特征的細節。最后，對聯合注意力模塊輸出的特征圖進行最大池化操作，并將池化后的特征送至下一層編碼器。

在解碼階段，為最大程度地還原眼底圖像的全局上下文信息，將JAT-Net底部Transformer的輸出特征圖作為解碼器的輸入。每個解碼階段使用步長為2，卷積核為 2×2的反卷積恢復特征尺寸。與編碼器模塊一樣，解碼器模塊也是采用2個串行3×3卷積、批規范化和ReLU激活對特征信息進行解碼。編碼器和解碼器的結構如圖4所示。

Figure 4 Structure of encoder and decoder圖4 編碼器和解碼器結構

2.2 聯合注意力網絡結構

為了提取到高質量的血管特征，不僅要對特征圖的通道間信息進行編碼，而且還不能忽略特征的位置信息。聯合注意力模塊受到SENet(Squeeze-and-Excitation Networks)[21]提出的SE模塊的啟發，其聯合關注了特征圖通道和位置維度的特征信息。為了做到既捕獲特征的空間信息又保留位置信息，聯合注意力利用平均池化操作將輸入特征圖(維度為C×H×W)分別從垂直和水平方向構建了2個新的位置特征圖(維度為C×H×1和C×1×W)，具體操作如式(1)所示：

(1)

(2)

其中，c為通道，h為高度，w為寬度，xc代表輸入特征圖。然后，通過1×1的卷積和BN+ReLU層將拼接后的2個位置特征圖(維度為C′×1×(W+H))重新編碼生成2個像素注意力掩碼(維度為C×H×1和C×1×W)，其過程如式(3)～式(5)所示：

F=σ(fBN(Conv1×1(fh,fw)))

(3)

Gh=σ(fBN(Conv1×1(Fh)))

(4)

Gw=σ(fBN(Conv1×1(Fw)))

(5)

Figure 5 Structure of the joint attention module圖5 聯合注意力模塊結構

其中，F表示拼接后的特征圖，Gh表示水平方向特征圖，Gw表示垂直方向特征圖，σ代表ReLU激活函數，fBN(·)表示批規范化操作，Conv1×1(·)表示1×1卷積。最后，將生成的注意力圖與輸入特征圖相加，再經過1×1卷積、批規范化和ReLU,與輸入特征圖相乘，以進一步增強特征圖的表示能力，具體實現如式(6)所示：

yc=σ(Conv1×1(xc+σ((fBN[Gh,Gw]))))×xc

(6)

其中，yc表示聯合注意力最終輸出，+表示像素逐元素相加，×表示像素逐元素相乘。聯合注意力模塊的結構如圖5所示。在JAT-Net的編碼階段，將聯合注意力模塊的輸出作為下一層編碼器模塊的輸入。

2.3 Transformer網絡結構

由于U型架構對提取全局信息存在局限性，因此本文在JAT-Net中引入Transformer，Transformer的結構如圖6所示。具體來講，Transformer利用JAT-Net底層語義特征之間的全局相互作用，對特征圖所有位置的值進行加權求和，由此編碼特征信息獲得整個特征圖的上下文信息，從而在JAT-Net解碼器中實現精細的空間恢復。

Figure 6 Structure of Transformer圖6 Transformer網絡結構

首先，Transformer對輸入的圖像進行圖像序列化處理,獲得切片x=[x1,x2,…,xN]∈RN×(P×P)×C，其中，切片的數量N=HW/P2，每個切片大小為P×P，C是通道數。然后，通過可訓練線性映射將向量化的切片xN映射到潛在的D維嵌入空間，產生對應的切片嵌入投影Epatch∈R(P×P×C)×D。通過編碼切片空間信息，學習特定的位置并保留位置信息，將切片的位置嵌入到Epos∈RN×D相加，輸出相應像素級的標簽特征圖，具體操作如式(7)所示：

z0=[x1Epatch,…,xNEpatch]+Epos

(7)

其中，z0表示第0層像素級的標簽特征圖，Epatch為切片嵌入投影，Epos為位置嵌入投影。隨后，將嵌入切片輸入到由L層多頭自注意力MSA(Multi-headed Self-Attention)和多層感知機塊MLP(Multi Layer Perception)組成的Transformer模塊，在每個模塊之前應用歸一化層，在每個模塊之后添加殘差連接。Transformer第l層的輸出計算如式(8)和式(9)所示：

z′l=MSA(LN(zl-1))+z

(8)

zl=MLP(LN(z′l))+z

(9)

其中，z′l是第l層MSA模塊切片的輸出，zl是第l層切片圖像的表示，MSA(·)表示多頭自注意力，LN(·)表示歸一化操作，MLP(·)表示多層感知機塊。為了防止過擬合，Transformer中的MSA模塊集成多個獨立的注意力機制，注意力函數由3個點對點(Q,K,V)的線性層組成，每個注意力機制函數只負責最終輸出序列中一個子空間，而且互相獨立。MSA表示如式(10)所示：

(10)

其中，WQ∈RN×d，WK∈RN×d,WV∈RN×d，d為輸出維度。最后，通過MLP對MSA的輸出進行轉化，并通過殘差連接將MLP的輸出與輸入相加得到Transformer最終的輸出。

3 實驗和分析

3.1 數據集

本節在用于血管提取的數字視網膜圖像數據集DRIVE[22]和CHASE(CHASE_DB1)[23]眼底數據集上驗證本文所提方法的有效性。

DRIVE 數據集來自荷蘭的糖尿病視網膜病變篩查計劃，由40幅視網膜眼底血管圖像、對應的真實標記圖像及相應的masks圖像組成，每幅圖像的大小為565×584。詳細信息請參考http://www.isi.uu.nl/Research/Databases/DRIVE/。

CHASE數據集由14名學生的左眼和右眼視網膜圖像、對應的真實標記圖像及相應的masks圖像組成，每幅圖像的分辨率為1280×960。詳細信息請參考https://blogs.kingston.ac.uk/retinal/chasedb1/。

基于Retinex理論的多尺度Retinex顏色恢復MSRCR(MultiScale Retinex with Color Restoration)方法[24]對眼底圖像中的視神經盤、眼底血管及病灶等整體信息進行增強。該方法在幾個測試場景和一百多幅圖像上對多尺度視網膜進行廣泛的測試，以適度稀釋色彩一致性為代價，解決了灰度級圖像的缺陷。第1步，通過MSRCR方法對眼底圖像整體進行增強，接下來關注眼底圖像中最重要的血管結構。鑒于單通道灰度圖像比RGB圖像能更好地顯示血管與背景之間的對比度，所以第2步將MSRCR方法處理過的RGB眼底圖像轉換成單通道灰度圖像。將眼底圖像進行適當的預處理，利用增強后的三通道灰度圖像作為網絡訓練的輸入。

3.2 實驗細節

JAT-Net的實驗環境為基于深度學習開源框架PyTorch[25]，Linux操作系統，Intel(R) Xeon(R) Gold 5218 2.30 GHz CPU和NVIDIA Quardro RTX 6000 24 GB GPU，運行內存為187 GB。在訓練階段，使用Adam[26]函數作為網絡優化器，參數默認設置為β1=0.9，β2=0.999和ε=1e-8。通過Plateau方法對學習率進行衰減，學習率lr初始化設為0.001，權重衰減系數為0.000 5。為了規避過擬合風險,同時提升模型性能，對DRIVE和CHASE數據集的訓練圖像和標簽圖像采取隨機動態提取小批量補丁訓練網絡，動態提取的補丁數量為10 480，補丁大小為48像素，批量初始化為32，訓練周期為200。動態提取補丁主要通過隨機生成補丁的中心點位置，圍繞中心點從訓練集和標簽中截取尺寸大小為48的補丁圖像和標簽補丁圖像，最后將提取到的補丁圖像輸入到訓練好的模型中得到最終補丁圖像的分割結果。由于2個數據集的圖像大小不同，因此對原圖進行補丁切片處理時需要用黑色像素補充，以確保從每幅圖像中都能提取到整數倍個補丁。本文模型使用交叉熵損失函數，如式(11)所示：

L(pi,qi)=

(11)

其中，pi表示真實標簽值，qi表示預測值。

在訓練過程中，DRIVE數據集的20幅圖像用于訓練，20幅圖像用于測試;CHASE數據集的20幅圖像用于訓練，8幅圖像用于測試[27]。

3.3 實驗性能評價指標

為評估本文方法和現有其他方法對視網膜血管分割的有效性，本文通過5個常用的指標來客觀地評估視網膜血管分割的性能，包括準確率(Accuracy)、敏感性(Sensitivity)、特異性(Specificity)、ROC曲線面積(AUC)和F1分數(F1-score)，各指標計算如式(12)～式(17)所示：

(12)

(13)

(14)

(15)

(16)

(17)

其中，TP是正確分割的血管像素數量，FP是血管像素錯誤地被分割為背景像素的數量，TN是正確分割的背景像素數量，FN是背景像素錯誤地被分割為血管像素的數量。

3.4 評估模型改進前后的性能

為驗證JAT-Net中聯合注意力模塊和Transformer對視網膜血管分割任務的有效性，在相同的實驗環境下，以U型網絡為基線分別在DRIVE和CHASE數據集上進行視網膜血管分割實驗。實驗結果如表1和表2所示，表中Basic表示U型網絡模型，Basic+JAM表示在基線網絡的基礎上添加聯合注意力模型，Basic+Transformer表示引入Transformer的模型，JAT-Net表示本文提出的視網膜血管分割網絡。表中結果是由數據集中所有測試圖像的實驗指標數據和除以測試圖像個數獲得的平均值。

從表1可以看出，首先，以U型網絡作為整個實驗的基礎，加入聯合注意力模塊后，所有指標結果都高于Basic模型的，其中F1分數提高了3.44%，敏感性提高了4.99%;從敏感性指標來看，加入聯合注意力后網絡捕獲血管特征的能力明顯提高，證明其具有幫助網絡提升分割效果的作用；加入Transformer后的模塊比Basic有更高的敏感性和F1分數，其中F1分數提高了3.31%，敏感性提高了5.6%，這得益于Transformer能有效地將編碼器階段的全局眼底圖像特征傳遞給解碼器，并且緩解連續下采樣造成血管信息損失的問題；最后，JAT-Net與Basic進行對比，其敏感性提高了5.9%，F1分數提高了3.78%。

Table 1 Experimental results of the improved models on DRIVE dataset表1 DRIVE數據集上模型改進的實驗結果對比

在CHASE數據集的實驗上，首先采用MSRCR方法增強CHASE的原始圖像緩解了圖像中大范圍動脈狹窄和對比度低的問題，為血管分割創造了良好的前提條件。從表2可以看出，加入聯合注意力后的模型比Basic的實驗結果更優；JAT-Net比單一的引入聯合注意力或Transformer的分割結果更好；與基線網絡相比，JAT-Net的敏感性提高了4.18%，F1分數提高了6.85%。通過對DRIVE和CHASE數據集進行同樣的消融實驗發現，JAT-Net的評估指標相比基線網絡的都有很大的提高，這也進一步說明了JAT-Net對視網膜血管分割的有效性。

Table 2 Experimental results of the improved models on CHASE dataset表2 CHASE數據集上模型改進的實驗結果對比

圖7是消融實驗在DRIVE和CHASE數據集上的分割結果的可視化比較。圖8中第1列是原始視網膜圖像，第2列是人工分割的標注圖，第3～6列分別是Basic、Basic+JAM、Basic+Transformer和JAT-Net的分割結果。總的來說，在消融實驗結果對比中，模型分割結果的準確性逐漸提高，噪聲明顯降低，血管的邊界部分和毛細血管部分都被分割得更加精確和清晰，圖中標注的區域對比尤為明顯。

Figure 7 Segmentation results of ablation experiments圖7 消融實驗的分割結果

Figure 8 ROC and PR curves of ablation experiments圖8 消融實驗的ROC曲線和PR曲線

本文還通過計算并可視化展示了消融實驗結果的ROC曲線和PR曲線，如圖8所示。圖8中的ROC曲線反映了假陽性樣本和真陽性樣本之間的關系。當真陽性樣本與假陽性樣本的比例較大時，PR曲線能更好地反映分類的真實性能。在DRIVE數據集和CHASE數據集上，JAT-Net網絡模型的ROC曲線和PR曲線下的面積都是最大的，說明該模型在視網膜血管分割任務中比其他消融實驗模型的性能更好。

3.5 評估不同視網膜血管分割方法的性能

本節與現有的部分無監督和有監督視網膜血管分割方法進行對比實驗，同時將對比實驗的視網膜血管分割結果進行可視化。表3和表4分別顯示了DRIVE和CHASE數據集上不同方法的視網膜血管分割結果，可以看出，JAT-Net分割視網膜血管的準確率更高。

圖9是不同無監督方法的可視化血管分割結果。從圖9可以看出，大部分無監督方法的可視化結果存在噪聲且血管分割不完整。文獻[4]方法利用二維高斯核的匹配濾波器比文獻[9]利用高斯低通濾波器和高斯高通濾波器的分割效果更佳。文獻[10]采用無監督方法中最大熵期望最大化算法提取視網膜血管，其分割結果的敏感性在DRIVE數據集上達到了最優，從可視化方面看出其比前2種方法分割的血管輪廓更完整,但該方法分割的血管存在嚴重的斷裂且分割結果伴隨大量噪聲。與無監督方法的血管分割結果對比，JAT-Net去除掉了大部分噪聲對分割造成的干擾且對細小血管的分割也更完整。

Table 3 Comparison of the proposed methods and other methods on DRIVE dataset

Table 4 Comparison of the proposed method and other methods on CHASE dataset

Figure 9 Visualization comparison of results of unsupervised retinal vessel segmentations on DRIVE dataset圖9 DRIVE數據集上無監督方法視網膜血管分割結果可視化對比

圖10是不同有監督方法的可視化實驗結果。與U-Net相比，Sine-Net采取先上采樣的方式提取血管特征。除此之外，HAnet和文獻[2]方法同樣是改進的U形網絡，不同的是HAnet設計多個解碼器關注不同區域的特征。雖然HAnet不如文獻[2]方法的分割準確性高，但其分割的血管連續性比后者更強,且更多關注細小血管的特征，其特異性達到了最優值0.984 9。與其他方法相比，JAT-Net基于聯合注意力從局部角度關注血管的特征且利用Transformer建立特征的長依賴關系，提升了網絡對眼底圖像中血管主干和末端以及毛細血管的提取能力。JAT-Net在DRIVE數據集上分割的準確率達到了0.970 6，F1分數達到了0.843 3。從可視化的角度來看，JAT-Net在修復血管分割斷裂方面也有明顯改善且減少了一些細節錯分割情況，盡可能地避免了以上情況的發生,對一些眼科疾病的診斷也是有益的。

在CHASE數據集上，文獻[6]方法基于現有的移位濾波器組合 COSFIRE(Combination Of Shifted FIlter REsponse)增加了選擇性響應操作，由于其選擇性是在一個自動配置過程中從血管原始模樣中確定的，這使得該方法存在一定的限制性。文獻[8]方法利用不同的濾波器獲得對應的低頻和高頻圖像,用于后續對應特征的提取，從表4的評估指標也能發現，該方法相比文獻[6]方法在準確性方面有較大的提高，對血管的敏感性也更強。通過比較無監督和有監督視網膜血管分割方法的分割效果，觀察CHASE數據集上視網膜血管分割可視化結果(如圖11所示)可以看出，對于同一幅視網膜血管圖像，利用有監督方法HAnet和JAT-Net明顯比無監督方法文獻的分割更精準，一些毛細血管的連續性也更完整，其F1分數達到最高值0.819 1。

圖12是CHASE數據集上各有監督方法分割結果的可視化，R2U-Net和DUNet在細小血管的分割效果上優于U-Net。但是，R2U-Net 和DUNet在實現更高準確性的同時也引入了噪聲，并存在將背景區域分割為血管的情況。上述問題同樣出現在了Sine-Net的分割結果中，其分割圖像中的噪聲更加嚴重，不利于眼科專家診斷疾病。為了有效地使用來自不同訓練階段的特征信息，FANet[28]利用每個訓練周期的特征來修剪后續過程的預測特征圖，但仍未達到最佳效果。從可視化效果來看，JAT-Net沒有其他方法分割產生的噪聲多且對細小血管末端的處理更干凈，分割的主要血管主干也沒有受到過多背景因素的影響。JAT-Net在CHASE數據集上的準確率、敏感性、特異性指標都有所提高，其中，準確率和特異性分別達到了0.977 4和0.988 6。通過在DRIVE和CHASE數據集上對本文方法進行消融實驗以及與現有視網膜血管方法進行對比實驗，表明本文方法可以實現精準有效的視網膜血管分割。

Figure 10 Visualization comparison of results of supervised retinal vessel segmentation on DRIVE dataset圖10 DRIVE數據集上有監督視網膜血管分割結果可視化對比

Figure 12 Visualization comparison of results of supervised retinal vessel segmentation on CHASE dataset圖12 CHASE數據集上有監督方法視網膜血管分割結果可視化對比

Figure 11 Visualization comparison of retinal vessel segmentation results on CHASE dataset圖11 CHASE數據集上視網膜血管分割結果可視化對比

3.6 當前工作的局限性和未來研究的方向

致力于提高視網膜血管分割網絡的分割精度，同時本文工作還有以下不足之處:(1) 為了提高網絡的分割精度，利用Transformer以更多的時間和存儲交換模型的高準確性，這使得網絡模型對硬件要求很高，各模型具體的參數和時間復雜度如表5所示。(2) 所有實驗使用的數據集仍限于DRIVE和CHASE 2個公共數據集，沒有在更多更大的數據集上進行實驗，所以后續將嘗試在更多的數據集上驗證本文方法的優越性能。(3) 盡管某些結果優于目前的一些方法，但在強噪聲的數據集上，使用噪聲較小的數據集和焦點區域得到的訓練模型的分割結果還不如預期。

Table 5 Number of parameters and time costs of different models表5 不同模型的參數數量和時間成本

基于以上不足之處，未來的工作方向有：首先，通過優化網絡結構，提高網絡模型的分割速度，以及優化網絡模型的泛化能力，使其有可能用于生產和臨床應用；其次，現有公開的眼底圖像數據集的數量有限，對模型的訓練有很大的制約，在后續的研究工作中，可以利用合適數量的Ground truth圖像來監督網絡訓練，以解決由于數據量小而導致模型訓練不足的情況;最后，由于采集設備的不同，臨床診斷中使用的視網膜血管圖像往往存在差異，利用新的預處理方法解決由光照等引起的差異，建立具有更強泛化能力的網絡模型，在臨床應用中具有重要意義。

4 結束語

視網膜血管的準確分割對于幫助醫生篩查和診斷眼部疾病具有重要的實際意義。本文提出了融入聯合注意力和Transformer的網絡模型(JAT-Net)進行視網膜血管分割。JAT-Net不僅利用聯合注意力有效地關注局部血管特征，而且通過Transformer將圖像特征視為序列來編碼強大的全局眼底圖像特征。JAT-Net在DRIVE和CHASE眼底圖像數據集上的視網膜血管分割結果表明，JAT-Net對于視網膜血管分割是有效的,且JAT-Net的性能優于目前最先進的現有其它方法，如DUNet、Sine-Net和FANet。未來的研究將致力于JAT-Net在三維網絡中的應用以及利用JAT-Net完成其他醫學圖像視覺任務，如CT或MRI圖像。