基于區域建議策略的視盤定位方法

湯一平 王麗冉 何 霞 陳 朋 袁公萍

(浙江工業大學信息工程學院，杭州 310023)

引言

眼底視網膜檢查在糖尿病視網膜病變、青光眼、老年性黃斑病變等眼科疾病的預防、診斷和治療中得到了廣泛應用。眼底圖像包括視盤、黃斑、血管等主要結構，對這些結構進行特征分析是判斷眼底疾病的基礎。視盤作為眼底圖像的重要結構之一，其大小和形態是判斷各種眼科疾病的主要輔助參數，常被用作判定視網膜病變的指標。視盤也是檢測其他視網膜結構的關鍵部分。視盤與黃斑區的距離一般是固定的，因此視盤中心位置信息可作為先驗知識來輔助黃斑區的選擇；視盤是眼底血管的起始點，其中的血管可作為血管跟蹤算法的起始種子點；視盤也可輔助眼底圖像坐標系的建立，用來確定其他視網膜異常的位置，如微動脈瘤、出血點、硬性滲出和玻璃膜疣等。因此，快速、準確地定位視盤區域尤為重要。

由于個體差異、視盤界限模糊、病變等干擾因素的影響，實現高效、準確、魯棒的視盤定位有一定的難度。

目前的視盤定位算法大體上可分為兩類，一類利用外觀信息如亮度、對比度等，對視盤進行定位。文獻[1]設計了一種線性描述算子來檢測圖像中的高亮圓形區，進而通過計算候選區域多個方向亮度的變化來定位視盤。文獻[2]首先對眼底圖像進行裁剪，排除邊緣高亮環對視盤定位的干擾，再提取亮度最大區域來定位視盤。這類算法處理效率高，但對于病變的眼底圖像視盤定位效果不佳。另一類是基于血管特征實現視盤的檢測。文獻[3]通過模糊集計算血管段的匯聚度，將匯聚度最大的點作為視盤坐標。文獻[4]利用兩條方向相反的拋物線來模擬血管在視盤左右兩邊的走向，根據這兩條拋物線的公共頂點位于視盤區域中這一先驗知識對視盤進行定位。這類算法雖然在一定程度上提高了定位準確率，但血管提取本身就非常復雜耗時，導致整體算法復雜度高，不能滿足視盤定位的實時性。近年來，研究者們也提出將這兩類方法相結合，實現視盤的定位。文獻[5]同時提取視盤的亮度及其附近的血管特征，并利用投影法降低特征維度，從而提升算法處理速度；文獻[6]先借助血管方向匹配濾波器，分析血管像素點的分布得到視盤的候選區域，再利用視盤的形狀及灰度信息進一步確定視盤區域。

綜上所述，現有的視盤定位算法需要人工提取視盤的亮度、血管等特征。特征選取的優劣在很大程度上決定了定位結果的好壞。人工進行特征提取的方法經驗依賴性強、耗時耗力，也很難提取到具有完整表達力的視盤特征。目前的視盤定位取得了很大進展，但仍然存在一些關鍵問題，無法很好地兼顧視盤定位的準確性、快速性和魯棒性。且現有文獻多是直接對視盤進行定位，事先并未考慮視盤不可見這一情況，不利于實現視盤定位的自動化。

近幾年深度學習在計算機視覺領域得到廣泛應用，這得益于卷積神經網絡的快速發展[7-8]。卷積神經網絡是模仿人腦的感知系統進行構建的。人腦對信息的處理是層層傳遞，從具體到抽象的一個過程，低層神經元對輸入信息進行處理和提取，得到數據的本質信息，進而形成大腦能夠理解的高層抽象信息，這種階層式的結構保留了物體的本質信息，并降低了人腦處理的數據量。模擬人腦的階層式結構進行信息傳遞，使得深度卷積神經網絡的一個重要優點就是從像素級原始數據到抽象的語義概念逐層提取信息，這些特征在大量的任務中被證實比傳統的手工提取特征具有更強的表征能力，能夠更完整地描述圖像的整體結構。

基于深度學習的方法在一些醫學圖像的處理中也得到了成功的應用[9]，但目前鮮有結合深度學習方法實現視盤定位的報道[10]。鑒于其對圖像強大的特征表達及自主學習能力，本研究提出一種基于卷積神經網絡的視盤定位方法，同時考慮視盤定位與視盤可見性兩個問題。在視盤定位上，采用區域建議策略生成視盤的初始候選區域，并對候選區域進行位置精修使結果更準確；在視盤可見性上，將其轉化為視盤、背景二分類問題，利用Softmax分類器對視盤定位結果的置信度進行量化，將置信度作為可見性判斷的重要指標。最后，將網絡的定位結果與置信度這兩個方面相結合，通過設置置信度閾值確定視盤的可見性及其所在區域，將預測的視盤區域中心作為視盤坐標，從而對視盤進行定位。本文方法兼顧了視盤定位的準確性、快速性和魯棒性，在多個公開數據庫上均取得了較好的定位結果。

1 方法

近年來，區域卷積神經網絡從R-CNN[11]、Fast R-CNN[12]發展到 Faster R-CNN[13]，逐漸成為目標檢測領域性能最好的方法。尤其是Faster R-CNN提出的RPN網絡，采用區域建議策略替代了以往的選擇性搜索策略，使得Faster R-CNN在精度和速度上都得到了明顯的提升。鑒于RPN網絡在目標預選區域生成上優越的表現力，本研究構建了一種基于RPN的兩階段視盤定位網絡。通過兩個階段實現對視盤區域的準確定位，且能夠以端到端的方式進行訓練和測試，在提升視盤定位準確率的同時，也能夠滿足實時性的需求。

1.1 網絡結構

所提出的視盤定位網絡結構如圖1所示，可分為3個子結構。結構1如圖中陰影區域所示，主要由卷積層和池化層組成，輸入為任意尺寸的眼底圖像，對其進行特征提取得到特征圖F；結構2為RPN網絡，以特征圖F作為輸入，生成目標的初始候選區域；結構3由金字塔池化層 (ROI pooling)及全連接層組成，對候選區域進行位置精修。

圖1 視盤定位網絡結構Fig.1 Network structure diagram of optic disc localization

表1為網絡的具體結構和參數，其中RPN網絡部分與文獻[13]一致，這里不再做詳細描述。

表1本研究網絡結構及參數設置

Tab.1Thestructureandparametersofproposednetwork

網絡層輸出數目核大小步長填充Conv 196723Pool 1(max)-321Conv 2256522Pool 2(max)-321Conv 3384311Conv 4384311RPN網絡----ROI pooling----Fc2 048---Fc-score2---Fc-box8---

1.2 訓練過程

本研究提出的視盤定位網絡是一種有監督的學習模型，即在訓練過程中視盤的所在位置是已知的。網絡的訓練具體包括前向傳播和反向傳播兩個過程。前向傳播時，從訓練數據集中取出樣本X，將X作為圖1所示網絡的輸入，逐層進行特征提取，傳輸至輸出層，計算出網絡的實際輸出。反向傳播時，利用損失函數衡量實際輸出與已知的真實值Y之間的誤差，以極小化誤差為目標反向傳播調整網絡參數，使得網絡的預測值更接近于真實值，從而實現對視盤的準確定位。

1.2.1初始候選區域

如圖1所示，陰影區域的網絡首先將輸入的眼底圖像從像素域映射到特征域，得到多張特征圖。通過卷積操作，自動提取所需特征；通過池化操作，利用圖像局部相關性的原理，對圖像的局部感受域進行最大值輸出，在保留有用信息的基礎上減少數據的處理量，實現降維的同時也增強了特征的平移不變性。接著，將這些特征圖作為RPN網絡的輸入，生成目標的候選區域信息，包括目標類別、置信度、位置信息。RPN網絡的具體操作如下：首先在特征圖上進行多尺度卷積操作，以圖中的每個點為中心點，生成3種尺度(128，256，512)和3種長寬比(1∶1，2∶1，1∶2)的候選區域(Anchor)，并將這些候選區域映射在原圖中，即特征圖上的每個點在原圖中都對應9個候選區域。

如圖2所示，黑色框為給定的真實視盤區，紅色框是生成的部分候選框，且置信度均為0.8以上。可以看出，此時視盤定位的效果并不十分理想，故需要對目標框進行微調，使得微調后的目標框與真實視盤區更接近，視盤定位更準確。

圖2 初次定位結果Fig.2 First positioning results

1.2.2視盤區域微調

視盤區域占整個圖像的比例較小，第一階段生成的候選區域中包括了大量的背景區域框，若全部作為訓練集送入第二階段的網絡，則可能會因樣本不平衡而不利于對視盤區域的學習。故在此根據一定的準則對其進行篩選，組成新的訓練樣本集送入下一階段的網絡進行視盤區域位置的精修。

對于新訓練集的建立，首先以候選區域與真實標注框(ground truth，GT)的重疊率來進行正負屬性的判斷。重疊率IoU的計算可表示為

(1)

由經驗設置[13]，將重疊率大于一定閾值(0.7)的候選區域視為正樣本，小于一定閾值(0.3)的視為負樣本，其余候選區域進行舍棄。這些正樣本即為視盤的可能性區域。接下來對正負樣本進行隨機采樣，采樣數目設為128，采樣比例設為1∶1。在后續的網絡中正負樣本一同參與訓練，以增強視盤區與非視盤區的區分度。

(2)

其中，視盤置信度的損失函數可表示為

(3)

視盤位置回歸損失采用smoothL1損失函數進行計算，即

(4)

根據式(2)計算預測值與給定真實值之間的誤差，并利用反向傳播算法將誤差層層回傳，利用隨機梯度下降法對每層的參數進行調整和更新，可表示為

(5)

式中，w和w′分別為更新前后的參數值，E為損失函數層計算得到的誤差值，η為學習率。

通過損失函數的約束，尋找一種映射f，使得式(6)、(7)成立，從而實現對視盤的正確定位，有

1.3 實驗驗證

1.3.1實驗環境

實驗環境如表2所示。

表2 實驗環境Tab.2 Experimental environment

1.3.2實驗數據

為驗證所提出方法的有效性，在不同的眼底圖像公開數據庫上進行了實驗，包括DRIVE[14]、MESSIDOR[15]和STARE[16]等3個數據庫，每個數據庫的圖像分布情況如表3所示。

表3不同眼底圖像數據庫圖像分布

Tab.3Differentfundusimagedatabasesimagedistribution

數據庫正常圖像病變圖像總圖像DRIVE33740MESSIDOR5466541 200STARE42358400STARE81315081STARE2569247256

DRIVE是Niemeijer團隊在2004年根據荷蘭糖尿病視網膜病變篩查工作建立的。從453名25～90歲的不同個體拍攝圖像中隨機選取了40幅，圖像的分辨率為565像素×584像素。

MESSIDOR是法國國防研究部在2004年資助的TECHNO-VISION項目中建立的。它是目前最大的公開眼底圖像數據庫，其中的1 200幅眼底圖像來自于3個不同的眼科機構，圖像分辨率分別為1 440像素×960像素、2 240像素×1 488像素和2 304像素×1 536像素。該數據庫包含正常和多種病變(如眼底出血、微動脈瘤、糖尿病視網膜病變)的眼底圖像，是視盤定位的常用數據庫。

STARE是Michael Goldbaum在1975年發起的Structured Analysis of the Retina項目中建立的數據庫，共400幅圖像，圖像分辨率為700像素×605像素。其中視盤可見的眼底圖像共337張，Hoover等從中選取了81幅圖像[16]，其分布情況如表2中第5行所示。在50幅病變圖像中，其中14幅圖像視盤處于邊緣僅部分可見，5幅圖像的視盤幾乎完全被出血斑掩蓋，或是亮斑比視盤更大更亮，甚至完全遮蓋了視盤。因此，STARE數據庫中的這81幅圖像視盤定位難度較大，成為視盤定位算法的通用測試樣本集，本研究簡稱STARE81。剩余的256張視盤可見圖像分布情況如表2中第6行所示，簡稱STARE256。

訓練集與測試集的分配如下：對于每個數據庫，將庫中眼底圖像隨機平均分為3組，每次選擇兩組數據構成訓練集，剩余一組作為測試集。分別進行3次訓練和測試，對所有結果進行統計，即可得到該數據庫的視盤定位結果。

此外，考慮到STARE81數據庫中病變眼底圖像數量較多，且存在多種病灶、病變形態差異大(見圖3)，而目前深度學習方法的訓練依賴于大量的樣本。故在每次訓練中，額外加入了STARE256數據庫中的247張病變眼底圖像來擴充訓練數據。每個數據庫的訓練和測試集圖像數目如表4所示。

圖3 STARE81部分眼底圖像。(a)大面積病灶；(b)視盤區病變；(c)存在亮斑；(d)視盤部分可見Fig.3 Partial fundus images of STARE81. (a)Large area lesions; (b)Optic neuropathy; (c) Bright speck; (d) Part visible

數據庫訓練集數據量測試集數據量DRIVE27/27/2613/13/14MESSIDOR800400STARE8130127

1.3.3評價指標

若算法定位的坐標位于視盤內，則視為定位正確，否則為定位失敗。如圖4所示，紅色曲線表示視盤區域的真實邊界，黑色標記表示檢測到的視盤坐標位于實際邊界內，定位正確；白色標記表示檢測到的視盤坐標位于實際邊界外，定位失敗。

1.3.4定位的階段性判斷

通過對視盤定位的置信度進行統計，確定置信度閾值為0.8。在進行測試時，若圖像中存在置信度超過閾值的候選區域，則認為該眼底圖像中視盤可見；然后按照置信度對候選區域進行排序，選擇擁有最大置信度的候選區域作為視盤區域，該區域的中心點即為視盤的定位坐標。如圖5所示，3行圖像分別代表了3種可能情況，5(a)～(c)這3列圖像分別顯示了預測到的候選區域及相應的置信度、對置信度進行判斷及視盤區域的選擇結果，以及對選擇的視盤區域進行計算所得的視盤坐標。

圖4 視盤定位評價標準示意Fig.4 Schematic diagram of OD positioning evaluation

圖5 視盤定位的階段性判斷(每列上中下分別代表3種可能情況，即網絡只定位出一個、多個置信度高于閾值的候選區域，以及定位的候選區域置信度低于閾值。圖中紅框表示視盤的候選區域，數字表示置信度，黑點表示定位的視盤坐標)。(a)網絡預測的視盤區域；(b)視盤區域選定結果(由置信度確定)；(c)視盤坐標Fig.5 Stage judgment of optic disc localization. (The top, middle and bottom of each column represent three possible situations respectively. That is, the network locates one and more than one candidate areas that is higher than the threshold. And the candidate area of the location is lower than the threshold. The red boxes represent the candidate areas of OD in the image, and the numbers indicate the confidence, and the black dots represent the coordinates of OD.) (a) The OD areas of the network prediction; (b) The selection results of OD areas (determined by confidences); (c) OD coordinates

2 結果

2.1 網絡結構的確定

視盤位置的精修結果取決于網絡中全連接層的結構，故本研究先對全連接層結構(層數和每層的輸出特征維度)進行分析，從而確定最終的網絡結構。STARE81數據的定位難度較大，隨機選取其中一組數據進行訓練及測試，實驗結果如表5所示。

表5中，網絡結構中包含該層用√表示，其后的數值表示該層的輸出個數，×表示網絡中不包含該層。第3行和第6行所示網絡的正確率一致，但第3行的網絡結構更簡單，參數量更少，故確定網絡只利用一個全連接層進行視盤位置的精修，其輸出向量維度為2048維。

表5 網絡結構對比Tab.5 Comparison of network structures

表6不同眼底圖像數據庫的定位結果

Tab.6Localizationresultsofdifferentfundusimagedatabases

數據庫定位精度/%處理時間/(s/張)訓練時間/hDRIVE1000.040.67MESSIDOR99.90.092.00STARE8198.80.050.83

2.2 定位與對比結果

本研究算法在上述3個數據庫中進行實驗，對不同數據庫眼底圖像視盤定位的結果進行定量統計，結果如表6所示。對于DRIVE數據庫中的40幅圖像，本研究算法均可以定位正確，正確率為100%；對于MESSIDOR數據庫中的1 200幅圖像，算法可正確定位到其中的1 199幅圖像，正確率為99.9%；對于STARE81庫中的81幅圖像，算法能正確定位其中的80幅，正確率為98.8%。

表6中的第4列給出了每個數據庫訓練所需的時間，但對于深度學習方法而言，更重要的是測試時間。如表6第3列所示，本研究算法在3個數據庫上測試時的處理速度都較快，且從表中可以發現，測試數據的尺寸與所耗時間成正比。

為驗證訓練集不同對同一張眼底圖像的定位結果是否有明顯影響，選取STARE81數據庫，隨機生成3組訓練、測試集進行實驗。圖6選取了測試集中共有的3張圖像進行展示, 每行表示1張圖像在3組實驗中的結果。從圖6可以看出，3組實驗中，模型定位的紅框及其中心黑點幾近重合，說明以隨機的方式生成訓練集對同一張眼底圖像的視盤定位結果影響較小，驗證了隨機生成數據集的可行性及實驗結果的可靠性。

為進一步驗證本研究算法的有效性，在不同數據庫上與其他方法進行了對比，結果如表7～9所示。其中Faster R-CNN方法的訓練及測試數據與本研究相同。

從表7～9可以看出，在DRIVE和MESSIDOR數據庫中，大多算法定位精度都較高。這是由于庫中數據較為統一，病變圖像較少，視盤區域較為明顯，容易定位。STARE81數據庫的定位精度較前兩個數據庫明顯偏低，這是由于庫中包含了多種嚴重病灶圖像，信息多變，定位難度大。在3個數據庫中，無論是在精度上還是速度上，本研究都取得了最優結果，結果表明，本研究算法對視盤形狀、亮度、病灶等干擾信息都有較強的魯棒性。

3 討論

STARE81數據庫中圖像大多病變嚴重或干擾信息多，情況復雜。表9展示了不同方法在該數據庫上的定位結果，文獻[18,21,23-24]的處理速度在可接受范圍內，但過于依賴外觀特征，易受病變信息的干擾，因此算法定位準確率不高，未能取得魯棒的定位結果。文獻[6,25]除了考慮視盤自身特性外，也同時融入了血管特性，血管特征相對穩定，兩種特征的融合使得這類算法取得了較好的定位結果。由于算法需要精確提取和分析血管特征，導致計算復雜度高，耗時較長，文獻[25]處理一張圖像用時120 s，文獻[6]處理一張圖像用時210 s，不能滿足應用的實時性要求。

表7不同算法在DRIVE數據庫上視盤定位結果

Tab.7ODlocalizationresultsofdifferentmethodsinDRIVEdatabases

方法定位精度/%處理時間/(s/張)基于置信度和多特征[17]97.50.04基于CNN[10]98.0-基于投影[18]100-Faster R-CNN1000.10本研究算法1000.04

表8不同算法在MESSIDOR數據庫上視盤定位結果

Tab.8ODlocalizationresultsofdifferentmethodsinMESSIDORdatabases

方法定位精度/%處理時間(s/張)基于置信度和多特征[17]98.80.26基于方向濾波和水平集[19]99.14.70基于投票[20]98.30.25基于結構特征[21]99.8-基于視覺注意[22]950.21基于局部搜索[23]98.65.80Faster R-CNN99.80.15本算法99.90.09

表9不同算法在STARE81數據庫上視盤定位結果

Tab.9ODlocalizationresultsofdifferentmethodsinSTARE81databases

方法定位精度/%處理時間(s/張)基于投影[18]91.413.20基于結構特征[21]93.83.00基于局部搜索[23]93.86.30基于定向對比度[24]90.1-基于血管幾何模型[25]97.5120.00基于方向匹配濾波[6]98.821.00Faster R-CNN97.50.10本算法98.80.05

深度卷積神經網絡利用多個網絡層從輸入的樣本中自動學習所需的特征[9,13]，并根據損失函數的約束進行參數的調整，經過層層映射，提取的特征逐層轉化為具有強大表征能力的高層抽象特征。借助卷積神經網絡提取特征，本研究算法能夠取得較高的定位正確率。訓練是端到端的，結合了特征提取和視盤定位兩個過程，網絡可以根據定位結果及時地進行參數更新，自動選取到最優特征實現視盤定位。而深度學習算法可以利用GPU進行加速計算，大大降低了算法所需時間，在算法效率上相較于傳統方法具有明顯優勢，且本研究所提網絡結構簡單，參數量少，使得算法效率得到進一步提高。

除了視盤定位，本研究也同時考慮到視盤可見性這一問題，將Softmax分類器對視盤定位結果的置信度進行量化，利用置信度預先對視盤的可見性進行判斷，這也更符合實際應用的要求。

圖7展示了本研究算法在3個數據庫上的部分定位結果。圖7(a)～(c)分別從DRIVE、MESSIDOR和STARE81數據庫中選取不同病灶、背景復雜、定位難度較大的眼底圖像；而7(d)為本研究算法未能準確定位的兩幅眼底圖像，從上到下依次來自于MESSIDOR和STARE81數據庫。定位失敗的兩幅圖像較為特別，上圖病變嚴重且數據庫中缺乏類似病變圖像，使得算法未檢測到視盤區；下圖視盤界限過于模糊，導致定位稍有偏移。

圖7 定位結果(前3列每列上下兩張圖像均來自同一數據庫，第4列兩張圖像分別為MESSIDOR和STARE81定位失敗圖像)。(a)DRIVE圖像; (b)MESSIDOR圖像; (c)STARE81圖像; (d)定位失敗的圖像Fig.7 Localization results. (The top and bottom of the first three columns are images from the same database, and the two images of the fourth column are failure positioned images from MESSIDOR and STARE81.) (a)DRIVE images; (b)MESSIDOR images; (c)STARE81 images; (d)localization failed images

為進一步分析數據對本研究算法定位結果的影響，對STARE81數據庫進行訓練時，去掉了額外增加的247張病變眼底圖像，結果如表10所示。可以明顯看出，當訓練數據量較少且數據復雜多變時，基于深度學習的本研究算法不能充分發揮效果，容易陷入過擬合，測試效果較差。因此，在實際應用中，訓練數據越多、類型越多，算法的魯棒性、準確性、泛化性能會越好。

表10 訓練數據對定位結果的影響Tab.10 The Effect of training data on location results

4 結論

視盤是眼底圖像的重要結構之一，視盤的定位在眼底圖像分析中起著重要的作用。考慮到視盤可見性及視盤定位兩個問題，本研究提出一種基于區域建議策略的視盤定位方法。一方面，對眼底圖像進行初步特征提取，采用區域建議策略生成視盤的初始候選區域，隨后利用全連接層的深層特征提取及損失函數的約束對候選區域進行微調進而實現位置精修；另一方面，將視盤可見性的判斷轉化為視盤置信度的計算，通過置信度閾值的過濾確定視盤的可見性，若視盤可見，則將置信度最大的候選區域中心作為該眼底圖像中視盤的坐標，從而實現視盤的定位。

本研究算法依賴于大量的數據，訓練集包括的數據類型越多，越有利于實現視盤的魯棒定位。實驗結果表明，在現有的公開數據庫中，數據量基本能夠滿足算法的需要，能夠實現視盤的快速、準確、魯棒定位。優于傳統的視盤定位方法，且預先對視盤的可見性進行判斷更符合實際應用的要求，適合用于計算機輔助診療。