基于嵌入式平臺的眼底血管檢測方法與系統設計

姚忠林，蔡錦達，何方正，龍穎奇

（上海理工大學出版印刷與藝術設計學院，上海 200093）

0 引言

眼底檢查在眼科疾病的診斷中占據重要地位，人體的許多疾病都可以在眼底上體現出來，如青光眼、白內障、糖尿病、高血壓等［1］。眼底的視網膜血管作為肉眼可見的微血管，其變化可以反映一些器官的病變程度［2］，如眼底動靜脈血管的寬度可以反映出高血壓的嚴重程度［3］。目前臨床常采用光學相干斷層掃描儀（OCT）、眼底熒光血管造影（FFA）、眼底相機等手段采集眼底圖像［4］，其中眼底相機因無需散瞳以及注射造影劑等優勢，成為臨床應用較為廣泛的一種眼底檢查設備，為許多疾病的早期病理學研究以及診斷提供了良好的技術支持［5］。然而，眼底相機存在體積較大、便攜性差且費用較高的缺點，限制了其在眼底疾病臨床診斷中的大規模應用。因此，小型化眼底照相設備應運而生，如泰立瑞間接檢眼鏡、日本KOWA 手持眼底相機等。但該類小型設備受限于硬件的運算與處理能力，往往不具備輔助診斷的功能。

臨床上有大量眼底圖像需要進行血管提取，但手工標注耗費大量人力，且多依賴于專家經驗。在計算機輔助診斷方面，眼底血管分割算法多在高性能計算機上實現，可分為有監督和無監督的眼底血管分割方法兩類。在有監督的眼底血管分割方法研究領域，Ronneberger 等［6］提出一種基于卷積神經網絡（CNN）的圖像分割方法U-Net，其在訓練樣本數量有限的情況下表現出了良好的分割性能；Liang 等［7］提出自適應尺度信息的U-Net 網絡對眼底血管圖像進行分割，該方法在U-Net 中加入密集可變卷積和金字塔型空洞卷積操作以提高網絡的特征復用能力和整體感受野，解決了微血管分割不足的問題；Wu 等［8］提出一種將ResNet 與DensNet 加入到U-Net 網絡中對眼底血管進行分割的方法，增加了加權注意機制，使得模型可以學習到更多鑒別血管與非血管像素的特征信息；Zhuang［9］提出一種U-Nets 鏈式結構，通過組合U-Net 模型獲取更多信息路徑，并共享權重殘差塊以減少模型參數。

上述有監督方法雖然分割精度較高，但在嵌入式平臺上，傳統的無監督方法仍然占據主導地位。例如，Arguello等［10］采用圖像濾波與輪廓跟蹤相結合，Rai 等［11］采用基于全局閾值的分割方法，Xu 等［12］采用Gabor 濾波器和形態學操作在智能設備中進行血管分割，但以上3 種方法均易受到圖像中噪聲和光照變化等因素的影響。目前應用于嵌入式平臺的有監督的眼底血管分割算法較少，主要原因是神經網絡分割模型結構復雜、參數量過大，如最經典的UNet 模型參數可達7 765 422 個［6］，對嵌入式平臺的運行內存、處理速度都有很高要求，輕則耗時較長，重則導致界面卡頓甚至崩潰。簡單地降低模型復雜性會使分割精度下降，例如Berseth［13］提出一種類似于U-Net 結構的深度卷積神經網絡模型，在每層內核大小和特征圖數量上進行了一些修改，減少了模型參數量和訓練數據，但并未取得分割精度的提升；Laibacher 等［14］基于Image-Net預訓練的MobileNetV2 模型設計了分割眼底圖像中血管的M2U-Net 架構，分割效果略遜于世界先進水平，但其認為該模型仍有簡化空間。

本文受文獻［6，13-14］的啟發，探討U-Net 眼底血管分割模型復雜度的下限，提出一種應用于嵌入式平臺的眼底血管分割輕量化U-Net 模型，引入自適應激活函數（Adaptive Activation Function，AAF）［15-16］和注意力（Attention Gate，AG）［17］模塊，以增加少量重要參數為代價，補償輕量化U-Net 模型參數和深度不足導致的精度下降問題，最終實現了一種基于嵌入式平臺的眼底血管檢測系統，用于輔助醫生診斷眼底疾病。

1 系統設計

1.1 系統總體結構設計

基于嵌入式平臺的眼底血管檢測系統應滿足以下要求：①能夠預覽、調節攝像頭參數，拍攝、存儲眼底圖像，并能隨時查看；②能夠對眼底圖像中的血管進行檢測；③能夠實現無線數據通信和遠程控制；④界面操作簡單；⑤系統穩定性好、成本低廉。

為實現上述功能，本文設計的系統總體結構如圖1 所示。采用美國偉倫牌檢眼鏡作為光學系統，其特點為無需散瞳即可進行眼底觀察，且可獲取比其他檢眼鏡大5 倍的眼底圖像。嵌入式系統采用樹莓派（Raspberry Pi）開發板，該開發板與索尼公司生產的IMX377 圖像傳感器（CMOS 相機模塊）進行USB 連接，通過I/O 端口控制光源模塊，配合IMX377 圖像傳感器完成眼底的預覽、拍攝等功能，可插入SD 卡，用于存儲眼底圖像，亦可移植Linux 系統，使得眼底血管分割和寬度測量算法均可在嵌入式系統上運行。該開發板自帶無線網卡，可與上位機（計算機）進行SSH 和VNC 通信，實現上位機對下位機的遠程控制功能，方便醫生進行遠程診斷。采用帶有Mirco HDMI 接口的電容型觸摸屏，與樹莓派主板的Mirco HDMI 相連接，用于顯示人機交互界面。此外，在嵌入式平臺的Linux 系統上設計軟件界面，醫生可通過該界面完成眼底圖像的采集與處理。軟件界面采用多線程任務處理方法，處理圖像時不會產生界面卡頓的現象。

Fig.1 Overall structure design of the system圖1 系統總體結構設計

1.2 系統軟件功能設計與實現

為使小型眼檢設備能夠協助醫生進行眼底疾病的診斷，基于嵌入式平臺的眼底血管檢測系統應具備以下功能，具體如圖2 所示。

（1）上位機功能。①當眼底圖像數據擴增時，可訓練新的神經網絡模型；②將訓練好的神經網絡模型傳輸給下位機，用于眼底血管分割模型的更新；③接收下位機發送的眼底圖像，用于專家會診。

（2）下位機功能。①控制CMOS 相機，實現眼底圖像的采集；②利用眼底血管分割算法對眼底圖像進行血管分割；③通過TCP/IP 協議實現無線數據傳輸，將下位機采集的眼底圖像上傳至上位機用于遠程診斷，并可下載上位機訓練好的神經網絡模型用于眼底血管分割算法的更新；④利用MySQL 數據庫實現患者信息的記錄與檢索。

上位機的功能在計算機上實現，下位機的軟件功能在嵌入式系統上實現。通過TCP/IP 協議，多臺下位機均可根據上位機的IP 進行遠程通信，實現專家遠程診斷。

Fig.2 System software function design圖2 系統軟件功能設計

2 眼底血管分割算法設計

2.1 優化的U-Net 模型

本文提出的網絡結構是受U-Net 模型［6］啟發，將編碼路徑中不同層次的特征與解碼路徑中的特征映射相結合，以提取出更多層次的圖像特征，從而達到準確分割的目的。該模型在原有U-Net 的基礎上進行了改進，使其成為一個更小、參數更少的模型結構。單純縮小U-Net 模型結構會導致分割精度降低［13］，故本文通過引入AAF 和AG 的方法補償模型參數、深度減少導致的損失，提出優化的UNet 模型結構——AAF+AGU-Net，具體如圖3 所示。

與原始的U-Net 相比，優化的U-Net 有以下改變：

（1）左邊的編碼層和右邊的解碼層各移除了3 層；特征數量從［64，128，256，512，1024］減少至［16，32，64，128］；優化后的模型參數為277 002 個，比U-Net 模型減少近30倍。因此，優化的U-Net 模型具有更高的訓練速度和分割效率。

（2）引入AG 模塊代替U-Net 中的skip 連接。在標準U-Net 中，為避免在解碼層丟失大量精確空間細節信息，使用skip 將編碼層中提取的特征（Feature Map）直接連接到解碼層相對應的層，然而提取的低層次特征有很多冗余信息。為解決這個問題，在模型中引入注意力機制，強調模型要學習的特征，抑制其學習無關內容，以此提高分割精度。

（3）卷積層利用AAF 代替ReLU 函數，由原來的Conv3×3+ReLu 替換為Conv3×3+AAF。測試結果表明，這種修改以增加網絡組合系數為代價，通過組合不同種類的激活函數并在每個激活函數中引入系數構成AAF，可有效改善網絡性能。這些引入的系數需要在網絡訓練時自行學習。

標準U-Net 模型經過修改后成為一個輕量級神經網絡結構，與修改前相比縮小了30 倍，但減少參數量的代價是學習能力降低［13］。因此，本文在輕量級模型的基礎上加入AAF，并使用AG 代替原本的跳躍連接（Skip Connection），將U-Net 模型左邊編碼層與右邊解碼層的特征圖進行拼接，神經網絡中AAF 的系數和AG 中的參數均可通過正向和反向傳播適應輸入數據。

2.2 AG 模塊

在標準U-Net 模型中，為捕獲較大的感受野，特征圖被逐漸下采樣，從而根據不同深度的特征獲取上下文的語義信息。下采樣會導致底層特征損失，因此需要留下一條沒有進行下采樣的分支保存細節，即標準U-Net 結構中的跳躍連接。然而跳躍連接會將很多低層次特征中的冗余信息拼接到解碼層路徑中［17］，為提高模型分割準確率，將分割任務分為目標定位和目標分割兩個步驟［18-19］，并將注意力機制引入到優化的U-Net 模型中，使其不需要訓練多個模型和大量額外的模型參數就能實現目標定位。與多階段神經網絡的定位模型相比，AG 模塊可逐步抑制不相關背景區域的特征響應，同時加強相關特征的學習，有效提高模型分割準確率。

改進的AG 模塊結構如圖4 所示。該模塊分別輸入編碼層圖像特征L 和相同通道數的解碼層圖像特征R，為使輸入圖像特征的尺寸相同，解碼層特征需要進行一次上采樣。為使輸出特征圖能與對應解碼層的特征進行拼接，需采用Conv1×1 的卷積塊將通道數由cL、cR降低至cint。為突出特征，將形狀為b×cint×wL×dL的圖像特征相加并輸入到AAF 中，得到非線性映射的特征圖像，然后再經過Wζ將通道數由Cint變為1，由sigmoid 激活函數處理后得到（0，1）區間內尺寸為b×1×wL×dL的注意力系數矩陣。編碼層的輸入特征L 經降通道操作后與注意力系數矩陣相乘，輸出添加注意力信息的低層次特征圖像。

Fig.3 Optimized structure of U-Net model（AAF+AGU-Net）圖3 優化的U-Net 模型結構（AAF+AGU-Net）

Fig.4 Improved attention gate module structure圖4 改進的AG 模塊結構

對跳躍連接與加入AG 模塊的中間訓練過程進行可視化處理，并選取相同層次的特征圖進行展示，結果如圖5 所示。可以看出，跳躍連接的特征圖像素較為雜亂，對血管像素的突出并不明顯，以致于網絡無法很好地進行深層次學習，而采用AG 模塊的特征圖更集中于需要學習的血管像素區域。

Fig.5 Visual feature images圖5 可視化特征圖像

2.3 AAF

激活函數是神經網絡的重要組成部分，將非線性激活函數引入人工神經網絡的計算中是使其能夠不斷學習、逐漸擬合非線性數據的關鍵。目前深度前饋神經網絡中應用最廣泛的激活函數為線性單元校正（ReLU），也有許多替代方法得到了成功應用，然而還沒有一種替代方法具有明顯優勢。例如，Sigmoid 和Tanh 激活函數的梯度取值范圍分別為（0，1）和（-1，1），當網絡層數較多時，人工神經網絡可能會遇到梯度消失的問題；ReLU 和ELU 激活函數僅能避免正向區域梯度消失的問題，如果遇到特征全部小于零的情況，兩個函數的輸出則全部為零；Leaky ReLU（LRe-LU）［20］、Parametric ReLU（PReLU）［21］和Randomized Leaky ReLU（RReLU）［22］函數被用于修正ReLu 負區域為零的問題，但往往需要根據訓練數據預先選定參數。

基于此，Sütfeld 等［15］提出自適應混合單元（ABU），使用6 個基本函數（Identity、Tanh、ReLU、ELU、SELU 和Swish）的線性組合對可訓練的參數進行縮放，并通過實驗證明了ABU 在神經網絡結構中的優勢，但ABU 的優勢在很大程度上依賴于激活函數在訓練過程中的適應能力。類似地，Manessi 等［23］提出了一種對每層多個常用激活函數進行混合學習的方法，其中混合權值被限制為1，并在一系列任務和網絡配置中證實了該方法的可行性。受此啟發，本文擴展激活函數的組成范圍，選取近年來在分割項目中有突出表現的激活函數，利用神經網絡自適應學習每個激活函數的權重系數，以增強神經網絡的學習能力。

將組合的激活函數封裝于模塊AFs 中，AFs 模塊的組成單元為：

則AAF 可表示為：

式中，M 為AAF 的權重系數；AAF（x）為權重系數與對應激活函數的組合，可將其看作一個小型感知器網絡，經過神經網絡訓練后可獲取每個對應激活函數的權重系數，是一個適用于當前分割任務的AAF。

每個激活函數的可調整范圍為［-1，1］，使其具有極強的自我學習特性。值得注意的是，相較于全局應用一個AAF，本文將14 個自適應激活函數分別應用于每一層Conv3×3 卷積之后（見圖3 中的黑色箭頭），這樣的策略能在很大程度上提高網絡的自適應性。因此，本文在AG 模塊中也加入AAF。

3 實驗與結果分析

在兩個廣泛應用于眼底血管分割性能測試的數據集DRIVE、CHASE DB1 上訓練并測試本文建立的AAF+AGUNet 模型，通過比較Dice 分數獲取最優閾值，得到分割的二值圖像。研究該模型在不同平臺上的處理時間，并將其分割性能與已有研究結果進行比較。

3.1 訓練與測試

DRIVE 數據集由40 張視網膜彩色圖像組成，其中20張用于訓練，20 張用于測試，每個圖像均為565×584 像素。CHASE_DB1 數據集采集自14 名在校兒童的左右眼，共有28 張視網膜彩色圖像，其中20 張用于訓練，8 張用于測試，每個圖像均為996 × 960 像素。圖像數據增強技術可通過平移、翻轉、旋轉、仿射、顏色變換等人為地擴大訓練數據集的大小，該技術可用于神經網絡訓練，以提高其性能或準確性。為消除數據不平衡帶來的干擾，本文采用數據增強技術分別對兩個數據集的訓練數據進行擴充。

訓練模型使用的工作站配置為：CPU 為Intel（R）Xeon（R）W-2255（64GRAM+2T 固態），GPU 為NVIDIA Quadro RTX 4000（8G 顯存）。訓練前首先對模型參數進行初始化配置，選擇He 等［24］提出的方法對所有卷積層進行初始化，以避免參數初始值過大或過小的問題，使訓練精度更高。為使AAF 在模型訓練之初不產生某一函數權重過大的影響，使其系數全部初始化為1/10。采用Adam 優化器對模型參數進行調整，采用余弦退火算法（Cosine Annealing）［25］自適應調整學習率（Learning Rate），以提高其在訓練深度神經網絡時的實時性。為防止在訓練過程中出現過擬合現象，在模型中加入Dropout 方法，隨機失活50%的神經元。以DRIVE 數據集為例，每次輸入模型訓練的圖片數量（Batch Size）設為2，訓練集中所有數據訓練1 次為1 個epoch，本文模型共訓練了100 個epoch，此時Loss 值已達到穩定狀態，見圖6。

Fig.6 Training loss function descent curve圖6 訓練損失函數下降曲線（Loss）

分別在DRIVE 和CHASE_DB1 數據集上訓練神經網絡模型，并用于測試。模型訓練完成后加載測試集中的圖像，輸入訓練好的模型中，得到分割后的概率圖像。根據Dice 分數（Dice Score）選取概率圖像的最優二值化閾值，此處Dice 分數用于表征模型分割的二值圖像與對應標簽圖像的相似性，其值越接近于1 表示圖像的相似性越高，分割越精準，計算公式為：

式中，TP 為真正例（Ture Positive），FN 為假反例（False Negative），FP 為假正例（False Positive）。

概率圖的最優二值化閾值求解方法為：將閾值設定為［0，1］并切塊為256 份，選定閾值對概率圖像進行二值化，并與對應標簽圖像進行Dice 分數計算，求得該閾值下分割圖像的平均Dice 分數，以Dice 分數最高的閾值作為圖像二值化的閾值。圖7 為DRIVE 和CHASE_DB1 數據集分割圖像的平均Dice 分數隨閾值變化的趨勢。

Fig.7 The trend of average Dice score with segmentation threshold圖7 平均Dice 分數隨閾值變化情況

根據得到的最優閾值（Best Threshold），對模型輸出的概率圖進行二值化。圖8 分別列出了DRIVE 和CHASE_DB1 數據集中兩張眼底圖像及其分割后的二值圖像，可見本文模型對血管的主干部分實現了精確分割，對細小的血管區域也表現出較高的分割水平。

Fig.8 Binary picture segmentation based on optimal threshold圖8 根據最優閾值分割的二值圖像

3.2 實驗結果分析

表1 列出了本文提出的AAF+AGU-Net 以及3 個對照模型U-Net［6］、ERFNet［26］、M2U-Net［14］的參數量、所占內存大小、Dice 分數和在Cortex-A72 平臺上的運行時間。可以看出，AAF+AGU-Net 是其中參數量最少、所占內存最小的模型，在DRIVE 和CHASE_DB1 數據集上的運行情況優于其他3 種模型。

Table 1 Test results of each model on DRIVE and CHASE_DB1 dataset表1 各模型在DRIVE 和CHASE_DB1 數據集上的測試結果

表2 列出了本文模型與以往研究成果在DRIVE 和CHASE_DB1 數據集上的相關性能指標，包括硬件平臺、分割時間、Dice 分數、準確性（Acc）和AUC。其中，準確性指正確預測的樣本數占總樣本數的比值；AUC 為受試者工作特征曲線（ROC）下面積，越接近于1 表示模型分割效果越好。可以看出，在嵌入式設備Raspberry Pi 4 Model B 平臺上，本文模型在DRIVE 數據集中的Dice 分數和準確性指標表現突出；在CHASE_DB1 數據集上，本文模型的Dice 分數雖然相較M2U-Net 低了0.24%，但本文模型參數量降低了1倍，運算速度得到了提升。

為進一步評價本文模型的性能，計算其ROC 曲線和準確率—召回率曲線（P-R 曲線）。如圖9 所示，ROC 曲線的橫軸表示模型預測的正樣本中實際負樣本數占所有負樣本的比例（FPR），縱軸表示模型預測的正樣本中實際正樣本數占所有正確預測樣本的比例（TPR）。P-R 曲線的橫軸與TPR 的概念相同（召回率，Recall），縱軸表示正樣本中實際正樣本數占預測的正樣本的比例（精確率，Precision）。其曲線下面積（AUC）分數是表征模型分割性能的重要指標，AUC 分數越接近1 表示模型分割的效果越好。當正樣本個數嚴重小于負樣本，數據嚴重傾斜時，P-R 曲線比ROC曲線更能直觀反映出模型分割性能的優勢。將本文模型的分割結果可視化，并與M2U-Net 模型進行對比，如圖10 所示，本文模型對血管的細節區域分割更加準確。

Fig.9 ROC curve and P-R curve of the model on DRIVE and CHASE_DB1 dataset圖9 模型在DRIVE 和CHASE_DB1 測試的ROC 曲線和P-R 曲線

Fig.10 Visual display of model segmentation effect圖10 模型分割效果可視化展示

4 系統功能與界面

上、下位機軟件采用PyQt 與MySQL 數據庫進行聯合開發。為使上、下位機實現通信，需要設置其IP 地址，上位機可通過Internet 網絡進行遠程控制和無線通信。上位機操作界面如圖11（a）所示，主要實現專家遠程診斷、神經網絡模型的訓練等功能。下位機的主界面如圖11（b）所示，主要負責實現系統的控制、圖像存儲、血管分割處理、患者信息登記、無線通信等功能。

Fig.11 Master and slave computer software interface圖11 上、下位機軟件界面

5 結語

目前，小型眼檢設備受體積和硬件條件限制，往往缺乏輔助診斷功能，本文針對上述問題，設計了一種輕量化U-Net 模型，引入AAF 和AG 模塊，以增加極少量重要參數為代價補償U-Net 模型權重和深度的缺失問題，實現了一種基于嵌入式平臺的眼底血管檢測系統。該系統在滿足小型化要求的前提下，實現了眼底圖像采集、眼底血管分割、無線通信等功能。與常用的圖像分割模型相比，該模型在DRIVE 和CHASE_DB1 數據集上的Dice 分數、AUC、Acc 3 個性能評價指標均達到較高水平。目前，本課題組已經獲得上海眼病防治所提供的3 000 張眼底圖像，未來將在更多數據集上對該模型進行訓練，以提高其泛化性。