基于編碼解碼結(jié)構(gòu)的微血管減壓圖像實時語義分割

白瑞峰，江 山 ，孫海江，劉心睿,3

（1. 中國科學(xué)院 長春光學(xué)精密機械與物理研究所, 吉林 長春 130033；2. 中國科學(xué)院大學(xué), 北京 100049；3. 吉林大學(xué)第一醫(yī)院 神經(jīng)腫瘤外科, 吉林 長春 130021）

1 引 言

三叉神經(jīng)痛和面肌痙攣是最常見的腦神經(jīng)疾病，三叉神經(jīng)痛主要表現(xiàn)為三叉神經(jīng)分布區(qū)出現(xiàn)短暫的、類似電擊的疼痛，輕微的觸碰即可誘發(fā)[1]，面肌痙攣表現(xiàn)為單側(cè)面部肌肉無痛性和反復(fù)性不自主抽搐[2]，嚴(yán)重影響患者的生活質(zhì)量。微血管減壓術(shù)(Microvascular Decompression，MVD)因手術(shù)創(chuàng)傷小，療效顯著，成為目前治療三叉神經(jīng)痛和面肌痙攣最常用的手術(shù)方式。

一般腦血管圖像的獲取途徑有電子計算機斷層掃描血管造影(CTA)、數(shù)字減影血管造影(DSA)、磁共振血管造影(MRA)等。其中，CTA 方案最為常見，NAZIR 等人[3]通過殘差映射解決網(wǎng)絡(luò)收斂問題，提出了一種高效的從CTA 圖像中自動分割腦血管的融合網(wǎng)絡(luò)，但CTA 的局限性在于小血管成像不夠清晰，使得診斷準(zhǔn)確率較低[4]。DSA是診斷的“金標(biāo)準(zhǔn)”，為提高DSA 中較小血管的分割準(zhǔn)確性，PATEL 等人[5]提出了一種通過使用多分辨率輸入來增強架構(gòu)視野的專用卷積神經(jīng)網(wǎng)絡(luò)DeepMedic，但是DSA 是有創(chuàng)檢查且存在放射性暴露等問題，且費用較為昂貴，不適合初期篩查，臨床應(yīng)用的局限性較大[6]。MRA 易受血管走向、血管壁鈣化等的影響，且血管細(xì)小時成像效果較差[7]，為改善小血管的分割效果，通過引入反向邊緣注意網(wǎng)絡(luò)關(guān)注缺失的腦血管邊緣特征和細(xì)節(jié)信息[8]，或通過集成 3D U-Net、多尺度方法以及深度監(jiān)督方法鑒別腦部時間飛躍磁共振血管成像（TOF-MRA）中的小血管，引導(dǎo)網(wǎng)絡(luò)中間層更好地生成判別性特征，有效地避免了梯度爆炸和梯度消失的問題，提高了模型的收斂性，從而實現(xiàn)對腦血管的分割[9-10]。與傳統(tǒng)CTA、DSA、MRA 等獲取腦血管圖像的方法相比，通過內(nèi)窺鏡獲取真彩微血管減壓(MVD)圖像更簡單方便，而且對真彩MVD 圖像的處理具有更大的發(fā)展前景。

由于腦血管自身結(jié)構(gòu)的復(fù)雜性，早期腦血管分割算法主要基于強度模式識別，腦血管的分割方法主要有非局部均值分割方法[11]、閾值分割方法[12]、區(qū)域增長分割方法[13]和水平集方法[14-15]。隨著卷積神經(jīng)網(wǎng)絡(luò)在不同領(lǐng)域的廣泛應(yīng)用[16]和持續(xù)優(yōu)化[17]，卷積神經(jīng)網(wǎng)絡(luò)對醫(yī)學(xué)圖像的分割也呈現(xiàn)出了井噴式的發(fā)展，性能顯著優(yōu)于傳統(tǒng)分割方法。大多數(shù)先進的語義分割網(wǎng)絡(luò)是基于全卷積神經(jīng)網(wǎng)絡(luò)（FCN）[18]和U-Net[19]網(wǎng)絡(luò)的，其中，ZHANG M 等人[20]提出了一種基于U-Net 的深度學(xué)習(xí)方法，結(jié)合預(yù)處理方法，在DSA 圖像中跟蹤和分割腦血管。XIA L K 等人[21]將Inception-ResNet 和維度擴展的U-Net++相結(jié)合，實現(xiàn)了最大化多尺度特征的提取，對于MRA 分割性能優(yōu)異。MENG C 等人[22]設(shè)計了編碼器-解碼器架構(gòu)，通過定義一個多尺度模塊來分割不同直徑的腦血管。

本文引入了真彩色MVD 圖像，MVD 圖像中腦血管的分割面臨著腦血管類內(nèi)過于相似、腦血管邊界與其他腦組織邊界不夠明顯的問題，使得腦血管分割困難，腦神經(jīng)亦是如此。針對上述問題，本文提出了一種新穎的基于深度學(xué)習(xí)的實時語義分割網(wǎng)絡(luò)，稱為U-MVDNet，該網(wǎng)絡(luò)具有更加高效的編碼結(jié)構(gòu)和更加精細(xì)的解碼結(jié)構(gòu)。為訓(xùn)練和評估所提出的U-MVDNet 網(wǎng)絡(luò)效果，與吉林大學(xué)第一醫(yī)院積極展開合作，構(gòu)建了一個包含3 087張MVD 圖像的數(shù)據(jù)集。這些圖像具有標(biāo)準(zhǔn)的Ground truth 注釋，為實時推斷術(shù)中腦血管、腦神經(jīng)的位置提供指導(dǎo)。借助于實時準(zhǔn)確分割的幫助，醫(yī)生可以快速確定腦血管和腦神經(jīng)的最佳位置，節(jié)省了大量時間，減輕術(shù)者的工作量，有效輔助醫(yī)生進行快速診斷，達(dá)到專業(yè)醫(yī)生甚至超越專業(yè)醫(yī)生的水平。對本文方法與其他幾種先進的實時語義分割方法進行比較。實驗結(jié)果表明，本文所提出的方法取得了良好的性能。

2 U-MVDNet 架構(gòu)構(gòu)建

本章首先對網(wǎng)絡(luò)架構(gòu)進行整體描述。然后，詳細(xì)介紹輕型深度瓶頸模塊(LABM)和特征融合模塊(FFM)，并闡述這兩個模塊的有效性。

2.1 網(wǎng)絡(luò)架構(gòu)

基于輕型非對稱瓶頸模塊和特征融合模塊設(shè)計了U-MVDNet 體系結(jié)構(gòu)，如圖1 所示，其中“C”表示級聯(lián)操作。為了得到推理速度較快、mIoU 較高和輕量級的網(wǎng)絡(luò)模型，分析U-MVDNet 模型的最優(yōu)設(shè)計。U-MVDNet 的架構(gòu)細(xì)節(jié)如表1 所示。

圖1 U-MVDNet 架構(gòu)Fig. 1 Architecture of U-MVDNet

表1 U-MVDNet 架構(gòu)細(xì)節(jié)Tab.1 Architecture details of proposed U-MVDNet

在U-MVDNet 網(wǎng)絡(luò)模型中編碼器由 3×3卷積層和輕型深度瓶頸塊(LAB block)構(gòu)成。其中，步長為2 的 3×3卷積層構(gòu)成了下采樣塊。下采樣操作縮小了特征圖，擴大了感受野，能提取到更多的上下文信息。LAB block 中包含幾個連續(xù)的LABM，便于稠密特征的提取。第一個、第二個和第 三個LAB block 分別 由n個 、m個 和l個LABM 組成。為了加強空間關(guān)系和特征傳播，引入了模塊拼接方法，實現(xiàn)高級特征與低級特征間的融合。在LABM 中引入擴張卷積，獲取到較大感受野和更復(fù)雜的特征，LAB block1、LAB block2和LAB block3 的擴張率分別為2、4 和8，擴張率的選擇符合本文特定的微血管數(shù)據(jù)集，并且需獲得適應(yīng)于該數(shù)據(jù)集的感受野。

對于解碼器，本文使用3 個FFM 來聚合低級特征和高級特征，逐步恢復(fù)分辨率。最后，采用1×1卷積層和2 倍上采樣完成分割。相較于大多數(shù)語義分段模型中使用的解碼器結(jié)構(gòu)來說，一般通過4 倍或8 倍上采樣得到分割預(yù)測圖，本文采用的2 倍上采樣，可以保留更多的特征信息，使邊界信息更加完整，語義信息更加清晰。

本文模型屬于端到端的深度學(xué)習(xí)體系結(jié)構(gòu)，而且不依賴于任何主干，U-MVDNet 的內(nèi)存消耗極低，參數(shù)量不足66 萬。

2.2 輕型非對稱瓶頸模塊(LABM)

對于實時語義分割來說，在保證精度的前提下提升網(wǎng)絡(luò)速度，就不可避免地要利用小的輸入圖像或輕量級的基礎(chǔ)模型，本文通過對ResNet[23]中瓶頸模塊(見圖2(a))的觀察，設(shè)計了輕型非對稱瓶頸模塊(LABM)(見圖2(b))，LABM 兼具了瓶頸模塊和因式卷積的優(yōu)點。圖2 中的“w”表示輸入通道數(shù)，“DConv”表示深度擴張卷積。

圖2 （a）ResNet 瓶頸設(shè)計及（b）輕型非對稱瓶頸模塊Fig. 2 (a) ResNet bottleneck design and (b) LABM

圖2(b)所示的瓶頸模塊由1×1卷 積層、3×1深度卷積層、1×3深 度卷積層和最終1×1點卷積層組成，并在輸入通道數(shù)與輸出通道數(shù)相同時利用了殘差連接。通道數(shù)在通過第一次1×1卷積層時減少為原來的1/4，之后通過3×1和1×3深度卷積層時通道數(shù)保持不變，最后由1×1點卷積層恢復(fù)到原始通道數(shù)。與標(biāo)準(zhǔn)卷積相比，深度卷積減少了大量的計算成本，并與點卷積的組合非常有效。

在每個LABM 的開頭使用了1×1卷積層，通道數(shù)減少了 3/4，與ResNet 網(wǎng)絡(luò)模型中的數(shù)千個通道相比，本文模型中的最大通道數(shù)只有128 個，有效保存了大量的空間信息，減少了網(wǎng)絡(luò)模型的運行時間和內(nèi)存需求，提高了推理速度。

為進一步減少參數(shù)量，將卷積分解應(yīng)用于深度卷積，得到更加輕量級的結(jié)構(gòu)。ALVAREZ J 等人[24]提出了標(biāo)準(zhǔn)卷積層可以用1D 濾波器進行分解。設(shè)W∈RC×dh×dv×U表示典型2D 卷積層的權(quán)重，C表示輸入特征圖的數(shù)量，U表示輸出特征圖的數(shù)量，dh×dv表示每個特征圖的內(nèi)核大小(通常dh=dv≡d)。設(shè)b∈RU，表示每個濾波器的偏置項的向量。分解層的第i個輸出屬于下式輸入的函數(shù)，本文中為：

2.3 特征融合模塊(FFM)

語義分割模型通常是由一個基于前端的編碼器和一個基于后端的解碼器網(wǎng)絡(luò)組成的綜合體。編碼器由多個卷積層組成，用來獲取圖像的總體特征和局部特征，其中的卷積層和池化層會逐漸縮減輸入數(shù)據(jù)的空間維度，從而降低特征維度。解碼器則是由多個反卷積或上池化組成，逐步恢復(fù)目標(biāo)的細(xì)節(jié)和空間維度，將編碼器學(xué)習(xí)到的低分辨率特征從語義上映射到高分辨率的像素空間，進行像素分類。通常，采用雙線性上采樣或者幾個簡單的卷積構(gòu)成的解碼器忽略了低層次信息，導(dǎo)致分割精度低。

高級特征包含語義信息，低級特征包含豐富的空間細(xì)節(jié)。由于語義層次和空間細(xì)節(jié)的差異，簡單的低級特征和高級特征難以有效的融合。因此，可以在低級特征中引入語義信息，在高級特征中引入空間細(xì)節(jié)，實現(xiàn)增強特征融合。本文編碼器由LAB block 和下采樣模塊構(gòu)成，通過該編碼器得到了充分的語義信息，但是由于下采樣操作導(dǎo)致大量空間位置信息丟失，為保證邊界分割的質(zhì)量，選擇將包含豐富空間信息的低級特征嵌入到高級特征。

FFM 結(jié)構(gòu)采用了U 型結(jié)構(gòu)，如圖3 所示，用來融合具有空間信息的低級特征和語義信息的高級特征。低級特征首先經(jīng)過了1×1卷積層，并利用批量歸一化處理來平衡特征尺度，然后由通道平均池化壓縮低級特征和sigmoid 激活函數(shù)來生成單通道注意力圖，緊接著將其與3×3卷積后的高級特征相乘。這里需要注意的是，對于U-MVDNet中初始FFM 的高級特征并不進行上采樣處理，而是直接與單通道注意力圖相乘，而對后續(xù)的2 個FFM 需要對高級特征進行上采樣后，再與單通道注意圖相乘。最后，通過元素加法對高級特征與相乘后得到的加權(quán)特征進行融合。簡而言之，F(xiàn)L∈RCL×HL×WL和FH∈RCH×HH×WH分別是FFM 中輸入的低級和高級特征。FFM 的計算如下：

圖3 特征融合模塊流程圖Fig. 3 Flow chart of feature fusion module

其中，σ 表示sigmoid 函數(shù)，A vgPool表示平均池化操作，BN表示批量歸一化的處理，f1×1表 示1×1卷積層，f3×3表示 3×3 卷積層， ?表示逐元素相乘，+表示逐元素相加，F(xiàn)∈RCL×HL×WL表示最終的輸出特征圖。

低級特征生成的空間注意力圖反映了每個像素的重要性，包含豐富的空間信息，可指導(dǎo)特征學(xué)習(xí)，利用空間細(xì)節(jié)來細(xì)化邊界。FFM 模塊提取了空間注意力圖，并將其嵌入到高級特征中，之后與包含豐富語義信息的高級特征進行有效融合。

3 實驗與分析

在本章中，將在吉林大學(xué)第一醫(yī)院提供的MVD 數(shù)據(jù)集和ISIC 2016[26]+ PH2[27]皮膚鏡圖像數(shù)據(jù)集上評估所提出的網(wǎng)絡(luò)。首先，介紹MVD數(shù)據(jù)集和ISIC 2016 + PH2 數(shù)據(jù)集，以及訓(xùn)練實施方案；然后，在MVD 驗證集上進行消融實驗，以證明所提出方法的有效性；之后，在MVD 測試集上分別與其他實時語義分割網(wǎng)絡(luò)進行對比，以驗證提出網(wǎng)絡(luò)的分割效果，同時在ISIC 2016 + PH2測試集上驗證提出網(wǎng)絡(luò)的泛化能力；最后，在嵌入式終端下完成對比，并報告了MVD 測試集下的分割精度和速度結(jié)果。

3.1 數(shù)據(jù)集

3.1.1 MVD 數(shù)據(jù)集

在醫(yī)學(xué)領(lǐng)域，醫(yī)學(xué)圖像普遍具有語義簡單、數(shù)據(jù)量少和難以獲取的特點，而且，針對基于深度學(xué)習(xí)的醫(yī)學(xué)圖像的分割需要醫(yī)生進行專業(yè)的標(biāo)注。本項研究涉及60 例患者，其中，男23 例，女37 例，年齡為40～70 歲。微血管減壓數(shù)據(jù)是由ZEISS 生產(chǎn)的OPMI@ VARIO 700 型號手術(shù)顯微鏡采集得到。選擇在釋放腦脊液到縫合硬膜這段時間內(nèi)獲取的3 087 張MVD 圖像，并由專家們手動標(biāo)注。然后參考PASVOL VOC 2012 數(shù)據(jù)集格式，得到用于語義分割網(wǎng)絡(luò)訓(xùn)練的MVD 數(shù)據(jù)集。該數(shù)據(jù)集有9 個類別(當(dāng)添加背景時，包含10 個類別)。類別名稱及其相應(yīng)顏色見表2（彩色版見期刊電子版）。

表2 醫(yī)學(xué)術(shù)語縮寫及對應(yīng)顏色Tab.2 Abbreviations of medical terms and corresponding color

MVD 數(shù)據(jù)集屬于微血管減壓術(shù)術(shù)中場景數(shù)據(jù)集，包含了3 087 張精細(xì)注釋的MVD 圖像。實驗隨機選取1806 張用于訓(xùn)練，973 張用于驗證，308 張用于測試，圖像的分辨率為7 68×576。

3.1.2 ISIC 2016 + PH2 數(shù)據(jù)集

ISIC 2016 + PH2 數(shù)據(jù)集包含了兩個來自不同中心的樣本，用于評估皮膚病灶分割的準(zhǔn)確性。其中，ISIC 2016 包含了900 個訓(xùn)練樣本和379 個驗證樣本。PH2 數(shù)據(jù)集包含200 個樣本。本文將ISIC 2016 數(shù)據(jù)集用于網(wǎng)絡(luò)模型的訓(xùn)練和驗證，PH2 數(shù)據(jù)集上完成網(wǎng)絡(luò)模型測試。

3.2 實驗設(shè)置

訓(xùn)練方案實施：選用單NVIDIA GTX 2080Ti，并在CUDA 10.1、cuDNN 7.6 和Pytorch1.7 下完成網(wǎng)絡(luò)訓(xùn)練，訓(xùn)練參數(shù)如表3 所示。訓(xùn)練中采用了隨機水平翻轉(zhuǎn)、隨機高斯模糊、隨機裁剪和標(biāo)準(zhǔn)化策略來增廣數(shù)據(jù)，且對提出的網(wǎng)絡(luò)未進行任何預(yù)訓(xùn)練。在數(shù)據(jù)集上進行了100 輪的訓(xùn)練，最后使用相應(yīng)的評估指標(biāo)來評估分割精度。

表3 訓(xùn)練參數(shù)Tab.3 Training parameters

3.3 消融實驗

本節(jié)設(shè)計了一系列消融實驗來證明本文提出網(wǎng)絡(luò)U-MVDNet 的有效性，且消融實驗都是在單NVIDIA GTX 2080Ti 下完成的。這些消融研究基于MVD 數(shù)據(jù)集中的訓(xùn)練集進行訓(xùn)練，在MVD驗證集上完成評估，觀察該網(wǎng)絡(luò)中各成分的影響。

擴張率消融實驗：設(shè)計了具有3 種不同擴張率的LAB block，分別為LAB block1、LAB block2和LAB block3，這3 個LAB block 構(gòu)成本文的編碼器。選取合適的感受野可以學(xué)習(xí)到更好的多尺度特征，當(dāng)感受野過大時，會導(dǎo)致小目標(biāo)的丟失。本文對3 個LAB block 分別設(shè)置了不同的擴張率進行比較，擴張率分別為2、4、8 和4、8、16。如表4 所示，針對MVD 圖像，擴張率選擇為2，4，8 時更有效。

表4 不同擴張率組合的LABM 編碼器結(jié)果Tab.4 Results of LABM encoder with different combinations of dilation rates

級聯(lián)消融實驗：在LAB block 中，將LAB block 的輸入特征與輸出特征進行級聯(lián)操作。如表5 所示，其中，“Params”表示參數(shù)量，“FLOPs”指的是計算量。在n=2，m=2，l=4時，LAB block中加入級聯(lián)操作后準(zhǔn)確度提高了0.73 %，準(zhǔn)確度達(dá)到73.08%，效果更優(yōu)。級聯(lián)操作應(yīng)用于編碼器，有效增加了信息流。

表5 不同設(shè)置下的LABM 編碼器結(jié)果Tab.5 Results of LABM encoder with different settings

編碼器深度消融實驗：對LAB block1、LAB block 2 和LAB block 3 分別使用不同數(shù)量的LABM來改變編碼器的深度。由表6 可以看出，m和l的值對精確度的影響比n更 大，m和l分別疊加4 個LABM 時可以獲得精細(xì)的分割結(jié)果。當(dāng)n，m和l都提高到4 時，F(xiàn)LOPs 明顯變大，但分割精度降低了。因此，在分割精度和計算復(fù)雜度之間做權(quán)衡，最終選擇n為 2，m為4，l為4。

表6 輸入尺寸為512×512 時，不同深度的編碼器結(jié)果Tab.6 Results of encoder with different depths whenthe input size is 512×512

解碼器消融實驗：在U-MVDNet 中，通過LAB block 來提取特征，選擇使用FFM 來融合特征。從表7 可以看出，沿通道平均池化操作能夠提高準(zhǔn)確性，確保有效的獲取空間細(xì)節(jié)。這表明通過FFM 將空間細(xì)節(jié)嵌入到高級特征中可以有效提高精度，得到更好的像素級預(yù)測。

表7 不同構(gòu)成要素的FFM 解碼器結(jié)果Tab.7 Results of FFM decoder with different components

mIoU 性能消融實驗：為了探索擴張卷積對mIoU 性能的影響，設(shè)計了2 個對比實驗。在第一個實驗中，去除了U-MVDNet 中的所有擴張卷積，在另一個實驗中，將U-MVDNet 開頭的3×3標(biāo)準(zhǔn)卷積，設(shè)置為擴張率為2 的擴張卷積。如表8所示，當(dāng)移除所有的擴張卷積時，mIoU 有明顯的降低(范圍從77.34%到75.61%)。當(dāng)用擴張率為2 的擴張卷積替換標(biāo)準(zhǔn)卷積時，mIoU 也出現(xiàn)了下降，從77.34%降到76.81%。實驗結(jié)果證明，擴張卷積對mIoU 性能有顯著影響。

表8 U-MVDNet 的擴張率對mIoU 的影響Tab.8 Effect of dilation of U-MVDNet on mIoU

3.4 實驗對比

為驗證U-MVDNet 的分割性能，分別在MVD數(shù)據(jù)集和ISIC 2016[26]+ PH2[27]數(shù)據(jù)集上進行實驗。

3.4.1 MVD 數(shù)據(jù)集測試實驗

本文結(jié)合LAB block 和FFM 搭建了完整的網(wǎng)絡(luò)，并在MVD 數(shù)據(jù)集上進行實驗。首先，使所有網(wǎng)絡(luò)在MVD 訓(xùn)練集、批量尺寸為8、交叉熵?fù)p失函數(shù)和小批量SGD 下完成100 輪的訓(xùn)練。然后，在單NVIDIA GTX 2080Ti 下進行測試，評估768×576分辨率下的推理速度，并與CGNet[28]、EDANet[29]和ContextNet[30]進行比較，這3 種網(wǎng)絡(luò)都屬于實時語義分割網(wǎng)絡(luò)，能夠以小的參數(shù)量得到準(zhǔn)確的分割結(jié)果。

從表9 可以看出，U-MVDNet 擁有約66 萬個參數(shù)，參數(shù)量最小，接近于EDANet[29]，分割精度相較于EDANet[29]提高了1.78 %。除此之外，ContextNet[30]是最快的實時網(wǎng)絡(luò)之一，比本文網(wǎng)絡(luò)稍快，然而，該網(wǎng)絡(luò)的分割精確度為75.81%，比U-MVDNet 減少了0.48 %，而且參數(shù)比U-MVDNet 多出22 萬個。通過不同分割網(wǎng)絡(luò)的比較可以發(fā)現(xiàn)，U-MVDNet 在保證精度的前提下仍具有較快的推理速度，并在參數(shù)量和準(zhǔn)確率上明顯優(yōu)于其他實時語義分割方法。同時，為了便于觀察，本文截取了所有網(wǎng)絡(luò)100 輪的訓(xùn)練和驗證損失，如圖4（彩圖見期刊電子版）所示，MVD 驗證集上的可視化結(jié)果如圖5（彩圖見期刊電子版）所示，從訓(xùn)練和驗證損失曲線可以看出，U-MVDNet 相比于其他網(wǎng)絡(luò)，損失衰減的更快更平穩(wěn)。

圖4 損失曲線圖Fig. 4 Loss curves

表9 MVD 測試集實驗結(jié)果Tab.9 Experimental results on MVD test set

如圖5 所示，在第一列中，只有本文所提出的U-MVDNet 可準(zhǔn)確定位“aica”的分割邊界，目標(biāo)輪廓清晰。在第二列和第三列中，CGNet[28]有明顯的多像素混合問題，并且在第二列中CGNet[28]、EDANet[29]、ContextNet[30]沒有準(zhǔn)確定位“cn10”的分割邊界，存在明顯的目標(biāo)輪廓分割缺失。在第三列中，只有U-MVDNet 準(zhǔn)確分割出了“aica”。第四列和第五列中，U-MVDNet 對“pica”的分割優(yōu)于其他網(wǎng)絡(luò)，分割更接近真值。綜上所述，本文提出的方法分割性能更高，包含的特征信息更多。

圖5 MVD 驗證集上的可視化對比結(jié)果Fig. 5 The visual comparison results of different methods on MVD validate set

3.4.2 U-MVDNet 先進性分析

本文使用ISIC 2016 挑戰(zhàn)賽的數(shù)據(jù)集和PH2數(shù)據(jù)集來進一步評估U-MVDNet 的先進性。實驗中，將ISIC 2016 數(shù)據(jù)集設(shè)置為訓(xùn)練集，PH2 數(shù)據(jù)集設(shè)置為測試集，并在與U-MVDNet 相同的環(huán)境下進行實驗。同時，使用Jaccard 系數(shù)(JAC)、Dice 系數(shù)(DIC)、準(zhǔn)確性(ACC) 、特異性(SPE)、靈敏度(SEN)來評估U-MVDNet 對皮膚病灶的分割性能。

在測試集上，U-MVDNet 分別與DeepLabv3[31]和CA-Net[32]進行了比較，結(jié)果如表10 所示。UMVDNet 的參數(shù)量僅為DeepLabv3 和CA-Net 參數(shù)量的1/4 和1 /88，但除了靈敏度之外，其他的評價指標(biāo)均達(dá)到了最優(yōu)，且具有最快的推理速度。圖6（彩圖見期刊電子版）展示了皮膚病灶分割結(jié)果的典型案例。通過觀察可以發(fā)現(xiàn)，U-MVDNet的結(jié)果更接近于實際情況，能夠突出顯示一些邊界不明確的小區(qū)域，具有穩(wěn)定的分割性能。

表10 ISIC 2016+PH2 測試集實驗結(jié)果Tab.10 Experimental results on ISIC 2016 +PH2 test set

圖6 ISIC 2016 + PH2 測試集上的可視化對比Fig. 6 The visual comparison results of different methodson ISIC 2016 + PH2 test set

3.5 嵌入式終端測試

本節(jié)將訓(xùn)練后的模型移植到嵌入式平臺NVIDIA Jetson AGX Xavier 中進行測試。平臺的詳細(xì)硬件參數(shù)如表11 所示。在嵌入式終端中將本文方法與CGNet[28]、EDANet[29]、ContextNet[30]在不同分辨率的情況下進行對比，并顯示出各網(wǎng)絡(luò)最終的分割精度。

表11 兩種不同的硬件環(huán)境Tab.11 Two different hardware environments

使用MVD 測試集在嵌入式終端上驗證本文所提出U-MVDNet 性能。從表12 可以看出，當(dāng)分辨率為 640×480時，本文所提方法在NVIDIA Jeston AGX Xavier 上實現(xiàn)了24.2 frame/s 的處理速度，達(dá)到了實時處理速度，并在分割精度上優(yōu)于其他分割方法。

表12 不同分辨率下的測試結(jié)果Tab.12 Test results by different methods with different resolutions

4 討 論

以往的研究中，很少對MVD 中的血管和神經(jīng)進行實時準(zhǔn)確分割。本研究采用了新型的編碼解碼結(jié)構(gòu)，該結(jié)構(gòu)具有分割速度快和分割精度高的特點，可準(zhǔn)確快速地完成對MVD 中的血管和神經(jīng)的分割。與以往的實時語義分割研究相比，編碼器的結(jié)構(gòu)更加簡潔，具有更少的卷積神經(jīng)網(wǎng)絡(luò)層數(shù)，但能夠獲得更多的上下文信息，解碼器更有效地融合了高級和低級特征。

MVD 中，術(shù)者通常是根據(jù)對照組和經(jīng)驗來判斷血管和神經(jīng)，但是術(shù)中骨窗直徑僅為2.5 cm，手術(shù)空間小，在術(shù)中會有少量的出血，以及隨時出現(xiàn)的腦脊液，影響術(shù)者操作，為術(shù)者帶來諸多不便，導(dǎo)致術(shù)中可能出現(xiàn)許多不確定性因素，甚至是風(fēng)險的發(fā)生。本文提出的方法實現(xiàn)了腦血管和腦神經(jīng)的快速準(zhǔn)確分割，減輕術(shù)者精神壓力，為術(shù)者快速決策和判斷提供了依據(jù)，有利于術(shù)中減少對腦脊液的釋放，避免過度牽拉神經(jīng)及血管，有效地減少了手術(shù)創(chuàng)傷，減少了術(shù)后并發(fā)癥的發(fā)生。

5 結(jié) 論

針對MVD 圖像，為提高實時語義分割的速度和準(zhǔn)確性，本文提出了U 型輕量級快速語義分割網(wǎng)絡(luò)U-MVDNet，該網(wǎng)絡(luò)由編碼器和解碼器構(gòu)成。具體來說，設(shè)計了一種新穎的輕型非對稱瓶頸模塊(LABM)來提取上下文信息，基于該模塊設(shè)計得到了編碼器。解碼器采用了特征融合模塊(FFM)來聚合不同的特征。消融實驗表明，LAB block 有效提取了上下文特征，F(xiàn)FM 有效地融合了深層上下文特征和淺層空間特征。選取MVD測試集進行測試和對比，結(jié)果顯示：U-MVDNet 在單NVIDIA GTX 2080Ti 上以140 frame/s 的速度獲得了76.29%的mIoU，相較于其他對比網(wǎng)絡(luò)，U-MVDNet 分割精度最高、參數(shù)量最少，并且在嵌入式平臺上能夠?qū)崿F(xiàn)實時(24 frame/s)語義分割，分割精度也優(yōu)于其他分割方法。本文所提出方法在一定程度上解決了微血管減壓圖像實時語義分割網(wǎng)絡(luò)的參數(shù)量大、分割精度低的問題。