基于U-Net網(wǎng)絡(luò)的醫(yī)學(xué)圖像分割研究綜述

宋 杰,劉彩霞,2,李慧婷

(1.江蘇師范大學(xué) 智慧教育學(xué)院,江蘇 徐州 221116;2.江蘇師范大學(xué) 江蘇省教育信息化工程技術(shù)研究中心,江蘇 徐州 221116)

0 引 言

在醫(yī)學(xué)領(lǐng)域,醫(yī)生通常使用非入侵方式獲取病灶組織或區(qū)域的影像,為臨床診斷提供有力證據(jù)和支持。伴隨著核磁共振成像(MRI)、電子計(jì)算機(jī)斷層掃描(CT)等技術(shù)成為獲取診斷影像的重要渠道,醫(yī)學(xué)影像分析在醫(yī)療診斷過程中的作用日益凸顯。醫(yī)學(xué)圖像分割是醫(yī)學(xué)影像分析中一個(gè)重要環(huán)節(jié),其根據(jù)區(qū)域間相似或相異程度將圖像分割成若干區(qū)域,進(jìn)而實(shí)現(xiàn)分離出病灶區(qū)域。目前臨床診斷主要依靠手動(dòng)對(duì)病灶標(biāo)注,其受專家的經(jīng)驗(yàn)和決策等因素影響且存在主觀性,需要花費(fèi)大量時(shí)間和資源。

近年來深度學(xué)習(xí)技術(shù)飛速發(fā)展,其在眾多領(lǐng)域得到了廣泛運(yùn)用,如建筑物輪廓提取、道路裂縫識(shí)別等。基于深度學(xué)習(xí)的圖像分割技術(shù)具有卓越的性能,正逐漸成為醫(yī)學(xué)影像分析研究者的關(guān)注熱點(diǎn)。其能夠評(píng)估復(fù)雜且多樣的醫(yī)學(xué)影像資料,實(shí)現(xiàn)對(duì)病灶區(qū)域的自動(dòng)化定位與劃分,是實(shí)現(xiàn)高質(zhì)量診斷和促進(jìn)智慧醫(yī)學(xué)事業(yè)發(fā)展的動(dòng)力。

全卷積神經(jīng)網(wǎng)絡(luò)(FCN)[1]是一種對(duì)圖片進(jìn)行像素級(jí)分類的語(yǔ)義分割先驅(qū)模型,自提出后就成為構(gòu)建語(yǔ)義分割模型的重要框架。Ronneberger等人[2]基于FCN,于2015年提出了U-Net網(wǎng)絡(luò),結(jié)構(gòu)如圖1所示。該網(wǎng)絡(luò)包含一條編碼器-解碼器路徑,以及多條跳躍連接路徑。U-Net的編碼器通過多次卷積和池化操作實(shí)現(xiàn)對(duì)圖像特征的提取,解碼器則通過上采樣將特征圖像逐步恢復(fù),最終通過1×1卷積映射以實(shí)現(xiàn)圖像分割。U-Net能夠在小樣本數(shù)據(jù)集上訓(xùn)練并取得優(yōu)秀成績(jī),因此各種基于其改進(jìn)的網(wǎng)絡(luò)模型廣泛運(yùn)用于醫(yī)學(xué)圖像分割任務(wù)中。

圖1 U-Net網(wǎng)絡(luò)結(jié)構(gòu)

為了進(jìn)一步厘清眾多基于U-Net網(wǎng)絡(luò)的改進(jìn)方法,該文通過收集和分析相關(guān)研究文獻(xiàn),首先,總結(jié)出當(dāng)下六大熱門改進(jìn)模塊并分類闡述;之后,總結(jié)了常用醫(yī)學(xué)圖像分割評(píng)價(jià)指標(biāo)和非結(jié)構(gòu)化改進(jìn)方案;然后,列舉了四大醫(yī)學(xué)圖像分割領(lǐng)域的部分改進(jìn)網(wǎng)絡(luò);最后,對(duì)U-Net未來發(fā)展進(jìn)行展望。

1 常用模塊及結(jié)構(gòu)

目前對(duì)U-Net的改進(jìn)方法極為豐富,本部分綜合現(xiàn)有相關(guān)文獻(xiàn),選取U-Net改進(jìn)模型中廣泛使用的六大模塊并進(jìn)行闡述,包括:注意力機(jī)制、inception模塊、殘差結(jié)構(gòu)、空洞機(jī)制、密集連接結(jié)構(gòu)以及集成網(wǎng)絡(luò)結(jié)構(gòu)。

1.1 注意力機(jī)制

注意力機(jī)制通過對(duì)圖像快速掃描以確定重點(diǎn)區(qū)域,并對(duì)不相關(guān)的部分進(jìn)行抑制,達(dá)到快速獲取信息的目的。其能夠?yàn)椴煌瑓^(qū)域分配對(duì)應(yīng)的注意力概率,在醫(yī)學(xué)圖像分割中可以提升邊界精準(zhǔn)分割和小目標(biāo)識(shí)別的效果,具有強(qiáng)大的信息提取能力。圖2為選取部分案例的網(wǎng)絡(luò)結(jié)構(gòu)。

圖2 注意力機(jī)制改進(jìn)代表圖

第一,運(yùn)用于跳躍連接和上采樣操作之間,實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)淺層高級(jí)空間信息提取并減少噪聲。郭寧等人[3]于跳躍連接和上采樣之間加入注意力門控來增加對(duì)重點(diǎn)區(qū)域的關(guān)注、減少背景對(duì)分割的影響。Tureckov等人[4]在解碼器淺層加入注意力門控,用于提升分割區(qū)域的重要程度并抑制網(wǎng)絡(luò)淺層存在的冗余特征,獲取了腫瘤位置和輪廓的準(zhǔn)確信息。

第二,運(yùn)用于跳躍連接中,降低編解碼器之間特征的語(yǔ)義差距。LFSCA-UNet[5]在跳躍連接加入注意力門控以計(jì)算空間注意力,并且在其兩側(cè)串聯(lián)高效通道注意力模塊以產(chǎn)生通道注意力,實(shí)現(xiàn)空間注意和通道注意的融合。

第三,運(yùn)用于編解碼器單元中,增強(qiáng)其特征提取能力。RDA-Unet[6]以殘差結(jié)構(gòu)為基礎(chǔ),融合空間注意力和通道注意力組成殘差雙注意力模塊并用于特征的提取,實(shí)現(xiàn)多注意力的融合。吳量[7]為了解決腦瘤小區(qū)域病灶分割精準(zhǔn)度差的問題,將網(wǎng)絡(luò)編解碼器單元替換為帶殘差結(jié)構(gòu)的通道和空間混合注意力模塊,強(qiáng)化網(wǎng)絡(luò)對(duì)二維特征的提取能力。

第四,運(yùn)用于解碼器中,促進(jìn)重要信息之間的融合并恢復(fù)圖像特征。鄧健志等人[8]在解碼器中添加空洞拆分注意力模塊,讓網(wǎng)絡(luò)關(guān)注相同通道權(quán)重下各通道之間的交互作用。

1.2 Inception模塊

Inception模塊通過并聯(lián)多個(gè)卷積核大小不同的卷積操作并在深度進(jìn)行組合,成功地拓展了網(wǎng)絡(luò)的深度和寬度。這種稀疏化的設(shè)計(jì)能夠提升網(wǎng)絡(luò)對(duì)多尺度特征提取能力和較強(qiáng)的拓展能力。圖3為選取部分案例的網(wǎng)絡(luò)結(jié)構(gòu)。

圖3 inception模塊改進(jìn)代表圖

第一,運(yùn)用于跳躍連接中,降低編解碼器之間信息的語(yǔ)義差距。FA-Unet[9]將修改過卷積核大小的inception模塊加入跳躍連接中以拓展網(wǎng)絡(luò)深度和寬度,有助于編碼器對(duì)邊界和紋理等信息進(jìn)行提取。Mahmud等人[10]在跳躍連接中密集串聯(lián)多個(gè)含深度可分離卷積和空洞卷積的inception模塊,解決了息肉與背景對(duì)比度低而導(dǎo)致準(zhǔn)確度下降的問題。

第二,運(yùn)用于瓶頸部分,促進(jìn)網(wǎng)絡(luò)深層對(duì)高級(jí)特征的提取。Gu等人[11]使用空洞密集連接inception模塊提取不同尺度的特征,從而保留大量的病灶空間信息。

第三,運(yùn)用于編解碼器單元中,拓展網(wǎng)絡(luò)寬度和深度以提升特征提取能力。Dense-Inception U-net網(wǎng)絡(luò)[12]將inception和殘差網(wǎng)絡(luò)組合,利用不同大小卷積核提取更多特征,并避免梯度消失。

1.3 殘差結(jié)構(gòu)

網(wǎng)絡(luò)深度的增加雖然會(huì)提高網(wǎng)絡(luò)的性能,但是也會(huì)造成梯度爆炸或消失。這不僅會(huì)阻礙收斂的速度,還會(huì)導(dǎo)致網(wǎng)絡(luò)退化,殘差網(wǎng)絡(luò)能夠有效緩解上述問題。殘差結(jié)構(gòu)引入跳連以增強(qiáng)梯度的流動(dòng),通過學(xué)習(xí)信號(hào)的差值簡(jiǎn)化了結(jié)構(gòu),使得網(wǎng)絡(luò)連接更加豐富。圖4為選取部分案例的網(wǎng)絡(luò)結(jié)構(gòu)。

圖4 殘差結(jié)構(gòu)改進(jìn)代表圖

第一,運(yùn)用于編碼器中,避免出現(xiàn)梯度消失或爆炸。SRN-UNet網(wǎng)絡(luò)[13]將ResNext結(jié)構(gòu)與SENet進(jìn)行級(jí)聯(lián)并作為編碼模塊。其能夠?qū)χ匾卣餍畔⑦M(jìn)行激勵(lì),也能夠抑制網(wǎng)絡(luò)中的噪聲。羅圣欽[14]使用多尺度殘差卷積模塊代替原卷積以提取多尺度信息,讓網(wǎng)絡(luò)獲取更多病灶的邊緣信息。

第二,運(yùn)用于編解碼器單元中,強(qiáng)化編解碼器的信息處理能力。Aghalari等人[15]在進(jìn)行腦腫瘤分割時(shí)設(shè)計(jì)了一種雙通道殘差的模塊。該模塊并行處理兩條路徑的信息,并借助殘差結(jié)構(gòu)以避免出現(xiàn)梯度消失,有助于網(wǎng)絡(luò)更好地獲得全局特征。馬巧梅等人[16]在編碼器單元中加入殘差結(jié)構(gòu)以強(qiáng)化特征提取能力,在解碼器單元中加入殘差結(jié)構(gòu)來縮小跳躍連接和上一層解碼器之間的語(yǔ)義差距。

第三,運(yùn)用于跳躍連接中,拓展信息流動(dòng)的路徑并促進(jìn)特征的重利用。周正松等人[17]將殘差結(jié)構(gòu)和跨階段層次結(jié)構(gòu)組合以代替解碼器單元并且與每個(gè)解碼器單元的輸入進(jìn)行連接。這有助于多尺度高級(jí)和低級(jí)語(yǔ)義信息的融合。

1.4 空洞機(jī)制

空洞卷積能夠增加感受野范圍并保持特征圖尺寸大小不變。其通過擴(kuò)張率來表示卷積核計(jì)算像素的間距,達(dá)到擴(kuò)大感受野的效果。圖5為選取部分案例的網(wǎng)絡(luò)結(jié)構(gòu)。

圖5 空洞機(jī)制改進(jìn)代表圖

第一,運(yùn)用于編解碼器單元,實(shí)現(xiàn)多尺度特征的提取。RMS-Unet[18]在進(jìn)行肝臟分割任務(wù)時(shí)考慮到大尺寸卷積核會(huì)增加計(jì)算負(fù)擔(dān)且導(dǎo)致過擬合,因此使用三個(gè)不同膨脹率的空洞卷積構(gòu)成空洞殘差模塊來提取特征。

第二,運(yùn)用于瓶頸部分,獲取病灶位置和尺寸的高級(jí)信息。AR-Unet[19]為解決原卷積和下采樣操作可能導(dǎo)致梯度消失和信息丟失等問題,于瓶頸部分加入空洞卷積以捕捉較大范圍內(nèi)的信息,在視網(wǎng)膜分割任務(wù)中表現(xiàn)良好。Liu等人[20]為克服非局部模塊對(duì)高分辨率圖像計(jì)算不佳的問題,在瓶頸部分加入空洞金字塔卷積模塊來提取全局結(jié)構(gòu)特征并降低網(wǎng)絡(luò)計(jì)算消耗。

1.5 密集連接結(jié)構(gòu)

密集連接讓網(wǎng)絡(luò)中的每一層都會(huì)接受之前所有層的輸出以實(shí)現(xiàn)信息高效率流動(dòng),促進(jìn)高級(jí)和低級(jí)特征的融合。圖6為選取部分案例的網(wǎng)絡(luò)結(jié)構(gòu)。

圖6 密集連接結(jié)構(gòu)改進(jìn)代表圖

第一,運(yùn)用于編解碼器中,實(shí)現(xiàn)編解碼器之間的信息多重流動(dòng)。FD-Unet網(wǎng)絡(luò)[21]在編解碼器中都引入密集連接塊,以此避免網(wǎng)絡(luò)學(xué)習(xí)冗余信息并增強(qiáng)特征信息的流動(dòng)。Dolz等人[22]在缺血性中風(fēng)病變分割任務(wù)中設(shè)計(jì)了一個(gè)包含4種不同輸入圖像的編碼器,并且相互進(jìn)行密集連接以彌補(bǔ)分割差距。

第二,運(yùn)用于編碼器單元中,增強(qiáng)網(wǎng)絡(luò)的特征提取能力。Nazir等人[23]在編碼部分加入Dense-Net77結(jié)構(gòu),以較少的參數(shù)提升網(wǎng)絡(luò)魯棒性并實(shí)現(xiàn)特征的重利用。

第三,運(yùn)用于編解碼器單元中,促進(jìn)特征的全局利用。Hussain等人[24]將原有普通卷積操作替換為3層的密集連接網(wǎng)絡(luò)以提升特征重用性并使得網(wǎng)絡(luò)最大程度地對(duì)特征進(jìn)行高效學(xué)習(xí),避免出現(xiàn)梯度消失。

第四,運(yùn)用于瓶頸部分,強(qiáng)化網(wǎng)絡(luò)對(duì)細(xì)節(jié)信息的重利用性并提升特征利用效率。王原[25]為了提升網(wǎng)絡(luò)對(duì)細(xì)節(jié)信息的提取能力,同時(shí)避免網(wǎng)絡(luò)出現(xiàn)過擬合現(xiàn)象,在瓶頸部分加入密集連接結(jié)構(gòu)。

1.6 集成網(wǎng)絡(luò)結(jié)構(gòu)

集成網(wǎng)絡(luò)指使用多種網(wǎng)絡(luò)協(xié)同實(shí)現(xiàn)圖像分割,這能夠充分利用多種網(wǎng)絡(luò)的優(yōu)勢(shì)并且實(shí)現(xiàn)互補(bǔ),目前有許多學(xué)者嘗試此類設(shè)計(jì)方法。由于集成方案種類豐富,本研究主要從兩個(gè)方面進(jìn)行闡述:復(fù)雜U-Net結(jié)構(gòu)網(wǎng)絡(luò)和多網(wǎng)絡(luò)融合結(jié)構(gòu)。

第一,復(fù)雜U-Net結(jié)構(gòu)網(wǎng)絡(luò)。這類集成方法指對(duì)U-Net增加較復(fù)雜的信息流動(dòng)路徑,包括多類別圖像的輸入或多個(gè)U-Net串并聯(lián)的方法。多類別圖像輸入:凌彤等人[26]先利用MRI數(shù)據(jù)進(jìn)行訓(xùn)練以構(gòu)建分辨率高且對(duì)比度強(qiáng)的中間圖像,然后利用中間圖像指導(dǎo)CT圖像的分割,構(gòu)成信息互補(bǔ)關(guān)系,解決了因CT圖像存在低對(duì)比度而導(dǎo)致分割效果不佳的問題。多U-Net并聯(lián):Tran等人[27]認(rèn)為單個(gè)U-Net網(wǎng)絡(luò)經(jīng)常只關(guān)注最后一個(gè)卷積單元的輸出且之前的卷積單元中仍然存在重要信息,因此將3個(gè)U-Net網(wǎng)絡(luò)平行組合并且加入跳躍連接來充分利用更多節(jié)點(diǎn)的輸出特征。多U-Net串聯(lián):吳昊等[28]在單個(gè)U-Net后又增加了一個(gè)小型U-Net,這能夠拓展特征提取路徑并捕捉更多的特征,同時(shí)使用金字塔拆分模塊以建立長(zhǎng)距離的依賴關(guān)系并避免特征的消失。

第二,多網(wǎng)絡(luò)融合結(jié)構(gòu)。這種設(shè)計(jì)能夠充分發(fā)揮不同網(wǎng)絡(luò)的自身優(yōu)勢(shì)。秦志遠(yuǎn)等人[29]考慮到輸入圖像存在噪聲且網(wǎng)絡(luò)過深可能導(dǎo)致梯度消失,將輕量化的ResNet34作為編碼器主干以促進(jìn)深層網(wǎng)絡(luò)學(xué)習(xí)到更多的特征。Poudel等人[30]將預(yù)訓(xùn)練的EfficientNet作為U-Net的編碼器,能夠?qū)⒍喑叨日Z(yǔ)義信息進(jìn)行整合并學(xué)習(xí)到更多的全局特征。Pravitasari等人[31]將通過遷移學(xué)習(xí)得到的VGG16作為編碼器,減少網(wǎng)絡(luò)參數(shù)數(shù)量且提升訓(xùn)練速度。

2 針對(duì)非結(jié)構(gòu)改進(jìn)的方法

U-Net及其改進(jìn)網(wǎng)絡(luò)能夠出色完成醫(yī)學(xué)圖像分割任務(wù)的因素還包括對(duì)一些非結(jié)構(gòu)性的改進(jìn),因此有一些學(xué)者開始探索非結(jié)構(gòu)性改進(jìn)。在正式介紹非結(jié)構(gòu)改進(jìn)方法之前,有必要介紹醫(yī)學(xué)圖像在分割領(lǐng)域中常用的評(píng)價(jià)指標(biāo),從而有助于理解各種改進(jìn)方法。

2.1 常用醫(yī)學(xué)圖像分割評(píng)價(jià)指標(biāo)

Dice系數(shù)(Dice coefficient),醫(yī)學(xué)圖像分割領(lǐng)域最常用的評(píng)價(jià)指標(biāo)之一,也是較為客觀的評(píng)價(jià)標(biāo)準(zhǔn)。其用于計(jì)算兩個(gè)樣本之間的相似度,取值范圍介于0和1之間,值越靠近1則模型的性能越優(yōu)秀。其中,X和Y是兩個(gè)不同的樣本,公式如下:

(1)

雅卡爾指數(shù)(Jaccard index),又名交并比(IoU),常用于比較集合相似度,具體含義為兩個(gè)集合交集和并集的比值。x和y是兩個(gè)不同的樣本:

(2)

準(zhǔn)確率(accuracy,ACC),指網(wǎng)絡(luò)達(dá)到的總體精確程度,為正確分類樣本數(shù)量與任務(wù)總樣本數(shù)量的比值。其中TN(True Negative)為真陰性、TP(True Positive)為真陽(yáng)性、FN(False Negative)為假陰性且FP(False Positive)為假陽(yáng)性:

(3)

敏感度(sensitivity,SE),也被稱作召回率(recall),指被網(wǎng)絡(luò)正確分類為陽(yáng)性樣本與實(shí)際為陽(yáng)性的樣本總數(shù)的比值:

(4)

特異度(specificity,SP),指被網(wǎng)絡(luò)分類為陰性的樣本數(shù)量與實(shí)際為陰性的樣本數(shù)量的比值:

(5)

精確率(precision,P),為真陽(yáng)性樣本數(shù)量與被分類為陽(yáng)性樣本數(shù)量的比值:

(6)

F1值(F1 measure)將召回率和精確率加權(quán)調(diào)和平均,可以綜合反映整體情況。其中P為精確率,R為召回率:

(7)

2.2 預(yù)處理階段

網(wǎng)絡(luò)在訓(xùn)練的過程中容易出現(xiàn)過擬合現(xiàn)象,這使得網(wǎng)絡(luò)在訓(xùn)練時(shí)準(zhǔn)確度高,但是在驗(yàn)證時(shí)效果較差。數(shù)據(jù)增強(qiáng)可以從有限的數(shù)據(jù)中生成更多的數(shù)據(jù)供網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)以避免上述問題。

楊鑫等人[32]為了避免網(wǎng)絡(luò)可能出現(xiàn)過擬合現(xiàn)象,對(duì)輸入的圖像進(jìn)行隨機(jī)剪切、翻轉(zhuǎn)等操作,使得訓(xùn)練集和驗(yàn)證集數(shù)量增大。Nazir等人[23]使用限制對(duì)比度自適應(yīng)直方圖均衡化方法提升輸入圖像的對(duì)比度,保留更多細(xì)節(jié)信息并提升圖像整體質(zhì)量。

2.3 訓(xùn)練階段

2.3.1 優(yōu)化器和激活函數(shù)

優(yōu)化器:Xu等人[33]采用將RAdam和Lookahead進(jìn)行組合的Ranger優(yōu)化器來優(yōu)化模型,充分發(fā)揮兩個(gè)優(yōu)化器的優(yōu)勢(shì)以提升分割效果。

激活函數(shù):黃新等人[34]使用能夠有效避免梯度飽和實(shí)現(xiàn)強(qiáng)正則化效果的Mish[35]激活函數(shù)訓(xùn)練網(wǎng)絡(luò),最終為肺部CT圖像分割任務(wù)帶來1.21%的提升。李志昂等人[36]認(rèn)為relu函數(shù)對(duì)小于0的輸入均輸出0而導(dǎo)致參數(shù)更新困難,因此使用PReLu激活函數(shù)避免該問題。DCA-ResUNet[37]考慮到relu函數(shù)執(zhí)行單側(cè)抑制機(jī)制會(huì)造成特征損失,因此使用Leaky relu激活函數(shù)以防止信息丟失。

2.3.2 損失函數(shù)

損失函數(shù)能夠幫助網(wǎng)絡(luò)評(píng)估真實(shí)值和預(yù)測(cè)值之間的差距,從而選擇出最優(yōu)的權(quán)重參數(shù)。目前損失函數(shù)的使用包括單一損失函數(shù)和聯(lián)合損失函數(shù)。

單一損失函數(shù):WU-Net[38]為解決分割區(qū)域占真值圖像和分割結(jié)果圖像小而帶來梯度變化大的問題,使用Zloss損失函數(shù)來優(yōu)化模型。徐昌佳等人[39]使用Focal Tversky Loss損失函數(shù)以實(shí)現(xiàn)小目標(biāo)區(qū)域分割。

聯(lián)合損失函數(shù):(1)針對(duì)增強(qiáng)邊緣信息:孫軍梅等人[40]將Dice損失函數(shù)和基于邊緣的Boundary 損失函數(shù)進(jìn)行組合,在Glas,DRIVE和ISIC2018數(shù)據(jù)集上進(jìn)行測(cè)試,取得了較好的效果。(2)針對(duì)小目標(biāo)病灶分割:劉蕊等人[41]為了提升對(duì)小目標(biāo)的識(shí)別精度并緩解因錯(cuò)誤分割而導(dǎo)致?lián)p失值異常的問題,將相似度(SSIM)、二元交叉熵?fù)p失函數(shù)(BCE)、修改的Dice損失函數(shù)進(jìn)行融合。(3)控制前景和背景相差過大的缺陷:LRUnet[42]將二元交叉熵?fù)p失函數(shù)(BCE)和Dice損失函數(shù)進(jìn)行組合,使用參數(shù)以平衡區(qū)域損失和邊緣損失的影響,讓網(wǎng)絡(luò)能夠同時(shí)關(guān)注區(qū)域和邊緣信息。

3 U-Net在不同醫(yī)學(xué)圖像分割領(lǐng)域的運(yùn)用

不同醫(yī)學(xué)圖像分割領(lǐng)域的實(shí)際需求、器官或組織的結(jié)構(gòu)存在差異性,這使得對(duì)于U-Net網(wǎng)絡(luò)的優(yōu)化存在傾向性。本章節(jié)將列舉部分在肺結(jié)節(jié)、視網(wǎng)膜血管、皮膚病以及顱內(nèi)腫瘤四大醫(yī)學(xué)分割領(lǐng)域的U-Net改進(jìn)方案。

3.1 U-Net在肺結(jié)節(jié)分割的運(yùn)用

肺癌是嚴(yán)重危害人類生命健康的一種疾病,而惡性肺結(jié)節(jié)存在發(fā)展為肺癌的風(fēng)險(xiǎn),對(duì)健康存在巨大威脅。但在實(shí)際分割過程中肺結(jié)節(jié)自身存在位置不固定、形狀多樣或與肺實(shí)質(zhì)對(duì)比度不明顯的問題,這些都會(huì)對(duì)肺結(jié)節(jié)的分割帶來影響。

陳銘等人[43]為了加快網(wǎng)絡(luò)收斂速度,將包含深度可分離卷積和輕量級(jí)注意力機(jī)制的MobileNet V3網(wǎng)絡(luò)作為編碼器。該網(wǎng)絡(luò)犧牲了少量準(zhǔn)確度來提升速度,這可能不利于提取更豐富的特征。Wang等人[44]在跳躍連接部分增加了BBClstm模塊以強(qiáng)化特征的重利用性且增強(qiáng)網(wǎng)絡(luò)信息流動(dòng);同時(shí)在瓶頸部分增加了包含通道和空間注意力的并行注意力模塊,對(duì)網(wǎng)絡(luò)深層的高級(jí)語(yǔ)義信息進(jìn)行充分利用。鐘思華等人[45]在編解碼器中加入密集連接,強(qiáng)化特征的流動(dòng)和應(yīng)用,使得肺結(jié)節(jié)邊緣特征提取能力得到提升。

3.2 U-Net在視網(wǎng)膜血管分割的運(yùn)用

視網(wǎng)膜血管可以反映病變情況,對(duì)于醫(yī)療診斷具有重要的參考意義。視網(wǎng)膜血管結(jié)構(gòu)復(fù)雜,不僅存在大量細(xì)小的血管,血管之間也相互交疊。此外,視網(wǎng)膜血管與背景之間的對(duì)比度低,存在大量的噪聲以阻礙網(wǎng)絡(luò)的精準(zhǔn)分割,這些因素會(huì)影響分割的結(jié)果。

趙書凝等人[46]將多對(duì)編解碼器進(jìn)行連接以實(shí)現(xiàn)信息的多分支流動(dòng),從而獲取更多特征。同時(shí)使用共享權(quán)重殘差模塊以控制參數(shù)數(shù)量。該算法未能有效過濾這些路徑中的噪聲,這使得網(wǎng)絡(luò)魯棒性不足。易三莉等人[47]使用SE-Resnet提取特征并將注意力門加入跳躍連接中,對(duì)血管特征進(jìn)行增強(qiáng)且對(duì)背景噪聲進(jìn)行抑制。許祥叢等人[48]基于SE模塊,在特征映射和輸出層之間加入跳躍連接,并使用擠壓-激勵(lì)-連接模塊替換部分卷積操作以獲得全局空間信息。

3.3 U-Net在皮膚病分割的運(yùn)用

皮膚病是人類多發(fā)疾病之一,癥狀種類較多且發(fā)病原因不唯一,有較高的發(fā)病率。皮膚病感染區(qū)域的外輪廓形狀不固定,采集圖像常包含患者的毛發(fā)和血管,這無疑會(huì)增加分割難度。

蔣宏達(dá)等人[49]將傳統(tǒng)卷積替換為空洞卷積和inception結(jié)構(gòu),為網(wǎng)絡(luò)提取到多尺度特征。此外,該模型在最后增加全連接條件隨機(jī)場(chǎng)以實(shí)現(xiàn)恢復(fù)局部細(xì)節(jié)的效果,從而關(guān)注更多邊界信息。Ding等人[50]在編碼器中使用包含深度可分離卷積的MBconv以降低模型參數(shù)數(shù)量,并且在跳躍連接中加入改進(jìn)的深度感知門控模塊來增強(qiáng)跳躍連接路徑判斷特征的重要程度的能力。趙文慧等人[51]在編碼器中加入全局和局部密集連接,并使用空洞卷積拓展感受野,這使得網(wǎng)絡(luò)能夠獲取多尺度信息且實(shí)現(xiàn)對(duì)特征的復(fù)用。

3.4 U-Net在顱內(nèi)腫瘤分割的運(yùn)用

顱內(nèi)腫瘤在現(xiàn)代社會(huì)的發(fā)病率和死亡率較高,是醫(yī)學(xué)重點(diǎn)關(guān)注的研究領(lǐng)域之一。但顱內(nèi)腫瘤尺寸及位置不固定,且包含多個(gè)子區(qū)域,如整體腫瘤、腫瘤核心和增強(qiáng)瘤,這會(huì)提升分割難度[52]。

吳量等人[7]使用ResBlock模塊加深網(wǎng)絡(luò)深度并增加一條并行的空洞卷積操作來提取更多的信息。顏丙寶等人[53]在網(wǎng)絡(luò)的編碼器中增加一個(gè)包含3個(gè)不同膨脹率的空洞卷積并行計(jì)算的模塊以幫助網(wǎng)絡(luò)提取多尺度特征。但該網(wǎng)絡(luò)缺乏對(duì)這多尺度特征中噪聲的過濾手段,這可能會(huì)影響分割準(zhǔn)確度。Zheng等人[54]考慮到卷積和池化操作會(huì)導(dǎo)致邊緣信息的丟失,同時(shí)原始圖像含有豐富信息,因此在編解碼器間增加一條路徑以助于特征的恢復(fù)。

4 結(jié)束語(yǔ)

該文結(jié)合眾多學(xué)者對(duì)U-Net改進(jìn)的方案,總結(jié)了U-Net的六大模塊和四大非結(jié)構(gòu)化改進(jìn)方法,并列舉Unet改進(jìn)網(wǎng)絡(luò)在四大醫(yī)學(xué)圖像分割領(lǐng)域的運(yùn)用,為從事醫(yī)學(xué)圖像分割領(lǐng)域的研究者提供參考。隨著U-Net網(wǎng)絡(luò)在醫(yī)學(xué)圖像分割領(lǐng)域受到廣泛的關(guān)注,筆者認(rèn)為其未來在如下幾個(gè)方面有改進(jìn)潛力:

(1)提高數(shù)據(jù)質(zhì)量。雖然U-net能夠利用有限的數(shù)據(jù)分割出較好的圖像,但過小的數(shù)據(jù)量容易出現(xiàn)過擬合問題,因此需要提高數(shù)據(jù)質(zhì)量,特別要解決數(shù)據(jù)中類別不平衡的缺陷。在訓(xùn)練時(shí)應(yīng)該考慮使用多種數(shù)據(jù)增強(qiáng)的方法來提升網(wǎng)絡(luò)的魯棒性。

(2)多尺度特征的提取。諸如毛細(xì)血管網(wǎng)、器官邊界等區(qū)域具有極為豐富的特征,僅提取單一尺度的特征可能無法足夠?qū)ζ溥M(jìn)行描述,因此有必要進(jìn)行多尺度特征的提取。可以適度增加信息流動(dòng)路徑,增強(qiáng)不同單元之間信息交流能力,或使用混合注意力機(jī)制提取更豐富的特征。

(3)非結(jié)構(gòu)性改進(jìn)。已有研究證明非結(jié)構(gòu)化改進(jìn)對(duì)于網(wǎng)絡(luò)分割性能的提升具有重要意義,伴隨著更高效的優(yōu)化器、激活函數(shù)的提出,研究者應(yīng)該考慮在網(wǎng)絡(luò)中使用這些方案。

(4)多網(wǎng)絡(luò)協(xié)作。考慮到不同疾病輸入網(wǎng)絡(luò)的圖像格式有區(qū)別,如肺結(jié)節(jié)常使用CT圖像、顱內(nèi)腫瘤常使用3D形式的MRI圖像作為輸入,單一的網(wǎng)絡(luò)能夠處理的信息是有限的,因此可以整合多種網(wǎng)絡(luò)結(jié)構(gòu)以構(gòu)建集成網(wǎng)絡(luò),充分發(fā)揮多個(gè)網(wǎng)絡(luò)的優(yōu)勢(shì)。

綜上所述,通過總結(jié)現(xiàn)有U-net改進(jìn)網(wǎng)絡(luò)方案將為醫(yī)學(xué)圖像分割研究提供思路,助于智慧醫(yī)療的發(fā)展。