基于多尺度特征融合與注意力機(jī)制的脊柱CT圖像分割①

金順楠,周迪斌,何 斌,顧靜軍

1（杭州師范大學(xué) 杭州國(guó)際服務(wù)工程學(xué)院,杭州 311121）

2（杭州三壇醫(yī)療有限公司,杭州 310018）

3（浙江大學(xué),杭州 310058）

脊柱是人體不可或缺的重要組成部分,上聯(lián)顱骨,下聯(lián)髖骨,具有支持軀干,保護(hù)脊髓、內(nèi)臟的重要功能.隨著人們生活節(jié)奏加快、工作壓力繁重,脊柱疾病患者呈現(xiàn)出年輕化的趨勢(shì),脊柱疾病的預(yù)防和治療越來(lái)越重要.脊柱解剖結(jié)構(gòu)復(fù)雜、邊界形狀復(fù)雜,計(jì)算機(jī)斷層成像技術(shù)（CT）因成像快、分辨率高且能清晰呈現(xiàn)三維空間結(jié)構(gòu),而廣泛地用于脊柱相關(guān)疾病的臨床分析、診斷和計(jì)算機(jī)輔助治療.

計(jì)算機(jī)圖像輔助診斷技術(shù)的引入,可將脊柱CT成像中每幀圖像的骨骼區(qū)域分割出來(lái),結(jié)合三維重建將二維的數(shù)據(jù)三維化呈現(xiàn)出立體的影像,給醫(yī)生提供病人脊柱姿態(tài)的豐富信息.醫(yī)生能更加直觀地對(duì)病人病變區(qū)進(jìn)行觀察與剖析,這對(duì)于提高脊柱疾病治療的效率和成功率具有重要的推動(dòng)作用.圖像感興趣區(qū)域的分割是計(jì)算機(jī)提供診斷輔助的基礎(chǔ),而醫(yī)學(xué)CT圖像數(shù)據(jù)量大,信噪比低,病人之間的差異性大等特點(diǎn),使其圖像分割問(wèn)題與一般的圖像相比,面臨更多的課題和挑戰(zhàn).

早期的CT圖像脊柱分割大多以基于先驗(yàn)知識(shí)和圖像信息的傳統(tǒng)分割算法為主,Yao等[1]采用設(shè)置骨密度閾值獲取初始脊柱分割,并分段擬合椎體模型對(duì)椎體進(jìn)行精分割,但分割結(jié)果不能呈現(xiàn)更細(xì)化的骨結(jié)構(gòu).Huang等[2]提出了一種基于邊緣和區(qū)域水平集的方法用于椎骨分割,通過(guò)提取圖像的梯度信息和局部特征,能夠減小邊界模糊對(duì)分割結(jié)果的影響.Li等[3]提出一種基于區(qū)域相關(guān)性的自動(dòng)初始化水平集方法用于腰椎CT圖像分割,結(jié)合形態(tài)學(xué)濾波器和高斯混合模型,該方法能提取到相對(duì)精確的輪廓邊界.傳統(tǒng)算法一般需要人為干預(yù),處理過(guò)程較為繁瑣,不能做到完全的自動(dòng)分割.同時(shí)為了保證臨床手術(shù)實(shí)施的安全性,圖像引導(dǎo)的脊柱手術(shù)通常需要極高的精度,但由于脊柱骨形狀和結(jié)構(gòu)的復(fù)雜變化,傳統(tǒng)的圖像分割方法在分割精度上并不滿足要求.

近年來(lái),計(jì)算機(jī)視覺(jué)技術(shù)飛速發(fā)展,卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的非線性特征提取能力在一系列圖像處理任務(wù)中取得了突出的表現(xiàn).如何以最先進(jìn)的技術(shù)為現(xiàn)代醫(yī)學(xué)的進(jìn)步提供動(dòng)力,成為計(jì)算機(jī)科學(xué)和醫(yī)學(xué)研究者的探究熱點(diǎn).郭樹(shù)旭等[4]將全卷積神經(jīng)網(wǎng)絡(luò)引入腹部CT肝臟分割,通過(guò)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取和特征映射,使其分割結(jié)果具有較高的精度.劉忠利等[5]將卷積-反卷積結(jié)構(gòu)網(wǎng)絡(luò)模型引入脊柱CT分割,實(shí)驗(yàn)證明該方法有較高的實(shí)時(shí)性和準(zhǔn)確性.王亞剛等[6]將深度殘差網(wǎng)絡(luò)引入U(xiǎn)-Net網(wǎng)絡(luò)實(shí)現(xiàn)股骨的自動(dòng)分割,避免了欠分割與過(guò)分割問(wèn)題,提升了分割效率與精度.李賢等[7]將3D全卷積網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)應(yīng)用于脊柱CT分割,獲得了較高的分割精度.采用數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)分割方法已在圖像算法領(lǐng)域取得了顯著成就,但醫(yī)學(xué)圖像的分割追求著更高的分割準(zhǔn)確率和分割效率.

本文基于深度學(xué)習(xí)理論與方法,結(jié)合對(duì)生物醫(yī)學(xué)圖像特征的分析,提出一種以U-Net上下采樣層跳躍拼接結(jié)構(gòu)為主框架,以多尺度殘差塊為基礎(chǔ)模塊,引入注意力機(jī)制自適應(yīng)關(guān)注目標(biāo)特征的分割網(wǎng)絡(luò)模型.該網(wǎng)絡(luò)能結(jié)合圖像的多尺度特征提高分割精度,同時(shí)較低的參數(shù)計(jì)算量不會(huì)影響模型的訓(xùn)練速度.實(shí)驗(yàn)表明,該網(wǎng)絡(luò)能實(shí)現(xiàn)脊柱CT的全自動(dòng)分割,且相較于其他相似的經(jīng)典深度模型,同等環(huán)境下該改進(jìn)模型的準(zhǔn)確率和準(zhǔn)確效率均有較明顯的提高.

1 相關(guān)技術(shù)

1.1 U-Net卷積-反卷積框架

U-Net網(wǎng)絡(luò)模型于2015年被提出[8],是一種能基于少量圖像數(shù)據(jù)進(jìn)行訓(xùn)練的端到端的全卷積神經(jīng)網(wǎng)絡(luò).它由編碼器和解碼器兩部分組成,第1條路徑用于特征提取,包含重復(fù)的卷積操作,通過(guò)堆疊池化和3×3的卷積來(lái)學(xué)習(xí)圖像的特征; 第2條路徑為對(duì)稱的擴(kuò)展路徑,通過(guò)反卷積操作一層層還原圖像大小,利用跳躍連接與特征提取部分對(duì)應(yīng)的特征層融合.與FCN相比,U-Net通過(guò)級(jí)聯(lián)兩條路徑大小相等的特征圖可以將高分辨率特征與解碼器上采樣輸出特征連接,實(shí)現(xiàn)特征融合,有效地保留原圖中的信息.

1.2 殘差模塊

2015年,He提出了殘差網(wǎng)絡(luò)[9]這一概念來(lái)解決深層網(wǎng)絡(luò)退化問(wèn)題.殘差模塊是殘差網(wǎng)絡(luò)中重要的組成結(jié)構(gòu),通過(guò)使用恒等映射縮短了淺層特征與深層特征之間的路徑,可以使得網(wǎng)絡(luò)模型層數(shù)大大增加而不退化.

常規(guī)的殘差模塊如圖1,該模塊使用兩個(gè)3×3的卷積層對(duì)上層輸入特征進(jìn)行卷積操作得到殘差映射,同時(shí)將原特征與卷積輸出逐元素相加實(shí)現(xiàn)特征的融合.殘差的計(jì)算公式如式（1）所示.

圖1 常規(guī)殘差模塊

式中,x和y分別為網(wǎng)絡(luò)的輸入和輸出,Wi為x的權(quán)重,F（x,{Wi}）為網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)的殘差映射.網(wǎng)絡(luò)學(xué)習(xí)擬合殘差映射不僅可以簡(jiǎn)化學(xué)習(xí)目標(biāo)和難度,當(dāng)網(wǎng)絡(luò)達(dá)到最優(yōu)性能時(shí),多余的網(wǎng)絡(luò)層通過(guò)跨層連接可以實(shí)現(xiàn)上層特征的恒等映射,提高了深層網(wǎng)絡(luò)的性能表現(xiàn),解決網(wǎng)絡(luò)加深梯度消失和爆炸的問(wèn)題.

1.3 注意力機(jī)制

人類的視覺(jué)本質(zhì)上是大腦對(duì)腦電信號(hào)的處理,人會(huì)根據(jù)自己的興趣將注意力放到注意力焦點(diǎn)處進(jìn)行仔細(xì)觀察,大腦自動(dòng)剔除不感興趣的區(qū)域信息,著重提取感興趣區(qū)域的細(xì)節(jié)與特征.神經(jīng)網(wǎng)絡(luò)的注意力機(jī)制借鑒了人類的這種視覺(jué)機(jī)制,引入注意力機(jī)制能夠捕獲到更高級(jí)的語(yǔ)義信息,增強(qiáng)模型對(duì)前景的學(xué)習(xí)能力,提高模型的靈敏度和分割精度.

網(wǎng)絡(luò)的特征提取是通常是基于全局的,目標(biāo)物體和背景的特征權(quán)重系數(shù)沒(méi)有很大差距,這就導(dǎo)致了網(wǎng)絡(luò)訓(xùn)練緩慢,不能快速提取目標(biāo)物體特征.針對(duì)本文實(shí)驗(yàn)任務(wù),如圖2所示的CT圖像中,目標(biāo)骨骼區(qū)域只占到整幅圖像的極小區(qū)域,將注意力聚焦于該小部分目標(biāo)區(qū)域,不僅能加快訓(xùn)練的速度,更能增強(qiáng)該位置上對(duì)象的表示,突出特征細(xì)節(jié).因此可以在網(wǎng)絡(luò)中增加注意力模塊,通過(guò)給特征添加權(quán)重,使網(wǎng)絡(luò)減少對(duì)背景像素的關(guān)注,加快對(duì)骨骼特征的學(xué)習(xí).

圖2 脊柱CT分割目標(biāo)區(qū)域占比

2 CT圖像脊柱分割網(wǎng)絡(luò)模型結(jié)構(gòu)

針對(duì)脊柱CT圖像分割任務(wù)的網(wǎng)絡(luò)模型設(shè)計(jì),需解決如下問(wèn)題:

（1）醫(yī)學(xué)圖像分割是醫(yī)學(xué)圖像處理與分析領(lǐng)域的關(guān)鍵步驟,其目的是將醫(yī)學(xué)圖像中具有某些特殊含義的部分分割出來(lái),為臨床診療和病理學(xué)研究提供可靠的依據(jù),因此需要極高的精度.

（2）脊柱CT圖像中目標(biāo)區(qū)域結(jié)構(gòu)相對(duì)固定,語(yǔ)義明確,目標(biāo)定位相對(duì)容易; 同時(shí),由于CT圖像噪點(diǎn)多、灰度不均勻、偽影、不同軟組織間灰度相近的特點(diǎn),精準(zhǔn)分割難以實(shí)現(xiàn).

（3）醫(yī)學(xué)圖像的數(shù)據(jù)量相對(duì)較少,若模型設(shè)計(jì)過(guò)于復(fù)雜,參數(shù)量大,網(wǎng)絡(luò)極易過(guò)擬合,影響模型精度.

U型網(wǎng)絡(luò)能夠同時(shí)結(jié)合低分辨率信息和高分辨率信息,且相較于其他分割網(wǎng)絡(luò)有更少的參數(shù),因此更適用于脊柱CT圖像的分割任務(wù).

經(jīng)典U-Net網(wǎng)絡(luò)中堆疊著一定數(shù)量的卷積操作,作為低、中、高特征提取器.越靠近底層的卷積神經(jīng)網(wǎng)絡(luò)擬合能力更強(qiáng),網(wǎng)絡(luò)性能也更優(yōu)異,但隨著網(wǎng)絡(luò)的加深,圖像的反復(fù)降維操作,會(huì)一定程度上損失部分圖像的細(xì)節(jié)信息,難以獲取到精細(xì)的邊緣,降低模型的最終性能.

為了從CT圖像中提取到更多的細(xì)節(jié)信息,緩解低對(duì)比度邊緣的欠分割問(wèn)題,本文在U型網(wǎng)絡(luò)中引入深度殘差網(wǎng)絡(luò)結(jié)構(gòu)來(lái)優(yōu)化卷積-池化結(jié)構(gòu)的基礎(chǔ)模塊,使其擁有多尺度特征表示能力,改進(jìn)后結(jié)構(gòu)如圖3所示.

圖3 多尺度殘差結(jié)構(gòu)

該模塊通過(guò)對(duì)瓶頸殘差結(jié)構(gòu)進(jìn)行改進(jìn),用一組更小的濾波器組替換全通道的3×3卷積核,并將這些分組的濾波器以類殘差的層次化方式連接,來(lái)增加輸出特征所能代表的尺度的數(shù)量.對(duì)1×1卷積輸出后的特征圖按通道數(shù)均分為4塊后分層進(jìn)行特征提取,特征計(jì)算結(jié)果如下:

其中,xi為分塊特征子集,Ki為每層分塊后進(jìn)行的3×3卷積,yi為特征子集的輸出.經(jīng)過(guò)分塊卷積和殘差融合,可得到不同感受野大小的特征輸出:y1與輸入特征相同,y2可表示為3×3卷積所提取的特征圖,y3相當(dāng)于5×5大小的感受野得到的特征圖,y4相當(dāng)于經(jīng)過(guò)7×7大小的感受野得到的特征圖.模塊中卷積輸出與原特征圖的跨層連接,能縮短前后層之間的距離,進(jìn)一步提高特征的學(xué)習(xí)能力.

該殘差結(jié)構(gòu)采用先拆分后融合的策略,能夠在控制參數(shù)量的同時(shí)增加每個(gè)網(wǎng)絡(luò)層的感受野范圍,既不增加網(wǎng)絡(luò)的計(jì)算負(fù)載,還能從多個(gè)尺度上表示特征.多尺度的融合有助于提取出更多細(xì)節(jié)信息,降低脊柱目標(biāo)和周圍軟組織對(duì)比度低對(duì)分割結(jié)果的干擾,提高分割精度.

通道分層卷積的殘差結(jié)構(gòu)雖然可得到多尺度的特征表示,但結(jié)構(gòu)中各個(gè)特征圖的通道并不存在依賴性.不同的通道包含的特征信息存在差異且重要性不同,因此,圖3模塊中在多尺度殘差融合特征后引入通道注意力機(jī)制對(duì)特征各通道的依賴性進(jìn)行建模.自適應(yīng)地對(duì)特征進(jìn)行逐通道調(diào)整,網(wǎng)絡(luò)就可以通過(guò)學(xué)習(xí)全局信息來(lái)有選擇性地加強(qiáng)包含有用信息的特征,使得下一層卷積能充分利用這些特征,并對(duì)無(wú)用特征進(jìn)行抑制,從而提高網(wǎng)絡(luò)的表示能力.通道注意力模塊如圖4所示.通道模塊公式如下:

圖4 通道注意力模塊

（1）上層傳入特征,在通道維度上使用全局最大池化和全局平均池化對(duì)特征進(jìn)行降維,得到2個(gè)不同的信道描述符;

（2）按其通道維度將這兩個(gè)不同空間背景的信道描述符合并送入一個(gè)兩層的神經(jīng)網(wǎng)絡(luò)感知機(jī);

（3）將得到的兩個(gè)特征圖逐點(diǎn)相加,并經(jīng)過(guò)Sigmoid激活函數(shù)得到權(quán)重系數(shù);

（4）將原特征與權(quán)重系數(shù)對(duì)應(yīng)元素逐個(gè)相乘得到特征圖.

醫(yī)學(xué)CT圖像本身易受噪聲的干擾,且脊柱CT圖像因骨質(zhì)不同以及組織混迭等因素導(dǎo)致影像圖像灰度不均勻.引入注意力機(jī)制,可將上層特征中不相關(guān)的信息以及噪聲的激活響應(yīng)抑制,只凸顯相關(guān)信息的激活值,一方面可以濾除背景噪聲對(duì)梯度更新的影響,另一方面可以減少上采樣的邊緣模糊問(wèn)題.該模塊只給網(wǎng)絡(luò)增加了極少的額外計(jì)算量,卻能帶來(lái)顯著的模型敏感度和準(zhǔn)確率的提高.綜上所述,本文結(jié)合殘差單元與注意力機(jī)制提出一種針對(duì)CT脊柱分割的模型,網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示.

圖5 改進(jìn)的U-Net網(wǎng)絡(luò)結(jié)構(gòu)

3 實(shí)驗(yàn)設(shè)計(jì)

3.1 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)采用的硬件環(huán)境為NVIDIA-RTX2060,顯存6 GB.軟件環(huán)境為以Python 3.7,TensorFlow-GPU 1.14.0支撐的Keras.實(shí)驗(yàn)數(shù)據(jù)來(lái)自California大學(xué)的公開(kāi)CT數(shù)據(jù)集[10],原圖大小為512×512像素,選用1-6組脊柱CT圖像及對(duì)應(yīng)標(biāo)簽共3410張作為訓(xùn)練與驗(yàn)證集,選用第7、8組數(shù)據(jù)中共400張圖像作為測(cè)試數(shù)據(jù).訓(xùn)練時(shí)超參數(shù)采用如下相同設(shè)置:batch_size設(shè)定為16; 初始學(xué)習(xí)率為10-3,優(yōu)化器選用Adam,在訓(xùn)練時(shí)自適應(yīng)地調(diào)節(jié)學(xué)習(xí)率,直至損失函數(shù)收斂.

3.2 評(píng)價(jià)指標(biāo)

為了對(duì)本實(shí)驗(yàn)結(jié)果有一個(gè)真實(shí)可解釋的評(píng)價(jià),本文選用醫(yī)學(xué)圖像分割常用的Dice相似性系數(shù)和IOU評(píng)測(cè)指標(biāo)評(píng)估模型.

以vgt表示真實(shí)標(biāo)簽中輪廓區(qū)域所包含的點(diǎn)集,Vprediction表示網(wǎng)絡(luò)預(yù)測(cè)的輪廓區(qū)域點(diǎn)集.IOU能計(jì)算出網(wǎng)絡(luò)預(yù)測(cè)的結(jié)果與真實(shí)標(biāo)簽的交并比,其公式如下:

Dice相似性系數(shù)（DSC）是一種集合相似度度量函數(shù),用于計(jì)算真實(shí)標(biāo)簽與網(wǎng)絡(luò)預(yù)測(cè)結(jié)果的相似度,數(shù)值越接近于1圖像的分割精確度越高.公式如下所示:

3.3 實(shí)驗(yàn)結(jié)果與分析

3.3.1 與其他分割網(wǎng)絡(luò)的對(duì)比實(shí)驗(yàn)

實(shí)驗(yàn)主要分為訓(xùn)練和測(cè)試兩個(gè)階段,首先在訓(xùn)練集上進(jìn)行訓(xùn)練,然后在測(cè)試集中進(jìn)行模型測(cè)試,得到實(shí)驗(yàn)結(jié)果.為驗(yàn)證本實(shí)驗(yàn)?zāi)Ｐ拖噍^于其他分割網(wǎng)絡(luò)在脊柱CT圖像分割任務(wù)的優(yōu)越性,將本文所提出的網(wǎng)絡(luò)模型與原始U-Net網(wǎng)絡(luò)、FCN、SegNet網(wǎng)絡(luò)進(jìn)行對(duì)比.

同時(shí),分割任務(wù)中訓(xùn)練網(wǎng)絡(luò)所使用的損失函數(shù)同樣影響著網(wǎng)絡(luò)的性能.為測(cè)試損失函數(shù)對(duì)網(wǎng)絡(luò)的影響,將不同網(wǎng)絡(luò)分別使用Focal loss、二元交叉熵（CE）、Dice loss 三種不同的損失函數(shù)進(jìn)行訓(xùn)練,分割精確度如表1所示.

分析表1可知,相較于經(jīng)典分割模型FCN與SegNet,U-Net級(jí)聯(lián)卷積-反卷積結(jié)構(gòu)對(duì)于醫(yī)學(xué)圖像的分割任務(wù)上有更好的表現(xiàn),這與預(yù)先設(shè)想一致.與基礎(chǔ)U-Net模型的分割結(jié)果對(duì)比,本文引入殘差與注意力機(jī)制對(duì)其進(jìn)行改進(jìn)后,分割精度有了進(jìn)一步的提高,在Dice loss下的測(cè)試集的預(yù)測(cè)值與真實(shí)標(biāo)簽的相似性達(dá)到了97.17%,更滿足醫(yī)療圖像分割精確性的要求.

表1 算法準(zhǔn)確性對(duì)比（%）

針對(duì)訓(xùn)練過(guò)程損失函數(shù)的實(shí)驗(yàn)分析可知,Focal loss更適用于解決正負(fù)樣本數(shù)量不均衡的圖像分割任務(wù),本任務(wù)CT圖像為一系列相關(guān)聯(lián)的圖像,目標(biāo)區(qū)域像素平均,因此該損失函數(shù)在本任務(wù)中表現(xiàn)欠佳;以Dice系數(shù)作為L(zhǎng)oss進(jìn)行直接優(yōu)化,訓(xùn)練中網(wǎng)絡(luò)會(huì)更側(cè)重對(duì)前景區(qū)域的挖掘,因此在該損失函數(shù)的訓(xùn)練下分割結(jié)果精度較高,但訓(xùn)練過(guò)程中Loss容易不穩(wěn)定,后續(xù)將考慮結(jié)合CE對(duì)其進(jìn)行優(yōu)化.

從測(cè)試集中隨機(jī)選取圖像輸入模型,分別生成分割結(jié)果.圖6為不同網(wǎng)絡(luò)模型分割的結(jié)果對(duì)比.圖6（a）為CT圖像,圖6（b）為CT脊柱的真實(shí)標(biāo)簽,圖6（c）為SegNet分割結(jié)果,圖6（d）為U-Net分割結(jié)果,圖6（e）為本文網(wǎng)絡(luò)結(jié)構(gòu)分割結(jié)果.將圖中分割結(jié)果與圖6（b）真實(shí)標(biāo)簽比較,對(duì)于簡(jiǎn)單結(jié)構(gòu)的脊柱切片,不同的分割網(wǎng)絡(luò)均能檢測(cè)到CT圖像中脊柱的目標(biāo)區(qū)域,成功實(shí)現(xiàn)目標(biāo)定位.其中,SegNet只能實(shí)現(xiàn)目標(biāo)的粗分割,對(duì)細(xì)節(jié)處理較差.U-Net對(duì)目標(biāo)的分割效果較好,但對(duì)于骨骼切片結(jié)構(gòu)較為復(fù)雜的圖像,由于原圖中脊柱與骨間軟組織連接處的輪廓邊界并不清晰,U-Net對(duì)模糊邊界的分割處理略顯粗糙.對(duì)比可見(jiàn),本文所用網(wǎng)絡(luò)對(duì)骨間細(xì)小輪廓線的分割效果更好,對(duì)模糊邊界的處理更優(yōu).本文中所用模型的多尺度殘差結(jié)構(gòu)與注意力機(jī)制的設(shè)置均是為了提高分割結(jié)果的細(xì)節(jié)表達(dá),實(shí)驗(yàn)效果圖驗(yàn)證,該設(shè)置達(dá)到了預(yù)期設(shè)想.

圖6 脊柱CT圖像分割效果圖

將CT圖像載入訓(xùn)練后的模型中得到脊柱分割序列并進(jìn)行三維重建,便可得到清晰的3D脊柱模型,如圖7所示.

圖7 脊柱CT分割三維重建結(jié)果

3.3.2 網(wǎng)絡(luò)各模塊消融實(shí)驗(yàn)

為了驗(yàn)證各模塊對(duì)整體模型的影響,對(duì)U-Net原始模型、殘差模塊結(jié)構(gòu)、注意力機(jī)制分別進(jìn)行對(duì)比實(shí)驗(yàn),以證明網(wǎng)絡(luò)中所有設(shè)置均為最優(yōu).

首先對(duì)上下采樣基礎(chǔ)模塊結(jié)構(gòu)對(duì)性能的影響進(jìn)行比較.為證明殘差結(jié)構(gòu)及多尺度特征提取的引入能提高分割精度,改變基礎(chǔ)模塊的結(jié)構(gòu)并測(cè)試分割精度,實(shí)驗(yàn)結(jié)果如表2所示.

如表2所示,Case 1不使用殘差結(jié)構(gòu),沿用經(jīng)典UNet的基礎(chǔ)卷積模塊,分割結(jié)果略優(yōu)于Case 2中使用1層殘差結(jié)構(gòu)的基礎(chǔ)模塊,Case 3中增加了殘差結(jié)構(gòu)層數(shù),網(wǎng)絡(luò)深度加深,分割結(jié)果隨之提高.Case 4中上下采樣均使用本文所提出的多尺度殘差結(jié)構(gòu),特征感受野更為豐富,采用先降維后升維的方式能夠降低計(jì)算量,且注意力機(jī)制能自適應(yīng)調(diào)整通道特征權(quán)值,實(shí)驗(yàn)證明使用該模塊具有更高的分割精度.Case 5對(duì)網(wǎng)絡(luò)中堆疊殘差單元層數(shù)做對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果所示,采用1層殘差單元作為基礎(chǔ)模塊有更高的分割精度,而增加至2層其參數(shù)量增大過(guò)多,不宜于網(wǎng)絡(luò)的訓(xùn)練,且分割精度明顯下降,故3層以上堆疊層數(shù)不做實(shí)驗(yàn).

表2 網(wǎng)絡(luò)引入不同基礎(chǔ)模塊結(jié)構(gòu)的結(jié)果對(duì)比

為了驗(yàn)證殘差模塊與注意力機(jī)制的組合能提高模型精度,實(shí)驗(yàn)對(duì)各模塊進(jìn)行消融實(shí)驗(yàn).實(shí)驗(yàn)結(jié)果如表3所示,為網(wǎng)絡(luò)各模塊的不同組合對(duì)性能的影響.

如表3所示,以原始U-Net卷積-反卷積結(jié)構(gòu)作為基礎(chǔ)架構(gòu)并使用上文所提出的殘差模塊替換原始卷積模塊可以提供更多地細(xì)節(jié)信息,對(duì)于低對(duì)比度邊緣分割有所提高,其分割精度更高.模型添加注意力機(jī)制后,Dice系數(shù)升高,且IOU系數(shù)升高,證明其增強(qiáng)了模型的分割能力.本文將殘差模塊與注意力機(jī)制疊加引入U(xiǎn)-Net,改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)使得該模型在脊柱CT分割任務(wù)所得的Dice系數(shù)比原始U-Net的分割更高,分割效果更接近于標(biāo)簽的真實(shí)值.

表3 模型Dice系數(shù)表

4 結(jié)論與展望

本文提出了一種基于卷積-反卷積結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型,用于脊柱CT圖像的全自動(dòng)分割.該網(wǎng)絡(luò)以UNet結(jié)構(gòu)為基本框架,引入分層殘差連接的卷積模塊及通道注意力機(jī)制,加強(qiáng)特征的傳播,增強(qiáng)圖像細(xì)節(jié)信息的分割效果.其特點(diǎn)在于采用了多尺度感受野融合的殘差結(jié)構(gòu)替代傳統(tǒng)卷積模塊逐層提取圖像中目標(biāo)區(qū)域特征,通過(guò)殘差學(xué)習(xí)進(jìn)一步細(xì)化了分割效果; 并在特征融合后引入注意力機(jī)制加強(qiáng)了目標(biāo)區(qū)域的權(quán)重,緩解了CT圖像各組織結(jié)構(gòu)對(duì)比度低、邊界輪廓模糊等問(wèn)題對(duì)分割模型造成的干擾,提高了模型的魯棒性.

本文所提網(wǎng)絡(luò)結(jié)構(gòu)對(duì)CT圖像脊柱分割具有較高的分割精度和分割效率,但從實(shí)驗(yàn)結(jié)果中可發(fā)現(xiàn)網(wǎng)絡(luò)設(shè)計(jì)仍有不足之處,例如對(duì)于脊柱與其下聯(lián)胯骨存在誤分割的情況,這也是下一步研究需要關(guān)注的重點(diǎn).