基于Non-local的腰椎間盤(pán)突出患者多裂肌分割方法

李 夏 ,胡 巍 ,王子民

(1.桂林電子科技大學(xué) 計(jì)算機(jī)與信息安全學(xué)院,廣西 桂林 541004;2.桂林市人民醫(yī)院 脊柱骨病外科,廣西 桂林 541004)

腰椎間盤(pán)突出癥(lumbar disc herniation,簡(jiǎn)稱LDH)是臨床上常見(jiàn)的腰腿痛疾病。影像學(xué)研究表明[1-2]:慢性腰痛患者多裂肌的厚度和橫截面積明顯減少,多裂肌的脂肪含量明顯高于無(wú)腰痛的患者;慢性腰痛患者有多裂肌萎縮的情況,多裂肌的萎縮程度與病程和疼痛相關(guān)[2-3]。由于磁共振(magnetic resonance imaging,簡(jiǎn)稱MRI)圖像的對(duì)比度低,脊柱和周圍結(jié)構(gòu)之間的界限不清楚,圖像數(shù)據(jù)的爆炸性增長(zhǎng)等原因,人工閱片的缺點(diǎn)也逐漸顯現(xiàn)。因此,使用計(jì)算機(jī)自動(dòng)識(shí)別多裂肌的病變部位,即多裂肌脂肪浸潤(rùn)部位,輔助LDH 分析尤為重要。

傳統(tǒng)的圖像分割方法包括閾值法[4-5]、區(qū)域生長(zhǎng)分割算法[6-7]和基于活動(dòng)輪廓的分割算法[8]等。但隨著處理圖像數(shù)量的增加,分割耗時(shí)長(zhǎng),且易出現(xiàn)分割不足或分割過(guò)度的情況。

隨著計(jì)算機(jī)技術(shù)和人工智能技術(shù)的發(fā)展,醫(yī)學(xué)圖像處理方面出現(xiàn)了許多新的研究成果。2015 年,Long等[9]提出了用于圖像分割的全卷積網(wǎng)絡(luò)(fully convolutional network,簡(jiǎn)稱FCN),該網(wǎng)絡(luò)用卷積層替換全連接層,并使用上采樣操作恢復(fù)圖像的維度。Ronneberger等[10]提出了采用編碼器-解碼器結(jié)構(gòu)的U-Net,還提出了跳躍連接,通過(guò)上采樣的特征映射連接到相應(yīng)的編碼器部分,用于語(yǔ)義信息的傳遞。Milletari等[11]提出了適用于三維圖像分割的V-Net網(wǎng)絡(luò),通過(guò)引入殘差結(jié)構(gòu)來(lái)避免梯度消失,加速網(wǎng)絡(luò)收斂。Zhou等[12]提出了U-Net++網(wǎng)絡(luò),將1到4層的U-Net全部連接在一起,讓網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)不同深度的特征。申亮亮等[13]提出了基于SOM-FCM 的腦腫瘤圖像分割算法。Tang等[14]開(kāi)發(fā)了一種雙重緊密連接的U 形神經(jīng)網(wǎng)絡(luò),對(duì)CT圖像中的椎管、硬膜囊和椎體進(jìn)行分割,以幫助診斷腰椎管狹窄癥。Kafri等[15]通過(guò)SegNet網(wǎng)絡(luò)對(duì)腰椎MRI進(jìn)行語(yǔ)義分割來(lái)檢測(cè)腰椎管狹窄。DCSAU-Net[16]是用于醫(yī)學(xué)圖像分割的更深層次、更緊湊的分裂注意力U 型網(wǎng)絡(luò)。吳相遠(yuǎn)等[17]提出了一種基于U-Net++的脊椎MRI圖像分割方法。上述方法解決了細(xì)節(jié)分割的問(wèn)題,但在分割過(guò)程中出現(xiàn)了不同層次的圖片特征融合問(wèn)題。Gu等[18]提出了CE-Net網(wǎng)絡(luò),該網(wǎng)絡(luò)用ResNet[19]作為特征提取器,引入了密集空洞卷積和殘差多尺度池化幫助融合信息,有效提高了分割效果。MA-Unet[20]是一種基于多尺度和注意力機(jī)制的醫(yī)學(xué)圖像分割方法,通過(guò)注意力機(jī)制將局部特征與其相應(yīng)的全局依賴性相結(jié)合,從而挖掘全局上下文信息。Su等[21]提出了用于醫(yī)學(xué)圖像分割的多尺度UNet(MSU-Net),該網(wǎng)絡(luò)對(duì)U-Net網(wǎng)絡(luò)的卷積塊進(jìn)行了調(diào)整,將多個(gè)具有不同感受野的卷積序列組成多尺度塊,使網(wǎng)絡(luò)從圖像中獲取更多樣化的特征信息和更好的特征圖。Sinha等[22]使用引導(dǎo)式的自注意力機(jī)制來(lái)獲取更豐富的上下文依賴關(guān)系,該方法能夠?qū)⒕植刻卣髋c其對(duì)應(yīng)的全局特征結(jié)合起來(lái),并以自適應(yīng)的方式顯示相互依賴的通道映射。基于U-Net[23]的網(wǎng)絡(luò)的連續(xù)池化和卷積會(huì)降低圖像的分辨率,導(dǎo)致部分空間信息丟失,難以提取更多的特征,從而導(dǎo)致分割精確度較低。

1 本方法

基于Non-local的腰椎間盤(pán)突出患者多裂肌分割方法的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。首先以U-Net網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò)并進(jìn)行修改,網(wǎng)絡(luò)的編碼器由4個(gè)混合池化卷積組成,在網(wǎng)絡(luò)的中間部署了一個(gè)由2個(gè)級(jí)聯(lián)卷積組成的卷積模塊。解碼器由4個(gè)卷積模塊組成,每個(gè)模塊由Non-local模塊和一個(gè)3×3的卷積構(gòu)成。

圖1 基于Non-local的腰椎間盤(pán)突出患者多裂肌分割方法的網(wǎng)絡(luò)結(jié)構(gòu)

1.1 混合池化卷積模塊

由于連續(xù)的下采樣操作會(huì)降低特征圖的分辨率,同時(shí)也會(huì)降低全局特征與局部特征間的相關(guān)性。為了提高全局特征與局部特征間的相關(guān)性,構(gòu)造了混合池化卷積模塊(hybrid pooling convolution,簡(jiǎn)稱HPC)來(lái)代替?zhèn)鹘y(tǒng)的卷積模塊。編碼器部分由4個(gè)混合池化卷積模塊組成。混合池化卷積模塊由1個(gè)卷積模塊和2個(gè)并行的下采樣分支組成,如圖2所示。首先,輸入圖經(jīng)過(guò)2個(gè)卷積層,然后輸入2個(gè)下采樣分支。在第1個(gè)下采樣分支中,將特征圖輸入2×2的平均池化層(average pooling),再經(jīng)過(guò)2個(gè)卷積層的處理,將特征圖再次輸入2×2的平均池化層。在另一個(gè)下采樣分支中,首先經(jīng)過(guò)2×2的最大池化層(max pooling),再經(jīng)過(guò)2個(gè)卷積層的處理,將特征圖再次輸入2×2的最大池化層。最后,將通過(guò)2個(gè)下采樣分支得到的特征圖進(jìn)行合并,作為下一階段的輸入。下采樣操作可降低圖像分辨率,并保留圖像重要信息,但池化操作在提取圖像特征的同時(shí)也會(huì)丟失部分特征。平均池化可保留背景信息,最大池化可提取特征紋理,將2個(gè)下采樣分支得到的特征圖進(jìn)行融合,可保留更多信息,減少空間信息的丟失,增強(qiáng)了網(wǎng)絡(luò)提取特征的能力。

圖2 混合池化卷積模塊

1.2 Non-local模塊

Non-local[24]的基本思想是某像素點(diǎn)處的響應(yīng)是其他所有點(diǎn)處的特征權(quán)重和,將每個(gè)點(diǎn)與其他所有點(diǎn)相關(guān)聯(lián),最終實(shí)現(xiàn)每個(gè)像素的全局感受野。其結(jié)構(gòu)如圖3所示。第一步,輸入特征圖為C×H×W,C是特征圖的通道數(shù),H是特征圖的高,W是特征圖的寬。特征圖分別經(jīng)過(guò)3個(gè)1×1卷積核,將通道縮減為C/2,得到C/2×HW。第二步,將第2個(gè)分支矩陣進(jìn)行轉(zhuǎn)置得到HW ×C/2,與第3個(gè)分支得到的結(jié)果C/2×HW進(jìn)行矩陣乘法,得到HW×HW的矩陣,然后經(jīng)過(guò)softmax進(jìn)行歸一化。第三步,將歸一化得到的結(jié)果與第一分支的矩陣C/2×HW進(jìn)行矩陣相乘,得到C/2×HW的結(jié)果。第四步,對(duì)矩陣C/2×HW再使用一個(gè)1×1卷積核,將通道恢復(fù)為原來(lái)的C,得到C×H×W的特征圖,它與輸入特征圖形狀一致。最后,將兩者進(jìn)行相加。

圖3 Non-local模塊

1.3 損失函數(shù)

損失函數(shù)為Dice Loss,其計(jì)算式為

其中:pi為預(yù)測(cè)分割的第i個(gè)像素;gi為ground truth的第i個(gè)像素。

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)集

通過(guò)收集醫(yī)院腰椎間盤(pán)突出患者的腰椎MRI圖像得到原始數(shù)據(jù)集。該數(shù)據(jù)集包含311名腰間盤(pán)突出患者的腰椎MRI圖像,突出的腰間盤(pán)位于L4～L5腰椎區(qū)域。由于圖像來(lái)自不同時(shí)期和不同設(shè)備,數(shù)據(jù)不一致,需對(duì)圖像做預(yù)處理操作。第一步,將所有圖像的分辨率統(tǒng)一為224像素×224像素;第二步,為了使實(shí)驗(yàn)中使用的數(shù)據(jù)更可靠,刪除模糊不清的圖像;第三步,由于患者在拍攝過(guò)程中的不規(guī)則運(yùn)動(dòng)會(huì)導(dǎo)致圖像模糊,圖像中出現(xiàn)較多的噪聲干擾,通過(guò)高斯濾波器減少圖像噪聲;第四步,多裂肌和周圍肌肉的灰度值相差較小,對(duì)圖像進(jìn)行自適應(yīng)直方圖均衡化,增強(qiáng)圖像的對(duì)比度,使分割更易于觀察;第五步,通過(guò)鏡像和旋轉(zhuǎn)圖像,得到含有1 244張圖像的數(shù)據(jù)集,其中984張用于訓(xùn)練,108張用于驗(yàn)證,152張用于測(cè)試。原始圖像與預(yù)處理后的圖像如圖4所示。

圖4 原始圖像與預(yù)處理后的圖像

2.2 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)的程序基于Pytorch框架實(shí)現(xiàn),操作系統(tǒng)為Ubuntu 16.04 64。優(yōu)化器為Adam,初始學(xué)習(xí)率為1×10-3,總計(jì)訓(xùn)練120個(gè)epoch。

以在脊柱多裂肌數(shù)據(jù)集測(cè)試集上的分割結(jié)果作為評(píng)價(jià)標(biāo)準(zhǔn)。為了評(píng)估不同方法的分割性能,采用的評(píng)價(jià)指標(biāo)為Dice系數(shù)(dice similariy coefficient,簡(jiǎn)稱DSC)、JAC card index(JAC)和Hausdorff distance(HD)。DSC 用來(lái)衡量重疊程度,HD 代表ground truth與分割邊界之間所有最小距離的最大距離。DSC和JAC值越大,網(wǎng)絡(luò)性能越好;HD值越小,網(wǎng)絡(luò)性能越好。

1) DSC的計(jì)算式為

2) JAC與DSC的關(guān)系為

3) HD的計(jì)算式為

其中:p為預(yù)測(cè)分割的像素集;g為ground truth的像素集。

2.3 實(shí)驗(yàn)結(jié)果與分析

將本方法與其他方法進(jìn)行對(duì)比分析,可視化結(jié)果如圖5所示。從圖5可看出,本方法的分割精度優(yōu)于大多數(shù)現(xiàn)有方法。

圖5 本方法與其他方法的可視化結(jié)果對(duì)比

表1為本方法與其他方法的對(duì)比結(jié)果,相較于U-Net[10],本方法在DSC上提升9.5%,在JAC上提升了11.3%,在HD 下降了74.6%。相較于CENet[18],本方法在DSC上提升11.4%,在JAC上提升了13.7%,在HD 下降了71.8%。相較于MSUNet[21],本方法在DSC上提升2.2%,在JAC上提升了2.1%,在HD下降了34.8%。實(shí)驗(yàn)結(jié)果說(shuō)明,文中的分割精度優(yōu)于大多數(shù)現(xiàn)有方法。

表1 本方法與其他方法的對(duì)比結(jié)果

第二組實(shí)驗(yàn)是針對(duì)各模塊對(duì)實(shí)驗(yàn)的影響分析,實(shí)驗(yàn)結(jié)果如表2所示。實(shí)驗(yàn)數(shù)據(jù)表明,在編碼器-解碼器中分別引入混合池化卷積模塊(hybrid pooling convolution,簡(jiǎn)稱HPC)和Non-local模塊,可以提高網(wǎng)絡(luò)的性能。

表2 各模塊對(duì)實(shí)驗(yàn)的影響

3 結(jié)束語(yǔ)

提出了基于Non-local的腰椎間盤(pán)突出患者多裂肌分割方法。一方面,將通過(guò)混合池化卷積得到的特征圖進(jìn)行融合,可以保留更多的信息,增強(qiáng)了網(wǎng)絡(luò)提取特征的能力;另一方面,Non-local模塊將每個(gè)點(diǎn)與其他所有點(diǎn)相關(guān)聯(lián),最終實(shí)現(xiàn)每個(gè)像素的全局感受野。本方法優(yōu)于現(xiàn)有的大部分網(wǎng)絡(luò)框架,同時(shí)在分割可視化的結(jié)果上,本方法的分割精度優(yōu)于大多數(shù)現(xiàn)有方法。