基于光流場(chǎng)與語(yǔ)義特征融合的心臟Cine-MRI左心室心肌分割方法①

閆景瑞, 姚發(fā)展, 王麗會(huì)

(貴州大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 貴州省智能醫(yī)學(xué)影像分析與精準(zhǔn)診斷重點(diǎn)實(shí)驗(yàn)室, 貴陽(yáng) 550025)

當(dāng)前, 心血管疾病的致死率仍然遠(yuǎn)遠(yuǎn)高于其他疾病, 且有著逐年上升的趨勢(shì)[1,2]. 心臟快速磁共振成像(Cine-MRI)是一種非侵入式醫(yī)學(xué)成像技術(shù), 被廣泛用于活體心臟疾病檢測(cè)[3]. 在臨床診斷中, 其結(jié)果往往受心臟Cine-MRI圖像分割精度的影響. 在心臟Cine-MRI圖像中, 由于各部位對(duì)比度不明顯, 且會(huì)受到其他組織結(jié)構(gòu)和噪聲的影響, 對(duì)其進(jìn)行精確地分割難度較大. 目前, 心臟Cine-MRI圖像分割仍依賴于專業(yè)醫(yī)師的手動(dòng)勾畫(huà)區(qū)域, 臨床效率較低.

隨著計(jì)算機(jī)技術(shù)的發(fā)展, 國(guó)內(nèi)外涌現(xiàn)出了大量的醫(yī)學(xué)圖像分割技術(shù). 傳統(tǒng)分割方法主要基于統(tǒng)計(jì)模型[4]和圖譜法[5]針對(duì)邊緣和區(qū)域進(jìn)行分割, 算法效果的好壞較大程度的依賴于建模的先驗(yàn)和數(shù)據(jù)質(zhì)量, 在一些對(duì)比度不高、邊緣模糊的圖像上較難得到較好的效果.近年來(lái), 深度學(xué)習(xí)技術(shù)快速發(fā)展, 利用深度學(xué)習(xí)方法研究醫(yī)學(xué)圖像分割逐漸成為主流. 2015年, Long 等人提出了全卷積神經(jīng)網(wǎng)絡(luò)分割模型(FCN)[6], 其使用了反卷積和不同層次的跳躍連接, 實(shí)現(xiàn)了圖像像素級(jí)別的精確分割. 而U-Net[7]作者提出在不同尺度上提取更加豐富的特征, 并融合多尺度特征, 大大提高了分割性能.以U-Net作為基礎(chǔ)框架, U-Net++[8]以及其他改進(jìn)網(wǎng)絡(luò)[9-13]相繼被提出, 并取得了較好的分割結(jié)果. DeepLab v3+[14]創(chuàng)新性地將深度可分離卷積應(yīng)用于解碼器模塊,進(jìn)一步提升了語(yǔ)義分割的速度和準(zhǔn)確性. 然而, 在活體心臟圖像數(shù)據(jù)中, 存在大量的因心臟跳動(dòng)所導(dǎo)致的模糊, 尤其是左心室的心內(nèi)膜(LV)與心肌(MYO)的邊緣, 這些邊緣細(xì)節(jié)在靜態(tài)圖像上是存在一定程度的損失的, 直接使用現(xiàn)有分割網(wǎng)絡(luò)模型對(duì)原始圖像數(shù)據(jù)進(jìn)行分割, 很難準(zhǔn)確捕捉到輪廓信息. 為了解決這一問(wèn)題,本文提出了光流場(chǎng)與語(yǔ)義特征融合分割網(wǎng)絡(luò)(OSFNet),利用心臟運(yùn)動(dòng)特征增補(bǔ)靜態(tài)圖像丟失的細(xì)節(jié)信息, 同時(shí)結(jié)合語(yǔ)義特征實(shí)現(xiàn)高精度的活體心臟MRI圖像分割方法.

1 模型方法

本文提出的基于光流場(chǎng)與語(yǔ)義特征融合的心臟分割模型主要包括兩個(gè)部分: 光流場(chǎng)計(jì)算心臟運(yùn)動(dòng)特征和深度卷積神經(jīng)網(wǎng)絡(luò)提取心臟語(yǔ)義特征. 下面對(duì)其原理進(jìn)行詳細(xì)的闡述.

1.1 光流場(chǎng)提取心臟運(yùn)動(dòng)特征

光流是指圖像中各像素點(diǎn)隨時(shí)間的運(yùn)動(dòng)情況, 結(jié)合時(shí)間域上像素的變化和相鄰幀之間的相關(guān)性確定兩個(gè)連續(xù)圖像的運(yùn)動(dòng)信息[15]. 目前, 光流已被應(yīng)用于運(yùn)動(dòng)分割和動(dòng)作識(shí)別的任務(wù)中. 在采集心臟MRI圖像時(shí),由于心臟的舒張和運(yùn)動(dòng)會(huì)造成圖像偽影, 利用目前的分割方法, 不能準(zhǔn)確的計(jì)算出心臟組織輪廓邊緣. 本文提出通過(guò)將光流場(chǎng)作為先驗(yàn)信息以提升模型的分割能力. 光流方法主要分為兩類: 稀疏光流對(duì)圖像局部像素點(diǎn)進(jìn)行分析; 稠密光流追蹤圖像所有像素點(diǎn)的運(yùn)動(dòng)變化[16,17]. 要對(duì)心臟進(jìn)行精準(zhǔn)分割, 需要覆蓋所有像素信息, 以保證包含所有區(qū)域運(yùn)動(dòng)特征. 因此, 本文采用稠密光流方法提取心臟運(yùn)動(dòng)特征. 稠密光流方法包括Gunnar Farneback[18]、Horn-Schunck[19]等傳統(tǒng)算法和FlowNet[20]等深度學(xué)習(xí)算法. Horn-Schunck算法假設(shè)鄰域的像素點(diǎn)運(yùn)動(dòng)速度相近, 光流場(chǎng)具有平滑性, 只有在圖像邊界才會(huì)出現(xiàn)光流突變, 邊界敏感這一特性將有利于分割任務(wù). 因此, 本文使用Horn-Schunck光流法提取心臟運(yùn)動(dòng)特征.

Horn-Schunck光流法參考光照守恒假設(shè), 相鄰時(shí)刻亮度變化表示為:

因此, 光流約束方程可以表示為:

其中, ω =(u,v)T為 速度場(chǎng), Ix,Iy,It為圖像梯度, u ,v分別為水平方向與垂直方向光流值. 光流法的求解等價(jià)于求光流分量的最優(yōu)化問(wèn)題, 目標(biāo)函數(shù)由光流約束和正則化系數(shù)為λ 的平滑約束組成, 能量損失函數(shù)定義如下:

根據(jù)歐拉-拉格朗日方程(Euler-Lagrange equation)計(jì)算 E (u,v)泛函極值條件, 可得約束方程為:

其中, Δ是拉普拉斯算子, 計(jì)算時(shí)使用離散近似形式:Δu≈-u,Δv≈-v, 代入式中, 可計(jì)算出光流場(chǎng)迭代公式為:

據(jù)此, 使用迭代式(5)可計(jì)算心臟的運(yùn)動(dòng)特征. 算法1具體描述了光流場(chǎng)的計(jì)算過(guò)程.

算法1. 光流法基本求解過(guò)程λ 1) 讀取相鄰時(shí)刻心臟圖像, 初始化權(quán)重系數(shù);u=v=0 2) 初始化水平和垂直光流值 ;Ix,Iy,It 3) 計(jì)算圖像梯度 ;u,v,u,v 4) 根據(jù)光流場(chǎng)迭代式(5)更新 ;5) 返回第3)步, 直至迭代次數(shù)達(dá)到100次;u,v 6) 輸出速度場(chǎng) .

1.2 光流場(chǎng)與語(yǔ)義特征融合分割網(wǎng)絡(luò)

本文提出的光流場(chǎng)與語(yǔ)義特征融合分割網(wǎng)絡(luò)主要由編碼器和解碼器兩部分構(gòu)成. 光流場(chǎng)計(jì)算出的心臟運(yùn)動(dòng)特征與t時(shí)刻圖像分別利用兩個(gè)連續(xù)的卷積層提取對(duì)應(yīng)特征, 融合兩種特征并將其作為編碼器的輸入.編碼器主要用于進(jìn)一步融合光流運(yùn)動(dòng)特征和提取的心臟圖像的紋理特征. 網(wǎng)絡(luò)模型由5個(gè)基本卷積塊構(gòu)成,其中每個(gè)基本卷積塊包含兩層卷積操作、批標(biāo)準(zhǔn)化(batch normalization)和ReLU激活函數(shù), 卷積核大小為3×3. 如圖1所示, 每個(gè)基本卷積塊后緊跟一個(gè)池化層. 其在提取高頻語(yǔ)義特征的同時(shí), 通過(guò)逐步縮小圖像尺寸來(lái)減少網(wǎng)絡(luò)參數(shù)數(shù)量. 值得注意的是, 池化操作無(wú)法避免特征信息的丟失, 導(dǎo)致數(shù)次池化操作后, 特征丟失會(huì)越來(lái)越多. 因此, 針對(duì)這個(gè)問(wèn)題, 本文設(shè)計(jì)了多感受野平均池化模塊. 該模塊將大尺度池化操作分解為卷積與小尺度池化的組合, 主要包括3條路徑: 第1條路徑使用7×7大小的卷積核對(duì)圖像進(jìn)行下采樣, 連接3×3大小的卷積和池化; 第2條路徑使用3×3大小的卷積核對(duì)圖像進(jìn)行下采樣, 再連接3×3大小的池化;第3條路徑直接使用6×6的池化層. 在實(shí)際訓(xùn)練中, 本文使用7×1和1×7的非對(duì)稱卷積代替7×7卷積, 增加網(wǎng)絡(luò)寬度的同時(shí)可以減少網(wǎng)絡(luò)參數(shù). 多感受野平均池化模塊可以有效提取多尺度語(yǔ)義特征, 減少了特征丟失.

圖1 光流場(chǎng)與語(yǔ)義特征融合分割網(wǎng)絡(luò)

在解碼器階段, 分別將編碼器最后3個(gè)卷積塊生成的語(yǔ)義特征結(jié)果進(jìn)行上采樣恢復(fù), 并連接卷積塊進(jìn)一步提取特征, 形成了3條解碼路徑, 最后將恢復(fù)到原圖大小的特征圖進(jìn)行融合, 再經(jīng)Softmax層進(jìn)行像素分類, 以實(shí)現(xiàn)分割的目的. 三路上采樣操作對(duì)不同尺度的抽象特征進(jìn)行恢復(fù), 由編碼器最后一個(gè)卷積塊生成的最小尺度特征所構(gòu)成的上采樣路徑中, 使用了跳躍連接的方式融合了編碼器階段所產(chǎn)生的相同大小的特征, 盡可能的保留了圖像原始特征. 解碼器階段中所有的卷積層都使用3×3的卷積核.

2 模型的訓(xùn)練與評(píng)價(jià)

2.1 數(shù)據(jù)集

本文所使用的數(shù)據(jù)是由法國(guó)第戎大學(xué)醫(yī)院提供的ACDC (automated cardiac diagnosis challenge)公開(kāi)數(shù)據(jù)集, 包含上百個(gè)心臟Cine MRI. 該數(shù)據(jù)集還包含左心室和右心室舒張末期(end diastole, ED)和收縮末期(end systole, ES)圖像, 每個(gè)個(gè)體數(shù)據(jù)都有對(duì)應(yīng)的由專家手動(dòng)勾畫(huà)的標(biāo)簽. 本實(shí)驗(yàn)首先篩選掉了所有不包括左心室的切片, 此外, 由于數(shù)據(jù)集中不同個(gè)體的圖像分辨率大小存在一定差異, 為了方便網(wǎng)絡(luò)進(jìn)行訓(xùn)練, 對(duì)圖像進(jìn)行中心裁剪得到了128×128分辨率的圖像并進(jìn)行灰度值歸一化. 數(shù)據(jù)集中符合實(shí)驗(yàn)要求的一共100例心臟MRI圖像, 以4:1的比例將數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集.

2.2 實(shí)驗(yàn)設(shè)置

本文基于TensorFlow框架對(duì)模型進(jìn)行編碼實(shí)現(xiàn).對(duì)于模型訓(xùn)練參數(shù): batch size設(shè)置為8, 初始學(xué)習(xí)率設(shè)置為0.001, 學(xué)習(xí)率隨著網(wǎng)絡(luò)訓(xùn)練次數(shù)的增加逐漸減小,實(shí)驗(yàn)epochs設(shè)置為400, 網(wǎng)絡(luò)使用隨機(jī)梯度下降算法(SGD)對(duì)模型進(jìn)行優(yōu)化. 本文使用Dice Loss作為網(wǎng)絡(luò)的損失函數(shù), 并使用系數(shù)為0.000 1的L2正則化約束參數(shù)權(quán)重.

本文的對(duì)比實(shí)驗(yàn)設(shè)計(jì)為: 首先, 使用U-Net和Dense-Net標(biāo)準(zhǔn)模型、加入光流場(chǎng)的U-Net-Flow、DenseNet-Flow、本文提出的OSFNet以及其去除光流場(chǎng)計(jì)算和多感受野平均池化的Basenet對(duì)左心室內(nèi)膜進(jìn)行分割,以驗(yàn)證光流場(chǎng)計(jì)算方法對(duì)模型分割性能的影響. 其次,以Basenet為基礎(chǔ), 分別加入多感受野平均池化模塊(Basenet-m), 光流場(chǎng)計(jì)算模塊(Basenet-Flow), 分別利用Basenet、Basenet-m和Basenet-Flow、OSFNet模型對(duì)左心室內(nèi)膜與心肌進(jìn)行分割, 驗(yàn)證本文設(shè)計(jì)的不同模塊的有效性.

目前的實(shí)驗(yàn)臺(tái)為掛件式，學(xué)生在設(shè)計(jì)實(shí)驗(yàn)時(shí)同時(shí)需要選出所需掛件，配合實(shí)驗(yàn)臺(tái)上的通用模塊（電源模塊、測(cè)量模塊等），完成一個(gè)完整的實(shí)驗(yàn)過(guò)程。

2.3 評(píng)價(jià)指標(biāo)與定量分析

本文使用Dice系數(shù)、Hausdorff距離(HD)、Jaccard相似性系數(shù)(JSC)、F1-score定量評(píng)價(jià)分割結(jié)果. Dice系數(shù)是一種集合相似度度量指標(biāo), 本文通過(guò)計(jì)算預(yù)測(cè)樣本與真實(shí)樣本的Dice值, 以評(píng)價(jià)分割效果, Dice系數(shù)的定義如下:

其中, X表示預(yù)測(cè)結(jié)果, Y表示真實(shí)分割標(biāo)簽, TP表示正類樣本預(yù)測(cè)為正類的部分, FP表示負(fù)類樣本預(yù)測(cè)為正類的部分, FN表示正類樣本預(yù)測(cè)為負(fù)類的部分.Dice描述了樣本間重疊區(qū)域與非重疊區(qū)域的關(guān)系,Dice值越接近于1, 表示預(yù)測(cè)和真實(shí)之間相似程度越大, 模型分割效果越好.

F1-score是精確率(Precision)和召回率(Recall)的調(diào)和平均, 也是用來(lái)衡量分割精度的指標(biāo)之一, F1-score定義為:

召回率又稱靈敏度(Sensitivity), 靈敏度越高, 模型分割正確樣本的效果越好; F1-score越大, 分割結(jié)果越準(zhǔn)確.

Hausdorff距離對(duì)分割邊界敏感所以常被應(yīng)用于圖像分割任務(wù)中. HD是衡量?jī)山M點(diǎn)集之間匹配程度的一種度量, 本文使用此度量方法來(lái)評(píng)價(jià)分割輪廓的相似度, HD定義為:

其中, H (X,Y)表示預(yù)測(cè)結(jié)果與真實(shí)樣本之間的HD值,h(X,Y)為 單向HD, x ,y為 圖像X ,Y 上的點(diǎn), ‖ ·‖為點(diǎn)集間的距離范式. HD值越小, 表明模型分割的能力越好.

JSC是兩個(gè)有限樣本集相似性的一種度量, 與Dice不同, 它更關(guān)注集合間共同具有的特征是否相似.JSC定義為集合交集大小與并集大小的比值:

JSC衡量預(yù)測(cè)結(jié)果與真實(shí)標(biāo)簽的一致性, JSC值越大, 分割結(jié)果與真實(shí)標(biāo)簽越接近.

3 實(shí)驗(yàn)分析

本文分別以左心室內(nèi)膜分割和心肌分割的可視化結(jié)果與定量分析結(jié)果來(lái)闡述模型效果.

3.1 左心室內(nèi)膜分割結(jié)果分析

圖2為多種方法分割左心室內(nèi)膜輪廓可視化結(jié)果,紅色輪廓是模型預(yù)測(cè)結(jié)果, 綠色輪廓是真實(shí)標(biāo)記. 可以發(fā)現(xiàn), U-Net分割結(jié)果容易將心肌部分劃為左心室內(nèi)膜, 導(dǎo)致輪廓效果較其他方法差. DenseNet會(huì)將與左心室內(nèi)膜灰度值相近的乳突肌分割出來(lái), 造成異常值區(qū)域. DenseNet-Flow盡管融入了心臟的運(yùn)動(dòng)特征, 但對(duì)模型整體效果提升不大. Basenet相比于以上模型, 分割結(jié)果比較貼近真實(shí)標(biāo)記, 而加入光流場(chǎng)后的OSFNet,邊緣結(jié)果更加精確.

圖2 左心室輪廓分割結(jié)果

為了更直觀的體現(xiàn)本文方法在心臟分割任務(wù)上的性能優(yōu)勢(shì), 在Dice和HD等指標(biāo)上與常用模型進(jìn)行對(duì)比. 表1為多個(gè)方法在測(cè)試集上對(duì)ES和ED時(shí)刻進(jìn)行左心室內(nèi)膜分割的定量結(jié)果. U-Net和DenseNet在Dice值上相差不大, 整體分割精度一般, ES時(shí)刻的HD標(biāo)準(zhǔn)差較大, 魯棒性差; 在加入了光流計(jì)算方法后,分割精度有所提高且標(biāo)準(zhǔn)差降低, 在ED時(shí)刻精度提升尤為明顯, 可以看出在加入了光流場(chǎng)后, 加強(qiáng)了模型對(duì)左心室輪廓特征的學(xué)習(xí). 本文提出的OSFNet能準(zhǔn)確分割左心室內(nèi)膜, 在多個(gè)評(píng)價(jià)指標(biāo)上表現(xiàn)優(yōu)異, 在ES和ED時(shí)刻比U-Net、DenseNet的Dice值均提高了2至3個(gè)點(diǎn), 且標(biāo)準(zhǔn)差明顯更低. Dice和 HD箱形圖如圖3所示. 在圖3(a)中, U-Net-Flow比U-Net的箱長(zhǎng)更短, 數(shù)值更穩(wěn)定, 而DenseNet-Flow與DenseNet并無(wú)明顯差異, 這可能是因?yàn)槊芗B接和光流場(chǎng)的效果存在疊加, Basenet-Flow的ED時(shí)刻的數(shù)據(jù)分布偏上, 平均值點(diǎn)較其他方法高, 整體分割效果較優(yōu). 在圖3(b)中, DenseNet箱長(zhǎng)較長(zhǎng), 說(shuō)明整體數(shù)據(jù)分布廣, 模型表現(xiàn)不穩(wěn)定; 在加入了光流場(chǎng)后, 模型穩(wěn)定性顯著增強(qiáng).本文方法的中位線趨于下四分位, 數(shù)據(jù)分布整體靠下,異常值較多.

表1 多個(gè)方法在ES和ED時(shí)刻分割左心室內(nèi)膜的定量對(duì)比

圖3 多個(gè)方法在ES和ED時(shí)刻分割左心室的Dice和HD箱形圖

由于ES、ED時(shí)刻的心臟輪廓相對(duì)于運(yùn)動(dòng)過(guò)程中的時(shí)刻更為清晰, 為了進(jìn)一步說(shuō)明本文方法的效果,表2定量分析了整個(gè)時(shí)刻不同方法的分割性能結(jié)果,DenseNet和U-Net的Dice均為0.91, 在加入光流場(chǎng)后,Dice、HD和JSC均有所提升, 其中HD提升顯著. UNet-Flow靈敏度最高, 這說(shuō)明其前景分割準(zhǔn)度較高. 本文方法在Dice、HD、JSC和F1-score上都表現(xiàn)最好,尤其是F1-score的增幅較大, 這說(shuō)明OSFNet精度較高.圖4是表2數(shù)據(jù)的箱形圖, 其中DenseNet和DenseNet-Flow的箱形圖相比其他方法的上四分位線和下四分位線相距較長(zhǎng), 在JSC指標(biāo)上尤為明顯, 此外, Sensitivity指標(biāo)上還出現(xiàn)了較多離群值. U-Net-Flow在F1-score指標(biāo)上四分位線與下四分位線相距較遠(yuǎn), 且平均值最低, 說(shuō)明該方法的查準(zhǔn)率和查全率不穩(wěn)定. 通過(guò)本文方法分割得到的數(shù)據(jù)分布穩(wěn)定, 平均值和中位線都高于其他方法, 且離群點(diǎn)較少. 綜上, 本文的光流場(chǎng)方法可以加強(qiáng)模型的分割效果.

表2 多個(gè)方法分割左心室內(nèi)膜的整個(gè)時(shí)刻定量對(duì)比

圖4 多個(gè)方法在整個(gè)時(shí)刻分割左心室的定量箱形圖

3.2 左心室內(nèi)膜和心肌的分割結(jié)果分析

圖5展示了左心室內(nèi)膜和心肌的分割可視化結(jié)果,其中第一行為真實(shí)標(biāo)記數(shù)據(jù). 從圖中舒張時(shí)期最后一列可以觀察到, 由于左心室心腔內(nèi)含有與心肌區(qū)域相近的乳突肌, 因此心室中存在一些看似黑點(diǎn)的組織, 導(dǎo)致多個(gè)方法分割結(jié)果一般, 而OSFNet模型分割結(jié)果相較于其他方法邊緣更規(guī)則. 對(duì)于心臟收縮期, 左心室區(qū)域占整個(gè)圖像較小, 除了Basenet分割結(jié)果有異常值出現(xiàn), 其他改進(jìn)方法都與真實(shí)標(biāo)記輪廓相似.

圖5 左心室內(nèi)膜和心肌分割結(jié)果

本文進(jìn)一步比較不同方法的分割效果, 定量結(jié)果如表3所示, 與Basenet相比, Basenet-m在心臟ES時(shí)期的分割精度提升顯著, 證明加入了多感受野平均池化后獲取了更多邊界特征, 使得分割出的結(jié)果與實(shí)際標(biāo)記數(shù)據(jù)輪廓更加接近, Basenet-Flow不僅各項(xiàng)指標(biāo)都優(yōu)于Basenet, 且Dice值高于Basenet-m. OSFNet由于加入了光流場(chǎng)和多感受野平均池化, 在ES時(shí)刻多個(gè)指標(biāo)上都取得了最優(yōu)值, 其中在HD值上體現(xiàn)尤為明顯.圖6、圖7分別是Dice值和HD值的箱形圖. 在圖6中, 對(duì)于ED時(shí)刻的心肌分割, 各方法中位線高度相差不大, 但在ES時(shí)刻, 其他方法的箱型圖下限都比OSFNet長(zhǎng), 表明這幾種方法對(duì)部分個(gè)體差異化較大.并且無(wú)論對(duì)于內(nèi)膜還是心肌分割, OSFNet均沒(méi)有異常值. 在圖7中, Basenet相比于其他方法箱型圖要更長(zhǎng),中位線和平均值更高, 說(shuō)明加入了光流場(chǎng)和多感受野平均池化后, 模型對(duì)細(xì)節(jié)特征的敏感程度和模型的泛化性能得到了較好的提升.

圖6 ES和ED時(shí)刻分割左心室心肌的Dice箱形圖

圖7 ES和ED時(shí)刻分割左心室心肌的HD箱形圖

表3 在ES和ED時(shí)刻分割左心室內(nèi)膜和心肌的評(píng)價(jià)指標(biāo)對(duì)比

同樣, 為了評(píng)估模型在全時(shí)刻的分割效果, 本文在全時(shí)刻上進(jìn)行了消融, 結(jié)果如表4, 相比于Basenet,OSFNet在Dice、HD和JSC上均有顯著提升. 其中Basenet-Flow在多個(gè)指標(biāo)上的值優(yōu)于Basenet-m, 說(shuō)明運(yùn)動(dòng)特征與紋理特征的融合更能提升模型的分割性能. 由于心肌區(qū)域邊緣比內(nèi)膜輪廓大, 且不規(guī)則, 占比較小, 這導(dǎo)致分割心肌的精度普遍沒(méi)有左心室內(nèi)膜高, 而由于多感受野平均池化對(duì)輪廓大的目標(biāo)較為敏感, 所以Basenet-m在分割心肌上靈敏度獲得了最優(yōu)值. 圖8是表4對(duì)應(yīng)的箱形圖, 從圖中可觀察得到,OSFNet擁有最少的離群值, 多個(gè)指標(biāo)的上四分位線與下四分位線的距離比其他模型小, 說(shuō)明數(shù)據(jù)波動(dòng)范圍小, 模型穩(wěn)定性較好. 而B(niǎo)asenet-Flow和Basenet-m在LV的4個(gè)指標(biāo)上的中位線都相近, 但在MYO上Basenet-m比較高, 這也證明了多感受野平均池化對(duì)分割的作用.

表4 在整個(gè)時(shí)刻分割左心室內(nèi)膜和心肌的評(píng)價(jià)指標(biāo)對(duì)比

圖8 整個(gè)時(shí)刻分割左心室內(nèi)膜和心肌的定量箱形圖

4 結(jié)論與展望

實(shí)驗(yàn)結(jié)果表明, 本文提出的光流場(chǎng)與語(yǔ)義特征融合方法(OSFNet)在分割左心室內(nèi)膜和心肌的任務(wù)中具有出色表現(xiàn). 引入光流場(chǎng)后, 運(yùn)動(dòng)特征能夠?qū)π呐K數(shù)據(jù)的紋理特征進(jìn)行補(bǔ)充, 更有利于網(wǎng)絡(luò)學(xué)習(xí)其分割邊界. 進(jìn)一步的, 由于引入了多感受野池化結(jié)構(gòu), OSFNet能夠在更多尺度的特征空間搜索分割語(yǔ)義特征, 因此,本文提出的多感受野平均池化融合了多尺度局部和全局特征, 可以有效減少特征丟失, 且對(duì)大輪廓心肌比較敏感, 提升了分割性能, 同時(shí)還降低了網(wǎng)絡(luò)參數(shù). 然而,該方法目前還無(wú)法適用于多中心數(shù)據(jù), 不能應(yīng)用于臨床, 因此擴(kuò)大數(shù)據(jù)集并對(duì)模型進(jìn)行調(diào)優(yōu)將是未來(lái)的研究重點(diǎn).