多尺度監(jiān)督U-Net甲狀腺結(jié)節(jié)超聲圖像分割

周曉松，趙涓涓

(太原理工大學(xué) 信息與計(jì)算機(jī)學(xué)院，山西 晉中 030600)

甲狀腺結(jié)節(jié)是內(nèi)分泌科常見疾病之一，其影像特征呈現(xiàn)形態(tài)欠規(guī)則、邊界欠清晰、結(jié)節(jié)內(nèi)部不均勻的特性。截止到目前為止，全國(guó)大約有4%～7%的人患有明顯的感知性甲狀腺結(jié)節(jié)，19%～67%的群體在超聲檢查過程中易發(fā)現(xiàn)甲狀腺結(jié)節(jié)的跡象，雖然這些結(jié)節(jié)大多為良性結(jié)節(jié)[1-2]，但仍然對(duì)人體有極大的潛在危害。而惡性甲狀腺結(jié)節(jié)嚴(yán)重危害人體的健康，容易導(dǎo)致甲狀腺癌和其他甲狀腺相關(guān)癥狀的發(fā)生，因此甲狀腺結(jié)節(jié)的早篩查和早治療是提高治愈率的關(guān)鍵環(huán)節(jié)。在臨床試驗(yàn)中，醫(yī)師通常根據(jù)甲狀腺結(jié)節(jié)的形狀、鈣化和囊實(shí)性等特點(diǎn)來篩選和診斷甲狀腺結(jié)節(jié)的危害等級(jí)[3-4]。然而，現(xiàn)今的一些甲狀腺結(jié)節(jié)診斷方法是通過將甲狀腺超聲圖像和醫(yī)師的醫(yī)學(xué)經(jīng)驗(yàn)進(jìn)行結(jié)合，人工和物力成本都比較高且容易造成醫(yī)師診斷疲勞，同時(shí)由于不同的醫(yī)師對(duì)甲狀腺結(jié)節(jié)具有不同的認(rèn)知能力容易導(dǎo)致篩查結(jié)果差異較大的問題。此外，對(duì)于一些醫(yī)療條件較差的地區(qū)，還可能有漏診和誤診的風(fēng)險(xiǎn)。近些年來，隨著深度學(xué)習(xí)的飛速發(fā)展，計(jì)算機(jī)視覺與醫(yī)學(xué)領(lǐng)域的結(jié)合越來越密切，通過構(gòu)建神經(jīng)網(wǎng)絡(luò)訓(xùn)練醫(yī)學(xué)模型實(shí)現(xiàn)對(duì)甲狀腺結(jié)節(jié)的智能輔助篩查和診療可提高醫(yī)師診斷精度。針對(duì)甲狀腺結(jié)節(jié)早期癥狀的篩查是預(yù)防患病的最佳方法，利用計(jì)算機(jī)斷層掃描技術(shù)篩查甲狀腺結(jié)節(jié)是目前最常使用的早期疾病診斷方法，首先從甲狀腺結(jié)節(jié)超聲圖像分割出結(jié)節(jié)，然后根據(jù)結(jié)節(jié)的形狀、鈣化和囊實(shí)性等病理特點(diǎn)診斷結(jié)節(jié)的良惡性。因此，甲狀腺結(jié)節(jié)的病灶分割在甲狀腺輔助診斷過程中起著極其重要的作用。

目前，在對(duì)甲狀腺結(jié)節(jié)檢查檢測(cè)的過程中易受到回波擾動(dòng)和斑點(diǎn)噪聲的影響[5]，導(dǎo)致超聲圖像上的甲狀腺結(jié)節(jié)會(huì)呈現(xiàn)邊緣模糊、細(xì)節(jié)不清楚的問題，使得現(xiàn)有的分割方法難以實(shí)現(xiàn)甲狀腺結(jié)節(jié)的精細(xì)分割，出現(xiàn)分割區(qū)域誤判的問題。針對(duì)以上問題，本文旨在利用深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)對(duì)超聲圖像甲狀腺結(jié)節(jié)的精確分割，協(xié)助放射科醫(yī)師進(jìn)行診斷，避免誤診和漏診的現(xiàn)象發(fā)生。

1 相關(guān)工作

目前，研究人員提出了大量的圖像分割方法，基本上分為基于傳統(tǒng)算法和深度學(xué)習(xí)的兩類圖像分割方法。

1.1 傳統(tǒng)的圖像分割方法

傳統(tǒng)的圖像分割方法通常可以分為基于活動(dòng)輪廓模型的方法[6]和基于區(qū)域的方法。

基于活動(dòng)輪廓模型的方法其主要思想是預(yù)先設(shè)定甲狀腺結(jié)節(jié)的輪廓邊緣，然后再設(shè)計(jì)能量函數(shù)實(shí)現(xiàn)甲狀腺結(jié)節(jié)的邊緣處演化，從而實(shí)現(xiàn)甲狀腺結(jié)節(jié)的細(xì)化分割，其分割過程就是求解能量泛函最小值的過程。張晶[7]提出改進(jìn)邊界停止函數(shù)的DRLSE分割模型和結(jié)合局部信息改進(jìn)的CV分割模型，不僅降低了初始位置的敏感性，還增強(qiáng)了對(duì)邊緣模糊的甲狀腺超聲圖像的邊界檢測(cè)定位能力并且提高了灰度分布不均勻的甲狀腺結(jié)節(jié)超聲圖像分割結(jié)果的準(zhǔn)確性。王昕[8]提出一種結(jié)合高斯概率分布和局部方差變量的LIC模型用于分割甲狀腺結(jié)節(jié)超聲圖像中的病灶區(qū)域，該方法利用分水嶺算法獲得初始輪廓的方式，不僅提高了病灶區(qū)域的分割精度和模型訓(xùn)練速度，而且降低了傳統(tǒng)模型對(duì)初始輪廓的敏感性。但大部分基于活動(dòng)輪廓模型的方法通常需要設(shè)定初始輪廓，然而超聲圖像潛在的噪聲、斑點(diǎn)和低對(duì)比度的問題會(huì)干擾基于活動(dòng)輪廓模型方法的分割精度，因此急需一種新的方法用于實(shí)現(xiàn)超聲圖像的精細(xì)分割。

基于區(qū)域的分割方法更加關(guān)注區(qū)域特征的內(nèi)部相似性，該方法主要通過利用圖像內(nèi)部具有相似屬性的區(qū)域與其他區(qū)域的屬性差異進(jìn)行分割。LEIJA et al[9]采用了對(duì)比度受限的自適應(yīng)直方圖均衡化方法，提出了一種基于分水嶺的圖像分割算法，從而實(shí)現(xiàn)了乳腺超聲圖像的邊界提取。AARNINK et al[10]基于局部標(biāo)準(zhǔn)差在多分辨率框架下識(shí)別圖像中的均勻區(qū)域和非均勻區(qū)域進(jìn)而實(shí)現(xiàn)對(duì)目標(biāo)區(qū)域的分割。在大多數(shù)甲狀腺結(jié)節(jié)超聲圖像中，不同組織區(qū)域的灰度分布均不明顯，并且不同區(qū)域的灰度值的差異不大，需要預(yù)先了解形狀和位置才能進(jìn)行特定區(qū)域的分割。此外，甲狀腺結(jié)節(jié)特別是惡性結(jié)節(jié)通常存在不規(guī)則輪廓，導(dǎo)致目標(biāo)病灶區(qū)域與周圍的健康區(qū)域難以區(qū)分，因此基于區(qū)域的分割方法通常達(dá)不到理想的分割結(jié)果。

傳統(tǒng)的計(jì)算機(jī)輔助診斷方法通常先定位甲狀腺結(jié)節(jié)，然后再利用結(jié)節(jié)的邊緣和紋理等特征實(shí)現(xiàn)病灶區(qū)域的進(jìn)一步分割。但是由于光照不對(duì)稱、折射、散斑、聲學(xué)陰影、混響回波等外部環(huán)境的影響，導(dǎo)致甲狀腺超聲圖像在某些部位存在對(duì)比度低、模糊、嘈雜等特性，這些因素導(dǎo)致了傳統(tǒng)的分割方法并不適用于甲狀腺結(jié)節(jié)超聲圖像的精細(xì)分割。

1.2 基于深度學(xué)習(xí)的分割方法

與傳統(tǒng)的分割方法相比，基于深度學(xué)習(xí)的分割方法不需要手工制作的特征，而且卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)對(duì)圖像分層特征表示使其在醫(yī)學(xué)圖像分割領(lǐng)域具有非常優(yōu)異的適應(yīng)性。此外，用于特征學(xué)習(xí)的CNN對(duì)于圖像噪聲、模糊和對(duì)比度等內(nèi)在信息不敏感，這使基于深度學(xué)習(xí)的分割方法在對(duì)醫(yī)學(xué)圖像進(jìn)行分割的過程中取得較好的分割結(jié)果。文獻(xiàn)[11]介紹了大量的基于深度學(xué)習(xí)的醫(yī)學(xué)圖像分割方法，本文主要介紹了代表性較為突出的方法。

近年來，人們提出了許多基于卷積神經(jīng)網(wǎng)絡(luò)(CNNs)的分割方法[12-14]，并將其應(yīng)用于超聲圖像分割中，其分割效果優(yōu)于傳統(tǒng)方法。這些方法中大多都是基于編碼器-解碼器(encoder-decoder)的結(jié)構(gòu)，這種結(jié)構(gòu)是目前非常流行的端到端架構(gòu)之一，如全卷積神經(jīng)網(wǎng)絡(luò)(FCN)[15]、U-Net[16]、SegNet[17]、U-Net++[18]等模型。這些網(wǎng)絡(luò)通常采用編碼器用于提取圖像的特征信息，使用解碼器將提取的特征圖恢復(fù)到原始圖像的尺寸大小，并輸出最終的分割結(jié)果。在這一過程中，這些網(wǎng)絡(luò)通過設(shè)計(jì)不同的神經(jīng)網(wǎng)絡(luò)模塊實(shí)現(xiàn)不同尺度特征信息的聚合，通過采用高效的特征融合策略注重結(jié)合多尺度上下文信息，從而顯示出自己獨(dú)特的優(yōu)勢(shì)。雖然端到端結(jié)構(gòu)對(duì)于醫(yī)學(xué)圖像分割是非常實(shí)用的，但由于模型結(jié)果較為復(fù)雜，導(dǎo)致網(wǎng)絡(luò)靈活性更低，也降低了模型的可解釋性。RONNEBERGER et al[16]提出的U-Net網(wǎng)絡(luò)是第一個(gè)編解碼結(jié)構(gòu)，這一網(wǎng)絡(luò)已廣泛應(yīng)用于醫(yī)學(xué)圖像分割領(lǐng)域中，具體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 U-Net網(wǎng)絡(luò)結(jié)構(gòu)

與自然圖像的分割相比，醫(yī)學(xué)圖像通常帶有噪聲并且邊界較為模糊。因此，僅依靠圖像的底層特征很難對(duì)醫(yī)學(xué)圖像中的目標(biāo)進(jìn)行檢測(cè)和識(shí)別。同時(shí)，醫(yī)學(xué)圖像也缺乏細(xì)節(jié)信息，僅依靠圖像的語(yǔ)義信息也無法獲得準(zhǔn)確的邊界。U-Net解決了簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)圖像分割上的問題，它采用了對(duì)稱結(jié)構(gòu)和跳躍連接，有效地融合了低水平和高水平的圖像特征信息，為醫(yī)學(xué)圖像分割任務(wù)提供了完美的解決方案。目前，U-Net已成為大多數(shù)醫(yī)學(xué)圖像分割任務(wù)的基準(zhǔn)，并且激發(fā)出很多有意義的改進(jìn)。文獻(xiàn)[13]將甲狀腺結(jié)節(jié)分割作為一個(gè)塊分類任務(wù)，通過忽略塊與塊之間的關(guān)系，表明基于CNNs的模型能夠準(zhǔn)確有效地在甲狀腺超聲圖像中分割多個(gè)結(jié)節(jié)。ZHANG et al[19]提出了級(jí)聯(lián)UNet和CH-UNet，分別對(duì)甲狀腺結(jié)節(jié)進(jìn)行分割并實(shí)現(xiàn)良性和惡性結(jié)點(diǎn)的分類，取得了很好的效果。

在U-Net的基礎(chǔ)上，BADRINARAYANAN et al[17]在SegNet模型的解碼器階段，通過在最大池化過程中采用編碼器階段中的池化，有效提高了邊界輪廓的質(zhì)量，減少了模型的參數(shù)量。ZHOU et al[18]在提出的U-Net++中引入了一個(gè)非常密集的跨越連接編碼器網(wǎng)絡(luò)，通過刪除原來的跳躍連接并且將每?jī)蓚€(gè)相鄰的節(jié)點(diǎn)進(jìn)行連接，同時(shí)進(jìn)一步使用密集連接，設(shè)計(jì)了一個(gè)剪枝策略來加快模型的推理。然而，不論是簡(jiǎn)單的UNet、SegNet還是緊密嵌套的U-Net++模型都缺乏全面探索足夠特征信息的能力。

除了網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)，一些能夠有效提高網(wǎng)絡(luò)泛化性的部件也被加入到網(wǎng)絡(luò)模型中。文獻(xiàn)[20]提出了一種基于空洞空間卷積池化金字塔(atrous spatial pyramid pooling，ASPP)融合特征的甲狀腺結(jié)節(jié)超聲圖像分割模型算法，將空間金字塔池化和深度可分卷積相結(jié)合，解決了在更好地捕獲上下文信息的過程中映射特征的大小會(huì)發(fā)生變化的問題。ASPP可以進(jìn)一步提取多尺度信息，它主要包括以下幾個(gè)部分：1) 一個(gè)卷積核為1的卷積層和三個(gè)卷積核大小為3的卷積層，卷積核大小為3的卷積層采用不同大小的空洞率來保持特征圖維度；2) 與四個(gè)卷積層并行的一個(gè)全局池化層，來獲取原始圖像水平的特征圖，并使用雙線性插值恢復(fù)到原始相同尺寸的大小；3) 最終將(1)和(2)得到的特征整合為一個(gè)特征圖送入一個(gè)1×1卷積層中得到最終的結(jié)果。

文獻(xiàn)[21]提出了一個(gè)邊界感知上下文神經(jīng)網(wǎng)絡(luò)(BA-Net)用于二維醫(yī)學(xué)圖像分割，以獲取更豐富的上下文并保持良好的空間信息。該研究提出了一種新的交互注意機(jī)制，將兩個(gè)任務(wù)連接起來，實(shí)現(xiàn)不同任務(wù)之間的信息互補(bǔ)，有效地利用邊界信息為更好地分割預(yù)測(cè)提供了強(qiáng)有力的助力。總而言之，這些ASPP和注意力機(jī)制等部件在醫(yī)學(xué)圖像分割領(lǐng)域起到了輔助作用，對(duì)提高網(wǎng)絡(luò)模型的分割效果能夠起到正面的影響。注意力機(jī)制是一種非常有效的模塊，被廣泛應(yīng)用于許多模型中。該機(jī)制自動(dòng)獲取輸入通道中有用信息的權(quán)重，從而使用這些信息來提升模型的關(guān)注點(diǎn)并且抑制不相關(guān)信息。具體通道注意力如圖2所示。

圖2 通道注意力

在目前的研究中，UNet網(wǎng)絡(luò)仍然是許多研究的基礎(chǔ)架構(gòu)[22-24]，這是因?yàn)閁Net在小數(shù)據(jù)集上的分割有很好的效果。相比于UNet++等模型來說，UNet模型相對(duì)簡(jiǎn)單，容易在其基礎(chǔ)上進(jìn)行改進(jìn)，并且在模型訓(xùn)練的過程中不容易產(chǎn)生過擬合的現(xiàn)象。基于以上論述和超聲圖像的特點(diǎn)，本文提出了一種基于U-Net網(wǎng)絡(luò)模型用于甲狀腺結(jié)節(jié)超聲圖像分割，稱為MSA-UNet.該模型將U-Net模型作為主干網(wǎng)絡(luò)，設(shè)計(jì)出一種多尺度監(jiān)督策略，并將其加入到解碼器部分，然后結(jié)合改進(jìn)的ASPP部件來提升對(duì)不同結(jié)節(jié)的分割效果。此外，為了提高模型對(duì)結(jié)節(jié)的定位能力和甲狀腺結(jié)節(jié)的邊緣信息，在多尺度監(jiān)督部分加入了通道注意力。

2 本文方法

2.1 MSA-UNet網(wǎng)絡(luò)結(jié)構(gòu)

本文設(shè)計(jì)了一個(gè)多尺度監(jiān)督架構(gòu)用于分割二維超聲圖像中的甲狀腺結(jié)節(jié)。圖3顯示了本文提出的模型總體架構(gòu)。該模型基于UNet架構(gòu)進(jìn)行構(gòu)建，主要由三個(gè)模塊組成：解碼器、編碼器和多尺度監(jiān)督模塊。在解碼模塊中通過使用四組下采樣方法和卷積運(yùn)算用于生成四個(gè)不同尺度的語(yǔ)義特征映射，其中第四個(gè)特征映射通過改進(jìn)的空洞空間卷積池化金字塔(atrous spatial pyramid pooling，ASPP)模塊用于獲得更具表現(xiàn)力的特征信息，之后通過上采樣和跳躍連接用于恢復(fù)語(yǔ)義特征圖中的細(xì)節(jié)特征信息，并通過四個(gè)卷積層生成語(yǔ)義特征表示，生成大小為16×16×1、32×32×1、64×64×1、128×128×1、256×256×1的四個(gè)特征映射圖。同時(shí)，在每個(gè)卷積模塊之間有一個(gè)改進(jìn)的注意力模塊，該模塊實(shí)現(xiàn)了當(dāng)前層與下一層的特征信息結(jié)合。在解碼器模塊中，卷積層之后是一個(gè)最大池化層，其內(nèi)核大小為3×3，步幅大小為2像素，填充大小為1像素。而在編碼器模塊中，卷積層之后是采樣大小為2像素的上采樣層。最后，利用softmax層用于生成每層解碼器的輸出深度特征在兩個(gè)類標(biāo)簽上的分布。

圖3 MSA-UNet網(wǎng)絡(luò)結(jié)構(gòu)

2.2 數(shù)據(jù)預(yù)處理

由于整個(gè)超聲圖像中包含大量復(fù)雜的背景信息，并且目標(biāo)病變面積只占整張圖像的1/6(圖4(b))，這將會(huì)對(duì)甲狀腺結(jié)節(jié)特征的提取產(chǎn)生較大負(fù)面影響，所以本文通過提取原始甲狀腺超聲圖像中的ROI(感興趣的區(qū)域)來驗(yàn)證本文所提出的方法的有效性，具體的流程如圖4所示。

圖4 數(shù)據(jù)預(yù)處理流程

首先，本文根據(jù)金標(biāo)準(zhǔn)得到病變區(qū)域的外部矩陣(圖3(a)中黃色部分)，并根據(jù)矩陣得到病變區(qū)域左上角(Xmin,Ymin)和右下角(Xmax,Ymax)的坐標(biāo)， 根據(jù)公式(1)計(jì)算病灶中心點(diǎn)Lc坐標(biāo)(Xc,Yc):

(1)

然后選取一個(gè)尺寸大小為256×256像素的矩形區(qū)域(圖4(b)中的藍(lán)色部分)，以Lc為中心進(jìn)行剪切，得到ROI區(qū)域。本文之所以選擇256像素作為剪切塊的邊緣長(zhǎng)度，是因?yàn)榇蟛糠植∽儏^(qū)域的寬度和高度都小于256像素。從圖5可以看出，大多數(shù)病變區(qū)域的寬度和高度都小于256像素，其中條形圖的黃色程度表示寬度和高度的分布。X軸和Y軸代表的是病變區(qū)域外部矩陣的寬和高，Z軸代表的是處于當(dāng)前寬和高的結(jié)節(jié)數(shù)量。

圖5 病灶面積寬度和高度的二值直方圖

2.3 改進(jìn)的空洞空間卷積池化金字塔

為了更好地獲取輸入特征圖的多尺度上下文信息，可以使用不同系數(shù)的多次卷積來獲取不同尺度的特征圖。但這也會(huì)帶來一些負(fù)面的影響，比如改變特征圖的大小等問題。因此本文采用了空洞空間卷積池化金字塔來解決映射特征大小變化的問題，并且在此過程中將ASPP與深度可分離卷積相結(jié)合，形成了一種新的ASPP改進(jìn)模塊，以此將輸入圖像的通道和空間信息分離，如圖6所示。

圖6 改進(jìn)的ASPP模塊

改進(jìn)的ASPP模塊對(duì)上一層的特征圖進(jìn)行卷積運(yùn)算，主要分為以下幾個(gè)部分:

1) 第一層使用1×1卷積層，然后利用ReLu激活函數(shù)進(jìn)行非線性激活，最后使用Batch Normalization(BN)進(jìn)行歸一化。

2) 第二至第四部分分別使用空洞率為6、12和18的可分離卷積進(jìn)行卷積，然后同樣使用ReLu激活函數(shù)和BN進(jìn)行處理。

3) 第五層使用最大池化，然后采用1×1卷積層，最后使用上采樣進(jìn)行圖像分辨率的恢復(fù)。

在完成五次卷積操作之后，將得到的特征圖進(jìn)行1×1卷積操作，并將其進(jìn)行BN歸一化，得到最終的預(yù)測(cè)特征結(jié)果圖。

2.4 改進(jìn)的注意力模塊

圖7 改進(jìn)的通道注意力模塊

2.5 多尺度監(jiān)督策略

2.6 損失函數(shù)

本文提出的網(wǎng)絡(luò)通過多個(gè)不同尺度的監(jiān)督用于輸出共同學(xué)習(xí)的語(yǔ)義信息，損失函數(shù)定義為所有分支輸出的總和，具體計(jì)算公式如下所示：

(2)

其中Lfinal、Li分別是網(wǎng)絡(luò)中最終輸出的損失值和不同尺度的輸出值，K表示分支的數(shù)量，λi是不同輸出損失的權(quán)重值。為了簡(jiǎn)化問題，本文將λ1、λi分別設(shè)置為1和0.1.對(duì)于每個(gè)分支，將得到5個(gè)不同規(guī)模的輸出，每個(gè)輸出對(duì)應(yīng)一個(gè)損失。本文直接利用二元交叉熵(binary cross-entropy，BCE)計(jì)算Li.BCE是二元分類和分割任務(wù)中廣泛使用的損失函數(shù)，定義如下：

LBCE=-∑(x,y)[g(x,y)log2(p(x,y))+(1-g(x,y))log2(1-p(x,y))] .

(3)

式中：g(x,y)∈[0,1]是像素(x，y)的標(biāo)簽，p(x,y)∈[0,1]是不同分支的預(yù)測(cè)結(jié)果。

同時(shí)，利用Dice損失和BCE損失用于計(jì)算最終的損失值Lfinal，從整體和局部?jī)蓚€(gè)角度衡量?jī)煞鶊D像的相似性。其定義如下：

Lfinal=μ1LDice+μ2LBCE.

(4)

Dice損失可定義為：

(5)

式中，ε是一個(gè)常數(shù)，以防止被零除。在本文的實(shí)驗(yàn)中，μ1，μ2都設(shè)置為1.

3 實(shí)驗(yàn)與分析

本文的所有實(shí)驗(yàn)使用了山西省當(dāng)?shù)蒯t(yī)院提供的數(shù)據(jù)集的圖像來獲取1 083名患者的超聲檢查圖像和超聲檢查報(bào)告，并且醫(yī)院機(jī)構(gòu)審查委員會(huì)批準(zhǔn)了整個(gè)收集過程，每個(gè)數(shù)據(jù)都由經(jīng)驗(yàn)豐富的醫(yī)生進(jìn)行標(biāo)記。本文將超聲病例圖像中不相關(guān)的部分去除用于保留有用的信息。此外，由于原始數(shù)據(jù)包含復(fù)雜的背景信息，為了能夠更為清晰地展示實(shí)驗(yàn)結(jié)果，本文僅對(duì)ROI進(jìn)行實(shí)驗(yàn)，其中第2.1節(jié)介紹了本文ROI提取的方法。同時(shí)本文的所有實(shí)驗(yàn)都專注于分割任務(wù)，并且采用了召回率、精確率、Dice系數(shù)和準(zhǔn)確率的評(píng)價(jià)指標(biāo)來驗(yàn)證所提出方法的有效性。

3.1 實(shí)驗(yàn)細(xì)節(jié)

本文的所有實(shí)驗(yàn)在深度學(xué)習(xí)框架Pytorch進(jìn)行驗(yàn)證。本文將甲狀腺輸入圖像的大小調(diào)整為256×256，并且將其像素值標(biāo)準(zhǔn)化為[0,1].所有實(shí)驗(yàn)都在Nvidia Titan XP 12GB顯卡和Intel(R)Xeon(R)Bronze 3106 CPU@1.70 GHz×8計(jì)算機(jī)上進(jìn)行訓(xùn)練，batch size大小設(shè)置為8.所有的模型參數(shù)進(jìn)行隨機(jī)初始化，并且最大學(xué)習(xí)率設(shè)置為0.01，分別在20和100個(gè)epoch之后衰減10倍。實(shí)驗(yàn)所采用的優(yōu)化器為Adam算法，Beta參數(shù)設(shè)置為(0.9,0.999)，權(quán)重衰減率設(shè)置為1×10-8.為了實(shí)驗(yàn)的嚴(yán)謹(jǐn)性，本文實(shí)驗(yàn)過程中的測(cè)試圖像均采用尺度大小為256×256的甲狀腺結(jié)節(jié)超聲圖像。

3.2 實(shí)驗(yàn)可視化與數(shù)據(jù)

本節(jié)通過甲狀腺結(jié)節(jié)的分割結(jié)果來評(píng)估本文所提出分割方法的有效性。此外，本小節(jié)還通過一些預(yù)測(cè)分割結(jié)果的可視化用于評(píng)估本文所提分割方法的性能，其中定量和可視化結(jié)果如圖8所示。

圖8 不同方法可視化分割結(jié)果

定量比較：表1展示了6種目前最新的甲狀腺圖像分割方法(第1-7行)與本文所提方法(第8行)在召回率、精密度、Dice系數(shù)和精確度方面的不同表現(xiàn)，這些方法包括FCN、SegNet和UNet等經(jīng)典的基于編碼器-解碼器結(jié)構(gòu)的網(wǎng)絡(luò)，以及文獻(xiàn)[25]中基于多任務(wù)的分割方法和文獻(xiàn)[19]中提到的應(yīng)用于TNSCUI2020挑戰(zhàn)賽上的級(jí)聯(lián)UNet.特別地，由于文獻(xiàn)[19]中的方法應(yīng)用了許多后處理的策略來保證結(jié)果的精確性，本文所使用的級(jí)聯(lián)UNet剔除了文獻(xiàn)[19]中后處理的方法，從而來保證本文中所有實(shí)驗(yàn)的公正性。為了得出公正的結(jié)論，本文使用相同的評(píng)估代碼評(píng)估了所有方法的分割結(jié)果。為了進(jìn)一步證明本文所提出方法的每個(gè)組成部分的有效性，本文進(jìn)行了幾次對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2、表3和表4所示。所有的結(jié)果都在相同的測(cè)試集上進(jìn)行評(píng)估，并且得到的所有評(píng)價(jià)指標(biāo)的數(shù)據(jù)是在達(dá)到驗(yàn)證集上的最高Dice系數(shù)的實(shí)驗(yàn)數(shù)據(jù)。

表1 與現(xiàn)有算法的比較

如表1所示，本文所提出的方法與其他6種基于深度學(xué)習(xí)的方法在所有的評(píng)價(jià)指標(biāo)中都有著顯著的提升并且在準(zhǔn)確率和Dice指標(biāo)上達(dá)到最大值。SegNet與UNet++的分割精度優(yōu)于FCNs與FCN8s，這說明了跳躍連接可以提高甲狀腺結(jié)節(jié)超聲圖像分割的準(zhǔn)確率。但是更為復(fù)雜的模型連接并不能保證分割精度的提升，相反會(huì)導(dǎo)致復(fù)雜模型很難訓(xùn)練。與其他模型相比，采用復(fù)雜連接的UNet++模型在性能上有細(xì)微的下降。FANG et al[25]提出的模型采用了額外的邊界掩模來訓(xùn)練網(wǎng)絡(luò)，這給分割結(jié)果帶來了一定程度提升，說明多任務(wù)訓(xùn)練能夠?qū)δＰ蛶碚虻姆答仭?/p>

從圖8的不同方法可視化分割結(jié)果可以直觀看出，F(xiàn)CNs和FCN8s的分割結(jié)果邊緣帶有針狀毛刺現(xiàn)象，SegNet與UNet的分割結(jié)果存在著部分“孤島”的現(xiàn)象，文獻(xiàn)[19]和級(jí)聯(lián)UNet的分割結(jié)果邊緣相比真實(shí)的標(biāo)簽存在不規(guī)則的突起現(xiàn)象。從表1的實(shí)驗(yàn)結(jié)果和圖8的可視化結(jié)果可以看出，本文的方法優(yōu)于其他七種方法。

本文對(duì)改進(jìn)的ASPP模塊進(jìn)行評(píng)估。通過比較表2可以看出，改進(jìn)的ASPP模塊極大地提高了模型分割性能。值得一提的是，每項(xiàng)評(píng)估指標(biāo)的增量都在1%以上，這說明不同大小的感受野能夠幫助模型提高編碼器模塊的特征表達(dá)能力。

表2 改進(jìn)的ASPP模塊的消融實(shí)驗(yàn)

進(jìn)一步評(píng)估圖2中的模型不同數(shù)量的掩碼約束對(duì)于模型精度的影響(不同數(shù)量掩模的解碼器用Mi表示，M1代表只用一張?jiān)即笮〉难谀?duì)模型推理進(jìn)行約束，并且i=1,2,3,4,5).從表3可以看出，隨著掩碼數(shù)量的增加，Dice系數(shù)和精確度也逐漸增加。特別是當(dāng)掩碼數(shù)量大于3時(shí)，模型的整體分割性能增長(zhǎng)速率開始下降。這說明合適的掩碼數(shù)量對(duì)模型的分割性能有著較為顯著的提升。

表3 不同數(shù)量損失函數(shù)的消融實(shí)驗(yàn)

在表4中，本文將不同數(shù)量的注意力模塊對(duì)于模型的性能影響進(jìn)行了對(duì)比(不同數(shù)量注意力模塊的解碼器用Di表示，Di代表只包含最上方的注意力模塊的解碼器，并且i=1,2,3,4,5).可以看出解碼模塊的數(shù)量與模型的性能是正相關(guān)的。特別是當(dāng)解碼模塊的數(shù)量為1時(shí)，本文所提出的方法退化成

表4 不同數(shù)量解碼模塊的消融實(shí)驗(yàn)

為基礎(chǔ)U-Net模型。

4 結(jié)論

本文提出了一個(gè)基于多尺度注意力的監(jiān)督甲狀腺結(jié)節(jié)分割模型MSA-UNet。首先，利用不同尺寸的掩碼和改進(jìn)的注意力模塊用來選擇甲狀腺圖像的多尺度特征表達(dá)，之后利用改進(jìn)的ASPP模塊用來獲取不同感受野的特征表示。此外，本文還提出了一種新的損失函數(shù)用于模型的訓(xùn)練，通過考慮不同尺度分支的依賴關(guān)系使這些分支進(jìn)行相互影響，最終使得預(yù)測(cè)更加準(zhǔn)確。實(shí)驗(yàn)結(jié)果表明，本文所提出的方法比現(xiàn)有的方法具有更好的分割性能，能夠?qū)崿F(xiàn)更加準(zhǔn)確的甲狀腺結(jié)節(jié)超聲圖像分割。但提出的模型在使用了有效的監(jiān)督策略和改進(jìn)的模塊來提升模型的性能的同時(shí)，也不可避免地增加了模型的復(fù)雜度和訓(xùn)練時(shí)間，不利于模型在可移動(dòng)設(shè)備上的部署。在未來的工作中，可將本文分割方法進(jìn)行進(jìn)一步優(yōu)化，設(shè)計(jì)更高效的網(wǎng)絡(luò)模型降低模型復(fù)雜度，實(shí)現(xiàn)甲狀腺結(jié)節(jié)超聲圖像的精細(xì)分割。