基于深度神經(jīng)網(wǎng)絡(luò)的乳腺腫瘤自動(dòng)區(qū)域分割方法*

侯佩，齊亞莉

(1.河南省焦作市第二人民醫(yī)院甲狀腺乳腺外科一區(qū)，焦作 454000；2.濟(jì)源職業(yè)技術(shù)學(xué)院醫(yī)學(xué)系，焦作 459000)

1 引 言

早期檢測(cè)乳腺腫瘤的方法有核磁共振成像、乳腺超聲檢查以及臨床乳腺檢查等[1]。其中，核磁共振成像(MRI)是有效且應(yīng)用廣泛的診斷工具[2]。對(duì)腫瘤影像特別是MRI成像進(jìn)行區(qū)域分割，對(duì)提高乳腺腫瘤的檢測(cè)精度具有重要意義。

分割乳腺腫瘤區(qū)域主要采取手工方式，可重復(fù)性低、耗時(shí)長(zhǎng)。當(dāng)前臨床醫(yī)學(xué)不斷向著智能化與自動(dòng)化發(fā)展[3]。近年來(lái)，乳腺腫瘤的自動(dòng)區(qū)域分割問(wèn)題受到了越來(lái)越多的關(guān)注，很多學(xué)者提出了不同的自動(dòng)區(qū)域分割模型和算法。然而實(shí)際上這些算法多數(shù)仍需進(jìn)行人工干預(yù)，嚴(yán)格來(lái)說(shuō)屬于半自動(dòng)分割方法。隨著大數(shù)據(jù)與人工智能等技術(shù)的發(fā)展，乳腺腫瘤檢測(cè)的技術(shù)越來(lái)越多，在醫(yī)療圖像處理中應(yīng)用深度神經(jīng)網(wǎng)絡(luò)也成為研究重點(diǎn)。為此，本研究提出一種基于深度神經(jīng)網(wǎng)絡(luò)的乳腺腫瘤自動(dòng)區(qū)域分割方法。

2 方法設(shè)計(jì)

2.1 乳腺腫瘤圖像的處理

乳腺腫瘤成像圖像均為灰度單通道圖，而深度神經(jīng)網(wǎng)絡(luò)輸入的是RGB三通道圖像，因此，需要對(duì)灰度單通道圖進(jìn)行預(yù)處理，使其變成三通道方式[4]。

在圖像處理中使用的兩種算法分別為：直方圖自適應(yīng)均衡化算法與Sobel算子[5]。直方圖自適應(yīng)均衡化算法能夠強(qiáng)化較多像素值的病灶區(qū)域，而Sobel算子則能夠?qū)⒉≡钸吘壸兊酶用黠@，結(jié)合使用兩種算法能夠增強(qiáng)原始圖像的對(duì)應(yīng)灰度分布，擴(kuò)充圖像通道，減輕后續(xù)圖像分割的負(fù)擔(dān)[6]。

Sobel算子[7]的圖像處理過(guò)程如下：

首先對(duì)乳腺腫瘤成像圖像進(jìn)行縱向邊緣梯度與橫向邊緣梯度的計(jì)算：

(1)

式中，Gx表示橫向邊緣梯度，Gy表示輸入的乳腺腫瘤灰度單通道圖，Gy表示縱向邊緣梯度。

在乳腺腫瘤灰度單通道圖的像素點(diǎn)上，根據(jù)式(1)的結(jié)果，對(duì)灰度近似梯度[8]進(jìn)行計(jì)算：

(2)

通過(guò)Sobel算子處理圖像，即對(duì)一個(gè)圖像通道進(jìn)行擴(kuò)張后，乳腺腫瘤灰度單通道圖中的病灶及組織都會(huì)獲得邊緣輪廓上的加強(qiáng)，能更好地強(qiáng)調(diào)組織或病理的結(jié)構(gòu)形態(tài)信息[9]。

接著通過(guò)直方圖自適應(yīng)均衡化算法[10]擴(kuò)張另一個(gè)圖像通道，即增強(qiáng)其對(duì)比度，具體處理過(guò)程如下：

對(duì)子塊中統(tǒng)計(jì)獲得的直方圖進(jìn)行裁剪，使其幅值整體低于某個(gè)上限，在整個(gè)灰度區(qū)間上將裁剪值均勻地分布，使直方圖總面積不發(fā)生任何改變[11]。此時(shí)直方圖整體會(huì)上升一個(gè)高度，可能超過(guò)所設(shè)置的上限。解決方法具體如下：

(1)將裁剪值設(shè)為ClipLimit，求取直方圖中比該值高的部分的和，用tatalExcess來(lái)表示。

(2)假設(shè)向所有灰度級(jí)均勻分配tatalExcess，求取以上操作帶來(lái)的整體直方圖上升高度：

(3)

式中，L表示整體直方圖上升高度，N表示灰度級(jí)個(gè)數(shù)。

(3)設(shè)置界限為：

upper=ClipLimit-L

(4)

對(duì)直方圖實(shí)施以下處理：

①當(dāng)幅值比ClipLimit高，直接設(shè)置為ClipLimit；

②當(dāng)幅值在ClipLimit與upper之間，直接填補(bǔ)至ClipLimit；

③當(dāng)幅值比upper低，直接對(duì)L個(gè)像素點(diǎn)進(jìn)行填補(bǔ)。

此時(shí)還有剩余的像素點(diǎn)，它們來(lái)自①、②兩處，將其均勻地分給幅值比ClipLimit低的灰度值[12]。

在擴(kuò)張兩個(gè)圖像通道后，對(duì)各通道圖像實(shí)施極大極小歸一化處理[13]。

極大極小歸一化處理公式如下：

(5)

式中，x表示乳腺腫瘤灰度單通道圖的像素值，xnew表示像素值集合中的最大值，Xmin表示像素值集合中的最小值，xnew表示歸一化結(jié)果。

歸一化像素值范圍，使其范圍統(tǒng)一至0～1，實(shí)現(xiàn)乳腺腫瘤灰度單通道圖的最終通道擴(kuò)張，從而更好地滿足深度神經(jīng)網(wǎng)絡(luò)的輸入需求。

2.2 深度神經(jīng)網(wǎng)絡(luò)區(qū)域分割算法的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

基于深度神經(jīng)網(wǎng)絡(luò)構(gòu)建乳腺腫瘤自動(dòng)區(qū)域分割算法網(wǎng)絡(luò)，其網(wǎng)絡(luò)結(jié)構(gòu)見(jiàn)圖1。本研究深度神經(jīng)網(wǎng)絡(luò)算法主要構(gòu)成單元包括：上下文特征多尺度提取單元、3D與2D混合卷積單元和具有解碼與編碼結(jié)構(gòu)、用于實(shí)施2D切片分割的主路網(wǎng)絡(luò)[14-15]。其中，上下文特征多尺度提取單元在主路網(wǎng)絡(luò)編碼中添加后，可提取乳腺腫瘤成像圖像多尺度特征，添加的具體位置為編碼末端。3D與2D混合卷積單元可提取切片中信息輔助主路的對(duì)應(yīng)分割任務(wù)[16]。主路網(wǎng)絡(luò)使用的是 U-Net 結(jié)構(gòu)。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)

2.2.1混合卷積單元設(shè)計(jì) 設(shè)計(jì)3D與2D混合卷積單元，通過(guò)該單元獲取切片上下文信息，并利用該單元協(xié)助分割2D切片。

在該模塊中，首先利用2D卷積提取三維空間信息，接著利用較小尺寸的3D卷積提取切片上下文信息。為避免三維特征提取中出現(xiàn)空間不一致的問(wèn)題，設(shè)置3D卷積中前兩個(gè)維度的對(duì)應(yīng)核大小，將其值設(shè)置為1，使像素變化信息的提取更加專注[17]。最終會(huì)生成一種帶有上下文信息的分割特征圖，可作為分割2D切片的輔助信息，提升分割乳腺腫瘤區(qū)域的性能。

3D與2D混合卷積單元的具體結(jié)構(gòu)見(jiàn)圖2。將當(dāng)前分割任務(wù)假設(shè)為切片序列中的第p張切片，向模塊輸入當(dāng)前分割任務(wù)以及該任務(wù)的上下切片，即第p+1張切片與第p-1張切片。

圖2 3D與2D混合卷積單元的具體結(jié)構(gòu)

具體來(lái)說(shuō)，在3D與2D混合卷積單元的運(yùn)行中，首先需要針對(duì)三張切片分別執(zhí)行2D卷積，卷積大小為3*3，卷積個(gè)數(shù)為2個(gè)，以獲取其二維特征圖。而對(duì)于特征圖來(lái)說(shuō)，為確保相應(yīng)通道在空間上的一致性，需要使用相同的2D卷積參數(shù)。接著拼接產(chǎn)生的二維特征圖，使其成為一整個(gè)三維特征圖，并將產(chǎn)生的三維特征圖作為下一個(gè)單元的輸入內(nèi)容。通過(guò)3D卷積提取第三個(gè)維度對(duì)應(yīng)的空間特征，使用的卷積大小為1*1*3[18]。最后獲取帶有上下文信息的分割特征圖，并拼接主路網(wǎng)絡(luò)中的特征圖與獲取的特征圖，以在分割2D切片時(shí)添加上下文信息。

2.2.2上下文特征多尺度提取單元設(shè)計(jì) 接著設(shè)計(jì)上下文特征多尺度提取單元，在該單元中設(shè)計(jì)兩個(gè)正常卷積，大小為3*3；設(shè)計(jì)兩個(gè)空洞卷積，大小為3*3，采樣率為2；再設(shè)計(jì)兩個(gè)空洞卷積，大小為3*3，采樣率為6。對(duì)輸入的特征圖實(shí)施這三種并行卷積后，能夠獲取三個(gè)尺度上的特征圖，拼接不同尺度上的特征圖，通過(guò)1*1的卷積變換通道，使其保持與輸入特征圖一致的通道數(shù)量。

2.2.3深度神經(jīng)網(wǎng)絡(luò)主路網(wǎng)絡(luò)設(shè)計(jì) 深度神經(jīng)網(wǎng)絡(luò)中的主路網(wǎng)絡(luò)，選擇的是U-Net網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以通過(guò)小樣本數(shù)據(jù)集實(shí)施測(cè)試與訓(xùn)練，主要通過(guò)編碼模塊獲取高層語(yǔ)義特征，以及通過(guò)解碼模塊獲取分辨率很高的分割結(jié)果。并通過(guò)連接高級(jí)特征和分辨率較高的特征圖提升分割精度。通過(guò)該網(wǎng)絡(luò)的體系結(jié)構(gòu)分割2D切片[19]。在編碼中加入 3D與2D混合卷積單元獲取上下文信息。

為保持編碼結(jié)構(gòu)上的一致，設(shè)計(jì)四個(gè)組合卷積塊，并在編碼末端添加上下文特征多尺度提取單元，以獲取多尺度乳腺腫瘤圖像信息。拼接2D切片的實(shí)際分割結(jié)果，即可獲取乳腺腫瘤自動(dòng)區(qū)域分割的實(shí)際結(jié)果。

2.3 網(wǎng)絡(luò)訓(xùn)練

為對(duì)深度神經(jīng)網(wǎng)絡(luò)的分割網(wǎng)絡(luò)進(jìn)行更有效地訓(xùn)練，將廣義骰子損失當(dāng)做網(wǎng)絡(luò)模型訓(xùn)練時(shí)的損失函數(shù)[20]。通過(guò)該損失函數(shù)可以整合多個(gè)類別的骰子，其計(jì)算公式如下：

(6)

式中，wl代表第l個(gè)類別的權(quán)重，rnl表示第n個(gè)像素在第l個(gè)類別中的正確值，pnl代表第n個(gè)像素在第l個(gè)類別中的預(yù)測(cè)值。

對(duì)分割網(wǎng)絡(luò)進(jìn)行訓(xùn)練后，即可利用該網(wǎng)絡(luò)對(duì)乳腺腫瘤自動(dòng)區(qū)域分割。

3 實(shí)驗(yàn)驗(yàn)證

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本研究使用的是某三甲醫(yī)院影像科專業(yè)醫(yī)生標(biāo)記與收集的乳腺腫瘤核磁共振成像圖像數(shù)據(jù)集。數(shù)據(jù)集中包括284例患者的乳腺腫瘤核磁共振成像圖像。

標(biāo)記數(shù)據(jù)集圖像，首先通過(guò)圖片存檔和通信系統(tǒng)與放射信息系統(tǒng)掃描影像，獲取影像的冠狀面與橫截面后，通過(guò)ITK-SNAP軟件三維分割病變區(qū)域。標(biāo)記后的圖像見(jiàn)圖3。

圖3 標(biāo)記后的圖像情況

將實(shí)驗(yàn)數(shù)據(jù)集按照3∶7的比例分為87個(gè)測(cè)試集與197個(gè)訓(xùn)練集。

3.2 深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練

用python開發(fā)接口，通過(guò)多個(gè)GPU來(lái)對(duì)本研究網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。python開發(fā)接口版本為Python2.7， Cuda 版本為Cuda8.0，使用的深度學(xué)習(xí)框架為Caffe2，操作系統(tǒng)為Ubuntu16.04。

通過(guò)3塊顯卡對(duì)卷積網(wǎng)絡(luò)進(jìn)行并行訓(xùn)練，以節(jié)省訓(xùn)練時(shí)間，提升訓(xùn)練效率。

訓(xùn)練時(shí)通過(guò)Adam優(yōu)化器實(shí)施網(wǎng)絡(luò)模型的參數(shù)優(yōu)化，在參數(shù)優(yōu)化時(shí)設(shè)置的動(dòng)量為0.9，輸入批量設(shè)置為4。訓(xùn)練后的輸出結(jié)果即為該像素點(diǎn)位于乳腺腫瘤病灶區(qū)域的實(shí)際概率。

3.3 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

為對(duì)本研究方法的性能進(jìn)行評(píng)價(jià)，通過(guò)陽(yáng)性預(yù)測(cè)值(PPV)、靈敏度(Sen)、Dice相似系數(shù)(DSC)三個(gè)評(píng)價(jià)指標(biāo)對(duì)分割結(jié)果進(jìn)行量化。

其中DSC是衡量?jī)蓚€(gè)集合相似度的指標(biāo)，計(jì)算公式如下：

(7)

PPV能夠反映預(yù)測(cè)區(qū)域像素真正屬于乳腺腫瘤區(qū)域像素的值，其計(jì)算公式如下：

(8)

Sen指的是被正確分類的乳腺腫瘤圖像區(qū)域像素和實(shí)際乳腺腫瘤圖像區(qū)域像素的比值。Sen的值越高，代表設(shè)計(jì)方法性能越好。Sen的計(jì)算公式如下：

(9)

3.4 單通道與三通道圖像乳腺腫瘤自動(dòng)區(qū)域分割實(shí)驗(yàn)

通過(guò)改變基于深度神經(jīng)網(wǎng)絡(luò)的乳腺腫瘤自動(dòng)區(qū)域分割算法網(wǎng)絡(luò)模型的輸入圖像，驗(yàn)證其在分割腫瘤中起到的作用。

在本研究算法網(wǎng)絡(luò)模型中分別輸入實(shí)驗(yàn)數(shù)據(jù)集的原始單通道圖像與處理后的多通道圖像。使用的數(shù)據(jù)為在測(cè)試集中隨機(jī)挑選的37張圖像。所獲取的乳腺腫瘤自動(dòng)區(qū)域分割結(jié)果見(jiàn)表1。

表1 乳腺腫瘤自動(dòng)區(qū)域分割結(jié)果

由表1可知，在圖像處理前，基于深度神經(jīng)網(wǎng)絡(luò)的乳腺腫瘤自動(dòng)區(qū)域分割方法的分割效果一般。而經(jīng)圖像處理后，其分割效果得到了有效提升。其中，DSC提升了13.84%；PPV提升了21.14%；Sen提升了26.04%。這是由于通過(guò)對(duì)灰度單通道圖實(shí)施圖像處理，使其變成三通道圖像，能夠增強(qiáng)病變區(qū)域，并提升與其他組織的實(shí)際對(duì)比度。

3.5 不同單元組合乳腺腫瘤自動(dòng)區(qū)域分割實(shí)驗(yàn)

在后續(xù)實(shí)驗(yàn)中，處理實(shí)驗(yàn)數(shù)據(jù)集的圖像，即使用三通道圖像進(jìn)行實(shí)驗(yàn)。使用基于深度神經(jīng)網(wǎng)絡(luò)的乳腺腫瘤自動(dòng)區(qū)域分割算法網(wǎng)絡(luò)模型與其他不同單元的組合進(jìn)行乳腺腫瘤自動(dòng)區(qū)域分割，測(cè)試不同的分割效果。使用的數(shù)據(jù)為在測(cè)試集中剩余的50張圖像。

使用主路網(wǎng)絡(luò)進(jìn)行乳腺腫瘤自動(dòng)區(qū)域分割，該網(wǎng)絡(luò)是U-Net網(wǎng)絡(luò)，其各評(píng)價(jià)指標(biāo)的實(shí)驗(yàn)結(jié)果為：DSC為63.39%；PPV為68.82%；Sen為64.92%。

利用上下文特征多尺度提取單元與主路網(wǎng)絡(luò)共同進(jìn)行乳腺腫瘤自動(dòng)區(qū)域分割，其各評(píng)價(jià)指標(biāo)的實(shí)驗(yàn)結(jié)果為：DSC為65.52%；PPV為70.92%；Sen為65.64%。

利用3D與2D混合卷積單元與主路網(wǎng)絡(luò)共同進(jìn)行乳腺腫瘤自動(dòng)區(qū)域分割，其各評(píng)價(jià)指標(biāo)的實(shí)驗(yàn)結(jié)果為：DSC為65.96%；PPV為70.18%；Sen為66.55%。

利用基于深度神經(jīng)網(wǎng)絡(luò)的乳腺腫瘤自動(dòng)區(qū)域分割算法網(wǎng)絡(luò)模型進(jìn)行乳腺腫瘤自動(dòng)區(qū)域分割，其各評(píng)價(jià)指標(biāo)的實(shí)驗(yàn)結(jié)果為：DSC為76.48%；PPV為82.40%；Sen為75.93%。

根據(jù)實(shí)驗(yàn)結(jié)果可知，使用主路網(wǎng)絡(luò)、上下文特征多尺度提取單元與主路網(wǎng)絡(luò)的組合、3D與2D混合卷積單元與主路網(wǎng)絡(luò)的組合均能夠取得較好的分割效果；而使用基于深度神經(jīng)網(wǎng)絡(luò)的乳腺腫瘤自動(dòng)區(qū)域分割算法網(wǎng)絡(luò)模型則能夠取得更好的分割效果，在實(shí)驗(yàn)中，假陽(yáng)性像素的降低主要是通過(guò)上下文特征多尺度提取單元來(lái)實(shí)現(xiàn)；3D與2D混合卷積單元主要能夠?qū)崿F(xiàn)上下文信息的捕捉以及減少假陽(yáng)性區(qū)域。

4 結(jié)論

本研究在基于深度神經(jīng)網(wǎng)絡(luò)的乳腺腫瘤自動(dòng)區(qū)域分割方法的設(shè)計(jì)中，以U-Net網(wǎng)絡(luò)為基礎(chǔ)，添加上下文特征多尺度提取單元和3D與2D混合卷積單元，實(shí)現(xiàn)了基于深度神經(jīng)網(wǎng)絡(luò)的乳腺腫瘤自動(dòng)區(qū)域分割算法網(wǎng)絡(luò)模型的設(shè)計(jì)。經(jīng)實(shí)驗(yàn)驗(yàn)證，該方法實(shí)現(xiàn)了良好的分割效果，對(duì)于乳腺腫瘤的早期檢測(cè)有著很大的意義。