基于改進(jìn)U-net網(wǎng)絡(luò)的腺體細(xì)胞圖像分割算法應(yīng)用研究

周濤

（廣州商學(xué)院，廣東 廣州 511363）

0 引 言

醫(yī)學(xué)圖像處理在臨床應(yīng)用方面有著不錯(cuò)的效果，醫(yī)學(xué)圖像主要通過(guò)X-射線成像、核磁共振成像、核醫(yī)學(xué)成像和超聲波成像等醫(yī)學(xué)成像技術(shù)獲取。在醫(yī)學(xué)圖像處理方面，主要包括病變檢測(cè)、圖像分割、圖像配準(zhǔn)及圖像融合等多個(gè)方面。

近年來(lái)，腺癌發(fā)病率和死亡率逐年上升，在沒(méi)有腺體細(xì)胞分割技術(shù)之前，評(píng)估腺體細(xì)胞樣本完全都是由醫(yī)學(xué)專家完成的，這樣就導(dǎo)致工作量大，耗費(fèi)時(shí)間，易出錯(cuò)等問(wèn)題。為了精確分割腫瘤區(qū)域，掌握腺體細(xì)胞分割技術(shù)可以幫助形態(tài)學(xué)統(tǒng)計(jì)信息，分析腺癌信息情況。隨著計(jì)算機(jī)的高速發(fā)展，利用計(jì)算機(jī)進(jìn)行圖像分割處理，分析病理學(xué)資料。這樣不但能提高效率，還能推動(dòng)腺體細(xì)胞分割技術(shù)發(fā)展。結(jié)合圖像分割技術(shù)可以輔助醫(yī)生診斷和評(píng)估病人的病情結(jié)果并制定相應(yīng)的診療安排。在醫(yī)學(xué)圖像分割中，腺體細(xì)胞的圖像分割因?yàn)槠淞鲃?dòng)性以及細(xì)胞中存在雜質(zhì)較多成為難點(diǎn)問(wèn)題，而腺癌細(xì)胞的圖像分割問(wèn)題則更為復(fù)雜。使用U-net 網(wǎng)絡(luò)的圖像分割算法去處理腺體細(xì)胞圖像會(huì)損失部分圖像信息，在復(fù)雜環(huán)境下的識(shí)別效果較差。為了解決這些問(wèn)題，本文將重點(diǎn)研究改進(jìn)U-net 網(wǎng)絡(luò)的腺體細(xì)胞圖像分割算法，結(jié)合深度學(xué)習(xí)技術(shù)分析組織病理學(xué)圖像中的腺體結(jié)構(gòu)。

1 基于改進(jìn)U-net 網(wǎng)絡(luò)的腺體細(xì)胞圖像分割算法

1.1 改進(jìn)U-net 模型

U-net 網(wǎng)絡(luò)對(duì)于醫(yī)學(xué)圖像預(yù)處理和腺體細(xì)胞分割已經(jīng)取得了很好的效果，不過(guò)在實(shí)際運(yùn)用中依然存在不少問(wèn)題。例如圖像模糊，存在噪點(diǎn)，信息殘缺，收斂速度緩慢，精確度低、過(guò)擬合、限制分類等問(wèn)題。本文基于改進(jìn)U-net 網(wǎng)絡(luò)解決對(duì)腺體細(xì)胞圖像分割問(wèn)題，網(wǎng)絡(luò)框架如圖1所示。該結(jié)構(gòu)為端到端的深度學(xué)習(xí)網(wǎng)絡(luò)，輸入的圖像為電子顯微鏡下的切片腺體細(xì)胞圖像，輸出的圖像為分割后的圖像。在U-net 網(wǎng)絡(luò)中加入空洞殘差網(wǎng)絡(luò)模塊，通過(guò)調(diào)整通道數(shù)和空洞比率來(lái)進(jìn)行優(yōu)化。經(jīng)過(guò)多次卷積和池化操作以及添加殘差模塊獲得多目標(biāo)的腺體細(xì)胞特征圖。獲得特征圖之后進(jìn)行上采樣操作，為了得到更多圖片信息，將腺體細(xì)胞的多個(gè)特征進(jìn)行融合操作，再通過(guò)Soft-max 層將輸出的特征圖結(jié)果轉(zhuǎn)換成分類問(wèn)題。

圖1 改進(jìn)U-net 網(wǎng)絡(luò)框架

1.2 空洞殘差模塊

腺體細(xì)胞流動(dòng)性強(qiáng)，分割難度大，需要經(jīng)過(guò)多層網(wǎng)絡(luò)進(jìn)行多次卷積和采樣操作，才能獲取出圖像的特征信息，但是強(qiáng)行追求多層操作會(huì)讓圖像丟失一些特征信息，同時(shí)訓(xùn)練的時(shí)間也會(huì)成倍增加。所以在網(wǎng)絡(luò)模型中添加空洞殘差模塊，能夠很好地解決多層操作帶來(lái)訓(xùn)練困難問(wèn)題。空洞殘差模塊如公式（1）所示：

其中[]表示空洞卷積輸出值，表示空洞卷積比率。為了將空洞殘差模塊應(yīng)用在二維圖像特征上，空洞卷積的輸出[]依然可以按照上述公式表示，只需要通過(guò)調(diào)整相對(duì)應(yīng)的空洞比率大小。

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)通過(guò)卷積和池化操作增加感受野，但是池化操作容易導(dǎo)致信息丟失，影響分割效果。空洞卷積操作在一定程度上領(lǐng)先于傳統(tǒng)卷積操作，空洞卷積能在不改變參數(shù)配置下增加感受野的大小，同時(shí)輸出相同大小特征圖像。使用空洞算法與U_Net 網(wǎng)絡(luò)模型相結(jié)合，將替換后的空洞卷積合并到殘差網(wǎng)絡(luò)中，最后組合成空洞殘差網(wǎng)絡(luò)模塊。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)所使用的操作系統(tǒng)Windows 10，運(yùn)行環(huán)境為Python3.6，基于Tensorflow 和Keras 的深度學(xué)習(xí)框架，電腦顯卡為GeForce GTX1080 8 GB，內(nèi)存為16 GB。同時(shí)使用CUDA 和cuDNN 架構(gòu)，提高圖像處理速度。其次需要設(shè)置訓(xùn)練參數(shù)，定義訓(xùn)練集和驗(yàn)證集的數(shù)量以及進(jìn)行迭代的次數(shù)。

2.2 實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)備

2.2.1 數(shù)據(jù)集

本次實(shí)驗(yàn)的數(shù)據(jù)是從ISBI 數(shù)據(jù)集中獲取，只有30 張512×512 的Image 和Label，訓(xùn)練數(shù)據(jù)是來(lái)自果蠅第一齡幼蟲(chóng)腹側(cè)腹側(cè)神經(jīng)索（VNC）的連續(xù)切片透射電子顯微鏡（ssTEM）數(shù)據(jù)集的30 個(gè)切片的集合。微立方體的尺寸約為2×2×1.5 微米，分辨率為4×4×50 納米/像素。對(duì)應(yīng)的二進(jìn)制標(biāo)簽以從內(nèi)到外的方式提供，即對(duì)于分割對(duì)象的像素為白色，對(duì)于其余像素（主要對(duì)應(yīng)于膜）為黑色。部分?jǐn)?shù)據(jù)集如圖2所示。

圖2 ISBI 部分?jǐn)?shù)據(jù)集

2.2.2 數(shù)據(jù)預(yù)處理

由于ISBI 數(shù)據(jù)集中的數(shù)據(jù)圖像數(shù)量較少，為了更好的分割實(shí)驗(yàn)圖像樣本，在實(shí)驗(yàn)之前需要進(jìn)行預(yù)處理操作。預(yù)處理流程圖如圖3所示。首先將標(biāo)簽圖像與原始圖像進(jìn)行系統(tǒng)劃分并按照對(duì)應(yīng)的格式重命名，然后根據(jù)目標(biāo)區(qū)域所在的位置對(duì)圖像與標(biāo)簽進(jìn)行統(tǒng)一裁剪，以提取目標(biāo)區(qū)域，接著將裁剪后的圖像進(jìn)行像素處理，統(tǒng)一設(shè)置為512×512 大小，最后需要對(duì)圖像進(jìn)行二值化，用于進(jìn)一步避免醫(yī)學(xué)標(biāo)注干擾，另外由于圖像本身都帶有一定的噪聲，為此還需要對(duì)其圖像進(jìn)行去噪處理。

圖3 預(yù)處理流程圖

2.2.3 數(shù)據(jù)增強(qiáng)

對(duì)于深度學(xué)習(xí)的研究，深度學(xué)習(xí)的結(jié)果與數(shù)據(jù)的質(zhì)量和數(shù)量有很大關(guān)系，但醫(yī)學(xué)樣本難采集，數(shù)據(jù)量較少。為了增加數(shù)據(jù)量，避免出現(xiàn)過(guò)擬合，提高分割精度，需要采用數(shù)據(jù)增強(qiáng)的方式，解決小樣本數(shù)據(jù)的缺陷。在醫(yī)學(xué)圖像分割領(lǐng)域，圖像增強(qiáng)屬于常見(jiàn)的處理圖像操作類型。圖像增強(qiáng)的目的是增加訓(xùn)練數(shù)據(jù)的數(shù)據(jù)量。主要采用旋轉(zhuǎn)變換與水平翻轉(zhuǎn)變換。數(shù)據(jù)增強(qiáng)主要是為了減少網(wǎng)絡(luò)在訓(xùn)練過(guò)程中出現(xiàn)過(guò)擬合現(xiàn)象，將訓(xùn)練出來(lái)的特征圖與實(shí)際應(yīng)用場(chǎng)景接軌。實(shí)現(xiàn)圖像增強(qiáng)有兩種方法：

一種是給原始圖像和標(biāo)簽圖像同時(shí)設(shè)置一個(gè)生成器，并設(shè)置相同的種子點(diǎn)，圖像就會(huì)進(jìn)行相同變化。另外一種是將標(biāo)簽圖像作為原始圖像的第二通道，進(jìn)行合并，然后對(duì)圖像進(jìn)行數(shù)據(jù)增強(qiáng)后，再將原始圖像和標(biāo)簽圖像分離。本文實(shí)驗(yàn)使用的是第二種方法。

2.3 Dice 系數(shù)評(píng)估標(biāo)準(zhǔn)

在目標(biāo)檢測(cè)評(píng)估標(biāo)準(zhǔn)中，選擇Dice 系數(shù)作為評(píng)估標(biāo)準(zhǔn)，Dice 系數(shù)是一種集合相似度度量函數(shù)，用于計(jì)算兩個(gè)樣本的相似度，取值范圍在[0，1]。設(shè)定M 是屬于真實(shí)目標(biāo)的像素，設(shè)定N 是屬于分割結(jié)果的像素，則Dice 系數(shù)定義公式（2）為：

同理Dice Loss 系數(shù)則定義公式（3）為：

Dice 系數(shù)的取值范圍是0～1，Dice 系數(shù)越高，代表分割結(jié)果越相似，當(dāng)為1 時(shí)，則與目標(biāo)完全一致，但是基本上只能無(wú)限趨近于1。從公式我們可以得出結(jié)論，圖像處理的精確度與原目標(biāo)圖像和分割結(jié)果圖像有關(guān)。

2.4 實(shí)驗(yàn)結(jié)果

本次實(shí)驗(yàn)的原始圖像和標(biāo)簽圖像都是設(shè)置為512×512大小的圖片。首先將圖片轉(zhuǎn)換成Numpy 數(shù)組并將多張圖片合到一起，此時(shí)變成了三維的數(shù)組：×512×512。同時(shí)由于數(shù)據(jù)用于訓(xùn)練時(shí)還需要一維的通道，所以在原有基礎(chǔ)上再次增加一維。本次實(shí)驗(yàn)選取5 張圖片用上述的方法形成5×512×512×1 的Numpy 數(shù)組測(cè)試樣本，進(jìn)行預(yù)測(cè)。同時(shí)也對(duì)預(yù)測(cè)的圖片進(jìn)行不同區(qū)域上色，其中OpenCV 的Draw Contours 函數(shù)可以實(shí)現(xiàn)區(qū)域上色功能，而且通過(guò)對(duì)區(qū)域中輪廓線進(jìn)行分別處理，可以將預(yù)測(cè)圖片中的干擾信息去除。多個(gè)腺體細(xì)胞圖像分割結(jié)果對(duì)比圖像如圖4所示。同時(shí)隨著訓(xùn)練次數(shù)的增加，訓(xùn)練成功率能達(dá)到95%以上。預(yù)測(cè)結(jié)果曲線圖如圖5所示。

圖4 分割結(jié)果對(duì)比圖像

圖5 網(wǎng)絡(luò)訓(xùn)練過(guò)程中的acc 值和loss 值的變化情況

其次通過(guò)圖像分割中常用的分割性能評(píng)價(jià)指標(biāo) Dice 對(duì)本實(shí)驗(yàn)所使用的模型進(jìn)行評(píng)價(jià)分析，從表1中所給出的實(shí)驗(yàn)結(jié)果可知U-net、U-net+cbam、Resnet102、Resnet152、U-net attention、U-net+non_local、Ours 等7 種模型進(jìn)行對(duì)比。發(fā)現(xiàn)本文改進(jìn)的網(wǎng)絡(luò)模型，能夠有效地提高網(wǎng)絡(luò)的訓(xùn)練效率，同時(shí)該模型在所有模型中的Dice 系數(shù)最高，其Dice 系數(shù)為0.925。

表1 模型對(duì)比數(shù)據(jù)

通過(guò)表2能夠?qū)Ρ炔煌Ｐ头指钚Ч倪M(jìn)過(guò)后的U-net算法能夠去除細(xì)胞核以及細(xì)胞中的其他雜質(zhì)，減少相應(yīng)的干擾信息，且分割后的圖像輪廓清晰，為醫(yī)學(xué)專家提供診斷依據(jù)。

表2 不同模型分割效果對(duì)比

3 結(jié) 論

本文提出一種基于改進(jìn)U-net 網(wǎng)絡(luò)的腺體細(xì)胞圖像分割算法，采用基于Tensorflow 和Keras 的深度學(xué)習(xí)框架，對(duì)原始腺體細(xì)胞數(shù)據(jù)集進(jìn)行預(yù)處理，將處理后的腺體細(xì)胞數(shù)據(jù)集輸入到改進(jìn)的U-net 網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，實(shí)現(xiàn)腺體細(xì)胞的提取與分割。使用OpenCV 對(duì)腺體細(xì)胞圖像進(jìn)行顏色處理，方便醫(yī)學(xué)專家進(jìn)行診斷和評(píng)估。該算法與多種網(wǎng)絡(luò)模型進(jìn)行對(duì)比，Dice 系數(shù)達(dá)0.925，同時(shí)采用ISBI 數(shù)據(jù)集進(jìn)行驗(yàn)證，證明本文提出的算法更具可靠性和實(shí)用性。