基于改進ResUNet的乳腺癌細胞核圖像分割

陳 立，魏鈺欣，劉 斌，李 碩

(陜西科技大學 電子信息與人工智能學院，陜西 西安 710021)

0 引言

世界衛生組織國際癌癥研究機構發布了2020年全球最新癌癥數據，數據顯示全球新發癌癥病例達1 929萬例，其中乳腺癌新發病例高達226萬例，已經成為全球第一大癌[1]。在癌癥的早期診斷中，細胞核的形態特征不僅有助于癌癥評級，還有助于預測治療效果[2]。因此，細胞核的精準分割成為醫學圖像分析和處理的基礎，對病理診斷工作有十分重要的研究價值。

近年來，深度神經網絡算法的崛起為細胞核分割帶來了新進展，國內外很多研究者們已經在乳腺癌細胞分割領域做出了一系列研究。Su等[3]提出一種基于快速掃描深度卷積神經網絡(Fast Scan Deep Convolution Neural Network， FSDNN)的組織病理學乳腺癌圖像區域分割方法，應用于像素區域分割，在不犧牲性能的情況下去除原始卷積網絡中的冗余計算。Xu等[4]提出深度卷積神經網絡(Deep Convolution Neural Network， DCNN)，以端到端的特征提取方式直接在原始像素強度值中學習，用于乳腺癌圖像的上皮和間質區域的分割。Saha等[5]針對人表皮生長因子受體乳腺癌細胞圖像提出了Her2Net分割網絡，但多次特征融合增大了計算復雜度和參數量。Wang等[6]提出一種基于多層次特征和級聯SVM分類的計算機輔助分級方法，用于自動區分低、中、高級別乳腺癌的組織病理圖像。與傳統算法相比，卷積神經網絡算法效果顯著優于人工提取特征的模型，在乳腺癌細胞的分割方面，上述分割網絡已經取得較好的效果，但由于抗干擾能力不強，難以提取出更加抽象的圖像特征，對于細胞核的分割效果不夠精準。

近些年，U-Net模型[7]及以U-Net為基礎進行改進的模型大范圍地用于醫學圖像的分割，但還很少將其應用于乳腺癌細胞核圖像分割中，故本文基于ResUNet[8]模型進行結構改進，使其能夠更好地對乳腺癌細胞核進行分割。

1 ResUNet模型

ResUNet模型是在U-Net模型的基礎上進行的改進，主要改進為在每層卷積處加入了殘差連接，ResUNet模型的結構如圖1所示。

圖1 ResUNet模型結構Fig.1 Structure of ResUNet model

ResUNet模型主要包括3部分：編碼器、連接橋和解碼器。編碼器、連接橋和解碼器均由如圖2所示的ResBlock組成，用來提取圖像特征。ResBlock在每層第2個卷積操作結束后添加了殘差連接，殘差連接需要和卷積層的初始輸入具有相同分辨率，通過批歸一化操作將每批輸入的樣本歸一化為標準正態分布，緩解了模型訓練中的梯度爆炸和消失現象，同時加速了收斂[9]。

圖2 ResBlock結構Fig.2 Structure of ResBlock

編碼器部分由ResBlock連續經歷4個下采樣層組合而成，經過連接橋的一個ResBlock后進入解碼階段。解碼器部分由采樣層、通道連接層和ResBlock組合而成。通過上采樣層將特征通道減半，尺寸擴大為原來的2倍，然后將對應下采樣的特征圖通過通道連接層拼接起來，再用1個ResBlock提取特征，此操作執行4次，最后得出分割結果。

2 本文方法

2.1 殘差路徑

ResUNet模型通過通道連接層將編碼層的特征圖與解碼層的特征圖進行拼接，通過通道連接層結合下采樣和上采樣過程中的深淺層次信息。淺層特征涵蓋了更多的空間位置信息，這些豐富的淺層特征不可忽略，有利于細胞核的定位和分割，對分割結果影響很大。

編碼器中的特征由于卷積層較淺，提取到的是淺層特征，而解碼器中對應的特征由于卷積層更深，提取到是較深層次的特征，二者在語義上有較大差距，故本文提出了由殘差塊組成的殘差路徑(Residual Path，ResPath)。在模型的通道連接處加入ResPath，彌補編碼器卷積層空間特征和解碼器卷積層的語義特征的差距，使其在拼接前盡可能具有一致的深度，同時通過ResPath也可以更好地促進信息傳播，保留圖像特征信息。

本文提出的ResPath由殘差塊組成，使用1個3×3卷積和1個1×1卷積組成的固定殘差塊，如圖3所示。與ResUNet中ResBlock不同的是，提出的殘差塊用1×1卷積代替了原3×3卷積作為殘差連接，用1×1卷積做通道上的信息整合，ResPath的主要作用是進行圖像間深、淺層特征信息的融合，為防止信息損失舍去了批歸一化和ReLU激活函數[10]。

圖3 殘差塊Fig.3 Residual block

本文在ResUNet模型每個同層上的編碼器和解碼器之間的通道連接層處添加1條ResPath，通道連接層的位置見圖1。隨著卷積層的增加，逐漸減少ResPath中殘差塊的個數。原ResUNet模型中共進行4次通道連接，實驗選定從上至下分別使用包含4，3，2，1個殘差塊的ResPath。本文選取最上層通道連接處的ResPath結構進行展示，即從上至下第1條ResPath，包括4個殘差塊，如4圖所示。

圖4 殘差路徑Fig.4 Residual path

2.2 改進后ResUNet模型

改進后的ResUNet模型整體主要包括3部分：編碼器、連接橋和解碼器，共形成了9個ResBlock和一個普通卷積。

編碼器除ResBlock(1)中最后一個卷積操作因不需要將特征圖大小減半，設置卷積步長為1，其他ResBlock最后一個卷積操作的步長均為2，以此將特征圖減小為原來的1/2。經過4個ResBlock后通過連接橋的ResBlock(5)后進入上采樣階段。上采樣階段首先經過Upsample將特征圖大小擴大為原來的2倍后，將同層中編碼器輸出的特征經過ResPath后再與Upsample后的特征進行拼接，完成特征拼接后再進經過一個ResBlock，重復進行此操作4次后，最后通過一個1×1卷積和Softmax函數輸出分割結果。

改進后ReUNet模型結構參數及每個步驟的輸出大小如表1所示。

表1 改進后ResUNet模型各層參數設置Tab.1 Parameter setting of each layer of the improved ResUNet model

3 實驗結果與分析

3.1 實驗環境

使用TensorFlow架構來構建模型，實驗平臺配備Inter Core i7-6700HQ CPU，NVIDIA GeForce GTX 1080Ti 8 GB顯存GPU，CUDA版本為10.0，編程語言為Python3.8。

3.2 數據集介紹

為驗證改進后ResUNet模型的有效性，采用Naylor等[11]提供的乳腺癌數據對模型進行訓練、驗證和測試。該數據集選自11個病人的乳腺癌病理切片圖像，再從每個病人的病理圖中裁取了3～8幅圖像并通過ITK-snap軟件對每個細胞的細胞核核進行標注，共得到32幅圖像。為驗證改進后ResUNet模型是否具有普適性，用Kaggle平臺提供的Data Science Bowl-2018公共醫學細胞核數據集，該數據集包括670幅細胞核圖像，含約29 000個細胞核。

3.3 數據預處理

為深度學習需要訓練大量的數據來優化模型，而Naylor等提供的實驗數據集的數量較少，故對數據集進行數據增強，提高模型的泛化能力。采用的數據增強操作包括水平翻轉、平移縮放和隨機裁剪等操作，共得到400張圖片，按照7∶2∶1的比例隨機將這400張圖片分為訓練集280張，驗證集80張和測試集40張。Data Science Bowl-2018數據集不進行數據增強操作，將670張圖片分為訓練集480張，驗證集120張和測試集70張。

考慮到特征并非總是連續值而是一些分類值[12]，對標簽進行One-Hot編碼，將分類映射到歐式空間，使特征之間的距離計算更加合理[13]。

3.4 損失函數

NLLLoss(Negative Log-likelihood Loss)衡量模型語義分割的精度，該損失函數表達式如式(1)所示；Dice Loss衡量分割細胞核和對應標注圖在形態特征方面的相似度，該函數表達式如式(2)所示：

(1)

(2)

本文按1∶1比例將NLLLoss和Dice Loss兩個損失函數搭配使用，具有以下優點：

① Dice Loss從全局角度對分割結果進行衡量，NLLLoss從微觀角度逐像素進行逼近，二者衡量方式的角度互補；

② 當出現圖像前后景極不均衡情況時，NLLLoss無法解決這種極度不均衡情況，但Dice Loss不受前景大小的影響；

③ 當出現分割內容不均衡時，Dice Loss會趨向于學習大的塊，而忽略小樣本，NLLLoss依舊會對小樣本進行學習；

④ NLLLoss對Dice Loss起到引導作用，如果在初始化時，只有Dice Loss則無法學習到正確的梯度下降方向，加上NLLLoss可以給網絡一個學習的方向。

實驗結果顯示，使用NLLLoss和Dice Loss相結合的損失函數能夠取得更好的分割效果。

3.5 優化函數

本文實驗采用Adam(Adaptive Moment Estimation)優化函數，動態調整每個參數的學習率。與其他優化算法相比，Adam優化函數具有計算高效、占用內存較少等優點。

3.6 評價指標

為驗證本文模型對乳腺癌細胞核分割的效果，采用平均交并比(Mean Intersection over Union，MIoU)、Dice系數、準確率(Accuracy，Acc)、精確率(Precision)、召回率(Recall)等評價指標對模型的分割性能進行評估。

MIoU表示真實值與預測值之間的交集同真實值與預測值之間并集的比值。Dice用于衡量分割結果和真實值之間的重合度。Acc表示預測結果中預測正確的比例。Precision表示正確分割的細胞核部分占預測結果為細胞核的部分的比例。Recall表示正確分割的細胞核部分占圖像中真實的細胞核部分的比例。

(3)

(4)

(5)

(6)

(7)

式中，TP為被預測為正類的正樣本；TN為被預測為負類的負樣本；FP為被預測為正類的負樣本；FN為被預測為負類的正樣本；(k+1)為類別數。

3.7 實驗過程結果及分析

實驗使用除已提到的U-Net，ResUNet模型外，還選用了SegNet[14]，Fcn8s[15]，VggUNet[16]，DenseUNet[17]與改進后的ResUNet模型(簡稱IResUNet模型)等7種分割模型分別在乳腺癌數據集和DSB數據集上進行實驗，進行分割效果對比，驗證模型的分割效果。

訓練過程中利用Adam優化函數對網絡進行優化，NLLLoss和Dice Loss函數共同衡量模型分割的精度，訓練輪次數(epoch)設置為120，使用批訓練，每批輸入的樣本數(Batch Size)設置為4，動量參數(Momentum)設置為0.9，初始學習率(Learning Rate)設置為0.000 1。用MIoU，Dice，Acc等評價指標對分割結果進行評判。

7種分割模型在2個數據集上訓練過程中精度值和損失值變化情況分別如圖5和圖6所示。

(a) 各模型的精度值變化

(b) 各模型的損失值變化圖5 各模型在乳腺癌數據集訓練過程中的精度和損失值變化Fig.5 Change of accuracy and loss values of each model during training on breast cancer datasets

(a) 各模型的精度值變化

(b) 各模型的損失值變化圖6 各模型在DSB數據集訓練過程中的精度和損失值變化Fig.6 Change of accuracy and loss values of each model during training on DSB datasets

7種分割模型在乳腺癌數據集和DSB數據集上的分割結果圖在MIoU，Dice，Acc，Precision，Recall等評價指標上計算得出的結果如表2和表3所示。

表2 乳腺癌數據集上的分割結果Tab.2 Segmentation results on breast cancer dataset

表3 DSB數據集上的分割結果Tab.3 Segmentation results on DSB dataset

由表2可以看出，IResUNet模型在乳腺癌細胞核數據集上分割結果的MIoU，Dice，Acc等評價指標較ResUNet模型分別上分別提升了1.3%，1.2%，0.4%。為了更直觀地展現各模型的分割結果，給出了各模型的分割結果，如圖7所示。圖7(a)，(b)分別是乳腺癌細胞核的原圖、對應標注圖，圖7(c)～(i)分別為SegNet，Fcn8s，VggUnet，U-Net，ResUNet，DenseUNet和IResUNet的分割結果。

(a) 乳腺癌細胞原圖

(b) 乳腺癌細胞核標注圖

(c) SegNet

(d) Fcn8s

(e) VggUNet

(f) U-Net

(g) DenseUNet

(h) ResUNet

(i) IResUNet圖7 分割結果對比 Fig.7 Comparison of segmentation results

由表3可以看出，IResUNet模型在DSB細胞核數據集實驗結果的Miou，Dice，Acc等評價指標較ResUNet模型分別上分別提升了0.6%，1.6%，0.4%。由于分割結果較多，僅節選IResUNet模型在DSB數據集上的分割細節，如圖8所示。圖8(a)，(b)分別表示DSB數據集上對應的細胞核的原圖、標注圖，圖8(c)表示IResUNet模型的分割效果圖。

(a) 細胞核原圖

(b) 標注圖

(c) IResUNet圖8 分割結果對比Fig.8 Comparison of segmentation results

訓練過程中發現，IResUNet模型在epoch 80后驗證集上的精度值和損失值趨于平穩達到瓶頸狀態，此時進行參數微調，導入保存的模型，凍結前面部分訓練權重[18]。凍結階段模型的主干被凍結可以防止權值被破壞，特征提取網絡不發生改變、占用的顯存較小，僅對模型進行微調，可以加快訓練效率，得到更有效的特征表示。經測試，該策略可小幅度提升模型的分割精度。訓練過程中IResUNet模型在訓練集和驗證集上的精度值和損失值變化情況如圖9和圖10所示。

圖9 凍結訓練過程中IResUNet模型在乳腺癌數據集上精度值變化Fig.9 Change of accuracy values of IResUNet model on breast cancer dataset during freezing training

圖10 凍結訓練過程中IResUNet模型在乳腺癌數據集上損失值的變化Fig.10 Change of loss values of IResUNet model on breast cancer dataset during freezing training

凍結訓練前后IResUNet模型在乳腺癌數據集上的分割結果與未進行凍結訓練得到的分割結果如表4所示。由表4可以看出，使用凍結訓練后IResUNet模型得到的預測圖在MIoU，Dice，Acc等評價指標較未進行凍結訓練前分別提升了0.4%，0.9%，0.1%，證明該策略是有效的。

表4 使用凍結策略前后分割結果對比Tab.4 Comparison of segmentation results before and after using freezing strategy

從圖7和圖8可以看出，SegNet，Fcn8s和VggUNet對于密集型細胞核圖像的中心部分分割效果較差，對于一些顏色較淺的細胞核未能識別，存在欠分割現象較強。邊緣細節部分的分割結果較為模糊，整體效果較差，但對于稀疏型細胞的中心部分預測效果相對較好。

U-Net對于細胞核圖像的中心部分、邊緣細節部分和較小的細胞核分割效果都比SegNet，Fcn8s和VggUNet好，對于一些獨立的小細胞核存在過分割現象，對于密集型細胞核圖像的邊緣部分分割能力較差，整體效果更好。ResUNet和DenseUNet對于邊緣細節部分和較小的細胞核分割效果比U-Net好，少數細胞核圖像的中心部分分割效果不如U-Net。總體來說，ResUNet和DenseUNet的整體分割結果與標注圖對比仍存在過分割和欠分割現象。

通過SegNet，Fcn8s，VggUnet，U-Net，DenseUNet，ResUNet的分割結果和IResUNet模型的分割結果對比分析得出，IResUNet模型分割結果最好。對于密集型細胞核圖像的中心部分、邊緣細節部分和較小的細胞核等分割細節的分割效果比其他模型的效果好，與給定標注圖結果最接近。由以上結果得出，各模型在2個數據集上對于稀疏型細胞核的分割結果整體效果都較為可觀，區別體現在對于密集型細胞核的分割。本文提出的IResUNet模型對于密集型細胞核的分割效果有明顯提升。

4 結束語

乳腺組織切片細胞的醫學圖像常常存在細胞重疊、粘連頻繁、細胞大小不一、細胞邊界模糊等問題，成為細胞分割的難點，本文提出的IResUNet模型，提升了模型對背景中干擾元素的區分能力，改善了分割結果中常出現干擾點的情況，對于密集型細胞核的分割效果有明顯提升，較ResUNet模型在MIoU，Dice，Acc等評價指標分別提升了1.8%，2.1%，0.6%。在DSB數據集上進行了驗證，結果證明IResUNet模型具有較好的網絡泛化能力和分割準確率，能夠提高乳腺癌細胞核分割的精確度，可以更精準實現細胞核的分割，減少影像醫師的工作負擔，有助于乳腺疾病診斷及預后。

目前醫學圖像的數據集稀缺性導致可訓練的數據量較少，不同醫學中心的細胞核數據集中細胞核的形態、大小差異較大，因此如何在小數據集中防止過擬合問題的同時設計出分割精度更高的分割模型還有待研究。