邊界加權的甲狀腺癌病理圖像細胞核分割方法

韓 冰,高 路,高新波,2,陳瑋銘

(1.西安電子科技大學 電子工程學院,陜西 西安 710071;2.重慶郵電大學 計算機科學與技術學院 圖像認知重慶市重點實驗室,重慶 400065)

1 引 言

甲狀腺癌是實體癌中發病率增速最快的惡性腫瘤之一[1],但其治愈率也很高。如果能及早診斷,大多數甲狀腺癌都能被很好地治愈。病理學診斷是醫生診斷疾病的黃金標準,受到權威機構的廣泛認可。病理圖像中,細胞核形態的差異是目前腫瘤診斷的主要依據。細胞核的平均大小、密度、形狀等特征關系到腫瘤的臨床診斷和后續治療。因此,對病理圖像中細胞核的精確分割是進一步分析的基礎。

卷積神經網絡(Convolutional Neural Networks,CNN)[2]因其優秀的特征表示能力被廣泛應用于圖像分割等領域中,尤其是應用于自然圖像時表現優異。相比于自然圖像,醫學圖像含有更多的噪聲,目標邊界也比較模糊。因此,針對醫學圖像分割,需要設計合適的方法。2015年,RONNEBERGER等[3]提出了針對醫學圖像分割U-Net網絡模型,在上采樣的過程中通過跳轉鏈接逐步融合淺層特征,并在多個醫學圖像數據庫上取得了很好的分割效果,是醫學圖像分割領域的經典之作,很多算法都是在U-Net的基礎上進行改進的。UNet++[4]在跳轉鏈接中添加了密集的卷積模塊,但是這種方法無法獲得足夠的全局信息。UNet 3+[5]重新設計了跳轉鏈接以融合底層和高層之間不同尺度的特征。ZHANG等[6]結合殘差模塊原理設計了ResUnet。ResUnet++[7]在ResUnet的基礎上整合了SE模塊[8]、特征金字塔[9]和注意力模塊。使用注意力機制來改進U-Net也在一些其它的工作[10-12]中取得了不錯的效果。FU等[13]提出M-Net用于視杯視盤的分割,該網絡接受多尺度輸入,并通過深層監督訓練網絡。QIN等[14]提出了由兩層UNet嵌套組成的U2-Net,通過殘差結構獲取不同尺度的上下文信息。UTNet[15]首次將Transformer[16]模塊融入到U-Net中以提升傳統U-Net網絡的分割效果。CGNet[17]通過設計上下文信息引導模塊同時學習圖像的局部特征和全局特征,獲得了較好的檢測效果。

細胞核分割是病理圖像自動分析的關鍵步驟,是醫學圖像分割任務中最為基礎的組成部分。與其它醫學圖像相比,病理圖像背景復雜,細胞核目標小而密集,且形狀多變。上述方法常用于分割病灶或器官等圖像中單一且占比較大的目標,直接用于細胞核分割時,效果不好。因此,一些適用于細胞核分割的模型相繼被提出。

CHEN等[18]提出了DCAN,這是一種通過利用實例和輪廓的互補信息來分割細胞核的深度輪廓感知網絡。ZENG等[19]提出了RIC-Unet,在U-Net的基礎上添加了一條解碼器分支用來預測輪廓以完善分割結果。ODA等[20]提出了BESNet來進行細胞核分割,與RIC-Unet相同,添加了一條解碼器分支用來預測輪廓,區別是BESNet中的兩個解碼器通過串聯的方式進行特征互補。ZHOU等[21]提出了基于輪廓感知與信息融合的細胞核分割網絡CIA-Net,與BESNet一樣有一個預測輪廓的解碼分支,不同之處是該方法使用一個信息聚合模塊在上采樣的同時不斷聚合和交換兩個解碼器的特征,并使用深度監督來加強網絡對多層次信息的學習。NAYLOR等[22]提出將分割標簽轉化為距離熱圖,并以此訓練細胞核分割模型。

在圖像中,細胞核的邊界只占目標區域的一小部分。因此,當分割算法能夠分割出目標的大部分區域時,損失已經很低,這時網絡已經很難再優化。換句話說,訓練得到的網絡可以得到較好的客觀結果,但仍然不能有效判別目標的邊界。所以分割任務中有一個普遍存在的現象,即距離邊界越近,分割精度越低,這一現象在文獻[23]中已被證明。

甲狀腺癌細胞核不同于其它類型的細胞,一般會出現溝壑,或有核內假包涵體等。由于這些溝壑和包涵體的存在,容易導致分割結果出現空洞等現象。

針對上述問題,設計了一個邊界加權模塊為細胞核邊界附近的像素賦予不同的權重,使網絡在訓練時就能夠更多關注細胞核邊界。另一方面,為了避免提出的網絡過分關注邊界而忽視細胞核主體部分,導致一些染色較淺的細胞核分割失敗,提出了前景增強分割網絡;該網絡在上采樣的過程中通過前景增強模塊不斷增強前景并抑制背景的作用,從而實現甲狀腺病理圖像細胞核的精確分割。

文中的主要貢獻如下:

(1) 提出前景增強分割網絡,在U-Net的基礎上,在上采樣的過程中通過前景增強模塊不斷增強前景及抑制背景的作用。

(2) 提出邊界加權模塊,使網絡在訓練時就能夠更多關注細胞核邊界,提升邊界處的分割效果。

(3) 針對癌變細胞核相對正常細胞核難分割的情況,提出新的損失函數。

(4) 初步構建了甲狀腺乳頭狀癌細胞核分割數據庫,在自建數據庫和公共數據庫上的實驗證明了所提方法的有效性。

2 邊界加權的細胞核精準分割算法

圖1 基于邊界加權的細胞核分割算法流程圖

2.1 前景增強分割網絡

眾所周知,在基于編碼器-解碼器結構的分割網絡中,編碼器主要是將輸入圖像映射成高維空間中的特征,解碼器對該高維特征進行解碼,每個像素位置的解碼結果有兩種:前景或背景,前景即為目標。分割網絡的編碼和解碼能力是通過損失函數回傳梯度來訓練的,而網絡本身的結構也是決定訓練效果的關鍵。

為了避免在訓練過程中,算法過分關注邊界而忽視細胞核主體,從而導致一些染色較淺的細胞核分割失敗,文中以U-Net為基礎網絡設計了前景增強分割網絡,網絡結構如圖2所示。CB為拼接塊(Concatenate Block,CB)。編碼階段和U-Net分割網絡相同,使用5層上采樣拼接塊(Down-sample and Concatenate Block,DCB)編碼層。每個編碼層有兩個卷積層,每個卷積層后有一個批歸一化層(Batch Normalization,BN)和一個ReLU激活函數。編碼層之間用池化層連接,以降低輸入特征的空間尺寸,增大深層卷積的感受野。

在解碼階段,每個解碼層是常規的上采樣卷積塊,即圖2中的UCB(Upsample and Concatenate Block)。由編碼器得到的特征圖在經過一系列上采樣卷積塊的解碼后,能夠區分圖像中的細胞核和背景。但當細胞核和背景顏色相近時,細胞核很難從背景中有效分割。

圖2 前景增強分割網絡結構圖

為了增大細胞核與背景之間的特征距離,使網絡能夠分割出染色較淺的細胞核,設計了前景增強模塊(Foreground Enhancement Module,FEM)。如圖2所示,它由余弦相似度計算塊(Cosine Similarity Block,CSB)和上采樣卷積塊組成。相似度計算模塊的結構如圖3所示。

圖3 余弦相似度計算模塊結構圖

相似度計算模塊輸入尺寸為W×H×C的特征圖F,W、H和C分別是特征圖的寬、高和通道數。特征圖F經過全局平均池化后得到與F通道數相同的一維全局特征向量v1×1×C,通過計算特征向量v和特征圖F之間的相似性,可以得到特征圖中對應的像素位置與全局特征向量之間的相似性。在訓練過程中不斷優化迭代該相似性,可將全局特征向量v更靠近細胞核特征向量而遠離背景向量,從而達到增強前景的目的。相似度圖S的尺寸為W×H。余弦相似度計算如式(1):

(1)

其中,Sv,F(i,j)∈[-1,1]表示v和F在位置(i,j)處的相似度,F(i,j)表示特征圖F在位置(i,j)處的特征向量。利用式(2)計算相似度圖S與特征圖F的最終特征圖F*:

(2)

其中,c∈{1,2,…,C}表示特征圖通道的索引。

2.2 邊界加權模塊

為了使分割網絡更多地關注細胞核的邊界部分,加強網絡在細胞核邊界附近的分割能力,設計了邊界加權模塊,用于在訓練過程中感知預測邊界與真實邊界的距離,從而更好地優化分割網絡。邊界加權模塊結構如圖1所示。

使用邊緣提取算法得到分割邊界圖Pb,筆者希望通過邊界加權后,離邊界近的位置賦予較高權重,離邊界遠的位置賦予較低權重,即邊界以外位置元素的像素值是單調遞減的。 基于這個思想,設計了邊界加權模塊中的邊界加權核KBW,如圖4(a)所示。 邊界加權模塊的加權核KBW尺寸為n×n,使用圖4(a)所示加權核對邊界圖Pb進行卷積后,邊界圖中的所有像素都會分配一個權重,距離邊界越遠,權重越低,距離大于(n-1)/2的像素其權重為0。 Tanh激活函數的作用是將所有權重的值映射到0到1之間,便于后續損失函數的計算。 最終得到輸入圖像的邊界權重圖。

邊界加權模塊的工作方式可以用式(3)表示:

FBW(P)=tanh(KBW*P) ,

(3)

其中,P表示邊界加權模塊的輸入,*表示卷積操作,KBW表示加權核。

(a) 加權核KBW

(b) tanh函數圖

(c) 加權操作示意圖

2.3 損失函數

在細胞核分割任務中,需要判斷每個像素屬于細胞核的概率,因此可將其視為逐像素二分類任務。二元交叉熵(Binary Cross Entropy,BCE)損失函數是二分類中最常用的損失函數。該損失函數的定義如式(4)所示:

(4)

其中,gi表示訓練樣本標簽g的第i個像素的值,若為正樣本,則gi取值為1,若為負樣本,則取值為0;p表示樣本預測為正的概率,pi表示p的第i個像素的值;N表示g中的像素數。

針對細胞核的主體部分和邊界部分,在二元交叉熵損失函數的基礎上,構建了兩個損失函數項,一個是預測結果與真值圖之間的損失L1,通過添加權重因子的方式使訓練傾向于難分割的部分;另一個是預測結果的邊界圖與真值圖的邊界圖之間的損失L2。 兩個損失的計算如式(5)和式(6)所示:

(5)

L2=LBCE(FBW(P),FBW(G)) ,

(6)

其中,P代表預測結果,G代表手工標注的真值圖,FBW(·)代表邊界加權模塊。則總的損失函數可定義為

(7)

其中,α和β表示兩個損失函數的融合系數。通過設定不同的α和β,可以調節目標的主體信息和邊界信息在監督訓練中的比重。

3 實驗結果與分析

3.1 甲狀腺癌病理圖像分割數據庫

在甲狀腺癌病理圖像分類數據庫VIP-TCHis[24]的基礎上,構建了細胞核分割數據庫VIP-TCHis-Seg。構建數據庫所用的病理圖像均來自西安西京醫院病理科,共收集了55例甲狀腺乳頭狀癌患者的病理圖像。每個病理圖像有數百萬像素,病理醫師在顯微鏡下首先標記出癌變區域,然后在20倍放大下對影像進行剪切,裁切后的圖像大小為512×512,數據庫統計結果如表1所示,共包含224幅經過剪切后得到的病理圖像,用Labelme軟件[25]人工標記17 013個細胞核。其中,含正常細胞的病理圖像116幅,8 093個細胞核;含甲狀腺乳頭狀癌細胞的病理圖像108幅,8 920個細胞核。

表1 VIP-TCHis-Seg數據庫統計

在VIP-TCHis-Seg數據庫上構建了6組實驗來證明所提方法的有效性,用目前細胞核分割領域常用的相似系數(Dice)和像素準確率(PA)來評估文中的方法。實驗在64位Ubuntu 20.04操作系統上使用PyTorch(版本1.1.0)深度學習框架進行。所使用的計算機硬件配置為:Intel(R) Core(TM)i7 CPU @ 3.5 GHz,128 GB內存和一塊顯存為12 GB的NVIDIA TITAN X GPU。所有實驗都在同樣的配置下進行并使用相同的訓練參數。

圖5 VIP-TCHis-Seg數據庫樣例

3.2 參數設置實驗

3.2.1 加權核尺寸k對分割結果的影響

在邊界加權模塊中,使用不同尺寸的加權核將得到不同寬度的邊界圖。設加權核KWB的尺寸為k∈{1,3,5,…,},k取奇數可以保證使用加權核對邊界圖進行卷積后,邊界線兩側被加權的像素數量相同,即邊界像素兩側距離為d以內的像素會被加權,d可以用k表示,即d=(k-1)/2。k越大,表示距離邊界線越遠,在訓練過程中就能捕獲更多的邊界分割錯誤的情況,并以此引導網絡優化的方向。但同時k越大,運算復雜度也越大。

表2 使用不同尺寸的加權核的實驗結果對比 %

為了驗證加權核尺寸k對分割結果的影響,對不同尺寸的邊界加權核下的模型進行訓練,分割結果如表2所示。

從表2中可以看出,隨著加權核尺寸的增大,相似系數Dice從78.49%上升至85.26%再下降到76.86%,像素準確率PA從89.11%上升至95.89%再下降至88.27%。兩個評價指標都是在k=5時得到最優值。當k取值較小時,網絡不能有效判別邊界處的錯誤分割,因此兩個指標結果較低;然而當k取值持續增大,由于細胞核尺寸小、數量多,會出現同一像素被多次加權的情況,這使得邊界加權模塊不僅未能優化網絡,還造成了負面效果,即分割精度降低。

圖6給出了不同尺寸加權核實驗對比結果。從圖中可以看出,當兩個細胞核邊界距離較小時,k的取值過大會導致邊界處分割失敗。因此,在后續實驗中,令k=5。

圖6 使用不同尺寸的加權核的實驗結果對比

3.2.2 損失函數中α和β的取值對分割結果的影響

表3 不同融合系數對比實驗

損失函數中α和β表示分割的主體部分和邊界部分在訓練中的作用。設置不同α和不同β以驗證其對分割結果的影響。其中,α∈[0,1],β∈[0,1],且α+β=1。實驗結果如表3所示。

從表3可以看出,當α=1,β=0時,即損失函數中只有L1起作用,相似系數Dice和像素準確率PA分別為82.19%和92.07%。 隨著α減小、β增大,即損失函數中L2的作用不斷增大,即網絡更加關注邊界處的分割,相似系數和像素準確率也不斷提升。 當損失函數中α和β分別取0.6和0.4時,網絡分割效果最好,相似系數和像素準確率均達到最高值,分別為85.26%和95.89%。 隨著α繼續減小和β繼續增大,相似系數和像素準確率開始下降。 當α=0,β=1.0時,即損失函數中只有L2起作用,相似系數和像素準確率達到最低,分別為69.52%和82.83%。 這說明分割的主體部分在訓練中起較大作用,邊界部分同樣影響著訓練的效果。因此,在后續實驗中,損失函數L1和L2的融合系數取α=0.6,β=0.4。

圖7給出不同融合系數實驗對比結果。 當α較大β較小時,網絡較多關注細胞核主體部分,雖然能分割出大部分區域,但由于甲狀腺癌細胞核會出現溝壑現象,即細胞核內會有淺色區域而非一個完整的顏色一致的細胞,對于細胞核內染色與背景相似的細胞核分割時會出現空洞現象。 而當α較小β較大時,網絡的關注點集中于邊界部分,從而導致將細胞核內部的溝壑也容易作為邊界被分割出來,并出現大面積空洞。 因此,在后續實驗中,損失函數中L1和L2的融合系數取α=0.6,β=0.4。

圖7 使用不同融合系數的實驗結果對比

3.3 邊界加權模塊與前景增強模塊效果實驗

為了驗證提出的邊界加權模塊的有效性與前景增強模塊是否能夠提高網絡對細胞核的分割能力,對是否添加邊界加權模塊和前景增強模塊的分割效果進行了對比,實驗結果如表4所示。

表4 使用邊界加權模塊和前景增強模塊與否的實驗結果對比 %

由表4可知,添加了邊界加權模塊后,相似系數Dice提高了約1.55%,像素準確率PA提高了約0.70%,說明了邊界加權模塊的有效性。添加了前景增強模塊后,相似系數Dice提高了約5.01%,像素準確率PA提高了約5.28%。由此可知,所提出的前景增強模塊能夠提高網絡對細胞核的分割能力。

圖8展示了未使用邊界加權模塊和使用邊界加權模塊的分割效果對比。

圖8 邊界加權模塊對分割效果的影響

由圖8(c)可以看出,未使用邊界加權模塊時,細胞核邊界處的分割結果不清晰,而圖8(d)展示了文中方法可以分割出清晰的邊緣,驗證了邊界加權模塊的有效性。

圖9為是否添加前景增強模塊的主觀對比實驗結果?？梢钥闯?第1行的圖像中,細胞核飽滿,邊緣清晰,染色較深,與背景對比明顯,無論是否添加前景增強模塊,都能夠得到較好的分割結果。而對于染色較淺,或細胞核內部有區域顏色與背景顏色相同的細胞核,未添加前景增強模塊的算法存在分割失敗的情況,而添加了前景增強模塊的算法能夠正確地分割這些較難分割的細胞核。從客觀評價指標和主觀觀測結果上都驗證了前景增強模塊的有效性。

圖9 前景增強模塊對分割效果的影響

3.4 不同損失函數的消融實驗

針對細胞核的主體部分和邊界部分,在二元交叉熵損失函數的基礎上構建了一種新的損失函數用于細胞核的精確分割。分別使用文中所提出的損失函數和二元交叉熵損失函數作為網絡總體損失函數進行訓練。實驗結果如表5所示。

表5 不同損失函數消融實驗 %

由表5可以看出,在使用文中所提出的損失函數進行訓練后,網絡分割效果最好,相似系數Dice和像素準確率PA均為最佳,分別為85.26%和95.89%。相較于使用二元交叉熵損失函數進行訓練,使用文中提出的損失函數在相似系數和像素準確率上分別提高了約2.98%和1.99%。實驗結果驗證了所提損失函數的有效性。

3.5 不同算法的分割效果對比

為了驗證所提出方法的有效性,將文中方法與6種分割模型進行對比實驗。其中,U-Net[3]是生物醫學圖像分割中最經典的全卷積架構,也是文中方法的基礎模型。U-Net 3+[5]在U-Net的基礎上引入了全尺度跳躍連接和深度監督。CGNet[17]設計了上下文信息引導模塊,可以同時學習局部特征和全局特征。DCAN[18]是首先使用邊界信息來輔助細胞核分割的網絡。RIC-Unet[19]和BESNet[20]都使用兩個解碼路徑(邊界解碼路徑和主譯碼路徑)來增強邊界學習。CIA-Net[21]在兩個特定任務(語義分割和邊界檢測)的解碼器之間采用多級信息聚合模塊。UTNet[15]首次將Transformer[16]模塊融入到U-Net中以提升傳統U-Net網絡的分割效果。DCAN,RIC-Unet,BESNet和CIA-Net都使用了目標邊界信息來幫助訓練分割網絡。實驗結果如表6所示,所有算法的訓練環境和迭代次數、批處理大小、學習率等訓練參數設置相同,迭代次數為300輪、批處理大小為2、學習率為0.000 1。

從表6可以看出,所提出的方法在VIP-TCHis-Seg數據庫上無論是相似系數Dice還是像素準確率PA,相較于對比算法都取得了最好的結果。其中,相似系數Dice比排名第二位的UTNet算法提高約1.62%;像素準確率比排名第二位的U-Net 3+算法提高了約1.98%。

表6 不同方法在自建細胞核數據庫上的對比實驗 %

各算法在VIP-TCHis-Seg數據庫上的主觀對比結果如圖10所示。可以看出,對于第1行和第2行細胞核比較清晰的圖像,所有算法均能夠較為準確地分割出細胞核,在邊緣等細節處也處理得較好。對于第三行背景不夠清晰明確以及細胞核有重疊等較為復雜的圖像,U-Net、DCAN和RIC-Unet算法在細胞核部位都出現了較多空洞,如圖10(c)、10(d)和10(e)所示;BESNet、CIA-Net和UTNet算法雖然對于細胞核主體部分分割較好,沒有出現空洞現象,但是可以看出,3種算法對于邊界處的分割不是很成功,如圖10(f)、10(g)和10(h)所示。而文中的方法能夠分割出所有的細胞核,且分割結果中不存在空洞現象,明顯優于其它算法。但是也會錯誤地將一些染色較深的背景區域劃歸為細胞核。分割失敗案例如圖10第4行所示,圖中細胞核染色較淺,邊界不清晰,當內部染色與背景相同時,需要通過肉眼仔細觀察才能分辨出細胞核,這樣的細胞核很難成功分割。

圖10 自建數據庫上不同算法的分割效果對比

3.6 在MoNuSeg數據集上的對比實驗

在MoNuSeg細胞核分割數據集[26]上驗證文中方法的有效性,該數據集來自于MICCAI 2018多器官細胞核分割挑戰賽(Multi-organ nuclei segmentation challenge),包括從18個研究所收集的7個不同器官(乳房、肝臟、腎臟、前列腺、膀胱、結腸和胃)采集的H&E染色組織圖像。數據集包括一個訓練集和一個測試集。訓練集包含30張圖像,測試集包含14張圖像,圖像尺寸均為1 000×1 000像素。在該數據庫上的實驗結果如表7所示,所有算法的訓練環境和迭代次數、批處理大小、學習率等訓練參數設置相同。

表7 不同方法在MoNuSeg細胞核分割數據集上的對比實驗 %

從表7可以看出,所提方法在MoNuSeg數據庫取得了最優的結果。其中,相似系數Dice比排名第二位的CIA-Net算法提高了約0.42%;像素準確率PA比排名第二位的CIA-Net算法提高了約0.53%。

各算法在MoNuSeg細胞核分割數據集上的主觀對比結果如圖11所示。在第1行和第2行的分割結果中,其它算法均有將背景區域識別為細胞核的情況,而文中算法并沒有發生這種錯誤。在第3行中,原圖背景染色較深且細胞核距離較近,其它算法的分割結果中均有不同程度的粘連,而文中算法不僅正確分割所有細胞核且邊緣清晰,不存在粘連情況。第4行給出在這個數據庫上分割失敗的案例,圖像中存在與背景難以區分的細胞核,即使人眼觀察仍較難區分。

圖11 MoNuSeg細胞核分割數據集上不同算法的分割效果對比

4 結束語

針對甲狀腺癌病理圖像細胞核分割任務中細胞核邊界及其附近位置難以分割的問題提出一種基于邊界加權的細胞核分割方法。首先設計了一個邊界加權模塊,該模塊能夠使網絡在訓練時關注細胞核邊界特征,另一方面提出了前景增強分割模塊,避免網絡過分關注邊界而忽視細胞核主體部分,導致一些染色較淺的細胞核分割失敗。在已有甲狀腺病理分類數據庫的基礎上,構建了甲狀腺細胞核分割數據庫VIP-TCHis-Seg。文中方法與其它的分割算法在自建數據庫VIP-TCHis-Seg和MoNuSeg數據庫上均取得了最好的結果,證明了算法的有效性。

在實際應用中,細胞核標注需要極大的成本,同時還有漏標與樣本不平衡的情況,因此使用弱標注數據進行弱監督訓練是未來的工作方向。