多實例弱監督語義分割在癌癥病理圖像分割的應用

關鍵詞：病理圖像；弱監督；實例；語義分割；像素級標簽

0 引言

組織病理學的圖像分析已經逐漸成為癌癥病情分析的重要輔助手段[1]。近年來，深度神經網絡在癌癥病理圖片的自動分類與分割方面已經取得了許多突破性成效[2]。這些方法通常需要大量的人工與時間成本。目前主流的癌癥病理圖像分割中，每一張病理圖像都需要對應的像素級標簽[3]，為了減少對像素級標簽的需求以及減少成本，許多研究人員提出了弱監督語義分割用于癌癥病理圖像分割，只需要圖像級標簽即可[4]。在弱監督語義分割中，用于分割的偽標簽也是決定準確度的關鍵，偽標簽越接近真實的專家標注的標簽，則分割的精度越高[5]。

本文提出了一個弱監督學習框架用于組織病理學圖像分割。主要有三個步驟：首先，使用組合多實例學習（cMIL）方法從原始圖像級數據集中使用實例級標簽構建高質量的實例級數據集。其次，提高偽標簽精度，利用卷積神經網絡對實例數據集中癌癥病理圖片進行特征提取，提取癌癥區域并且將其制作成像素級的偽標簽。最后，再訓練一個完全監督語義分割模型，將偽標簽直接用于圖像分割。為了驗證方法的正確性，在BRACS[6]數據集上進行實驗，BRACS是專攻于乳腺癌病理切片的數據集，實驗取得了不錯的成果。

1 相關工作

1.1 組織病理學圖像分割中的弱監督學習

目前來說，運用到病理圖像分割的弱監督學習主要歸為兩類：基于超像素的分割方法以及基于分類網絡先驗信息的方法[7]。基于超像素的分割方法使用相似像素所合成的超像素訓練分類模型，也就是將病理圖片中外觀相似的區域合并為超像素，訓練分類模型之后可以知道所屬區域是否為癌癥區域。基于分類網絡先驗信息的方法使用類激活映射圖[7]定位圖像中的顯著區域，一般先使用圖像級標簽訓練分類網絡，即在病理圖像中選擇有癌癥區域的以及正常的兩個集合一起訓練分類網絡，然后根據像素點的響應值確定圖像中各個區域的類別，最后將訓練好的圖片作為偽標簽作為完全監督語義分割的輸入。

1.2 多實例學習在弱監督語義分割中的應用

多實例學習在弱監督方法中廣泛應用[8]。然而，盡管多實例學習在弱監督方法中取得了優秀的成果，但許多解決方案需要預先指定的特征，這需要特定于數據的先驗知識，這限制了應用的一般性。而在組合多實例學習中，訓練過程是端到端的，沒有刻意的特征提取和特征學習，使得訓練過程非常簡單。

1.3 多實例弱監督學習在病理圖像分割中的應用

多實例學習中的訓練數據是有標記的，一般情況下標記只有兩個類別：正和負。多實例學習的目標是學習得到一個分類器，使得對新輸入的樣本可以給出它的正負標記、目前，多實例學習在病理圖像中的應用是將病理圖像切割成小圖作為實例，經過訓練過的分類器得到小圖的標記，將小圖的正負標記（即癌變的小圖以及正常的小圖）用不同的顏色區分拼接后得到大圖作為偽標簽。但在這項工作中，切割成的小圖的分辨率不可以太小（太小會使結果誤差較大）。弱監督語義分割中還有一種常用方法，利用圖像特征提取熱力圖做偽標簽，圖像特征提取可以簡單地理解為是圖像中信息對于預測結果的貢獻排名，分數越高（顏色越熱）的地方表示，在輸入圖片中這塊區域對網絡的響應越高、貢獻越大，一般用于弱監督語義分割的預測工作。目前只使用圖像特征提取的弱監督語義分割效果并不算理想，但將其作為多實例學習弱監督的補充卻已足夠，在多實例學習中分割出來的小圖恰好可以進行特征提取，但因為特征提取本身的效果一般而多實例學習的效果卻很不錯，因此本文將多實例學習后標記出的癌癥圖像進行特征提取，進一步細化偽標簽使偽標簽精度更高。

2 方法

2.1 多實例分類模型

本文首先構建兩個不同的圖像的集合，包含癌癥區域的圖像的集合以及正常的圖像的集合。然后將圖像切割成了大小一樣的N×N小圖。使用兩個基于實例學習的分類器對圖像進行篩選，它們具有不同的標準（Max-Max和Max-Min） 。

Max-Max策略用于選擇每個圖像切割后的小圖中癌變（CA） 概率最高的小圖，然后將其加入癌癥區域的合集中。而Max-Min策略則是在圖像級標簽為癌癥的圖片中選擇含癌癥區域概率最高的小圖，并在圖像級標簽為非癌癥（NA） 的圖片中選擇正常區域概率最4EXZpuvRO02s3AaVSHAeMpo8R+LBulw5YDSoSByjhJk=高的小圖。在組合多實例學習中，將這兩個標準結合起來，以減少分布偏差問題，并獲得一個更平衡的數據集。

如果圖像的圖像級標簽表示其為癌變（CA） 圖像，那么切割后的小圖中至少有一個包含癌變區域；如果圖像的圖像級標簽表示其為非癌變（NA） 圖像，那么切割后的小圖中都不包含癌變區域。Max-Max策略旨在選取每個癌變圖像中癌變概率最高的小圖，以構建癌癥區域的合集。而Max-Min策略則進一步考慮了非癌變圖像，從中選取正常區域概率最高的小圖。在組合多實例學習中，結合這兩種策略可以有效地減少數據分布偏差，從而得到一個更加平衡的數據集。

選擇VIT[9]作為分類器。兩個基于多實例學習的分類器在相同的配置下分別進行訓練，訓練結束后，本文將相同的訓練數據輸入兩個訓練好的分類器中，在相應的標準下篩選出癌變圖片與正常圖片，作為預測的結果。圖1為組合多實例學習的示意圖。

2.2 提取圖像特征制作偽標簽

經過預測小圖癌變概率，將概率大于0.5的圖片視為具有癌變區域的圖片，概率小于0.5的視為正常的圖片，然后將小圖拼接回大圖，直接將癌變區域與正常區域用顏色區分作為偽標簽。為了使偽標簽更加精確，再對圖片進行訓練，如圖2所示，本文借鑒了ResNet-MIL[10]對VGGNET16神經網絡進行了一些改進。VGGNet16原本最后輸出的是多維的并且分辨率顯著降低的圖片，這樣的結果并不能作為病理圖像的偽標簽使用。經過改進，可以使輸出的多維特征圖融合到一張上，并且分辨率恢復到輸入圖片大小。主干網絡使用了VGGNet16，用來提取癌變特征。Vgg?Net16在整體上可以劃分為8個部分（8段），前5段為卷積網絡，后3段為全連網絡。前5段的卷積網絡都是由卷積層、RELU激活函數與最大池化層組成。卷積層提取特征，最大池化層用于降低模型計算量和擴大網絡感受野。由于VGGNet16最后一層卷積輸出的特征圖是多維的，而實驗需要輸出的特征圖是二維的，因此對最后的特征圖進行了1×1的卷積操作，將特征圖降低到二維。使用sigmoid激活函數讓輸出熱圖上每個點的值處于0～1，從而能夠反映概率。為了獲得和原始輸入圖像分辨率大小相同的熱圖，對輸出熱圖采用了雙線性插值上采樣的辦法，而沒有使用反卷積。因為考慮使用反卷積會引入更多的參數，從而導致網絡過擬合。經過訓練最后將概率高于0.5的像素視為癌變像素點，低于0.5的視為正常像素點，將二者用兩種不同的顏色代替，作為偽標簽。

2.3 圖像分割

得到圖像的偽標簽之后，就可以使用完全監督的方式訓練分割模型。選擇醫學影像分析中常用的Unet模型來進行分割。U-net整體是編碼器-解碼器結構，如圖3所示。網絡的整體結構形似一個大寫的英文字母U。編碼器主要由卷積層與池化層組成，用于提取特征，由兩個3×3的卷積層再加上一個2×2的最大池化層組成一個下采樣的模塊，一共經過4次這樣的操作。解碼器由一層反卷積+特征拼接+兩個3×3 的卷積層反復構成，一共經過4次這樣的操作，最后接一層1×1卷積，降維處理，即將通道數降低至特定的數量，得到預測圖。

3 實驗

3.1 實驗實現

本文利用BRACS 數據集進行了實驗，隨機從BRACS中抽取500張作為訓練集，47張作為測試集驗證實驗的有效性。實驗中考慮到顯卡內存空間的限制，同時保留圖片更多的空間信息，切割出來的小圖均調整到512×512像素大小。

組合多實例學習中的實例分類器和再訓練步驟都使用Adam優化器進行訓練，固定學習率為0.000 1。在多實例學習中，batch size設置為8。在重新訓練步驟中，batch size設置為16。在分割階段， U-Net使用Adam 優化器進行訓練，固定學習率為0.001，batchsize為8。

3.2 制作偽標簽

利用組合多實例學習分類模型篩選出小圖中癌變區域與正常區域后，將癌變圖片輸入改進的VGG16 模型，得到特征圖，再對特征圖進行卷積、上采樣等操作后，將特征圖進一步轉化為偽標簽，最后將小圖拼接回原圖大小的偽標簽圖。在CAMEL模型[11]中在使用組合多實例學習篩選出正常區域與癌變區域后，直接將得到的區別后的小圖拼接回大圖作為偽標簽。以醫生的標注作為標準，測試偽標簽的精度，在訓練集數據上使用組合多實例學習方法得到CAMEL的偽標簽后，再進行特征提取得到本文需要的偽標簽。從表2可以看出，特征提取后的偽標簽精確度要高于沒有進行特征提取的偽標簽。

3.3 利用偽標簽進行完全監督分割

得到偽標簽之后，就可以對病理圖像進行分割，將偽標簽作為訓練集標簽進行完全監督語義分割，分割模型采用U-net結構。將本文模型（VGG-MIL） 與當下弱監督語義分割常用的模型進行比較，很明顯，本文的模型VGG-MIL效果最為優秀。

4 結束語

計算機輔助診斷組織病理圖像能夠減輕病理醫師的負擔。在本項研究中，本文提出了一個弱監督學習框架，用于僅使用圖像級標簽的組織病理學圖像分割。該框架能夠利用圖像級標簽生成像素級偽標簽，并取得了相當不錯的分割結果。更重要的是，這種弱監督學習語義分割的方法可以推廣到其他組織病理學圖像分析研究中。在本項研究中，利用圖像級標簽獲取的種子區域在訓練過程中是固定不變的，且種子區域對訓練結果起著決定性作用。若種子區域質量不佳，也會對訓練結果產生負面影響。在未來的工作中，可以考慮利用區域生長法使這些種子區域不斷變化，而變化的準則則由相鄰點之間卷積神經網絡學習到的特征相似性決定。這樣做可以增加網絡對種子區域生成質量的容錯率，有利于最終分割效果的提升。