一種自監督宮頸細胞分類方法

摘要：深度學習的發展有效地提升了宮頸細胞分類的準確率。深度神經網絡的訓練需要大量的標注數據。而宮頸細胞圖像的標注需要專業的醫生，且標注工作量大，成本高。這使得宮頸細胞圖像標注數量不足，從而限制了宮頸細胞分類性能的進一步提高。針對以上問題，提出了一種有效利用臨床中大量未標注數據的宮頸細胞分類方法。該方法首先采用SimCLR訓練一個改進的ResNet網絡對細胞進行特征提取。然后用全連接神經網絡根據提取的特征信息進行分類預測。在宮頸細胞分類的實驗中，該方法使用512張標注圖像得到87.85%的準確率和77.10%的精確度，相比于對比方法更加優越。

關鍵詞：細胞分類;自監督;SimCLR

DOI：10.15938/j.jhust.2022.03.006

中圖分類號： TP391.41文獻標志碼： A文章編號： 1007-2683（2022）03-0045-07

The Method of Self-supervised Cervical Cell Classification

GAI Jin-ping1，QIN Jian1，HE Yong-jun1，PENG Chen-hui2

（1.School of Computer Science and Technology， Harbin University of Science and Technology， Harbin， 150080， China;

2.The Second Affiliated Hospital of Harbin Medical University， Harbin， 150081， China）

Abstract：The development of deep learning has effectively improved the accuracy of cervical cell classification. The training of deep neural networks requires a large amount of labeled data. However， the labeling of cervical cell images requires specialized physicians and the labeling workload is heavy and costly. This results in an insufficient number of cervical cell image annotations， thus limiting further cervical cell classification performance improvements. In response to the above problems， a cervical cell classification method that effectively utilizes the large amount of unlabeled data in the clinic is proposed. The method first uses SimCLR to train a modified ResNet network for the feature extraction of cells. Then a fully connected neural net is used to make classification predictions based on the extracted feature information. In the experiment of cervical cell classification， the method in this paper obtained 87.85% accuracy and 77.10% precision using 512 annotated images， which is more superior compared to the comparison method.

Keywords：cell classification; self-supervision; SimCLR

0引言

宮頸癌直接威脅著女性生命安全，是全球最常見的癌癥之一。世界衛生組織/國際癌癥研究署發布的《2018全球癌癥報告》[1]顯示，2018年宮頸癌新發病例57萬，死亡病例31.1萬，居女性發病和死亡癌癥原因第4位。我國是宮頸癌的高發區，每年新發病例達到10萬例左右，占世界新發病例的四分之一。近十幾年來我國發病與死亡率呈上升趨勢，發病年齡也逐步年輕化。宮頸癌的最主要病因是高危型人乳頭瘤病毒（high-risk human papilloma virus， hrHPV）的持續感染，感染細胞在發展為癌細胞之前通常要經歷一個漫長的變化過程，對宮頸癌病變過程篩查，能夠實現早期發現與治療，有效降低發病率和死亡率。宮頸液基薄層細胞檢測（thinprep cytologic test， TCT）是目前十分有效的篩查方案。但傳統人工篩查宮頸細胞需要大量專業的病理醫生，且篩查主觀性高，即使是有經驗的醫生，也容易因疲勞而導致誤診率上升。

為解決這些問題，許多計算機輔助閱片系統應運而生，這些自動化輔助閱讀系統以自動化圖像分析技術為基礎，自動從給定的宮頸細胞學切片中選擇潛在的異常細胞，由細胞病理醫生進一步審查并進行精細分類。這些計算機輔助閱片系統的分析包括3個步驟：細胞分割、特征提取和細胞分類[2]。能否從分割后的細胞中提取有效特征直接影響著細胞分類的準確度。由于宮頸細胞的復雜性，人工特征很難提取，而且特征選擇過程中可能會忽略一些有效的特征，并有許多冗余特征。近年來基于深度學習（deep learning， DL）方法的特征提取特別是卷積神經網絡（convolutional neural network， CNN）在計算機視覺方面取得巨大成就。同時也顯著提升了計算機輔助宮頸細胞圖像分類的性能。例如Zhang等[3]采用CNN從細胞核掩膜的中心提取patch對單個細胞進行分類，并通過遷移學習對模型進行訓練。該方法在Herlev基準巴氏宮頸涂片數據集上獲得了98.6%的分類準確率。Y. Promworn等評估了包括ResNet101[4]、DenseNet161[5]、AlexNet[6]、VGG19_bn[7] 和 SqueezeNet1_1[8]在內的5個深度學習模型在 Herlev 數據集上的性能，將訓練集、驗證集和測試集的比例設置為7∶2∶1。并在宮頸細胞二分類和七分類的任務中，獲得9438%和6854%[9]的最大準確率。

上述方法在Herlev公開數據集或SIPaKMeD[10]公開數據集上均取得較高的準確率，但Herlev數據集數據量小，異常細胞特征明顯。然而，在臨床實踐中，不同種類異常細胞間的差異較小，僅使用少量標記圖像訓練 CNN 并不能獲得較好的分類效果。CNN需要大量有標注數據，以獲得更高的準確率。但宮頸細胞的標注需要宮頸細胞病理知識，標注難度大，成本高。相比之下，獲得大量未標注的宮頸細胞圖像更加容易。利用未標注的數據最直接的方法是將其用于訓練自動編碼器以初始化任務特定的 CNN。然而，自動編碼器中使用的損失函數是 L2損失，它導致自動編碼器學習的特征對于判別任務作用有限。此外，使用預訓練模型可以緩解對標注數據量的依賴。但由于自然圖像的強度分布與醫學圖像不同，來自自然圖像領域的預訓練模型對醫學圖像分類性能提升效果有限[11]。

自監督學習是近年來越來越流行的一種機器學習策略。它通過數據自身屬性生成監督信息，這種監督信息一般被稱為偽標簽。因此，可以使大量未標注的訓練樣本帶有偽標簽。通過自監督對CNN進行預訓練可以為模型賦予有效的初始權重，在此基礎上使用少量有標注數據可以大幅提升分類效果。因此，在只有有限標注數據可用的情況下，自監督學習是利用未標注數據以提高CNN性能的有效手段[12]。自監督訓練通過完成預任務學習視覺特征。主流預任務可分為兩類：生成式（generative）和判別式（discriminative）。生成式方法學習在輸入空間中生成像素，判別式方法訓練網絡優化基于預任務的目標函數[13]。常見的預任務有灰度圖像著色[14]、圖像補全[15]和圖像拼圖[16]等。宮頸細胞的異常診斷需要將異常細胞與正常細胞進行對比，以確定異常程度。受此啟發，我們采用基于對比學習的判別式自監督方法作為基本方法，并基于Ting Chen等[17]提出的一個視覺表示對比學習框架（a simple framework for contrastive learning of visual representations， SimCLR）作出改進。SimCLR可以通過最大化數據與其增廣數據的相似性同時最小化數據與其它數據的相似性來學習數據的特征表示。因此，可以認為SimCLR提取的樣本特征，是使樣本特征有別于樣本空間中其它樣本的特征。

基于此，本文提出了一種基于SimCLR的圖像分類方法。將方法中采用的網絡稱為SimCLR-ResNet，該網絡模型基于ResNet模塊構建，且由兩個編碼器和一個全連接網絡組成。其中，第1個編碼器用于基于SimCLR的對比特征提取，第2個編碼器用于分類特征的提取。最后由全連接網絡完成對圖像的分類。

用該網絡對宮頸細胞進行分類，實驗結果表明SimCLR-ResNet可以在使用少量標注數據的條件下保證較高的準確率。

1算法實現

1.1ResNet

相比于監督學習，增加模型的深度和寬度可以使自監督學習的性能獲得更大的提升[17]。但隨著網絡深度的增加，梯度消失和梯度爆炸使網絡訓練退化。殘差網絡（residual network，ResNet）是深度卷積神經網絡，通過引入殘差塊，ResNet有效地解決了網絡中層數增加引起的退化問題。因此，我們提出的方法以殘差塊構建網絡模型。一個殘差塊如圖1所示。

圖中，input代表輸入數據，Convolution代表卷積層，對輸入數據進行特征提取，Batch Norm對輸出特征進行歸一化，ReLU函數對輸出進行非線性映射。最后，將input和歸一化后的特征相加，經過ReLU函數得到殘差塊的輸出。

1.2SimCLR

SimCLR是基于對比學習的自監督視覺特征提取算法框架。它將輸入樣本的數據增強作為正樣本，將同一batch的其它輸入樣本作為負樣本，并通過對比損失函數，最大化輸入樣本與正樣本之間的特征距離，同時最小化輸入樣本與負樣本之間的特征距離并以此學習樣本特征。SimCLR算法流程如圖2所示。

算法首先對每個輸入樣本執行兩個不同的數據增強操作，即t和t′，獲得該樣本的兩個不同視圖，即x～i和x～j，并將其視為一個正樣本對。其中，數據增強操作從一個數據增強集合T中選擇，T包括裁剪、旋轉、色彩擾動和隨機高斯模糊。然后通過一個編碼器f（·）從x～i和x～j中提取特征hi和hj，SimCLR選擇ResNet網絡作為編碼器f（·）。

然后將特征向量hi和hj作為多層感知機（multi-layer perceptron，MLP）g（·）的輸入，并得到輸出zi和zj。SimCLR通過一個損失函數來最大化zi和zj的相似性，該損失函數定義如下：

li，j=-logexp（sim（zi，zj）/τ）∑1[k≠i]exp（sim（zi，zk）/τ）（1）

其中：zk為其他樣本增強數據的特征向量;1[k≠i]∈{0，1}是一個指示函數，當k≠i時取1，否則取0;τ代表一個常數。最終依據所有的正樣本對，即（i，j）和（j，i），和同一個batch中的所有負樣本計算損失函數的值。sim（·）是計算相似度的函數，定義如下：

sim（zi，zj）=ziTzj/（‖zi‖×‖zj‖）（2）

其中，zTi是zi的轉置‖zi‖和‖zj‖分別是zi和zj的模。訓練完成后，將編碼器f（·）及特征表示h用于下游任務。

1.3SimCLR-ResNet

SimCLR算法最大化輸入樣本與正樣本之間的特征距離，同時最小化輸入樣本與負樣本之間的特征距離。因此可以認為，通過SimCLR算法訓練的編碼器f（·）提取的特征在特征空間中有更大的區分度。我們提出的網絡由兩個編碼器和1個分類器組成，第1個編碼器采用SimCLR預訓練，用于提取基于SimCLR的特征表示h，第2個編碼器在第1個編碼器的基礎上提取分類特征，兩個編碼器通過1×1卷積[18]連接，最后由全連接網絡組成的分類器進行分類。1×1卷積對特征表示h進行了特征降維，這有助于減輕過擬合，提高模型在少量訓練數據下的準確率。網絡訓練過程及網絡結構如圖3所示。我們首先對第1個編碼器進行SimCLR預訓練，其中數據增強方法選擇旋轉、高斯模糊和色彩擾動。然后利用少量標注數據對整個模型進行監督訓練完成對圖片的分類。

值得注意的是，SimCLR-ResNet的所有卷積操作中，卷積核移動的步長均為1，填充方式為SAME。卷積操作中s表示卷積核尺寸，k表示卷積核個數，模型中激活函數都選擇ReLU。池化方式選擇最大池化。網絡的輸入是尺寸為64×64的圖片，通過兩次特征提取后，由兩個全連接網絡和一個softmax層組成的分類網絡進行分類。節點個數為4的softmax層執行宮頸細胞分類任務，或是節點個數為5的softmax層執行SIPaKMeD分類任務。

2實驗及結果分析

實驗部分基于自建宮頸細胞數據集和SIPaKMeD數據集進行分類實驗。實驗結果同主流方法進行了橫向對比，同時對SimCLR-ResNet進行了消融實驗。此外，針對不同batchsize進行了對比實驗。

2.1數據集

為了驗證我們提出的方法在宮頸細胞分類任務上的優越性，實驗數據集分別采用我們自建的宮頸細胞數據集和SIPaKMeD宮頸細胞數據集。

2.1.1自建數據集

我們從哈爾濱醫科大學第二附屬醫院收集了800張TCT涂片，并使用20倍物鏡的數字玻片掃描儀（WS-10，WISILEAP）對全視野數字玻片（the whole slide images，WSIs）進行掃描。如表1所示，數據集包含70197張單細胞圖片。正常類型為表層細胞和中層細胞，異常類型為ASC-US、HSIL。

實驗數據從該數據集中隨機抽取每類數據各4000張，共16000張圖片。實驗所用部分數據如圖4所示。

2.1.2SIPaKMeD數據集

SIPaKMeD數據集包含4049張標注數據，基于細胞特征形態分為5類。分別為中表層細胞（superficial-intermediate）、基底層細胞（parabasal）、角化細胞（koilocytes）、角化不良細胞（dyskeratotic）和良性細胞（Metaplastic）。

2.2相關環境和參數設置

本文主要的硬件實驗環境為一塊Xeon-E5-2680-v3 CPU，一塊GTX 2080Ti GPU，在pytorch 1.4.0框架基礎上構建模型。對于SimCLR預訓練任務，模型優化器選擇SGD，batchsize設置為512，迭代次數epoch設置為500次，學習率lr設置為10-2，失活率dropout設置為0.5，這樣的參數設置能使模型達到理想性能;在使用監督訓練對微調模型時，我們同樣經過多次參數調整與測試，最終確定將學習率設置為10-4時性能最佳，batchsize設置為256，迭代次數epoch設置為100。為了評估算法的有效性，我們選擇準確率（accuracy，ACC）和精確度（precision，P）作為評價標準，其中ACC取值為平均ACC。

2.3實驗結果分析

2.3.1宮頸細胞四分類實驗

我們在自建數據集上分別使用SimCLR-ResNet、ResNet18、ResNet101、ResNet152、ResNetXt50、ResNetXt101、VGG19、和Deep （Conv）with SVM[20]進行分類。并記錄在使用不同數量的標注數據對各個模型進行監督訓練時分類的準確率。各個模型分類的準確率如表2所示，其中ResNet18使用SimCLR進行預訓練。

根據實驗結果可知，SimCLR-ResNet在使用少量圖片進行監督訓練時即可達到較高的分類準確率。隨著訓練集規模的增大，其他模型的準確率逐漸與SimCLR-ResNet的準確率接近。在使用少量標注數據時，由于SimCLR-ResNet對模型中的預訓練模塊提取的特征進行了特征降維，縮小了特征空間，在此特征空間進行特征提取后分類可以通過更少的標注數據獲得更高的準確率。使用SimCLR預訓練的ResNet18網絡模型在使用512張標注圖片進行微調后的分類準確率低于SimCLR-ResNet，相差幅度超過10%，反映了SimCLR-ResNet在特征降維后進行特征提取的有效性。

因為SimCLR-ResNet在使用512張標注圖片時較其他對比方法優勢明顯，且更高的精確度對提高病理醫生的閱片效率更有幫助，我們使用精確度對各模型在使用512張圖片和16000張圖片進行監督訓練時的表現進行評價，以評估SimCLR-ResNet在使用少量標注數據時的分類有效性，結果如表3所示。

根據實驗結果可知，在使用512張標注數據時，我們的方法在精確度方面有較大優勢。說明基于SimCLR的自監督預訓練使模型提取到了更有效的特征，幫助模型正確分類細胞。在使用16000張標注數據時，各個方法精確度差距不大，說明標注數據量的提升可以在一定程度上提升模型分類的精確度。

2.3.2SIPaKMeD分類實驗

我們在SIPaKMeD數據集上分別使用SimCLR-ResNet、ResNet18、ResNet50、ResNet101、VGG19進行分類。并記錄在使用不同數量的標注數據對各個模型進行監督訓練時分類的準確率。實驗結果如表4所示，其中ResNet18使用SimCLR進行預訓練。

從實驗結果可以看出，在使用64張圖片作為訓練集時，SimCLR-ResNet準確率為63.53%，而ResNet模型準確率最高22.90%。同時，ResNet18的準確率為61.16%。這表明SimCLR預訓練使模型具有更好的特征提取能力，而我們提出的方法可以在此基礎上利用更少的數據大幅提升準確率。各模型準曲率均隨著訓練數據的增加不斷提升。本文提出的SimCLR-ResNet模型在公開數據集上也獲得了較高的準確率，證明了本文方法有效性。

2.3.3batchsize討論

在預訓練過程中，SimCLR受益于更大的batchsize，而本文的方法基于SimCLR實現。因此，我們在宮頸細胞四分類實驗中對batchsize進行了討論，以分析batchsize對SimCLR預訓練以及分類效果的影響。因硬件資源有限，batchsize最大設置為1024。分別設置batchsize為256、512和1024并對SimCLR-ResNet使用SimCLR方法進行預訓練，然后使用512個標注數據對模型進行微調，得到實驗結果如圖5所示。

根據實驗結果可知，增大batchsize可以在一定程度上提升分類準確度。更大的batchsize意味著在一個訓練批次中每個樣本的負樣本更多，因此可以使模型在SimCLR預訓練過程中學習到更有效的特征。

3結語

針對深度學習在宮頸細胞篩查時由于標注少引起性能下降的問題，本文提出了基于SimCLR自監督預訓練的宮頸細胞分類方法。通過對自建宮頸細胞數據集和SIPaKMeD數據集分類實驗的結果進行比較與分析，證明了所提出的模型通過SimCLR預訓練能夠更有效的提取與樣本及其樣本空間相關的特征信息;特征降維及之后的特征提取可以減輕過擬合，并使模型使用少量標注數據獲得較高的分類準確率。本文提出的方法能夠在較大程度上降低對標注數據的需求，從而緩解深度學習在解決宮頸細胞分類問題時需要大量人工標注的問題，進而降低深度學習在宮頸細胞分類領域的使用成本。

醫療診斷對深度神經網絡的可解釋性要求較高，因此接下來的研究方向是進一步拓展網絡結構，提升網絡提取特征的可解釋性，為醫療診斷提供更確切的依據。

參 考 文 獻：

[1]BRAY F， FERLAY J， SOERJOMATARAM I， et al. Global Cancer Statistics 2018： GLOBOCAN Estimates of Incidence and Mortality Worldwide for 36 Cancers in 185 Countries[J]. CA： A Concer Journal for Clinicians， 2018， 68（6）： 394.

[2]王嘉旭，薛鵬，江宇，喬友林.人工智能在宮頸癌篩查中的應用研究進展[J].中國腫瘤臨床，2021，48（9）：468.

WANG Jiaxu， XUE Peng， JIANG Yu， et al. Research Progress in the Application of Artificialintelligence in Cervical Cancer Screening，2021，48（9）：468.

[3]ZHANG L， LU L， NOGUES I， et al. Deeppap：Deep Convolutional Networks for Cervical Cell Classification[J]. IEEE J Biomed Health， 2017， 21（6）： 1633.

[4]HE K， ZHANG X， REN S， et al. Deep Residual Learning for Image Recognition[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016： 770.

[5]HUANG G， LIU Z， VAN Der Maaten L， et al. Densely Connected Convolutional Networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017： 4700.

[6]KRIZHEVSKY A， SUTSKEVER I， HINTON G E. Imagenet Classification with Deep Convolutional Neural Networks[J]. Advances in Neural Information Processing Systems， 2012， 25： 1097.

[7]SIMONYAN K， ZISSERMAN A. Very Deep Convolutional Networks for Large-Scale Image Recognition[C]// International Conference on Learning Representations， 2015，5：1.

[8]IANDOLA F N， HAN S， MOSKEWICZ M W， et al. Squeeze Net： AlexNet-level Accuracy with 50x Fewer Parameters and lt;0.5MB Model Size[J]. arXiv.org，2016.

[9]PROMWORN Y， PATTANASAK S， PINTAVIROOJ C， et al. Comparisons of Pap Smear Classification with Deep Learning Models[C]// IEEE 14th Int. Conf. Nano/Micro Engineered Mol. Syst. （NEMS）， Apr， 2019： 282.

[10]PLISSITI M E， DIMITRAKOPOULOS P， SFIKAS G， et al. SIPAKMED： A New Dataset for Feature and Image Based Classification of Normal and Pathological Cervical Cells in Pap Smear Images[C]// 2018 25th IEEE International Conference on Image Processing （ICIP）. IEEE， 2018： 3144.

[11]NGUYEN X B， LEE G S， KIM S H， et al. Self-Supervised Learning Based on Spatial Awareness for Medical Image Analysis[J]. IEEE Access， 2020（8）：162973.

[12]JING L， TIAN Y. Self-supervised Visual Feature Learning with Deep Neural Networks： A Survey[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020，99：1.

[13]MISRA I， MAATEN L. Self-supervised Learning of Pretext-invariant Representations[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2020： 6707.

[14]ZHANG R， ISOLA P， EFROS A A. Colorful Image Colorization[C]// European Conference on Computer Vision. Springer， Cham， 2016： 649.

[15]PATHAK D， KRAHENBUHL P， DONAHUE J， et al. Context Encoders： Feature Learning by Inpainting[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016： 2536.

[16]NOROOZI M， FAVARO P. Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles[C]// European Conference on Computer Vision. Springer， Cham， 2016： 69.

[17]CHEN T， KORNBLITH S， NOROUZI M， et al. A Simple Framework for Contrastive Learning of Visual Representations[C]// International Conference on Machine Learning. PMLR， 2020： 1597.

[18]SZEGEDY C， LIU W， JIA Y， et al. Going Deeper with Convolutions[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2015： 1.

[19]XIE S， GIRSHICK R， DOLLR P， et al. Aggregated Residual Transformations for Deep Neural Networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017： 1492.

[20]AN N N， THANH N Q， YANBING L， et al. Combining Deep Neural Network with SVM to Identify Used in IOT[C]// 2019 15th International Wireless Communications amp; Mobile Computing Conference （IWCMC）. IEEE， 2019： 1145.

（編輯：溫澤宇）