基于遷移學習的宮頸細胞圖像多分類識別

李申，康歡

（廣東工業大學機電工程學院，廣州510000）

0 引言

宮頸癌是全球女性健康的一大威脅，是女性最為常見的癌癥類型之一。同時，如果能夠早期及時發現并治療，宮頸癌有著極高的治愈率[1-3]。因此，宮頸癌的早期篩查對于宮頸癌的防治有著重要意義。目前的篩查方式主要依靠病理醫生人工判讀，這種方法不僅工作量巨大，而且其結果容易受到病理醫生技術水平和主觀情緒的影響。因此，實現宮頸細胞圖像的自動分類系統有著重要的現實意義。

傳統的圖像分類系統首先需要完成針對宮頸細胞圖像的分割工作，然后從分割后的圖像中提取圖像特征，接著訓練特征分類器。Juan Valentín等人[4]使用形態學特征和Haralick紋理特征的組合對宮頸細胞圖像進行了分類，這些特征是從細胞核灰度共生矩陣中獲得的，并通過PCA減少數據維數，并證明了其有效性。蘇潔等人[5]提出了使用兩級級聯分類系統，根據每種細胞類型的特征提出了28個特征，包括20個形態特征和8個紋理特征。然后，使用兩個分類器的兩級級聯集成系統將宮頸細胞分為正常和異常上皮細胞，進一步提高了分類的精度。魯武警[6]提出了基于主動輪廓模型和梯度矢量流的細胞圖像分割算法，并提取分割圖像的形狀特征和顏色特征，使用支持向量機作為分類器，達到了宮頸細胞識別的目的。這種宮頸細胞的分類方法需要研究人員手工完成對宮頸細胞圖像特征提取算法的設計，這不僅要求研究人員具備一定的細胞病理學知識，而且其最終選取的圖像特征也不一定具備代表性。

得益于深度學習算法的飛速發展，使用卷積神經網絡進行醫學圖像分析也成為了一大研究熱點。本文采用基于遷移學習的宮頸細胞圖像的多分類識別，使用卷積神經網絡完成宮頸細胞圖像的特征提取工作和圖像的分類工作，實現端到端的分類算法。這種方法無需手工設計局部特征算法，引入的卷積操作能夠詳細感知圖形局部特征細節，通過神經網絡中的反向傳播不斷更新網絡層權重參數，能夠實現更加準確的宮頸細胞圖像識別。

1 本文方法

本文的目的是為了能夠完成對宮頸細胞的高精度分類研究，設計一個以卷積神經網絡為基礎的宮頸細胞自動分類算法。卷積神經網絡在各類目標檢測、分割和分類任務上都有優異的表現。但是，由于訓練樣本數量的限制，大型的神經網絡在訓練過程中可能出現過擬合的問題，而大型的神經網絡在分類的精度上又有明顯的提升，所以卷積神經網絡的訓練過程中需要一個相當大的數據集，以確保學習到的模型具有高精度的同時具備較好的泛化能力。為了解決在數據量不足的條件下實現高精度的細胞分類，在本文中引入遷移學習[7-8]，使用經過預先訓練的卷積神經網絡完成宮頸細胞分類任務。遷移學習的目的是通過相近領域的信息學習提高在目標領域的學習能力。簡單地說，遷移學習就是將解決A問題獲得的知識用來解決B任務，以期望在B任務中有更好的學習表現。其中，A問題被稱為源領域，B任務被稱為目標任務。具體的遷移學習示意圖如圖1所示。

圖1 遷移學習示意圖

將卷積神經網絡應用于圖像領域時，圖像的特征提取是通過卷積層實現的，不同深度的卷積層可以提取到不同的圖像特征，而池化層的目的主要是為了減少網絡參數數量，縮短訓練時間，節約算力。最后的全連接層則是整合整個網絡提取的特征，最后再通過分類器得到圖像的分類結果。具體的，在圖像分類領域，遷移學習就是通過在大型的圖像數據集上進行深度卷積神經網絡的預訓練，此時獲得的帶有權重的卷積神經網絡模型視為通用的底層特征提取器用于新的圖像分類任務。這種通過在大型數據集預訓練的方式可以充分發揮卷積神經網絡的體系結構優勢，得益于預訓練的網絡模型的參數信息以配置文件的方式儲存，可以將訓練好的權重參數直接對網絡模型進行初始化，無需重新在海量數據集上重新進行訓練，極大節約了網絡的訓練時間。同時，經過預訓練的網絡模型具備了提取通用底層特征的能力，可以提取目標領域的圖像特征得到一個粗略的分類結果。另外，將在大型數據集上訓練得到的權重參數對新的相同結構神經網絡進行初始化，接著通過在目標領域的圖像數據集上進行訓練，可以實現針對目標數據集的網絡權重參數的微調，進一步學習目標領域的圖像特征，通過這種微調的方式也可以極大提升網絡模型在目標領域的分類性能。

本文中的宮頸細胞圖像分類受制于數據量較少，使用卷積神經網絡進行分類時，很容易出現過擬合的情況，所以本文通過遷移學習的方式完成對宮頸細胞的分類。圖2是本文的遷移學習網絡訓練過程，通過轉移在ImageNet數據集上訓練得到的權重到另一個卷積神經網絡完成宮頸細胞的分類。

圖2 遷移學習網絡訓練過程

2 常用的分類網絡模型

2.1 VGG網絡模型

VGG網絡[9]增加了卷積神經網絡模型的深度，證明了增加網絡深度可以有效提高模型的性能。使用多個3×3的卷積核代替了原先較大尺寸的卷積核，其網絡結構非常簡潔，整個網絡結構中卷積核尺寸都為3×3，最大池化尺寸都為2×2。這種卷積操作為后續神經網絡結構的發展奠定了基礎。

2.2 ResNet網絡模型

ResNet[10]網絡模型是在VGG-19的基礎上改進而來，最早由微軟研究院在2014年提出。VGG網絡模型在加深網絡層數時出現了模型退化現象，也就是當VGG網絡結構層數大于19時，模型的精度出現大幅的下降。ResNet通過殘差連接的方式，使得原始的輸入信息能夠直接傳遞到后面的網絡結構中，這樣保留了部分原始信息，得以在網絡深度較大的模型中進行參數的學習，在一定程度上解決了因網絡層數加深造成的梯度彌散問題，該模型是在ImageNet上提出的較深的卷積神經網絡模型之一。

2.3 DenseNet網絡模型

DenseNet[11]網絡模型是一種采用密集連接方法的卷積神經網絡，為了保證各個網絡層之間的信息連接，將所有網絡層直接相互連接。DenseNet模型為了充分利用淺層神經網絡提取到的圖像特征，將每一層的輸入都加入了先前所有層的輸出，并將其自身的特征圖傳遞給后續所有的網絡層。與ResNet網絡模型不同，DenseNet模型沒有采用求和的方式進行特征的組合，而是通過串聯的方式組合不同網絡層提取到的圖像特征。這種密集連接的網絡直觀上可能會產生網絡模型參數，實際上得益于不需要重新學習冗余的特征圖，DenseNet模型的參數更少。

3 實驗過程

3.1 數據集介紹

目前公開的宮頸細胞涂片數據集有SIPaKMeD數據集[12]和Herlev數據集。其中，SIPaKMeD數據集包含4031張細胞圖像，由病理學醫生根據細胞形態特征分為5類。Helev數據集共包含917張細胞圖像，由病理學醫生根據細胞形態特征分為7類。為了提高卷積神經網絡的泛化能力，本文使用的數據集為上述兩個數據集的集合，在病理學醫生的指導下對上述兩個數據集細胞圖像進行了二次歸類，新集合的宮頸細胞分布如表1所示。

表1 本文使用宮頸細胞圖像分布

3.2 模型訓練過程

本文在深度學習平臺PyTorch中實現了3種神經網絡模型結構：VGG-19、ResNet50和DenseNet121。這些網絡模型都在包含1300萬張自然圖像的ImageNet數據集上進行了預訓練。在本文的宮頸細胞分類任務中，將卷積神經網絡模型的全連接層神經元個數修改為類別數，本文的類別數為5類，將最后的輸出層個數大小從原來的1000修改為5。通過隨機梯度下降（SGD）反向傳播[13]對網絡模型進行微調。訓練集大小占70%，交叉驗證集占20%，測試集占10%。在模型的訓練過程中采用SGD優化算法進行梯度更新，批次大小設置為32，最大訓練批次為30。損失函數定義為交叉熵損失函數。學習調整策略采用余弦退火學習率[14]，在訓練初期學習率從一個較小的值增大到0.001，然后按照余弦曲線的規律逐漸遞減。同時，由于不同的神經網絡模型都是針對特定大小的輸入圖像，VGG19模型的輸入圖像大小為224×224，ResNet50模型的輸入圖像大小為224×224，DenseNet121模型的輸入圖像大小為512×512。在實驗過程中，每個圖像都被調整為對應的大小以使用不同神經網絡模型的輸入層。

3.3 算法優化

（1）數據增強。在卷積神經網絡的訓練過程中，數據集的大小對模型最終的精度以及泛化能力有著很大的影響。本文的所采用的宮頸細胞圖像來自兩個經專業病理醫生標注的混合數據集，但數據集的大小依然不夠理想。使用數據增強方式[15]對數據集進行擴充是一種提高模型精度和泛化能力的重要手段，避免了因數據集過小而產生的過擬合現象。本文的數據增強具體方式考慮到實際細胞圖像采樣過程中可能會出現的旋轉、鏡像以及明暗變化情況對數據集進行了擴充。如圖3所示為以左上角原始細胞圖像為例，進行旋轉變換、亮度變換和鏡像變換的效果圖。

圖3 數據增強細胞圖像

（2）測試增強。測試增強[16]是將數據增強技術應用于測試數據集的一種方法。數據增強技術廣泛應用于卷積神經網絡的訓練過程中，能夠在一定程度上提高模型的精度，減少泛化誤差。在使用網絡模型進行預測時，同樣可以使用數據增強技術，使得模型針對測試數據集每個圖像的多個不同版本進行預測，對全部預測結果進行平均，以獲得更好的預測性能。具體的，測試時增強包含3個步驟，①為測試集中的每個圖像創建多個增強圖像，通常包括平移、裁剪和圖像翻轉等，如圖4所示。②為上述每個圖像做出預測，預測過程中會產生不同的置信概率。③為預測圖像分配平均置信概率最大的類別。

圖4 測試增強方法示意圖

（3）標簽平滑。在神經網絡的學習過程中，理論上損失函數的值越小越好，損失函數越小說明模型的輸出與真實值的差距越小。但是，如果學習的樣本中存在少量的錯誤標簽，此時的錯誤的標簽也會對網絡模型產生影響，從而使得整個網絡模型的精度下降。本文使用的宮頸細胞圖片是在病理醫生的指導下完成的分類，但是考慮到不同類別的宮頸細胞有時其圖像特征差距并不大，分類的結果可能存在一定的誤差。標簽平滑[17]是神經網絡學習過程中的一種正則化方法，可以防止“過分”相信預測標簽，改善模型的泛化能力。具體的，在分類問題中，通過采用獨熱編碼，目標類別為1，非目標類別為0。其標簽向量yi的數學表達式如式（1）所示。

在神經網絡模型的訓練過程中，預測概率與標簽真實值之間的差值不斷減小，錯誤標簽促使神經網絡模型向錯誤的方向學習，使得模型的訓練變得困難，泛化能力變差。

標簽平滑使用新的標簽向量的表達公式代替獨熱編碼，數學表達式如式（2）所示：

式中N為分類的總類別數，α為標簽平滑參數，通常取0.1。

此時的交叉熵損失函數為式(3)所示：

此時的損失函數分布相當于加入了噪聲，避免了模型對于正確標簽的“過分自信”，提高了網絡模型的泛化能力。

4 實驗結果分析

4.1 遷移學習結果

本文的宮頸細胞圖像分類實驗中，采用的預訓練模型分別為VGG19、ResNet50、和DenseNet121。經過反向傳播微調的神經網絡模型的五分類混淆矩陣如圖5所示。由圖5可以看出各個網絡模型對于表層、中層鱗狀細胞的識別精度最高，結合細胞圖像信息，這類細胞的細胞通常呈現規則圓形,細胞核較小且容易識別。其中，DenseNet121取得最高查準率0.921。具體的網絡模型的評價精度指標匯總如表2所示。

圖5 不同微調模型的分類結果混淆矩陣

表2 不同網絡模型分類精度對比

4.2 算法優化結果

為了驗證本文所使用的優化策略的有效性，在相同實驗條件下，進行了宮頸細胞圖像的分類實驗，最終結果如表3所示。可以看出，采用數據增強、測試增強以及標簽平滑后，宮頸細胞圖像的分類精度有了很大的提升。最終的宮頸細胞圖像分類精度達到查準率0.936，召回率0.931，F1-Score 0.933。

表3 優化前后模型精度對比

5 結語

本文通過卷積神經網絡模型實現了針對宮頸細胞圖像的自動分類識別，使用遷移學習初始化不同的分類網絡模型，對比了不同模型在混合數據集的分類精度。同時，采用數據增強、測試增強和標簽平滑的優化策略，進一步提升了宮頸細胞圖像的分類精度，驗證了優化策略的有效性。基于DenseNet121模型遷移學習的分類精度最高，查準率達到了0.936。可以在一定程度上幫助病理醫生對宮頸癌篩查結果做出診斷，有益于宮頸癌疾病的防治。