基于深度遷移學習的甲狀腺癌術中冷凍切片病理診斷模型研究

嚴丹丹,饒 潔,尹修恒,鞠仙莉,黃奧玲,陳正卓,夏良兵,袁靜萍

甲狀腺癌是常見的惡性腫瘤,發(fā)病率較高。根據(jù)甲狀腺癌的病理組織學類型,可分為乳頭狀癌、濾泡狀癌、髓樣癌和未分化癌四種,其中乳頭狀癌的發(fā)病率最高(約占80%)[1]。盡管大多數(shù)甲狀腺癌患者術后預后較好,但仍有10%患者死于復發(fā)或轉移[1]。術中冷凍HE切片病理診斷是甲狀腺疾病術中病理診斷的重要手段,病理醫(yī)師需在30 min內對病變的類型及性質進行判斷,其病理診斷結果對指導病灶切除范圍和制定精確的手術治療方案具有重要意義。在以往的術中冷凍HE切片病理診斷過程中,由于診斷時間限制和(或)診斷經驗不足,甲狀腺惡性腫瘤存在漏診、誤診的可能。

隨著人工智能(artificial intelligence, AI)的發(fā)展,一些學者將深度學習卷積神經網(wǎng)絡技術應用于肺癌、前列腺癌、乳腺癌和胃癌的數(shù)字病理切片圖像分析中,已經證明深度學習是開發(fā)病理輔助診斷模型的有力工具[2]。深度遷移學習是一種重要的機器學習技術,它可以在數(shù)據(jù)缺乏或時間緊迫等情況下利用已有的知識和經驗來解決建模問題。深度遷移學習通常將已建立的模型定義為初始模型,使用另一個領域已標注的數(shù)據(jù)對其進行二次訓練,從而實現(xiàn)“遷移”學習的效果。通過將一個領域中已經學習到的知識應用于另一個領域,深度遷移學習可以加速模型的訓練、提高模型的性能和泛化能力[3]。本文采用乳腺疾病術中冷凍HE切片病理圖像診斷模型作為初始值,使用少量甲狀腺術中冷凍HE切片病理標注數(shù)據(jù)進行遷移學習。通過比較從零學習和遷移學習兩種模型的性能差異,以探索深度遷移學習在病理圖像分類中的有效性。

1 材料與方法

1.1 臨床資料收集2021年1月～2022年12月武漢大學人民醫(yī)院病理科682例甲狀腺疾病術中冷凍HE切片標本,包括245例良性病變、349例乳頭狀癌、70例濾泡狀癌、10例髓樣癌和8例未分化癌。所有切片均使用江豐KF-PRO-005掃描儀掃描成×20數(shù)字病理圖片(WSI),按照8 ∶2的比例分為訓練集和內部測試集,其中546張WSI用于模型訓練,136張用于模型測試。訓練集中有病變的圖片由具有15年病理診斷經驗的高級職稱病理醫(yī)師進行像素級別的標注。此外,收集湖北省荊州市監(jiān)利縣人民醫(yī)院2019年1月～2021年12月甲狀腺疾病術中冷凍HE切片633例,包括良性病變210例、乳頭狀癌330、濾泡狀癌76例、髓樣癌8例、未分化癌9例,使用江豐KF-PRO-005掃描儀掃描成×20數(shù)字病理圖片作為外部測試集。

1.2 方法

1.2.1模型構建 對于訓練集和測試集中的所有數(shù)據(jù),按照本研究前期建立的方法[4],首先采用Otsu算法和形態(tài)學濾波技術過濾切片圖像的背景區(qū)域。然后,在20×視野下,以一定的步長將整張WSI按照580×580大小切割成圖像塊。在訓練集中共生成859 662個陰性(不含癌區(qū)域)圖像塊和1 368 756個陽性(含癌區(qū)域)圖像塊,采用基于VGG算法建立甲狀腺疾病癌區(qū)識別分類模型,實現(xiàn)陽性區(qū)域與非陽性區(qū)域圖像的像素級識別。在模型訓練過程中,將乳腺疾病術中冷凍HE切片圖像分類模型的參數(shù)作為初始值,通過深度遷移學習方法,納入甲狀腺疾病術中冷凍HE切片病理圖像數(shù)據(jù),對模型參數(shù)進行二次訓練。在前期的乳腺疾病術中冷凍HE切片圖像模型訓練中,其訓練模型是基于牛津大學提出的VGG卷積神經網(wǎng)絡模型,同時引入了拉普拉斯圖像增強和加權損失函數(shù)方法進行優(yōu)化的深度學習模型,該模型由1 412張乳腺HE切片訓練,包括良性病變、原位癌、浸潤癌,訓練后模型的準確率在訓練集達88.7%、在測試集達82.27%[5]。在模型構建過程中,訓練集圖像塊經過隨機旋轉和鏡像變換處理進行圖形增強,同時對圖像的亮度、飽和度、對比度和色調進行隨機擾動,以增強模型對不同切片染色效果的兼容性。

1.2.2模型測試 在預測過程中,輸入WSI經過預處理后,提取所有有效HE圖像塊輸入模型。在模型得出圖像塊級別的預測概率后,標記病變發(fā)生位置的熱力圖。WSI級別分類階段的預測概率是從圖像塊級別分類階段的預測概率熱力圖中提取形成的。鑒于病理診斷更關注WSI級別的預測概率,在圖像塊分析完成后,取每張WSI像素級預測概率值最大的前100個概率值的均值作為整張WSI切片的預測概率。深度學習神經網(wǎng)絡算法分類模型如圖1所示。

圖1 深度學習神經網(wǎng)絡VGG算法分類模型

1.3 指標評價為評估深度遷移學習的分類效果,本研究將內部測試集和外部測試集中WSI級別的預測結果分別與原始分類標簽進行比較,提取真陽性(true positive, TP)、假陽性(false positive, FP)、假陰性(false negative, FN)和真陰性(true negative, TN)四格表資料數(shù)據(jù),以Accuracy、Precision、Recall、F1-socre值4個指標來評價其性能。其中Accuracy代表正確預測的樣本占總樣本的百分比,Accuracy=(TP+TN)/(TP+TN+FP+FN);Precision代表預測為某一類的樣本中真正該樣本的百分比,即查準率Precision=TP/(TP+FP);Recall代表樣本中的某一類樣本預測正確的百分比,即查全率Recall=TP/(TP+FN);F1-Score是綜合評估查準率和查全率的指標,F1-socre=2×Recall×Precision/(Recall+Precision)。

此外,為評價模型的總體分類效果和應用價值,本研究采用ROC曲線下面積(area under curve, AUC)作為指標。AUC值0.5～0.7時準確性較低,AUC值0.7～0.9時準確性一般,AUC值0.9以上時準確性較高,AUC值越接近于1,說明分類總體效果越好。

2 結果

2.1 深度遷移學習模型的有效性本研究對比了使用和不使用遷移學習兩種條件下,深度學習多分類模型在測試集中的表現(xiàn),以評估深度遷移學習模型的有效性。基于深度學習神經網(wǎng)絡VGG算法分類模型,本研究測試集中病理圖像分類結果在內部測試集和外部測試集的Accuracy、Precision、Recall和F1-socre值如表1所示。在內部測試集和外部測試集中,遷移學習模型均具備較好的預測正確率,且遷移學習的查準率和查全率均高于從零學習。

表1 在內部測試集和外部測試集中從零學習和遷移學習模型的分類結果

2.2 深度遷移學習模型的總體性能評價為評估基于深度學習神經網(wǎng)絡VGG算法分類模型對內部測試集和外部測試集數(shù)據(jù)的總體分類效果,本研究采用AUC作為評價指標。內部測試集中,從零學習和遷移學習的AUC分別為0.938和0.956,表明在內部測試集中遷移學習分類效果的總體性能較好(圖2A)。在外部測試集中,從零學習和遷移學習的AUC分別為0.915和0.930(圖2B),表明本研究提出的遷移學習模型在甲狀腺疾病術中冷凍HE切片病理圖像分類模型中具備較好的推廣性和較高的穩(wěn)定性。

圖2 深度學習神經網(wǎng)絡分類模型在內部測試集(A)和外部測試集(B)的性能評價

3 討論

甲狀腺癌是內分泌系統(tǒng)常見的惡性腫瘤,全球發(fā)病率約占所有惡性腫瘤的1.5%。2020年WHO數(shù)據(jù)統(tǒng)計顯示,全球新發(fā)甲狀腺癌病例達43.72萬例,其中女性病例數(shù)為31.18萬,位列第五[6]。過去30年,全球范圍內甲狀腺癌的發(fā)病率大幅增加,已成為十大惡性腫瘤之一。近年來,我國甲狀腺癌的發(fā)病率逐年上升,2022年2月國家癌癥中心數(shù)據(jù)顯示,15～44歲人群中甲狀腺癌的發(fā)病率位居第二[7],而在女性惡性腫瘤中,甲狀腺癌僅次于乳腺癌和肺癌,位居第三[7]。病理診斷是癌癥診斷的金標準,精確的甲狀腺腫瘤病理診斷是臨床精準治療的前提。隨著甲狀腺疾病的發(fā)病率逐年上升,患者數(shù)量逐漸增長,病理醫(yī)師臨床診斷工作負荷不斷加重,導致了漏診/誤診發(fā)生的可能。

術中冷凍切片是近年來應用于病理診斷的新技術,是目前最快速、難度系數(shù)最大、醫(yī)療安全風險最高的診斷之一。在手術過程中,術中冷凍HE切片病理檢查對患者的病理診斷具有重要意義,可指導患者進一步的手術決策。在甲狀腺疾病手術治療過程中,術中冷凍HE切片病理檢查可初步判斷疾病的良、惡性,有助于臨床醫(yī)師精確制定手術切除的范圍以及是否進行淋巴結清掃,進一步指導手術治療方案。鑒于術中冷凍切片的質量低于福爾馬林固定石蠟包埋切片,病理醫(yī)師需在30 min內對病理標本做出診斷,即使是經驗豐富的病理學家,術中冷凍切片的診斷也極具挑戰(zhàn)性。據(jù)統(tǒng)計,全國有執(zhí)照的病理醫(yī)師缺口高達9萬人,國內病理醫(yī)師的培養(yǎng)周期較為漫長,而訓練有素、有資格對術中冷凍切片進行診斷的病理醫(yī)師數(shù)量更為稀少[8]。

近年來,隨著數(shù)字病理和AI技術的發(fā)展,其在臨床醫(yī)療領域的應用日新月異。以深度學習為代表的AI技術在目標學習和圖像分割方面發(fā)揮了重要作用[9-11]。目前,深度學習在乳腺、肺、胃、結直腸、前列腺等器官疾病的病理診斷方面取得一定的成績[12-15]。深度學習在病理圖像分析領域的應用,有望使病理診斷結果更加精準和客觀,并在一定程度上降低病理醫(yī)師疲勞閱片,提高病理醫(yī)師工作效率[16]。深度遷移學習是指將已經在一個領域上訓練好的深度神經網(wǎng)絡模型應用到另一個領域上,并對其進行微調以適應新任務的過程。一般情況下,深度遷移學習可以通過將預訓練模型的一部分或全部參數(shù)固定,只對新的任務進行微調來完成[17]。基于本課題組已構建的乳腺疾病術中冷凍HE切片病理圖像輔助診斷模型[5],考慮到乳腺疾病的病理圖像與甲狀腺疾病的組織病理學圖像具有一定的相似性,本研究將已建立的乳腺疾病術中冷凍HE切片病理輔助診斷模型作為初始模型,然后使用少量已標注的甲狀腺疾病術中冷凍HE切片病理圖像數(shù)據(jù)作對初始模型進行訓練,結果發(fā)現(xiàn),從乳腺疾病到甲狀腺疾病的遷移學習模型預測結果的查準率和查全率均高于從零學習,且在內部測試集和外部測試集中,遷移學習分類模型的總體性能均高于從零學習分類模型,展示出較好的推廣性和較高的穩(wěn)定性。

在模型測試集中,從零學習模型預測結果與遷移學習模型預測結果出現(xiàn)了不一致的情況。我們調閱原始HE切片發(fā)現(xiàn),遷移學習模型預測熱力圖結果基本正確。在外部測試集中的某些病例中,遷移學習模型判斷為甲狀腺良性病變的區(qū)域在從零學習模型中被判斷為甲狀腺癌。復習原始HE切片發(fā)現(xiàn),從零學習模型不僅將結節(jié)性甲狀腺腫伴乳頭狀增生的區(qū)域誤判為甲狀腺癌,而且將部分甲狀腺濾泡性腺瘤錯誤診斷為甲狀腺癌。本研究進一步分析了導致從零學習模型預測結果和遷移學習模型預測結果不一致的切片,發(fā)現(xiàn)這些病例原始HE切片的制片質量存在一定問題。在部分切片中,蘇木精染色較深,伊紅染色較淺,甲狀腺乳頭狀增生區(qū)域形成密集的假乳頭狀結構,導致了部分區(qū)域的細胞密集、核質比很高,且呈現(xiàn)出一片藍染。在從零學習訓練模型中,本組所選擇均為染色均一、切片質量較好的HE切片,機器沒有學習過質量差或染色異常的切片,因此難以辨別;而遷移學習訓練模型利用已在乳腺疾病術中冷凍HE切片圖像數(shù)據(jù)中建立的經驗,進一步優(yōu)化甲狀腺疾病術中冷凍HE切片圖像數(shù)據(jù)的建模過程,有效克服了染色不均、褶皺、刀痕等問題。通過將在乳腺疾病中已學習到的知識應用于甲狀腺疾病,遷移學習提高了模型預測的診斷價值。在實際病理工作中,由于不同技師專業(yè)技術能力、不同批次染色效果的差異,導致病理制片質量很難一直維持在最佳水平。而遷移學習可以利用已有的知識和經驗來解決在數(shù)據(jù)缺乏、資源有限等情況下的建模問題。通過將一個領域中已經學習到的知識應用于另一個領域,遷移學習可以加速模型的構建,提高模型的性能和泛化能力。盡管本研究的病理輔助診斷模型是以HE染色圖像為基礎,未來在深度遷移學習的幫助下,病理輔助診斷模型將推廣應用到更寬廣的領域。

機器學習在圖像處理方面具有許多優(yōu)勢,可在短時間內對圖像進行分類,具有可重復性和不會疲勞的特點。隨著AI技術在醫(yī)學圖像研究領域的不斷推進,AI在病理診斷方面展現(xiàn)出了令人矚目的成果。AI輔助診斷不僅可以提高病理診斷效率,還可以減輕病理醫(yī)師的工作負荷,降低人力資源成本。在AI輔助病理診斷模型建模中,從零開始訓練是一項耗時且費力的工作,需要具有豐富診斷經驗的病理醫(yī)師對大量的病理圖片進行標注以作為訓練集。深度遷移學習在圖像分類領域具有顯著優(yōu)勢,能夠利用預訓練模型加速模型的構建,即使在新任務數(shù)據(jù)較少的情況下也能做到。此外,預訓練模型可以學習到的大量特征表示可以遷移到新任務中,從而提高模型的泛化性能。隨著AI深度學習算法技術的發(fā)展,深度遷移學習算法的進一步優(yōu)化,其分類判讀的準確率和穩(wěn)定性也會增加,使用更少的數(shù)據(jù)得到更優(yōu)質的算法模型在未來也將成為可能。深度學習算法技術在病理切片判讀分類中也將應用到更多疾病的診斷中,使病理醫(yī)師的實踐診斷經驗更好地積累和傳承,提升和突破人類對疾病現(xiàn)有的認知。我們期待在不久的將來,AI將會給醫(yī)療診斷帶來更為廣闊的研究領域和應用市場。