深度學習在內鏡下內痔診斷及危險分級中的應用*

陸建英，沈文娟，顧瑩，沈琳霞，張葉群，袁金丹，張芝芝，許春芳，朱錦舟

（蘇州大學附屬第一醫院 消化內科，江蘇 蘇州 215000）

痔瘡是肛腸常見病，我國2015年流行病學調查顯示，成年人中超過一半患有肛腸疾病，98%有痔瘡癥狀[1]。內痔占痔瘡患者的60%，常見癥狀包括：出血、脫垂及肛門瘙癢等[2]。以往，國內外在內痔診治方面的研究往往是由肛腸外科或中醫科主導。隨著軟式消化內鏡設備與技術的飛速發展，其在內痔臨床診療中逐漸發揮了重要作用。相比傳統的硬式肛腸鏡，利用消化內鏡，特別是在胃鏡倒鏡下，觀察肛齒狀線上形態特征，具有視野廣闊、圖像清晰和操控靈活等優點[3]。但由于大多數消化內鏡醫生缺乏肛腸疾病診療經驗，對內痔內鏡下特征及分級并不熟悉。近年來，基于深度學習的人工智能系統在消化內鏡診療方面取得了令人矚目的進展[4]。本研究旨在通過建立內鏡下內痔診斷及危險分級的深度學習模型，探討人工智能輔助內鏡下內痔診療的可行性。

1 資料與方法

1.1 一般資料

本研究納入2020年3月－2022年1月蘇州大學附屬第一醫院內鏡中心腸鏡檢查患者的資料，根據2021年中華醫學會消化內鏡學分會內痔協作組發布的“中國消化內鏡內痔診療指南及操作共識（2021）”[2]，將肛齒狀線上倒鏡圖片分為內痔組和正常組（A任務）。另外，根據指南中LDRf分類的危險因素[2]，將內痔組進一步分為Rf0組、Rf1組和Rf2組（B任務）。內鏡圖像由3名高年資內鏡醫師（ ＞ 10年內鏡工作經驗）共同判讀，作為內痔診斷及分級標準。研究流程見圖1。

圖1 研究流程Fig.1 Flowchart of the study

納入標準：①同意參與本項研究；②采集肛齒狀線上清晰的倒鏡圖像。排除標準：①腸道準備不佳，影響圖像質量；②肛直腸手術史；③盆腔放療史；④炎癥性腸病活動期；⑤孕婦。本研究經蘇州大學附屬第一醫院倫理委員會審批通過（批號：2022098）。

1.2 設備

奧林巴斯260、290機型及富士601機型等。

1.3 資料收集與體格檢查

1.3.1 病史資料①是否存在便血、肛門脫垂和疼痛等情況；②飲食和生活習慣；③排便的頻率和大便性狀，是否有久坐久蹲等不良生活習慣等；④個人史、服藥史和家族史等。

1.3.2 體格檢查①肛門區視診：是否有內痔脫垂、外痔和血栓等情況；②直腸指診：是否存在肛門狹窄，觀察指套有無黏液和膿血等。

1.3.3 腸鏡檢查①記錄是否有結直腸腫瘤、炎癥性腸病和缺血性腸病等情況；②記錄是否有內痔，包括：痔核大小、數量、部位和表面紋理等特征；③有無瘺管和血栓形成等。

1.4 深度學習網絡

1.4.1 圖像輸入原始內鏡圖像經縮放至相同格式，即：3通道331×331像素，像素值歸一化到0至1。經預處理后進行圖像增強，避免因樣本量小而造成過擬合，而后載入深度學習。

1.4.2 模型選擇在Keras模塊或TensorFlow-hub中，獲取經ImageNet數據庫預訓練后的所需模型，包括：Xception，ResNet50V2（ResNet），EfficientNet-V2s（EfficientNet），Vision Transformer s16（ViT）以及ConvMixer-768/32（ConvMixer）。前三者為卷積神經網絡（convolutional neural network，CNN）框架，后兩者為Transformer框架的深度學習網絡。

1.4.3 遷移學習將上述神經網絡，去掉頭端的分類層，僅保留特征提取層。將網絡框架及參數凍結，并在頭端新建5個全連接層（層數分別為1 024，512，256，64及2）。前4層激活函數為ReLU，最后輸出層（即模型新分類器）為Sigmoid（A任務）或ReLU（B任務）激活函數。完成遷移學習框架的構建，利用反向傳播，訓練新建層的參數。

1.4.4 訓練參數在Keras模塊（TensorFlow為其后端）中，部署上述CNN框架或Transformer框架的深度學習網絡，針對A與B兩項計算機視覺任務，進行遷移學習，并建立圖像分類模型。訓練過程采用Adam優化器，雙交叉熵損失函數，固定0.0001的學習率。此外，圖像載入批量化，每批為32張。

1.4.5 模型評價包括：準確率、召回率、精確度、F1值及讀片時間。讀片結果與兩位不同年資的內鏡醫生（低年資：＜5年內鏡工作經驗；高年資： ＞ 10年內鏡工作經驗）進行比較。

1.4.6 模型可視化為了理解計算機視覺模型在圖像任務中的分類依據，筆者采用了梯度加權分類激活映 射 （gradient-weighted class activation mapping，Grad-CAM）方法進行可視化解釋[5]，即在原始圖片基礎上繪制熱力圖，展示深度學習模型對內痔內鏡圖片的理解。

1.4.7 實驗平臺以上模型建立、訓練及評價過程，均在Python（3.9版本）中實現。深度學習采用的是TensorFlow平臺（2.8.0）。實驗硬件條件為Mac mini，具有8核Apple M1處理器（內建GPU），16 G內存。

2 結果

2.1 深度學習模型在內痔診斷（A任務）中的表現

對于肛齒狀線上倒鏡圖片，3個CNN框架網絡和2個Transformer框架網絡在區分正常組和內痔組（即A任務）中皆展現出較好的表現。其中，最優模型為ConvMixer，在驗證集上準確性最高（0.961），同時其召回率（0.955）、精確度（0.914）以及F1值（0.934）均最高。見圖2。

圖2 深度學習模型與內鏡醫生在驗證集中A任務的表現Fig.2 Performance of deep learning models and endoscopists in the A task in the validation dataset

2.2 深度學習模型在內痔分級（B任務）中的表現

上述5種深度學習模型在B任務測試集中也表現良好。最優模型仍為ConvMixer，其在驗證集上準確性最高（0.911）。見圖3。

圖3 深度學習模型與內鏡醫生在驗證集中B任務的表現Fig.3 Performance of deep learning models and endoscopists in the B task in the validation dataset

2.3 深度學習模型與內鏡醫師的表現比較

在A任務中，最佳模型ConvMixer（0.961）以及EfficientNet（0.956）在準確性方面均優于高年資內鏡醫生（0.952）；所有深度學習模型優于低年資內鏡醫生（0.913）。在B任務中，模型ConvMixer（0.911）、EfficientNet（0.901）以及ViT（0.891）的準確性均優于高年資內鏡醫生（0.881）；所有深度學習模型均優于低年資內鏡醫生（0.832）。

2.4 深度學習模型與內鏡醫師在驗證集中的讀片用時

在A與B任務中，所有深度學習模型在驗證集中讀片用時均＜10 s，速度快于內鏡醫生（均 ＞ 300 s）。見圖4。

圖4 深度學習模型與內鏡醫生在2項任務驗證集中的讀片用時（s）Fig. 4 Reading time of deep learning models and endoscopists in the validation dataset （s）

2.5 深度學習可解釋性呈現

采用Grad-CAM方法為內鏡圖片生成可視化激活圖，通過對原始圖像著色來突出圖像中對模型判斷較重要的區域。3組內痔圖片中，最左側為原始內鏡圖像，中間為神經網絡特征提取輸出層的像素化激活層（即熱力圖），最右側為原始圖像基礎上覆蓋了可視化激活層（即熱力圖），呈現的是模型判斷出的病變部位，橘紅色部分為深度學習模型判斷依據的高權重區域，即：模型認為內痔在圖像中的位置。見圖5。

圖5 Grad-CAM可視化激活圖Fig.5 The visualized heatmaps of Grad-CAM

3 討論

3.1 內痔的傳統診治方法

傳統的內痔診治工作往往由肛腸外科或中醫科通過肛門鏡實現。由于肛門鏡的直視硬鏡工作原理，其應用受到視野較窄和操作不靈活等缺點的限制[6-7]。近年來，消化內鏡診療飛速發展，臨床上將成熟的內鏡技術運用在肛腸疾病中。通過電子軟鏡進行內痔等肛腸疾病的診療，具有以下優勢：兼具正鏡和倒鏡，操作視野較好；可借助窄帶成像技術、放大內鏡和超聲內鏡等，了解病變性質、結構及范圍等信息；能同時行全結腸檢查，明確結直腸其他疾患；減少并發癥，患者痛苦少，術后恢復快[2，8]。2021年發布的消化內鏡內痔診療指南[2]，進一步規范了消化內鏡下內痔的微創診療方法。

3.2 內痔的臨床表現

內痔最常見的臨床表現是出血和脫垂，嚴重影響著患者的生活質量。長期反復便血或者急性大出血，可導致繼發性貧血，情況危重者甚至出現休克等癥狀，需要急診手術干預。因此，提早識別內痔，進行危險分級，對于內痔患者的臨床管理尤為重要。令狐恩強等[9]對內鏡下內痔表現提出了LDRf標準，對內痔危險因素進行了分級。本研究旨在建立針對內鏡下內痔診斷及危險分級的深度學習模型，以探討人工智能輔助內痔診療的可行性。

3.3 人工智能的臨床應用

隨著臨床數據的指數級增長，同時機器學習中神經網絡新算法（即深度學習）的出現，人工智能在醫療實踐中的應用也得到了快速發展，并取得了一系列矚目的成績。人工智能在消化內鏡中的應用，集中在計算機視覺的圖像任務[10]。其中，已進入或接近臨床應用階段的技術包括：結直腸息肉的智能檢測[11]，消化道早癌的輔助識別[12]，膠囊內鏡視頻篩查[13]，以及內鏡檢查質量控制[14]等。目前，國內外對深度學習應用于內鏡下內痔輔助診療的相關報道較罕見。

本研究收集本院內鏡中心的肛齒狀線上倒鏡圖片，根據最新指南[2]，選用基于CNN框架和Transformer框架的多個深度學習模型，對內痔進行診斷和分級任務訓練。結果顯示：深度學習模型在判斷正常與內痔內鏡照片中，準確性優于不同年資的內鏡醫生；同時，根據內鏡下內痔LDRf危險分級的分類判斷中，深度學習模型同樣優于內鏡醫生。此外，在讀片用時方面，深度學習模型速度快于內鏡醫生。最后，為避免深度學習“黑盒”的不可解釋性，筆者通過Grad-CAM方法呈現了模型對圖片的判斷依據，高亮出模型認為的內痔所在區域。

綜上所述，收集肛齒狀線上倒鏡圖像，建立內痔診斷和危險分級的人工智能模型，經模型訓練及驗證后，發現深度學習模型在準確性和讀片速度方面均優于內鏡醫生。基于深度學習的計算機視覺模型可輔助內鏡醫師進行內痔診斷和分級，展現出潛在的臨床應用前景。