基于多尺度卷積神經網絡的膠囊內窺鏡出血點快速識別

謝雪嬌,陸 楓,李書展,周 到

(1.華中科技大學同濟醫學院附屬同濟醫院，湖北 武漢 430030；(2.華中科技大學計算機學院大數據技術與系統國家工程研究中心，湖北 武漢 430074；3.中南民族大學生物醫學工程學院認知科學國家民委重點實驗室，湖北 武漢 430074)

1 引言

全球最新的癌癥調查報告中顯示，癌癥在胃部、直腸、食道的發病率分別高達5.7%,3.9%,3.2%，在所有癌癥發病率中分別排第6,8,9位，3種癌癥的致死率加起來達到16.7%[1]。顯而易見，對消化道疾病的早期發現與及時治療是有效防止病變惡化的關鍵。近年來，無線膠囊內窺鏡WCE(Wireless Capsule Endoscopy)已被廣泛應用于消化道檢查，相對于傳統的侵襲性方法PE(Push Enteroscopy)和利用放射學檢查的CT、鋇餐等方法，WCE不僅對人體的傷害小，還具有更高的病變檢出率，在消化道疾病的診療方面做出了巨大貢獻[2]。醫生可以通過內窺鏡膠囊拍攝的WCE圖像進行分析和診斷，以判斷受檢者的消化道內是否存在病變。一般膠囊內鏡每秒拍攝2幅圖像，一個受檢者的整個檢測過程需要6～8 h，共產生50 000～70 000幅WCE圖像數據。這些海量WCE圖像為醫生診斷帶來了沉重負擔。按照一秒鐘讀一幅圖像來算，讀完60 000幅圖像大約需要15 h左右。即便是專業經驗豐富的醫生也至少需要2～3 h的時間來完成閱片。此外，包含病變的圖像通常只占所有WCE圖像中的小部分，很容易被忽略。且有些病癥由于微小或被遮擋而難以識別，使得漏診、誤診的情況依然存在。可見，快速、準確地辨識WCE圖像病癥是受檢患者與醫護人員的迫切需求。

目前已有利用人工智能方法分析WCE圖像實施輔助影像病灶識別的研究[3]，主要分為2類，一類是基于傳統機器學習方法的WCE圖像病灶識別，另一類是基于深度學習方法的識別。

傳統的機器學習方法可以大致分為2個步驟[4 - 7]，先是使用傳統的特征提取方式提取WCE圖像的顏色、紋理或形狀等特征[7]；然后依據提取的特征采用線性回歸或者支持向量機SVM(Support Vector Machine)等傳統機器學習方法構造相應的分類器進行分類。研究的重點主要集中在使用何種方法提取圖像的何種特征以及分類器的選擇上。這些實驗通常涉及的樣本數量較少，參與實驗的醫學影像數據大多經過去噪、正則化和圖像增強等預處理，以及對感興趣的區域ROI(Region of Interest)進行手工標注。這類方法在處理原始質量不高的大規模數據時，普適性往往受限。

以卷積神經網絡CNN(Convolutional Neural Network)為基礎的WCE圖像病灶識別研究目前也已經陸續展開[8 - 11]。Li等人[8]針對出血圖像數量與正常圖像數量不平衡及WCE圖像的顏色、紋理和亮度的變化等問題，提出了一種基于卷積神經網絡的腸道出血識別模型。針對大約1 300幅出血圖像和40 000幅正常圖像識別，其F1值達到了98.87%。Coelho等人[9]基于U-Net網絡對小腸出血點進行識別。Fan等人[10]采用AlexNet進行WCE圖像小腸潰瘍和糜爛識別，準確率高達95%。Aoki等人[11]使用5 360幅含潰瘍病癥的WCE圖像，訓練了一個基于SSD(Single Shot multibox Detector)模型的神經網絡，經過包含10 440幅小腸圖像(440幅圖像含潰瘍)的獨立測試集的測試，靈敏度、特異度和準確率分別為88.2%,90.9%和90.8%。這些方法大多使用了現成的網絡結構，未對網絡結構進行個性化修改。

然而，作為醫學影像的WCE圖像具有一些嚴重影響識別分類效果的特征，比如，陰性與陽性樣本的顏色和紋理特征非常不明顯，消化道殘留物對識別影響較大等[12]；又如，針對同一種病灶，有的病灶尺寸非常微小，只占幾個像素點；而有的病灶,如潰瘍或者糜爛，尺寸又很大。現成的網絡不能很好地處理這些問題，致使在實際應用時準確率大幅度下降。為了提高判斷與預測的準確性，現有神經網絡不斷以幾乎恒定的計算開銷增加網絡的深度和寬度[13,14]。為了使WCE出血點的識別能夠安裝到可移動設備上實現邊檢查邊識別，還需要在保證準確率的同時，降低網絡結構的復雜度，確保WCE圖像的快速識別，以便及時發現病灶點，減輕醫生負擔。

本文分析了WCE圖像中現有卷積神經網絡對出血點進行識別可能存在的問題，提出了殘差多尺度全卷積神經網絡，結合殘差的思想提取和保留圖像的淺層特征，采用多尺度卷積核對不同尺度出血點特征進行有效提取。實驗表明，該網絡可以對出血點細節特征進行像素級的有效識別，準確率、靈敏度、特異度分別達到97.87%,98.05%,97.67%，優于經典深度殘差網絡ResNet50[13]和經典多尺度Inception-v4網絡[14]，且計算復雜度更小，收斂更快。

2 WCE圖像出血點識別分析

WCE圖像與自然景物圖像有很大的不同,首先，它來源于膠囊內窺鏡在體內的拍攝，需要通過無線發射裝置向體外傳輸。考慮到能耗等問題，其分辨率只有480×480像素。此外，WCE圖像通常還受到如下3種情況影響。

首先，如圖1所示，由于無線膠囊內窺鏡是在人體器官腔內部近距離拍攝，并且拍攝的對象是人體的器官組織，所以圖像的色彩變化很小，圖像的顏色和紋理變化也十分不明顯。這需要網絡對細節和易混淆的特征進行靈敏度很高的捕捉，本文稱之為像素級特征的提取。

Figure 1 WCE images of the bleeding parts not much different from the texture of the organ tissues圖1 出血部分與器官組織紋理區別不大的WCE圖像

其次，WCE圖像中病灶的尺寸差別會非常大。其原因有2：

(1)很多出血點的尺寸非常微小，只占幾個像素點，而有的出血點又很大，比如潰瘍或者糜爛，如圖2所示；

Figure 2 WCE images with different bleeding sizes圖2 含尺寸大小不一出血點的WCE圖像

(2)由于WCE圖像是近距離拍攝的，同樣的病灶從不同的角度拍攝會引起較大尺寸變化。此時，需要網絡既能對像素級特征進行判別，又能對大塊特征進行抽象和提取。

最后，如圖3所示，WCE圖像中不可避免地會存在各類氣泡或者食物殘渣等消化道雜質，并且這些雜質還極易附著在鏡頭上，影響神經網絡對特征的抽取和識別。

Figure 3 WCE images containing food debris and air bubbles圖3 包含食物殘渣和氣泡的WCE圖像

3 基于殘差的多尺度全卷積網絡

一般而言，隨著卷積層次的加深[13,15]，得到的特征抽象程度越高。淺層特征屬于細粒度特征，語義信息較少，上下文信息豐富，不容易丟失特征且目標位置更加準確。對于微小出血病灶而言，淺層特征是非常重要的特征。與之相反，深層特征屬于粗粒度特征，抽象程度更高，語義信息豐富，上下文信息較少，適于識別大病灶區域，然而不利于識別目標的精確定位。如果加寬網絡對多尺度特征進行辨識[14]，則往往會帶來計算量的急劇增加，同時降低對細粒度特征的辨識率。據此，利用CNN辨識WCE出血點需要在一定計算參數訓練復雜度的約束下考慮模型細粒度和粗粒度等不同尺寸特征的有效提取。對此，本文采用Long等人[15]提出的全卷積網絡FCN(Fully Convolutional Network)為主干網,以確保像素級特征的提取效果。FCN擅于從抽象的特征中恢復出每個像素所屬的類別，即從圖像級別的分類延伸到像素級別的分類。進而，將殘差思想運用至FCN，使得網絡可以提取和保留WCE圖像的淺層特征，在與多尺度卷積得到的高級特征級聯后，輸入至網絡下層。最后，采用了類似于Inception網絡的多尺度卷積核，加強網絡對不同尺度出血點特征的有效提取。

3.1 基于殘差思想的全卷積神經網絡

本文以全卷積神經網絡為主干，設計了一種基于殘差思想的多尺度全卷積神經網絡，整個網絡的結構如圖4所示。網絡主要由5個多尺度卷積-跳躍連接模塊組成，網絡的最后一層使用了Softmax函數，用作輸出。

Figure 4 A multi-scale fully convolutional neural network structure based on residuals圖4 基于殘差思想的多尺度全卷積神經網絡結構

3.2 多尺度卷積-跳躍連接模塊

多尺度卷積-跳躍連接模塊主要由多尺度卷積模塊與跳躍連接模塊組成。多尺度卷積模塊是一個包含5層卷積運算的小型卷積神經網絡。

如圖5所示，輸入首先經過1×1的卷積運算(192個濾波器)處理后輸入至下面3個并排的卷積層。這3個卷積層的濾波器數目都為64個，分別執行2×2,4×4和8×8的卷積運算，能捕獲小、中、大3類不同尺度的特征。3個并行卷積層的輸出特征圖(Feature Map)連接在一起，經過1×1的卷積(192個)過濾后得到多尺度卷積模塊的輸出。跳躍連接模塊將輸入經過1×1卷積后，與多尺度卷積模塊的輸出疊加，再執行池化操作。該池化操作由過濾器大小為1×1、步長為2的卷積層執行。這里使用卷積層而不是傳統的最大池化層，是為了讓網絡從訓練數據中自動學習出最合適的降采樣方法。跳躍連接模塊采用與多尺度卷積模塊相同的1×1卷積操作有2個作用：(1)有助于減少網絡的參數總數；(2)能保證跳躍連接的輸出維度與多尺度卷積模塊的輸出維度相同，可以執行疊加操作。

所有的卷積層在經過ReLU激活函數后都會進行批正則化BN(Batch Normalization)處理。批正則化使網絡的輸出均值為0，標準差為1。實驗表明，批正則化處理有助于加快網絡收斂，也有助于限制過擬合的現象。

Figure 5 Multi-scale convolution-jump connection module structure圖5 多尺度卷積-跳躍連接模塊結構

4 實驗與測試

4.1 數據集的構成

從志愿者膠囊內鏡圖像中選取了胃部和小腸出血點圖像8 624幅，出血點附近的陰性圖像23 988幅，共32 612幅。為了平衡陽性樣本和陰性樣本的數量，對陽性樣本進行旋轉和鏡像翻轉處理。再分別隨機挑出胃部陽性、陰性樣本，以及小腸陽性、陰性樣本各2 000幅。最后按照3∶1的比例制作了訓練集和測試集。

4.2 實驗測試環境與方案

實驗使用的計算機，CPU為Intel酷睿i7 6700HQ，內存大小8 GB，GPU為NVIDIA GeForce GTX 960M。實驗使用前向均方根梯度下降算法(Root Mean Square Propagation)進行優化，初始學習速率為0.01。使用TensorFlow與Keras框架實現，CUDA的版本為9.0，cuDNN的版本為6.0。對比網絡為應用廣泛的深度殘差網絡ResNet50[13]和多尺度Inception-v4[14]。

4.3 評估指標

實驗使用評估分類性能的指標包括準確率ACC(Accuracy)、靈敏度SEN(Sensitivity)和特異度SPC(Specificity)，計算方法如式(1)～式(3)所示：

(1)

(2)

(3)

其中，TP表示預測正確的陽性樣本數量，FP表示預測錯誤的陽性樣本數量，TN表示預測正確的陰性樣本數量，FN表示預測錯誤的陰性樣本數量。本文還使用了ROC曲線以及曲線下面積(AUC)來衡量網絡的性能。

最后，為了比較各網絡的收斂速率和計算性能，繪制了迭代次數與損失的關系曲線圖，直觀地比較各網絡的收斂速度。

4.4 實驗結果與分析

在同一數據集上，本文提出的網絡與ResNet50和Inception-v4網絡的測試結果對比如圖6所示。實驗結果表明，本文提出網絡的準確率ACC達到97.84%，靈敏度SEN達到98.05%，特異度SPC達到97.67%。

從圖6可以看到，本文提出網絡對WCE圖像出血點分類的各項指標均優于Inception-v4和ResNet50 網絡的，兼顧了靈敏度和特異度，在確保漏檢率的條件下保證了識別的準確率。與Inception-v4網絡相比，本文的網絡具有跳躍連接的結構，可以更好地保留WCE圖像的初始特征。因此，在靈敏度上比Inception-v4提高了3.6%。

Figure 6 Performance comparison with ResNet50 and Inception-v4圖6 本文網絡與ResNet50、Inception-v4網絡的性能對比

本文網絡在四重交叉驗證下，得到的平均AUC值為99.72%，其ROC曲線如圖7所示。

Figure 7 Average ROC curve under the quadruple cross validation set (where the grey part represents the confidence interval)圖7 四重交叉驗證集下平均ROC曲線(其中灰色部分代表置信區間)

從網絡結構上看，如表1所示，本文提出的網絡層數最少，參數約9×106個；ResNet50層數居中，參數約2.5×107；Inception-v4最深，參數量也最大，約4.3×107個。

Table 1 Comparison of accuracies and the number of parameters表1 各網絡準確率和參數量對比

從計算復雜度上看，本文網絡將浮點運算的數量降低了一個數量級。訓練的時間也減少了一大半，整個網絡訓練的過程大約需要2 h。

迭代次數與損失關系曲線圖如圖8所示，當迭代次數超過10 000次時，網絡其實已經趨于穩定收斂，測試過程中的損失值小于0.05，最終的準確率穩定在0.989。從損失曲線和準確率變化趨勢可以看出，本文網絡的收斂性能非常好，收斂速度和最終的準確率都優于RestNet50和Inception-v4。

Figure 8 Relationship between the loss and the number of iterations圖8 損失與迭代次數的關系

從具體實例來看，ResNet50對含有多個不同尺度病灶的圖像進行辨識時，往往易發生漏檢，如圖9a所示。而本文網絡具有多個尺度的卷積核，對含有多個不同尺度病灶的圖像辨識具有較明顯的優勢，如圖9b所示。

Figure 9 Bleeding parts recognized by ResNet50 and our network圖9 同一WCE圖中多個出血點的識別

5 結束語

現代人患腸胃疾病的概率日益上升，利用人工智能對WCE中的病灶進行有效的自動識別，能夠保證腸胃疾病的早發現和早治療。本文在分析現有神經網絡模型的基礎上，提出了一種由多尺度卷積-跳躍連接模塊構成的簡單全卷積神經網絡。首先，引入了殘差學習網絡中跳躍連接的思想，使網絡能夠有效保存輸入圖像的初始特征。實驗結果表明，與沒有這種結構的Inception-v4網絡相比，本文網絡在結構上降低了復雜度，在參數和計算量上有大幅減少，在對WCE圖像做出血點的分類識別時，靈敏度有所提升；其次，本文網絡的收斂速度快，訓練時間短，計算性能明顯高于Inception-v4和ResNet50，有較強的實用性。

從總體看，文中實驗選取的數據集相比實際患者產生的WCE圖像數量要少很多，還需要采用更多數據進行驗證和優化。殘差多尺度卷積神經網絡本身也還存在一些待改進的地方，例如病灶定位等。此外，是否存在更好的網絡結構、網絡參數如何優化、網絡性能能否提升等方面，依然需要不斷地探索與嘗試。

致謝

本文感謝安翰公司長期以來的合作和支持。