基于注意力關系網絡的無線膠囊內鏡圖像分類方法

安 晨，汪成亮，廖 超，肖詩童

（重慶大學 計算機學院，重慶 400044）

0 概述

腸胃道疾病對公眾健康造成巨大威脅，及時發現腸胃道異常可降低患病幾率，無線膠囊內鏡（Wireless Capsule Endoscopy，WCE）［1］能夠以無創傷、無痛的方式直接檢查患者的腸胃部分。一個患者的WCE 檢查過程將會持續8～11 h，攝像頭以2 frame/s的速度拍攝5～8 萬張圖像，WCE 圖像多達上萬張，但是，復雜的胃腸道環境因為碎片、散焦、氣泡和光線等干擾因素產生了大量質量較低的WCE 圖像，可用作診斷分析的WCE 圖像只占所收集圖像的5%。目前，許多方法被應用于WCE 圖像的輔助診斷，且多數方法都是針對單一異常進行檢測，包括出血［2］、息肉［3］、潰瘍［4］以及克羅恩病檢測［5］。但是，真實環境中一個患者的腸胃道常具有多種異常，WCE 圖像的多分類在臨床實踐中具有重要意義，只有很少的方法被應用于WCE 圖像的多分類任務［6-8］。WCE 圖像因數據分散、數據采集困難、隱私保護等原因通常只有少量的標注數據，與小樣本自然圖像分類不同，WCE 圖像分類還面臨類間相似、類內變異度高等問題。

為了解決小樣本WCE 圖像的多分類問題，本文提出一種基于注意力關系網絡（Attention Relational Networks，ARNs）的小樣本WCE 圖像分類方法。該方法將關系網絡［9］、注意力機制以及元學習訓練策略相結合，以在少量標記樣本下對WCE 圖像進行有效分類。構造基于注意力機制的嵌入模塊提取WCE 圖像的特征，將提取到的查詢樣本特征與支持樣本特征進行級聯并輸入到關系模塊中，根據關系模塊輸出的關系評分得到查詢樣本所屬的類別，采用元學習的訓練策略訓練網絡。在多個數據集上進行實驗，采用準確率、特異性和敏感度評價指標對本文模型進行評估，并將其與其他小樣本學習方法以及WCE 圖像多分類方法進行性能比較。

1 相關研究

1.1 小樣本學習方法

小樣本學習能夠應對標記數據不足的問題，對于訓練過程中只給出極少量的標注樣本的類別，模型也能夠正確識別。度量學習是一種主流的小樣本學習解決方案，基于度量學習的小樣本學習方法通過學習一個特征映射函數，將樣本投射到一個特征空間使得同類樣本聚集，異類樣本分離，然后比較樣本在特征空間的距離以判別樣本所屬的類別。在度量學習研究領域，具有代表性的網絡包括孿生網絡［10］、匹配網絡［11］、原型網絡［12］以及關系網絡。

孿生網絡模型構造不同的樣本對并輸入到網絡進行訓練，通過比較網絡中輸出特征的距離來判斷樣本對是否屬于同一類，并產生相應的概率分布。匹配網絡采用支持集和查詢集構造不同的編碼器，最終分類器的輸出是支持集和查詢集之間預測值的加權求和。原型網絡通過學習一個度量空間，在度量空間內以每類樣本特征的均值作為類的原型表達，計算樣本特征與每個類原型的歐式距離以進行分類。關系網絡采用卷積神經網絡來學習如何度量2 個樣本間的相似性，相比于人為設定的距離度量方法，其能夠較好地判斷2 個樣本間的相似性，原因是關系網絡基于訓練集訓練網絡對于樣本的比較能力，然后利用網絡進行小樣本識別。

1.2 注意力機制

注意力機制被廣泛應用于圖像分類任務，在卷積神經網絡中添加注意力機制可有效提高網絡的特征表達能力。目前，圖像分類領域主要有通道注意力機制、空間注意力機制以及混合注意力機制3 種。SE（Squeeze&Excitation）［13］即通道注意力機制，SE模塊通過全局池化層對特征圖的不同通道進行空間域壓縮后沿著通道域進行重新加權，其中，權重大小表示各個通道的重要程度?？臻g注意力機制即在空間域內添加注意力機制，Non-local Nerual Networks［14］利用特征圖中所有位置的特征加權和計算一個位置的響應。本文的注意力模塊（CBAM）［15］采用混合注意力機制，其將空間注意力和通道注意力同時加入模塊中。

2 基于ARNs 的WCE 圖像分類方法

2.1 ARNs 模型結構

深度學習在計算機視覺領域取得了優異成果，然而，深度卷積神經網絡參數量巨大，需要大量的標注數據進行訓練，WCE 圖像由于標注成本大、隱私保護等原因只有少量標注數據，且WCE 圖像分類還存在類間相似、類內變異度高等問題。如圖1 所示，不同類WCE 圖像的差異集中在圖像的部分區域，同類WCE 圖像類內變異度高。

圖1 不同類的WCE 圖像Fig.1 WCE images of different classes

本文采用基于度量學習的小樣本分類方法完成WCE 圖像多分類任務，其中ARNs 模型結構如圖2所示，整體架構分為嵌入模塊和關系模塊。嵌入模塊是基于注意力機制的特征提取模塊，其將支持樣本和查詢樣本映射到某個特征空間以得到兩者的嵌入向量。關系模塊首先將查詢樣本和支持樣本在特征空間的嵌入向量進行級聯，然后將級聯后的特征向量輸入到卷積神經網絡中，根據網絡輸出的關系得分來判別查詢樣本所屬的類別。

圖2 ARNs 模型結構Fig.2 Structure of ARNs model

2.2 ARNs 的嵌入模塊

關系網絡模型采用順序連接的卷積神經網絡結構作為模型的嵌入模塊以進行圖像特征提取，但是，順序連接的卷積網絡在卷積層數較少時難以獲得具有較強表征能力的特征，隨著網絡的加深，在網絡中反向傳播的梯度會因連乘變得不穩定從而出現梯度消失的問題，導致網絡的性能下降。ResNet［16］通過加入殘差塊來解決深度網絡中網絡性能下降的問題，殘差塊采用跨層連接的方法，可以讓淺層特征過渡到深層繼續被重復地學習使用。殘差塊結構如圖3 所示，其中，x表示輸入的特征向量，F(x，w)表示殘差函數，恒等映射為H(x，w)。

圖3 殘差塊結構Fig.3 Structure of residual block

殘差函數表示為：

其中，w1和w2表示殘差模塊中第1 層和第2 層卷積核的權重矩陣，b1和b2為第1 層和第2 層卷積核的偏置矩陣，g(·)表示Relu 激活函數，恒等映射為：

殘差網絡的學習目標是通過恒等映射的學習，將殘差函數的結果逼近于0，使得殘差塊的輸入近似于輸出，即淺層的特征能夠過渡到網絡的深層，從而解決梯度消失的問題，保證網絡的層數增加但性能不會下降。

注意力可以利用人類視覺機制進行直觀解釋，人類視覺系統傾向于關注圖像中輔助判斷的部分信息，忽略掉不相關的信息。在計算機視覺信息處理過程中，輸入圖像的某些部分會比其他部分更有助于決策，在計算機視覺中添加注意力可以將有限的計算資源分配給圖像中有助于預測圖像類別的部分。WCE 各類圖像之間的差異往往只集中在圖像的部分區域，并且各類圖像之間的差異非常細微。準確分類WCE 圖像的關鍵在于將網絡的特征提取聚焦于圖像中具有足夠區分度的關鍵區域，在WCE圖像分類中，捕獲到具有判別性的局部特征非常重要。為了關注WCE 圖像中重要的局部信息，過濾掉不重要的局部信息，本文采用CBAM 注意力模塊。CBAM 是一個簡單有效的注意力模塊，可添加到前向傳播的卷積神經網絡模型中，并與模型一起進行端到端的訓練。對于網絡的中間層特征，CBAM 模塊分別通過空間和通道2 個維度獲取到3 維的注意力特征圖，這種分離的注意力特征圖生成過程只需要少量的參數和計算資源。本文采用ResNet 作為嵌入模塊的主干網絡，在此基礎上加入CBAM 模塊，ResNet 網絡通過多層的卷積實現對WCE 圖像特征的提取，CBAM 模塊可以提高對WCE 圖像中關鍵特征的敏感度，從而提高嵌入模塊的特征表達能力。

ResNet 層數可以選擇18、34、50、101、152 等，在經過實驗對比以及綜合考慮網絡各層的特征表示能力、計算量等因素的基礎上，本文根據文獻［16］的方法，將CBAM 添加到ResNet18 中，即在ResNet 的 每個殘差塊中插入CBAM。具體做法如圖4 所示，ResNet 中的前一個卷積塊輸出的特征向量F??C×H×W作為CBAM 的輸入首先進入CBAM 的通道注意力模塊。特征向量F在通道注意力模塊中分別通過平均池化層和最大池化層獲取平均池化特征向量和最大池化特征向量，平均池化可以獲取到特征圖中每個通道上的平均信息，最大池化考慮到通道上的顯著性信息，將兩者進行結合，CBAM 學習到的特征更具判別性。將2 個特征向量輸入只包含一個隱藏層的感知機MLP（Multi-Layer Perceotion）中，然后將MLP 輸出的2 個特征進行元素求和運算，并將結果經過Sigmoid 激活函數以得到一維的通道注意力特征向量MC，MC的數學形式如下：

圖4 ResNet 中加入CBAM 的結構示意圖Fig.4 Structure diagram of adding CBAM in ResNet

通道注意力可以理解為通道的權重，包含重要特征的通道權重大，包含不重要特征的通道權重小。將通道注意力特征向量MC以廣播的形式送到輸入特征圖F的每個通道上，即可得到中間層特征F′：

F′作為CBAM 空間注意力模塊的輸入特征，其首先在通道維度上分別經過最大池化層和平均池化層，將2 個池化后的特征串聯為一個特征向量，然后經過一個卷積層，最后通過一個激活函數輸出得到空間注意力特征MS，MS的數學形式如下：

空間注意力特征可以理解為通道上每個像素的權重，包含重要信息的像素權重大，包含不重要信息的像素權重小。將空間注意力特征圖MS以廣播的形式送到最開始輸入的特征F′上，即得到整個卷積注意力模塊的最終特征圖F″：

CBAM 模塊分別學習通道注意力和空間注意力，通道注意力集中關注特征的含義，空間注意力關注重要特征的位置，從而使得網絡聚焦于WCE 圖像的重要特征。通道注意力機制通過共享的全連接層實現，由于池化層沒有引入可學習參數，因此CBAM 模塊是一個輕量級模塊，減小了使用注意力機制所需要的參數量，使卷積神經網絡模型的訓練過程變得更加高效，因此，本文采用結合CBAM 的ResNet18 作為ARNs 的嵌入模塊，添加了CBAM 的ResNet18 在取得更好特征表達能力的同時，并沒有引入過多的參數量和計算量。如圖5（a）所示，嵌入模塊主要由4 個卷積單元組成，其中，layer1、layer2、layer3 和layer4 都包含2 個如圖5（b）所示的ResNetBlock+CBAM 模塊。各層網絡的卷積核參數如表1 所示。

圖5 嵌入模塊結構Fig.5 Embedded module structure

表1 卷積核參數Table 1 Convolution kernel parameters

2.3 ARNs 的關系模塊

目前，基于度量學習的小樣本學習方法主要采用一種固定的距離度量方法（如歐式距離和余玄距離）來衡量查詢樣本與支持樣本之間的相似性，這種方法主要集中構造一個可學習的嵌入模塊，以適應預先指定的距離度量函數，但是，當嵌入模塊學習到的特征區分信息不充分時網絡的性能將受到限制，關系網絡的關系模塊采用卷積神經網絡學習樣本之間的相似性，以數據驅動的方式學習一個度量函數，相比于固定的度量函數，其可以更好地比較2 個樣本之間的相似性。關系模塊以查詢樣本和支持樣本的級聯作為輸入，生成一個0～1 的分數表示查詢樣本與支持樣本之間的相似性。本文采用關系網絡中的關系模塊作為ARNs 的關系模塊，其結構如圖6 所示，關系網絡中的關系模塊包含2 個卷積塊、2 個全連接層和1 個Sigmoid 函數，每個卷積塊后接1 個最大池化層。關系模塊的輸入特征是一個3 維的特征圖，3 維的特征圖包含圖像的信息，適用于卷積神經網絡學習特征之間的關系，根據輸入特征的大小，設置卷積塊中卷積層的卷積核大小為3×3，卷積核數量為64，其后接一個歸一化層、Relu 非線性激活函數以及2×2 的最大池化層以進行下采樣。第1 個全連接層后連接1 個Relu 激活函數，最后1 個全連接層后添加1 個Sigmoid 激活函數，通過Sigmoid 函數輸出1 個0～1 的相似性評分。

圖6 關系模塊結構Fig.6 Relationship module structure

2.4 ARNs 的訓練策略

元學習是一種處理小樣本學習的常用方法，它包含訓練階段和測試階段，在訓練階段通過元學習提取可傳播的知識，允許模型在測試階段執行小樣本學習任務。在訓練階段，模型按照一個個訓練批次來訓練網絡。在每個訓練批次中，首先構造一個元任務，從訓練集中隨機抽取c個類別，每個類中隨機抽取k個樣本合并作為支持集，再從每個類隨機抽取若干樣本合并組成查詢集，然后更新模型，這樣的小樣本學習任務通常被描述為c-wayk-shot。在測試階段，數據分為支持集和測試集，支持集作為對比學習的樣本，擁有和測試集一樣的標簽，在測試過程中，采用訓練階段學到的模型，通過和支持集的對比來預測查詢集中的樣本標簽。

ARNs 模型中查詢集與支持集之間的相似度是通過關系模塊輸出的關系評分來進行判別的，關系評分是一個0～1 的標量，0 代表極不相似，1 代表非常相似，此時支持樣本與查詢樣本之間的關系評分獲得可視為回歸問題，采用均方誤差來計算損失值，損失函數表示為：

其中，ri，j為查詢集樣本xj和支持集樣本xi的關系評分。在小樣本WCE 圖像分類任務中，由于樣本數量少，類間變異度高，均方差損失函數訓練的網絡容易因數據量少而產生過擬合。因此，本文采用均方誤差損失函數加上L2 正則化約束項作為目標函數以訓練模型，從而增強模型的魯棒性。損失函數定義為：

其中，λ是正則化懲罰系數，z=，yi表示支持集樣本標簽，yj表示查詢集樣本標簽。反向傳播梯度求導公式為：

梯度下降公式為：

其中，φ表示網絡中可學習的參數，η是學習率。在網絡的損失函數中，經過反向傳播訓練的網絡模型加入了正則化項后，參數的權重衰竭使得網絡權重不斷減小，提高了ARNs 的抗擾動能力，減緩了測試數據差異情況下的過擬合問題。

本文采用元學習的訓練策略訓練ARNs 模型，訓練ARNs 模型的目標是找到模型用于小樣本WCE圖像分類任務的合適參數，定義訓練集Dtrain={(xi，yi)，…，(xN，yN)}，N是訓練集的樣本數量，yi表 示樣本標簽，xi表示樣本，每批次訓練從Dtrain中隨機采樣c類別的k個樣本，構成支持集，m=c×k，從剩余Dtrain中隨機抽取n個樣本構成查詢集，嵌入模塊的映射函數為fφ，關系模塊的映射函數為gΦ。一次網絡訓練的算法過程如下：

輸入訓練集Dtrain=

輸出經過一次訓練的損失J

3 實驗與結果分析

3.1 數據集和實驗設置

本文采用mini-ImageNet 數據集和WCE 數據集進行實驗。其中，mini-ImageNet 數據集是小樣本學習的一個基準數據集，該數據集包含100 類圖像數據，每類由600 幅圖像組成，一共60 000 幅圖像；WCE 數據集由金山科技公司提供的WCE 數據集和KID［17］數據集組成，金山科技公司提供的WCE 數據集由OMOM 內鏡拍攝的WCE 圖像組成，其包括胃部凹陷、胃部表淺、胃底隆起等16 類WCE 圖像，每類包含200～300 張WCE圖像，KID 是一個公開的WCE 圖像數據集，由3 個數據集組成。本次實驗采用KID 中的數據集1 和數據集2混合組成KID 數據集，且輸入到ARNs 模型的WCE 圖像大小統一為224 像素×224 像素。

實驗采用PyTorch 深度學習框架，在GPU 平臺上運行，處理器為Intel?CoreTMi7-7700HQ CPU@2.80 GHz、GPU NVIDIA GeForce GTX 1080，運行內存為64 GB。訓練和測試階段都是基于c-wayk-shot的小樣本學習方法進行，所有實驗均采用Adam［18］優化算法對模型參數進行更新，初始學習率設置為0.001。

3.2 mini-ImageNet 數據集的小樣本分類任務

本文對mini-ImageNet數據集進行劃分，采用64 類數據作為訓練集，16 類數據作為驗證集，20 類數據作為測試集，分別采用5-way 1-shot 和5-way 5-shot 的方法進行實驗，并將ARNs 模型的實驗結果與Baselinelinear［19］網 絡、Meta-Leaner LSTM［20］網絡、MAML 網絡［21］、匹配網絡［12］、原型網絡［13］和關系網絡［9］這幾種小樣本學習領域的主流方法進行對比，實驗采用分類準確率A=n′/n來衡量方法的性能，其中，n′為測試集中預測結果與真實結果一致的樣本個數，n為測試集的樣本總個數，實驗結果如表2 所示。

表2 小樣本分類方法性能對比Table 2 Performance comparison of small sample classification methods %

從表2 可以看出，本文提出的ARNs 模型在mini-ImageNet數據集上準確率相比其他模型有所提升。與關系網絡相比，ARNs在小樣本數據集上的分類效果明顯提升，原因是本文引入的基于CBAM 的ResNet嵌入模塊提取的特征較關系網絡中簡單的線性連接的卷積網絡具有更高的魯棒性，加強了同類樣本特征之間的相關性，降低了不同類樣本特征的相似性，從而有效提高了ARNs模型應用于小樣本學習任務的分類準確率。

3.3 WCE 數據集的小樣本分類任務

對WCE 數據集進行劃分，采用金山科技公司提供的13 類WCE 圖像作為訓練集，剩下的3 類WCE 圖像混合KID 數據集組成測試集。測試集包含189 張出血、157 張息肉、125 張潰瘍和193 張正常類WCE 圖像，這些WCE 圖像是臨床實踐中常出現的4 類WCE 圖像。首先采用訓練集對模型進行訓練，同時將4 類WCE 圖像作為測試集模擬驗證在真實場景下ARNs 模型對于少量WCE 圖像的分類能力。原則上只采用測試集中的4 類WCE 圖像數據就可以訓練ARNs 模型的嵌入模塊和關系模塊，但是，測試集中標記樣本很少導致這種模型的性能不能滿足要求。因此，本文首先采用元學習的方法在訓練集上訓練ARNs 模型，從而提取可以遷移的知識，在測試集上的WCE 圖像類中完成小樣本的圖像分類，分別采用4-way 1-shot 和4-way 5-shot 的方法進行實驗，使用準確率A、靈敏度（sensitivity sen）和特異性（specificity spec）作為評價指標，后兩者計算公式如下：

其中，TP 表示把原本屬于該類的樣本分成該類，TN表示把原本屬于其他類的樣本分成其他類，FP 表示把原本屬于其他類的樣本錯分成了該類，FN 表示把原本屬于該類的樣本錯分成了其他類。

為了探究ARNs 采用不同嵌入模塊對于WCE圖像分類效果的影響，本文分別以基于CBAM 的ResNet18 和基于CBAM 的ResNet50 作 為ARNs 模 型的嵌入模塊進行實驗，結果如表3 所示。

表3 不同嵌入模塊的性能對比Table 3 Performance comparison of different embedded modules

從表3可以看出，ARNs模型采用CBAM-ResNet18和CBAM-ResNet50 作為嵌入模塊時的準確率相差不大，考慮到模型的參數量以及計算復雜度，本文采用CBAM-ResNet18 作為ARNs 模型的嵌入模塊，以提取WCE 圖像特征。

圖7 所示為WCE 圖像測試集上ARNs 模型與RelationNet 前6 000 次迭代（每隔50 次）時的準確率和損失曲線，從圖7 可以看出，在小樣本的WCE 圖像上，本文ARNs網絡與RelationNet相比分類效果顯著提升。

圖7 ARNs 和RelationNet 的性能比較Fig.7 Performance comparison between ARNs and RelationNet

WCE 圖像各類之間相似，圖像類內變異度高，提高WCE 圖像分類準確率的關鍵在于提取各類WCE 圖像之間的差異部分特征。ARNs 模型的特征提取模塊采用結合注意力機制的ResNet18，相比于關系網絡的特征提取模塊，其能提取到對WCE 圖像表示性更強的特征。因此，ARNs 模型在WCE 數據集上的準確率明顯高于關系網絡。

表4 所示為測試數據的混淆矩陣，其中包括各類WCE 圖像的靈敏度和特異性。從表4 可以看出，ARNs 模型對于出血類WCE 圖像的準確率最高，因為出血類WCE 圖像的特征和其他類特征具有明顯差異，ARNs 模型對潰瘍類WCE 圖像的準確率較低，潰瘍類圖像類內變異度高，小樣本分類的模型難以涵蓋其特征的多樣性。ARNs 模型的錯誤分類主要發生在潰瘍類和息肉類之間，潰瘍類與息肉類特征具有相似性，并且2 類圖像的類內變異度高，導致模型在2 類WCE 圖像上的識別精度下降。ARNs 模型在4 類WCE 圖像上的特異性值都取得了較好的結果，表示模型在WCE 圖像上的誤診率很低。

表4 WCE 圖像多異常分類混淆矩陣Table 4 Classification confusion matrix of WCE image multiple anomalies %

類激活熱圖（Class Activation Mapping，CAM）是一種可視化卷積神經網絡的工具，本文采用CAM卷積可視化技術將基于CBAM 的ResNet18 嵌入模塊提取的特征進行熱圖可視化，并與關系網絡的嵌入模塊熱圖可視化的結果進行對比。如圖8 所示，采用基于CBAM 的ResNet18 嵌入模塊提取WCE 圖像特征時能夠聚焦于圖像的異常區域，可以提取到圖像中的差異性特征，有助于提高WCE 圖像的多分類準確率。不同WCE 圖像分類方法的準確率對比結果如表5 所示，其中，文獻［6］采用MPEG-7v 視覺描述符分類WCE 圖像，文獻［7］利用WCE 圖像的顏色和紋理特征進行圖像分類，文獻［8］利用詞袋庫技術，采用以ResNet18 作為基礎網絡進行微調的深度學習多分類方法分類WCE 圖像，文獻［10］利用WCE 訓練集訓練關系網絡。從表5 可以看出，本文WCE 圖像多分類方法整體準確率以及在各種異常圖像上的識別精度高于其他WCE 圖像分類方法，因此，本文WCE 多異常分類方法具有有效性。

表5 不同WCE 圖像分類方法準確率對比Table 5 Comparison of the accuracy of different WCE image classification methods %

圖8 嵌入模塊卷積的可視化分析Fig.8 Visualization analysis of embedded module convolution

4 結束語

本文提出一種基于注意力關系網絡的小樣本WCE圖像分類方法。將注意力機制、關系網絡以及元學習訓練策略相結合，構造基于注意力機制的特征提取模塊提取WCE 圖像特征，將提取的支持樣本和查詢樣本特征級聯后輸入到關系模塊，關系模塊輸出查詢樣本與支持樣本之間的相似性評分，根據相似性評分判別查詢樣本的類別。在mini-ImageNet 數據集上的實驗結果表明，該方法的準確率高于ResNet18、RelationNet等其他小樣本分類方法。下一步將對ARNs 關系模型中的特征級聯部分和模型結構進行改進，以達到更好的WCE 圖像分類效果。