基于殘差自注意力機制的阿爾茨海默癥分類*

盧星進，王書卜，肖磊△，高禮彬，李瑞，胡眾義△

(1.溫州大學 計算機與人工智能學院，溫州 325035；2.溫州市智能影像處理與分析重點實驗室，溫州 325035；3.上海東方醫院，上海 200120)

引言

阿爾茨海默癥(Alzheimer′s disease，AD)是一種發病進程緩慢且不可逆的神經退行性疾病，可導致患者大腦神經細胞死亡和組織萎縮[1-2]。據報道，目前AD約占所有癡呆病例的60%～70%，有超過5 500萬人患有AD，預測到2030年將達到7 800萬，治療總成本將達到2萬億美元。盡管目前對AD患病的原因尚不明確且缺乏特效藥物來阻斷發病、治愈AD，但是若對AD進行早期診斷和治療即可有效延緩其惡化。在臨床診斷中，磁共振成像技術、彌散張量成像技術和腦電圖等方式能夠展示患者大腦的結構變化，其中，結構性磁共振成像技術(structural MRI,sMRI)產生的圖像能夠更好地顯示器官的萎縮、變形等。因此，本研究基于sMRI 圖像設計殘差自注意力框架以實現對AD的輔助診斷。

1 相關工作

在計算機輔助診斷領域，近年已有多項研究探討阿爾茨海默癥，以實現對該疾病的計算機輔助診斷。黎建忠等[5]提出了一種基于三類特征的支持向量機模型，三維重構 sMRI 的灰質體積、皮層表面積及厚度作為特征輸入進行AD和正常對照組(normal controls，NC)的分類識別。曾安等[6]將大腦腦區預處理的感興趣區域作為特征，輸入3D卷積神經網絡用于分類任務。Agrawal等[7]使用深度卷積神經網絡用于AD的分類。曾安等[8]提出了基于卷積循環神經網絡的AD早期診斷框架，該方法結合2D卷積和循環神經網絡，將2D切片序列輸入框架，對AD和NC的分類準確率達到93.3%。Dai等[9]將功能連接網絡(FCN)和結構連接網絡(SCN)的拓撲結構相關信息應用于AD分類，具有較好的效果。曾安等[10]利用腦區模板標簽(AAL)劃分受試者的大腦區域，提出直映式注意力機制，提高了模型的穩定性及準確率。Liu等[11]提出構建級聯卷積神經網絡，學習MRI和PET腦圖像特征用于AD分類。Shi等[12]建立光滑非線性特征空間變換來映射數據，并使用深度網絡特征融合策略對腦圖像的橫截面和縱截面進行融合，評估特征轉換和特征融合策略的有效性。曾安等[13]設計基于卷積神經網絡和集成學習的切片集成分類模型用于AD早期分類。潘丹等[14]提出基于3D卷積神經網絡和遺傳算法相結合的AD早期輔助診斷模型，首先利用3D卷積對數據訓練出候選基分類器，然后利用遺傳算法選出最優基分類器組合，最終集成分類。Jain等[15]采用基于遷移學習的模型，訓練VGG作為特征提取器，用于AD和NC的分類任務。Qiu等[16]提出一個可解釋的深度學習策略，框架中使用全卷積網絡，從MRI、年齡和精神狀態檢查分數等多模態數據中描繪AD特征，得到AD的準確診斷。Mehmood等[17]開發了一個Siamese卷積網絡(SCNN)模型，并在AD和NC的分類中得到了99.05%的準確率。Xing等[18]創新性地改造了近似秩池化操作，將三維MRI圖像轉為二維圖像，作為二維卷積輸入，相比于三維模型，其AD分類準確率提高了9.5%。Esteva等[19]使用強化學習方法，達到了對醫學成像數據的精準分類。基于關鍵切片投票的方法[20]從關鍵切片區間的角度，利用切片投票的分類結果，診斷患病狀態，通過多張切片集成分類。雖然該方法的準確率和穩定性都有一定程度的提升，但是仍有未進行切片權重分配，進而模糊核心切片區間比重的問題。

針對上述問題，本研究受自注意力機制[21]和集成學習的啟發，在關鍵切片投票方法[20]的基礎上，使用殘差網絡提取圖像特征信息，再通過切片自注意力機制替代切片投票機制學習特征信息，并進行權重分配，使得每一張切片擁有動態的權重，達到增強核心分類區間比重的作用，最終在不同權重的切片下集成分類結果，可智能診斷AD和NC，達到精準分類。通過將自適應梯度裁剪應用于圖像分類模型框架，在訓練大批量和大規模的數據時，更容易達到收斂，提升了模型診斷的可靠性。

2 數據集與預處理

2.1 數據獲取

本研究所有數據均來自阿爾茨海默病神經影像學計劃(Alzheimer′s disease neuroimaging initiative, ADNI)數據庫(www.loni.ucla.edu/adni)，從中下載431名受試者的MRI圖像，其中AD 200例，NC 231例，年齡分布在70～84歲，性別比例保持均等。詳細信息見表1。

表1 數據集基本情況

2.2 數據預處理

利用FreeSurfer軟件進行圖像預處理，主要包括頭部矯正、磁場不均勻信號偏差矯正、MNI305模板配準、白質區域信號的標準化和非腦組織(比如顱骨、脛部等)的去除，處理過程中的參數使用默認參數，經過FreeSurfer軟件預處理后的圖像大小均為256×256×256，再進行粗裁剪去除邊緣無用的非腦區域，重采樣得到圖像大小為180×180×150。預處理流程見圖1。

圖1 數據集預處理Fig.1 Dataset preprocessing

在之前切片工作[20-22]中，使用預處理完的數據分別測試了從獨立測試個體的沿軸向、冠狀和矢狀解剖平面提取的切片，表明冠狀面具有最高的準確率和敏感度，因此本研究實驗最終選取40個冠狀面切片用于實驗，其索引區間為[70,109]。最終在431個樣本中生成8 000張AD患者的MRI切片，9 240張NC的MRI切片。

3 方法

本研究基于殘差自注意力機制，使用殘差網絡[23]提取每個切片圖像特征信息，利用自注意力機制學習特征信息，并進行權重分配，增強核心分類區間的比重后，使用不同權重的切片特征信息集成分類。同時，在模型中增加自適應梯度裁剪(adaptive gradient clipping, AGC)[24]，以便于達到收斂。

醫生閱片時，會依據大腦切片的圖像判斷患者是否患病，但是在不同位置的切片會影響醫生決策。因此，引入自注意力機制，對不同切片位置設置權重，并進行動態分配，最終能夠增強核心切片區間的權重，進而實現集成分類。

基于殘差自注意力機制的框架中，殘差網絡的作用是學習每張冠狀切片圖像，并提取對應切片位置的特征信息；自注意力機制則是學習切片間的特征信息比重，對權重動態分配，增強核心分類區間的比重。最終將所有切片權重信息集成，得到AD分類結果。該框架很好地提高了視覺信息處理的準確性。具體模型框架見圖2。

圖2 殘差自注意力框架Fig.2 Residual self-attention framework

本研究使用的框架結構分左、中、右三部分。其中，左邊表示sMRI數據集；中間綠色部分表示40個sMRI切片，藍色部分表示殘差模塊；右邊橙色部分表示經過殘差網絡后提取的特征信息，綠色部分表示值向量序列，藍色部分表示鍵向量序列，灰色部分表示查詢向量序列，紅色部分表示權重向量。

3.1 殘差網絡

殘差網絡(residual network,ResNet)采用恒等映射結構，減輕了普通卷積神經網絡的訓練難度。ResNet由卷積層、池化層等構成的多個殘差塊堆疊組成。特征矩陣以兩個分支進入殘差塊，直線分支進入多個卷積層輸出特征矩陣。跳躍分支在輸入輸出一致時使用恒等映射，不一致時使用線性投影保證維度一致。最終對直線分支和跳躍分支輸出特征的矩陣進行求和并進入下一層。殘差學習算法見式(1)。

(1)

本研究主要基于ResNet-34模塊實驗，ResNet-34模塊有34個堆積層結構，先通過步長為2的池化進行下采樣，再通過中間16層殘差塊，最后網絡以全局池化層和softmax函數的全連接層輸出分類結果。不同殘差塊層的輸入和輸出有差別，結構基本相似。使用ResNet-34可以減緩過擬合或者梯度消失/爆炸問題，擁有更好的性能。

3.2 自注意力機制

自注意力機制采用表征加權的方式有助于獲得特征的內部相關信息。自注意力機制可以建立序列依賴關系，通過依賴關系引入權重，在通道和空間層面計算每個單元通道與通道、像素點與像素點之間的值，以加強兩者之間的聯系。其中權重計算引入的Q,K,V分別為查詢向量序列、鍵向量序列和值向量序列，分別學習了參數矩陣，得到自注意力權重大小。自注意力權重算法見式(2)。

(2)

其中，j表示第j層冠狀切片，L是線性映射用來匹配維度。Kj,Qj和Vj分別表示注意力機制的查詢，鍵和值向量矩陣，ω表示激活函數。

本研究在引入自注意力機制時會對40個切片產生40個不同權重信息，這些權重信息構成的注意力矩陣見圖3。其中每個格子的顏色代表權重值，顏色越深權重值越大，具體數值用圖中熱力棒刻度表示。本研究在預處理中選取切片索引為[70, 109]，將第70個索引作為第1個格子，按照順序依次分配給40個格子。其中橫坐標表示格子坐標的個位數，縱坐標表示格子坐標的十位數。由圖可知，越靠近切片索引中間位置特征信息越穩定，權重值越大。

圖3 注意力矩陣

3.3 自適應梯度裁剪

本研究中，實驗設置的自適應梯度裁剪是解決梯度爆炸的關鍵技術，可替代神經網絡中歸一化層用于殘差網絡。傳統歸一化的方法不適用于大批量訓練且難以選擇最佳學習率。自適應梯度裁剪的方法，基于梯度范數與參數范數的單位比例來進行剪切梯度。在數據規模比較大時，使用自適應梯度裁剪能夠使得尋找最優解的過程變得平緩，模型更容易達到正確的收斂水平。本研究使用AGC替代批歸一化層用于網絡中，在尋找平緩最優解的基礎上，能訓練大批量和大規模的數據快速收斂并取得穩定的準確率。

4 實驗

設置訓練集和測試集比例為8∶2，選取對于分類效果最佳的區間[70, 109]。為確保對比公平性，采用相同的參數配置。最終實驗使用ResNet-34模塊作為基礎網絡，采用RMSprop優化器，α:0.99，學習率:0.0005，偏置:1e-8，實驗設置100個迭代次數，在最終無變化時，停止訓練。經對比發現，VGG和AlexNet網絡結構較為臃腫不適合修改。在本節中，基準實驗使用ResNet-34模塊作為基礎網絡，再結合關鍵切片投票方法。在基準實驗上改進關鍵切片投票方法，使用自注意力機制動態分配權重，最終實驗基于殘差自注意力機制框架。該框架分別與不同網絡進行對比，分類性能參數包括準確率(ACC)，召回率(REC)，精確率(PRE)和均衡平均數(F1-Score)。結果見表2、表3。

表2 不同網絡結果對比

表3 不同模塊結果對比

4.1 不同網絡效果

本研究提出的模型四個方面均優于PCA+SVM和傳統神經網絡的框架，其中PCA+SVM代表基于主成分分析和支持向量機的診斷模型[13]；2DCNN表示使用單切片訓練的二維卷積神經網絡[13]；ResNet是基于ResNet-34的實驗設置；3D-PCANet為文獻[14]中提出的一種非監督學習方法；VGG by slice代表文獻[20]基于關鍵切片投票的方法。由表2可知，基于殘差自注意力機制框架可以提高傳統神經網絡的性能，同時也能夠有效捕捉關鍵特征信息。

4.2 不同模塊效果

表3為本研究模型與不同模塊在同一主干網絡下相對比，實驗結果顯示，本研究在準確率、召回率、精準度和均衡平均數均優于基準實驗，準確率比基準實驗高2.4%，其中ResNet是基于ResNet-34的實驗設置；Baseline是基準實驗。這表明基于殘差自注意力機制的診斷方式能夠達到更好的分類效果。該方法通過捕捉關鍵特征，學習特征間的顯著性，動態分配權重信息，在增強核心分類區間比重的方式上，達到不同權重集成分類。最終框架對AD分類具有較高的敏感度和魯棒性，該模型能夠更好地提升AD分類的性能，為輔助醫生診斷AD提供客觀依據。

5 結論

本研究提出了一種基于殘差注意力機制的分類模型。該模型使用殘差網絡提取每張切片圖像的特征信息，然后通過自注意力機制學習提取的特征信息，對切片權重動態分配，增強核心分類區間的比重，最終集成所有的權重結果，對AD和NC進行分類。實驗結果在對比不同主干網絡和不同模塊方面都取得了良好效果。基于殘差自注意力機制的召回率、精確率和均衡平均數都高于基準方法，對模型的改進有很好的效果，同時對于AD的輔助診斷也具有重要意義。在后續的研究中，將會嘗試使用更多維度的信息(比如表征信息等)來提取特征，結合自注意力機制進一步提高模型性能。