用于阿爾茲海默病輔助診斷的多流卷積神經網絡

賈璦瑋，劉芳宇

（1.南華大學計算機學院醫學信息工程系，衡陽 421001；2.上海大學計算機工程與科學學院，上海 200444）

關鍵字：阿爾茲海默病；多流卷積神經網絡；特征融合；線性拼接

0 引言

近些年來醫學技術不斷發展，大腦成為醫學研究的對象之一。阿爾茲海默癥是一種神經系統退行性疾病，常見的癥狀主要是認知功能障礙。近些年來病例的數量在持續上升，并且常發生于老年人中。由于醫學技術水平的限制，這種病并不能根治，只能通過有效預防來干預。根據國際阿爾茲海默病協會（ADI）最新發布的世界阿爾茲海默病報告顯示，現在有超過5500萬名阿爾茲海默病患者。預計到2050年，每33秒世界上就會增加一例病例，全世界將會有1.39億人受到該病影響。隨著人口老齡化加劇，能夠提前發現并預防阿爾茲海默癥具有重要現實意義。檢測阿爾茲海默癥的常見手段主要是心理學測量和醫學影像學輔助，輔助工具有磁共振成像（MRI）、正電子發射層掃描（PET）等。磁共振成像可以提供疾病相關的局部或者區域特征，通過對這些特征的處理分析，我們可以將阿爾茲海默癥患者與正常人區別開來。

1 相關工作

1.1 經典的深度模型

隨著硬件條件的發展，越來越多的人嘗試用整圖卷積的方法來提高磁共振圖像識別的準確率。卷積網絡的卷積層間的堆疊方式、卷積核的大小和數量以及池化層的選擇方式都會影響模型的性能。經典的卷積網絡VGG13模型使用多個3×3×3的小卷積核的卷積層，能夠獲得不錯的局部信息提取。但是隨著普通3D卷積的堆疊，不能很好地把梯度反饋給網絡層，模型的分類性能反而越來越弱，還容易產生梯度消失或者梯度爆炸等問題。He等提出了ResNet模型，可以解決梯度消失、爆炸等問題，而且所需要的參數量少。ResNet34模型引入了橫跨層的快捷連接（shortcut connections）結構，將輸入跨層連接到后面的網絡層。在后向傳播時使用了殘差網絡的思想，能夠將低層的網絡梯度上傳給高層。

1.2 基于地標的深度多實例模型

常用的方法是自主預先將MRI圖像劃分成多個感興趣區域（regions-of-interest,ROI），提取相關的區域特征后再使用分類器判別，但是在定義ROI和提取相關特征方面存在困難，需要專業的臨床知識和大量的時間。Liu等提出的深度多實例模型（LDMIL）是一種多實例學習的學習方法，通過對多個地標定位的圖像塊捕捉進行建模，形成在整個圖像級別表示的大腦結構。先對訓練數據中的阿爾茲海默癥患者和NC受試者作比較，用來導出AD的識別解剖標志，然后再提取以多個標志位置為中心的圖像塊。對每一個對應位置的塊采用CNN模型進行端到端的分類，將MRI圖像的局部和全局特征合并起來，獲得受試者的全局表示。這是一種逐層的學習方法，通過對多個地標定位的圖像塊捕捉進行建模，然后形成在整個圖像級別表示大腦的結構。

1.3 基于自注意機制的卷積神經網絡

殘差注意力網絡（ResAttNet）結構可以拓展網絡，提升分類性能，利用該模式可以在圖像識別上取得更好的效果。Zhang等提出的三維可解釋的殘差自注意卷積神經網絡（3DResAttNet），是使用少量參數增加神經網絡深度來獲得MRI圖像的局部、全局和空間信息。自注意力機制可以專注于主要的區域，忽視非必要的區域，在原始殘差模塊的尾部添加了自注意力層，可以幫助模型更好地對全局信息進行處理分析。該模型采用3D CNN方法，將三個3×3×3的卷積層堆疊起來，對數據集使用3D過濾器來獲得三維的低級特征。通過將這些特征組合起來獲得高級特征，這是一種端到端的操作。

2 材料和方法

2.1 受試者和數據處理

本研究采用的數據集是來自100名正常和100名患病受試者的基線MR掃描圖像。參照一些臨床標準，如簡易精神狀態檢查（MMSE）分數、蒙特利爾認知評價量表（MoCA）和臨床癡呆評分（CDR）將這200名受試者分為兩類：AD（阿爾茨海默病）和NC（正常對照）。表1是對兩百位受試者的人口統計信息報告，呈現性別、年齡、體重和簡易精神狀態（MMSE）值等信息。

表1 受試者的人口統計學信息（平均值±標準差）

2.2 圖像處理

對于受試者的MRI影像，首先對圖像進行非均勻組織強度矯正，再對圖像重新采樣為1.5×1.5×1.5的立體像素。對校訂后的圖像采用SPM工具中的CAT12工具包完成剝離頭骨的操作，并將影像分割成GM、WM、CSF三個部分。最后按照標準腦模版空間MNI（montreal neurological institute）配準，將分割好的圖像統一大小為113×137×113。圖1是第100例受試者的MRI結構核磁共振圖像和GM、WM、CSF分割結果圖像。

圖1 第100例受試者冠狀、矢狀和軸向方向圖示

2.3 提出的方法

本文采用的模型是針對卷積神經網絡（convolutional neural network,CNN）結構模型改進后的多流卷積神經網絡（multi-stream convolutional neural network,MSCNN）模型，同時對GM、WM、CSF三個特征進行提取。在提取的過程中，我們引入原MRI圖像來防止信息丟失，即同時進行四路特征提取。卷積層由一系列固定尺度的卷積核組成，尺度為3×3×3，以寬度為1的窗口在原始圖像上間隔滑動，用于計算不同的特征圖。該模型含有9層卷積（即Conv1、Conv2、Conv3、Conv4、Conv5、Conv6、Conv7、Conv8和Conv9）和3個全連接層（即FC10、FC11和FC12）。經過每層卷積后特征圖的通道數量為64、64、128、128、256、256、512、512、512。卷積層后緊跟著批量歸一化層Batch-Norm3d（）和整流線性單元激活函數ReLU（），能夠加快模型的訓練過程。其中對Conv2、Conv4、Conv6、Conv7、Conv8和Conv9后 進 行Max-Pool3D最大池化操作，Conv9后的池化內核大小為2×2×3，其他層的池化內核大小都為2×2×2。通過多個卷積和池化的步驟后，特征圖被展平成1×1×1的大小，再送入全連接層。全連接層含有神經單元的數量分別為512、256、2，將FC12的輸出送到soft-max層，概率最大的類別即為本次的預測結果。

本文采用了兩種融合方法對模型進行改進，分別是特征融合Fusion（）方法和線性拼接Cat（）方法，框架分別如圖2和圖3所示。特征融合方法是對Conv5的輸出進行特征融合操作，我們定義了四個可學習的參數，將四路卷積的不同尺度特征加權匯總在一起作為Conv6的輸入，再進行四層單路卷積送入全連接層；而線性拼接Cat（）方法則是對經過九層卷積展平后的特征圖沿著通道Channel方向進行矢量拼接后再送入全連接層FC10，然后再輸入到FC11。

圖2 MSCNN-Fusion架構

圖3 MSCNN-Cat架構

3 實驗

3.1 實驗比較

為了檢驗本文提出的模型的預測性能，本節設計了三個類型的實驗：

實驗一：將MSCNN模型與其他現有的處理MRI圖像的四種方法進行比較研究。VGG13、ResNet34、ResAttNet34和LDMIL四種模型處理對象為MRI圖像，MSCNN則對切割后的GM、WM、CSF和原MRI圖像進行驗證。所有實驗均在Pytorch上構建和實現。

實驗二：使用消融實驗來檢驗各部分對預測結果的影響和有效性。我們設計比較了有和沒有各個部分（即GM、WM、CSF和MRI）對MSCNN模型實驗指標的影響，將缺失某部分模型的預測效果與原MSCNN模型進行比較。

實驗三：對采用兩種融合方法的模型進行實驗比較。我們對MSCNN-Fusion和MSCNNCat兩個模型進行實驗，比較特征融合方法和線性拼接方法對預測的影響。

所有的實驗均采用五折交叉驗證的方法，學習率（LR）設置為1×10，將交叉熵（Cross Entropy）設置為損失函數，并且使用優化器Adam優化模型。

3.2 實驗設置

該實驗是針對AD和NC進行的二分類任務，我們采用七個指標來評判模型的性能，分別是準確性（ACC）、受試者工作特征曲線下面積（AUC）、召回率（Recall）、馬修斯相關系數（MCC）、F1分數（F1-Score）、精確率（Precision）和ROC曲線。這些評判指標的定義如下：

其中FP、FN、TP和TN分別表示假陽性、假陰性、真陽性和真陰性。

3.3 實驗結果

將所提出的MSCNN模型與其他四種模型進行了比較，對AD和NC分類的比較結果如表2所示。從表2可以看出，MSCNN的Accuracy、Precision等六項指標均高于其他四個模型，進一步表明了該模型的有效性。MSCNN模型對于AD的分類性能是波動的，但是相比于其他四種模型的波動更小。五種模型的ACC、AUC和ROC結果如圖4所示。

圖4 五種模型的ACC、AUC和ROC結果

表2 五種模型在AD分類任務的六個指標結果（平均值±標準偏差）

本文提出的方法是將整個MRI圖像切割成GM、WM、CSF三部分輸入，同時使用原MRI圖像進行輔助處理。該實驗研究了GM、WM、CSF和MRI四個部分對模型的影響，表3報告了這四個部分在分類任務上獲得的ACC、Precision、Recall、AUC等指標值。從表3可知，MRI和GM對模型的Accuracy貢獻都是29.41%，大于WM和CSF的貢獻。MRI對AUC的貢獻為35.35%，遠遠大于GM、WM和CSF的貢獻。該實驗的各種指標表明，將原MRI圖像與切割后的三個部分（GM、WM和CSF）相結合有助于提高模型的預測性能，從而更好地進行AD的分類。不同模式影像對各參數的貢獻如圖5所示。

圖5 不同模式影像對各參數的貢獻

表3 五種模型在AD分類任務的六個指標結果（平均值±標準偏差）

表4 兩種融合方法在AD分類任務的六個指標結果（平均值±標準偏差）

我們將兩種方法對同一個數據集進行交叉驗證。從中我們觀察到兩種方法的各項指標都很接近，但是MSCNN-Cat的四個指標ACC、Recall、F1-Score、MCC均 優 于MSCNN-Fusion的分數，說明分開獨立卷積的模型參數量更大，計算開銷也更高。

4 總結

本文根據卷積神經網絡進行改進，將多流卷積神經網絡與兩種融合方法（Fusion和Cat）結合起來，用于AD和NC的分類。我們在五折交叉驗證策略下進行了三個實驗：①將MSCNN模型與其他現有的處理MRI圖像的四種方法進行比較研究；②使用消融實驗來檢驗各部分對預測結果的影響和有效性；③對采用兩種融合方法的模型進行實驗比較。實驗表明，本文提出的模型優于現有的模型（VGG13、ResNet34、ResAttNet34和LDMIL），對于AD的診斷具有良好的性能。在未來，我們會基于該模型開發一個能夠實現輕度認知障礙（MCI）和AD分類的模型框架。