基于Di-LSTM 算法的注意力缺陷多動障礙癥分類

張淼，陳宏濤

（太原理工大學信息與計算機學院，山西晉中 030600）

ADHD[1]是一種以多動、注意力不集中和行為沖動為特點的精神障礙，在兒童和青少年中常被診斷出來，并且最近有記錄證明其可能會持續到成年期，這種疾病在男孩中更為普遍。通常，ADHD 的診斷是基于使用不同版本的精神疾病診斷和統計手冊（Diagnostic and Statistical Manual of mental disorders，DSM）或國際疾病分類（International Classification of Diseases，ICD）的標準進行的，由于診斷是通過教師、家長和行為科學家進行的主觀觀察來完成的，因此尋找有助于診斷ADHD 的定量技術已經引起人們的關注。

近些年來，靜息態功能磁共振成像(resting statefunctional Magnetic Resonance Image，rs-fMRI)因其無創、無輻射、時空分辨率高且不需要被試完成復雜的任務，已經被廣泛地用于精神疾病的研究[2]。已有許多在fMRI 上使用機器學習來研究ADHD，杜海鵬等人[3]提出一種基于多目標支持向量機的分類模型，經過對比，其準確率顯著提高，達到了75.3%。但是由于傳統的機器學習模型大多是淺層模型，對于高維fMRI 數據的擬合效果并不理想，并且大多需要人工進行特征選擇，一些相關性較弱的體素會被忽視。所以，深度學習逐漸被引入相關研究，2017 年毛振宇、蘇怡等人[4]基于靜息態fMRI 數據，提出了一種基于4-D CNN 的深度學習模型用于ADHD 的分類，得到實驗結果準確率為71.3%，AUC 為0.8；2020 年張濤、李存波等人[5]通過將分離通道卷積神經網絡（SC-CNN）與基于注意力的網絡（SC-CNN-attention）相結合，提出了一種新的兩階段網絡結構，以大規模區分ADHD 和健康控制多站點數據庫，分類結果為68.6%。

“深度空間”的卷積神經網絡（Convolutional Neural Network，CNN）和“時間深度”的遞歸神經網絡（Recursive Neural Network，RNN）是兩個經典的深度學習分支。RNN 模型（例如長短期記憶(Long Short Term Memory，LSTM）[6]）和門控循環單元（Gated Recurrent Unit，GRU[7]）已被大量用于精神疾病的識別與分類，例如使用fMRI 識別孤獨癥譜系障礙[8]和阿茲海默癥[9]等。

文中提出了將字典學習和長短期記憶網絡相結合的方法對rs-fMRI 數據進行處理，最終用來預測ADHD 患者和正常人。

1 材料和方法

ICA(Independent Component Algorithm)由于其可以很好地處理稀疏分量[10]被廣泛應用于rs-fMRI 數據的處理，但是由于其具有一定的限制和局限性。字典學習算法有著更為稀疏的表示，因此受到學者們的重視[11]。

首先利用ADHD 和正常被試數據相結合，基于FastICA 初始化的在線字典學習獲取ROI 時間序列，結合LSTM 對于序列類數據處理的優勢，再將獲得的時間序列輸入提出的LSTM 模型中進行訓練，然后進行預測。實驗流程如圖1 所示。

圖1 實驗流程

1.1 在線字典學習

在線字典學習算法可以在線解決字典學習矩陣分解問題，通過求解式（1）找到用于近似數據矩陣的最佳字典和相應的稀疏編碼。

式中，V是字典，U是稀疏編碼，Z是數據矩陣，α為正則化參數。顯然，式（1）的第一項是希望很好地重構Z，第二項則是希望U盡量稀疏，k為字典V的行索引。

在線字典學習需要獲得稀疏編碼和學習字典矩陣，文中采用交替優化的策略來求解式（1），包括稀疏編碼和更新字典兩個階段，其中，利用最小角度回歸法來解決Lasso 問題，迭代次數設為100，批量大小為η（值為3），通過批量處理可以加快算法的收斂速度。在在線字典學習開始之前，已經通FastICA 結合嶺回歸獲得了字典初始化矩陣，以此來初始化式（1）中的V。在之后的每次迭代順序循環選擇3 行數據進行計算。

1）稀疏編碼與更新輔助變量

創建矩陣A以及矩陣B來保存輔助變量（零矩陣），方便后續的迭代更新。Ut的計算如式（3）所示：

式（3）中，t為第幾次迭代，k即為設定的成分數目，每次迭代過程都選擇數據中的η行。

2）字典更新

字典更新開始時使用Vt-1進行熱啟動。Vt的計算如式（4）所示：

在字典更新中循環k次，k為成分數，即字典的行數。

1.2 長短期記憶模型

長短期記憶（Long Short Term Memory）模型屬于一種特殊的RNN 模型，它的提出是為了解決RNN 模型梯度彌散的問題，由重復的單元組成，這些單元接收來自前一個單元的輸入以及當前時間步長t的數據輸入xt。每個LSTM 單元包含一個單元狀態ct和隱藏狀態ht，它們由控制進出單元存儲器的信息流的4 個神經網絡層進行調制?？刂芁STM 的方程為:

具體來說，輸入門控制輸入xt和ht-1對當前存儲單元的影響程度（式（5））；遺忘門ft控制前一個存儲單元ct-1對當前存儲單元ct的影響程度（式（6））；輸出門控制當前單元ct對隱藏狀態單元ht的影響程度（式（7））；存儲單元ct是兩個分量的總和:前一個存儲單元ct-1由ft和gt調制（式（8）），輸入門it調制的當前輸入和先前隱藏狀態進行加權組合（式（9））；同樣，用輸出門ot過濾單元狀態，用于隱藏狀態更新，這是LSTM 單元的最終輸出（式（10））。

2 數 據

2.1 數據集

選擇NeuroBureau 為ADHD-200 競賽發布的北京大學站點預處理后的數據。該數據由rs-fMRI 數據以及每個被試的不同表型信息（非成像數據）組成。其中，訓練集中有144 個被試，測試集中有50 個被試，所有被試都是右利手。數據集信息如表1所示。

表1 數據集信息

2.2 數據預處理

數據是基于NIAK 管道預處理的，使用了MINC工具包和自定義Matlab/Octave 腳本[12]。預處理步驟包括去除前3 個時間點、時間層校正、頭動校正、校正時間漂移和生理噪聲，將功能數據配準到3×3×3 mm3分辨率的蒙特利爾神經病學研究所（Montreal Neurological Institute，MNI)的標準空間模板，最后采用6 mm 全寬半高(Full Width at Half Maximum，FWHM)高斯核空間對圖形進行平滑化處理。在后續的實驗中，學習大腦ROI 是在訓練集上進行的，防止過擬合[13]。

3 實 驗

3.1 字典學習提取ROI

ROI 的常見確定方法：一種是基于各種大腦模板圖譜的自動解剖標記（Automated Anatomical Labeling，AAL），這是一個大腦結構圖譜，包括116 個ROI。穩定集群自舉分析（Bootstrap Analysis of Stable Clusers，BASC）是一個多尺度的功能圖譜，具有不同數量ROI 圖譜的選擇，包括36、64、122、197、325 和444。另一種是通過數據驅動的方式來獲取ROI，包括k-means、ward 和最近提出的ReNA 聚類算法[14]，以及ICA 方法和字典學習方法，后兩者在fMRI 數據上表現比前者更好?；诖竽X圖譜的方法在獲取被試的大腦網絡時可能存在一定的偏差，選擇數據驅動的方法來獲取所需的ROI 時間序列。與經典批處理算法相比，在線字典學習有著更好的性能，且能獲得更好的字典，文中提出將FastICA 應用到在線字典學習的初始化環節，使得分類效果有所提升。

3.1.1 計算字典初始值

除了比較常見的利用SVD 來構建初始化字典，還可以通過已知的腦網絡來獲取初始化的字典[15]。文中利用FastICA 算法獲取相應的腦網絡并計算出字典初始值。每個被試的rs-fMRI 數據是形如（49，58，47，232）的四維圖像，其中第四維是時間點，前三維構成了包含3D 大腦的立方體。

在對rs-fMRI 圖像預處理之后，利用訓練集所有被試的圖像獲得共同的大腦掩模，大腦掩?？梢蕴崛?D 立方體空間中只屬于大腦內部的體素，結合大腦掩模將每個被試的rs-fMRI 圖像轉換為形如（28 546，232）的二維時間序列，28 546 為體素個數。對每個被試的體素時間序列進行PCA 降維，再將所有被試降維后的數據疊加到一起形成了組成級別分析所需的數據Z，如（28 546，n*60），其中n為被試個數，60 為指定的降維數目。在對數據Z進行標準化以及典型相關分析之后，利用FastICA 算法即可獲取相應的腦網絡成分，即獨立成分。

利用FastICA 獲取的腦網絡成分（即獨立成分）和數據Z結合嶺回歸即可獲取相應的回歸系數，使之作為字典初始值。嶺回歸相比最小二乘法獲得的回歸系數更切合實際、更可靠，通過對回歸系數增加懲罰項來實現。

3.1.2 在線字典學習

實驗中對字典更新迭代100 次便得到了更新后的字典V，結合數據Z可以計算得到所需要的稀疏編碼U，即在線字典學習腦網絡成分。在線字典學習獲取的眾多成分中每一個都可以稱為腦網絡，并且所有腦網絡可以被概念化為腦功能圖譜，如圖2 所示。獲取的時間序列如圖3 所示。

圖2 使用字典學習獲得的ROI圖譜

圖3 獲取的時間序列

依據訓練集學習到的功能圖譜，對被試相應ROI 區域內體素時間序列求平均值即可獲得被試的ROI 時間序列。

3.2 擴充時間序列

在得到每個受試者的平均時間序列之后，為了得到更多的輸入樣本防止過擬合，選擇提取長度T=30 的一系列子時間序列[16-17]，從每個被試的時間序列里截取10 個長度為T的序列，這樣我們就得到了原來數據10 倍的時間序列，總共1 940 個數據作為模型的輸入。

3.3 模型訓練

文中提出了一種LSTM 體系結構，該體系結構將功能磁共振成像即上面所獲得的1 940 個時間序列作為輸入。

提出的LSTM 模型總共有4 層，采用最基本的框架，如圖4 所示。在給定來自前一個時間點T的時間序列數據的情況下，預測在時間T+1 時的fMRI 時間序列數據。測試數據被輸入到LSTM 層，最后一層輸出被送到完全連接層。使用Kears 對LSTM 進行了相應的訓練和測試，并且使用了自適應矩估計(Adam)優化器來最小化真實標簽和預測標簽之間的損失值，將batch size 設置為32，學習率從0.001開始，并在每個時期后以10-2的衰減率衰減，損失函數為交叉熵損失。

圖4 模型結構

為了提高模型的泛化性能并克服過度擬合，還使用了dropout（dropout=0.5）和L1，2-范數正則化（L1=0.000 5，L2=0.000 5）來調節模型參數。當驗證損失停止減少50 個epoch 或執行了最大epoch（1 000 個epoch）時，訓練過程就停止了，顯著性檢驗采用雙尾配對t檢驗，α=0.05。

為了對模型進行評估，文中使用了10 倍的交叉驗證，對數據集進行了分割，對25%進行測試，75%進行訓練。

4 結果與分析

4.1 評估指標

根據交叉驗證的結果，選擇了靈敏度（sensitivity）、特異性（specificity）以及分類準確率（accuracy）3 個分類結果評估指標。指標計算方法如下：

式中，TP為真正例，FN為假反例，FP為假正例，TN為真反例，SN為靈敏度，SP為特異性，ACC為分類準確率，FPR為假陽性率，ROC 曲線下的面積可以反映分類器的性能，面積越大分類器的性能越好。

4.2 TC提取策略的分類比較

除了使用文中所提出的基于在線字典學習的方式提取時間序列之外，傳統方式還可以通過各種腦區模板來對時間序列進行提取。為了驗證方法的有效性，通過使用概率圖譜（MSDL）、自動解剖標簽（AAL）和史密斯地圖集（Smith Atlas）3 種模板來提取時間序列，并和提出的方法做對比，不同模板提取時間序列結果比較如表2 所示。

表2 不同模板提取時間序列結果比較

通過實驗可知，基于已知模板的方式直接提取相應時間序列，該方式與文中提出的基于FastICA 初始化的在線字典學習算法提取前期的ROI 相比，文中方式在準確率上達到了79.01%，在靈敏度和特異性方面也分別達到了62.70%和88.90%，很明顯Di-LSTM 方法得到的大腦ROI 圖譜更加穩定和精確，分類效果也較優。

4.3 不同方法分類性能比較

目前，對于ADHD 分類的研究，很多方法是基于功能連接結合機器學習的算法。為了驗證方法的有效性，基于ADHD-200 數據集設計了3 個對比實驗：對基于多尺度SVM、SC-CNN-Attention、Di-DNN 3種分類方法結果作對比。

Di-DNN 將字典學習和深度神經網絡相結合，利用ADHD 和正常被試數據結合基于FastICA 初始化的在線字典學習獲取ROI 時間序列，之后結合深度神經網絡(Deep Neural Networks，DNN)算法進行分類，得到的分類結果為另一組對比實驗，表3 是文獻中方法與Di-DNN 以及Di-LSTM 方法進行對比的結果。深度神經網絡由4 層全連接層構成，每層的神經元個數分別為512、256、128、2，每個全連接層之后均有一個dropout 層，且前三層的激活函數為LeakyReLU(alpha=0.05)，最后一層為softmax。

表3 不同方法分類對比結果

由表3可知，Di-LSTM算法準確率達到了79.01%，而相應的ROC 圖如圖5 所示，達到了0.88，整體表現較好。

圖5 使用Di-LSTM方法分類ROC圖

文獻[3]使用多目標支持向量機對ADHD 進行分類，準確率為75.30%；文獻[5]使用了帶有注意力網絡的分離通道卷積神經網絡（SC-CNN-Attention），處理了基于AAL 模板提取的時間序列信號，最后得到的準確率為68.6%；字典學習和深度神經網絡(DNN)相結合達到的分類結果準確率為70.1%；Di-LSTM 用字典學習和LSTM 相結合的方法對ADHD疾病進行預測分類，最終得到的平均準確率達到了79.01%，分類的結果分別比文獻[3]、文獻[5]、字典學習和DNN 結合的方法提高了3.71%、10.41%、8.91%。實驗結果驗證了Di-LSTM 算法在ADHD 疾病領域分類的可用性。

5 結論

文中提出了一種基于在線字典學習和LSTM 的方法對多動癥進行功能磁共振成像分類。文中的時間序列利用FastICA 初始化的在線字典學習算法獲取被試數據的稀疏表示，其次使用LSTM 模型對所獲得的時間序列進行訓練。由此產生的網絡實現了在注意力缺陷多動癥ADHD-200 數據集上對典型個體和注意力缺陷多動癥患者進行分類的先進性能。在未來，定位注意力缺陷多動癥的典型腦運動模式，并構建更深入的學習模型，以用于注意力缺陷多動癥和其他精神障礙的診斷，將是一個有意義的方向。