面向認知表現預測的時?空共變混合深度學習模型

李晴 徐雪遠 鄔霞

認知表現預測是指對大腦執行認知任務時學習能力、記憶力、注意力等方面能力的預測,在教育發展、疾病診療等諸多領域具有重要的應用,一直備受研究人員的關注[1].認知神經科學證據顯示,神經影像數據所蘊含的大腦信息能夠直接反映出大腦認知表現的處理過程[2].因此,利用神經影像技術對認知表現進行預測已經成為了人們關注的焦點[3?4].其中,同時具有較好的時間分辨率和空間分辨率的功能磁共振成像(Functional magnetic resonance imaging,fMRI)技術已經被廣泛應用于構建上述關系.

已有多項基于fMRI 數據的研究探究了腦功能與認知表現之間的關系,并取得了不錯的結果[5?6].深度學習作為一種強有力的預測模型,已經被廣泛應用于人臉識別、語言處理、物體檢測等多個領域[7?8].受到已有工作啟發,多種深度學習模型被引入到基于fMRI 數據的研究中,如: 深度置信網絡[9]、卷積神經網絡[10]、循環神經網絡(Recurrent neural network,RNN)[11]等.深度學習具有突出的特征提取能力,使其能夠為建立腦功能與認知表現間的關系提供支持,并進一步實現對認知表現的預測[12?13].

研究表明,大腦功能網絡具有時?空共變的特性,即不僅在空間上存在腦區協同的腦網絡模式,在時間上存在著動態變化的特性,且不同空間網絡與時間維度序列存在交互作用[14].受其影響,大腦的認知表現也在空間維度中受到大腦功能網絡的系統性影響,在時間維度上受到重復性、衰減性等動態性影響[3].因此,受大腦功能網絡時?空共變特性的啟發,從時?空共變角度來預測認知表現,將能夠更加完善地對其進行信息處理與分析.

目前,有研究者提出一種多任務學習模型,采用最小化奇異值的方式對低秩公共子空間進行表征,從而聯合分析神經影像數據和認知行為數據,實現了認知表現預測[15].然而,以上研究依然未能在基于大腦學習機制的同時,利用時?空腦數據對認知表現進行預測[16],從而限制了認知表現預測的能力.因此,將大腦學習機制引入到時?空共變深度認知表現預測模型中非常有必要.最近,一種學習機制啟發的深度學習模型被提出,即深度稀疏循環自編碼器算法 (Deep sparse recurrent autoencoder,DSRAE).該算法被用來對時?空共變fMRI 特征進行分析,驗證了其對時?空共變腦數據的重建能力及對特征的高效分析能力[11, 17].在本研究中,為了更好地預測認知表現能力,本文結合DSRAE 模型和循環全連接網絡(Recurrent fully connected net,RFNet)構建了一種時?空共變混合深度學習模型(如圖1 所示),稱為DSRAE-RFNet.為了驗證本文提出的模型,本文采用人類連接組項目數據集(Human connectome project,HCP)[18]中被試執行工作記憶任務的反應時間(Reaction time,RT)和準確率(Accuracy,ACC)作為認知表現預測的目標.

圖1 基于大腦學習機制的時?空共變混合DSRAE-RFNet 模型框架Fig.1 The overview of learning mechanism based spatio-temporal co-variant hybrid deep learning framework (DSRAE-RFNet)

本研究的目的是構建基于DSRAE-RFNet 算法的認知表現預測模型.在保證高預測準確率的同時,獲取有意義的神經影像預測特征作為神經學標記物.本文的創新點在于:

1)提出了一種新的時?空共變混合深度學習模型,采用混合損失函數,同時利用腦影像數據與認知表現數據對時?空共變混合神經網絡模型進行訓練.算法面向認知表現預測需求,基于fMRI 數據特點,利用高維度時?空共變神經影像特征對認知表現進行預測.相較單一損失函數算法,DSRAE-RFNet算法以高維度時?空共變腦影像特征為橋梁,建立了神經影像數據與認知表現之間的關系.

2)引入了人類大腦學習機制,能夠有效借助大腦變化中的時序依賴關系,利用神經影像高維度時?空共變特征,實現認知表現的精準預測.采用定量分析的方式,證明了DSRAE-RFNet 算法作為一種腦啟發算法模型,在認知表現預測方面具有明顯優勢.從認知神經科學的角度,證明了大腦學習機制對認知表現預測的重要性.

3)在DSRAE 算法的基礎上,加入了RFNet模型,構建了新的能夠有效提取大腦高維度時?空共變特征的認知表現預測模型.面向fMRI 數據特點,利用長短時記憶(Long short term memory,LSTM)層獲取包含數據有利信息的高維度時?空共變特征,并利用全連接層對認知表現進行預測.作為一種受fMRI 數據本身特點驅動的算法模型,DSRAE-RFNet 模型不僅能夠魯棒地預測認知表現,而且可以提取到有意義的神經影像預測特征.該混合學習模型為揭示人類大腦認知機制提供了新思路.

1 DSRAE-RFNet 算法模型

1.1 模型框架

DSRAE-RFNet 模型框架如圖1 所示,在進行認知表現預測的同時對相關神經影像特征進行分析.第1.2 節描述了DSRAE 模型,第1.3 節描述了RFNet 模型,第1.4 節詳細介紹了時?空共變混合深度學習模型.其中,DSRAE 模型的評價指標為fMRI 數據的重建錯誤,RFNet 模型的目的則是將回歸預測誤差最小化.

1.2 DSRAE 模型

為了能夠實現時?空共變腦網絡的提取,進而進行認知表現預測,DSRAE 模型將LSTM 和自編碼器 (Autoencoder,AE)相結合[17],有效利用LSTM能夠捕捉時間序列間時序依賴關系的優勢和AE 能夠有效利用空間維度信息的優勢,采用無監督學習的框架對fMRI 數據進行分析.圖1(a)展示了DSRAE模型的整體框架,包含編碼器和解碼器兩部分,無需任何時序標簽即可學習到任務特異性的時?空共變腦網絡特征.其中,編碼器包含一層輸入層、一層全連接層(可保留大部分空間維度信息) 和兩層LSTM 層;解碼器包含兩層LSTM 層、一層全連接層和一層輸出層.編碼器經過全連接層(128 個節點)、LSTM 層(64 個節點),將輸入數據的空間維度編碼為32 維特征,時間序列長度為T,在每一層保持不變,有效提取時?空共變特征.解碼器則與編碼器完全相反,將32 維特征解碼為原始fMRI 的空間維度.DSRAE 部分的輸入和輸出都是fMRI 時間序列,其隱含層傳導特征到RFNet 模型.

1.3 RFNet 模型

圖1(b)展示了RFNet 模型,共包含一層LSTM層,一層全連接層.從DSRAE 的隱含層獲得的32個時序特征經過一層LSTM 層獲得一個唯一的高維特征,該特征包含了每個時間點的全部空間信息,作為高階時?空共變特征.將神經影像特征與認知行為特征通過全連接層連接,根據神經影像數據特征的時間維度與認知表現數據維度,權重矩陣的維度為405 × 10.下面利用相關分析構建基于時?空共變信息的認知表現預測模型.特別地,本文采用模型在全連接層的權重與任務設計之間的皮爾遜相關系數(Pearson correlation coefficient,PCC)與行為數據進行相關分析,構建預測模型.

1.4 時?空共變混合學習模型

本研究采用如圖1 所示的時?空共變混合學習模型,基于神經影像數據,對被試執行不同任務刺激下的認知表現的整體趨勢進行預測.

具體來說,DSRAE-RFNet 整體模型在訓練階段的優化公式為:

式中,MSE() 為DSRAE 模型的誤差函數,MSE(xf||y)為RFNet 模型的誤差函數.二者均基于均方誤差(Mean square error,MSE)損失方程構建:

式中,L表示g(f(ρ))與θ之間差異的損失函數.對于DSRAE 模型,θ和ρ均為fMRI 一個時間點上的全腦數據;f(ρ) 為編碼階段輸出(編碼器第2 層LSTM 的節點輸出),g(f(ρ)) 為解碼階段輸出(DSRAE 解碼器最后一層的輸出).對于RFNet 模型,ρ為從DSRAE 模型隱含層獲得的時間維度特征,θ為認知表現數據;f(ρ) 為RFNet 的LSTM 層輸出,g(f(ρ)) 為全連接層輸出.式 (1) 中,O表示模型 的整體輸出. ?1和 ?2分別為L1和L2正則懲罰項,用以避免整個訓練過程過擬合.

基于DSRAE 和RFNet 模型的均方誤差損失加權和,時?空共變混合學習模型的損失函數定義為:

式中,Loss1和Loss2分別代表DSRAE 和RFNet模型的均方誤差損失,ω為DSRAE 模型的均方誤差損失對整個時?空共變混合學習模型的占比權重.

DSRAE-RFNet 算法的主要計算流程如算法1所示.

算法1.基于大腦學習機制的時?空共變混合深度學習模型

輸入.數據矩陣H∈Rs×t// 輸入的fMRI 數據.

輸出.預測矩陣B′∈R// 認知表現預測結果、S ∈Rs×h//基于彈性網絡回歸獲得的空間網絡模式、T∈Rh×t// 時間序列.

循環.

1)更新預測矩陣B′.

2)根據輸入矩陣H、標準化認知表現數據B、式(1)和式(3)更新網絡模型.

3)直到收斂或達到規定重復次數.

2 算法評估

2.1 實驗數據

本文使用750 名神經影像數據 (如表1 所示)和行為數據 (如表2 所示)均完備的正常成年被試數據作為訓練集、驗證集和測試集.所使用的數據來自國際公開數據集HCP (https://db.humanconnectome.org).HCP 數據集采用國際標準的蒙特利爾神經學研究所坐標系統空間對大腦灰質信息進行建模,該坐標系統空間是根據一系列正常人腦的磁共振圖像建立的.數據預處理步驟包括: 空間維度平滑、時間維度濾波、回歸去除腦脊液等干擾信息、以及頭動校正.所有預處理步驟均為HCP 數據集基于FreeSurfer 軟件[19]完成的.

表1 工作記憶任務: fMRI 數據信息Table 1 Working memory task: fMRI data information

本研究采用工作記憶任務數據作為認知表現預測數據集,該任務采用N-back 的方式對被試的工作記憶能力進行評測[20],任務刺激包括0-back、2-back 和cue.該任務已被證明在不同被試[20]和不同時間[21]均能夠激發出較為穩定的大腦活動模式.任務信息如表1 所示,其中,任務組塊表示將相同條件的幾個行為實驗安排在一起.掃描信息如下: 矩陣大小為90 × 104、切片數為72、脈沖重復時間為0.72 s、回波時間為33.1 ms、面內視野為208 ×180 mm、翻轉角為52°,頻帶寬度為2290 Hz/Px,空間分辨率為2 × 2 × 2 mm3.被試的反應時間和準確率的10 項具體認知表現數據信息如表2 所示.

表2 工作記憶任務: 認知表現數據信息Table 2 Working memory task: Cognitive performance data information

2.2 算法細節

特別地,本文利用Z-值[22]標準化(如式(4))將fMRI 數據標準化為均值為0、標準差為1 的矩陣:

式中,x為原始數據,為原始數據的均值,σ為原始數據的標準差,x?為標準化后的數據.為了統一認知表現數據的單位,本文將反應時間數值均/1000,準確率數值均/100.

本研究采用HCP 數據集中參與工作記憶任務的750 名被試數據作為實驗數據.本文將其隨機平均分為3 組,每組包含250 名被試.其中,每組被試中的150 名被試作為訓練集,50 名作為驗證集,50名作為測試集.第2.3 節所呈現的結果均基于測試集獲得.反應時間與準確率的認知表現預測結果作為每個組別對應的驗證評價指標.

DSRAE-RFNet 采用Adam 優化器[23]來處理模型中的后向傳播過程:

式中,μ和ν為勢能因子,gt為梯度.

模型的參數如下: 學習率設置為0.01,批大小為1 (包含1 次回看步數內的全部信息),L1和L2正則化參數 ?1和 ?2分別為 1 /107和 1 /104[11].為了比較學習機制對DSRAE-RFNet 模型的影響,LSTM的回看步數根據是否采用學習機制設置為405 (每個被試的重復時間總數量) 和1 (單個重復時間).重復次數設置為10 (若驗證集更早收斂,則采用早停機制直接停止,如5～ 6 個重復次數).如圖2 所示,無論是對準確率還是反應時間進行預測,在3組數據集上,基于MSE 的驗證集損失在10 個重復次數內均能達到收斂狀態.DSRAE-RFNet 模型整體損失中,DSRAE 模型的均方誤差損失對整個時?空共變混合學習模型的占比權重ω設置為0.5,從而有效平衡DSRAE 模型對神經影像特征的提取精確度和RFNet 對認知表現的預測精度.如圖3 所示,當ω=0.5 時(即神經影像數據和認知表現數據的混合學習比重一致),DSRAE-RFNet 模型對RT 和ACC 的預測效果最為穩定.

圖2 DSRAE-RFNet 模型在3 組被試上對RT、ACC 分別進行預測時的MSE 損失圖Fig.2 The MSE loss when predicting RT and ACC with DSRAE-RFNet model on three groups participants

圖3 DSRAE-RFNet 模型在3 組被試上對RT、ACC 的預測結果Fig.3 The predictive results of RT and ACC with DSRAE-RFNet model on three groups participants

為了進一步揭示神經影像數據對認知表現預測的認知神經科學依據,并有效避免噪聲對空間網絡激活模式生成過程的影響,本文通過彈性網絡回歸[24?26],基于RFNet 中獲得的時序特征生成空間網絡:

式中,X為預測矩陣(空間網絡),xf1為RFNet 的一維高階特征(時序特征).λ1和λ2分別是彈性網絡回歸的L1和L2正則化參數,能夠有效避免噪聲、奇異值等的影響,本文L1比例設置為0.005.

2.3 結果與分析

本文將DSRAE-RFNet 模型在3 組參與了工作記憶任務的被試上進行了訓練、驗證和測試,預測被試的反應時間和準確率.結果顯示,本文提出的時?空共變混合深度學習模型能夠通過fMRI 數據有效預測認知表現能力,并能夠同時獲得相關的時?空共變腦網絡.

2.3.1 學習機制分析

為了對學習機制啟發的DSRAE-RFNet 模型進行驗證,本文在3 組被試上分別進行了采用學習機制和未采用學習機制的模型測試.研究表明,大腦在學習新信息或處理新任務時,會基于原有時間序列獲得時序信息經驗,即便是較長時間間隔之前的信息,依然會對當前時刻大腦的信息處理能力產生一定程度的影響[27?29].因此,本文將回看步數設置為完整fMRI 時間序列長度,即405.相反地,回看步數設置為1 代表模型沒有基于人腦學習機制.

表3 展示了RT 和ACC 在3 組被試測試集上的預測結果.對于RT 預測,使用了學習機制的預測結果在3 組被試上均比未使用學習機制的模型結果好(采用雙樣本t檢驗,p值<0.01).

表3 與未采用學習機制模型比較的認知表現預測結果Table 3 Cognitive performance prediction results compared with the model without learning mechanism

特別地,對于第2 組被試,使用了學習機制的模型在認知表現預測上的性能具有0.41 的優勢,甚至超過了未使用學習機制的模型預測結果兩倍.對于ACC 預測,采用了學習機制的模型預測結果總體來說高于沒有采用學習機制的模型.對于第1 組被試,采用學習機制的模型預測結果沒有展現出更多優勢,但在統計學上二者沒有差異.這可能是由于第1 組被試整體在各個刺激條件下的ACC 變化不明顯(詳見第2.3.3 節),導致預測模型敏感性較低.

2.3.2 反應時間表現預測

如表3 所示,3 組被試的RT 預測結果分別是0.7、0.74 和0.776.圖4 展示了RFNet 中全連接層的權重可視化結果及其與RT 表現之間的關系.對于每一組被試,RFNet 的全連接層建立了該組被試的RT 數據與神經影像數據之間的潛在關系.如圖4(a)所示,針對RT 進行預測時,無論是第幾組被測試,RFNet 全連接層的10 組權重均與任務設計之間表現出明顯的正相關性,表明本文的模型所學習到的連接權重具有神經影像學意義.對于RT 的表現預測包含了10 個預測條目(如表2 所示),圖4(b)展示了上述連接權重與任務設計之間的PCC 系數與RT 的認知表現數據間所具有的正相關性,分別為0.862、0.665 和0.767.以上結果表明,預測模型學習到的特征同時具有神經科學意義和認知科學意義,也證明了基于大腦學習機制的時?空共變混合深度學習模型能夠有效建立神經影像腦數據與認知表現之間的關系,為基于fMRI 數據對認知表現進行預測提供了有力證據.

圖4 反應時間表現預測結果Fig.4 Reaction time performance predicting results

為了更進一步驗證基于大腦學習機制的時?空共變混合深度學習模型在預測RT 時能夠學習到有意義的神經影像學特征,圖5(a)展示了相關的時間維度和空間維度特征.對于時間維度特征,在對被試RT 進行預測時,DSRAE-RFNet 學習到的時間序列與任務設計具有高度相關性,在3 組被試上分別為0.568、0.624 和0.325.這表明,提取到的高維時?空共變特征與工作記憶任務刺激波動具有一致性.對于空間維度特征,在對被試執行工作記憶任務的RT 進行預測時,3 組被試都一致顯著地正激活了背側注意網絡和視覺網絡.基于廣義線性模型(General linear model,GLM)[18]、薈萃分析[30]和深度學習[11,17,31]等研究的結果均表明,兩個網絡的相關腦區與工作記憶任務具有高度相關性;此外,默認網絡顯示出了明顯的負激活,這與基于GLM 生成的空間網絡非常相似[18, 32],也就是說在執行認知任務過程中,DMN 處于負激活狀態.結果證明在RT 預測過程中所提取到的時?空共變特征是具有認知神經科學意義的.

圖5 反應時間與準確率表現預測過程中習得的大腦時?空共變特征Fig.5 The brain spatio-temporal co-variant features learned from the RT and ACC performance prediction processes

2.3.3 準確率表現預測

如表3 所示,對于3 組被試的ACC 表現預測,基于大腦學習機制的DSRAE-RFNet 模型的預測準確率分別是0.429、0.477 和0.536.在對ACC 表現進行預測時,3 組被試的全部10 個條目(如表2所示) 的全連接層權重均與任務設計具有正相關性(如圖6(a)所示),表明模型學習到的權重具有明顯的實際意義.此外,模型學習到的權重與任務設計PCC 和ACC 的認知表現數據具有高度正相關性,對于3 組被試分別為0.499、0.439 和0.666 (如圖6(b)所示).

圖6 準確率表現預測結果Fig.6 Accuracy performance predicting results

為了進一步驗證預測過程中所學習到的神經影像特征具有實際意義,本文同樣將預測ACC 表現過程中習得的時?空共變網絡特征進行了可視化(如圖5(b)所示).與RT 預測結果相似,提取到的時序信息特征與工作記憶的任務設計具有高度相關性.同時,空間維度網絡激活模式與GLM、薈萃分析及深度學習等算法所獲得的空間網絡非常相似[11, 17?18,30?31],即背側注意網絡和視覺網絡正激活,默認網絡負激活.以上結果表明,DSRAE-RFNet模型能夠提取到具有認知神經科學意義的時?空腦網絡,從而實現對被試認知表現的預測.

2.3.4 算法性能比較

為了證明本文提出的DSRAE-RFNet 算法的性能,本文將DSRAE-RFNet與經典預測模型 (包括線性和非線性模型) 以及前沿算法進行了比較,包括: 獨立成分分析(Independent component analysis,ICA)、GLM、RNN、LSTM、AE、深度稀疏循環神經網絡(Deep sparse recurrent neural network,DSRNN)[33]、深度變分自編碼器 (Deep variational autoencoder,DVAE)[34]、時空注意力自編碼器(Spatiotemporal attention autoencoder,STAAE)[35]、深度卷積自編碼器(Deep convolutional autoencoder,DCAE)[10].其中,AE與經典線性模型ICA、GLM 相似,提取空間網絡模式特征進行認知表現預測;DSRNN[33]與經典非線性模型RNN、LSTM 相似,主要對fMRI 信號中的高維度時序特征進行提取,從而實現認知表現預測;DVAE[34]、STAAE[35]算法分別利用變分生成模塊和注意力模塊與AE 相結合,提取fMRI 的空間高維度特征;DCAE[10]算法以fMRI 數據中的體素為單位,提取時間維度高維特征作為預測指標.如表4 所示,相較經典和前沿各預測模型,DSRAE-RFNet 在RT和ACC 的預測能力上均表現出較大優勢.對于第1、3 組被試,預測能力均達到最優水平,證明了本文算法在預測能力上的有效性和穩定性.

表4 與其他預測模型比較的認知表現預測結果Table 4 Cognitive performance prediction results compared with the other predictive model

為了證明DSRAE-RFNet 算法在認知表現預測上具有優勢的同時,在預測效率上同樣具有優勢,本文在單個圖形處理器(Graphics processing unit,GPU) (RTX 2070)上比較了不同算法的運行時間(包括: 在特征提取階段的單個運行次數內運行時間和在測試階段的單個被試預測時間).如圖7 所示,DSRAE-RFNet 算法的運行時間遠低于ICA 方法;相較其他以AE 為基礎的前沿算法 (DVAE[34]、STAAE[35]、DCAE[10]),本文所提算法同樣具有明顯優勢;本文算法與GLM、RNN、LSTM、AE、DSRNN[33]算法在單個GPU 上的運行時間基本相似,但對認知表現的預測效果更具優勢(如表4所示).因此,基于對各算法運行時間和預測準確率的綜合分析,本文所提DSRAE-RFNet 算法是一種高效、魯棒的新型認知表現預測算法.

圖7 DSRAE-RFNet 及比較算法在單個GPU 上單個運行次數的運行時間Fig.7 Running time of DSRAE-RFNet and comparable methods on a single GPU during one epoch

3 結束語

本文提出了一種新型基于大腦學習機制的時?空共變混合深度學習模型DSRAE-RFNet,用來預測認知表現,并同時提取相關的時?空共變神經學特征.本文采用HCP 數據集中的工作記憶任務作為本研究的訓練、驗證及測試集,獲得了非常有意義的結果.

為了證明本文提出的DSRAE-RFNet 模型的魯棒性,本文將模型擴展到了HCP 數據集中提供了RT 和ACC 認知表現信息的情感任務、語言任務和關系任務上,用于對被試的認知能力進行預測.結果表明,DSRAE-RFNet 模型除了能夠對被試執行工作記憶任務時的認知表現進行預測外,還能夠穩定地對多種認知任務的認知表現能力進行預測(如表5 所示).其中,相較其他三種認知任務,情感任務的RT 和ACC 預測準確率相對偏低,這可能與被試執行情感任務時對人臉和圖形判斷的相關認知表現差異并不明顯有關[18].

表5 對不同認知任務的認知表現預測結果Table 5 Cognitive performance prediction results for different cognitive tasks

總之,作為一種面向認知表現預測需求的新型時?空共變混合深度學習模型,本文提出的DSRAERFNet 算法能夠基于學習機制,受fMRI 數據本身特點驅動,充分利用認知神經科學先驗信息.算法模型不僅能夠基于fMRI 數據預測認知表現,同時能夠獲得認知任務有意義的神經影像學特征.通過對3 組被試的驗證與測試,證明了本文提出的DSRAERFNet 模型的有效性和魯棒性.與經典線性、非線性以及前沿算法的比較結果同樣證明,本文提出的算法在預測效果和效率上均具有優勢.基于本文研究,未來將在以下幾方面進行研究: 1)繼續嘗試其他混合深度學習模型,如多核學習[36?38]方式,采用自適應的損失函數優化方式,以期更加有效地利用神經影像特征來預測認知表現;2)基于神經網絡結構搜索框架,針對不同認知表現數據的預測任務,對DSRAE-RFNet 中DSRAE 部分的空間維度特征維度進行優化和搜索[39],以期得到更加具有任務特異性的算法結構;3)本文在對大腦時?空共變特征進行分析時,空間維度特征是基于時間維度特征通過彈性網絡回歸分析得到的,尚未結合和利用深度學習模型.未來將結合生成模型,對空間特征進行生成;4)由于DSRAE-RFNet 模型并不依賴于認知任務的具體任務刺激,因此有潛力基于靜息態fMRI數據對認知表現進行預測.未來將基于靜息態fMRI數據,利用DSRAE-RFNet 模型對被試的決策能力等認知行為指標進行預測[40].