基于OVR-SVM及fMRI的詞語識別認知狀態分類研究?

何 享 張笑非

（1.江蘇科技大學外國語學院 鎮江 212003）（2.南京大學外國語學院 南京 210023）

（3.北京工業大學信息學部 北京 100124）（4.江蘇科技大學計算機學院 鎮江 212003）

1 引言

詞語識別是人腦認知功能諸多研究問題中的一個方向，它在文學信息和溝通系統（Literary Infor?mation and Communication System，LINCS）中被定義為“讀者能夠正確地，無誤地識別書面文字的能力”，它也被稱為“孤立詞識別”，因為被試能夠從列表中單獨識別單詞而不需要用于上下文幫助的相似單詞。文獻［1］對詞語鑒別（Word Identification）和詞語識別兩種認知狀態下的大腦活動作了比較，前者被認為是詞語閱讀任務，后者被認為是詞語記憶任務。文獻［2～3］分別研究了下顳葉和前腹側顳葉在詞語識別過程中的反應。經典神經學模型的研究發現人腦語言處理的神經網絡只涉及左下額葉、左下顳、角回等少數腦區［4～6］。本文試圖基于包含詞語識別實驗條件的fMRI數據，根據權威腦圖定義的大腦皮質功能區域提取特征，利用OVR-SVM構建分類器對詞語識別認知狀態進行識別，從而獲得詞語識別分類的計算模型并對被試的認知狀態進行預測。

2 研究方法

2.1 特征選擇

基于fMRI數據對閱讀認知狀態進行預測屬于思維解碼Decoding［7］范疇，即根據大腦血氧水平依賴（Blood Oxygen Level Dependent，BOLD）信號的活動來預測認知實驗刺激材料誘發的人腦認知狀態。基于機器學習理論的多體素模式分析（Multi-voxel pattern analysis，MVPA）作為fMRI數據分析的新方法在過去幾年中獲得了極大的普及。通過訓練分類器，MVPA對由不同認知狀態調整的多體素模式進行分類［8］。因此，MVPA被認為是監督分類問題，其中分類器試圖捕獲fMRI活動和認知狀態的空間模式之間的關系［9］。如果將fM?RI數據的所有體素都作為特征，那么特征空間的緯度將會非常高［10］。考慮到將有意義的體素作為特征進行MVPA分析，本文采用了經典的腦圖Dosenbach［11］中定義的160個腦區作為特征。

圖1 Dosenbach腦圖及其功能網絡

如圖1所示，腦圖Dosenbach是一個人腦功能分區模板，包含了160個fROI腦區和6個功能網絡，每個腦區屬于且僅屬于其中一個功能網絡。其中，默認網絡在人沒有專注于外部世界且大腦處于清醒休息狀態時是活躍的，例如在做白日夢和思維游蕩期間；前額葉-頂葉網絡通過啟動和調節認知控制能力參與各種認知任務；扣帶回-島蓋網絡在認知控制中起著更下游的作用，可能與記憶的輸出門控有關；感知-運動網絡在諸如手指敲擊之類的運動任務期間被激活，表明這些區域可能涉及在執行和協調運動任務時為大腦做好準備的預介導（pre-mediated）狀態；枕葉網絡是哺乳動物大腦的視覺處理中心，包含視覺皮質的大部分解剖區域；小腦網絡接收適量的輸入，通過其嚴格結構的內部網絡對其進行具有擴展性的處理，并通過非常有限的輸出單元發送結果［12］。

2.2 模型選擇

由于復雜的高級認知實驗中往往存在多個實驗條件，而每種實驗條件在監督學習中可以看作是一種類別（class），因此本文采用的是多類別分類（Multiclass Classification）模型。此外，本研究重點是構建識別詞語識別認知狀態的計算模型，因此其它實驗條件下的認知狀態可以統一作為對比類別，本文繼而采用的多類別分類策略是OVR（One Vs the Rest）。SVM對于非線性數據時，需要通過核函數將數據映射到高維空間，并在高維空間中構造出最優分離超平面，從而解決數據在原始空間中線性不可分的情況。

表1 SVM核函數類型

表1給出了SVM常用的核函數，xi、xj分別是數據集（包含m個樣本）中第ith、jth樣本，其中線性核函數如式（1）所示：

多項式核函數如式（2）所示：

其中γ＞0，一般設置為分類類別數的倒數，r是核函數的獨立項，默認值是0，d是多項式的次數。RBF核函數如式（3）所示：

其中γ與式（2）定義中相同。Sigmoid核函數如式（4）所示：

其中γ、r與式（2）定義中相同。

核函數對應的核矩陣如式（5）所示：

2.3 交叉驗證

交叉驗證，又稱旋轉評估，是一種模型驗證技術，用于評估統計分析結果能否泛化到獨立于訓練數據的其他數據集。它主要用于面向預測的場景，評估預測模型在實際場景中的準確度。交叉驗證用于評價基于獨立同分布（Independent and Identi?cally Distributed，IID）數據集訓練所得分類器的性能。如圖2所示，交叉驗證方法通常包括K折、重復K折、留1法、留P法、拖拽分割法（Shuffle&Split）。為了防止訓練數據集的分類類別與驗證數據集的分類類別在空間分布上不平衡，交叉驗證還衍生出分層K折法、分層拖拽分割法（Stratified Shuffle&Split）。此外，面向時序數據的建模還專門產生了時序分割法交叉驗證方法。

表2 交叉驗證方法

由于個體fMRI數據的差異性，本文并不力圖基于部分被試fMRI數據集訓練的結果能夠去預測剩余被試fMRI數據集所對應的認知狀態，因此不采用組交叉驗證（Group Cross Validation，GCV），而是為每個被試單獨訓練分類器，然后將所有被試思維狀態分類器的平均性能作為結果進行研究。

2.4 性能評估

本文采用接收者操作特征（Receiver Operating Characteristic，ROC）曲線的曲線下面積（Area Un?der the Curve，AUC）作為分類模型性能的評估指標。ROC曲線是分類器性能的二維度量，ROC曲線的AUC是衡量分類器性能的一個側面的標量指標［13］。為了對基于OVR-SVM的詞語識別認知狀態進行預測質量評估，預測結果是應該是詞語識別認知狀態的概率值，其值域為［0，1］。本文處理的單個被試fMRI數據集在每次的交叉驗證中會被分割成訓練集D和測試集T，其中訓練集的樣本數據用于訓練得到基于OVR-SVM的“詞語識別認知狀態”分類器，測試集T中的每個樣本ti作為分類器的輸入得到被試是否處于詞語識別認知狀態的概率si。測試集所有樣本對應的預測概率構成集合S，測試集中所有樣本被標注為“詞語識別認知狀態”的樣本數量為a，被標注為“非詞語識別認知狀態”的樣本數量為b，a+b= |S|= |T|。

在計算ROC曲線前，先對集合S進行降序排序，排序的過程中將測試集T中樣本的位置也作相應的調整，從而得到有序集合S′和T′。S′越靠近前部的元素si'預測概率越高，表示訓練得到的OVR-SVM分類器對排序后測試集T′樣本ti'的預測結果越有把握，反之則越沒有把握。ROC曲線的橫坐標是假陽性率，縱坐標是真陽性率，計算ROC曲線的流程：初始化，ROC起點為（0，0），水平步長為1/a，垂直步長為1/b；步驟一，若S′和T′不為空，取出S′最前部元素s和T′最前部樣本t，若t的原始標注為“詞語識別認知狀態”，則ROC下一個節點位置為(x，y+1/a)，反之若t的原始標注為“非詞語識別認知狀態”，則ROC下一個節點位置為(x+1/b，y)，繪制ROC曲線當前節點(x，y)與下一個節點之間的直線；步驟三，取ROC曲線下一個節點坐標作為當前節點坐標，轉至步驟一進行重復操作。當整個流程運行結束后，ROC曲線的最終節點坐標為(1，1)，ROC曲線與橫軸之間的面積即為ROC曲線的AUC值，OVR-SVM分類器的性能越好，AUC值越接近于1，反之則越接近于0。

3 實驗及結果

3.1 數據集及預處理

本實驗用的數據來自開源fMRI數據集項目OpenfMRI（https：//openfmri.org/dataset/）中的“詞語與對象處理”［14］實驗，該實驗采集了49名被試在詞語理解、物體識別等幾種實驗條件下大腦的fMRI神經影像數據，實驗刺激通道為視覺。由于其中4名被試的數據存在瑕疵或解壓錯誤，實際分析使用了其余45名被試的fMRI數據。每個被試進行了兩輪實驗，每輪實驗進行了164次fMRI掃描，實驗過程中每種實驗條件出現的次數均等，次序采用偽隨機策略，以保證被試認知狀態的有效性。此外，為了提高數據分析質量，每位被試的每輪實驗數據進行獨立的歸一化處理后再進行拼接，作為后續SVM分類訓練的數據集。每次fMRI掃描采集的三維神經影像數據基于Dosenbach腦圖模板進行特征抽取，具體方法為以Dosenbach腦圖的每個腦區MNI坐標為中心，取5mm為半徑，將包含的所有fMRI影像體素的信號值進行平均，160個腦區各自得到的平均值組成的160維向量構成一個樣本。

圖2 某被試的fMRI數據特征及思維狀態標注

圖2給出了某被試fMRI數據基于Dosenbach腦圖進行特征抽取及歸一化后的結果。其中圖2（a）顯示的是該被試實驗條件在時間上的分布，每次fMRI掃描都會對應相應的實驗條件類型，即每位被試的328次fMRI掃描分別對應時間上328次實驗材料刺激，其中黑色表示當前fMRI對應實驗條件是‘詞語識別’，白色表示‘非詞語識別’。因此，圖2（a）相當于給出了OVR-SVM分類學習中數據集的標簽。圖2（b）顯示的是該被試數據集特征，其中橫軸從左向右是fMRI掃描的時間次序，縱坐標是Dosenbach腦圖的160個腦區。因此，圖2（b）的每一列是一個樣本，每一行是一個特征。

3.2 模型參數

OVR-SVM模型的構建和訓練基于LIBSVM［15］，線性核函數、多項式核函數、RBF核函數、Sigmoid核函數的各項參數設置如表3所示。

表3 OVR-SVM模型參數

3.3 性能評估

圖3給出了45名被試中某位被試的fMRI預處理后數據，通過基于線性核函數訓練得到的OVR-SVM分類器進行層次K折交叉驗證產生的AUC指標。其中的藍色曲線是10次交叉驗證ROC曲線進行平均得到的平均ROC曲線，紅色虛線是機會水平（chance level）下的ROC曲線。基于層次K折交叉驗證得到的10個ROC曲線AUC值，計算得到的AUC平均值和標準差為0.69±0.12。

圖3 某被試的語言認知狀態分類模型ROC曲線

其余被試基于線性核OVR-SVM的AUC平均值，以及所有被試基于其它類型核函數OVR-SVM的AUC平均值依次計算得出，用于后續的統計檢驗計算。

3.4 結果統計

圖4給出了線性核函數、多項式核函數、RBF核函數、Sigmoid核函數下45名被試在層次K折交叉驗證下的OVR-SVM分類器AUC平均值和標準差，分別為0.6554±0.0824、0.6673±0.0757、0.7078±0.0790、0.6377±0.0800。通過對不同核函數下45名被試OVR-SVM的AUC值進行兩兩間的統計T檢驗，取顯著性水平α值為0.05，其中存在顯著性差異的對比包括RBF核函數AUC均值大于線性核函數AUC均值（P值=0.003）、RBF核函數AUC均值大于多項式核函數AUC均值（P值=0.016）、RBF核函數AUC均值大于Sigmoid核函數（P值=8.15e-5）。其他核函數對之間的統計對比間均不存在顯著性差異，因此可以看出，在本次實驗中采用RBF核函數的OVR-SVM在數據集上表現出的分類性能最優。

圖4 各SVM核函數下模型的性能及統計對比

4 結語

本文利用OVR-SVM構建分類模型，對包含詞語識別實驗條件的fMRI數據進行了認知狀態分類研究。研究的過程中首先通過權威腦圖Dosenbach對fMRI數據進行了特征提取和預處理，在時間上根據實驗刺激條件信息對樣本數據進行標注，然后基于線性核、多項式核、RBF核、Sigmoid核構建了詞語識別認識狀態的分類器，并通過層次10折交叉驗證和ROC線下面積對分類器的性能進行了評估，最后通過統計T檢驗對比了不同核函數的OVR-SVM性能對比。實驗結果顯示，基于RBF核的OVR-SVM性能在統計上顯著高于其他三者，能夠較好地識別被試的詞語識別認知狀態。為了進一步提高分類器的性能，后期的研究可以采用更多的腦圖進行實驗對比，同時分類器的超參數優化也是提高分類效果的一個途徑。