基于單試次腦電解碼的類自舉法謊言預(yù)測研究

白帥帥 陳 超,2 魏 瑋 代璐瑤 劉 燁 邱 爽,6 何暉光,6

說謊,是人類特有的一種心理現(xiàn)象,是指說話人主觀刻意扭曲或隱瞞某些事實真相的行為.合理高效且準(zhǔn)確的謊言檢測技術(shù)對于維護(hù)國防安全、社會穩(wěn)定、司法公正等方面具有重大的現(xiàn)實意義[1].目前,利用多導(dǎo)生理儀采集心電、血壓、皮電等生理信號進(jìn)行測謊的研究取得了長足的進(jìn)步,但仍存在結(jié)果容易受到外界環(huán)境干擾,無法擺脫反測謊策略[2]的問題,致使基于多導(dǎo)生理儀測謊的性能不穩(wěn)定.

近年來,利用腦電(Electroencephalogram,EEG)信號的事件相關(guān)電位(Event-related potential,ERP)測謊技術(shù)獲得了關(guān)注和研究.腦電是腦神經(jīng)活動產(chǎn)生的電信號,反映了大腦的認(rèn)知活動,并具有時間分辨率高、便于采集等優(yōu)勢.與外周生理信號相比,基于腦電的測謊研究更有望從神經(jīng)機(jī)制的層面揭示謊言的誘發(fā)過程[3].P300 電位[4]是目前ERP 測謊技術(shù)研究中較為廣泛使用的一種ERP成分,體現(xiàn)在波形上是一個在刺激產(chǎn)生后300 ms左右腦電幅值正向的偏移,其波幅反映了工作記憶中背景更新的程度[5].P300 電位測謊技術(shù)基于上述背景更新理論,犯罪者相對于無辜者而言,往往掌握對案件更多的關(guān)鍵信息,對于犯罪相關(guān)信息有更深刻的認(rèn)知加工.因此,當(dāng)案件相關(guān)信息作為探針刺激呈現(xiàn)時,相比無關(guān)刺激會誘發(fā)犯罪者更顯著的P300 電位,而對于無辜者則不會.

事件相關(guān)電位測謊技術(shù)的研究主要包含測謊范式和腦電解碼方法兩個方面.其中,測謊范式的研究,一方面是為了提高謊言檢測的準(zhǔn)確性,另一方面是為了擺脫反測謊策略的影響.在測謊研究中廣泛使用的隱藏信息測試(Concealed information test,CIT)基于背景更新理論,通過設(shè)置與犯罪情節(jié)相關(guān)或無關(guān)的多項選擇問題來判斷被試是否誘發(fā)了定向反應(yīng),從而進(jìn)行謊言檢測,但CIT 范式仍然無法避免因被試通過對無關(guān)刺激與特定任務(wù)相關(guān)的反測謊策略造成的陽性率降低.Rosenfeld 等[6]提出了一種復(fù)合反應(yīng)范式(Complex trial protocol,CTP),將單個刺激分成簡單反應(yīng)與辨別反應(yīng).其中,簡單反應(yīng)可以使被試誘發(fā)顯著的P300 電位;辨別反應(yīng)是為了確定被試的認(rèn)知注意保持在實驗任務(wù)之上,從而擺脫反測謊策略的影響,是近年來在測謊應(yīng)用中研究更為廣泛的范式.2020 年,Chang 等[7]在CIT 范式上加以改進(jìn),開發(fā)了一種基于視聽刺激的ERP 謊言檢測范式,將被試姓名編輯為音頻文件作為音頻刺激,與作為圖片刺激的被試自傳體信息共同呈現(xiàn),但是無法保證聽覺刺激不被其他非探針被試所知悉,導(dǎo)致其他非探針被試同樣會誘發(fā)顯著P300 成分.2022 年,Wang 等[8]基于快速序列視覺呈現(xiàn)(Rapid serial visual presentation,RSVP)范式的隱藏信息測試方法,提出了一種RCIT (RSVP-based concealed information test)測謊范式.在此實驗范式框架下,高速出現(xiàn)的圖像刺激使得被試無暇分配更多認(rèn)知資源施加反測謊策略,但同時作者也在原文中指出,這種范式依然受制于探針刺激不易選取的問題.

在事件相關(guān)電位測謊研究的腦電解碼中,傳統(tǒng)方法是對多個試次腦電疊加得到的ERP 成分的波幅、波面積和潛伏期等指標(biāo)進(jìn)行峰值檢測、靴值分析等統(tǒng)計學(xué)分析.之后,基于機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的方法在謊言檢測中得到了研究和進(jìn)步.2019 年,彭絲雨等[9]將互信息分析方法應(yīng)用至腦電分析領(lǐng)域,采用CIT 測謊范式,通過量化構(gòu)建說謊與誠實人群具有顯著性差異的電極對的互信息作為特征分類依據(jù),構(gòu)建出大腦功能網(wǎng)絡(luò).2020 年,Dodia 等[10]提出了一種基于極限學(xué)習(xí)機(jī)(Extreme learning machine,ELM)的ERP 謊言檢測算法,通過傅里葉變換提取腦電特征集,采用ELM 對特征集進(jìn)行訓(xùn)練分類.上述方法均涉及對腦電特征的手工設(shè)計,近年來,一些端到端的腦電分析方法在測謊應(yīng)用中得到了研究.同年,Baghel 等[11]利用卷積神經(jīng)網(wǎng)絡(luò)在所采集的14 導(dǎo)基于CIT 范式的腦電信號數(shù)據(jù)集上進(jìn)行謊言檢測,其正確率為84.44%.2021 年,Bablani 等[12]基于CIT 范式,采用Fuzzy 系統(tǒng),提取EEG 信號的空間特征進(jìn)行分類,取得了93.54%的平均預(yù)測正確率.2022 年,Javaid 等[13]提出一種由EEG 信號引導(dǎo)基于視聽信息的多模態(tài)謊言檢測模型,采用卷積神經(jīng)網(wǎng)絡(luò)對視聽信息分別在時域與頻域提取特征,利用一個雙向長短時記憶網(wǎng)絡(luò)對EEG 信號進(jìn)行表征,采用權(quán)重賦值的后期融合方式將3 種模態(tài)的特征信息進(jìn)行融合,最終得到83.5%的檢測正確率.

目前,已有的基于腦電謊言檢測的解碼技術(shù),在方法層面,傳統(tǒng)方法依賴研究人員手工設(shè)計特征,存在主觀性,無法擺脫因被試個體差異性造成個別被試的特征信息冗余或缺失[14].在數(shù)據(jù)層面,僅使用一個或少量導(dǎo)聯(lián),忽略了腦電在空間上的特性[15].近年來,隨著腦-機(jī)接口技術(shù)的發(fā)展,新的端到端單試次腦電解碼算法和全腦腦電采集都有了長足的進(jìn)步,在避免手工設(shè)計特征帶來缺陷的同時提供了更豐富的腦電信息,為推進(jìn)測謊技術(shù)進(jìn)一步發(fā)展提供了基礎(chǔ).如基于神經(jīng)網(wǎng)絡(luò)的腦電解碼算法[16-19],可以在不同腦-機(jī)接口范式中實現(xiàn)準(zhǔn)確的單試次腦電分類,在謊言檢測場景下也有相關(guān)研究.由于腦電的個體差異性,此類方法一般需要為每個個體訓(xùn)練對應(yīng)的解碼模型.訓(xùn)練過程需要謊言相關(guān)信息作為標(biāo)簽用來進(jìn)行有監(jiān)督的模型訓(xùn)練,但這一信息在應(yīng)用中是無法獲得的.如記錄了犯罪嫌疑人對N條犯罪信息(N類刺激)的腦電響應(yīng),但無從知曉其中哪些信息是與嫌疑人有關(guān)的(探針刺激),哪些是無關(guān)的(無關(guān)刺激),導(dǎo)致此類方法的訓(xùn)練和測試模式在實際中難以應(yīng)用.

基于背景更新[5]相關(guān)理論,相較與被試無關(guān)的信息而言,與被試有關(guān)的信息更能使被試誘發(fā)出顯著的P300 電位.也就是說,真正的探針刺激與真正的無關(guān)刺激所誘發(fā)的腦電樣本存在顯著差異;而真正的無關(guān)刺激之間卻沒有這種差異性.解碼模型可以通過腦電樣本的顯著差異性實現(xiàn)探針刺激與無關(guān)刺激的分類.基于此,本文提出了類自舉法,從數(shù)據(jù)分布假設(shè)的角度,解決了當(dāng)前單試次腦電分類方法的訓(xùn)練和測試模式無法應(yīng)用的問題.

基于上述背景,本研究開展基于CTP 的自我面孔信息識別任務(wù)實驗,采集了18 名被試的64 導(dǎo)聯(lián)全腦腦電信號.研究近年提出的端到端P300 腦電解碼算法在測謊中的應(yīng)用,以及訓(xùn)練數(shù)據(jù)量對不同算法結(jié)果的影響.針對當(dāng)前單試次腦電解碼訓(xùn)練和測試模式無法在測謊中實際應(yīng)用的問題,提出了一種類自舉法,基于不同的單試次腦電解碼算法,可以實現(xiàn)在少量數(shù)據(jù)情況下的準(zhǔn)確謊言預(yù)測.

1 基于自我面孔信息的CTP 實驗

本實驗招募共計18 名被試,其中男性8 名,女性10 名,平均年齡為23.39±2.5 歲,且均在18～29歲之間.每名被試在實驗開始前均簽署知情同意書.

1.1 實驗范式

自我面孔識別任務(wù)采用復(fù)合反應(yīng)范式,探針刺激是由被試提供的本人證件照,無關(guān)刺激設(shè)置為4張由軟件合成的現(xiàn)實世界并不存在的人臉圖片(https://thispersondoesnotexist.com),以避免被試對無關(guān)刺激的知曉.探針刺激和無關(guān)刺激比例為1 :4.實驗任務(wù)共10 組,每組任務(wù)包含60 試次,每個試次包含一個圖片刺激(人臉)和一個數(shù)字刺激;每張人臉圖像隨機(jī)呈現(xiàn)12 次.

單個試次流程如圖1 所示(圖中人臉圖片為軟件合成),每個試次包含一次簡單反應(yīng)和一次辨別反應(yīng).每次反應(yīng)呈現(xiàn)時間均為300 ms,需要被試在接下來的空屏?xí)r間內(nèi)進(jìn)行特定行為學(xué)響應(yīng).具體實驗流程為:圖片刺激呈現(xiàn)300 ms,緊接著呈現(xiàn)1 300～1 650 ms 隨機(jī)時長的空屏.被試需要在空屏?xí)r間內(nèi)按下按鍵“A”表示自己看到了人臉圖片.而后呈現(xiàn)數(shù)字刺激300 ms,緊接著呈現(xiàn)1 300～1 650 ms 隨機(jī)時長的空屏,若數(shù)字為“11 111”,被試需要在空屏?xí)r間內(nèi)按下方向鍵“←”;若為其他數(shù)字,按下方向鍵“→”.之后進(jìn)入下一個試次呈現(xiàn)刺激圖片,依次循環(huán).其中隨機(jī)時長的刺激間隔可以避免被試對即將出現(xiàn)的刺激產(chǎn)生固定預(yù)期.為了強制被試關(guān)注圖片刺激,每組任務(wù)中,每20～30 試次會對被試進(jìn)行隨機(jī)測試,要求被試識別上個試次的圖片刺激.每個試次時長約3.5 s,每組任務(wù)時長約4 min,組間強制被試休息超過30 s,10 組任務(wù)時長共計約45 min.

圖1 單試次實驗流程圖Fig.1 Flow chart of a single-trial experiment

對于每名被試,正式實驗開始之前需要記錄被試的靜息腦電,包括閉眼靜息腦電和睜眼靜息腦電.完成靜息后,給予被試標(biāo)準(zhǔn)化任務(wù)指導(dǎo)語,并利用一些日常用品圖像讓被試進(jìn)行按鍵練習(xí).之后實驗正式開始.

1.2 腦電采集與預(yù)處理

本實驗的腦電信號采集系統(tǒng)使用Neuroscan 公司生產(chǎn)的64 導(dǎo)腦電儀.腦電電極按照10/20 系統(tǒng)排布,采用左側(cè)乳突M1 為參考電極,前額GND 電極為地電極,電極與頭皮之間的阻抗均降至5 kΩ以下,并通過SCAN 軟件同步記錄腦電數(shù)據(jù),由放大器放大,采樣頻率為1 000 Hz.在正式實驗開始后,被試均被要求不能頻繁眨眼,頭部保持靜止,身體盡量保持不動,且實驗過程中保證實驗環(huán)境靜音.

對于采集的腦電數(shù)據(jù),按照實驗分組使用EEGLAB 工具箱[20]進(jìn)行預(yù)處理.首先進(jìn)行通帶為0.5～15 Hz 的帶通濾波,采用3 階巴特沃斯線性相位濾波器實現(xiàn).接著將數(shù)據(jù)降采樣為250 Hz.最后進(jìn)行數(shù)據(jù)分段,選擇每試次中圖像刺激誘發(fā)的腦電,從圖像刺激發(fā)生時刻開始,到之后的1 000 ms 進(jìn)行數(shù)據(jù)分割,獲得一個單試次腦電樣本.由于基于神經(jīng)網(wǎng)絡(luò)的腦電解碼方法對于輸入的歸一化需求,對每個單試次腦電樣本按照導(dǎo)聯(lián)進(jìn)行歸一化(零均值、單位方差).對于每名被試者,可以獲得60 × 10 (試次 × 組)個單試次腦電樣本,每個腦電樣本大小為63 × 250 (導(dǎo)聯(lián) × 時間).

2 類自舉策略與P300 腦電分類方法

2.1 類自舉策略

在基于自我面孔信息的CTP 實驗中,對數(shù)據(jù)進(jìn)行預(yù)處理后,每名被試有腦電數(shù)據(jù),其中,xi∈R63×250為每張圖片刺激誘發(fā)的單試次腦電樣本,ypici∈{0,1,···,4}為誘發(fā)腦電的圖像標(biāo)簽.探針預(yù)測的基本任務(wù)是對于每名被試,利用D預(yù)測探針刺激的標(biāo)簽Y∈{0,1,···,4}.對于單試次腦電任務(wù)而言,需要對每個腦電樣本xi,預(yù)測對應(yīng)的腦電標(biāo)簽,0 表示xi為無關(guān)刺激所誘發(fā)的腦電,1 表示xi為探針刺激所誘發(fā)的腦電.單試次腦電分析模型的訓(xùn)練中,需要每個腦電樣本xi和對應(yīng)的.但在實際測謊中,一方面,難以保證圖像探針標(biāo)簽的正確選取或者泄露[8],從而也無法獲得對應(yīng)以訓(xùn)練腦電分類模型;另一方面,腦電信號信噪比低,單試分類的結(jié)果往往不穩(wěn)定[21](如同一刺激,在不同試次呈現(xiàn)所誘發(fā)的單試次腦電被分為不同類),且探針預(yù)測任務(wù)需要正確判斷某類刺激是否為探針刺激而往往并不關(guān)注單試分類的結(jié)果.針對上述問題,本研究提出一種基于單試次腦電分類的類自舉算法,旨在實現(xiàn)一種在測謊應(yīng)用場景下實際可用的腦電解碼方法.

在本文進(jìn)行的CTP 實驗任務(wù)中,呈現(xiàn)給被試的刺激包括探針刺激與無關(guān)刺激.探針刺激為被試的自我面孔信息,無關(guān)刺激為現(xiàn)實世界并不存在的面孔,對于被試而言是陌生且無意義的.根據(jù)背景更新[5]理論,相較于無關(guān)刺激,探針刺激會誘發(fā)更為顯著的P300.從數(shù)據(jù)分布的角度,在類別空間中,探針刺激誘發(fā)的不同腦電樣本屬于同一分布,無關(guān)刺激誘發(fā)的不同腦電樣本屬于同一分布,而兩者之間數(shù)據(jù)分布存在差異性.如圖2 所示,在此假設(shè)前提下,若將自我面孔信息作為探針刺激標(biāo)簽,構(gòu)造腦電樣本標(biāo)簽訓(xùn)練分類算法時,算法可以根據(jù)各類數(shù)據(jù)分布實現(xiàn)有效的模型訓(xùn)練和分類(圖2(a));若將陌生人臉圖像作為探針刺激的標(biāo)簽,算法無法根據(jù)同分布數(shù)據(jù)實現(xiàn)有效訓(xùn)練,模型不具備分類能力(圖2(b)).基于此數(shù)據(jù)分布假設(shè),類自舉法分別將不同類的刺激視為探針刺激訓(xùn)練模型和測試,依據(jù)分類性能對探針刺激進(jìn)行預(yù)測.

圖2 類自舉法的分布假設(shè)示意圖Fig.2 Schematic diagram of distribution hypothesis of the class bootstrap method

類自舉法對被試進(jìn)行探針刺激預(yù)測時,輸入數(shù)據(jù)D,輸出預(yù)測的探針刺激對應(yīng)的標(biāo)簽Y.算法的主要流程是將5 種類別刺激依次視為探針刺激,分別構(gòu)建對應(yīng)的腦電樣本標(biāo)簽,劃分訓(xùn)練集和驗證集;在訓(xùn)練集上訓(xùn)練單試次腦電分類器,并在驗證集上進(jìn)行測試,獲得分類均衡精度;綜合5 種刺激分別作為探針刺激時驗證集的分類均衡精度,最高精度對應(yīng)的圖像刺激為探針刺激,并將其輸出.

對應(yīng)本文的實驗場景,類自舉法實現(xiàn)的偽代碼如算法1 所示.

輸入為單試次腦電分類模型f(·),腦電數(shù)據(jù)X=對應(yīng)圖像標(biāo)簽,其中,∈{0,1,2,3,4};輸出為探針刺激.

算法1.類自舉法

2.2 腦電P300 分類算法

在應(yīng)用中,每名被試者能獲取的腦電數(shù)據(jù)有限,導(dǎo)致訓(xùn)練數(shù)據(jù)十分稀有.基于此,在單試次腦電樣本分類算法的選擇上,本文選擇了幾種在小訓(xùn)練數(shù)據(jù)量上有較好性能表現(xiàn)的端到端腦電分類算法,包括傳統(tǒng)機(jī)器學(xué)習(xí)方法(HDCA[22]、MDRM[23])及神經(jīng)網(wǎng)絡(luò)方法(EEGNet[24]、OCLNN[25]和PLNet[26]),上述分類算法模型結(jié)構(gòu)簡單,訓(xùn)練參數(shù)量小,魯棒性好.此外,采用常用的傳統(tǒng)P300 腦電分類算法作為對比方法.

1)分層判別成分分析(Hierarchical discriminant component analysis,HDCA)[22]:是一種在空間、時間維度依次提取腦電特征并進(jìn)行分類的方法,由Gerson 等[22]于2006 年提出,應(yīng)用在基于快速序列視覺呈現(xiàn)的目標(biāo)檢索任務(wù)的P300 分類中.對于單試次腦電樣本(導(dǎo)聯(lián) × 時間),在時間維度切分k個時間窗,對于每時間窗的數(shù)據(jù)分別訓(xùn)練一個線性判別分類器(Linear discriminant analysis,LDA),計算在導(dǎo)聯(lián)(空間)的投影,將投影后的各時間窗拼接,訓(xùn)練一個時間維度的LDA 分類器,并進(jìn)行分類.HDCA 算法具有簡單、計算量小的優(yōu)勢.

2)最小黎曼均值方法(Minimum distance to riemannian mean,MDRM)[23]:是一種基于黎曼幾何的P300 分類方法,由Barachant 等[23]于2012 年提出,應(yīng)用于P300 腦電二分類問題.該方法在訓(xùn)練中構(gòu)建包含P300 的模板,在導(dǎo)聯(lián)維度拼接模板和單試次腦電,通過計算樣本協(xié)方差矩陣將腦電轉(zhuǎn)換到黎曼流形空間,在流形空間分布計算類別均值,按照最近鄰的思想進(jìn)行分類.MDRM 方法對P300不同的潛伏期和訓(xùn)練數(shù)據(jù)量具有較好的魯棒性.

3)EEGNet[24]:是一種基于卷積神經(jīng)網(wǎng)絡(luò)的腦電分類方法,由Lawhern 等[24]于2018 年提出,可應(yīng)用在腦電P300 分類中.EEGNet 中包含多個卷積層,分別從導(dǎo)聯(lián)、時間維度提取特征,再利用深度卷積融合特征信息及全連接層進(jìn)行分類.EEGNet 具有網(wǎng)絡(luò)結(jié)構(gòu)緊湊、應(yīng)用范式多樣的優(yōu)勢.

4)OCLNN (One convolutional lager nerual network)[25]:是一種單層卷積神經(jīng)網(wǎng)絡(luò)的腦電分類方法,由Shan 等[25]于2018 年提出,應(yīng)用于基于P300 電位的腦-機(jī)接口拼寫器中.網(wǎng)絡(luò)僅包含一個卷積層,同時從時間和導(dǎo)聯(lián)維度提取特征,并使用全連接層進(jìn)行分類.OCLNN 具有網(wǎng)絡(luò)結(jié)構(gòu)簡單、參數(shù)量小、易于訓(xùn)練的優(yōu)勢.

5)PLNet[26]:是一種基于卷積神經(jīng)網(wǎng)絡(luò)的腦電分類方法,由Zang 等[26]于2021 年提出,應(yīng)用于基于快速序列視覺呈現(xiàn)的目標(biāo)檢索任務(wù)的P300 分類中.類似于EEGNet,網(wǎng)絡(luò)不同的卷積層分別對腦電的時間空間維度提取特征,通過維度轉(zhuǎn)換的方式實現(xiàn)不同維度特征的融合提取,全連接層進(jìn)行分類.PLNet 是目前提出的最新的腦電P300 分類算法,并實現(xiàn)了優(yōu)于EEGNet 的性能.

2.3 實驗設(shè)計

2.3.1 實驗方法

為了研究近年提出的P300 腦電分類算法在謊言預(yù)測任務(wù)中的有效性以及類自舉法的性能,設(shè)計了兩種實驗:單試次腦電分類和基于腦電的探針預(yù)測任務(wù).此外,基于自我面孔信息的CTP 實驗中每名被試包含10 組數(shù)據(jù),在腦電分析實驗中也對使用數(shù)據(jù)量對方法性能的影響進(jìn)行了分析.

單試次腦電分類實驗使用單試次腦電數(shù)據(jù)xi及對應(yīng)的探針標(biāo)簽訓(xùn)練腦電分類算法,對測試樣本進(jìn)行二分類.在單試次腦電分類實驗中,研究不同訓(xùn)練數(shù)據(jù)量及不同腦電分析方法的分類性能,結(jié)果主要用于對不同算法在測謊應(yīng)用中的有效性分析.具體實現(xiàn)為,對于每一名被試,選擇其前P組(P∈{1,2,3,4,5})作為訓(xùn)練集訓(xùn)練單試次腦電分類模型,采用余下的10-P組數(shù)據(jù)作為測試集,測試模型分類性能.實驗對比了不同端到端單試次腦電分類方法:傳統(tǒng)機(jī)器學(xué)習(xí)方法HDCA、MDRM與基于神經(jīng)網(wǎng)絡(luò)的方法OCLNN、EEGNet 和PLNet.此外,選擇了不同的傳統(tǒng)腦電分類算法進(jìn)行對比,分別使用時域特征、空域特征和小波域特征訓(xùn)練分類器(SVM (Support vector machine)或LDA)進(jìn)行分類,相關(guān)特征在基于腦電的測謊中已有研究[12,27-28].在基于神經(jīng)網(wǎng)絡(luò)算法的單試次腦電分類實驗中,采用了10 折交叉驗證的方式對訓(xùn)練集進(jìn)一步劃分訓(xùn)練集和驗證集,最后分類結(jié)果為多折平均結(jié)果.

在基于腦電的探針預(yù)測實驗中,使用探針預(yù)測算法對每名被試進(jìn)行探針(Y)預(yù)測.研究不同數(shù)據(jù)量、不同方法對探針預(yù)測準(zhǔn)確性的影響.具體實現(xiàn)為,分別使用每名被試腦電數(shù)據(jù)的前P組(P∈{2,3,4,5,6})進(jìn)行探針預(yù)測任務(wù).對于類自舉法而言,在算法執(zhí)行中,使用前[P/2]組數(shù)據(jù)作為類自舉法訓(xùn)練集,余下的P-[P/2]組數(shù)據(jù)作為類自舉法驗證集,每名被試進(jìn)行一次探針預(yù)測.其中,基于神經(jīng)網(wǎng)絡(luò)的方法進(jìn)行了10 折交叉驗證.在基于腦電的探針預(yù)測實驗中,采用自舉波幅差法(Bootstrapped amplitude difference,BAD)[6]作為對比方法.BAD是一種當(dāng)前普遍采用的探針檢測算法[26],對所有刺激類別,首先取該類刺激的P300 波幅的峰峰值(PP)或基峰值(B-P)平均值;隨后隨機(jī)抽取與該類刺激同等樣本量的剩余刺激并重復(fù)100 次,逐次平均,獲得剩余刺激的P300 波幅的峰峰值(P-P)或基峰值(B-P)池;最后檢測該類刺激的P300 波幅值在剩余刺激的P300 波幅值池中的百分位排名,如該類刺激的P300 波幅值在剩余刺激P300 波幅值池中的百分位排名大于95%,則預(yù)測該類刺激為探針.

2.3.2 實驗參數(shù)

表1 列舉了單試次腦電解碼實驗中所采用腦電分類方法的主要參數(shù)和代碼來源.

表1 單試次腦電解碼實驗主要參數(shù)Table 1 Main parameters of single-trial EEG decoding experiment

由于探針刺激與無關(guān)刺激的比例為1 :4,存在類不均衡問題.因此,對于神經(jīng)網(wǎng)絡(luò)方法(OCLNN、EEGNet 和PLNet),按類別比例對損失函數(shù)加權(quán),正樣本權(quán)重為 1,負(fù)樣本權(quán)重為 0.25.實驗均在一臺擁有12 GB 內(nèi)存和NVIDIA GeForce GTX 1080 Ti GPU 的Linux 服務(wù)器上進(jìn)行.

2.3.3 實驗度量指標(biāo)

為了對比與分析方法性能,本文采用兩種度量指標(biāo):均衡精度(Balanced accuracy,BA)及探針預(yù)測正確率.均衡精度用于衡量單試次腦電分類任務(wù)的性能,單試次腦電分類為腦電的二分類問題,探針刺激誘發(fā)的腦電為正類,無關(guān)刺激誘發(fā)的腦電為負(fù)類,正負(fù)樣本比例為1 :4.由于類別之間存在著數(shù)量上的不均衡性,本研究采用均衡精度作為評價模型性能的指標(biāo).均衡精度表示了正樣本和負(fù)樣本分類正確率的平均值,是類別不均衡問題中更能反映模型正負(fù)樣本均衡正確率的指標(biāo).計算式為

其中,TPR為正樣本的分類正確率,TNR為負(fù)樣本的分類正確率.TP代表被分為正類的正樣本數(shù);TN代表被分為負(fù)類的負(fù)樣本數(shù);FN代表被分為負(fù)類的正樣本數(shù);FP代表被分為正類的負(fù)樣本數(shù).

探針預(yù)測實驗中,對每一名被試進(jìn)行一次探針預(yù)測,即判定圖像刺激中的某一個為探針刺激,若判定的圖像刺激確為探針刺激則預(yù)測正確.探針預(yù)測正確率為正確預(yù)測探針被試數(shù)占所有被試的百分比.

3 實驗結(jié)果與分析

3.1 事件相關(guān)電位分析

圖3 展示了本文所采集的18 名被試的Pz 導(dǎo)聯(lián)的平均事件相關(guān)電位波形.

圖3 事件相關(guān)電位波形圖Fig.3 Event-related potential waveform

圖3 中實線為探針刺激所誘發(fā)的事件相關(guān)電位波形,虛線為非目標(biāo)刺激所誘發(fā)的事件相關(guān)電位波形,對應(yīng)陰影區(qū)域為兩者標(biāo)準(zhǔn)差.從圖3 中可以看出,探針刺激和無關(guān)刺激均可以誘發(fā)包含P300 成分的ERP.探針刺激所誘發(fā)的P300 電位峰值潛伏期為556 ms,無關(guān)刺激所誘發(fā)的P300 電位峰值潛伏期為604 ms,探針刺激所誘發(fā)的P300 電位幅值大于無關(guān)刺激.圖3 結(jié)果表明了所設(shè)計實驗和采集數(shù)據(jù)的有效性.

3.2 單試次腦電分類結(jié)果

表2(*表示在每個訓(xùn)練數(shù)據(jù)量下,對比方法與最優(yōu)性能方法均衡精度之間具有統(tǒng)計顯著性差異性,*:p＜0.05;**:p＜0.01;***:p＜0.001,p表示顯著性概率值)展示了不同方法在不同訓(xùn)練數(shù)據(jù)量下的單試次腦電樣本分類均衡精度.雙因素重復(fù)測量方差分析的結(jié)果表明,不同訓(xùn)練數(shù)據(jù)量和不同方法兩種因素對于單試次腦電解碼均具有顯著性影響(不同方法:F(4,68)=33.179,p＜0.01;不同數(shù)據(jù)量:F(1.734,29.470)=77.438,p＜0.01,F表示方差分析的F 統(tǒng)計量),且因素間存在顯著的交互作用(F(5.967,101.447)=4.902,p＜0.01).在1 組訓(xùn)練數(shù)據(jù)量下,EEGNet 單試分類性能顯著優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)方法(所有p＜0.01),顯著優(yōu)于OCLNN(p＜0.001),性能高于PLNet (無統(tǒng)計顯著).在2～5 組訓(xùn)練數(shù)據(jù)量下,PLNet 單試分類性能顯著優(yōu)于其他對比方法(均有p＜0.05).

表2 不同方法在不同訓(xùn)練數(shù)據(jù)量下的分類均衡精度(均值±標(biāo)準(zhǔn)差)(%)Table 2 Balanced accuracy of different methods under different training data (mean±standard deviation)(%)

從表2 的結(jié)果可見,對于不同的單試次腦電分類方法,均呈現(xiàn)了分類精度隨著訓(xùn)練數(shù)據(jù)量增加而增加的趨勢.在一組訓(xùn)練數(shù)據(jù)量下,EEGNet 取得了最佳的單試次腦電分類性能,隨著訓(xùn)練數(shù)據(jù)量的提升,在2～5 組訓(xùn)練數(shù)據(jù)量下,PLNet 取得了優(yōu)于其他算法的顯著性能;傳統(tǒng)腦電解碼方法在小訓(xùn)練數(shù)據(jù)量(1 組)下,單試分類性能要優(yōu)于一般的端到端方法機(jī)器學(xué)習(xí)算法(HDCA、MDRM),但是隨著訓(xùn)練數(shù)據(jù)量的增加,領(lǐng)先優(yōu)勢逐漸消失,在3 組訓(xùn)練數(shù)據(jù)量下,基于傳統(tǒng)機(jī)器學(xué)習(xí)的端到端方法的單試分類性能優(yōu)于時域及小波域兩種傳統(tǒng)分類方法.隨著訓(xùn)練數(shù)據(jù)量的提升,基于神經(jīng)網(wǎng)絡(luò)的方法均顯著優(yōu)于其他腦電分類方法.此外,隨著訓(xùn)練數(shù)據(jù)量的增加,在相同訓(xùn)練數(shù)據(jù)量提升下,與傳統(tǒng)方法相比,基于神經(jīng)網(wǎng)絡(luò)的方法的分類精度提升更大.

3.3 探針預(yù)測結(jié)果

基于腦電的探針預(yù)測結(jié)果如表3 所示.從表3的結(jié)果可見,在使用不同數(shù)量的腦電數(shù)據(jù)情況下,基于PLNet 的類自舉法探針預(yù)測結(jié)果準(zhǔn)確率最高,并高于對比方法.在僅使用2 組數(shù)據(jù)情況下,基于PLNet/OCLNN 的類自舉法探針預(yù)測可以實現(xiàn)88.89%的預(yù)測準(zhǔn)確率;隨著使用的腦電數(shù)據(jù)量的增加,探針預(yù)測的準(zhǔn)確性隨之提升,在使用3～6 組腦電數(shù)據(jù)情況下,基于PLNet 和EEGNet 的類自舉法探針預(yù)測性能相同且為對比方法中最優(yōu),在6 組數(shù)據(jù)量下,可實現(xiàn)100.00%正確探針預(yù)測.對比方法BAD (P-P)在使用3 組數(shù)據(jù)的情況下可實現(xiàn)與基于神經(jīng)網(wǎng)絡(luò)的類自舉探針預(yù)測方法相同的性能.

表3 不同方法在不同數(shù)據(jù)量下的探針預(yù)測正確率 (%)Table 3 Probe prediction accuracy of different methods under different data volume (%)

隨著使用數(shù)據(jù)量的增加,BAD 方法的探針預(yù)測性能呈現(xiàn)了增加(2～4 組數(shù)據(jù))而后到達(dá)平臺期(4～6 組數(shù)據(jù))的變化趨勢.類自舉法的探針預(yù)測性能整體呈現(xiàn)了隨使用數(shù)據(jù)量增加而增長的趨勢.基于神經(jīng)網(wǎng)絡(luò)的類自舉法在僅需要更少的數(shù)據(jù)情況下(OCLNN、EEGNet 和PLNet 在2 組數(shù)據(jù)下)便可以實現(xiàn)傳統(tǒng)方法在更多訓(xùn)練數(shù)據(jù)情況下(如BAD、HDCA 和MDRM 在5 組數(shù)據(jù)下)才得以實現(xiàn)的探針預(yù)測性能.此外,統(tǒng)計類自舉法的算法耗時的結(jié)果表明,在采用PLNet 進(jìn)行類自舉探針預(yù)測的情況下,使用不同數(shù)據(jù)量的情況下訓(xùn)練時間十分相近,平均時長為17.5±0.7 min.采用BAD 方法進(jìn)行探針預(yù)測的算法耗時短,平均時長為1.46±1.39 s.雖然BAD 算法的計算復(fù)雜度低,不需要額外訓(xùn)練模型的時間,但其探針預(yù)測精度低于類自舉法.類自舉法的實驗結(jié)果表明,使用越多的任務(wù)數(shù)據(jù),探針預(yù)測性能越高,也會導(dǎo)致實際中任務(wù)實施時長的增加.類自舉法在實際應(yīng)用中,可以按照實際的時間與任務(wù)精度需求實施.綜合單試分類、探針預(yù)測準(zhǔn)確率的結(jié)果看,數(shù)據(jù)驅(qū)動的端到端腦電分類算法受到訓(xùn)練數(shù)據(jù)量的影響較大,模型準(zhǔn)確率隨著訓(xùn)練數(shù)據(jù)量的增加而增加.由于訓(xùn)練樣本少,單試次腦電分類性能較差;而本文所提出的類自舉法結(jié)合神經(jīng)網(wǎng)絡(luò)方法可以實現(xiàn)準(zhǔn)確的探針預(yù)測.

3.4 可視化分析

為驗證本文所提出的類自舉法的假設(shè)及方法的有效性,本研究對模型輸出特征進(jìn)行了可視化分析,圖4 展示了其中一名被試在類自舉法使用5 組數(shù)據(jù)情況下的可視化結(jié)果.使用前3 組腦電數(shù)據(jù),分別將5 類圖像刺激視為探針刺激構(gòu)造對應(yīng)單試次腦電的二元標(biāo)簽(探針刺激:1,無關(guān)刺激:0),訓(xùn)練PLNet.使用后2 組數(shù)據(jù)作為輸入,將PLNet 模型中卷積網(wǎng)絡(luò)所提出的特征,使用tSNE 方法降至二維,并繪制散點圖.

圖4 類自舉法中不同腦電標(biāo)簽訓(xùn)練解碼模型的特征可視化Fig.4 Feature visualization of decoding models trained with different EEG labels in class bootstrap method

如圖4(a)所示,真正的探針刺激作為正樣本構(gòu)建腦電標(biāo)簽情況下,所訓(xùn)練模型的特征空間中,探針刺激所誘發(fā)的腦電樣本分布集中,且與無關(guān)刺激腦電樣本具有一定的可分性.而圖4(b)～4(e)的結(jié)果表明,在無關(guān)刺激被視為探針刺激構(gòu)造單試次腦電標(biāo)簽進(jìn)行訓(xùn)練后,模型無法學(xué)習(xí)到有效的分類模式,不同圖像刺激所誘發(fā)腦電樣本的分布十分混亂,探針刺激與無關(guān)刺激之間不具有可分性.上述結(jié)果也表明了類自舉法的數(shù)據(jù)分布假設(shè)的正確性和方法的有效性.

4 總結(jié)與展望

本文面向謊言預(yù)測的腦電信號解碼研究,設(shè)計了基于CTP 的自我面孔信息任務(wù),開展實驗采集了18 名被試者的任務(wù)腦電數(shù)據(jù),研究分析了近年來廣泛應(yīng)用于腦-機(jī)接口領(lǐng)域的P300 腦電分類方法在測謊場景下的應(yīng)用.針對當(dāng)前單試次腦電分類方法的訓(xùn)練與測試模式無法應(yīng)用等問題,基于數(shù)據(jù)分布的假設(shè),提出了一種類自舉法以實現(xiàn)實際可用的探針預(yù)測方法.實驗結(jié)果表明,端到端的單試次腦電分類算法在測謊應(yīng)用中具有可行性,且分類性能受到訓(xùn)練數(shù)據(jù)量的影響;所提出基于單試次腦電分類的類自舉法可以實現(xiàn)準(zhǔn)確的探針預(yù)測,可視化分析的結(jié)果也表明了類自舉法的前提假設(shè)與方法的有效性.

在本研究所開展的基于CTP 實驗中,每名被試均有自我面孔信息作為探針刺激,因此,被試中不包含無辜者.雖然本文所進(jìn)行的探針預(yù)測任務(wù)不包含對無辜者的甄別,但是提出的類自舉法可以通過設(shè)置分類性能的閾值來進(jìn)行無辜者判定,這也是我們后續(xù)繼續(xù)推進(jìn)的研究內(nèi)容,并將開展相關(guān)實驗進(jìn)行分析和驗證.此外,針對知情無辜者的問題,有研究證明[29],早期后部負(fù)電位(Early posterior negativity,EPN)會在與自我相關(guān)的背景信息中得以顯著誘發(fā),可作為區(qū)分有罪者與知情無罪者的一種ERP 成分.后續(xù)研究擬在P300-CTP 組合測謊模式中加入對EPN 成分的分析,來進(jìn)一步探究EPN成分的誘發(fā)效應(yīng)與無辜者甄別能力.