基于DIVA模型的腦電信號處理方法研究

張少白，王 勇，劉友誼

(1.南京郵電大學 計算機學院，江蘇 南京 210046；2.北京師范大學 認知神經(jīng)科學與學習國家重點實驗室，北京 100875)

基于DIVA模型的腦電信號處理方法研究

張少白1，王 勇1，劉友誼2

(1.南京郵電大學 計算機學院，江蘇 南京 210046；2.北京師范大學 認知神經(jīng)科學與學習國家重點實驗室，北京 100875)

DIVA(Directions Into of Articulators)模型是一種為了生成單詞、音節(jié)或者音素而控制模擬聲道運動的自適應(yīng)神經(jīng)網(wǎng)絡(luò)模型，其依賴的輸入信號是從人體大腦中采集到的腦電信號。針對漢語神經(jīng)分析系統(tǒng)研究中非侵入式腦機接口采集到的腦電數(shù)據(jù)存在的分辨率低、干擾大的問題，文中提出一種基于DIVA模型對腦電信號進行約束處理的方法。首先利用獨立分量分析方法剔除原始信號中的噪聲，提取有效事件相關(guān)電位(Event-Related Potentials,ERP)成分；然后以模擬生成的功能性磁共振成像(functional Magnetic Resonance Imaging，fMRI)數(shù)據(jù)的激活點的空間信息作為限制條件，對提取出的ERP成分進行精確定位。通過對實驗數(shù)據(jù)進行分析處理并模擬受試者的激活腦區(qū)，驗證了所提方法的正確性和有效性。

DIVA模型；腦電信號；核磁共振成像；獨立分量分析

0 引 言

腦機接口(Brain Computer Interface,BCI)能夠通過人腦控制計算機或其他電子設(shè)備的動作，而無需語言或肢體動作的幫助。它是一個不依靠外周神經(jīng)和肌肉組織等通常的大腦輸出通道的通信系統(tǒng)。也就是說，BCI建立了一條人腦與計算機之間的控制通道。

以腦機接口為技術(shù)基礎(chǔ)，波士頓大學的弗朗克·岡瑟(Frank Guenther)教授帶領(lǐng)的科研小組成功研制出一種神經(jīng)分析系統(tǒng)(Neuralynx System)。該系統(tǒng)可以將人大腦里的思維過程“閱讀”出來，然后將其轉(zhuǎn)換為正常語言進行實時表述[1],實時語音生成合成系統(tǒng)腦機接口原理如圖1所示。

該系統(tǒng)使用侵入式腦機接口采集腦電信號。此類腦機接口所獲取的神經(jīng)信號的質(zhì)量比較高。但是侵入式腦機接口需專業(yè)醫(yī)生進行手術(shù)把電極內(nèi)置于人的大腦內(nèi),檢測腦皮層電圖(Electrocorticogram,EEG)等信號有一定的危險性,并且容易引發(fā)免疫反應(yīng)和愈傷組織，進而導致信號質(zhì)量的衰退甚至消失[2]。

圖1 實時語音生成合成系統(tǒng)腦機接口原理圖

在漢語神經(jīng)分析系統(tǒng)(Chinese Neuralynx System,CNS)的研究過程中，采用非侵入式的神經(jīng)成像術(shù)作為腦機接口在人身上進行了實驗。雖然這種非侵入式的裝置方便佩戴于人體，但是由于顱骨對信號的衰減作用和對神經(jīng)元發(fā)出的電磁波的分散和模糊效應(yīng)，記錄到信號的分辨率并不高[2-4]。這種信號波仍可被檢測到，但信號信噪比較低，對后處理的要求較高。

針對上述問題，文中提出一種使用功能性磁共振成像(functional Magnetic Resonance Imaging,fMRI)數(shù)據(jù)對腦電信號進行融合處理的方法。該方法通過DIVA模型模擬生成的fMRI數(shù)據(jù)對腦電信號進行定位分析，并使用獨立成分分析方法(Independent Component Analysis,ICA)簡化實際計算的復雜度，克服了非侵入式腦電信號分辨率低、干擾大的缺點。

1 漢語神經(jīng)分析系統(tǒng)

如圖2所示，漢語神經(jīng)分析系統(tǒng)由兩部分組成：腦機接口和語音合成系統(tǒng)(Directions Into Velocities of Articulators，DIVA)模型。BCI中，通過使用者佩戴的無線神經(jīng)電極獲取實驗需要的腦電信號，這些信號將被用于驅(qū)動DIVA模型語音合成器的連續(xù)“運動”，進而獲取相應(yīng)的語音輸出。而由前饋控制子系統(tǒng)、反饋控制子系統(tǒng)以及前田(Maeda)模擬聲道三個主要部分(見圖3)組成的DIVA模型[1],則是一種具有生物學意義的關(guān)于語音生成和獲取的神經(jīng)網(wǎng)絡(luò)。該模型通過

圖2 漢語神經(jīng)分析系統(tǒng)結(jié)構(gòu)圖

某種規(guī)則在以語音為輸入的同時，產(chǎn)生一個發(fā)音速度以及器官位置變化的時變序列，應(yīng)用這個序列，系統(tǒng)就可以得到所需要的理想發(fā)音。

圖3 DIVA模型結(jié)構(gòu)圖

DIVA模型的重要特征之一就是其中的模型組件會對應(yīng)到人體大腦皮層的某個相關(guān)區(qū)域，這種映射關(guān)系是在有關(guān)神經(jīng)解剖學和神經(jīng)生理學研究的基礎(chǔ)上根據(jù)MNI(Montreal Neurological Institute)標準參照系而確定的。在按照預設(shè)參數(shù)進行發(fā)音任務(wù)時，DIVA模型能夠產(chǎn)生反應(yīng)腦區(qū)激活狀態(tài)的fMRI數(shù)據(jù)。通過這樣的方式，DIVA模型實際上就構(gòu)成了一個用以解釋來自各種研究的相關(guān)數(shù)據(jù)以及對關(guān)于語音神經(jīng)處理過程進行一致性描述的基本框架[5]。文中將使用由DIVA模型生成的fMRI數(shù)據(jù)對腦電信號進行定位處理。

2 EEG/fMRI融合分析技術(shù)

EEG/fMRI融合問題是在fMRI約束下的EEG逆向求解問題，也就是將fMRI的結(jié)果作為EEG逆向問題的限制條件。其科學依據(jù)在于：通過fMRI可以檢測到局部血液變化，而這種變化是由產(chǎn)生EEG觀測信號的神經(jīng)元活動增加了葡萄糖和氧的需求量所引起的[6-7]。

2.1 球腦模型

采用EEG/fMRI融合分析技術(shù)對腦電信號進行分析處理，首先選取大腦模型。選取的大腦模型將會直接影響到腦電信號計算時激活源的空間分布。大腦模型涉及人腦的生理學特性與電磁特性。這些特性可以用導聯(lián)場矩陣進行表示。為了簡化計算復雜度，大腦模型的構(gòu)建應(yīng)盡量簡單。這樣做也可以減小腦部計算電壓和實際值之間的誤差。

實驗以理想4層頭部模型作為數(shù)據(jù)處理的基礎(chǔ)。該模型將人腦分成4部分：腦、腦脊液、顱骨和頭皮。在簡化計算復雜度的前提下，對真實大腦進行近似處理。

2.2 EEG正向問題

假設(shè)腦電信號與源信號呈線性關(guān)系，如式(1)：

X=AS+N

(1)

其中，X為神經(jīng)電極記錄的矢量；A為導聯(lián)場矩陣，它是偶極子位置、大腦幾何形狀與介質(zhì)傳導系數(shù)的非線性函數(shù)；S為偶極子矢量；N為每個電極采集到信號中的噪聲矢量[8]。

導聯(lián)場矩陣A由實驗中采用的4層球模型決定，其中每一列代表信號源對實際記錄矢量X的影響。

2.3 EEG逆向問題

EEG逆向問題是在已知球腦模型與傳導系數(shù)的前提下，求解最優(yōu)偶極子的大小、位置、方向，使得到的偶極子所產(chǎn)生的電場分布與測量值均方值最小。此問題等價于求解式(2)的最優(yōu)解[9-10]：

(2)

其中，C為信噪比的歸一矩陣；λ為正則化參數(shù)。

上述方程可以與解的空間結(jié)合起來，由此可將目標函數(shù)定義為：

(3)

其中，P為解空間中fMRI限定源的位置，由式(4)定義：

(4)

其中，l為偶極子的數(shù)量；ri為第i個偶極子的位置向量；si為fMRI限定源的空間信息；c,di為常數(shù)，實驗中di=5 mm。

偶極子的位置與fMRI限定源位置是相關(guān)的，fMRI限定源的位置可作為確定偶極子的參考點。fMRI受限的等效偶極子模型[11](簡稱FC-ECD模型)應(yīng)用最大距離限制擬合偶極子的位置以及偶極矩。FC-ECD假設(shè)：檢測到的腦電信號可由多個偶極子產(chǎn)生，一定區(qū)域的激活狀態(tài)可由單個偶極子的狀態(tài)來表示[12]。

實驗的關(guān)鍵是求解上述目標函數(shù)的全局最優(yōu)解。在求解過程中，需要對每一個可能的解進行迭代和對比，計算量巨大。因此，文中考慮使用獨立成分分析法(ICA)對解空間進行簡化，以減少實際計算量。

2.4 ICA在EEG數(shù)據(jù)處理中的應(yīng)用

實際采集到的EEG信號由若干相互獨立的源信號疊加而成。可以采用ICA對無關(guān)信號進行剝離。文中以記錄的電壓xi,i=1,2,…,m作為觀測向量，其中m表示神經(jīng)電極數(shù)量。信號矢量xi是n個時間上獨立信號源sj,j=1,2,…,n的線性組合。sj的權(quán)重為aj，aj是導聯(lián)場矩陣A的第j列。使用估算信號Y對觀測信號X進行重建，重建過程如下[13]：

X=W-1Y

(5)

其中，W為最優(yōu)變換矩陣。

X的第j個時間序列由式(6)表示:

(6)

ICA方法可以將腦電信號的有效成分從觀測信號中分離出來，每個有效成分對應(yīng)一個偶極子，從而簡化了目標函數(shù)的求解空間，降低了計算復雜度[14-15]。

3 實 驗

3.1 EEG數(shù)據(jù)采集及預處理

此次用于實驗的EEG數(shù)據(jù)由北京師范大學認知科學與學習國家重點實驗室采集得到。采用EGI公司的128導聯(lián)腦電設(shè)備作為實驗設(shè)備。實驗對象則為1名身體健康母語為漢語并具有一定腦電信號采集經(jīng)驗的男性。實驗采用腦電掃描儀和具有128個電極的掃描帽來記錄腦電信號，所有電極的阻抗都低于5 000 Ω，信號的采樣頻率為500 Hz。在進行腦電信號采集時，被試者意識清晰，坐在普通的椅子上，完成80次漢語拼音J和80次英語字母J共計160次的發(fā)音任務(wù)，單次發(fā)音的持續(xù)時間為600 ms，并在開始發(fā)音任務(wù)100 ms進行發(fā)音。實驗在一天時間內(nèi)完成。采集到的腦電波數(shù)據(jù)如圖4所示。

圖4 腦電波示意圖

在Net Station上對采集到的EEG數(shù)據(jù)進行一定的預處理操作，具體包括低通濾波、壞電極復位、基線校正、去除眨眼偽跡及眼球運動偽跡，然后將數(shù)據(jù)文件轉(zhuǎn)換為融合ICA工具箱(FIT)兼容的格式。

3.2 fMRI數(shù)據(jù)采集及預處理

基于DIVA模型提供的用戶接口對聲道參數(shù)進行設(shè)置，使模型分別進行漢語和英語模擬發(fā)音。然后將模擬產(chǎn)生的數(shù)據(jù)結(jié)果輸入到統(tǒng)計繪圖工具(SPM)中進行分析，采用12參數(shù)的仿射變換對數(shù)據(jù)進行歸一化處理。再將圖像與高分辨率的結(jié)構(gòu)圖像進行配準，并歸一到MNI的空間。然后利用半高寬(FWHM)為12 mm*12 mm*24 mm的三維高斯函數(shù)對標準化后的數(shù)據(jù)做空間平滑處理。

3.3 數(shù)據(jù)融合分析

采用半徑依次為78 mm、82 mm、85 mm及87 mm，其傳導系數(shù)分別為0.459 S/m、1.41 S/m、0.005 8 S/m和0.461 S/m的4層球模型，對EEG信號進行融合處理正向問題的計算。

采用ICA算法對EEG數(shù)據(jù)進行有效獨立成分的提取，之后采用FC-ECD方法在fMRI限定條件下與EEG信號進行融合分析。對提取的P300、P400成分進行腦部定位，其中P300是在相關(guān)事件發(fā)生后300 ms達到其峰值的事件相關(guān)電位，結(jié)果如圖5所示。

圖5 P300、P400腦電成分的定位

通過分析融合定位后的腦激活圖可以發(fā)現(xiàn)，語音實驗過程中受試者大腦的顳橫回、緣上回及附近區(qū)域處于強烈激活狀態(tài)[16]。而根據(jù)已有的語音相關(guān)感興趣區(qū)域研究：在語音生成過程中，顳橫回的主要任務(wù)是中心頻率、聲級編碼；緣上回的主要任務(wù)是語音處理、語音感知和生成以及聲源定位。它們在語音任務(wù)中都會處于激活狀態(tài)[2]。可以得出，使用DIVA模型產(chǎn)生的fMRI數(shù)據(jù)進行約束處理，克服了原腦電數(shù)據(jù)分辨率低、干擾大的缺點，進而可對激活腦區(qū)進行精確定位。

4 結(jié)束語

針對漢語神經(jīng)分析系統(tǒng)研究過程中出現(xiàn)的腦電信號空間分辨率低、信號干擾大、信噪比低的問題，文中提出一種基于DIVA模型的EEG信號處理方法。該方法使用DIVA模型產(chǎn)生的fMRI數(shù)據(jù)對EEG數(shù)據(jù)進行約束處理。運用ICA方法，減小了預處理階段運算的復雜度，在很大程度上克服了等效偶極子定位算法對于噪聲的敏感。最后，利用該方法對真實實驗數(shù)據(jù)進行處理，得到的結(jié)論基本符合已知的生理學事實。該研究為漢語神經(jīng)分析系統(tǒng)中的腦電信號處理問題提供了可行的解決方案，為今后漢語語音生成與獲取的相關(guān)研究奠定了基礎(chǔ)。

[1] Tourville J T,Guenther F H.The DIVA model:a neural theory of speech acquisition and production[J].Language and Cognitive Processes,2011,26(7):952-981.

[2] Brumberg J S,Nieto-Castanon A,Kennedy P R,et al.Brain-computer interfaces for speech communication[J].Speech Communication,2010,52(4):367-379.

[3] McFarland D J,Sarnacki W A,Townsend G,et al.The P300-based brain-computer interface (BCI):effects of stimulus rate[J].Clinical Neurophysiology,2011,122(4):731-737.

[4] Lotte F,Guan C.Regularizing common spatial patterns to improve BCI designs:unified theory and new algorithms[J].IEEE Transactions on Biomedical Engineering,2011,58(2):355-362.

[5] Golfinopoulos E,Tourville J A,Guenther F H.The integration of large-scale neural network modeling and functional brain imaging in speech motor control[J].Neuroimage,2010,52(3):862-874.

[6] Laufs H,Krakow K.Methodology of combined EEG and fMRI[J].Neuroimaging of Sleep and Sleep Disorders,2013,82(1):94-101.

[7] Nierhaus T, Gundlach C, Goltz D,et al.Internal ventilation system of MR scanners induces specific EEG artifact during simultaneous EEG-fMRI[J].NeuroImage,2013,74:70-76.

[8] Hess A,Stiller D,Kaulisch T,et al.New insights into the hemodynamic blood oxygenation level-dependent response through combination of functional magnetic resonance imaging and optical recording in gerbil barrel cortex[J].Journal of Neuroscience,2000,20(9):3328-3338.

[9] Baumeister S,Hohmann S,Wolf I,et al.Sequential inhibitory control processes assessed through simultaneous EEG-fMRI[J].NeuroImage,2014,94:349-359.

[10] Chaudhary U J,Rodionov R,Carmichael D W,et al.Improving the sensitivity of EEG-fMRI studies of epileptic activity by modelling eye blinks,swallowing and other video-EEG detected physiological confounds[J].NeuroImage,2012,61(4):1383-1393.

[11] Ogawa S,Lee T M,Stepnoski R,et al.An approach to probe some neural systems interaction by functional MRI at neural time scale down to milliseconds[J].Proc. of the National Academy of Sciences USA,2000,97(20):11026-11031.

[12] Phan K L,Wager T,Taylor S F,et al.Functional neuroanatomy of emotion:a meta-analysis of emotion activation studies in PET and fMRI[J].NeuroImage,2002,16(2):331-348.

[13] Moeller F,LeVan P,Gotman J.Independent Component Analysis (ICA) of generalized spike wave discharges in fMRI:comparison with general linear model-based EEG-fMRI[J].Human Brain Mapping,2011,32(2):209-217.

[14] Fuchs M,Wagner M,Wischmann H A,et al.Improving source reconstructions by combining bioelectric and biomagnetic data[J].Electroencephalography and Clinical Neurophysiology,1998,107(2):93-111.

[15] de Lucia M,Michel C M,Murray M M.Comparing ICA-based and single-trial topographic ERP analyses[J].Brain Topography,2010,23(2):119-127.

[16] Guenther F H.Cortical interactions underlying the production of speech sounds[J].Journal of Communication Disorders,2006,39:350-365.

Research on a Method of EEG Signal Processing Based on DIVA Model

ZHANG Shao-bai1，WANG Yong1，LIU You-yi2

(1.College of Computer Science & Technology,Nanjing University of Posts and Telecommunications,Nanjing 210046,China;2.Key Lab of Cognitive Neuroscience and Learning,Beijing Normal University,Beijing 100875,China)

DIVA (Directions Into Velocities of Articulators) is an adaptive neural network model which is used to control the movement of analog vocal tract for generating the words,syllables or phonemes.The input signal that DIVA model depends on is the EEG (ElectroEncephaloGram) signal collected from the human brain.However,EEG data collected through non-invasive brain-computer interface shows low resolution and large interference in the research of Chinese Neuralynx System.A constraint processing method for the EEG signal based on DIVA model is proposed.Firstly,it uses ICA (Independent Component Analysis) to exclude the original noise in the signal and extract the effective ERP (Event-Related Potentials) ingredient.Then,on condition of spatial information of points which are activated by fMRI (functional Magnetic Resonance Imaging) data,it locates ERP ingredient precisely.Finally,through processing and analyzing experimental data and simulating activated brain regions of the subjects,the result verifies correctness and validity of the method.

DIVA model;EEG signal;fMRI;independent component analysis

2014-11-18

2015-04-15

時間：2016-07-29

國家自然科學基金資助項目(61373065)

張少白(1953-)，男，博士，教授，研究方向為智能系統(tǒng)與模式識別；王 勇(1990-)，男，碩士，研究方向為智能系統(tǒng)與模式識別。

http://www.cnki.net/kcms/detail/61.1450.TP.20160729.1833.002.html

TP31

A

1673-629X(2016)08-0152-04

10.3969/j.issn.1673-629X.2016.08.032