融合多尺度腦電特征的學(xué)習(xí)風(fēng)格識(shí)別

張冰雪，柴成亮，尹 鐘，史 洋，裴頌文

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093) E-mail：yinzhong@usst.edu.cn

1 引 言

學(xué)習(xí)風(fēng)格(Learning Style)是學(xué)習(xí)者在長(zhǎng)期學(xué)習(xí)活動(dòng)中形成的相對(duì)穩(wěn)定的學(xué)習(xí)方式和偏好[1]，是反映學(xué)習(xí)者個(gè)體差異的重要因素.通過(guò)分析和研究學(xué)習(xí)者在學(xué)習(xí)風(fēng)格上的差異，為其制定個(gè)性化的學(xué)習(xí)策略、內(nèi)容和資源，不僅可以提高學(xué)習(xí)者的學(xué)習(xí)效率，而且能增強(qiáng)其自主學(xué)習(xí)能力.因此，在智能化時(shí)代背景下，借助智能算法對(duì)學(xué)習(xí)者的學(xué)習(xí)風(fēng)格進(jìn)行識(shí)別，不僅是實(shí)現(xiàn)個(gè)性化教學(xué)的必要前提，也對(duì)現(xiàn)代教育模式的貫徹實(shí)施具有非常重要的研究意義和應(yīng)用價(jià)值[2].

學(xué)習(xí)風(fēng)格最早的概念是由Thelen在1954年提出，隨后研究者相繼提出眾多的學(xué)習(xí)風(fēng)格模型，包括Kolb[3]、Felder-Silverman[4]、VARK[5]、Gregorc[6]等經(jīng)典學(xué)習(xí)風(fēng)格模型.其中Felder-Silverman模型是最被廣泛接受和使用的，其根據(jù)學(xué)習(xí)者對(duì)信息的感知、輸入、理解和處理4個(gè)維度上的偏好各劃分為兩組不同的學(xué)習(xí)風(fēng)格.其中，處理維度按思維過(guò)程如何將學(xué)習(xí)者接受的信息加工為知識(shí)，劃分為沉思型和活躍型學(xué)習(xí)風(fēng)格.沉思型學(xué)習(xí)者更善于自省，關(guān)注自我的內(nèi)部狀況，而活躍型學(xué)習(xí)者傾向于踐行，將精力投注在外部環(huán)境[7].由此可見(jiàn)，處理維度對(duì)分析學(xué)習(xí)者的問(wèn)題處理和認(rèn)知過(guò)程的差異性具有重要意義，是實(shí)現(xiàn)個(gè)性化教學(xué)的必要前提，但信息內(nèi)化過(guò)程難以通過(guò)常規(guī)方法進(jìn)行分析.故本文選擇在Felder-Silverman 學(xué)習(xí)風(fēng)格模型理論下，針對(duì)性地對(duì)處理維度設(shè)計(jì)實(shí)驗(yàn)，并構(gòu)建模型實(shí)現(xiàn)對(duì)沉思型和活躍型學(xué)習(xí)風(fēng)格的識(shí)別.

目前，學(xué)習(xí)風(fēng)格的識(shí)別主要有兩種形式：1)顯式識(shí)別，即利用學(xué)習(xí)風(fēng)格問(wèn)卷，統(tǒng)計(jì)各項(xiàng)得分情況來(lái)判斷受試者的學(xué)習(xí)風(fēng)格[8]；2)隱式識(shí)別，即通過(guò)對(duì)學(xué)習(xí)行為數(shù)據(jù)的挖掘與分析，間接識(shí)別學(xué)習(xí)者的學(xué)習(xí)風(fēng)格[9].雖然上述方法均取得了良好的進(jìn)展，但是均存在明顯的弊端：顯式識(shí)別通常僅適合應(yīng)用于小規(guī)模或封閉環(huán)境；隱式識(shí)別由于行為數(shù)據(jù)類型復(fù)雜，且相對(duì)缺乏合理的評(píng)價(jià)標(biāo)準(zhǔn)，因此無(wú)法保證識(shí)別結(jié)果的真實(shí)性.腦電(Electroencephalogram，EEG)是大腦自發(fā)性、節(jié)律性的電生理活動(dòng)[10]，其中包含了大量的心理和認(rèn)知過(guò)程信息.近年來(lái)，認(rèn)知神經(jīng)科學(xué)研究發(fā)現(xiàn)，EEG中包含反映人個(gè)性化認(rèn)知的特征，并指出人在學(xué)習(xí)和處理問(wèn)題的差異性與大腦皮層的活動(dòng)節(jié)律有很大相關(guān)度[11]，通過(guò)分析腦電信號(hào)可以有效解析人在認(rèn)知處理過(guò)程中存在的差異性，由于EEG體現(xiàn)的生物特征信息很難被偽裝或掩飾，所以EEG往往比面部表情、語(yǔ)音或行為等更能真實(shí)地反映人的認(rèn)知過(guò)程.目前，腦電信號(hào)已被廣泛用于情感分類[12]、疾病檢測(cè)[13]和疲勞監(jiān)測(cè)[14]等領(lǐng)域.因此，設(shè)法利用生理信號(hào)實(shí)現(xiàn)對(duì)學(xué)習(xí)風(fēng)格的識(shí)別，可以有效提高識(shí)別準(zhǔn)確率和模型泛化能力.

綜上所述，本文開(kāi)創(chuàng)性地構(gòu)建了融合多尺度EEG特征的學(xué)習(xí)風(fēng)格識(shí)別模型.通過(guò)構(gòu)建實(shí)驗(yàn)刺激，激發(fā)并收集受試者在Felder-Silverman模型處理維度的腦電信號(hào)，并對(duì)其進(jìn)行模型訓(xùn)練與識(shí)別.特別地，本文提出了一種新的融合多尺度時(shí)空卷積神經(jīng)網(wǎng)絡(luò)的分類器，抽象腦電蘊(yùn)涵的關(guān)鍵學(xué)習(xí)風(fēng)格信息并完成識(shí)別任務(wù).該模型首先使用一維時(shí)間和空間卷積代替?zhèn)鹘y(tǒng)二維卷積，實(shí)現(xiàn)對(duì)腦電時(shí)域特征和通道間空域特征的提取，相比普通卷積有效減少了41%的訓(xùn)練參數(shù)量.其次，模型構(gòu)建了并行多尺度卷積結(jié)構(gòu)，多尺度卷積能獲得更加豐富的腦電特征，增加了模型的寬度并提高模型性能.最后，通過(guò)全局平均池化進(jìn)一步簡(jiǎn)化模型結(jié)構(gòu)，降低模型的訓(xùn)練時(shí)間.通過(guò)多組對(duì)比實(shí)驗(yàn)結(jié)果表明，該模型對(duì)學(xué)習(xí)風(fēng)格的識(shí)別準(zhǔn)確率達(dá)到71.2%，相比于傳統(tǒng)方法準(zhǔn)確率平均提升了12%，因而驗(yàn)證了該識(shí)別模型的準(zhǔn)確性和有效性.

2 實(shí)驗(yàn)設(shè)計(jì)

融合多尺度EEG特征的學(xué)習(xí)風(fēng)格識(shí)別實(shí)驗(yàn)流程如圖1所示，整體包括4個(gè)步驟：1)被試者學(xué)習(xí)風(fēng)格標(biāo)注：獲取受試者的真實(shí)學(xué)習(xí)風(fēng)格標(biāo)注信息，并篩選出合適的實(shí)驗(yàn)被試；2)實(shí)驗(yàn)設(shè)計(jì)及數(shù)據(jù)采集：設(shè)計(jì)高效、可靠的刺激源和實(shí)驗(yàn)流程，采集被試的原始腦電數(shù)據(jù)；3)數(shù)據(jù)預(yù)處理：原始腦電數(shù)據(jù)進(jìn)行濾波、去噪，并對(duì)預(yù)處理后的數(shù)據(jù)進(jìn)行分割和標(biāo)注；4)識(shí)別模型構(gòu)建：經(jīng)過(guò)模型設(shè)計(jì)、訓(xùn)練、性能評(píng)估，最終構(gòu)建融合腦電信號(hào)的學(xué)習(xí)風(fēng)格識(shí)別模型.

圖1 學(xué)習(xí)風(fēng)格識(shí)別流程圖Fig.1 Flowchart for learning style recognition

2.1 被試者學(xué)習(xí)風(fēng)格標(biāo)注

實(shí)驗(yàn)采用Felder 和 Soloman于1997 年共同設(shè)計(jì)的學(xué)習(xí)風(fēng)格量表(Index of Learning Styles，ILS)[15]對(duì)被試的學(xué)習(xí)風(fēng)格進(jìn)行標(biāo)注，量表結(jié)果反映被試在Felder-Silverman 模型4個(gè)維度上對(duì)應(yīng)的學(xué)習(xí)風(fēng)格及傾向程度.為避免受試者對(duì)問(wèn)卷產(chǎn)生理解歧義、主觀臆斷等情況而影響預(yù)測(cè)結(jié)果的真實(shí)性，在填寫學(xué)習(xí)風(fēng)格量表前，首先為被試詳細(xì)解讀各題項(xiàng)的含義，確保可以獲得被試真實(shí)、無(wú)偏差的學(xué)習(xí)風(fēng)格.實(shí)驗(yàn)向100名大學(xué)生分發(fā)ILS量表，最終回收問(wèn)卷97份，問(wèn)卷統(tǒng)計(jì)結(jié)果如表1所示.

表1 問(wèn)卷結(jié)果統(tǒng)計(jì)分析表Table 1 Statistical analysis of questionnaire results

實(shí)驗(yàn)根據(jù)量表結(jié)果，最終篩選出顯著表現(xiàn)為活躍型和沉思型的被試各7人，共14人(7男7女)作為被試.年齡在18-21歲之間，平均年齡是19.4歲.所有被試聽(tīng)力正常，視力正常或矯正正常，均為右利手.實(shí)驗(yàn)前，所有受試者均在充分了解實(shí)驗(yàn)流程后簽署了知情同意書.

2.2 實(shí)驗(yàn)設(shè)計(jì)

本實(shí)驗(yàn)選擇由英國(guó)心理學(xué)家J.C.Raven于1992年設(shè)計(jì)開(kāi)發(fā)的瑞文高級(jí)推理測(cè)試(Raven′s Advanced Progressive Matrices，RAPM)作為實(shí)驗(yàn)刺激，激發(fā)被試在認(rèn)知加工過(guò)程中的個(gè)體差異[16].實(shí)驗(yàn)將36道RAPM測(cè)試題平均分成A、B、C、D、E和F共6組，通過(guò)E-Prime2.0軟件編制刺激程序，并記錄與腦電同步的時(shí)間戳文件.

腦電設(shè)備選用美國(guó)舊金山神經(jīng)科技公司(Emotiv System)研發(fā)的非入侵式無(wú)線腦電儀Emotiv Epoc+，該設(shè)備有14個(gè)數(shù)據(jù)采集通道，采樣率為128Hz，電極排列方式按照國(guó)際10-20標(biāo)準(zhǔn)電極安放法安放.圖2為單次刺激序列的時(shí)序圖，每個(gè)試次起始于提示界面，每道題設(shè)作答上限為60秒，作答后立即顯示反饋信息.為了防止被試因長(zhǎng)時(shí)間做題產(chǎn)生的認(rèn)知負(fù)載與疲憊感，實(shí)驗(yàn)設(shè)置每完成6道題時(shí)進(jìn)入休息環(huán)節(jié).待被試主動(dòng)按下鍵盤后進(jìn)入下一組試題，直到6組刺激序列全部完成，整個(gè)刺激流程結(jié)束.

2.3 數(shù)據(jù)預(yù)處理

對(duì)實(shí)驗(yàn)原始EEG進(jìn)行預(yù)處理，首先通過(guò)人工檢查波形情況手動(dòng)去除干擾較為明顯的數(shù)據(jù)片段；然后進(jìn)行帶通濾波獲得4Hz～30Hz頻率段的有效腦電數(shù)據(jù)；接著采用獨(dú)立成分分析(Independent Component Analysis，ICA)去除肌電、眼電等偽跡信號(hào)；最后將刺激呈現(xiàn)前200ms作為基線，用平均參考法對(duì)腦電數(shù)據(jù)進(jìn)行校正[17].為了增加訓(xùn)練數(shù)據(jù)量，對(duì)原始數(shù)據(jù)進(jìn)行分割，首先根據(jù)E-Prime 2.0記錄的時(shí)間戳文件，從連續(xù)的數(shù)據(jù)中截取出每道題對(duì)應(yīng)的EEG.然后采用時(shí)間滑窗方法進(jìn)行數(shù)據(jù)分割[18].每道題的EEG數(shù)據(jù)經(jīng)滑窗分割得到多個(gè)時(shí)長(zhǎng)2s的數(shù)據(jù)切片，兩個(gè)數(shù)據(jù)間無(wú)重疊，忽略邊界上不足2s的數(shù)據(jù).經(jīng)過(guò)預(yù)處理步驟后，實(shí)驗(yàn)獲得504段對(duì)應(yīng)單個(gè)題目的EEG數(shù)據(jù)，再經(jīng)過(guò)數(shù)據(jù)分割，共得到8358段時(shí)長(zhǎng)2s的EEG數(shù)據(jù)切片.最后依據(jù)被試的學(xué)習(xí)風(fēng)格量表的測(cè)試結(jié)果，將每段切片標(biāo)注為對(duì)應(yīng)的學(xué)習(xí)風(fēng)格類型，所有切片經(jīng)過(guò)標(biāo)注和亂序后作為模型的訓(xùn)練樣本[19].

3 模型實(shí)現(xiàn)

3.1 模型構(gòu)建

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)具有自動(dòng)學(xué)習(xí)和提取腦電特征的能力，避免了復(fù)雜的人工特征提取過(guò)程，因此成為EEG解碼領(lǐng)域的研究熱點(diǎn).CNN結(jié)構(gòu)上由卷積層、降采樣層和全連接層組成，訓(xùn)練過(guò)程由卷積層對(duì)數(shù)據(jù)進(jìn)行特征提取，利用全連接層和分類器輸出識(shí)別結(jié)果.以下是卷積計(jì)算公式：

(1)

目前傳統(tǒng)CNN在腦電信號(hào)識(shí)別上的準(zhǔn)確率較低，原因在于其無(wú)法充分挖掘EEG信號(hào)時(shí)域和空間上的特征信息.為解決上述問(wèn)題，本文構(gòu)建了在時(shí)域、空域及多尺度特征上對(duì)腦電信號(hào)進(jìn)行學(xué)習(xí)風(fēng)格識(shí)別的CNN模型，有效提高學(xué)習(xí)風(fēng)格識(shí)別準(zhǔn)確率，本節(jié)將詳細(xì)闡述模型的實(shí)現(xiàn)細(xì)節(jié).

3.1.1 一維卷積層

為充分利用EEG信號(hào)的時(shí)間和空間特征信息，實(shí)驗(yàn)選用一維卷積層來(lái)實(shí)現(xiàn)腦電特征的提取.一維卷積常用于對(duì)時(shí)序數(shù)據(jù)建模，能夠從較短的數(shù)據(jù)片段中獲得有效特征表示，對(duì)腦電信號(hào)的處理具有明顯的優(yōu)勢(shì).按照特征提取維度的不同，模型使用兩種一維卷積層共同進(jìn)行特征提取：

1)時(shí)間卷積(Temporal Convolution).沿時(shí)間軸對(duì)原始EEG不同通道進(jìn)行一維卷積計(jì)算，輸出為包含不同帶通頻率的EEG時(shí)序特征，非常適合小時(shí)間尺度EEG信號(hào)的頻率識(shí)別任務(wù).

2)空間卷積(Spatial Convolution).空間卷積是作用在通道上的卷積濾波器，對(duì)不同通道在空間分布上的特征進(jìn)行提取，空間卷積也常用于分解卷積操作，可以有效減少訓(xùn)練參數(shù)量，降低模型訓(xùn)練時(shí)間.

3.1.2 多尺度特征提取模塊

為了提升卷積層對(duì)腦電信號(hào)的表達(dá)能力，以獲得更豐富的輸入特征.本文設(shè)計(jì)了一種單層多分支的多尺度特征提取結(jié)構(gòu)，通過(guò)在同一層卷積操作中使用多種不同尺寸的卷積核，然后將輸出的多尺度特征融合后送至下一層，模型利用時(shí)間卷積和空間卷積交替進(jìn)行特征提取，構(gòu)成本文的多尺度時(shí)空卷積結(jié)構(gòu)，增強(qiáng)模型對(duì)尺度的適應(yīng)性，有利于提高網(wǎng)絡(luò)的泛化能力[20]，模塊結(jié)構(gòu)如圖3所示.

圖3 多尺度卷積特征提取模塊Fig.3 Multiscale convolution module

輸入層接受原始腦電信號(hào)，經(jīng)過(guò)4個(gè)并行特征提取分支，每個(gè)分支包含若干不同大小的時(shí)間和空間卷積層，實(shí)驗(yàn)選擇1×3、1×5、1×7這3種時(shí)間卷積層，以及對(duì)應(yīng)尺度的空間卷積層.在1×7、1×5時(shí)間卷積層前添加1×1卷積用于特征降維.最后的1×1卷積分支對(duì)原始腦電信號(hào)進(jìn)行降維后輸出，從而能夠保留更多的原始腦電特征.

表2為特征提取模塊的詳細(xì)參數(shù)，模型所有的卷積步長(zhǎng)都為1，每個(gè)卷積層后緊跟批歸一化層(Batch Normalization，BN)和ReLU層，BN層可以加快模型訓(xùn)練速度，ReLU層增強(qiáng)模型非線性能力.卷積核的個(gè)數(shù)隨著層數(shù)加深而翻倍，最終每個(gè)分支獲得40層特征圖.在卷積層之后對(duì)所有分支的輸出進(jìn)行融合，融合方式是將所有輸出特征圖在通道維度上進(jìn)行堆疊，并將融合后的特征進(jìn)行降維后輸出至下個(gè)特征提取模塊.

表2 多尺度特征提取模塊詳細(xì)參數(shù)Table 2 Detailed parameters of multi-scale feature extraction module

3.1.3 全局平均池化

卷積神經(jīng)網(wǎng)絡(luò)通過(guò)全連接層(Fully Connected Layer，F(xiàn)C)實(shí)現(xiàn)對(duì)卷積層輸出結(jié)果的向量化，但由于FC層通常包含大量的訓(xùn)練參數(shù)，因而會(huì)導(dǎo)致模型訓(xùn)練速度較慢[21].此外，F(xiàn)C層只能接收固定長(zhǎng)度的參數(shù)，故模型無(wú)法實(shí)現(xiàn)對(duì)任意尺度數(shù)據(jù)的輸入和處理.因此，本文使用全局平均池化層(Global Average Pooling，GAP)代替FC層，GAP層通平均池化操作將每個(gè)特征圖映射至單個(gè)特征值，可以直接輸入至Softmax分類器.GAP可以降低模型的訓(xùn)練參數(shù)量，同時(shí)剔除了FC層對(duì)固定參數(shù)輸入的要求，實(shí)現(xiàn)對(duì)任意尺度數(shù)據(jù)的處理.

3.2 模型整體結(jié)構(gòu)

本文模型結(jié)構(gòu)如圖4所示，模型整體主要由3個(gè)多尺度特征提取模塊組成.首先，輸入數(shù)據(jù)經(jīng)過(guò)多尺度特征提取后得到6個(gè)分支的特征圖輸出，然后進(jìn)行特征融合，融合后的特征圖經(jīng)過(guò)1×1卷積層和Max Pooling層進(jìn)行降維，降維結(jié)果輸入至下一個(gè)特征提取模塊.訓(xùn)練樣本經(jīng)過(guò)3次多尺度特征提取和降維后得到泛化性更強(qiáng)的特征輸出，最后特征圖經(jīng)過(guò)1×1卷積層和全局平均池化層降維后輸入至Softmax層，最終得到分類識(shí)別結(jié)果.

圖4 學(xué)習(xí)風(fēng)格識(shí)別模型架構(gòu)Fig.4 Learning style recognition model framework

3.3 模型訓(xùn)練

本文模型的構(gòu)建是在Pytorch 框架下通過(guò)Python編程實(shí)現(xiàn).模型的訓(xùn)練在配備Intel(R)Core(TM)i5-9300H CPU @2.40 GHz處理器，32GB內(nèi)存，NVIDIA GeForce RTX 2080Ti顯卡的環(huán)境上進(jìn)行，使用的操作系統(tǒng)是64位Windows10系統(tǒng).

3.3.1 參數(shù)設(shè)置

參數(shù)設(shè)置對(duì)CNN模型的識(shí)別效果影響很大，下面對(duì)本文的模型參數(shù)進(jìn)行詳細(xì)闡述：

1)學(xué)習(xí)率(Learning Rate).學(xué)習(xí)率的大小影響模型的收斂速度.本文選擇用學(xué)習(xí)率衰減(Learning Rate Decay)方法，其基本思想是讓學(xué)習(xí)率隨著訓(xùn)練的進(jìn)行逐漸衰減.具體算法如下：

(2)

其中，σ為衰減率，即每次衰減的幅度；n為訓(xùn)練代數(shù)；α0為初始學(xué)習(xí)率.本文將α0初始化為0.1，σ設(shè)置為0.2.

2)損失函數(shù)(Loss Function).損失函數(shù)的主要功能是用來(lái)度量模型識(shí)別結(jié)果的好壞.本文所用的交叉熵(Cross Entropy)損失函數(shù)是分類任務(wù)常用的損失函數(shù)，其公式定義如下：

(3)

其中，yi是類別i的真實(shí)標(biāo)簽；pi是由softmax計(jì)算出的類別i的概率值；k是類別數(shù)，N是樣本總數(shù).

3)優(yōu)化器(Optimizer).優(yōu)化器的本質(zhì)作用就是最小化損失.本文選用Adam優(yōu)化器，其參數(shù)的更新不受梯度的伸縮變換影響，公式如下：

mt=β1mt-1+(1-β1)gt

(4)

(5)

其中，gt為t時(shí)間步的梯度；β1和β2為指數(shù)衰減率；mt表示梯度第一動(dòng)量的估計(jì)值；vt表示梯度第二動(dòng)量的估計(jì)值，更新公式如下：

(6)

其中，η為學(xué)習(xí)率；為常數(shù)；θt為初始參數(shù).本文初始化β1為0.9，β2為0.999，為10e-8.

3.3.2 訓(xùn)練過(guò)程

在模型訓(xùn)練前，對(duì)8358個(gè)訓(xùn)練數(shù)據(jù)隨機(jī)采樣80%作為訓(xùn)練集，剩余20%作為測(cè)試集.訓(xùn)練過(guò)程中，設(shè)置模型訓(xùn)練迭代次數(shù)為100epoch，并使用Early Stopping對(duì)模型進(jìn)行優(yōu)化，圖5為模型損失隨迭代次數(shù)的變化圖.由結(jié)果可知，模型在訓(xùn)練epoch為60時(shí)損失開(kāi)始趨于平緩而不再下降.此時(shí)停止訓(xùn)練，將停止之后的權(quán)重作為模型的最終參數(shù).

圖5 模型損失隨迭代次數(shù)的變化圖Fig.5 Graph of loss changed with training epochs

4 結(jié)果及分析

4.1 模型識(shí)別效果分析

實(shí)驗(yàn)通過(guò)準(zhǔn)確率(Accuracy)、精確率(Precision)、召回率(Recall)和F1-Measure這4個(gè)評(píng)價(jià)指標(biāo)對(duì)模型分類性能進(jìn)行評(píng)估.圖6為本文模型在A-F這6個(gè)題組上的分類結(jié)果.圖6(a)為模型的分類準(zhǔn)確率，最高準(zhǔn)確率達(dá)到77.3%，平均準(zhǔn)確率為71.2%，整體識(shí)別效果理想；圖6(b)為分類精確率，平均值為69.2%；圖6(c)為模型的召回率，平均值為67.6%，可以滿足實(shí)際應(yīng)用需求；圖6(d)為模型的F1度量，平均值為69.2%，表明模型性能較為平衡.上述實(shí)驗(yàn)結(jié)果顯示，模型在所有數(shù)據(jù)上均表現(xiàn)出良好的效果，在4個(gè)評(píng)價(jià)指標(biāo)上均能達(dá)到70%左右的百分比.

圖6 模型在各題組上的分類評(píng)估結(jié)果Fig.6 Classification performance on each question group

4.2 多尺度卷積有效性分析

為了驗(yàn)證加入多尺度特征的有效性，以及模型深度對(duì)腦電識(shí)別率的影響.實(shí)驗(yàn)設(shè)計(jì)了3種模型結(jié)構(gòu)進(jìn)行對(duì)比，分別為：1)模型1.即本文提出的3層多尺度卷積神經(jīng)網(wǎng)絡(luò)模型；2)模型2.是去掉多尺度特征提取后，只使用3×3卷積核的普通卷積神經(jīng)網(wǎng)絡(luò)模型；3)模型3.是將本文模型增加至5個(gè)模塊的多尺度卷積神經(jīng)網(wǎng)絡(luò)模型.

圖7呈現(xiàn)了3種模型結(jié)構(gòu)在訓(xùn)練過(guò)程中準(zhǔn)確率的變化曲線.模型2與模型1、3比較可知，未添加多尺度特征的模型2在訓(xùn)練過(guò)程中準(zhǔn)確率始終低于其他模型.由模型3與模型1對(duì)比可知，模型3擁有更快的收斂速度，在訓(xùn)練50代時(shí)達(dá)到68.3%的準(zhǔn)確率，但整體準(zhǔn)確率低于模型1.本文提出的模型1在訓(xùn)練60代時(shí)達(dá)到71.2%的最優(yōu)準(zhǔn)確率.實(shí)驗(yàn)結(jié)果表明，添加多尺度卷積可以有效提升模型的特征表達(dá)能力，提高識(shí)別準(zhǔn)確率；模型深度的增加可以加快訓(xùn)練過(guò)程，但太深會(huì)出現(xiàn)過(guò)擬合，導(dǎo)致分類精度下降.綜上所述，本文模型能夠在較快的訓(xùn)練速度下達(dá)到最優(yōu)的識(shí)別效果，相比未添加多尺度特征的模型提升了9.8%的準(zhǔn)確率.

圖7 3種模型結(jié)構(gòu)訓(xùn)練準(zhǔn)確率變化Fig.7 Variation of the training accuracy of three models

4.3 一維卷積有效性分析

為了說(shuō)明一維卷積在減少訓(xùn)練參數(shù)量方面的優(yōu)勢(shì)，本文設(shè)計(jì)了如下對(duì)比實(shí)驗(yàn)：在同樣的模型結(jié)構(gòu)下，采用二維卷積來(lái)代替本文的一維卷積，從而建立對(duì)比模型2-D CNN.表3展示了本文模型與2-D CNN在訓(xùn)練參數(shù)量方面的對(duì)比，結(jié)果表明通過(guò)使用一維卷積，模型訓(xùn)練所需的參數(shù)量從99810個(gè)減少至57960個(gè)，在實(shí)現(xiàn)多尺度特征提取的同時(shí)，使訓(xùn)練參數(shù)量減少41%，達(dá)到簡(jiǎn)化模型、加快訓(xùn)練速度的目的.表3中對(duì)卷積模型訓(xùn)練參數(shù)量的計(jì)算規(guī)則如下：

表3 一維卷積和二維卷積模型訓(xùn)練參數(shù)對(duì)比Table 3 Training parameters of 1-D CNN and 2-D CNN

Pi=hiwici-1ki

(7)

其中，Pi為卷積層i所包含的訓(xùn)練參數(shù)；hi為卷積核的長(zhǎng)；wi為卷積核的寬；ci-1為上一層卷積核的個(gè)數(shù)；ki為卷積核的個(gè)數(shù).

4.4 模型對(duì)比

為了體現(xiàn)所提出的模型相比傳統(tǒng)機(jī)器學(xué)習(xí)方法的優(yōu)越性，本文采用4種常用機(jī)器學(xué)習(xí)模型(SVM、LDA、KNN 和BP神經(jīng)網(wǎng)絡(luò))的識(shí)別結(jié)果與本文模型1-D CNN進(jìn)行對(duì)比.

表4所示為不同模型的實(shí)驗(yàn)結(jié)果，可以看出相比于傳統(tǒng)腦電識(shí)別算法，本文提出的模型在4個(gè)評(píng)價(jià)指標(biāo)上都有較大優(yōu)勢(shì)，分別提高了9.8%、14.1%、18.9%和5.6%的準(zhǔn)確率，該結(jié)果證明了一維多尺度時(shí)空卷積在腦電信號(hào)分類上的有效性，可以有效解決傳統(tǒng)方法依靠人工特征提取和降維的問(wèn)題，實(shí)現(xiàn)對(duì)腦電特征的自動(dòng)提取和識(shí)別.

表4 不同模型的分類性能對(duì)比Table 4 Comparison of the performance of different models

表5展示了各模型訓(xùn)練和預(yù)測(cè)時(shí)間的對(duì)比.從表中可以看出在訓(xùn)練時(shí)間上，BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間最長(zhǎng)，而本文模型的訓(xùn)練時(shí)間接近于SVM，相比于BP神經(jīng)網(wǎng)絡(luò)減少了28.4%的訓(xùn)練時(shí)間，對(duì)比結(jié)果表明本文模型通過(guò)用GAP代替全連接層，可以有效減少模型的訓(xùn)練時(shí)間；在預(yù)測(cè)時(shí)間上，KNN獲得最優(yōu)的預(yù)測(cè)用時(shí)，而本文模型預(yù)測(cè)用時(shí)相比SVM降低了15.9%，擁有更快的預(yù)測(cè)速度.綜上所述，本文提出的模型在準(zhǔn)確率和訓(xùn)練時(shí)間上都有良好的表現(xiàn)，相比于傳統(tǒng)機(jī)器學(xué)習(xí)方法，能夠有效改善腦電信號(hào)分類性能，簡(jiǎn)化了腦電識(shí)別流程，為腦電信號(hào)分類提供新的思路.

表5 不同模型的訓(xùn)練和預(yù)測(cè)時(shí)間對(duì)比Table 5 Comparison of training and prediction time

5 結(jié)束語(yǔ)

本文介紹了基于Felder-Silverman學(xué)習(xí)風(fēng)格模型理論基礎(chǔ)下，利用瑞文推理測(cè)試作為實(shí)驗(yàn)刺激，激發(fā)并采集被試在學(xué)習(xí)風(fēng)格處理維度的有效腦電信號(hào)，進(jìn)而構(gòu)建出融合多尺度腦電特征的學(xué)習(xí)風(fēng)格識(shí)別方法，該方法彌補(bǔ)了現(xiàn)有學(xué)習(xí)風(fēng)格識(shí)別方法的弊端，對(duì)于使用生理信號(hào)實(shí)現(xiàn)學(xué)習(xí)風(fēng)格的識(shí)別有著重要的開(kāi)創(chuàng)性意義.

此外，本文提出了一種改進(jìn)的一維多尺度時(shí)空卷積神經(jīng)網(wǎng)絡(luò)模型.該模型首先通過(guò)一維卷積代替?zhèn)鹘y(tǒng)二維卷積，充分提取腦電時(shí)域和空間特征，使模型的訓(xùn)練參數(shù)減少41%.然后，模型通過(guò)構(gòu)建多尺度卷積結(jié)構(gòu)，彌補(bǔ)單尺度卷積存在特征匱乏的局限，并提高了9.8%的準(zhǔn)確率.最后，通過(guò)全局平均池化實(shí)現(xiàn)對(duì)模型的簡(jiǎn)化，有效降低模型訓(xùn)練時(shí)間.實(shí)驗(yàn)結(jié)果表明，本文模型的平均分類準(zhǔn)確率可達(dá) 71.2%，其精確率、召回率和F1度量分別為69.2%、67.6%和69.2%，本文提出的模型在分類準(zhǔn)確率上相較于傳統(tǒng)機(jī)器學(xué)習(xí)方法平均提高了12.1%，實(shí)驗(yàn)驗(yàn)證了該模型的合理性、有效性，對(duì)基于生理信號(hào)實(shí)現(xiàn)學(xué)習(xí)風(fēng)格的識(shí)別有著重要的開(kāi)創(chuàng)性意義，值得繼續(xù)深入研究.