VR教學中學習者多模情感計算研究

摘 要：【目的】識別VR教學中學習者的學習情感，提升學習者學習效率、學習感知和思維能力，促進VR技術在教學中的高效應用。【方法】結合課堂教學特點，通過收集面部表情、語音、肢體動作等數據，實現多模數據融合的情感計算，確定最優情感計算模型。【結果】在多模數據融合模型中，賦予各種情感不同權重的模型整體輸出的識別率要高于賦予各種模態不同權重的模型整體輸出的識別率。【結論】多模數據融合的學習情感識別模型能有效計算出VR教學中學習者情感，為多模數據融合的情感計算提供有效的基礎模型，研究基于多模數據融合情感計算技術，為VR教學中的情感計算提供可靠的技術路徑。

關鍵詞：情感計算；VR教學；多模數據；學習情感

中圖分類號：TP391.41" " " " " " " " "文獻標志碼：A" " " " " " " " 文章編號：1003-5168（2023）12-0035-08

DOI：10.19968/j.cnki.hnkj.1003-5168.2023.12.007

Research on Multimodal Affective Computing of Learners in

Education VR

BAI Zhanjun1 SI Junyong1 FU Yonghua1，2

（1.Zhengzhou University of Aeronautical， Zhengzhou 450015， China; 2.Collaborative Innovation Center for Aviation Economy Development， Hennan Province， Zhengzhou 450015， China）

Abstract： [Purposes] To identify the learning emotion of learners in VR teaching， improve their learning efficiency， learning perception and thinking ability， and promote the efficient application of VR technology in teaching. [Methods]" Combined with the characteristics of classroom teaching， the data of facial expression， voice and body movement were collected to realize the multi-module data fusion of emotion calculation and determine the optimal emotion calculation model. [Findings]" The multi-module data fusion learning emotion recognition model can effectively calculate the learner's emotion in VR teaching， and provides an effective model basis for the multi-module data fusion emotion calculation. The research on the emotion calculation technology based on the multi-module data fusion provides a reliable technical path for the learning emotion calculation in VR teaching. [Conclusions]" In the multi-module data fusion model， the recognition rate of different weights assigned to different emotions in the overall output of the model was higher than that assigned to different weights.

Keywords： affective computing; education VR; multi-mode data fusion; learning emotion

0 引言

隨著人工智能、5G、VR等技術的快速發展，其對多個領域的發展都產生巨大影響，也能助力高校教學的現代化轉型。目前，教學VR已有法務實戰演練［1］、醫技情景模擬［2］、大學體育訓練教學［3］、航空航天技術教學［4］等應用案例。VR技術作為新媒體技術，具有沉浸性、交互性、自主性、想象性等特點，將其應用于實際課堂教學中，為高校教育教學理念帶來新的啟發，從而有效提高教學的時代感和實踐性，擴大教學效果和深度。同時，VR技術能將教學中的復雜概念可視化，使學習過程具有互聯網思維，提高教學對學習者的吸引力，使學習者沉浸式的課堂學習體驗更佳。但VR教學無法對學習者的過程情感進行分析預測和精準干預，導致學習者的情感無法得到準確回應，難以提升其學習效率、學習感知和思維能力。運用情感計算技術來對VR教學過程中的學習者進行情感識別和分析具有重要的理論價值和實踐意義。

現階段，情感計算技術包括基于單模的面部表情、語音、腦電信號等數據進行計算和基于重量級生理反饋兩類，但這兩類情感計算技術在VR教學場景中的適用性較低。首先，單模的面部表情、語音、腦電信號等數據的可解釋性較弱，難以實現多模數據的交叉印證和相互補償，可能會對情感識別的準確性產生影響。其次，基于重量級生理反饋技術的成本高、試驗場地復雜，無法在實際的課堂教學環境中大規模、常態化應用［5］。通過對已有的情感計算技術研究進行梳理，本研究提出基于多模數據融合的情感計算技術，以期滿足常態化VR教學中學習者情感計算的應用場景。

1 研究現狀

1.1 VR教學

VR技術融入教學的發展勢頭良好。李玲玲等［6］認為VR技術能突破傳統課堂教學的時間、地域等限制，為教學理念創新和實踐提供新機遇；梁軍等［7］認為應用VR技術能拓展教學實踐空間、構建積極的課堂氛圍，并完善社會主義核心價值觀建設體系。

VR技術結合課堂教學的基礎理論研究不斷涌現。陳夢翔等［8］提出VR技術在高校教育中的應用理論基礎是情景認知理論、人本主義理論和建構主義學習理論；鄧卉［9］基于具身認知理論，提出學習者具身體驗能激發對心理情感的認知，認為VR教學是基于具身認知理論、認知學習理論和建構主義學習理論的。

VR技術結合教學的模式眾多。甘琴等［10］從子模塊設置、系統功能模塊和用戶角色功能關系這三方面出發，構建基于VRML的高校課堂虛擬實踐系統，并將所有角色劃分為管理員、教師和學生；余圖軍等［11］提出虛擬仿真教學和探究性教學的兩種結合模式，并將VR技術應用于對教學的對策研究中；張毅翔等［12］認為應注重頂層設計、凝練團隊，結合教學課程重點、要點來開發具體內容，實現VR課程建設；徐禮平等［13］認為應結合VR教學和傳統教學，加強VR形式和教學內容的結合，提高教師媒介素養，教師引導學生進行自學。

VR技術在教學層面的實踐研究逐漸深入。金偉等［14］借助VR技術來實現在武漢辛亥革命紀念館課堂中的教學；趙亮等［15］在北京理工大學“重走長征路”實踐案例的基礎上，提出大力普及VR技術，并將其深度應用于校園學習和生活中，從而優化VR技術的沉浸體驗感。

1.2 教育中的情感計算

目前，情感計算并未形成權威的概念。情感計算屬學科交叉領域，涉及社會科學、醫學、計算機科學等領域，通過計算機來識別、解釋、判斷、分析、處理和模擬人類情感［16］。Picard［17］是最早提及情感計算概念的，其將情感計算定義為由情感所產生、與情感相連結、能對情感造成影響的計算。情感計算與情感、情感產生及影響情感緊密相關，從而使計算機能識別、理解、表達和適應人的情感［18］。

情感計算在教育中的應用范圍逐漸擴大。情感計算在教育中的實踐應用通常從心理、生理和行為這三個方面進行測量，識別學習者的情感并進行判斷［19］。心理測量是通過情感測評量表和調查問卷來對學習者的情感進行識別的。如賴長春等［20］借助情感測評量表來實現課程學習情感測量。生理測量是通過觀測學習者的生理信號（如心率、腦電、體溫等），從而實現對情感的判斷［21］。也有學者基于深度學習算法來識別、分析所采集到的被測試者的心電和脈搏數據，從而判斷學習者的正負性情緒［22］。行為測量是通過外在行為動作（如面部表情、肢體動作等）來對學習情感進行識別的。徐振國等［23］通過卷積神經網絡深度學習模型，基于學習者面部表情數據，實現對開心、憤怒、悲傷等情感的識別；Li等［24］通過深度學習網絡，實現基于學習者面部表情和所處環境信息的情感識別。通過多模式傳感器對學習者身體姿態進行測量，并分析其與情感的關聯狀態［25］。綜上所述，情感計算可通過心理、生理和行為這三個方面來實現。其中，輕量級的情感識別技術能更好地實現情感計算。

1.3 多模數據計算

現階段，基于單模數據的學習情感分析識別的準確率明顯要低于基于多模數據融合的學習情感分析識別的準確率，多模數據融合已成為實現情感計算切實可行的方法。數據融合是指將多種數據進行存儲、整合、處理，基于全面的綜合數據才能實現決策準確性的提升。情感計算中多模數據的研究主要包括以下兩個方面。一是多模數據融合的方法。如蔣艷雙等［26］提出的四種數據融合法，包括基于規則的融合法、基于分類的融合法、基于估計的融合法和基于深度學習的融合法。二是多模數據的類型。在線數據分析領域包括個人共享數據、服務數據和行為數據等［27］，學習分析領域包括心理層、生理層和行為層三大類數據［28］。

隨著數據規模和數據類型呈指數增長，能適用于情感計算的數據也隨之增多，基于多模數據融合的學習情感分析研究也取得較為顯著的成效。處于同一層級的多模數據融合包括以下兩個方面。一是多模生理數據融合。如Abdu等［29］通過采集腦電數據和心電數據，采取基于多模數據融合與深度學習法來分析和識別被測試者的情感。二是多模行為數據融合。如Sun等［30］通過收集面部表情和肢體動作數據來獲得較單獨面部表情分析更優的識別結果。處于不同層級的多模數據融合也涵蓋三個方面。第一，生理數據與行為數據的融合。通過融合腦電圖數據和表情數據來進行情感識別，研究發現該方法的識別準確率要高于單模數據［31］。第二，心理數據與行為數據的融合。如薛耀鋒等［32］通過將面部表情、文本和語音數據融合來識別學習者的學習情感。第三，生理數據、心理數據和行為數據的融合。如周萍［33］通過融合腦電數據、面部表情數據和文本數據來判斷學習者的學習參與度。綜上所述，融合心理、生理、行為的多模學習數據能實現對學習者的情感計算，且基于深度學習的多模數據融合能提高情感判斷的準確率。

2 VR教學中學習者多模數據獲取

2.1 試驗組織

本研究被測試的對象為55名大學生，其中25名男生、30名女生，年齡范圍為18～27歲。

涉及的試驗設備有攝像頭（采用具有自動對焦功能的高清攝像頭）、VR一體機（包括VR眼鏡與手柄，為被測試者提供課程沉浸式體驗）、頭戴式麥克風話筒（具有高靈敏拾音麥頭、強抗干擾功能）、實際教學資源（在線檢索大學語文作為教學資源，向被測試者提供四段5 min左右時長的視頻）、ELAN標注工具（被試通過標注工具對自己的過程情感進行標記）、情感標注工具。使用由PyQt5自主開發的情感標注軟件，其具有數據導入、數據信息、數據刪除、標簽類型功能。

2.2 多模數據選取

在VR教學場景中，情感數據的收集方式因應用場地的限制而有所不同。結合實際VR教學中常用的設備，學習者在佩戴VR設備時因遮擋而導致無法完整采集到面部表情信息。同時，學習者在學習過程中會隨著課程內容而做出外在肢體動作，生理信號監測設備可能會限制學習者行為，從而影響情感識別結果。因此，選取面部表情、語音和肢體動作這三種外在行為作為數據源，實現多模數據交叉印證和相互補償，從而確保學習情感識別的準確率。

2.3 多模數據收集

2.3.1 數據采集與擇選。首先，采集數據。學習者在觀看VR教學視頻時，可借助攝像頭、頭戴式麥克風話筒分別對其面部表情、肢體動作和語音數據進行采集，對被測試者自評進行情感標記，并保存數據。由于頭戴式VR設備的遮擋，故對學習者下半部臉的表情數據進行分析。其次，篩選數據。采集到的數據中必然存在不合格圖像和語音數據，如圖像數據不完整、面部遮擋過多、圖像不清晰或語音聲音過小、雜音等，通過機器篩選、人工復查等來刪除不合格數據。

2.3.2 數據標注。數據標注包括被測試者自行標記和研究人員標記。被測試者借助ELAN標注工具事先標記自己學習過程中不同時間面部表情、語音、肢體動作情感狀態。試驗過程中，參考的面部表情運動特征見表1［34］，語音參考CVE數據庫［35］、肢體動作參考Weizmann行為數據庫［36］，結合被測試者自行標記的結果，利用情感標注工具對數據信息進行標注。

2.3.3 情感劃分與選定。將常態、疑惑、開心、厭倦四種情感狀態記為VR教學過程中可能出現的學習情感，如此劃分的原因有以下三個方面。第一，本研究將情感計算應用于VR教學學習場景中，師生間的交互方式單一，學習者情感類型較少，波動較小［37］；第二，通過對采集到的數據分析后發現，被測試者在VR教學實踐中常表現出常態、疑惑、開心、厭倦這四種狀態，其他情感很少出現；第三，Poria［38］通過研究發現，在學習過程中，學習者經常出現的情感為沮喪、厭倦、疑惑等。因此，本研究將情感劃分為常態、疑惑、開心、厭倦四種，在此基礎之上進行情感標注和分析。

2.3.4 數據集劃分。共收集到面部表情數據4 879張、語音數據4 634條、肢體動作數據4 954張。三個數據集均按60%、20%、20%比例劃分為訓練集、驗證集和測試集，得到面部表情數據的訓練集2 927張、驗證集976張、測試集976張；語音數據的訓練集2 780條、驗證集927條、測試集927條；肢體動作數據的訓練集2 972張、驗證集991張、測試集991張。

3 基于多模數據的情感計算

3.1 多模數據融合模型總體架構

多模數據融合的情感計算模型分為數據采集、情感識別和數據融合三部分，如圖1所示。其中，數據采集主要通過第三方輸入設備（攝像頭、頭戴式麥克風話筒）來收集學習者外在行為數據；情感識別通過Mel-spectrogram和卷積神經網絡來構建三種數據源學習情感計算模型；數據融合借助決策融合策略的多模數據融合，對各數據源進行權重賦值，將基于三種數據源的數據識別結果進行融合，從而獲得情感計算結果。

3.2 基于深度學習的多模數據識別模型選擇

3.2.1 圖像數據。本研究基于卷積神經網絡模型來提取面部表情和肢體動作特征。卷積神經網絡模型常用于文本分詞、圖像數據提取與預測，能對海量的圖像數據進行處理。本研究選取VGG-16卷積神經網絡模型對圖像數據進行情感計算。

3.2.2 語音數據。在語音情緒識別領域中，語音的梅爾頻譜（Mel-spectrogram）表現良好［39］。因此，本研究采用Mel-spectrogram特征來識別語音情感。Mel-spectrogram能把語音頻率轉變成梅爾尺度的頻譜圖，其轉換過程如下：通過短時傅里葉變換（short-term Fourier transform，STFT）對原始語音數據中的時頻特征進行提取，獲取時頻特征后，利用Mel濾波器組得到Mel-spectrogram。在轉換過程中涉及Mel頻率的轉換，設原始頻率為f，經轉換后的Mel頻率為fMel，轉換關系見式（1）。

3.3 多模數據融合方法

在多模數據融合過程中，情感計算結果是由所采用的融合方法來決定的。本研究通過賦予三種數據不同權重來進行情感計算。在賦權重前，考慮到不同數據模型有所差異，對情感計算結果會產生不同影響，不同數據模型對不同情感識別也不相同。因此，本研究將權重賦值融合分為多模數據融合模型整體輸出賦予各種模態不同權重、多模數據融合模型整體輸出中賦予各種情感不同權重。

本研究用pface={p0face、p1face、p2face、p3face}來表示面部表情數據的輸出結果、pvoice={p0voice、p1voice、p2voice、p3voice}來表示語音數據的輸出結果、pbody={p0body、p1body、p2body、p3body}來表示肢體動作數據的輸出結果，xm、xn、xz為賦予面部表情、語音和肢體動作的權重。多模數據融合模型整體輸出賦予各種模態不同權重的計算見式（2）。

多模數據融合模型整體輸出中賦予各種情感不同權重的計算見式（3）。

式中：p為融合模型最終的識別率；piface、pjvoice" " ptbody分別為面部表情數據模型、語音數據模型和肢體動作數據模型的四種情感輸出結果；p0face、p0voice" p0body為常態情感；p1face、p1voice" p1body為疑惑情感；p2face、p2voice" p2body為開心情感；p3face、p3voice" p3body為厭倦情感。

4 結果與分析

4.1 多模數據融合模型結果

通過對面部表情、語音、肢體動作賦予不同權重，得到多模數據融合模型的結果。其中，多模數據融合模型整體輸出賦予不同權重的結果見表2，識別率最高的5組權重賦值見表3。

由表3可知，當xm=0.3、xn=0.4、xz=0.3時，識別準確率最高，為77.67%。根據權重賦值情況可知，當xm、xn、xz所賦權重值接近時，識別準確率較高。

4.2 實證分析

4.2.1 多模數據融合情感識別準確率分析。兩種模型在測試集中的識別率情況見表4，研究發現，多模數據融合模型整體輸出中賦予各種情感不同權重的識別準確率為78.89%，要高于多模數據融合模型整體輸出賦予各種模態不同權重的準確率（77.67%）。

4.2.2 最優模型情感識別結果分析。情感識別最優模型是指多模數據融合模型整體輸出中賦予各種情感不同權重，該模型的情感識別情況見表5。開心情感識別的準確率最高，為80.21%；其次是厭倦、疑惑、常態，分別為78.32%、78.21%、77.25%。

由此可知，在多模數據融合模型中，模型整體輸出中賦予各種情感不同權重的識別率要高于模型整體輸出賦予各種模態不同權重的識別率。多模數據融合模型對開心情感的識別準確率是最高的，其次是厭倦、疑惑、常態。

5 情感計算驅動前瞻的VR教學

VR教學中的情感計算從試驗方案走向大規模應用落地還有許多問題要攻克。本研究從情感計算數據源、VR教學課程內容自適應調整、VR教學安全預案這三方面進行論述，如圖2所示，以期在將來的研究中能實現改進。

結合實際應用場景來變更VR教學中用于情感計算的數據。隨著情感教學中的場景不斷增多，僅聚焦于外在行為動作的數據集分析已無法滿足VR教學領域眾多的應用場景，要結合實際情況來選取心理、生理、行為等方面的數據源對學習者情感進行識別與計算。如通過VR眼鏡感知學習者臉部肌肉的動態變化來獲取更為精準的面部表情數據、VR手柄受擠壓力度來判斷學習者的握力大小、可穿戴式脈搏測量手環來記錄學習者的脈搏數據等。數據集越大，情感識別的結果越準確，但會造成實際應用成本過高、計算量過大，無法大規模常態化應用等問題。盡管本研究未提及用心理或生理數據來分析學習者的情感，但在未來的研究工作中將從不同數據源融合的角度出發，來研究VR教學中學習者情感狀態。

根據情感識別結果自適應調整VR教學內容。VR技術應用于教學的目的是創新文化教育途徑，實現實踐與教學內容相適配，達到最優化教學效果和教學目標。在未來VR教學的大規模普及應用中，識別學習者情感將為個性化學習內容推送、課堂內容動態化調整等提供服務。根據實時情感識別結果為學習者推送合適的個性化學習內容，如當前學習者處于疑惑狀態時，系統可為學習者提供與當前學習內容相關的解釋性學習資源，幫助學習者解決問題；當學習者處于厭倦狀態時，系統能切換學習內容，從而滿足學習者個人學習預期，達到更佳效果。

參考文獻：

［1］張敏婧.高校思政教育VR（虛擬現實）應用研究：以《重溫入黨誓詞》VR系統為例［D］.南昌：江西財經大學，2021.

［2］萬珍妮.VR技術在高職思政理論課教學改革中的實效性分析：以《井岡山會師VR項目》為例［J］.國際公關，2019（9）：50-51.

［3］丁煒，姚雪存.基于四明山VR紅色教育平臺的思政課程研究［J］.現代信息科技，2020（10）：196-198.

［4］陳夢翔，徐策.基于VR技術的沉浸式紅色教育基地的實踐路徑探究［J］.創新創業理論研究與實踐，2021（18）：148-151.

［5］翟雪松，束永紅，楚肖燕，等.輕量級生理反饋技術的教育應用及測量：基于2015—2020年的文獻綜述［J］.開放教育研究，2020（6）：37-46.

［6］李玲玲，李歡歡.數智時代VR賦能高校思政課創新研究［J］.南京開放大學學報，2022（3）：9-14.

［7］梁軍，馬明飛.虛擬仿真技術在思想政治理論課中的應用探索［J］.大理大學學報，2018（11）：93-97.

［8］陳夢翔，徐策.基于VR技術的沉浸式紅色教育基地的實踐路徑探究［J］.創新創業理論研究與實踐，2021（18）：148-151.

［9］鄧卉.基于跨界融合理念的課程思政路徑研究：以VR場景制作課程為例［J］.教師，2021（20）：87-88.

［10］甘琴，董金權.基于VRML的高校思想政治理論課虛擬實踐教學的實現［J］.凱里學院學報，2011（2）：19-22.

［11］余圖軍，孫萌，姜曉武.新時代虛擬現實技術助推思政理論課教改探究［J］.智庫時代，2019（29）：52-53.

［12］張毅翔，李林英.思想政治理論課虛擬仿真實踐教學的內涵及其建設［J］.學校黨建與思想教育，2016（11）：59-61，77.

［13］徐禮平，李林英.思想政治理論課虛擬現實技術教學：意義、局限與對策［J］.思想教育研究，2017（9）：62-65.

［14］金偉，韓美群.“紅色”虛擬實踐教學在思想政治理論課中的運用［J］.思想理論教育導刊，2013（6）：77-80.

［15］趙亮，杜玥，李赫亞.虛擬現實技術在思想政治理論課中的創新應用［J］.學校黨建與思想教育，2018（12）：34-35，38.

［16］付心儀，薛程，李希，等.基于姿態的情感計算綜述［J］.計算機輔助設計與圖形學學報，2020（7）：1052-1061.

［17］PICARD R W.Affective computing： challenges［J］.International Journal of Human-Computer Studies，2003（1/2）：55-64.

［18］蔣艷雙，崔璨，劉嘉豪，等.教育領域中的情感計算技術：應用隱憂、生成機制與實踐規約［J］.中國電化教育，2022（5）：91-98.

［19］姚鴻勛，鄧偉洪，劉洪海，等.情感計算與理解研究發展概述［J］.中國圖象圖形學報，2022（6）：2008-2035.

［20］賴長春，陳麗霞.小學數學學業不良學生學習情感現狀調查與教育策略：基于9 887名小學五年級學生數學學業質量監測數據的比較分析［J］.教育科學論壇，2021（22）：21-24.

［21］王麗英，何云帆，田俊華.在線學習行為多模態數據融合模型構建及實證［J］.中國遠程教育，2020（6）：22-30，51，76.

［22］胡新榮，陳志恒，劉軍平，等.基于多模態表示學習的情感分析框架［J］.計算機科學，2022（S2）：631-636.

［23］徐振國，張冠文，孟祥增，等.基于深度學習的學習者情感識別與應用［J］.電化教育研究，2019（2）：87-94.

［24］LI Q C，GKOUMAS D，LIOMA C，et al.Quantum-inspired multimodal fusion for video sentiment analysis［J］.Information Fusion， 2021，65：58-71.

［25］DRAGON T，ARROYO I，WOOLF B P，et al.Viewing student affect and learning through classroom observation and physical sensors［C］//9thInternational Conference on Intelligent Tutoring Systems，2008： 29-39.

［26］蔣艷雙，崔璨，逯行，等.雙師課堂中的多模態學習情感分析：關鍵問題、邏輯理路與實施路線［J］.現代教育技術，2022（4）：13-20.

［27］尹詩白，王一斌.多模態情感計算在社區居家養老心理服務中的應用［J］.信息系統工程，2022（2）：49-52.

［28］吳永和，李若晨，王浩楠.學習分析研究的現狀與未來發展：2017年學習分析與知識國際會議評析［J］.開放教育研究，2017（5）：42-56.

［29］ABDU S A，YOUSEF A H，SALEM A.Multimodal video sentiment analysis using deep learning approaches，a survey［J］.Information Fusion，2021，76：204-226.

［30］SUN Z K，SARMA P，SETHARES W，et al.Learning relationships between text，audio，andvideovia deep canonical correlation for multimodal language analysis［J］.Proceedings of the AAAI Conference on Artificial Intelligence，2020（5）：8992-8999.

［31］李文瀟，梅紅巖，李雨恬.基于深度學習的多模態情感分析研究綜述［J］.遼寧工業大學學報（自然科學版），2022（5）：293-298.

［32］薛耀鋒，楊金朋，郭威，等.面向在線學習的多模態情感計算研究［J］.中國電化教育，2018（2）：46-50，83.

［33］周萍.基于多模態深度學習的音樂情感分類算法［J］.智能計算機與應用，2022（9）：110-114.

［34］程萌萌，林茂松，王中飛.應用表情識別與視線跟蹤的智能教學系統研究［J］.中國遠程教育，2013（3）：59-64.

［35］LIU P， PELL M D.Recognizing vocal emotions in Mandarin Chinese： a validated database of Chinese vocal

emotional stimuli［J］.Behavior Research Methods，2012（4）：1042-1051.

［36］GORELICK L，BLANK M，SHECHTMAN E，et al.Actions as space-time shapes［J］.IEEE Trans Pattern Anal Mach Intell，2007（12）：2247-2253.

［37］余勝泉，王慧敏.如何在疫情等極端環境下更好地組織在線學習［J］.中國電化教育，2020（5）：6-14，33.

［38］PORIA S，MAJUMDER N，MIHALCEA R，et al.Emotion recognition in conversation： research challenges，datasets，and recent advances［J］.IEEE Access，2019，7：100943-100953.

［39］MUPPIDI A，RADFAR M.Speech emotion recognition using quaternion convolutional neural networks［C］//ICASSP 2021-2021 IEEE International Conference on Acoustics， Speech and Signal Processing（ICASSP）.IEEE，2021： 6309-6313.