基于教師言語的學習者聽覺情緒預測

摘要：在線教學是我國后疫情時代應對突發狀況、創新教學方式的重要手段，而大規模在線教學實踐過程中出現的學習者專注度不高、投入度不夠等普遍性問題影響了學習效果。受限于在線教學形式，教師言語成為師生的主要交互手段，且教師言語對學習者情緒有重要影響。基于此，文章首先對學習者聽覺情緒預測的理論基礎進行了介紹，包括學習者聽覺情緒波動誘因分析和聽覺情緒預測定位。隨后，文章結合上述理論基礎和相關技術算法，構建了基于教師言語的學習者聽覺情緒預測模型，并詳細闡述了模型的實現過程。最后，文章依托基于教師言語的學習者聽覺情緒預測模型，提出學習者聽覺情緒調節策略，以期為在線教學效果提升、教學路徑優化等相關研究提供理論與實踐參考。

關鍵詞：教師言語；聽覺情緒；情緒預測；在線學習

【中圖分類號】G40-057 【文獻標識碼】A 【論文編號】1009—8097（2023）03—0046—10 【DOI】10.3969/j.issn.1009-8097.2023.03.005

引言

受全球新冠疫情的影響，我國教育系統經歷了大規模的在線教學實踐。在大規模在線教學實踐實施的過程中，學習者的情緒問題受到廣泛關注。與傳統教學相比，在線教學中教師與學習者之間缺少互動，師生長時間的時空分離容易導致學習者情感缺失，甚至會讓學習者產生孤獨感或厭學情緒^[1]，而教師又無法通過直接觀察判斷學習者的情緒，因此從傳統的情緒識別研究轉為學習者情緒預測研究是解決在線學習者情感缺失問題的關鍵。教師通過情緒預測對學習者情緒進行及時干預，能夠規避不良情緒的產生，促進學習者在線學習目標的達成。

當前研究在理論層面多從心理學、教育學、社會學等角度探討教師行為對學習者情緒的影響；在技術算法層面多聚焦于情緒識別，關注情感數據特征的提取和技術的創新，而對學習者情緒預測的相關研究較少，將學習者情緒波動理論探析與情緒預測技術創新相融合的研究有待繼續深入。另外，教師言語行為是教師組織教學活動和學習過程中師生交互的重要行為之一，對學習者在線學習過程中的情緒狀態具有重要影響，而學習者聽覺通道是教學過程中接收信息的重要渠道。基于此，本研究立足學習者聽覺情緒，從理論層面全方位、多層次地解析教師言語特征，利用大數據、深度學習等技術，挖掘教師言語與學習者聽覺情緒之間的關系，并結合預測類的相關算法，對學習者聽覺情緒進行預測。

一 學習者聽覺情緒預測相關研究

1 聽覺情緒

當前學習者情緒感知的相關研究主要集中在學習者情感模型、基于人工智能技術的學習者情緒感知、學習者情緒感知的教育應用三方面，而關于教育情境要素對學習者情緒的作用機理還稍有欠缺^[2]。教師言語作為教師向學習者傳遞教學內容、組織教學活動的重要載體，是外界情境要素的表現性特征之一。與動作反饋、表情反饋相比，外界給予的言語反饋更容易激發學習者積極情緒的產生^[3]。在神經科學領域，當前聽覺情緒的相關研究主要通過實驗來探究聽覺與情緒之間的影響機制，如Wildgruber等^[4]通過實驗揭示了不同特征的人聲會通過知覺神經激活大腦中的不同區域，進而引發情緒波動，這證實了教師言語的不同聲學特征會對學習者的情緒產生不同影響。在教育教學領域，研究者從心理學、教育學、社會學等視角，探討了不同教師言語行為對學習者情緒產生的影響，可為教師言語的劃分提供依據。

2 情緒分類預測方法

教師言語特征對學習者情緒的影響是多方面、多類型的，這些特征在表征方法、特征維度等方面存在顯著差異，而通用的情緒分類預測方法僅能處理單一特征或同類型特征，目前尚無針對基于教師言語的學習者聽覺情緒預測的研究成果。可借鑒的通用情緒分類預測方法主要包括：①傳統機器學習方法，是通過帶有情緒標簽的數據集訓練一個情感分類器，再預測測試集中新樣本的情緒傾向，主要包括隱馬爾科夫方法^[5]、支持向量機方法^[6]、K近鄰方法^[7]、Adaboost方法^[8]、決策樹方法等^[9]。②深度學習方法，是通過模擬人腦對數據的處理邏輯，將數據中的模式建模為復雜的多層網絡。目前，常用的深度神經網絡框架有卷積神經網絡（Convolutional Neural Network，CNN）、循環神經網絡（Recurrent Neural Networks，RNN）、卷積循環神經網絡（Convolutional Recurrent Neural Network，CRNN）等。本研究采用通用情緒分類預測方法，融合教師言語的多種特征，開展基于教師言語的學習者聽覺情緒預測。

二 學習者聽覺情緒預測的理論基礎

1 學習者聽覺情緒波動誘因分析

（1）情緒波動產生的重要理論

實現學習者情緒預測，需要對學習者情緒誘發的機理進行探究，通過分析引起學習者情緒波動的原因，確定在線學習環境下學習者情緒預測關注的要點。當前，情緒波動產生的原因主要集中在情緒非認知理論和情緒認知理論兩個方面^[10]，具體如表1所示。

（2）情緒理論視角下的教師言語分類

學習者與教師之間的互動反饋，是教學活動的重要組成部分。在線學習的授課形式限制了教師的非言語行為，而更多地依賴于教師的言語行為。言語行為理論的創始人Austin認為，人們說話時的動作通常是為了實施某種行為或實現說話人的意圖^[11]，在線課堂中教師話語表達方式在語義屬性、聲學屬性上存在差異。從情緒非認知理論視角來看，教師言語的聲學特征能夠刺激學習者的聽覺器官，在生理層面激活學習者的情緒，是學習者聽覺情緒誘發的外部影響因素；而從情緒認知理論視角來看，教師言語的語義信息通過學習者的認知評估過程引發不同的情緒效價，成為學習者聽覺情緒誘發的內部影響因素。本研究關注在線學習過程中的“教師言語”這一要素，通過挖掘教師言語對學習者情緒的影響機制，實現學習者情緒預測。

2 學習者聽覺情緒預測定位

基于教師言語的學習者情緒預測需要關注學習者情緒發生的原理、教師言語的分類依據、相關技術與方法的使用、教學活動的本質與規律四個方面。從這四個方面出發，學習者情緒預測需要經過兩個層面的探究：①理論層面，基于教育學、心理學、腦科學、認知科學等諸多領域的相關研究成果，挖掘教師言語中能夠影響學習者情緒的內部、外部因素，探討教師言語中通過刺激學習者聽覺器官影響學習者情緒的聲學特征和經過學習者內部認知評估引發情緒的語義特征，進而從生理、認知雙重視角下深層次地挖掘學習者情緒發生的根本規律。②技術層面，大數據技術、深度學習算法的發展能夠有效實現對學習者情緒的精準預測。例如，可以利用在線教學平臺的數據采集技術，實現在線課堂中教師言語與學習者情緒的數據化處理；可以利用深度學習、情感計算等相關技術，進行教師言語特征與學習者情緒的細粒度分析與關聯度計算；可以基于學習者情緒預測的相關技術和算法，實現基于教師言語的學習者情緒分類預測。

三 基于教師言語的學習者聽覺情緒預測模型及其實現

1"模型構建

基于教師言語的學習者聽覺情緒預測是通過收集在線學習環境下教師的言語數據，對其進行預處理、訓練和特征融合，最終預測出學習者聽覺情緒的過程。根據此定義，結合學習者聽覺情緒預測的理論基礎和相關技術算法，本研究提出基于教師言語的學習者聽覺情緒預測模型（下文簡稱“預測模型”），如圖1所示。

（1）教師言語采集與預處理模塊

本模塊是預測模型的基礎模塊。通過對在線學習平臺進行實時監測，收集在線學習環境下教師講授的知識內容、組織的教學活動、回答學生問題等方面的言語數據，形成教師言語數據集，并對其進行端點檢測、預加重、分幀、加窗四個環節的預處理，再利用傅里葉變換計算得到教師語音信號頻譜圖，為后續教師言語特征分類提供數據支持。

（2）教師言語特征分類模塊

本模塊是預測模型的關鍵模塊。依據上一模塊預處理后得到的教師言語數據，針對教師語音數據，從音頻屬性、語言特點、教育教學要素與規律等角度進行分析與總結，將教師言語特征劃分為文本內容所體現的語義特征和語音信號頻譜所體現的聲學特征，共提煉出聽覺情緒相關的六類言語特征（即教學活動類型、認知過程分類、句型、響度、音調、音色）作為學習者聽覺情緒影響因素的一級指標。其中，語義特征包含內容語義和領域特征（包含教學活動類型、認知過程分類、句型），聲學特征包含響度、音調和音色。之后，在權力距離導向下，根據教師與學習者的不同情感距離對句型進行分類；在具身認知理論的指導下，依據語義信息的不同抽象程度對認知過程類型特征進行分類；在語境有效性模型的基礎上，按照師生交互的不同語境對教學活動進行分類；在響度、音調、音色通用分類方法的基礎上，提煉出26項二級指標，具體如表2所示。

（3）教師言語特征處理模塊

本模塊是預測模型的核心模塊。依據上一模塊生成的教師言語特征分類結果，采用多層感知機和注意力機制將教師言語的文本和語義特征融合為文本特征，同時采用卷積神經網絡將教師言語的信號頻譜和聲學特征融合為語音特征，并對教師言語的語義特征和聲學特征進行分析，生成文本特征向量和語音特征向量，用于下一模塊的學習者聽覺情緒預測。

（4）學習者聽覺情緒預測與結果呈現模塊

本模塊是預測模型的輸出模塊。依據前一模塊的教師言語特征處理結果，將文本特征向量與語音特征向量融合后輸入全連接層，預測學生對教師語音的聽覺反應和情緒變化，同時結合北京師范大學學習情緒數據庫的情緒分類法（包括專注、好奇、愉快、走神、厭煩、困惑、疲憊七種）^[12]，進行預測結果呈現，以用于后續學習者聽覺情緒干預、在線學習效果提升等研究。

2"模型實現

預測模型實現之前，需要先經過預測模型訓練過程，即從歷史在線課堂數據樣本集中提取教師言語特征和學習者情緒數據，構建基于教師言語特征的學習者聽覺情緒數據集，以lt;言語特征， 學習者情緒gt;對的形式標記存儲，并對該數據集進行訓練，挖掘聽覺情緒預測機制；之后，進入預測模型實現過程，即通過收集在線學習環境下的教師言語數據，將教師言語特征進行分類分析后，輸入聽覺情緒預測機制，實現對學習者聽覺情緒的預測，具體的實現流程如圖2所示。其中，基于深度學習的教師言語特征提取和基于教師言語的學習者聽覺情緒預測技術應用是預測模型實現的兩個關鍵環節。

（1）基于深度學習的教師言語特征提取

為研究教師言語對學習者情緒的影響機理，本研究首先對教師言語進行預處理（分為端點檢測、預加重、分幀、加窗四個環節），再從音頻屬性、語言特點、教育教學的要素與規律等角度對教師言語特征進行分析與深度提取，構建包含聲學特征和語義特征（由內容語義和領域特征組成）的教師言語特征模型；在此基礎上，根據教師語音信號頻譜圖獲取響度、音調、音色三類聲學特征；同時，對教師言語進行語義特征提取，得到內容語義和教學活動類型、認知過程分類、句型三類領域特征，從而完成教師言語特征的提取，如圖3所示。

①聲學特征提取。本研究采用高通數字濾波器，實現H（Z）=1-az^-1（其中a為預加重系數）；采用傅里葉變換和交疊分段的方法，實現語音幀的穩定和各幀間的平滑連續；同時采用Hamming窗，實現教師語音信號關鍵信息點的抓取，得到時序長度和MFCC寬度的信號頻譜圖。根據信號頻譜圖，可分別計算出響度l_i、音調t_i、音色b_i。為綜合利用信號頻譜圖中除三要素外的隱含特征，本研究采用預訓練的深度殘差網絡將信號頻譜圖作為圖像處理，得到教師言語中第i段語音信號頻譜圖R_i的語音信號特征向量，其計算如公式（1）所示。

公式（1）

②內容語義提取。為利用教師語音所轉文本中蘊含的內容語義，本研究采用基于語義理解的深度雙向預訓練模型BERT對教師文本內容進行特征提取，將第i個教師文本內容X_i輸入BERT中得到文本表征，其計算如公式（2）所示。

公式（2）

③領域特征提取。根據教師言語的內容語義，本研究利用雙向長短記憶網絡進行多通道分類輸出：首先將文本表征輸入到BiLSTM，根據公式（3）得到隱藏向量h_i；然后采用三個并行的全連接層，以多通道分類方式輸出，如將隱藏向量h_i輸入到其中一個全連接層，然后采用ReLU函數進行激活，再輸入Sigmoid函數實現領域特征的提取；最后根據公式（4）、公式（5），實現在基本句型、教學活動、認知過程三類領域特征上的分類預測（其中W₁、W₂表示權重矩陣，b₁、b₂表示偏置，表示在多分類上的概率）。

公式（3）

公式（4）

公式（5）

（2）基于教師言語的學習者聽覺情緒預測技術應用

實施基于教師言語的學習者聽覺情緒預測的重點，是解決如何將多種類型的教師言語特征進行有效融合的問題。為此，本研究提取教師言語特征后，輸入教師言語特征中的文本特征和語音特征，實現教師言語特征嵌入表示與融合；同時，采用注意力機制平衡特征權重，最終得到學習者聽覺情緒預測的輸出結果。具體的學習者聽覺情緒預測過程如圖4所示。

①教師言語特征嵌入表示與融合。基于教師言語特征的學習者情緒數據集，本研究將訓練輸入輸出對lt;言語特征， 學習者情緒gt;形式化定義為lt;s_i，"e_igt;。教師語音數據S={s_i：0≤i≤L}由截斷的每一個子語音句s_i組成，L表示語音句總數。每個s_i={}，其中表示內容語義，表示信號頻譜圖，SL_i={ta_i， ty_i， se_i}表示語義特征SL包括教學活動類型ta、認知過程分類ty和句型se，AC_i={l_i， t_i， b_i}表示聲學特征AC包括響度l、音調t和音色b。

四 學習者聽覺情緒調節策略

進行在線學習情緒研究時，可對學習者當前情緒采取正向加強或負向干預的措施，以提升在線學習的參與度，加強情感交互^[13]。參考此觀點，本研究依托基于教師言語的學習者聽覺情緒預測模型，提出學習者聽覺情緒調節策略，以實現在線教學中學習者情緒“分析—預測—調控”的閉環管理。

1 智能化聽覺情緒干預策略

學習過程中出現的認知失調感會引發學習者緊張、焦慮等不良情緒的產生，而利用生理信息分析和多模態整合分析技術能夠有效揭示學習者的信息感知和認知規律^[14]。另外，在認知神經科學相關理論的指導下，利用智能導學系統、自適應學習支持系統、教育智能體等智能工具調節學習者的聽覺情緒，對于在線學習者的孤獨、倦怠、挫敗等消極情緒有一定的緩解作用。

具體來說，在線學習環境下，可利用大數據技術和智慧課堂行為分析系統全方位追蹤課堂軌跡，提取并分析學習者的多維學習過程數據，以實現對學習者認知能力、知識水平、學習風格、情緒狀態等的精準分析。同時，可基于診斷結果設計合理的智能化言語交互反饋，優化智能助教、智能學伴等人工智能輔助教學應用時的聲音特征設計，根據學段、知識類型和學習者的認知狀態，利用三維聲技術提供與教學情境相契合并能有效喚醒積極情緒的情感支持環境；選擇更為合理的人聲特征與學習者進行言語互動，以緩解其因缺少與教師、同伴的交流而導致的焦慮、懈怠等負面情緒；引導學習者合理分配認知加工資源，幫助學習者達到認知層面的平衡狀態，避免因認知失調引發過度消極情緒，實現教學路徑的優化。

2 師生言語互動設計策略

言語互動是在線教學中師生互動的重要表現形式，教師言語的聲音特性能夠從生理和認知兩個層面誘發學習者情緒。Oxford^[15]指出，適度的消極情緒也能產生讓學習者保持警覺的積極作用。為提升學習者的學習效果，可利用教師言語從正向誘導和負向激發兩個方面調控學習者的聽覺情緒。在線學習環境下，遵循情緒表達、反饋的方式，在言語互動時采用情緒語言表達策略實現“社會—情緒性”交互，可以改善學習者的情緒體驗，增強其在學習過程中的歸屬感和信任感，提升認知水平。

具體來說，從教師言語的聲學角度出發，可利用語音處理軟件對教師言語進行情緒誘導設計，根據學習者情緒狀況動態調整教師言語的聲學屬性，采用情緒反應、情緒評價、情緒表達等方式，在生理層面誘發學習者正向情緒或依據教學內容給予適當的負向刺激，以激發學習者的成就動機。而從教師言語的語義角度出發，可借助智能語言處理工具采集教師在不同學科教學中輸出的言語，基于自學習算法構建學科語言結構庫，根據不同學科知識內容的差異性對教師言語進行動態調整，以實現教師言語與學科的自動匹配，促進學習成效不斷提升。

3 消極情緒負向干預策略

在師生言語交互的過程中難以完全避免學習者負面情緒的產生，且適度的消極情緒對學習效果具有一定的積極作用，因此當學習者出現不良情緒后，應結合當前教學內容和學習者情緒狀態進行合理的情緒疏導，促進學習者心流體驗的發生。在設計教學環境、教學資源與教學活動時設置情緒反饋通道，有利于學習者及時反饋情感需求，避免情緒表達抑制現象的發生。

具體來說，可依據“控制—價值理論”，針對學習者消極情緒產生的原因提供情感交互類資源，并通過設計具有創新性、趣味性和挑戰性較高的在線教學活動，增強學習者的學習動機和自我效能感，喚醒其積極情緒，以有效減少消極情緒對學習效果的影響。同時，在關鍵內容教學的過程中，教師要通過優化教學活動，對學習者的不良情緒進行適當干預，通過環境導向、問題導向、認知評價導向等方式，加強教學情緒臨場感，釋放學習者的消極情緒并引導其積極情緒的產生，以激發其學習動機、保持注意力集中狀態，從而更快、更好地掌握重難點知識。

五 結語

情緒反映學習者的認知心理狀態，對學業行為表現具有調節效用，是診斷性評價和形成性評價的關鍵指標之一^[16]。現有研究更多地聚焦于情緒識別，尚無針對在線學習環境下基于教師言語的學習者情緒預測研究成果。基于此，本研究通過對學習者聽覺情緒波動誘發的原因進行分析，梳理教師言語的語義特征和聲學特征，在此基礎上構建了基于教師言語的學習者聽覺情緒預測模型，并詳細闡述了模型的實現過程；同時，本研究從智能化聽覺情緒干預、師生言語互動設計、消極情緒負向干預三個角度提出了學習者聽覺情緒調節策略，可為學習者情緒的干預與調節提供新的方向。后續研究將聚焦于在實踐中應用基于教師言語的學習者聽覺情緒模型，不斷豐富在線課堂數據樣本，并融合學習者性格、教學情境、教師形象等背景信息，提供更加豐富的學習者聽覺情緒預測證據，以期實現更好的聽覺情緒預測效果；同時，將根據學習者聽覺情緒預測結果，有針對性地應用學習者聽覺情緒調節策略，實現科學的學習者聽覺情緒干預，并優化在線學習環境下學習者的情緒體驗，進而提升學習者的在線學習效果。

參考文獻

[1]萬海鵬，徐鑫，王琦，等.國外開放學習者模型的研究問題及其建議[J].現代教育技術，2022，（12）：93-101.

[2]王一巖，劉士玉，鄭永和.智能時代的學習者情緒感知：內涵、現狀與趨勢[J].遠程教育雜志，2021，（2）：34-43.

[3]王雪，喬玉飛，王崟羽，等.教育智能體如何影響學習者情緒與學習效果？——基于國內外39篇實驗或準實驗研究文獻的元分析[J].現代教育技術，2022，（8）：59-66.

[4]Wildgruber D， Riecker A， Hertrich I， et al. Identification of emotional intonation evaluated by fMRI[J]. Neuroimage， 2005，（4）：1233-1241.

[5]Oh G， Ryu J， Jeong E， et al. Drer： Deep learning-based driver’s real emotion recognizer[J]. Sensors， 2021，（6）：2166.

[6]Zhalehpour S， Onder O， Akhtar Z， et al. BAUM-1： A spontaneous audio-visual face database of affective and mental states[J]. IEEE Transactions on Affective Computing， 2016，（3）：300-313.

[7]Wu P， Liu H， Li X， et al. A novel lip descriptor for audio-visual keyword spotting based on adaptive decision fusion[J]. IEEE Transactions on Multimedia， 2016，（3）：326-338.

[8]Huang Y， Yang J， Liu S， et al. Combining facial expressions and electroencephalography to enhance emotion recognition[J]. Future Internet， 2019，（5）：105.

[9]Zhang S， Zhang S， Huang T， et al. Learning affective features with a hybrid deep model for audio-visual emotion recognition[J]. IEEE Transactions On Circuits amp; Systems for Video Technology， 2017，（10）：3030-3043.

[10]白潔，王姝彥.認知視閾下情緒生成機制的探討[J].山西大學學報（哲學社會科學版），2013，（3）：21-25.

[11]宋揚，呂明臣.信息傳遞中教學言語交際意圖及其實現條件研究[J].圖書館學研究，2016，（13）：98-101.

[12]Wei Q， Bo S， He J， et al. BNU-LSVED 2.0： Spontaneous multimodal student affect database with multi-dimensional"labels[J]. Signal Processing Image Communication， 2017，59：168-181.

[13]晉欣泉，王林麗，楊現民.基于大數據的在線學習情緒測量模型構建[J].現代教育技術，2016，（12）：5-11.

[14]楊海茹，劉清堂，吳林靜，等.大數據時代生理信息分析的教育應用及趨勢[J].現代教育技術，2019，（6）：34-40.

[15]Oxford R L. Powerfully positive： Searching for a model of language learner well-being[A]. Positive Psychology Perspectives on Foreign Language Learning and Teaching[C]."Cham： Springer International Publishing，"2016：21-37.

[16]王永固，張晨燾，許家奇，等.基于深度學習的孤獨癥兒童學習情緒智能感知[J].現代教育技術，2021，（7）：105-111.

Learners’"Auditory Emotion Prediction Based on Teachers’"Speech

TANG Ye-wei^1，2""""WU Shan-shan¹""""ZHAO Yi-ting¹

（1. School of Information Science and Technology， Northeast Normal University， Changchun， Jilin， China 130117;

2. Digital Learning Support Technology Engineering Research Center， Ministry of Education， Changchun， Jilin， China 130117）

Abstract： Online teaching is an important means to cope with emergencies and innovate teaching methods in the post-epidemic era. However， the universal problems such as low learner concentration and lack of engagement in the practice of large-scale online teaching have affected the learning effect. Limited by the online teaching form， the teachers’"speech has become the main means of interaction between teachers and students， and the teachers’s speech has an important impact on learners’"emotions. Based on this， the theoretical bases of learner auditory emotion prediction were introduced in this paper， which included the inducement analysis of learner auditory emotion fluctuation and the prediction orientation of auditory emotion. Then， based on these theoretical foundations and related technical algorithms， this paper"constructed a learners’"auditory emotion prediction model based on teachers’"speech， and further elaborated the implementation process of the model. Finally， relying on the learners’"auditory emotion prediction model， this paper"proposed strategies for learners’"auditory emotion regulation， in order to provide theoretical and practical references for the relevant research of the improvement of online teaching effect and the optimization of teaching paths.

Keywords： teacher speech; auditory emotion; sentiment forecasting; online learning

*基金項目：本文為全國教育科學“十四五”規劃2021年度教育部青年課題“泛在智慧下學習空間新樣態內涵、體系及評價研究”（項目編號：ECA210408）的階段性研究成果。

作者簡介：唐燁偉，副教授，博士，研究方向為智慧教育，郵箱為tangyw100@nenu.edu.cn。

收稿日期：2022年10月5日

編輯：小米