人工智能賦能的多模態學習狀態研究與分析

摘要：研究了人工智能在多模態學習狀態中的應用，通過在課堂教學環境下拍攝的教學視頻或圖片進行分析，來了解學生的學習狀態和情緒，并根據學生的學習狀態來調整教學策略。具體方法上，采用了基于決策層融合的方式對面部情緒和語音情緒進行融合，利用PAD情緒量表建立情緒與學習狀態之間的對應關系，并在此基礎上提出了不同的教學策略。

關鍵詞：人工智能；多模態學習狀態；情緒識別；PAD情緒量表；教學策略

一、前言

隨著人工智能技術的不斷發展，教育領域也開始逐漸應用人工智能技術，其中多模態學習狀態分析便是其中的一個研究熱點，其通過人工智能技術對學生在學習過程中的情緒、認知和行為等多維度進行感知和分析，從而實現對學生學習狀態的全面監測和識別。

在課堂教學中，了解學生的學習狀態對教師調整教學策略、促進學生學習效果和提高教學質量具有重要意義[1]。因此，本文基于多模態情緒識別技術及其應用，結合PAD情緒量表建立學習情緒和學習狀態之間的對應關系，探討如何利用人工智能技術對課堂教學中的學生學習狀態進行分析和調整教學策略，以期為教學實踐提供有價值的參考。

二、多模態學習狀態的定義和應用

（一）多模態學習狀態的概念

多模態學習狀態研究是指多模態學習情緒分析系統研究，如使用圖片和視頻這兩種模態分析出學生的學習情緒從而判斷學生的學習狀態。在學習領域運用多模態學習情緒分析系統來分析學生的學習情緒可以獲得更加準確的情緒識別結果。

（二）多模態學習狀態在教育領域的應用案例

在線課堂情緒監測：在在線教育中，多模態情緒識別技術可以識別學生的情緒狀態，如焦慮、沮喪、興奮等，從而即時反饋給教師，有助于教師調整課程內容和教學策略。

學習狀態識別：多模態情緒識別技術可通過整合多種感知模態和信息源，如面部表情、聲音、語言、圖像和音頻等，來識別學生的學習狀態，從而優化課程設計和評估學生學習成果[1]。

學習障礙診斷：多模態情緒識別技術可幫助教師識別學生可能存在的學習障礙，如閱讀障礙、語言障礙等。通過檢測學生在不同感知模態下的表現，發現學生問題并提供有針對性的輔助。

學生情感支持：多模態情緒識別技術可為教師提供關于學生情感狀態的即時反饋，幫助教師更好地理解學生的需求和情感狀態。教師利用這些信息幫助學生建立更健康的情感狀態和學習環境[2]。

（三）多模態學習狀態的優勢和挑戰

1.優勢

全面了解學生學習狀態：多模態學習狀態識別技術可綜合利用多種感知模態和信息源，幫助教師更全面地了解學生的學習狀態。

提高學習效果：通過分析學生的學習狀態，教師根據學生的需求和學習狀態，調整教學策略和內容，從而提高學生的學習效果。

2.挑戰

隱私和倫理問題：由于涉及大量學生的個人信息和隱私，需要嚴格保護學生的隱私權和個人信息安全，同時需遵守相關的倫理和法律規定。

技術挑戰：為整合多種不同的感知模態和信息源，涉及復雜的數據處理和分析技術，需要具備強大的計算和數據處理能力。

三、人工智能在多模態學習狀態中的應用

（一）多模態情緒識別技術及其應用

1.多模態情緒識別技術概述

多模態情緒識別技術是指通過整合多種不同的感知模態，如面部表情、聲音、語言等，以及多種不同的信息源，如圖像、音頻等，來識別和理解人類的情感狀態。在教育領域中，該技術能夠幫助教師更好地了解學生的情緒狀態，為教學提供更精準的指導和反饋[2]。

2.基于決策層融合的情緒識別方法

基于決策層融合的情緒識別方法是一種常見的多模態情緒識別技術。通過將多個模態的情感特征在決策層進行融合，從而得到準確的情感識別結果。在教育領域中，將學生在課堂上的面部表情和語音情緒特征進行融合，從而更好地了解學生的情感狀態。

3.在教學視頻或圖片中應用多模態情緒識別技術的內容

在教學視頻或圖片中應用多模態情緒識別技術可以通過以下步驟實現：

將教學視頻或圖片分解成為圖像視頻和音頻文件，分別將音頻文件和圖像文件輸入到預先設置好的情緒識別網絡中，經過情緒識別網絡的處理，可以分別獲得語音和圖像所對應的情緒識別結果。

利用基于決策層融合的方法，將兩者獲得的情緒特征進行融合，從而得到更加精準的多模態情緒識別結果。將獲得的情緒識別結果與學習狀態建立對應關系，分析學生的情緒狀態，并根據PAD情緒量表對獲得的多模態學習情緒進行分析，得到每一種情緒的PAD值。

在此基礎上，教師根據學生的學習狀態及時調整教學，提出不同的教學策略，以更好地滿足學生的學習需求。

（二）基于PAD情緒量表的學習狀態識別方法

1.PAD情緒量表介紹

PAD情緒量表是一種廣泛應用于情感研究領域的量表，它由3個維度組成：Pleasure、Arousal和Dominance，用于測量情緒的不同方面，其中，Pleasure維度表示情緒的愉悅或不愉悅程度，Arousal維度表示情緒的激活程度，Dominance維度表示情緒的控制程度。

2.利用PAD情緒量表識別學習狀態

利用PAD情緒量表對學生在學習過程中的情緒狀態進行識別和分析。在教學視頻或圖片中，通過多模態情緒識別技術獲得的情緒信息可以轉化為PAD情緒量表上的數值，從而確定學生當前的情緒狀態，進一步了解學生的學習動機、能力和興趣等信息。利用PAD情緒量表來識別學習狀態可以通過收集學生在學習過程中的情緒數據，并將其與PAD情緒量表的維度進行匹配和比較。根據學生在每個維度上的得分，判斷學生的學習狀態是否積極、專注或者消極。表1、2、3是一些實驗數據，以證明利用PAD情緒量表識別學習狀態的可行性。

通過收集大量學生的情緒數據，并結合實際學習狀態進行標注，建立模型來預測學生的學習狀態。模型可基于機器學習算法，例如決策樹、支持向量機或神經網絡等進行訓練。利用這些實驗數據作為訓練集，訓練出一個模型來自動識別學生的學習狀態，從而為教育者提供有關學生情緒和學習狀態的重要信息。

3.建立學習情緒和學習狀態之間的對應關系

學習情緒和學習狀態之間的對應關系可通過分析不同情緒狀態下的PAD值的變化趨勢進行建立。例如，在高Pleasure、低Arousal和高Dominance的情緒狀態下，學生可能處于一種較為放松和愉悅的學習狀態，適合進行知識的鞏固和復習；在高Pleasure、高Arousal和低Dominance的情緒狀態下，學生可能處于一種較為興奮和激動的學習狀態，適合進行新知識的學習和探索。為此設計兩個實驗來研究：

實驗1：該實驗旨在比較高興和悲傷情緒的PAD值，并觀察其在愉快度、喚起度和優勢度上的差異。

在實驗中，邀請了一組參與者，并通過一系列的情感誘發刺激來引發不同的情緒。在每個實驗條件下，參與者被要求評估他們當前的情緒狀態，并用PAD情緒量表的維度進行打分。

在實驗過程中，使用了經過歸一化的PAD公式來計算每個情緒的PAD值。對于高興情緒，我們觀察到其PAD值為（0.51，0.39，0.21），而對于悲傷情緒，PAD值為（-0.61，0.45，-0.31）。通過比較這兩種情緒的PAD值，發現它們在愉快度、喚起度和優勢度上的差異（見表4）。

結果表明，高興情緒在愉快度（P值）和喚起度（A值）上得分較高，而在優勢度（D值）上得分較低。相反，悲傷情緒在這些方面的得分相對較低，顯示出較低的愉快度、喚起度和優勢度（見表4）。

實驗2： 該實驗旨在比較害怕和厭惡情緒的PAD值，并觀察其在愉快度、喚起度和優勢度上的差異。

類似于實驗1，邀請一組參與者，并使用刺激材料來誘發害怕和厭惡情緒。參與者被要求評估他們當前的情緒狀態，并用PAD情緒量表的維度進行打分。通過對實驗數據分析，得到了害怕情緒的PAD值為（-0.42，0.72，0.31），而厭惡情緒的PAD值為（-0.55，0.63，-0.46）。這些值表明害怕和厭惡情緒在愉快度、喚起度和優勢度上存在差異。

實驗結果顯示，害怕情緒在喚起度（A值）和優勢度（D值）方面得分較高，而愉快度（P值）較低。相比之下，厭惡情緒在這些方面的得分相對較低，顯示出較低的喚起度和優勢度，以及較低的愉快度（見表5）。

通過實驗結果，深入地了解不同情緒狀態之間的差異，并使用PAD值來量化和比較它們的愉快度、喚起度和優勢度。這有助于研究者更準確地理解和解釋個體的情緒狀態，并為情緒調節和教育干預提供更好的指導。

四、人工智能賦能多模態學習狀態的優勢和挑戰

（一）提高學習效率和效果

人工智能賦能的多模態學習狀態能夠提高學習效率和效果，主要得益于人工智能技術對學習內容的自動化處理和智能推薦。通過人工智能的語音識別、圖像識別和自然語言處理技術，學習內容可以自動被轉換成多種形式的信息，如文字、語音、圖片等，為學生提供更豐富、更生動、更直觀的學習體驗。此外，還可基于學生的學習行為和歷史數據進行數據分析和學習模式識別，從而根據學生的學習情況和學習習慣，智能推薦學習資源和內容，提高學習效率和效果。

（二）促進學習自主性和個性化學習

為促進學習自主性和個性化學習，人工智能技術在多模態學習狀態中扮演著關鍵角色。通過智能化的學習推薦系統、學習管理系統和學習評估系統，幫助學生更好地掌握自己的學習進度和成果，提供更個性化的學習服務和教學資源。例如，智能化學習推薦系統不僅可以根據學生的學習歷史和行為，推薦最適合的學習資源和路徑，還可以根據學生的學習進度和質量，對學生進行智能化的管理和監督，及時發現學生的學習問題并給出合適的建議和輔導[3]。

（三）隱私保護和數據安全

在多模態學習狀態中，學習者需提供大量個人信息和學習數據，以便智能化系統分析學習情況并提供個性化的學習服務。然而，這些信息和數據可能包含著學生的隱私，因此，為保護隱私和數據安全，需要遵循一系列的安全和隱私保護措施。首先，學習者應被明確告知其個人信息和學習數據的收集和使用方式，學習者應有權選擇是否將信息和數據提供給智能化系統[3]。其次，在多模態學習狀態中，應采用加密、脫敏等技術手段來保護學習者的個人信息和學習數據。最后，確保智能化系統的運行和數據存儲在安全環境中，并嚴格控制數據訪問權限。

五、未來多模態學習狀態中人工智能應用的發展趨勢和研究方向

（一）融合多種人工智能技術的發展

如今，多模態學習狀態已經開始應用人工智能技術，如語音識別、圖像識別和自然語言處理等，但這些技術之間的協同作用還有待進一步發掘。未來，可通過融合多種人工智能技術來實現更加智能化的多模態學習狀態，例如將語音識別技術與圖像識別技術結合，實現基于視聽多模態信息的學習輔助系統。

（二）個性化學習和情感計算的應用

在未來，學生可通過多模態學習狀態獲得更加個性化和符合自己興趣和需求的學習體驗。該趨勢的實現需情感計算技術、推薦算法、智能教練等多種人工智能技術的支持。例如，情感計算技術可通過對學生情感狀態的感知和分析，為學生提供更加符合個人需求的學習內容和方式[4]。

（三）教育智能化和自適應學習系統的實現

教育智能化是指將人工智能技術應用到教育領域中，為學生提供更加個性化、高效、優質的教育服務。自適應學習系統是指根據學生的學習情況和需求，為學生提供最優的學習體驗和資源。未來的多模態學習狀態需要實現教育智能化和自適應學習系統，融合多種人工智能技術，包括機器學習、自然語言處理、情感計算等，以滿足不同學生的學習需求和提高學習效果[5]。

六、結語

本文探討了基于人工智能的多模態學習狀態研究與分析。通過將情緒識別技術與PAD情緒量表相結合，可以有效地識別學生的學習狀態，從而實現針對性的教學調整。此外，本研究還提出了一種基于決策層融合的情緒識別方法，能夠提高情緒識別的準確度，為實現多模態學習狀態分析提供了更可靠的技術支持。

參考文獻

[1]牟智佳.“人工智能+”時代的個性化學習理論重思與開解[J].遠程教育雜志，2017（03）：22-30.

[2]吳永和，劉博文，馬曉玲.構筑“人工智能+教育”的生態系統[J].遠程教育雜志，2017（05）：27-39.

[3]董婷婷.智慧教育時代背景下人工智能如何推動教學變革[J].中國成人教育，2018（10）：86-88.

[4]余明華，馮翔，祝智庭.人工智能視域下機器學習的教育應用與創新探索[J].遠程教育雜志，2017（03）：11-21.

[5]肖啟榮.人工智能時代教學變革的“三維一體”[J].教育理論與實踐，2020，40（13）：61-64.

基金項目：1.2022年江西省教育廳科技項目“人工智能賦能的多模態學習狀態研究與分析”（課題編號：GJJ2202029）；2.2020年南昌師范學院校級科研項目“大數據背景下大學生信貸風險評估系統開發”（課題編號 ：20KJYB02）

作者單位：南昌師范學院

■ 責任編輯：尚丹