初探多模態情感分析在教育教學中的應用

張凌熙　蔡子碩　李林燕

摘 要：本文探討了教育領域中多模態情感分析技術在提升教學質量和學習效果方面的優越性和適應性。當前，教育成本不斷上升，而小班化教學成為了沉重的負擔。因此，多數學校的班級人數很多，導致授課教師難以準確判斷每個學生的學習情況，影響了教學質量和學生的學習進展。利用多模態情感分析技術可以通過人臉識別和面部情感分析解決這一問題，從而提高教學質量和學生的學習效果。此外，文章還指出了現有課堂輔助教學識別設備存在的問題，并探討了多模態情感分析技術在這些問題上的優勢。

關鍵詞：人臉識別;多模態情感分析;教育教學應用

一、引言

如今人工智能行業正在快速發展，各行各業都在嘗試將人工智能應用于創新和迭代，以搶占市場先機。在教育領域，學習分析技術是一種新興技術，它可以深入分析和應用師生數據，為教育領域向智慧化轉型提供新的發展視角，同時學生的認知能力也被認為是影響學生學習能力和學習熱情的最根本原因之一。現有的研究資料表明，學生的認知能力通常通過面部表情、肢體動作、神情變化和語言等方式顯現出來。情感計算是指開發者通過人工智能識別并分析采集到的人體面部情感信息和肢體動作，從而解讀人類情感。因此，情感數據計算分析在評估教學質量和學習效果方面具有重要作用。

隨著教育成本的不斷上升，小班化教學成為了一種沉重的負擔。大多數學校的班級人數依然很多，導致授課教師無法對每個學生的學習情況做出準確的判斷。這也使得授課教師無法及時調整授課內容和方式，無法了解學生在課堂上的表現，從而影響了教學質量和學生的學習進展。雖然市面上出現了一些課堂輔助教學識別設備，但它們的功能不完善，識別不精準，或者存在前期投入巨大、效果不佳、干擾因素過多等問題，無法確保后臺獲取的信息正確性。

本文嘗試利用多模態情感分析這一技術手段，以人臉識別為基礎，以面部情感分析為核心，嘗試論證多模態情感分析在教育教學中的優越性和適應性。

二、多模態情感分析在教育教學中的應用

19世紀末人臉識別這個概念首次被提出，經過近30年的發展，人臉識別已經成為計算機視覺和機器學習領域的研究熱點之一，并且在近年來取得了很大的進展。機器學習中深度學習脫穎而出，它通過構建多層次的神經網絡并且通過眾多的包含標簽的數據作為燃料學習數據的諸多特征，并對學習到的特征進行歸納匯總，從而實現數據的分類、識別、預測等基本任務。其中卷積神經網絡（CNN）和循環神經網絡（RNN）是深度學習中最常用的兩種神經網絡。卷積神經網絡主要用于圖像識別和計算機視覺領域，它可以通過卷積操作來提取圖像的局部特征，從而實現對圖像的分類、檢測、分割等任務。卷積神經網絡的優點主要是它可以自動學習圖像的特征表示，該神經網絡不需要人工手動設計特征，從而進一步提高了使用該神經網絡進行圖像識別的準確性和效率。

循環神經網絡主要用于自然語言處理和語言識別領域，它可以處理序列數據和時序數據，列如文本、語音、音樂。循環神經網絡的主要優點為可以通過捕捉序列數據的上下文信息從而實現對文本的情感分析、語音識別和機器翻譯的任務。此外，深度學習還可以處理大規模、高維度的數據，具有很強的泛化能力和魯棒性，可以應用于圖像識別、語音識別、自然語言生成、自然語言理解等領域。

（一）多模態卷積神經網絡

多模態卷積神經網絡（Multimodal Convolutional Neural Network，MCNN）顧名思義它是一種用于處理多種類型數據的深度學習模型。它的主要優點在于它可以同時處理視頻信息、圖像信息、文本信息、音頻信息等多種數據類型，并通過模型和算法將這些數據融合在一起進行數據的分析和預測從而提高分類或者預測的準確性。

一般來說一個多模態卷積神經網絡的體系架構主要包括多模態輸入層、多個卷積神經網絡分支、特征融合層、全連接層和輸出層。

1.多模態輸入層：多模態卷積神經網絡的多模態輸入層可以處理同時輸入的多種不同類型數據例如圖像、文本、語音等。

2.多個卷積神經網絡分支：該層每一個分支都是一個輸入模型，該層使用卷積層、池化層等對數據進行特征提取和降維。卷積層是卷積神經網絡的核心基石，卷積神經網絡的每個卷積層都由多個卷積單元組成，每個卷積單元都有一組可訓練的參數，這些參數通過反向傳播算法進行優化，以最大化模型的準確性。卷積運算的目的是在輸入數據中提取出不同的特征，例如邊緣、線條、角等。第一層卷積層通常只能提取一些簡單的低級特征，而更深層的卷積層可以從這些低級特征中迭代地提取更加復雜的高級特征。這種迭代特征提取的過程可以幫助卷積神經網絡實現對輸入數據的更加準確的分類和預測。當數據經過卷積層的特征提取后，所以的特征圖都會被送到池化層，池化層包含一組預設定的池化函數，例如最大池化或平均池化，其功能是將特征圖中每個局部區域的特征值替換為該區域內的統計量，例如最大值或平均值。這樣可以幫助減少特征圖的尺寸，同時保留重要的特征信息，提高模型的魯棒性和泛化能力。

3.特征融合層：該層會將從多個卷積神經網絡分支中的獲取的不同的特征圖融合在一起，以便更好地描述整個多模態輸入數據的特征。通常，特征融合層采用加權平均或學習到的融合權重的方式進行特征融合。加權平均可以簡單地將不同分支提取的特征圖加權平均，權重可以根據先驗知識或手動調整。而學習到的融合權重可以通過反向傳播算法自動學習得到，以最大化模型的準確性和泛化能力。

4全連接層：是將從特征融合層中獲取到的特征向量，使用激活函數進行非線性變換，最終輸出一個分類或預測結果。

5.輸出層：輸出分類或預測結果。

（二）基于多模態卷積神經網絡的人臉識別

基于多模態卷積神經網絡的情感識別主要通過一下幾個步驟完成：首先從監控攝像頭中獲取視頻流信息，從視頻流中一幀幀的讀取圖像，將視頻流轉換為靜態圖像。然后，使用cv2.imwrite（）函數將從視頻幀中獲得的圖像保存為靜態圖像，并使用cv2.imshow（）函數顯示幀圖像然后將數據傳輸至OpenCV中的cap.read（）函數讀取視頻流中的圖像同時對視頻流進行預處理，進行圖像縮放、灰度化、直方圖均衡化等，以便于后續的人臉檢測，然后使用人臉檢測算法對進行預處理后的視頻流進行處理，檢測視頻流中人臉的位置信息，截取圖像中的人臉信息，將人臉信息傳輸至模型中對人臉進行行為分析和表情識別。

（三）基于多模態情感分析的教育教學應用

“模態”是“人類通過感覺器官建立的與外部環境之間的交互方式”，如視覺、聽覺、觸覺、嗅覺、味覺等。當前人工智能領域的發展已經由基于神經網絡和遺傳算法的計算智能階段邁向以文本、語音和圖像等符號系統表征的語義信息的識別和加工為核心的感知智能階段。基于計算機視覺技術對智慧教育場景中學生的表情、動作等圖像信息進行智能化的采集，用以分析學生的課堂表現，對學生課堂學習過程中的專注度、情感狀態等信息進行智能識別；基于語音識別技術，對學生課堂發言中的話語信息進行采集，根據學習者的語音語調信息和話語信息，分析學習者的認知發展狀況和情感狀態；基于自然語言處理技術，從語義層面分析對學習者所表述的信息進行深入的挖掘分析，提取其中潛在的觀點和情感信息，基于語義網絡和知識圖譜分析學習者的認知發展狀況；基于腦電感應、眼神追蹤等生理信息識別技術，對學習者的眼動、腦電、皮膚電、激素分泌等數據進行采集，為學習分析相關研究的開展提供多樣化的生理數據支持；基于平臺數據采集技術，對學習者在智慧教學平臺的學習過程進行精準監測，形成面向學習者個體的在線學習流數據，根據學習者的檢索、瀏覽、觀看、測試數據分析學習者的學習偏好和知識掌握程度，為其提供智能化的認知診斷和學習資源推薦服務。通過對學生多源異構數據的采集分析，形成面向學習者的多模態數據集，利用智能化分析方法對學生深層次的認知和情感狀態進行精準測評，實現面向學習者的精準化學習分析。

三、結束語

本文主要討論如何將多模態情感分析技術應用于教育教學中，以提高教學效果和教學質量。首先介紹了學習分析技術和情感計算技術在教育領域的應用，接著探討了小班化教學的問題和課堂輔助教學識別設備的不足。然后，著重介紹了基于多模態卷積神經網絡的人臉識別技術，并分析了其優點和適用性。最后，結合情感數據計算分析和人臉識別技術，探討了如何利用多模態情感分析技術來評估教學質量和學習效果，以及如何通過分析學生的情感數據來了解學生在課堂上的表現和情感狀態，進而調整授課內容和方式，提高教學效果和教學質量。基于多模態數據的感知與融合，實現對課堂生態系統構成要素的精準化建模分析，構建時空融合的多模態數據表征體系，模擬智慧課堂的數據流動，理清相關構成要素對學習生態變革的作用機理，實現多模態數據驅動的智慧教學生態的精準治理。

總之，多模態情感分析技術的應用可以為教育領域的智慧化轉型提供新的發展視角，為學校提供更準確的教學質量和學習效果評估方法，同時也可以幫助授課教師了解學生的情感狀態和表現，從而更好地指導學生學習和促進學生的學習積極性。

參考文獻：

[1]陳曉歡. 基于多模態融合的情感識別研究[D].延安大學，2022.

[2]陳光輝. 語音圖像多模態信息融合的情感識別方法研究[D].重慶大學，2021.

[3]凌云昊. 基于多模態情感識別的自適應教學系統研究與實現[D].上海交通大學，2018.

[4]董建功. 多模態情感識別及其虛擬環境人機交互研究[D].重慶郵電大學，2021.

[5]張海峰. 基于多特征融合的人臉表情識別研究[D].中國科學技術大學，2020.

[6]王一巖、王楊春曉、鄭永和.多模態學習分析："多模態"驅動的智能教育研究新趨向[J].中國電化教育，2021，000（003）：88-96.