面向在線學習的情感計算研究

張佳慧

摘 要：近年來，在線學習作為一種學習系統非常流行。但是目前的在線學習系統不能有效地指導學生，因為他們沒有在教學的語境中考慮情感狀態。情感計算理論的出現可以解決這個問題，并逐漸涉及至普通教學領域中，它可以使計算機的智能不再是純粹的認知智能。本文通過闡述了情感計算的理論基礎以及目前國內外在在線學習方面的情感計算的研究現狀，幫助了解在在線學習領域的的情感計算的情況，從而可以為今后的研究提供理論性基礎。

關鍵詞：情感計算；在線學習；人臉識別；多模態

隨著當代信息技術的不斷發展與應用，教育模式正發生著不斷的改變，在線學習就憑借著它不受時間、空間約束的的獨特優勢成為當代學習者的選擇[1]。隨著慕課、網易公開課、可汗學院等新型在線學習教育方式涌入人們的視線中，在線學習的各類網絡平臺就噴涌而出。但是由于在在線學習中，學習者主要通過與計算機網絡進行情感交互，從而導致學習者無法及時獲得反饋，從而出現了許多情感缺失等問題[2][3]，情感計算技術應運而生。因此，在當代的許多文獻中，情感計算已經成為了一個極其重要的課題[4][5]。

一、情感計算理論支撐

近年來，情感計算的研究在不同領域都受到極大的重視。為了進行進一步的研究人類感情的識別的問題，國內外的研究學者們提出了各類情感建模的方式[6]，并基于神經科學、社會心理學等領域的研究，奠定了在線學習下的情感計算的理論基礎。

情感計算的步驟一般包括以下四個部分，即情感數據采集、情感特征提取、情感特征分類和情感識別（美國麻神理工學院，Picard）[7]。而情感識別的方法一般基于以下幾個方面，包括：人臉表情、人類聲音語調、傳達的文本信息或者是人體的肢體語言等信號信息。

二、情感計算技術與應用研究現狀

（一）人臉識別技術

人臉識別技術就是通過一系列方法對人臉的表情所表現出的各類情感信息進行提取與分析，例如，學習者通過計算機和網絡進行在線學習，人臉識別技術通過服務器獲取學習者電腦攝像設備中的內容，從而獲取學習者的情感的原始數據，再進一步提取學習者的情感特征并進行情感分類；緊接著，服務器將學習者的情感信息上傳，系統通過對比以往所研究出的情感信息，分析出學習者所處的情感狀態（如中性情感、開心、悲傷等），最終將得出的結果進行可視化處理，從而反過來對學習者進行學習過程的干預[8]。

而在當前的研究中，一般用于識別系統中的面部表情有三種主要的方法，下文將簡要介紹這三種方法[9]。

首先是基于模型的方法：一些面部表情識別系統采用了清晰的面部解剖和物理模型，一個包含44個面部的幾何網格肌肉，它們與皮膚的連接點，以及皮膚的彈性特性。根據人臉上6個點的位置，通過圖像扭曲將人臉圖像映射到物理模型上。在遞歸情緒控制框架下，利用物理模型對光流的運動估計進行了改進。那么面部表達式進行分類。在基于模型的系統中，分析精度受到模型有效性的限制。但是有很多因素會影響肌肉收縮后皮膚的運動，很難在一個確定性模型中準確地解釋所有這些因素。

緊接著是基于特征的方法：這種方法是最常用的。臉可以通過用距離來描述眼睛、鼻子、下巴等特征之間的區域來表示，也可以通過用運動不變性來表示。這些參數是從完整的面部視圖或輪廓中提取出來的，然后將每個面部作為“特征向量”存儲在內存中的某個位置。表情識別包括三個步驟。首先，找出個人特征（眼睛，鼻子，下巴）；其次，測量統計參數來描述這些特征及其相互關系；第三提取描述，當選擇的特性合適時，這些方法通常是有效的，但是適當的特性選擇并不總是一項簡單的任務。

最后是整體分析：與基于特征的圖像分析不同，整體分析強調盡可能地保留原始圖像。人臉以二維像素強度數組的形式表示。而一般關系可以是采用線性自關聯建模，實現主成分分析；采用非線性三層自關聯網絡建模，或采用反向傳播算法。

（二）情感狀態跟蹤技術

在在線學習中，對學習者的學習情感的關注往往是較少的，而又由于在在線學習中缺乏一定的情感交互，不同學習者會對相同的一個學習內容的學習進度有所不同。所以，通過在線學習的情感計算，也可以時刻把握學習者的學習狀態，了解學習者是否跟上進度，是否喜歡目前的學習內容，又或是對當期的學習內容存在厭惡的情感。因此，在情感計算的研究中加入情感狀態的跟蹤技術，了解學習者不在學習狀態的時間點，從而及時對教學策略和教學過程進行調節，及時對學習者的學習過程進行情感方面的干預，才可以保證學習者在一個適合的狀態下進行學習[10]。這就是情感計算中一個重要部分，即情感信息處理的其中一個過程。

而情感信息處理的目的是跟蹤學習者的情感和認知狀態，識別認知態度，通過統計得出網絡學習過程中整體的情感狀態并將其傳遞給學習者主體學習者的情緒狀態在學習過程中是非常復雜的。積極（興趣）或消極（不感興趣）的變化可能發生在新的電子課程。在新課開始時，學習者總是感到驚訝或困惑。隨著時間的推移，他的情緒狀態會發生變化。假使學習者總是出現困惑的狀態，他會懷疑自己的能力，感到消沉。這種消極的變化會立即傳遞給教師，并修改教學策略。當采用適當的教學策略時，學習者就會感到自信，渴望新的知識。情感信息的處理是個體教學的關鍵，情感信息可以傳遞給學習者模型，一旦發現消極態度，教師就會及時修改教學策略[11]。

（三）多模態融合情感計算技術

情感計算和情感分析的另一個重要任務是多模態融合。隨著最終用戶設備（如智能手機、觸控板或上網本）上安裝的網絡攝像頭數量的增加，越來越多的情感信息正以音頻或視聽格式發布到社交網絡服務上，而不是純粹的文本形式。經前人統計，平均每分鐘有兩天的視頻內容被上傳到網絡上。除了語音到文本的識別，它還允許對聲音信息、面部表情和身體運動分析，甚至背景音樂或彩色濾鏡的“情緒”進行額外的利用。

多模態融合是指將所有的單一模態集成到一個組合的單一表示中，采用特征層次要部分和決策層次兩種融合技術，提高了多模態信息情感識別的可靠性[12]。

現有的情感計算和情感分析方法主要分為三類：基于知識的技術、統計方法和混合方法。基于知識的技術因其易用性和經濟性而受到歡迎根據“快樂”、“悲傷”、“害怕”和“無聊”等情感詞匯的出現，文本被分為情感類別。情感詞或多詞表達的流行來源包括情感詞匯庫、語言注釋方案、詞網情感、感知詞網情感、概率知識庫等基于知識的方法的主要缺點是當涉及到語言規則時，對影響的認識不足例如，盡管一個知識庫可以正確地將“今天是快樂的一天”這句話歸類為“快樂”，但在“今天根本不是快樂的一天”這句話上，它很可能失敗。為了達到這個目的，技術將會更加成熟的。基于知識的方法利用語言學規則來區分文本中每個特定的知識庫條目是如何使用的[13]。

（四）基于多Agent的人際和諧交互系統

基于多Agent的人際和諧交互系統，就是指構建一個讓人與機器進行情感交互的一種情感計算模型。這種模型通過對情感的特征的明確規定，以Agent的形式，再通過融合多種Agent機制，將這些情感信息轉變為情感手段，從而形成具有自適應能力的Agent，從而使得計算機能夠模擬學習者內心的情感和心理活動，并幫助在一些具體實踐上形成自適應功能，進而能夠為學習者營造一種舒適、自在的學習環境，從而提高學習者的學習能力[14]。這種技術可以很大程度上幫助計算機形成學習者的邏輯思維和心理過程，并極大可能提高在線學習中人機交互的和諧性。

（五）可穿戴情感計算設備

從2015年起，針對去可穿戴設備的數量就開始不斷增加，佩戴方式也多種多樣，例如：佩戴于頭部的可穿戴設備（比如GoogleGlass）；佩戴于肩部的可穿戴設備（比如Straps臂帶）；佩戴于身上的可穿戴設備；佩戴于手腕的可穿戴設備（比如Apple Watch）等。這些設備通過檢測人體的心率、脈搏、體溫等條件進行身體信息的收集，伴隨著科技的不斷進步，進一步有了3D傳感器設備等，并且這些設備已經不斷擴大了適用范圍，逐漸延伸至醫療、運動等方面，現正蔓延至教育領域[15]。伴隨著研究的不斷深入，研究學者們正將之運用于教育領域的情感計算方面，通過可穿戴設備的幫助，不斷多學習者的學習狀態進行情感計算，了解學習者的學習情感，從而不斷地對教學策略進行調整，進而更好地幫助學習者們進行在線學習[16]。

三、總結

情感計算的能力是人類發展并智能化的一個重要標志。在在線學習的過程中，情感缺失成為了一個不可忽視的問題，不但會影響學習者的學習質量，更甚者會影響學習者的心理健康發展。通過在在線學習中進行情感計算，可以使網絡學習更加人性化。通過對學習者學習過程中情感變化的不斷追蹤，也可以幫助計算機及時調整教學策略。系統的每個模塊的分析表明與情感信息的智能反饋測量通過面部表情和姿勢，電子學習系統可以管理和跟蹤實時學習過程評價學習效果制定不同的學習方案不同的學習者提供反饋和評估因此設定個人學習環境激發學習興趣增強學習意識和學習效果，從而提高教學質量。

參考文獻：

[1]約翰·丹尼爾， 李薇. 靈活性：在線學習的核心要素[J]. 中國遠程教育， 2017，（1）：5-14.

[2]李勇帆，李里程.論情感計算和Web3D技術支持的網絡自主在線學習模式的設計與構建[J].中國電化教育，2011，8：129-133.

[3]牟智佳，俞顯等.國際教育數據挖掘研究現狀的可視化分析：熱點與趨勢[J].電化教育研究，2017，（4）：108-114.

[4]賀斌.e-Learning情感計算模型設計研究[J].遠程教育雜 志，2011，（4）：103-110.

[5]趙慧勤，孫波.虛擬教師情感合成模型的研究[J].中國電化教 育，2012，（1）：121-126.

[6]夏煒，夏洪文，周晶晶.基于情感計算的情感Agent模型構建與應用[J].中國電化教育，2008，（10）：112-114.

[7]Picard R W， Picard R. Affective computing[M]. Cambridge： MIT press，1997.

[8]楊金朋，薛耀鋒，李佳璇，等.基于人臉表情識別的在線學習情感計算研究[J]. 中國教育技術裝備， 2017 （18）： 35-36.

[9]MS Bartlett， JC Hager， P. Ekman， and TJ Sejnowski. “Measuring facial expressions by computer image analysis”. Psychophysiology， 1999， 36：253--263

[10]羅奇，萬力勇，吳彥文.情感計算在e-Learning系統中的應用探索[J].開放教育研究，2006，12（3）：80-83.

[11]Duo S， Song L X. An e-learning system based on affective computing[J]. physics Procedia， 2012， 24： 1893-1898.

[12]A. Konar and A. Chakraborty， Emotion Recognition： A Pattern Analysis Approach， Wiley & Sons， 2015.

[13]S. Poria et al.，“Sentiment Data Flow Analysis by Means of Dynamic Linguistic Patterns，” IEEE Computational Intelligence， vol. 10， no. 4， 2015， pp. 26–36.

[14]馬希榮，王志良.遠程教育中和諧人機情感交互模型的研究[J].計算機科學，2005，32（9）：182-183.

[15]趙楠.針對在線學習的可穿戴式情感計算設備的設計與研究[D].浙江大學， 2016.

[16]夏洪文.情感計算及其在人機交互設計中的應用[J].中國電化教育，2008（1）： 106-110.