網絡教學中的學習情緒雙元辨別研究

鄧朝暉，彭建胥

網絡教學中的學習情緒雙元辨別研究

鄧朝暉，彭建胥

針對目前網絡教學系統中對學生學習情緒與學習狀態的捕捉辨識存在問題，提出在網絡學習情緒辨別機制中，結合人臉表情辨別和基于半投票機制的文字語意推論辨別兩種非侵入性情緒辨別方式的優點，設計了網絡實時監視指導單元。實驗表明，該非侵入性的情緒雙元辨別機制使網絡教學系統中的學習情緒辨別率得到有效提升，系統交互性明顯加強，為網絡教學系統中學習情緒辨別機制的設計提供方向。

情緒雙元辨別；人臉表情辨別；文字語意推論；實時監視；網絡教學

Network Teaching

0 引言

情緒辨別是通過各種感應器，獲取由情緒變化所引起的表情與生理變化信息，并對這些信息進行分析，以了解情緒變化。

隨著情緒辨別的發展，越來越多的學者提出利用情緒辨別幫助學生學習網絡課程。情緒運算的鼻祖Picard教授曾說過[1]：要讓電腦更有智慧更自然的與人類互動，必須賦予電腦認識、了解、甚至表達情緒的能力。可見，在網絡教學過程中，讓電腦捕捉到學生的學習情緒表達，并提供恰當的反饋信息，能提高網絡教學效率；在網絡教學系統中設置能辨別學生學習情緒的實時監視指導單元，是網絡教學系統設計的一個研究重點。

目前的網絡教學系統，大多為學生提供了高彈性的互動學習環境(如：根據學生的知識背景設置教材內容與教學策略，對于差生降低學習難度等),很少研究涉及到學生的學習狀態(如：學生學習能力的下降，可能是學習情緒的波動造成學習動機降低，而不是本身的學習能力有問題)。少部分的網絡教學系統中考慮了對學生學習狀態的捕捉，但大多采用頭戴式感應帽或者在身體上安置各種生理信息感應器來獲取情緒信息，這些侵入性的情緒辨別方式在某種程度上影響了學生的學習效果。

人類可以通過各種表情的傳遞、肢體語言、生理現象、聲音及利用文字表達情緒，使用某種單一的方法來獲取情緒是不完整的。所以，本文在網絡教學系統中通過加入非侵入性的情緒辨別機制，利用人臉表情辨識和文字語意推論雙元情緒辨別機制，可以更全面更準確地了解學生的學習情緒狀態，為學生提供及時適當的課程內容與回饋做準備，以提高學生的學習興趣和動機。

1 相關研究

1.1 人臉表情辨別

人臉表情辨別是指利用計算機對人臉表情信息進行特征提取，推斷人的心理情緒，從而實現人機之間的智能交互[2]。

近年來，人臉表情辨別[3]在視頻監控、身份驗證和信息安全等領域的應用日益廣泛。在過去的幾十年內，已經提出了多種用于人臉表情辨別的方法，如：基于灰度分布特征的方法、基于運動特征的方法和基于頻率特征的方法等。

一個完整的人臉表情辨別過程一般應包括四部分[4]：表情圖像的獲取、表情圖像預處理、特征提取及表情分類辨別。1.2 自然語言處理

自然語言處理研究是人類用自然語言與計算機進行通信的實現，它使計算機既能理解自然語言文本的意義(自然語言理解)，又能以自然語言文本表達給定的意圖、思想等(自然語言生成)[5]，實現自然語言處理，需要大規模真實語料庫的研制工作及大規模、信息豐富的詞典的編制工作。

近年來，情緒辨別技術的研究已成為自然語言處理中的熱點問題，有關情緒分析的研究論文層出不窮[6～8]。在電子商務、信息安全等領域，情感分析技術有很多的應用需求[9]。

2 實時監視指導單元的系統構架

網絡教學系統的實時監視指導單元由人臉表情辨別與學習狀態辨別機制以及課程與互動機制兩大部分組成，體系結構如圖1所示：

圖1 實時監視指導單元體系結構圖

在網絡教學過程中，學生通過系統終端用戶界面進行網絡課程學習：學生的表情狀態信息通過人臉表情辨別處理后傳送給互動代理，由互動代理選擇合適的聲音與動畫反饋給學生；學生與系統的自然語言交流經過文字語意推論處理，將學習狀態信息送給課程代理，課程代理選擇適當的教學策略，并從課程數據庫挑選合適的教材供學生學習。本文探討人臉表情辨別與學習狀態辨別機制的實現。

3 人臉表情辨別的實現

利用系統終端的網絡攝像頭采集學生的動態表情變化。對于采集到的視頻序列幀：首先對每一幀進行人臉表情圖像預處理，然后采用類內分塊主成分分析方法進行特征提取，最后用核最近鄰分類方法進行分類，以取得較好的表情辨別效果。

3.1 表情圖像預處理

在表情圖像預處理中，利用圖像亞采樣技術在原始圖像中獲得對表情辨別有幫助的人臉區域，采用灰度均衡化技術提高圖像的整體對比度，使灰度分布均勻[10]。

亞采樣由函數Subsample(aaa, r, c, iv, s)完成，其中r為圖像經亞采樣后的行像素數，c為圖像經亞采樣后的列像素數，iv為亞采樣間隔△，參數s控制著亞采樣網格的水平位移的大小。亞采樣間隔△的取值合適與否對分類正確率與分類速度有很大影響。本系統△的取值通過實驗確定在4和6之間。

為了消除因光照變化、不同膚色差異造成的圖像細節的影響，對表情圖像進行灰度值均衡化處理。灰度值均衡化是以累積分布函數變換法為基礎的直方圖修正法[11]，變換函數如公式（1）：

其中n是圖像中像素的總和，nk是灰度級為rk的像素個數，L為圖像中可能的灰度級總數，pr(rj)函數得到的曲線就是圖像的灰度圖。

3.2 表情特征提取

主成分分析方法(Principal Component Analysis, PCA)[12][13]具有簡單直觀、計算效率高、概念清晰、推廣性強等優點，得到廣泛應用。PCA表情特征提取過程為：首先對表情圖像進行訓練，得到一個用主成分描述的多維坐標系，然后把表情模板投影到該特征空間中，得到表情模板在該空間的投影系數，作為該模板的特征。對于一幅待辨別的表情圖像，將其投影到該特征空間中，與表情模板進行匹配，對該幅表情圖像進行分類。由于各類不同表情的差異較大，對所有的訓練樣本進行變換后，PCA表情辨別率較低。

基于傳統PCA的不足，系統采用類內分塊PCA方法進行特征提取：單獨對每類表情訓練樣本進行PCA處理，得到只含有該類表情特征的主成份，與其他表情無關，這些單獨構成每一類特征空間的主成份特征向量，就是“特征表情”。類內分塊PCA算法如下：

(1)對當前類別為i(i=l，…，c)內劃分后的全部訓練樣本子圖像塊(xij)kl(i=1，2…,Ni)，求得該類樣本總體協方差矩陣Σi2和均值xi；

(2)直接計算出矩陣Σi2的特征值Kih及相應的標準正交特征向量Uih(i=1,2…c，h=l,2,…,s*t)；

(3)選取前r個最大特征值對應的標準正交歸一的特征向量ui1,ui2…uir，這些特征向量組成的特征向量組便是符合條件的當前類訓練樣本子圖像塊的特征向量組，構造最優投影矩陣U′=[ui1,ui2,…,uir]；

(4)對每個已有類別進行訓練，直至得到所有類別的最優投影矩陣Ui′；

(5)對每一類表情的所有訓練樣本向該類子空間投影來提取特征，計算出所有訓練樣本的特征矩陣Yij(pr×q)；

(6)看看是否所有類別的訓練樣本均已訓練完，若是，則結束；否則繼續回到第(1)步開始，直至得到所有類別的訓練圖像的特征矩陣；

(7)對待測試樣本，向各個類別的最優投影矩陣Ui′投影來提取特征，得到一組特征矩陣Yij{t1,t2,…,tC}。

3.3 表情分類辨別

系統采用核最近鄰分類方法進行表情分類辨別，通過利用Mercer核，把輸入空間樣本映射到高維特征空間，使得映射后同類樣本接近，異類樣本變遠。

已知分別屬于C個類{wi，i=1,2,...,C}的j個樣本{x1，x2，…,xj}，對于未知類別樣本x的判決過程為：計算未知樣本到已知樣本的核距離，找到其最小距離對應的樣本xk。判決決策規則為：對于未知樣本x，比較x與j個已知類別的樣本之間的核距離，x與其最近的樣本同類。

4 文字語意推論的實現

系統的文字語意推論基于本體論和自然語言處理的推論模式。

4.1 本體論

本體是共享概念模型的明確的形式化規范說明[14]，本體的本質是:(1)概念化，通過抽象出客觀世界中一些現象的相關概念而得到的模型；(2)明確性，概念及它們之間的聯系都有明確的定義；(3)形式化，精確的數學描述，計算機可讀；(4)共享化，本體中體現的知識可跨應用系統進行互操作。

本體論的核心作用是利用樹狀結構定義某一領域的專業詞匯及它們之間的關系，其中節點是一個個的詞匯，節點之間的連接就是詞匯之間的關系。領域本體是本體的一種，它描述特定領域（醫療、教學等）中概念與概念間的關系，其目的是捕獲相關領域的知識，提供對該領域知識的共同理解，確定該領域內共同認可的詞匯，并從不同層次的形式化模式上給出這些詞匯和詞匯之間相互關系的明確定義[15]。

要讓計算機具有推理功能，必須建立相關教學領域的領域本體。系統采用的本體為MIT media lab制作的OMCSNet語義網。

4.2 自然語言處理

與計算機交互過程中，學生用文字表達抽象的信息。對于實時監視指導單元來說，句子中的動詞、形容詞、副詞包含有狀態信息，因此這些詞就是句子的關鍵字。

美國卡內基美隆大學的link parser連接解析器提供句子間隸屬的階層關系，能清楚的判別句子的關鍵字位置及不同關鍵字的詞性，從而選出對情緒有影響的詞進行推理。例如對于句子：I saw a girl saw a saw. 輸出為[ S[ NP I NP] [ VP saw [ SBAR[ S[ NP a gir NP] [ VP saw [ NP a saw NP] VP] S] SBAR ] VP ] S ] 。其中，最外層的S代表句子，它包含兩個成員：NP的I和以saw開頭的VP(包含子句)。句子最主要的表達含義通常位于最外層的主要句子，因此適當加重外層句子關鍵字所提供情緒信息的比重，可以得到更準確的情緒信息。假設輸入文字內容由argv字符串輸入本算法，下標從1到n，句子結構的處理算法如下：

For each token form argv[1] to argv[n]

On [*:push *into symbolStack,push an empty string into tokenStack.

On *]:push *into symbolStack.top()into“digestedSymbol,” push tokenStack.top() into“digestedToken.”

On *:Append currentString in tokenStack.top()

接著處理學習情緒信息。sumEI是目前已經統計處理的情緒信息，共10項，如sumEI[0]代表滿意等。currentEI表示目前子句所提供的情緒信息。算法如下：

While (currentsSS=SubSentence.pop())//若還有子句未處理

{

Eicap=MAX(sumEI[i])//選擇十項中最大值

If(currentSS.negated)

For each sumEI[i]:

{

sumEI[i]=CEIL(Eicap)-sumEI[i];

sumEI[i]+=currentEI[i];

}

}

4.3 語意推論的準確度與投票機制

在普林斯頓大學的WordNet中，名詞、動詞、形容詞和副詞均被組成一個同義詞網絡，每個同義詞集合代表一個基本的語意概念。例如：很棒的(awesome)這種學習狀態可搜到的同義詞組為amazing、awe-inspiring、awful、awing等。

為了提高語意推論的全面性，系統采用WordNet對輸入語句做更廣泛的搜索和更深層的推論，然后再用OMCSNetKai推論引擎查找句子中各子句與各同義詞之間的關聯度。同時，將學生意見作為推論的一部分，形成半自動化的投票機制。算法如下：

(1)在OMCSNetKai推論引擎中，學生輸入的語句經過自然語言處理后形成一個個的概念Ci(i=0,1,2,…,n)

(2)對于每一個概念Ci，利用WordNet的同義詞查詢后得到一個概念組SEi；

(3)對于SEi中每個概念，利用基于OMCSNet語義網的OMCSNetKai語意推論引擎對每種學習狀態集合內的元素作相關度的推論。投票方法開始參與學習狀態決策的流程，學生在投票方法中可以決定是否參與投票，如果參與，將提升被選擇學習狀態原始值一倍的程度。

5 實驗結果與分析

系統采用日本ATR 媒體信息科學實驗室的JAFFE 表情數據庫作為人臉表情辨別準確率測試的檢驗平臺，可獲得的JAFFE數據庫包含有10 名日本女性的7 種表情，每種表情圖片由2～4 張不等的256×256 的灰度圖組成，共213張，分析結果如表1所示：

表1 人臉表情辨別率

通過分析可知：本系統的人臉表情辨別方法是有效的，為系統及時了解學生的學習情緒提供了可靠依據。

為了判斷文字語意學習狀態辨別率，在網絡文本中隨機挑出含有學習狀態的文字語句作為分析樣本，10種學習狀態各100句，總共1000句，分析結果如表2所示：

表2 語意學習狀態辨別率

OMCSNetKai語意推論引擎結合WordNet同義詞查詢能幫助計算機收獲更多語意中更深層次的含義。另外，在語意推論部分，將學生意見作為推論的一部分，形成的半自動化投票機制，為確認學生的學習狀態提供了保障。

通過實驗分析可知，采用本文提出的人臉表情辨別與文字語意推論辨別相結合的情緒雙元辨別模式，準確率比單一情緒辨別模式要高10%左右。

6 總結

在網絡教學系統的實時監視指導單元中引入采取表情辨別與文字語意推論辨別相結合的非侵入性情緒雙元辨別機制，取得了較好的學習情緒辨別效果。未來的研究工作，可考慮加入其他非侵入性情緒辨別方法：如在系統中加入語音情緒辨別，方便學生利用音頻輸入設備直接與系統交流。在人臉表情的辨別方面，可以采取類神經網絡等方便快速的人臉辨別作為改良的辨別方法，以進一步提高系統的學習情緒辨別率。

[1] Picard R. W., Papert S., Bender W. Affective learning-a manifesto. [J]BT Technology Journal. 2004, Vol22, NO4.

[2] 劉芳. 應用圖像處理技術的人臉表情識別研究[D]. 北京：北京科技大學碩士學位論文, 2003, 06.

[3] WRIGHT J, YANG A, GANESH A, et al. Robust face recognition via sparse representation[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2009, 31(2): 210-227.

[4] 李文. 人臉表情識別研究[D]. 西安: 陜西師范大學碩士學位論文, 2007, 05

[5] 宗成慶. 統計自然語言處理[M]. 北京: 清華大學出版社. 2008.

[6] 楊江, 彭石玉, 侯敏. 基于主題情感句的漢語評論文傾向性分析[J]. 計算機應用研究, 2011, 28(2): 569-572.

[7] 段建勇, 謝宇超, 張梅. 基于句法語義的網絡與論情感傾向性評價技術研究[J]. 情報雜志, 2012, 31(1):147-150.

[8] LI Shou-shan, HUANG Chu-ren,ZONG Cheng-qing. Multi-domain sentiment classification with classifier combination[J]. Journal of Computer Science and Technology, 2011,26(1): 25-33.

[9] 衣麗霞, 王輝, 籍曉紅. 情感分析中極性副詞的自動擴展[J]. 計算機應用研究. 2013, 30(7):1958-1960,1970.

[10] 羅元, 吳彩明, 張毅. 基于PCA與SVM結合的面部表情識別的智能輪椅控制[J]. 計算機應用研究. 2012, 8: 3166-3168.

[11] 章毓晉. 圖像處理與分析[M]. 北京：清華大學出版社, 1999.

[12] Calder Andrew J, Burton A Mike, Miller Paul, Young Andrew W. A Principal Component Analysis of Facial Expressions[J]. Vision research, 2001, 41: l 179—1208.

[13] Baek Kyungim, Draper Bruce A, Beveridge J Ross, She Kai. PCA VS. ICA: A comparison on the [OJ] http://www.dodcounterdrug.com/faciakecognition/FRVT 2000/frvt2000.htm.

[14] Knowledge System Laboratory, Stanford University. What is an ontology[EB/OL].(2009-01-28)[2011-05-1 0].http://www-ksl.stanford.edu/kst/what-is-an-ontology.ht ml.

[15] 崔其文, 解福. 改進的領域本體概念語義相似度計算方法[J]. 計算機應用與軟件. 2012, 29(2): 173-174, 182.

Research of Learning Emotional Dual Recognition in Network Teaching

Deng Zhaohui, Peng Jianxu
(Computer Information Management Department, Chenzhou Vocational Technical College, Chenzhou423000, China)

To solve the problem about identification of learning state in current network teaching system, it combined the adventures of facial expression recognition and text semantic recognition based on semi-voting in learning emotional recognition mechanism, and designed a real-time monitoring guidance unit. Through experiments, it showed that in network teaching system the learning emotional recognition rate and human-computer interaction could be improved greatly by the mechanism provided a direction for the emotional recognition mechanisms of network teaching system.

Emotional Dual Recognition; Facial Expression Recognition; Text Semantic Recognition; Real-Time Monitoring；

TP311.51

A

1007-757X(2014)01-00035-04

2013.11.20)

湖南省高校科研項目(12C0977)

鄧朝暉（1973-），女，郴州職業技術學院計算機信息管理系，副教授，碩士，研究方向：虛擬實驗、動畫制作，郴州，423000彭建胥（1974-），女，郴州職業技術學院計算機信息管理系，副教授，本科，研究方向：計算機應用技術，郴州，423000