泛在學習環境下的情感智能及仿腦機理

路穎曉　戴偉輝

摘要：進入21世紀以來，現代移動互聯網的快速發展和社會化學習媒體的不斷涌現，現代遠程教育的環境發生了深刻變化。泛在學習方式使得學習過程轉變為學習者基于其自身需求對知識的個性化自主建構過程。大量研究表明，泛在學習環境下學習者的個性化基礎差異、海量學習資源的搜索與匹配困難以及時間、地點、環境等情境因素，已成為影響學習主動性和學習效率的主要原因，甚至使得學習者產生焦慮情緒。因此對泛在學習環境下的學習者情感體驗及其影響因素進行實時監測，為學習者提供個性化、智能化的學習策略及精準的學習資源推薦，已成為亟待解決的關鍵問題。認知神經科學的研究成果表明，人類的情感是在腦機制作用下一系列神經活動的結果。在人工智能領域，情感智能一般指通過機器感知人類的情感狀態并主動調節自身的行為，為人類帶來愉悅的情感體驗。計算機能夠感知人類的情感需求并作出人性化的反應。因此，結合神經科學與人工智能技術的前沿知識，對泛在學習環境下的學習者情感神經機制及其表達特征進行深入分析，給出情感信息的實時監測、識別方法，并闡述情感智能的實現方法及其仿腦機制，為泛在學習環境下的情感教學提供智能化手段。

關鍵詞：人工智能；泛在學習；情感智能；仿腦機理；智慧教學

中圖分類號：G434 文獻標識碼：A 文章編號：1009-5195（2018）02-0039-06 doi10.3969/j.issn.1009-5195.2018.02.005

一、引言

20世紀90年代以來，隨著互聯網的發展和多媒體技術的興起，遠程教育（Distance Education）作為一種現代教育的新模式，在面向社會、農村偏遠地區和發展中國家的全球教育體系中發揮了重要作用（Moore et al.，2005）。1999年1月13日，我國教育部制定的《面向21世紀教育振興行動計劃》獲得國務院批準，正式提出“實施現代遠程教育工程，形成開放式教育網絡，構建終身學習體系”，開啟了我國遠程教育的發展之路（南國農，2005）。

進入21世紀以來，隨著現代移動互聯網的快速發展和各類社會化學習媒體的不斷涌現，現代遠程教育的環境發生了深刻變化。學習者可以隨時、隨地通過移動終端訪問教學資源，在開放式的學習共同體中進行交流互動，實現無縫學習（Saleh，et al.，2015；Cárdenas-Robledo et al.，2018）。這種泛在學習（Ubiquitous Learning，U-Learning）方式，使得學習過程轉變為以學習者為中心、基于其自身需求對知識的個性化自主建構過程（Cárdenas-Robledo et al.，2018； Guabassi et al.，2018）。大量研究表明，泛在學習環境下學習者的個性化基礎差異、海量學習資源的搜索與匹配困難以及時間、地點、環境等情境因素，已成為影響上述學習主動性和學習效率的主要原因，甚至使得學習者產生焦慮情緒（Zhou et al.， 2015；Pozdnyakova et al.，2017；Guabassi et al.，2018）。上述影響會在學習者的情感體驗中得到綜合反映，因此，運用情感智能技術解決泛在學習中的問題具有重要意義（Dai et al.，2014； Samigulina，2016）。

人類的情感是在腦機制作用下一系列神經活動的結果（Davidson et al.，2000），以上過程由人類大腦的情感與記憶回路所控制，并在相應的腦功能區將產生一定的生理激活反應（Horlings，2008），進而通過神經調控機制可引發人體外周生理信號（如腦電、皮膚電、心電、呼吸、體溫等）及外部表現（如語音、表情、姿態、動作等）的一系列變化，通過對這些變化的觀測可以識別、計算人類的情感狀態。1990年，耶魯大學心理系的Salovey和新罕布什爾大學的Mayer提出了“情感智能”（Emotional Intelligence，EI）的概念，將其定義為一種社會智能，包括監督自己和他人情緒的能力、區分自己和他人情緒的能力，以及運用情緒信息去指導思維和行動的能力（Salovery et al.，1990）。在人工智能領域，情感智能一般指通過機器感知人類的情感狀態并主動調節自身的行為，為人類帶來愉悅的情感體驗。1997年，美國麻省理工學院的Picard出版了著名的《情感計算》（Affective Computing）一書（Picard，1997），闡述了人類的情感信息能夠在一定程度上被計算機所獲取、處理、計算和表達，從而使得計算機能夠感知人類的情感需求并作出人性化的反應，為人類提供具有理性智能與情感智能相結合的智慧服務（戴偉輝，2012）。

本文將在已有研究成果的基礎上（Zhou et al.，2015；Dai et al.，2014），從泛在學習者的情感神經機制出發，對其情感表達特征、情感特征畫像進行分析闡述，研究在上述環境下的情感信息監測采集與識別、情感智能及其仿腦機理，為泛在學習環境下的情感教學提供先進的智能化手段。

二、學習者的情感神經機制與情感特征

1.學習者的情感神經機制

情感是人類重要的心理活動，由來自外部或身體內部的特定情景所產生的刺激信號通過各種感覺器官和感覺通路傳入到大腦邊緣系統及各級中樞，并激發相應的腦功能活動，進而在神經調控機制下引發人體一系列生理反應。這些反應通過神經感覺通路的反饋在腦結構中聚合，形成對情感變化的主觀體驗。在人類對情感信息處理的神經機制方面，已經形成了大量的研究成果。這些研究主要是針對某類特定的情感展開的，例如，Armony等人（1997）對恐懼信息的腦處理過程進行了分析。關于泛在學習環境下的學習者情感神經機制，Huang等人（2015）從網絡情感符號分類的角度給出了如圖1所示的基本框圖：

圖1 泛在學習者的情感神經機制

圖1中將網絡情感信息劃分為動作符號、語音符號、結構符號、色彩符號、圖形符號、文本符號六大類，認為每類符號均通過某種方式的編碼和約定俗成的規則傳達了一定的情感信息（Huang et al.，2015）。在對上述符號的認知過程中，動作、結構、色彩、圖形等具有表象特征的符號信息占用時間資源較少，能夠引發快速的第一性情感反應，被稱之為第一性情感信息。而與語義密切相關的文本符號信息占用時間資源相對較多，須經過大腦高級皮層認知后才能產生相對慢速的第二性情感反應，稱其為第二性情感信息。語音符號信息既包含具有豐富情感的表象信息，也包含了其語義內容信息，同時具有第一性和第二性情感信息的特征。

在泛在學習過程中，情感信息通過學習者的感覺通路首先傳遞到其大腦邊緣系統，產生第一性情感反應，繼而通過大腦高級皮層的認知活動形成第二性情感反應。這些情感所產生的人體生理反應被大腦進一步感知，產生特定的情感體驗，并由此形成了被大腦所記憶的特定情感符號規則系統。大腦高級皮層對上述信息在感覺通路中的傳遞具有選擇性關注調節作用，對視覺、聽覺和時間資源的分配進行自主調控。在泛在學習環境下，不同的題材、情景、人物、視覺、語音和評價都會對學習者的情感產生變化。其中，熟悉的學習伙伴、具有吸引力的情景氛圍、優美的視覺效果、清晰動聽的語音、適合于學習者的題材內容和對學習者的正面評價是激發學習者學習興趣及愉悅情感體驗最重要的影響因素（Dai et al.，2014）。在這些因素中，與人物信息、情景氛圍、音視特色等相關的表象信息能夠引發大腦邊緣系統快速的第一性情感反應，而與題材內容、學習評價有關的信息須經過大腦高級皮層的語義認知以后，才能產生相對慢速但較為持久的第二性情感反應。

情感神經機制模型對于泛在學習環境下的教學指導意義在于：（1）在六大類符號中，動作符號、語音符號、色彩符號引發的關注反應最快，而對其他符號的關注反應相對較慢。語音符號具有語音、語義兩方面的特征，對前者的關注反應較快。因此，泛在學習系統中應考慮到以上反應特性，對教學策略、課件制作以及人機交互進行優化設計。（2）通過傳達熟悉的學習伙伴信息、營造具有吸引力的情景氛圍、設計特色音視覺效果來激發學習者直覺的第一性情感反應。為學習者提供適合于其動機、需求及學習基礎的題材內容，并及時給予學習者正面的評價，形成良好的第二性情感反應。（3）學習者經過情感認知體驗所形成的情感符號規則系統對后續學習的影響非常大，在其前期學習階段形成良好的情感體驗至關重要。不同學習者對六類符號的關注敏感性及理解、認知能力存在著較大差異，要考慮到學習者的個性化差異特征。

2.學習者情感信息的獲取

人類的情感變化除了在特定的腦功能區產生相應的激活信號以外，還會通過神經調控機制引發其外周生理信號和外部表現的變化，并可能在其后續有意識的行為中表達出來，如圖2所示（戴偉輝，2012）：

因此，對上述情感信息的獲取方式可以通過自我報告、f-MRI等神經實驗設備觀測、人體外周生理信號采集分析以及語音、表情、姿態、下意識的動作等外部表現觀測和有意識的后續行為觀測分析來實現。對于泛在學習者而言，其情感信息主要通過泛在網絡傳送的視頻、音頻信號及學習者在網上活動所產生的網絡行為數據來獲取。

在上述可觀測的信號中，視頻信號包含著豐富的微表情信息，被作為重要的情感信息獲取來源，然而在情感識別的準確性上尚存在一定的困難。相對而言，語音信號的情感識別具有較高的精度，已成為分析人類外顯情緒和內隱情緒的重要“信息紋路”（Ververidis et al.，2006），可獲得70%～80%的情感識別精度（Dai et al.，2015）。網絡行為數據主要通過服務器的日志文件或在線跟蹤工具來獲取，其中頁面轉換、頁面停留時間、鼠標位置與動作、鍵盤操作等都是情感表達的重要行為特征。如：學習者處于興趣濃厚、開心愉悅的情感狀態，會呈現頁面停留時間較長、鼠標和鍵盤使用頻率高，內容熱點區域點擊、瀏覽次數多，對課題提問能快速回復等特征，還有可能樂于發表正面評論；而當學習者焦躁不滿時，則頁面的轉換頻繁高，鼠標會在大范圍頻繁移動，甚至發表負面的評論（Dai et al.，2014）。基于學習者網絡行為數據的情感識別，必須考慮到學習者在特定情感狀態下的上述行為表達習慣可能存在較大的個性化差異。Zhou等人（2015）對泛在學習環境下的學習者鼠標與鍵盤動作作了歸納，將其劃分為16種基本動作，學習者的行為習慣表達可體現在以上動作序列中。采用BP-GA神經網絡模型結合學習者的身份編號對上述操作數據進行訓練，可獲得78%的情感狀態識別精度。

3.學習者的情感特征畫像

泛在學習者的情感特征畫像包括神經活動特征和外部表現特征兩個方面的關鍵要素。其中，神經活動特征由學習者在視覺、聽覺感知能力及其對情感信息的認知、反應能力的差異化特征構成，可通過可穿戴EEG（腦電信號）、fNIRI（近紅外腦功能成像）等設備在真實學習環境下進行觀測，并獲得相關特征參數，如圖3所示：

圖3 泛在學習者的神經活動特征（EEG、fNIRI信號）

泛在學習者的外部表現特征包括其網絡音頻、視頻信號中所體現的特征，以及在不同頁面的鍵盤、鼠標操作和由這些操作動作序列組成的網絡行為表達習慣，可通過網絡行為大數據分析獲得相關特征參數。然后，在神經活動特征與外部表現特征兩者之間建立統計學分析模型和關聯知識挖掘模型，以此為基礎結合其神經活動特征，給出學習者的完整情感特征畫像。根據以上畫像，可以對學習者的情感信息進行監測采集，通過其在網絡上的外部表現特征分析神經活動特征，并在線識別情感狀態的變化。

三、學習者情感信息的監測采集與識別

泛在學習環境下，學習者的情感狀態要受到不同的學習環境、學習時刻、學習內容、學習交互活動及共同學習伙伴等眾多因素的影響，且處于動態變化之中。為了及時識別情感的變化，必須對包含學習者情感的語音信息、視頻信息、網絡行為數據及不同頁面的操作進行實時監測和動態采集，并根據學習者的情感特征畫像進行在線識別。圖4為對學習者的情感信息監測采集與情感狀態在線識別方案：

圖4 泛在學習者情感信息監測采集與情感狀態在線識別

情感信息的采集主要通過實時監測Agent和數據采集Agent兩個智能Agent來實現。Agent為采用人工智能技術開發的智能代理，具有屬性和行動規則，可以在設定的屬性參數下，按照上述行動規則產生自主行為，完成預定的任務。其中，數據采集知識庫為上述兩個Agent提供采集策略與規則，并根據學習者的情感特征畫像為之提供采集、監測智能引導。泛在學習者的情感狀態識別包括數據預處理、特征參數提取、識別算法三個環節，通過數據預處理Agent和情感識別Agent兩個智能Agent來實現。其中，情感識別知識庫為識別提供學習者情感特征畫像以及特征參數提取方法，情感識別Agent根據以上知識采用智能識別算法完成對學習者情感狀態的在線識別。

通過對泛在學習者在學習過程中的情感狀態在線識別，可以分析在整個學習過程中情感狀態的變化規律及其影響因素，進而采用情感智能技術對教學策略、學習資源的組織及其呈現方式進行自適應調節，極大地提升學習者的情感體驗和學習效果，并使之保持持續的學習興趣及學習自主性。

四、泛在學習的情感智能及其仿腦機理

情感智能技術經過20多年的發展，取得了巨大進展，已成為機器智能研究領域的一個重要分支。情感智能的實現主要涉及到情感的分類與描述、情感的識別算法、情感的智能機制三個方面。對于情感的分類與描述，目前通常有離散型和連續型兩種方式。離散型方式只對正、負情感或生氣、厭惡、恐懼、高興、悲傷、驚訝等基本類型的情感進行分類與描述。連續型方式則在一個連續空間中用不同的維度來描述情感狀態。其中，Mehrabian提出了著名的PAD模型，并證明了人類已知的情感狀態能夠用近似獨立的三維連續空間（Position-Arousal-Dominance）模型來描述（Mehrabian，1995）。

在情感的識別算法方面，需要針對泛在學習環境下的文本信息、語音信息、視頻信息、頁面操作及各類網絡行為數據分別采用合適的識別算法，主要的算法有情感詞庫匹配、隱馬爾可夫模型（HMM）、人工神經網絡（ANN）、高斯混合模型（GMM）、支持向量機（SVM）以及貝葉斯分類法等。在上述識別算法中，傳統的實現方式是以學習者對其情感狀態的主觀自述為基礎，采用機器學習在情感狀態與從采集數據中提取的特征向量參數之間建立關聯，然后通過模式識別算法進行識別。以上方式不僅受到學習者主觀自述描述準確性的影響，而且存在大量的計算冗余開銷。本文采用EEG、fNIRI等神經活動觀測手段對學習者的情感狀態進行分析，并基于上述觀測信息對采集數據的特征向量參數進行優化和標定，大大提高了對情感狀態的識別計算效率和識別精度。

在情感的智能機制方面，主要有基于知識框架的OCC 模型、基于統計學特征的HMM模型、人工神經網絡的模型和智能Agent模型等（Picard，1997；Becker-Asano et al，2010；Dai et al.，2015）。近年來，在人工智能與腦科學相結合的基礎上發展起來的類腦（Brain-Like）與仿腦（Artificial Brain）技術為情感智能機制的實現提供了先進的方法。上述技術采用神經擬態計算（Neuromorphic Computing）對人類大腦的神經元信號處理過程進行模擬，從而實現類似大腦的功能機制或對上述機制進行模仿。目前，已經研制出神經擬態計算芯片和仿腦組件。泛在學習環境下，基于這些組件可以更好地實現接近于人類的情感智能機制，其仿腦機理如圖5所示：

圖5 泛在學習環境下的情感智能仿腦機理

將在線識別的學習者情感狀態及其變化信息輸入到仿腦組件的丘腦區，丘腦根據學習者的情感特征畫像，對上述信號進行判斷處理之后，傳入由左腦、聠連體、右腦組成的情感分析及應對策略決策中樞。中樞在對學習者情感特征畫像進行分析之后，在情感智能策略庫中選擇最優策略，并將決策生成應對策略通過小腦功能區輸出。基于上述仿腦機理及情感智能機制，可以實現泛在學習環境下的智能化情感教學，根據學習者的情感體驗變化及其影響因素，對教學策略和教學資源進行自適應調節，為解決泛在學習中的問題提供先進的智能化手段。

五、結束語

隨著現代移動通訊網絡的快速發展以及各類社會化學習媒體的不斷涌現，泛在學習已成為日益普及的社會化學習新形式。在這一學習環境下，學習者的情感體驗對于激發學習興趣和提高學習自主性具有重要的影響，如何通過情感智能技術在線獲取學習者的情感狀態信息，為其學習提供個性化、智能化的學習策略和資源推薦，已成為泛在學習的關注熱點與亟待解決的問題。本文在前期研究成果的基礎上，從學習者的情感神經機制出發，對其情感表達特征、情感特征畫像以及情感信息的監測采集與識別、情感智能及其仿腦機理作了研究，為解決泛在學習環境下的問題提供先進的智能化手段。隨著相關領域研究工作的不斷深入，以機器理性智能與情感智能相結的智慧學習將成為泛在學習發展的新趨勢。

參考文獻：

[1]戴偉輝（2012）. 情景感知與情感智能：通往智慧城市的智慧之門[J]. 上海城市管理， （4）：29-32.

[2]南國農（2005）. 發展現代遠程教育：中國之路[J]. 中國遠程教育， （2）：5-8.

[3]Armony， J. L.， & Ledoux， J. E. （1997）. How the Brain Processes Emotional Information[J]. Annals of the New York Academy of Sciences， 821：259-270.

[4]Becker-Asano， C.， & Wachsmuth， I. （2010）. Affective Computing with Primary and Secondary Emotions in a Virtual Human[J]. Autonomous Agents and Multi-Agent Systems， 20（1）：32-49.

[5]Cárdenas-Robledo， L. A.， & Pe?a-Ayala， A. （2018）. Ubiquitous Learning： A Systematic Review[J]. Telematics & Informatics. https：//doi.org/10.1016/j.tele.2018.01.009.

[6]Dai， W. H.， Han， D. M.， & Dai， Y. H. （2015）. Emotion Recognition and Affective Computing on Vocal Social Media[J]. Information & Management， 52（7）：777-788.

[7]Dai， W. H.， Hang， S.， & Zhou， X. et al. （2014）. Emotional Intelligence System for Ubiquitous Smart Foreign Language Education Based on Neural Mechanism[J]. Journal of Information Technology Applications & Management， 21（3）：65-77.

[8]Davidson， R. J.， Jackson， D. C.， & Kalin， N. H. （2000）. Emotion， Plasticity， Context， and Regulations： Perspectives from Affective Neuroscience[J]. Psychological Bulletin， 126（6）：890-909.

[9]Guabassi， I. E.， Bousale， Z.， & Achhab， M. A. et al. （2018）. Personalized Adaptive Content System for Context-Aware Ubiquitous Learning[J]. Procedia Computer Science， 127：444-453.

[10]Horlings， R. （2008）. Emotion Recognition Using Brain Activity[D]. Netherland： Delft University of Technology.

[11]Huang， S.， Zhou， X.， & Xue， K. et al. （2015）. Neural Cognition and Affective Computing on Cyber Language[J]. Computational Intelligence and Neuroscience.

[12]Mehrabian， A. （1995）. Framework for a Comprehensive Description and Measurement of Emotional States[J]. Genetic， Social， and General Psychology Monographs， 121（3）：339-361.

[13]Moore， M. G.， & Kearsley， G. （2005）. Distance Education： A Systems View[J]. Computers & Education， 29：209-211.

[14]Picard， R. W. （1997）. Affective Computing[M]. USA： MIT Press， Cambridge.

[15]Pozdnyakova， O.， & Pozdnyakov， A. （2017）. Adult StudentsProblems in the Distance Learning[J]. Procedia Engineering， 178：243-248.

[16]Saleh， S. A.， & Bhat， S. A. （2015）. Mobile Learning： A Systematic Review[J]. International Journal of Computer Applications， 114（10）：1-5.

[17]Salovery， P.， & Mayer， J. D. （1990）. Emotional Intelligence[J]. Imagination， Cognition， and Personality， 9（3）：185-211.

[18]Samigulina， G.， & Samigulina， Z. （2016）. Intelligent System of Distance Education of Engineers， Based on Modern Innovative Technologies[J]. Procedia-Social and Behavioral Sciences， 228：229-236.

[19]Ververidis， D.， & Kotrropoulos， C. （2006）. Emotional Speech Recognition： Resource， Features， and Methods[J]. Speech Communication， 48（9）： 1162-1181.

[20]Zhou， X.， Dai， G. H.， & Huang， S. et al. （2015）. CyberPsychological Computation on Social Community of Ubiquitous Learning[J]. Computational Intelligence and Neuroscience.

收稿日期 2018-03-01 責任編輯 田黨瑞