基于多模態數據的人工智能教育大腦構建和應用場景探究

摘 要：隨著“人工智能+教育”的發展，科技賦能教育催生人工智能教育大腦。人工智能教育大腦將突破現有教育模式，通過多模態數據的實時感知，打造更精準、更高效、更豐富的全新教育生態系統。首先，結合人工智能教育大腦概念及關鍵技術，對人工智能教育大腦進行概述。其次，對人工智能教育大腦中的多模態數據進行分析，并基于多模態數據對人工智能教育大腦進行模型建構，分析其多應用場景及功能。最后，對人工智能教育大腦的未來發展前景進行價值探討。

關鍵詞：人工智能教育大腦；多模態數據；知識圖譜；學習者畫像

中圖分類號：G4 文獻標志碼：A 文章編號：2096-0069（2024）03-0048-08

智能化時代，類腦智能被稱作人工智能領域的終極目標，隨著大數據、人工智能技術在教育領域的不斷深入應用，人工智能教育大腦應運而生，成為技術賦能教育革新的產物。技術革新的動力驅動是教育數字化轉型的動因之一，因此，人工智能教育大腦的開發與應用有利于驅動教育數字化轉型，推動教育的創新與發展[1]。

類腦智能旨在模擬人類大腦神經元運行機制、感知模式與認知機制[2]，由于人腦對外界的感知方式是通過視覺、聽覺、觸覺、嗅覺等進行的，因此信息的呈現方式是多模態的，人工智能教育大腦作為類腦智能，對于數據的感知方式也應該是多模態的。大數據時代，當數據量達到一定規模時，單模態數據不足以支撐人工智能教育大腦進行數據的深度分析、準確聚焦、精準判斷，只有通過多維度、多渠道進行數據的收集，進而實現多模態數據的深度融合，才能實現全方位的學習者分析、教學指導、教學評價、教學管理等，提供更加精準化、個性化、優質化的教育服務。

2021年教育部等六部門印發的《關于推進教育新型基礎設施建設構建高質量教育支撐體系的指導意見》指出，開發基于人工智能的智能助教、智能學伴等教學應用，實現人機共教、人機共育。美國《2022地平線報告（教與學版）》指出，教與學采納的六項關鍵技術之一是用于學習工具的人工智能，強調需要關注人工智能作為智能助手提高學習成績、人工智能改善學習體驗，準備好接受人工智能驅動的學習體驗和工具等關鍵領域。因此，對于人工智能教育大腦的研究有利于推動落實國家教育政策，推進信息技術和教育教學的深度融合，順應人工智能發展的時代趨勢。由于人工智能教育大腦正處在由理論到實踐的探索階段，從整體架構到應用場景仍需不斷地研究與試驗，因此，本研究旨在通過對人工智能教育大腦進行模型構建來分析其應用場景和功能，并探討其發展前景和應用價值，為未來教育人工智能大腦的開發提供一定的理論支撐。

一、相關概念

（一）人工智能教育大腦

在社會治理領域，隨著《城市大腦發展白皮書（2022）》的發布，“城市大腦”實現了從理論走向實踐。近年來，在教育領域已有學者提出了人工智能教育大腦的相關概念，并進行了相關研究。

顧小清等[3]從數據出發，結合“城市大腦”的運行機制，將人工智能教育大腦的實質概括為海量教育數據模型、深度學習算法、高度計算力等智能化技術與算法的融合體。張治等[4]將人工智能的本質與人類大腦的基本特性相融合，構建了一種人工智能教育大腦新理念：人工智能在教育領域的仿生智能體，包括多模態數據的全面感知系統、基于知識圖譜和學習者模型的多智能算法裁定類腦中樞系統、多場景應用的反饋系統3個部分。

通過以上兩位學者對于人工智能教育大腦概念的界定，可以發現，兩者都強調對于大規模數據的處理及智能化算法，且都把人工智能教育大腦視作多部分的融合體。不同的是，前者強調人工智能教育大腦中包含的各種智能技術，后者則強調類比人腦的生態系統架構，包含相應的運行機制。本研究認為，人工智能教育大腦是模仿人類神經系統工作原理的多智能技術與算法的融合體，包括多模態數據感知與挖掘、多智能技術分析與處理、多場景服務與應用3個部分。

（二）多模態數據

數據天然的存在狀態就是多模態的形式，人類通過大腦皮層控制五官感覺，例如視覺、聽覺、嗅覺等，進而從外界獲取豐富的信息。人類獲取信息的方式就是以多模態形式進行的。

多模態數據是指通過兩種或多種方法對同一現象、過程或環境進行處理而得到的有關數據[5]。例如，在智能學習環境中，通過抓拍靜態圖像分析識別學習者注意力，通過在一定時間內檢測學習者眨眼次數判斷其學習狀態；通過語音情感識別技術，實時監測學習者情緒；通過視頻分析法對課堂中的師生交互行為、教師提問與學生發言進行分析。以上是智能學習環境下對數據采集的多種方式，由此可見，數據采集的信息并不只是單一模態，還需要與其他模態組合分析來避免研究的局限性[6]。

本研究是基于多模態數據來研究人工智能教育大腦應用的。人工智能教育大腦如同人的感知神經網絡，可獲取線上線下多來源、多維度、多模態教育數據[4]，通過實現多模態數據的實時感知，達到傳統單模態方式無法實現的全方位、精準、高效、高質的性能和效果。

二、關鍵技術

人工智能教育大腦是人工智能時代下教育大數據和人工智能技術深度融合的產物，因此，從宏觀上來看，人工智能教育大腦必定涉及人工智能技術與大數據技術。2019年一科技有限公司提出“教育大腦EDU BRAIN”戰略，包括人工智能技術、大數據技術、物聯網技術、人臉識別技術4大核心技術，涵蓋了基礎支撐層、物聯智能層、數據智能層、算法智能層、可視化智能層、應用智能層6大方向產品。在此基礎上，本研究主要聚焦于通過人工智能教育大腦的技術路線來提取相應且具體的關鍵技術，具體如圖1所示（見下頁）。

通過對人工智能教育大腦概念的梳理與界定，人工智能教育大腦的技術路線可呈現為：多模態數據感知與挖掘→多智能技術分析與處理→多場景應用與服務。

（一）多模態數據感知與挖掘中的關鍵技術

在多模態數據感知與挖掘過程中，傳感器技術、RFID技術、人臉識別技術、多模態數據融合技術、多模態數據檢索技術等為人工智能教育大腦實時感知數據提供了相應的支撐。例如，借助人臉識別技術，通過攝像頭捕捉學生課堂動作，獲取學生課堂表現行為的數據；借助皮電傳感器技術，獲取有關學生情緒狀態的數據。在實現多模態數據感知與挖掘之后，數據云存儲技術也為數據的進一步分析與處理做好了保障。

（二）多智能技術分析與處理中的關鍵技術

在多智能技術分析與處理過程中，通過多模態數據分析技術、多組合算法裁定技術、可視化分析技術、預測性分析技術等進行多模態數據的分析與處理，以實現智能決策、智能推送（服務和場景的推送）、數據可視化等功能的輸出，從而應用到多場景中。

（三）多場景服務與應用中的關鍵技術

在多場景服務與應用過程中，人工智能教育大腦主要通過知識圖譜構建和動態精準畫像，為用戶提供精準、個性化的服務。

知識圖譜主要是基于用戶信息及學習記錄，建立知識點與用戶間的關聯，從而準確地描述學生的知識掌握狀況，并進行學情研判、學習路徑規劃以及個性化學習資源推薦。同時，教師亦可了解學生的實際情況，改善教學方式。

學習者畫像主要是通過基于智能手環等可穿戴設備收集的心率、皮膚電、腦電等數據，查看關于學生的課堂參與度、學習興趣、情緒變化等維度的畫像，發現不同學生對不同教學方法的感興趣程度。

這一過程作為技術路線的最后一個環節，主要依托前兩個環節中技術的實現，而這一過程更多的是場景化、圖譜化、精準化功能的體現和教育教學、教學管理、教學評價、家校共育等多場景應用的延伸。

三、模型構建

（一）人工智能教育大腦模型構建基礎

相較于單模態數據，多模態數據能夠從多個視角、多種形態、多個信息來源對事物的存在方式進行表征和計算[7]。因此，本研究基于多模態數據來進行人工智能教育大腦的模型構建是具有必要性，其采集通道也成為構建人工智能教育大腦模型的關鍵基礎。

人工智能教育大腦作為類腦智能，對于多模態數據的采集通道應類比于大腦神經元運行機制、感知模式與認知機理。根據互聯網大腦模型圖[8]、人工智能教育大腦結構[4]、輕量級人工智能教育大腦信息模型[9]、數據中臺架構體系[3]中對于多模態數據的采集，可以發現，前兩者將多模態數據的采集通道分為了類腦視覺系統、類腦聽覺系統、類腦感覺系統（類腦軀體系統）等；后兩者則是重在對多模態數據的分類，例如，一種分類是學生數據、教師數據、資源數據以及管理數據，另一種分類是基于大數據環境下數據源的分類，包括內部數據和外部數據。

結合已有研究，將多模態數據的采集通道總結為大數據環境下基于各種智能技術的5大類腦系統，具體如圖2所示。這將有助于為人工智能教育大腦模型的構建奠定基礎。

在大數據環境下，多模態數據可以分為內部數據和外部數據，內部數據由學生數據、管理數據、教師數據以及資源數據等組成，外部數據由第三方數據、開放數據以及手動添加的數據等組成，采集通道分為類腦聽覺系統、類腦視覺系統、類腦感覺系統、類腦運動系統以及信息網絡系統，這5個系統分別采集不同模態的數據。例如，類腦聽覺系統利用音頻傳感器、視頻傳感器等采集音頻數據，類腦視覺系統利用視頻傳感器、人臉識別等采集視頻數據，類腦感覺系統利用皮電傳感器、壓力傳感器等采集圖像、文本等多種類型的數據，類腦運動系統利用教育機器人、VR設備等采集相關數據，信息網絡系統利用網絡爬蟲、開放數據庫等采集文本數據。

人工智能教育大腦對多模態數據的實時感知是依靠多門類的采集通道發揮作用實現的，這也體現出類腦智能的價值意義。

（二）人工智能教育大腦模型構建

隨著教育信息化時代的到來和人工智能的發展，有關類腦智能的概念和模型不斷開發和實現，近年來，不少學者提出了相應的類腦智能的模型或架構。例如，方海光等[10]以人類大腦基本能力結構為基礎，圍繞基礎功能（存儲、記憶）、核心功能（運算、學習、推理、歸納、判斷）和專項功能（監測、評價、決策、干預、預測）3大分類，構建區域教育數據大腦的功能結構模型；劉峰等[8]以互聯網的核心硬件層為中心構建互聯網虛擬大腦，主要關注其虛擬聽覺系統、虛擬視覺系統、虛擬傳感系統、虛擬運動系統；張治等[4]提出了由多模態數據、多智能算法、多場景應用3個部分組成的人工智能教育大腦生態架構；郭勝男等[9]從結構模型、輕量級信息模型和核心模塊3個方面剖析人工智能教育大腦的整體結構、信息流轉調度及核心功能。

基于現有有關教育大腦模型的構建以及對多模態數據采集通道的架構，本研究對人工智能教育大腦的模型構建如圖3所示（見下頁）。

本研究構建的人工智能教育大腦主要由多模態數據感知層、智能技術分析層、智能場景應用層構成。

多模態數據感知層主要是由類腦聽覺系統、類腦視覺系統、類腦感覺系統、類腦運動系統、信息網絡系統構成，主要實現對大數據環境下內部數據和外部數據的實時感知。

智能技術分析層主要是基于互聯網教育云平臺，通過人工智能算法實現數據的分析和處理，主要包括知識圖譜和學習者精準畫像的分析模型。

智能場景應用層主要圍繞教師的教、學生的學以及家校共育這3個層面，形成個性化教與學、精準化教學管理、智能化教學評價和針對性家校共育4個場景。

人工智能教育大腦通過實時感知學生呈現的多模態數據，實現對學生的精準化教學和管理，體現了“場景化、效果化”的特征；人工智能教育大腦通過多種人工智能技術，實現個性化和定制化教育，體現了“技術化、個性化”的特征；人工智能教育大腦為學生的學習和教師的教學與管理提供便捷的智能服務，體現了“學生化、教師化”的特征。

四、應用場景

多模態數據通過人工智能教育大腦的多模態數據感知層和智能技術分析層，最后以可視化的方式呈現在智能場景應用層來提供精準化、個性化、優質化的教育服務，實現個性化教與學、精準化教學管理、智能化教學評價及針對性家校共育，如圖4所示。

（一）個性化教與學

該應用場景主要是通過人工智能教育大腦實現教師的個性化教學和學生的個性化學習，兩者相輔相成，相互促進。

人工智能教育大腦通過采集多模態行為數據，包括學習者個性特征數據（愛好、興趣與學習能力）、學習行為數據（學習行為與習慣）、學習水平數據（知識掌握與能力表現）等，挖掘內在聯系，深入分析成因，進而優化個性化教學的實施[11]。同時，還可以推薦優質的教學資源，實現教師利用數據驅動課堂教學。

人工智能教育大腦通過知識圖譜構建和學習者畫像，不僅可以為學生構建全方位、優質化、個性化的知識體系，實現真正意義上的個性化學習，還可以揭示學習者的特征，同時在全方位、可視化和動態化評價的基礎上，為學生定制個性化學習任務和學習路徑。

（二）精準化教學管理

該應用場景主要基于教育管理信息系統，通過人工智能教育大腦實現學校管理自動化，為教師和管理員提供信息，為學生提供指導，有助于制定教育教學決策[12]。

在人工智能教育大腦的支持下，未來學校應該具有統一的教育管理信息系統，相應的教學管理基礎設施，智能化且操作性強的教學管理流程，以及個性化、精準化的教學管理決策，從而實現數據驅動的教學計劃管理、教學組織管理、教學質量管理。

人工智能教育大腦通過對學生學習行為的統計，利用智慧簽到、隨機提問等功能，以可視化的方式為教師提供學生的學習情況，從而便于教師及時評估教學計劃和教學質量；通過對學生學習行為異常的預警，及時將學生在課堂中與學習無關的行為或突發狀況進行記錄，從而便于教師進一步優化教學計劃、教學組織形式等；同時還可以實現智能排課、教師使用統計等功能。

（三）智能化教學評價

該應用場景主要是通過人工智能教育大腦對多模態數據的實時感知，解決了數據碎片化、片面化等問題，從而實現綜合性、精準化的教學評價。

人工智能教育大腦對多模態數據的采集方式由傳統的課堂觀察、回放視頻錄像等形式轉變為集常態化和伴隨性采集于一體的智能化形式，規避了傳統評價方法的主觀性和經驗依賴性，教師可以根據記錄的師生課堂行為，實現個性化指導和精準化教學[13]。

人工智能教育大腦通過對課堂教學中多模態數據的實時感知，利用人工智能算法對教師的課堂教學進行畫像，以可視化的方式實現評價過程的全面化、立體化展示，幫助教師進行教學的反思與提升。隨著人工智能技術的發展，人工智能教育大腦將會得到不斷開發，教學評價的全面性和智能化水平也會得到不斷提高。

（四）針對性家校共育

該應用場景主要是通過人工智能教育大腦實現家校共育的智慧升級。家校共育在學校教育中扮演著越來越重要的角色，因此，人工智能教育大腦建立針對性家校共育這一應用場景是順應教育發展趨勢的需要，有利于實現全方位、多角度、針對性的家校共育。

相較于傳統的“互聯網+”家校共育方式，人工智能教育大腦解決了多平臺的煩瑣問題，解決了家長向教師尋求反饋、教師向家長提供反饋的低效率問題，避免了反饋的模糊化、籠統化，并且家長可以獲取更加智能化、全面化、精準化的學生動態，提高了家庭教育的效率和作用。

以上就是圍繞教育教學、家校共育等方面展開的人工智能教育大腦的4大應用場景。如今，一些相關出版集團和教育集團都已經推出有關智能教育服務的方案，從而實現技術服務教育，打造領先的教育產品。

在“雙減”政策下，為提高學校教學和課后服務水平，某出版集團推出人工智能教育大腦賦能智慧教育。他們認為，對學生而言，“教育大腦”可根據“學習畫像”提供個性化的內容推薦和學習分析，避免無效刷題，真正落實“雙減”；對教師而言，可減少重復勞動，推進因材施教，提高教學水平，并通過“教學畫像”實現自身成長和提升；對教育主管部門和學校管理者而言，可提供實時動態的教育教學狀況感知、預警和分析報告，為教育管理、評價、指揮、培訓等提供有效的決策輔助。

另一教育集團推出的智慧教室解決方案，其優勢主要體現在移動接入、人工智能、課堂錄播以及大規模管理這4個方面。智慧教室支持手機、平板電腦等移動端設備，管理者、教師、學生分角色APP接入；通過挖掘課堂教學數據，分析教師教學行為和學生聽課行為；通過人工智能識別和定位技術，實現實時考勤，實現課堂教學視頻錄制和大數據的伴隨式采集，支持直播、點播、教學分析等功能，實現對優質資源的多種應用。

五、發展前景

（一）人工智能教育大腦價值探討

在教育數字化轉型背景下，智慧教室、智慧教學平臺、虛擬實驗室、虛擬教研室等應運而生，它們在提供個性化、智能化教學環境的同時，也會產生大量教學過程中的數據。作為智能化技術與算法的融合體，人工智能教育大腦將會利用這些多模態數據，滿足個性化學習需要，提供精準化、個性化、優質化教育服務。

1.助力教學科學決策，重塑教學形態

在多模態數據的驅動下，人工智能教育大腦為教師與管理者提供精準有效的信息，使得教學決策呈現出新樣態。教學決策逐步實現過程可視化、分析精準化、模型多元化，形成科學高效的教學決策。

2.賦能個性化學習過程，提高學習效率

人工智能教育大腦通過構建知識圖譜、學習者畫像，打造學生專屬的、具有個體差異性的學習方案，學生基于可視化的學習指導，不斷反思學習過程，發現學習中存在的問題，采取量身定制的學習方法，不斷提高學習效率。

3.推進家校和諧共育，打造家校共育新生態

在“雙減”政策下，人工智能教育大腦推進家校共育進一步落實。通過人工智能教育大腦，家長可以在家長端實時查看學生每日學情，實現學情數據家校同步，有利于深化家校溝通。同時，人工智能教育大腦通過推送科學教育方法等相關資源，給家長傳輸科學教育理念與方法，從而促進學生的全面發展，推動教育高質量發展。

（二）人工智能教育大腦發展對策

目前，人工智能教育大腦的開發大多停留在理論層面，未來我們需要結合理論將人工智能教育大腦付諸實踐，探索人工智能教育大腦的更多可能性。

1.深入貫徹落實國家政策，把握人工智能發展方向

人工智能教育大腦的開發與實踐，符合面向2035年的中國教育信息化的總體思路與戰略任務。因此，各地區、各部門應結合實際，深入貫徹落實相應的國家政策，明確標準與基本原則，把握人工智能發展方向，強化技術支持基礎，進一步優化和豐富內容，創新教育服務供給模式，不斷推進人工智能教育大腦的開發與實踐，進而推進中國教育信息化重要技術基礎建設，實現教育的高質量發展。

2.加大對相關企業投資，深化人工智能教育大腦研發

隨著人工智能教育產品的研發和解決方案的推出，可以發現，互聯網、與教育相關的企業在其中起到了中流砥柱的作用。因此，加大對相關企業的投資是推進人工智能產品開發的重要路徑之一。目前，部分出版集團已經推出了人工智能教育大腦賦能智慧教育的方案，未來，在更多資金的投入下，還會有更多相關企業陸續推出相應產品，深化人工智能教育大腦研發。

3.加強教育領域理論指導，探索更多應用場景

通過檢索人工智能教育大腦主題的文獻，可以發現，該主題的發文量從2020年逐漸增加，但目前還處在一個較低的水平，對于人工智能教育大腦的研究還處在初步探索的階段。因此，人工智能教育大腦的研發還需要更多教育領域專家的理論指導，進而探索出更多應用場景，提供更為豐富的服務。

參考文獻

[1]祝智庭，胡姣.教育數字化轉型的實踐邏輯與發展機遇[J].電化教育研究，2022，43（1）：5-15.

[2]焦李成，楊淑媛，韓軍偉.類腦智能與深度學習的幾個問題與思考[J].中國科學基金，2019，33（6）：646-650.

[3]顧小清，李世瑾.人工智能教育大腦：以數據驅動教育治理與教學創新的技術框架[J].中國電化教育，2021（1）：80-88.

[4]張治，徐冰冰.人工智能教育大腦的生態架構和應用場景[J].開放教育研究，2022，28（2）：64-72.

[5]鐘薇，李若晨，馬曉玲，等.學習分析技術發展趨向：多模態數據環境下的研究與探索[J].中國遠程教育，2018（11）：41-49，79-80.

[6]楊彥軍，徐剛，童慧.智能學習環境中基于多模態數據的深度學習監測研究[J].電化教育研究，2022，43（6）：68-76.

[7]王一巖，鄭永和.多模態數據融合：破解智能教育關鍵問題的核心驅動力[J].現代遠程教育研究，2022，34（2）：93-102.

[8]FENG LIU， YONG SHI， PEIJIA LI.Analysis of the relation between artificial intelligence and the internet from the perspective of brain science[J]. Procedia Computer Science，Volume 122，2017，122：377-383.

[9]郭勝男，吳永和，張治.人工智能教育大腦模型構建及實踐路徑[J].開放教育研究，2022，28（4）：22-30.

[10]方海光，孔新梅，杜斌，等.區域教育數據大腦：內涵、功能與實施路徑[J].電化教育研究，2022，43（6）：46-52.

[11]吳小凡，趙磊磊，趙可云.人工智能賦能中小學精準教學的現實價值與基本路徑[J].數字教育，2022，8（4）：24-30.

[12]婁方園，高振，王娟.教育人工智能應用場景及其理性審視[J].數字教育，2022，8（3）：26-33.

[13]炕留一，葉海智，張瑾，等.基于多維數據的課堂教學行為評價研究[J].現代教育技術，2022，32（4）：68-77.

（責任編輯 孫興麗）

Exploring the Construction and Application Scenarios of AI Educational Brain

Based on Multimodal Data

Li Xinbei， Liu Lan， Duan Yudi， Wang Zhuxin， Wang Juan

（School of Smart Education， Jiangsu Normal University， Xuzhou， Jiangsu， China 221116）

Abstract： With the development of AI + education， technology-enabled education has given rise to AI educational brain， which will break through the existing education model and create a new education ecosystem that is more accurate， more efficient， and richer through the real-time perception of multimodal data. First， the study provides an overview of AI educational brain by combining the concept of AI educational brain and key technologies. Second， the study analyzes the multimodal data in the AI educational brain， and analyzes its multi-application scenarios and functions after modeling the AI educational brain based on those multimodal data. Finally， the study discusses the value of the future development prospects of the AI educational brain.

Key words： Artificial intelligence educational brain; Multimodal data; Knowledge graph; Learners’ portrait