物理空間中的智能學伴系統：感知數據驅動的學習分析技術

劉智 劉三(女 牙)等

編者按：在“人—技”協同進化的教育發展趨勢下，物理空間中的學習支持服務將面臨深刻變革。近年來，隨著大數據與可穿戴技術的涌現，面向物理空間的學習分析技術已應運而生，其中一個研究趨勢是利用傳感器技術探察個體學習狀態，并基于感知數據構建以學習者為中心的自適應與自主化學習環境。國際上，教育技術領域的相關專家學者已開始重點布局此項研究，致力于提供個性化學習反饋、推薦和干預等服務以創設移動式的智能學伴系統。如何獲取學習者生理數據、合理利用這些數據、推測其學習狀態（情緒、認知、注意力等）以及基于這些數據能為學習者提供哪些學習服務已成為研究者面臨的現實問題。

基于傳感器的自適應學習分析（Leaning Analytics for Sensor-based Adaptive Leaming，LISA）是由德國聯邦教育與研究部資助的一個校企聯合研發項目，旨在通過傳感器感知個體在物理空間內的學習狀態以支持自適應學習和提高學生學習體驗，其核心是構建“移動學習同伴”以幫助學習者開展學習反思和協助教師實時監控。該項目的背景和意義是什么？智能學伴系統能感知哪些信息？提供哪些學習服務？如何評估其效果？未來的趨勢和存在的問題是什么？帶著這些問題，我們對該項目的主要負責人Niels Pinkwart教授進行專訪。

Niels Pinkwart教授是教育技術領域的國際知名學者，目前擔任德國柏林洪堡大學的（Humboldt University of Berlin）計算機科學研究院副主任，洪堡大學職業教育學院的“技術增強學習”（Technology Enhanced Leaming）研究中心和“計算機科學教育/計算機科學與社會”（Computer Science Education/Computer Science and Sociecy）實驗室主任，德國計算機學會學習分析與e-learning工作組的聯席主席。他的研究方向包括：學習分析、自適應學習技術、計算機支持的協作學習與多模態人機交互系統。他發表論文超過220篇，總引用次數已超過2360次，并一直擔任《國際教育人工智能》（International joumal of Artificial Intelligence in Education，IJAIED）期刊編委、“智能導學系統”（Intemational Conference on Intelligent Tutoring Systems，ITS）、“IEEE先進學習技術”（IEEE InternationalConference on Advanced Learning Technologies，ICALT）、“學習分析與知識”（International Conference on Learning Analytics & Knowledge，LAK）等知名國際會議的程序委員會委員。

近年來，Pinkwart教授的團隊專注于采用多學科（計算機科學、認知科學以及學習科學）交叉的方法開展學習系統設計與學生互動學習的實證研究，現已主持多項德國國家科學基金（DFG）、聯邦教育與研究部（BMBF）及工業界智能導學與人機交互聯合研發項目，他領導的“智能導學系統中的學習反饋”（Learning Feedback in IntelligentTutoring Systems，FIT）項目入選了DFG在研究方向“人工系統中的學習方法”上的優先資助計劃，并授予8年的持續資助。

關鍵詞：物理空間；感知數據；學習同伴；學習分析

中圖分類號：G434 文獻標識碼：A

訪談者：Pinkwart教授，您好！很高興您能應邀接受我們的訪談。隨著可穿戴技術的涌現，物理學習空間（課堂教學、戶外學習、圖書館等）內學生數據的可獲得性得以顯著提升，面向物理空間的學習分析研究已開始受到教育技術界的關注。作為柏林洪堡大學學習分析研究團隊的負責人，您正從事一個基于感知數據的自適應學習環境與學習分析技術研發項目，并致力于開發一套“移動學習同伴”系統，能介紹一下這個項目的相關背景嗎？

Pinkwart教授：在2016年4月，我們獲得了德國聯邦教育與研究部的資助，聯合德國兩所研究機構（萊布尼茨知識媒體研究所以及柏林工程與經濟應用科學大學）和三個數字化教育公司（Serious Games Solutions、SGM Educational Solutions和NEOCOSMO）開始了這個項目的研發工作，他的全名叫做Leaning Analytics for Sensor-based Adaptive Learning（基于傳感器的自適應學習分析）。我們洪堡大學的主要任務是從教育技術視角，提供一個基于傳感器的感知化學習場景以及一些學習分析方法。如果我們回顧教育技術領域的發展歷程，你會發現至少有25年的時間關注于人工智能在教育中的適配性（例如：智能導師系統、個性化輔導系統、智能協作學習系統、教育機器人等），并涌現出了很多有效的智能化教育產品，幫助學生提高了學習成效。

近來，我們發現，傳感器技術已被廣泛應用于生活中，每個人都或多或少地在智能手機中使用了傳感器，如分享地理位置、感知環境與識別語音等。這些傳感器設備也同樣可用于獲取學習者的數據，智能手表可記錄他們的脈搏、心跳、行走步數等信息，還有一些設備可獲得皮膚電反應信號用于感測個體的生理壓力值。因此，該項目的一個目的是探索這些數據是否有助于設計更為先進的學習技術，它不僅僅是開發一個自動監控系統，還需要考慮學習者的生理維度，這些都是出于技術發展的考量。學術上，LAK和EOM等國際會議上越來越多的研究采用學習者與學習環境交互中產生的生理感知數據，關鍵問題在于我們用這些數據能記錄什么學習特征，以及構建的學伴系統如何利用這些數據干預和改善個體學習過程。

訪談者：這個“學習同伴”看起來能像朋友一樣關心和幫助學習者，它當前能檢測到學習者的脈搏波連續血壓（PPG）、皮膚電反應（EDA）、心率變異度（HRV）以及所在環境的空氣污染指數（如TVOC、CO₂等氣體密度），這有利于評估學習者的健康狀況。在您看來，未來的“學習同伴”還會增加哪些功能？

Pinkwart教授：我們的項目當前最關注的是學習者在某種學習情境中情緒狀態的測量，以及判斷學習者是否真正地參與到學習中，例如，如果從傳感器中測得某個人的脈搏和血壓降低時，那么其更可能處于一個平靜的心情；如果某個人體溫很高，他可能是發燒了，這些信號是與人的身體健康直接相關的，和學習狀態并不直接相關。但有些信號可用來推測人類的某些心理狀態，例如AI測謊儀通過感測人的汗腺活動計算皮膚電阻，如果被測者的皮膚電阻偏離正常值，則其說謊的可能性較大。這種先進的人工智能思想利用了人的體溫、皮膚電導、心率等傳感器。這些信號能被用來通知“學習同伴”以制定干預策略，這個系統能以智能手機為載體運行，也能以單獨的可穿戴式設備運行，這種私人學伴系統能反映你在學習過程中何時需要休息一會，何時會感到學習任務比較困難。

所以，它將不僅監測學生的健康狀況，還將洞察學習者感受壓力時的認知狀態。雖然目前基于傳感器的個人情緒檢測尚未取得較為理想的效果，但這種新型檢測方法對下一代智能教育系統的設計具有很大價值。如果沒有這類數據，我們可能或多或少知道學生在測驗中的答題正誤情況，但你很難知道他們在使用學習系統或課堂學習中的感受如何。未來的“學習同伴”系統將增加一些情緒檢測、學習干預以及用于情緒調節和互動的學習活動推薦等功能，例如通過感知學習者的沮喪情緒、預測和提醒他們何時需要休息和調整，使學習環境不斷適配學習者的心理狀態，并激發他們的學習動機和形成自我情緒調節的意識，所以這些將超越現有的健康信息監測功能，也是我們的項目需突破的研究方向。

訪談者：為了支持物理空間內學習者的自適應和自主化學習，在設計這種情緒支持的“學習同伴”時需要考慮哪些重要因素？

Pinkwart教授：首先，應該認真考慮需要收集哪些數據、存儲哪些數據、整體的技術設計是什么，以及誰將能訪問數據、誰將能管理數據、誰將能使用或訪問學伴系統等問題，而且在設計情緒支持的“學習同伴”時需要特別考慮的是數據隱私問題。其次，需要考慮你將如何在“學習同伴”系統中將捕獲的數據以可理解的方式進行可視化，畢竟很難有人能直接與原始數據進行交互。特別地，收集的生理數據都是毫秒級的時間序列，在這樣一個大體量數據中有很多是沒有意義的數據，并且非技術人員也很難直接看懂數據中的數值含義。因此，為了使數據對學生有意義，你必須要聚合、轉換、結構化以及可視化這些數據使其滿足自我管理式學習的需求。在可視化的算法設計中，需要提供一些反應過去和當前學習狀態的反饋機制，但這個數據解釋過程實際上并不容易，因為用傳感器來探測人類的學習狀態，單一學科的知識是不夠的，可能還要參考醫學、心理學、計算機科學、學習科學等領域的知識。

訪談者：根據您的介紹，在“學習同伴”的幫助下，學習者能開展自我管理式學習，那么它是否會對教師的教學提出新的挑戰，從教師、家長和學生的視角來看，他們應如何使用這個系統？

Pinkwart教授：過去二十年研制的智能輔助教育系統一直致力于幫助教師去理解和掌握整個課堂的情況，這對智能導師系統的設計非常重要，它有利于減輕教師在觀察群體學習狀態上的精力。如果一半的學生學習任務完成情況不理想，那么系統可向教師給出提醒以調整教學。但對于我們的“學習同伴”來說，傳感器監測的是學生生理上的信號，這比學習代理計算出的知識技能測驗結果更加敏感，因此我們應更審慎地思考：教師和家長應分別從這些個人生理數據中知道些什么？此外，一個高度被關注的問題是教師很難知道每個學生個體的學習狀態，他們仍然只知道類似于數學測驗中某類錯誤的出現概率以及整個班級的測試情況，從這些結果信息來推測學生的沮喪程度。

所以，“學習同伴”將作為一種補充的途徑來幫助教師了解學生的表現，解釋學生的學習行為以及進行心理診斷，一旦獲得了更多的個人學習數據，我們將獲得比課堂整體表現更為詳細的信息。從自我管理的角度來說，教師需要掌握這些背景信息來幫助他們更好地開展有序的自組織學習，但同時不應加入過多的外部管理和干預。有一個有趣的例子，當我們調查一所中學時，教師們總是問到：“我們真的應該在學校里使用這些學習技術嗎？”“當學生一直坐在電腦前時，我們該如何評價他們的學習成績？”，家長也經常想知道：“我的孩子為什么學得不好？”“孩子為什么回家后情緒低落？”“我該什么時候或如何去和孩子溝通并調節他們的心理狀態？”。實際上，教師和家長都是希望通過技術來了解學生學習情況的，但在數字化教室中，學生自主學習狀態的感知不僅包括生理信號監測，還包括基于視頻的人臉表情監測等方法，采用何種渠道的數據以及如何理解這些數據都是擺在教師面前的挑戰。

訪談者：我們知道，十多年前，美國麻省理工學院（MIT）的媒體實驗室研發出了一套著名的“學習同伴”系統，它關注于理解學習者在計算機輔助教學環境下的認知和情緒狀態，那么LISA項目中的“移動學習同伴”與MIT媒體實驗室研發的“學習同伴”之間有何差異？

Pinkwart教授：正如我們所知，MIT的媒體實驗室在情感計算方面做得非常出色。而我們的團隊主要關注兩個不同的方面。首先，LISA項目旨在構建一個情緒支持下的移動學習過程計算架構，并實現個人數據的隱私保護。我們確實非常重視數據的倫理問題，在教育過程并不是每個人都能輕易訪問這些數據，因此在技術設計中需考慮數據的流向、訪問權設置等問題。我相信，如果你去調查那些德國學生對數據驅動的學習技術的看法時，他們將會問你：“我的數據會被存儲在哪兒？誰能看到這些數據？數據會被傳遞給哪些人？”等關于他們切身利益的問題。我們的研究將這些問題都作為最緊要的任務進行優先考慮，并且這些問題也與數據的解釋（提取個體學習狀態的哪些信息以及這些信息能傳遞給誰等問題）直接相關。

其次，MIT研發的“學習同伴”是嵌入到計算機輔助學習系統中，而LISA項目研發的“學習同伴”是移動和伴隨式的。當前，大多數傳感器實際上都是移動式的（如智能手表），因而我們需要在移動場景下生產和解釋數據。這其實是具有很大難度的，特別是在戶外學習中，一旦你做了運動，心率可能會突然提升，但這并不意味著你在學習中是沮喪或是有壓力的，所以身體運動對心率的變化有更大的影響。基于此，我們將考慮引入與運動監測強相關的傳感器，以盡可能規避與學生自身學習無關的生理信號，這樣將有助于提高“移動學習同伴”在泛在學習過程中的適用性。

訪談者：隨著M00Cs-與SPOCs等在線教育模式的日益普及，越來越多的在線學習數據能為學習分析研究所使用，如發掘學生訪問資源時的行為模式、論壇中的情緒狀態、以及預測輟學行為等。但作為正式教育的主要場景，物理空間中的學習分析研究很少被開展，如何利用數據驅動的技術來理解物理空間中的學習者狀態？

Pinkwart教授：你的觀察非常準確，如果對比研究在線學習數據和物理學習空間數據（主要是生理數據）的論文，你會發現MOOCs和SPOCs等在線學習空間中的學習分析研究更為盛行。這個現象與不同學習空間中的用戶數量有很大關系，更多的數據呼喚著更多模型和算法的產生。相對而言，物理空間中產生的數據規模太小，相關的學習分析研究則很少。LISA項目中一個關于“生理數據-情緒反應”的對照試驗僅招募了20名學生作為被試，在使用機器學習算法訓練情感模型時也面臨著數據量不足的問題，因為通常情感識別算法都用到了幾百甚至幾千名學生的數據（論壇文本、表情圖像等），所以數據的可獲得性將制約實驗的有效性。

但是，隨著傳感器的廣泛使用，在不久的將來他們會與我們如影隨形以記錄我們的生理信息和我們所在的環境信息，并驅動著更多關于物理學習空間中的學習者研究。這是一個非常年輕的領域，近來我們已經發現：利用傳感器獲得的感知數據進行教育數據挖掘已成為一個凸顯的趨勢，因此我們需要做一些試驗性研究以發現哪種感知數據適合于學習分析并能帶來好的結果。另外，如果更多的研究機構能共享這些學習感知數據，這個領域也將得到快速的發展，因為產生這些數據通常需要高昂的代價（需要更多傳感器設備，招募大量被試以及耗費大量時間開展實驗）。我們知道匹茲堡的學習科學中心開設了一個學習科學數據平臺（PSLC Datashop），存儲了來自于智能導師系統的豐富學習數據，這個不斷更新的數據源為學習行為分析、學習效果預測與學習理論的驗證等研究奠定了充分的支持，同樣的，我們也需要涌現這樣的數據平臺以分享物理學習空間中產生的感知數據。

訪談者：通過以上討論，我們發現教學情境對學習分析研究乃至未來的教室創設都非常重要，那么您認為應如何利用學習過程數據創設有意義的教學情境？

Pinkwart教授：首先，你需要建立試驗性的研究場景，擁有充足的移動終端設備，創建不同類型的感知數據庫（生理信號、人臉表情、環境數據等）以及一個充分配備傳感器和能讓每個學生佩戴一個智能手環（為了采集個人生理數據）的數字化教室，通過這些環境的配置，我們可以記錄教室中的學習交互過程。在嚴格的隱私保護機制下，我們通過感知數據的分析可以探索一堂課中哪些活動能獲得好的教學效果，學生對什么內容感興趣、在哪些方面學得更好以及在哪個時間段產生更高的情緒喚醒度（或更積極的情緒）等信息。在獲得這些信息的基礎上，我們能設計一些能激發學生學習動機、正面情緒及較高情緒喚醒度的教學情境。

但有時候，你也可以預先設計一套教學情境，LISA項目中的一個合作伙伴——嚴肅游戲解決方案公司（Serious Games Solutions，SGS）專門研發用于消防員和警察技能培訓的虛擬仿真系統，他們經常邀請不同的人去優化這個仿真系統（增強系統對不同水平訓練者的適應性）。如果要指導一個新手去學習基本的滅火技能和臨場應變能力，直接讓他進入真實場景去訓練是不可能的，因此只有讓他先在這種虛擬情境中去學習。當然如何判斷虛擬情境下的訓練難度仍然是一個挑戰，在這種教學情境中，我們可以獲得學習者在模擬訓練中的優勢技能和冷靜程度。如果你在這個情境下扮演消防員或警察時表現較為冷靜且很好地完成了任務，那么我們便可以提高仿真訓練的難度，因此這是一種不需要大量數據去訓練的教學情境設計方式。

當然，在大多數學校教育中，我們經常探索更為復雜和開放情境下的教學效果，這就需要記錄大量的學習過程數據進行教學情境的適配和對比分析。特別是課堂教學中，我們需要利用智能感知技術去觀察學生在不同活動（參與小組協作討論、使用智能導學和學習診斷系統等）中的表現，然后在課堂數據記錄系統的后臺進行學習分析和可視化呈現，發現需要幫助的學習困難者。據我所知，亞洲一些國家已經采用了課堂數據的實時捕獲技術，如學生注意力檢測、人臉表情/頭部姿態/手勢識別等，這些智能感知技術看起來可以全程跟蹤學生表現，但這畢竟是機器的觀察而不是教師的觀察，教學情境的適配和優化還需要教師對課堂的觀察并輔以學習感知數據進行人工分析和決策。

訪談者：為了深入洞察學習者的學習過程，我們需要從物理空間和網絡空間采集大量數據來研究他們的情緒、偏好、行為、社會交互等方面特征，這樣學習者將會被全方位的觀察和分析，但同時，我們將如何處理學習者個人數據的安全和隱私保護問題？

Pinkwart教授：從數據倫理角度來看，我們需考慮我們要用這些數據做什么，使用這些技術的合理方式（倫理上可接受的）是什么。并且從不同利益相關方（學習者、家長、教師、學校管理者、技術供應商等）的視角來對數據驅動的智能監測技術進行利弊分析和權衡。畢竟，與成績數據不同，學生的生理信息屬于個人隱私范疇，這類原始數據對教師的教學并不能產生直接的價值，而從其中提取的學習狀態信息才是教師愿意看到的，因此在不同的數據處理環節應考慮真正的受益者及其訪問權限。從技術設計的角度來看，我們需要在系統中確保數據產生者的權利，在未經用戶允許的情況下避免個人隱私的窺探。例如，LISA項目將存儲學習者的生理感知數據，我們要求這些數據僅保存在學習者個人網絡空間中，且僅能由標識其個人身份的移動設備所訪問，以避免它們流入一些開放式的公共網絡。所以，我們不會將數據存儲在匿名的云服務系統中，用戶將具有完全的控制權以決定哪些數據能被傳輸至學習服務系統進行分析，哪些數據能被與教師、家長或其他同伴分享，同樣用戶也能知道他們自身的哪些數據已被采集。

訪談者：現在我們已經對LISA項目有了一個整體的了解，那么該項目將如何應用與評估這種感知數據驅動的學習分析技術？該技術存在哪些局限性？它的發展前景如何？

Pinkwart教授：我們目前采用的是一種迭代式的產品設計方式。在“學習同伴”研發的初始階段，我們使用紙質原型來快速生成和評估系統的設計構思。而在當前階段，我們正在開展一些情感檢測算法的實驗驗證工作，試圖將EDA和HRV兩種生理信號有效映射到不同的情緒維度（效價與喚醒度）上。去年，項目的目標是評估我們和三個工業伙伴（Serious Games Solutions、SGM Educational Solutions和NEOCOSMO公司）合作研發的智能教學產品，它們分別是：虛擬消防訓練系統、在線教育雜志以及職業教育e-learning培訓平臺，因此，工業伙伴們幫助我們實現研究構思并將其融入到產品中，最后將測試過的產品交付給用戶使用。此外，由于這個項目涉及多領域合作、產品推廣以及品牌傳播，工業上的合作者也審慎地評測我們實驗室研究的各種學習分析方法，以發現哪些技術能進行規模化示范和應用。

當然這些產品只是我們當前項目的一部分，隨著感知數據支持的“學習同伴”系統研發規模（更多感知設備的投入以及更大規模感知數據的產生）不斷擴大，這個項目在學校的課堂教學和企業員工技能培訓中將具有更大的應用前景。盡管如此，這種技術也面臨一些局限性，一方面，這個項目的合作者以及覆蓋的學科領域仍然太少，而且我們在研究中難以獲得大量的高精度生理傳感器以及大規模的實驗參與者，所以我們不能像MOOCs研究那樣對成千上萬的學習者數據去分析和建模。另一方面，在移動學習場景下，有很多不確定因素影響了學習過程信息捕獲的準確性，因此感知數據驅動的學習分析仍需在學習狀態（情緒喚醒度和效價、學習偏好、認知水平等）的識別和預測精度上進行深入探索。

訪談者：在中國，隨著新興信息技術的不斷涌現，物理學習空間正經歷著巨大的變革，傳統教室的教學環境逐漸向數字化、個性化、智能化的“未來教室”發展，您認為實現個性化和智慧化的學習環境的關鍵因素是什么？

Pinkwart教授：首先，面向未來的數字化教室要包含更多的交互式學習技術，這些能用便攜式筆記本、交互式電子白板、教室反饋系統Clicker等設備實現；其次，教室應被塑造成更加網絡化和協作化的學習環境，使教師、學習者、學習環境、各種移動設備和教學終端之間能無縫交互；最后，需要對師生交互、生生交互以及人機交互過程中的數據進行同步采集和事后（或實時）分析。在此過程中，每個學生的學習過程都能由移動設備（如“移動學習同伴”系統、互動反饋系統、情境感知系統等）完整記錄和量化，并分為個人空間和社交空間數據，當然交互式學習技術的設計應遵循數據的倫理規范以保護學習者隱私。

此外，在中國的正式教育中，教師在課堂中通常扮演著管理者的角色，我們應清晰界定教師對課堂的管理和利用數據來觀察學生學習過程之間的關系，可以想象一個完全由教師把控的課堂將很難幫助學生開展個性化的自主學習乃至探究式學習。我了解到，中國有一些研究機構正開展學習分析技術和智能導學系統的研發，而且具備規模化的實驗和測試環境，因此我認為感知數據驅動的學習分析技術在中國有很大的應用前景，但這項技術的發展還有賴于多學科的交叉融合以及不同領域思想的碰撞。如果能匯聚世界上相關領域（包括認知科學、學習科學、計算機科學以及數據科學）的頂尖研究者共同合作與探討，將為中國乃至世界的學習科學變革和教育技術發展起到推動作用。

訪談者：非常感謝您接受此次訪談。