人工智能賦能課堂反饋的倫理困境及風(fēng)險化解

羅江華 王琳 劉璐

摘要：人工智能（AI）技術(shù)為課堂教學(xué)反饋帶來質(zhì)效提升的同時，其引發(fā)的一系列倫理問題也日益受到關(guān)注。對應(yīng)用個案的系統(tǒng)分析有助于揭示此類倫理困境產(chǎn)生的深層次原因。基于對X中學(xué)課堂反饋AI系統(tǒng)的開發(fā)者以及教師、學(xué)生等應(yīng)用者的訪談，通過三級編碼分析構(gòu)建的“內(nèi)因—外緣”解釋模型表明：課堂反饋AI系統(tǒng)應(yīng)用的倫理困境主要由算法陷阱引起，表現(xiàn)為算法黑箱與算法歧視;由于算法規(guī)則的不透明和偏向性，課堂智能反饋過程呈現(xiàn)出數(shù)據(jù)失信、數(shù)據(jù)濫用和隱私侵犯等現(xiàn)象，誘發(fā)了權(quán)力失范、關(guān)系失衡、情感異化等外發(fā)風(fēng)險;這些風(fēng)險表現(xiàn)為“師端”的教育自主權(quán)讓渡，“生端”的學(xué)習(xí)自主性喪失、過度情感勞動以及情感遮蔽等。化解AI賦能課堂反饋的倫理風(fēng)險，應(yīng)該規(guī)避算法黑箱和算法歧視，主張師生對算法規(guī)則有知情權(quán)，以學(xué)生的主動性和發(fā)展性為落腳點完善法律法規(guī)對抗算法歧視;制定數(shù)據(jù)倫理規(guī)約，確保教育數(shù)據(jù)與師生隱私的安全;建立師生與AI之間的雙向平等關(guān)系，強化人機協(xié)作效用;揭示學(xué)生情感變化規(guī)律，發(fā)展師生的積極情感關(guān)系。

關(guān)鍵詞：人工智能;課堂反饋;算法陷阱;倫理風(fēng)險

中圖分類號：G434 ? 文獻標(biāo)識碼：A ? ?文章編號：1009-5195（2022）02-0029-08 ?doi10.3969/j.issn.1009-5195.2022.02.004

基金項目：2021年度國家社科基金教育學(xué)重點項目“以新基建支撐高質(zhì)量教育體系建設(shè)研究”（ACA210010）。

作者簡介：羅江華，博士，教授，博士生導(dǎo)師，西南大學(xué)西南民族教育與心理研究中心（重慶 400715）;王琳，博士研究生，西南大學(xué)西南民族教育與心理研究中心（重慶 400715）;劉璐，碩士，中學(xué)二級教師，太原市第六十三中學(xué)校（山西太原 030021）。

一、問題的提出

人工智能（Artificial Intelligence，AI）通過分析課堂教學(xué)活動過程，能夠為教學(xué)反饋提供新思路，為個性化教學(xué)提供新方法（孫眾等，2020）。許多學(xué)校與企業(yè)合作，嘗試研制出學(xué)生課堂反饋AI系統(tǒng)，使教學(xué)反饋實現(xiàn)從依賴教師觀察、作業(yè)反饋與測驗反饋向自動化、智能化、精準(zhǔn)化與過程化反饋轉(zhuǎn)變。但AI在提升課堂教學(xué)反饋質(zhì)效的同時，也帶來了巨大的挑戰(zhàn)：“計算主義”至上的學(xué)習(xí)分析方式有悖于教育系統(tǒng)的復(fù)雜性（顧小清等，2020）;大規(guī)模采集生理信息數(shù)據(jù)的做法侵犯了學(xué)生隱私（唐漢衛(wèi)等，2020）;出現(xiàn)“算法囚徒”的風(fēng)險，甚至某些算法會不斷強化自身的隱性控制，增強算法的監(jiān)控屬性（彭蘭，2021）。值得深思的是，AI介入課堂是增強課堂反饋還是強化課堂控制？要實現(xiàn)AI與課堂教學(xué)反饋之間的“加法”，應(yīng)當(dāng)是計算機科學(xué)、心理學(xué)、教育學(xué)、社會學(xué)和倫理學(xué)等多學(xué)科融通的結(jié)果。

本研究始于X中學(xué)課堂反饋AI系統(tǒng)應(yīng)用引發(fā)的媒體爭議。X中學(xué)與H公司以提升課堂反饋效率為目標(biāo)，以采集和分析學(xué)習(xí)行為數(shù)據(jù)、表情數(shù)據(jù)和認知數(shù)據(jù)為策略，合作研制了X中學(xué)課堂反饋AI系統(tǒng)。該系統(tǒng)卻被媒體稱為“黑科技”“天眼”“刷臉神器”“窗外的班主任”等，認為其造成了“無形的壓力”“全天把神經(jīng)繃緊”“情緒壓抑”等負面影響。本研究對X中學(xué)課堂反饋AI系統(tǒng)的應(yīng)用進行追蹤，旨在透過應(yīng)用進程中的“故事”，探析AI應(yīng)用于課堂反饋的倫理困境及成因，并嘗試提出解決方案。

二、文獻回顧

1.AI賦能課堂反饋的技術(shù)實現(xiàn)

傳統(tǒng)的課堂教學(xué)反饋方式具有主觀性強、樣本量較小、費時費力以及滯后性等局限（吳立寶等，2021）。AI技術(shù)的出現(xiàn)，推動了課堂教學(xué)反饋通路的變革，實現(xiàn)了高效、動態(tài)、精準(zhǔn)、智能以及自動化的反饋過程（趙瑞斌等，2021）。AI技術(shù)將攝像頭、拾音器等采集的師生行為、語音、面部表情、生理信號等復(fù)雜生理特征數(shù)據(jù)化，并自動學(xué)習(xí)數(shù)據(jù)的隱形結(jié)構(gòu)與內(nèi)在規(guī)律，探測學(xué)習(xí)者內(nèi)隱的認知與情緒狀態(tài)，助力課堂反饋（劉清堂等，2019）。

AI技術(shù)支持的課堂反饋研究主要從課堂行為識別、情緒計算、多模態(tài)數(shù)據(jù)融合等路徑著手。Whitehill等（2014）通過對學(xué)習(xí)者面部表情數(shù)據(jù)的采集與計算，推斷其學(xué)習(xí)參與度，增強教師對學(xué)習(xí)者參與情況的及時感知;韓麗等（2017）應(yīng)用人臉檢測與面部表情識別技術(shù)，分析認知行為與頭部姿態(tài)、面部表情的關(guān)系;曹曉明等（2019）基于臉部圖像、腦電波數(shù)據(jù)以及學(xué)習(xí)日志等多模態(tài)數(shù)據(jù)集，分析學(xué)生學(xué)習(xí)參與度和活躍度。AI賦能課堂反饋呈現(xiàn)出學(xué)習(xí)過程監(jiān)測化、認知狀態(tài)可視化等趨勢。但AI的融入并未為課堂教學(xué)帶來深層次、大規(guī)模和結(jié)構(gòu)性的變革（鐘紹春，2020）。AI可提高效率和準(zhǔn)確性，但AI的誤用會對學(xué)生產(chǎn)生危害，而當(dāng)危害發(fā)生時，AI的應(yīng)用風(fēng)險可能被放大，甚至帶來諸多偏見（Wang，2021）。

2.AI賦能課堂反饋的本體局限與倫理問題

AI為課堂反饋帶來便捷高效的同時，也沖擊和改變了整個課堂教學(xué)生態(tài)，并誘發(fā)了一系列倫理問題（吳河江等，2020）。事實上，AI的課堂應(yīng)用仍處于以深度學(xué)習(xí)為基礎(chǔ)的弱人工智能階段，其算法實現(xiàn)呈現(xiàn)高效率與過度控制的“雙刃劍”效應(yīng)，彰顯出AI技術(shù)自身的局限性（莫宏偉，2018）。一方面，面部與行為識別雖能采集并分析出個體的內(nèi)在情緒狀態(tài)，但其依賴攝像追蹤和語料采集所獲得的數(shù)據(jù)常常過于碎片化和缺乏規(guī)律性，無法有效進行數(shù)據(jù)融合和兼容計算（李新等，2019）。另一方面，教育過程的復(fù)雜性和教育數(shù)據(jù)的非結(jié)構(gòu)性決定了教師教學(xué)過程和學(xué)生學(xué)習(xí)過程的數(shù)據(jù)不可能得到完整記錄，一些和教學(xué)行為高度關(guān)聯(lián)的數(shù)據(jù)常因難以數(shù)字化而缺失（趙佳麗等，2020）;此外，數(shù)據(jù)挖掘獲得的個體行為和情緒數(shù)據(jù)，也不一定能準(zhǔn)確解釋深層次的學(xué)習(xí)發(fā)生機制（顧小清等，2016）。

不少研究也指出了AI技術(shù)應(yīng)用于課堂反饋可能引發(fā)倫理風(fēng)險。首先，面部表情與內(nèi)在情緒有著復(fù)雜而非一一對應(yīng)的關(guān)聯(lián)（黃麗鳳等，2010），簡單應(yīng)用數(shù)據(jù)表征學(xué)習(xí)者情緒有量化、標(biāo)簽化教育主體的嫌疑（蘇明等，2019）。其次，判定行為、面部表情與個體內(nèi)在情感之間的關(guān)系，需要采集海量數(shù)據(jù)，嚴(yán)重威脅教育主體隱私安全（Berendt et al.，2020）。再次，過度的行為與面部表情識別易將課堂文化引向控制和規(guī)訓(xùn)（安濤，2020）。最后，對學(xué)生的內(nèi)心情緒進行制度化地窺探與導(dǎo)引，學(xué)生將被迫進行學(xué)習(xí)活動之外的情感勞動（程猛等，2021）。如要為學(xué)習(xí)者搭建促進其學(xué)習(xí)的智能化學(xué)習(xí)環(huán)境，需重點探析愈來愈普遍的人工智能教育應(yīng)用中的倫理風(fēng)險，建構(gòu)對人工智能教育應(yīng)用倫理限度的正確認識（李政濤，2020）。

三、研究設(shè)計

本研究基于扎根理論，觀察X中學(xué)課堂教學(xué)，并對X中學(xué)校長與H公司7名算法工程師分別進行5輪與1輪的深度訪談，對11位教師與20名學(xué)生進行2輪焦點小組訪談，之后依托三級編碼分析數(shù)據(jù)并構(gòu)建解釋模型，探究X中學(xué)課堂反饋AI系統(tǒng)應(yīng)用誘發(fā)倫理問題的深層次原因。編碼分為三個步驟：第一步，通過開放式編碼將歷時一年的課堂觀察資料、系統(tǒng)日志、訪談資料進行逐條分析、歸類與概念生成;第二步，通過主軸編碼將導(dǎo)致倫理問題的概念類屬建立聯(lián)結(jié)，生成主要類屬;第三步，通過選擇編碼對主要類屬進行整合與精煉，得出核心類屬，并解釋主要類屬之間的關(guān)系。

收集的資料涉及兩方面主題：一是系統(tǒng)研發(fā)愿景及與結(jié)果匹配的情況，包括分析系統(tǒng)的正向激勵作用，對教師、學(xué)生和家長之間有效溝通的強化作用等。二是算法實現(xiàn)的辦法，包括學(xué)生專注度、參與度判定算法模型的設(shè)計思路，分析算法與學(xué)生心理安全感、師生關(guān)系、情感激勵之間的關(guān)系。

研究者對收集到的資料進行整理，最終得到7萬余字的訪談記錄;隨機選擇2/3的訪談記錄進行編碼分析和模型構(gòu)建，剩余1/3的訪談記錄留作理論飽和度檢驗。

四、資料分析

1.數(shù)據(jù)編碼與分析

（1）開放式編碼

經(jīng)過多次反復(fù)閱讀和比較，最終形成9個初始概念類屬（如表1所示）：算法黑箱、算法歧視、數(shù)據(jù)濫用、隱私侵犯、數(shù)據(jù)失信、教育自主權(quán)讓渡、學(xué)習(xí)自主性喪失、情感勞動、情感遮蔽。

（2）主軸編碼

在開放式編碼基礎(chǔ)上挖掘概念類屬之間的關(guān)系邏輯，最終形成4個主類屬（如表2所示）：算法陷阱、權(quán)利失范、關(guān)系失衡、情感異化。

（3）選擇性編碼

通過系統(tǒng)分析，確定“課堂反饋AI系統(tǒng)的倫理困境”這一核心類屬，圍繞核心類屬的“故事線”可以概括為：算法陷阱是課堂反饋AI系統(tǒng)倫理困境的內(nèi)驅(qū)動因，它直接誘致了權(quán)力失范、關(guān)系失衡、情感異化三個外發(fā)風(fēng)險，權(quán)力失范、關(guān)系失衡、情感異化也間接導(dǎo)致算法陷阱，其關(guān)系結(jié)構(gòu)如表3所示。此外，權(quán)利失范、關(guān)系失衡以及情感異化之間也存在間接的影響作用，形成了外緣閉環(huán)。以此“故事線”為基礎(chǔ)，本研究構(gòu)建了課堂反饋AI系統(tǒng)應(yīng)用倫理困境的“內(nèi)因—外緣”解釋模型（如圖1所示）。

2.理論飽和度檢驗

利用預(yù)留的1/3的訪談記錄進行理論飽和度檢驗，未出現(xiàn)新的重要類屬和關(guān)系屬性;四個主類屬內(nèi)部也沒有發(fā)現(xiàn)新的構(gòu)成因子。由此可判斷，上述“內(nèi)因—外緣”解釋模型在理論上是飽和的。

五、“內(nèi)因—外緣”解釋模型闡釋

用“內(nèi)因—外緣”的解釋模型可以有效解釋X中學(xué)課堂反饋AI系統(tǒng)應(yīng)用的倫理困境。算法陷阱是造成數(shù)據(jù)權(quán)利失范、師生關(guān)系失衡以及情感異化等外發(fā)性倫理風(fēng)險的內(nèi)生性動因。數(shù)據(jù)的權(quán)利失范、師生的關(guān)系失衡與情感異化會加速課堂反饋AI系統(tǒng)的應(yīng)用跌入算法歧視與算法黑箱的技術(shù)主義窠臼，形成惡性循環(huán)。

1.內(nèi)因：算法陷阱的形成機制

算法是AI賦能課堂反饋的實質(zhì)內(nèi)核，算法規(guī)則是決定反饋是否有效的關(guān)鍵。H公司設(shè)定算法規(guī)則的初衷是監(jiān)測學(xué)生的課堂行為表現(xiàn)，為教師及時干預(yù)提供參考。技術(shù)人員ET-1和ET-3作為算法研制者，其認為X中學(xué)課堂反饋AI系統(tǒng)的算法實現(xiàn)是有依據(jù)的：模型從大量的學(xué)習(xí)者行為與面部表情數(shù)據(jù)中進行機器學(xué)習(xí)生成7種情緒（恐懼、快樂、厭惡、悲傷、驚訝、憤怒和中性）、6種行為（讀、寫、聽、站、舉手、趴在桌子上）等特征指標(biāo)，并賦予這些指標(biāo)詳細的定義。算法研制者根據(jù)指標(biāo)定義對其進行加權(quán)處理，閱讀等正向行為則加分，趴桌子等負向行為則減分。已有研究證實，個體的肌體信號是與心理壓力相聯(lián)系的，特別是個體的情緒狀態(tài)（韓穎等，2018）。X中學(xué)課堂反饋AI系統(tǒng)設(shè)計理念源自于此，主要通過面部肌肉振幅、肢體動作來判定學(xué)生的專注度與活躍度。但課堂行為與專注度、活躍度之間的因果關(guān)系是否成立呢？

（1）算法黑箱

從課堂觀察情況來看，系統(tǒng)給出的結(jié)果與教師的判斷往往存在很大分歧。有些學(xué)生只是“偶爾走神”，有些學(xué)生習(xí)慣于“東張西望”，系統(tǒng)的記錄均指向“低專注度”。但事實上這些學(xué)生的課堂專注度較高，成績也優(yōu)秀。為解釋這一偏差，深入分析H公司的技術(shù)文檔發(fā)現(xiàn)：系統(tǒng)數(shù)據(jù)采集機制存在問題，偏向性的數(shù)據(jù)采集可能導(dǎo)致算法歧視風(fēng)險。系統(tǒng)將教室分為6個區(qū)域通過攝像機進行輪回掃描，40分鐘的課程平均掃描到每個學(xué)生的時長大概5分鐘。教育的整體性與數(shù)據(jù)的節(jié)點性存在不可調(diào)和的矛盾，僅用5分鐘碎片化數(shù)據(jù)來判斷學(xué)生的課堂學(xué)習(xí)狀態(tài)是不準(zhǔn)確的。加之采集數(shù)據(jù)類型太過單一，與教育的復(fù)雜性本質(zhì)相悖。教師ST-7、ST-8和ST-9明確指出規(guī)則存在漏洞，忽略具體情境的簡易表征并不能夠完全反映學(xué)生真實的學(xué)習(xí)狀態(tài)，同一個學(xué)生的同一種行為在教師的不同教學(xué)情境中所表示的意義也是不同的。簡單的7種情緒和6種行為難以表征課堂教學(xué)活動的復(fù)雜性，也難以得到有效證明與保障（Boddington，2020）。并且算法的技術(shù)專業(yè)性、單向性以及隱蔽性等特征導(dǎo)致教師難以理解算法輸出的結(jié)果，加劇了“算法黑箱”效應(yīng)，盲目依賴預(yù)測性、引導(dǎo)性的算法決策會給教育系統(tǒng)帶來巨大的危害（張愛軍，2021）。

（2）算法歧視

X中學(xué)教師認為該系統(tǒng)能夠有效提升低專注度學(xué)生的課堂學(xué)習(xí)專注度。H公司據(jù)此改進系統(tǒng)，重點關(guān)注學(xué)習(xí)成績差且課堂專注度不高的學(xué)生。但當(dāng)這部分學(xué)生意識到他們成為系統(tǒng)的重點監(jiān)控對象后，表達了強烈的不滿，加劇了算法歧視風(fēng)險。加之，算法規(guī)則來源于算法研制者的主觀判斷與選擇，難以避免嵌入某種偏向。譬如：低頭、眼睛朝向課桌或書本可能是在“閱讀”，亦有可能是“走神”;頭部貼著課桌或課桌上的書有可能是“趴桌子”，亦有可能是“回顧知識點”。算法研制者的行為判斷偏向會在算法的推斷與應(yīng)用過程中不斷增強，并最終“植入”學(xué)習(xí)者的意向和行為動機，從而固化或改變其行為選擇（程猛等，2021）。

2.外緣：算法陷阱的主要危害

算法通過對課堂教學(xué)行為數(shù)據(jù)的分析與應(yīng)用，催生了新的課堂反饋形態(tài)，并以更創(chuàng)新、更高效的課堂反饋模式取代傳統(tǒng)的課堂反饋模式。但算法規(guī)則的不透明和偏向性引發(fā)的算法黑箱與算法歧視會伴隨其應(yīng)用疆界的不斷拓展而蔓延至課堂反饋全過程，衍生出數(shù)據(jù)失信、數(shù)據(jù)濫用和隱私侵犯等現(xiàn)象。數(shù)據(jù)權(quán)利失范所導(dǎo)致的工具理性對價值理性的不斷僭越，進一步造成了教師教育自主權(quán)讓渡以及學(xué)生學(xué)習(xí)自主性喪失，帶來師生關(guān)系失衡的風(fēng)險。隨著師生關(guān)系異化，正常的情感交流不斷被壓制和邊緣化，進而導(dǎo)致情感失衡，引發(fā)了過度情感勞動與情感遮蔽的風(fēng)險。師生進行作偽、作秀式的“課堂表演”，進一步加劇了數(shù)據(jù)失信，形成“權(quán)利失范—關(guān)系失衡—情感異化”的閉環(huán)回路。此外緣閉環(huán)具有顯著的疊加效應(yīng)，作用于“黑箱”與“歧視”的算法陷阱內(nèi)因，會加劇AI支持課堂反饋的倫理風(fēng)險。

（1）權(quán)利失范

算法陷阱引發(fā)了數(shù)據(jù)權(quán)利失范。首先，算法并非中立，其暗含了主導(dǎo)者的意識偏向，致使在進行數(shù)據(jù)采集時收束了教育主體的選擇權(quán)。教育管理者、教師有權(quán)決定何種信息被采集，何種信息禁止采集，而作為數(shù)據(jù)主體的學(xué)生卻無權(quán)選擇。例如教師和學(xué)生均對數(shù)據(jù)的采集、存儲、處理以及使用過程中的安全性產(chǎn)生質(zhì)疑，H公司技術(shù)人員ET-3也透露“數(shù)據(jù)的傳輸與存儲缺乏保護機制”，由此引發(fā)了教師的抵觸情緒，因教師的抵觸攝像機便只采集學(xué)生數(shù)據(jù)。教師應(yīng)用“權(quán)利”確保了教師自身數(shù)據(jù)不被采集和分析，這本身就是一種權(quán)利失范。而教師行為透露出該系統(tǒng)可能存在數(shù)據(jù)濫用與隱私泄露的風(fēng)險，不可避免地讓學(xué)生產(chǎn)生憂慮。其次，算法的不透明性忽視了教育主體的知情權(quán)。課堂行為評價算法是一個未知的“黑箱”，師生作為數(shù)據(jù)主體無法知悉算法的運行機制，利用不可解釋的課堂行為評價算法，對海量教育數(shù)據(jù)進行分析，其最終生成的結(jié)果是否合理，是否有利于學(xué)生成長發(fā)展，亦存在爭議。最后，深度學(xué)習(xí)機制具有不確定性，對學(xué)生信息的挖掘不能完全為其設(shè)計者所主導(dǎo)，對數(shù)據(jù)進行廣泛而深入地解讀，可能形成意料之外的數(shù)據(jù)鏈，挖掘出個體敏感信息，嚴(yán)重威脅師生的隱私安全。SS-17在被系統(tǒng)認定為“左顧右盼”后，被同伴取笑，認為他是對后座異性同學(xué)“有意思”。

（2）關(guān)系失衡

算法陷阱誘發(fā)了師生關(guān)系失衡。X中學(xué)為助力學(xué)生學(xué)習(xí)引入AI，卻忽視了課堂教學(xué)的本質(zhì)是師生交流互動的過程。AI的強勢介入，在課堂反饋中扮演“監(jiān)控者”的角色，必然會導(dǎo)致師生關(guān)系的解構(gòu)與重構(gòu)。于教師而言，“算法黑箱”可能導(dǎo)致盲目的技術(shù)崇拜，進而消解教師對教學(xué)的熱情與創(chuàng)造性（孫艷秋，2018）。有教師表示課堂反饋AI系統(tǒng)一定程度上可以起到督促學(xué)生的作用，尤其是幫助低專注度的學(xué)生提高注意力，將其從點名、維持課堂秩序中解放出來，從而提高課堂效率。但是系統(tǒng)的常態(tài)化使用，可能使教師愈加依賴系統(tǒng)的監(jiān)控與決策，喪失獨立思考和判斷的能力。于學(xué)生而言，借助人臉識別、情感分析等技術(shù)手段發(fā)現(xiàn)、計算和糾正微小的不當(dāng)行為的算法機制，其本質(zhì)是對學(xué)習(xí)者實施心靈的“全景敞視”，可能導(dǎo)致學(xué)生個性異化與學(xué)習(xí)專注力喪失（張家軍等，2021）。學(xué)生時時刻刻被無形的監(jiān)管者記錄和分析，身體與情緒被置于被注視和被計算的狀態(tài)，其安全感、信任感得不到滿足，容易引發(fā)“寒蟬效應(yīng)”，將課堂文化導(dǎo)向逼仄、壓抑，學(xué)生喪失學(xué)習(xí)的主動性與專注力。學(xué)生SS-7就表示“我不喜歡被監(jiān)控，這讓我不自在。這個系統(tǒng)有可能有效，但我沒辦法按我的步調(diào)去安排學(xué)習(xí)進度，我可能反而學(xué)不好了。”AI賦能課堂反饋的過度監(jiān)控忽視了師生內(nèi)部的自主性與自我控制力，抑制了教師的創(chuàng)造性，導(dǎo)致教師教育自主權(quán)讓渡與學(xué)生學(xué)習(xí)自主性喪失。

（3）情感異化

算法陷阱致使師生情感發(fā)生異化。于學(xué)生而言，AI技術(shù)通過攝像頭持續(xù)采集學(xué)生人臉特征、行動軌跡、個人偏好等數(shù)據(jù)，實現(xiàn)對學(xué)生認知、情緒和行為習(xí)慣的全方位、實時關(guān)注，使得學(xué)生如同身處“全景敞視監(jiān)獄”中（米歇爾·福柯，1999）。它無形之中規(guī)訓(xùn)學(xué)生的身體，抑制其真實情緒的表達，進而導(dǎo)致其情感的內(nèi)在體驗和外部表達失調(diào)（程猛等，2020）。學(xué)生甚至被迫進行智識活動之外的情緒整飾，進行頻繁、高強度的情感勞動，甚至養(yǎng)成“表演性人格”（馮銳等，2020）。迪特爾·察普夫指出過度情感勞動可能導(dǎo)致情感枯竭和個性喪失（Zapf，2002）。于教師而言，在監(jiān)控之下開展教學(xué)，其難免會出現(xiàn)迎合的心態(tài)，無法完全敞開心靈進行自主發(fā)揮。由此課堂教學(xué)蛻變成“前臺”表演，所有外顯的情緒、行為都具有了強烈的工具性價值，師生都將通過作偽、作秀的表演做出符合既定算法機制的情緒和行為表達，如此便可獲得系統(tǒng)“過程性”與“真實性”的評價。長此以往，教育生態(tài)會被嚴(yán)重破壞。教師SS-11對系統(tǒng)常態(tài)化使用表達了深切的憂慮：“這個系統(tǒng)如果長期使用，老師會用來給學(xué)生施加壓力，學(xué)校會用來給老師施加壓力，建議千萬不要常規(guī)化。”此外，攝像頭對師生反復(fù)、無限度地“注視”，將師生對象化，遮蔽了其作為教育主體的完整性和時空感，學(xué)生言行被去情境化呈現(xiàn)，使其陷入被誤解與錯判的風(fēng)險（郝東方，2015）。如此則招致師生正常的情感交流被邊緣化，學(xué)生心理安全、自尊以及自我實現(xiàn)等需要被忽視。

六、倫理困境的化解策略

1.彰顯算法價值理性，遵循教育的人性邏輯

AI在改進課堂反饋層面顯示出巨大的潛力，但同時也帶來了不可避免的挑戰(zhàn)。如果出現(xiàn)錯誤的價值引導(dǎo)，這些挑戰(zhàn)可能就會轉(zhuǎn)化為教育技術(shù)創(chuàng)新應(yīng)用的巨大阻力（Dawson et al.，2018）。重視AI課堂應(yīng)用的價值引導(dǎo)，須從以下兩個方面著手。

一是規(guī)避算法黑箱風(fēng)險。技術(shù)參與課堂反饋的過程，使教師不必在學(xué)生學(xué)習(xí)行為發(fā)生的所有場合都出席，卻能對學(xué)生每一個階段的學(xué)習(xí)行為了如指掌，這將有助于教師采取更為合適的教學(xué)干預(yù)措施（Holroyde，1971）。但AI在課堂反饋中的應(yīng)用應(yīng)遵循賦能教師而非異化教師的原則。該原則的關(guān)鍵在于提升算法透明度。盡可能地向師生公開算法程序和算法運行的全過程，用可視化的簡單指標(biāo)解釋技術(shù)和模型狀態(tài);及時向師生公開數(shù)據(jù)信息收集的范圍和系統(tǒng)運行的可能結(jié)果，使得師生對自己的數(shù)據(jù)隱私和身份標(biāo)簽有較為清晰的了解。教師應(yīng)強化與學(xué)生的常態(tài)化互動，利用系統(tǒng)輸出結(jié)果輔助判定學(xué)生狀態(tài)，合理采取相應(yīng)教學(xué)改進措施。

二是避免算法歧視風(fēng)險。在某種技術(shù)的設(shè)計與教育應(yīng)用中充分考慮學(xué)生的主動性與發(fā)展性方為該技術(shù)最好的教育應(yīng)用（李政濤，2006）。因此在數(shù)據(jù)采集、算法設(shè)計和決策制定的全過程中，應(yīng)將學(xué)生的主動性和發(fā)展性作為落腳點，并通過立法規(guī)范算法技術(shù)，明確篩選數(shù)據(jù)的標(biāo)準(zhǔn)化制度，建立算法透明性和可解釋性的審查機制，完善算法問責(zé)機制，以完善的法律法規(guī)對抗算法歧視。

2.制定數(shù)據(jù)倫理規(guī)約，確保師生隱私安全

數(shù)據(jù)是AI賦能課堂反饋的基礎(chǔ)。但對教育數(shù)據(jù)的濫用與過度解讀會威脅教育主體的隱私安全，甚至?xí)拗茖W(xué)生長遠發(fā)展。因此，可從價值定位與數(shù)據(jù)確權(quán)兩個方面為教育數(shù)據(jù)安全提供內(nèi)生規(guī)約與外在保障，以確保數(shù)據(jù)主體的隱私安全。

明確教育數(shù)據(jù)的價值定位可為教育數(shù)據(jù)安全提供內(nèi)生規(guī)約。教育數(shù)據(jù)的本體限度決定了其應(yīng)用價值在于“洞察”而非預(yù)測（茍學(xué)珍，2021），即洞察師生的交流互動，助力因材施教與個性化學(xué)習(xí)，而非考核教師業(yè)務(wù)能力、預(yù)測學(xué)生未來發(fā)展。并且在對教育數(shù)據(jù)進行收集、分析以及存儲過程中應(yīng)以有用無害為價值追求;在數(shù)據(jù)被分析、解釋與挖掘過程中應(yīng)將隱私保護作為數(shù)據(jù)規(guī)則來保護教育主體的隱私安全。

在明確教育數(shù)據(jù)價值定位的基礎(chǔ)上進行數(shù)據(jù)確權(quán)是根治教育數(shù)據(jù)濫用的關(guān)鍵。數(shù)據(jù)確權(quán)即制定相應(yīng)數(shù)據(jù)采集與使用制度，保障數(shù)據(jù)主體的隱私權(quán)、知情權(quán)與遺忘權(quán)。例如，對數(shù)據(jù)采集、存儲、訪問、提取等方面做出明確規(guī)定，盡量避免采集個人敏感信息;數(shù)據(jù)傳輸與存儲過程中進行加密處理，對敏感信息進行智能清洗，防止隱私意外泄露;數(shù)據(jù)使用過程中保證數(shù)據(jù)主體的知情權(quán)，并對相關(guān)信息進行有效保護，不得隨意泄露甚至買賣他人數(shù)據(jù);定期刪除服務(wù)器上師生的個人數(shù)據(jù)，保障數(shù)據(jù)主體的“被遺忘權(quán)”，避免數(shù)據(jù)濫用持續(xù)性存在。

3.建立雙向平等關(guān)系，強化人機協(xié)作效用

人工智能的強勢介入，嚴(yán)重沖擊了課堂教學(xué)中師生關(guān)系的平衡，引發(fā)了教師教育自主權(quán)讓渡與學(xué)生學(xué)習(xí)自主性喪失。因此，調(diào)和AI帶來的負作用，防止技術(shù)對教育主體的僭越，就需要形成AI與教育主體相互制約的交互關(guān)系，強化人工智能與人腦智能的有效協(xié)作，充分發(fā)揮師生的主觀能動性與技術(shù)的輔助作用，建立雙向平等的關(guān)系，形成“師—AI—生”的人機協(xié)作共同體。

維貝克認為，技術(shù)意向性對于人的道德主體性具有建構(gòu)作用（李日容等，2018）。因此，要建立師生與AI之間雙向平等的關(guān)系，其基本前提是教育管理者與教師要理性認識課堂反饋AI系統(tǒng)的工作機理及其有效賦能的條件與限度，避免技術(shù)崇拜與技術(shù)依賴造成的教育主體性缺失。具體舉措包括：建立具有明確道德觀、價值觀指引的倫理框架，增強教育主體對技術(shù)倫理的自我感知，同時對其已經(jīng)或可能產(chǎn)生的價值迷失、行為失范等進行澄清和引導(dǎo)。

強化人機有效協(xié)作就要求算法設(shè)計者把握AI智能性與師生自主性二者間的平衡，使之既能充分利用教育人工智能高效、全面、精確的特性進行數(shù)據(jù)采集、分析與可視化呈現(xiàn)，又能充分發(fā)揮教師“靈魂工程師”的角色，以人腦智慧完成最優(yōu)決策，以獨具特色的知識經(jīng)驗為學(xué)習(xí)者學(xué)習(xí)外部知識及價值觀等提供美好的學(xué)習(xí)體驗，豐富師生的情感與思想交流，助力學(xué)生價值觀的建構(gòu)，消弭技術(shù)對師生互動產(chǎn)生的負面影響。

4.揭示情感變化規(guī)律，發(fā)展積極情感關(guān)系

情緒識別與情感計算在豐富課堂反饋通路的同時，也帶來了情感遮蔽與情感勞動的負面影響。目前，情緒狀態(tài)的智能感知研究大多停留在去時空化的基于文本、語音、視頻或生理信息的單模態(tài)識別模型層面，難以還原學(xué)生真實狀態(tài)，進而形成情感遮蔽（王一巖等，2021）。提高情感計算的還原率有助于增強教師對學(xué)生認知情緒狀態(tài)的理解，強化課堂反饋的有效性。具體舉措包括三點：一是注重情感數(shù)據(jù)的多元整合性，將人臉識別、語音識別和自然語言處理等技術(shù)相融合，綜合不同模態(tài)的情感數(shù)據(jù)來提高情感識別的準(zhǔn)確度，綜合衡量學(xué)習(xí)者的學(xué)習(xí)狀態(tài)。二是注重情感發(fā)生依存性，利用智能感知技術(shù)對真實的教學(xué)情境進行全方位、多層次的精準(zhǔn)刻畫，探究教師教學(xué)風(fēng)格、課堂氛圍等教學(xué)要素對學(xué)習(xí)者情感狀態(tài)的影響機制。三是注重情感狀態(tài)的時序變化，利用時序性數(shù)據(jù)，構(gòu)建基于時間序列的動態(tài)分析模型，以便更精準(zhǔn)地還原學(xué)生當(dāng)下情緒狀態(tài)，揭示其情感變化規(guī)律。

課堂教學(xué)的本質(zhì)是師生互動。人工智能作為課堂監(jiān)控異化了師生間的互動。因而，采用輕量化的人工智能設(shè)備，弱化其監(jiān)控屬性，有助于調(diào)和師生正常的互動交流。同時，教師應(yīng)加強對學(xué)生的情感關(guān)懷，及時進行情感干預(yù)，消弭人工智能對師生情感互動產(chǎn)生的負面影響，發(fā)展積極的情感關(guān)系。

參考文獻：

[1][法]米歇爾·福柯（1999）.規(guī)訓(xùn)與懲罰[M].劉北成，楊遠嬰.北京：生活·讀書·新知三聯(lián)書店：241-242.

[2]安濤（2020）.“算計”與“解蔽”：人工智能教育應(yīng)用的本質(zhì)與價值批判[J].現(xiàn)代遠程教育研究，32（6）：9-15.

[3]曹曉明，張永和，潘萌等（2019）.人工智能視域下的學(xué)習(xí)參與度識別方法研究——基于一項多模態(tài)數(shù)據(jù)融合的深度學(xué)習(xí)實驗分析[J].遠程教育雜志，37（1）：32-44.

[4]程猛，宋文玉，陽科峰（2020）.人臉識別技術(shù)的課堂應(yīng)用：一種批判性反思[J].基礎(chǔ)教育，17（5）：47-53.

[5]程猛，陽科峰，宋文玉（2021）.“精準(zhǔn)識別”的悖論及其意外后果——人臉情緒識別技術(shù)應(yīng)用于大學(xué)課堂的冷思考[J].重慶高教研究，9（6）：78-86.

[6]馮銳，孫佳晶，孫發(fā)勤（2020）.人工智能在教育應(yīng)用中的倫理風(fēng)險與理性抉擇[J].遠程教育雜志，38（3）：47-54.

[7]茍學(xué)珍（2021）.智能時代教育數(shù)據(jù)安全的倫理規(guī)約簡論[J].電化教育研究，42（9）：35-40.

[8]顧小清，胡藝齡（2020）.理解、設(shè)計和服務(wù)學(xué)習(xí)：學(xué)習(xí)分析技術(shù)的回顧與前瞻[J].開放教育研究，26（2）：40-42.

[9]顧小清，舒杭（2016）.信息技術(shù)的作用發(fā)生了嗎——用學(xué)習(xí)分析技術(shù)刻畫學(xué)習(xí)行為印記[J].現(xiàn)代遠程教育研究，（5）：10-19.

[10]韓麗，李洋，周子佳等（2017）.課堂環(huán)境中基于面部表情的教學(xué)效果分析[J].現(xiàn)代遠程教育研究，（4）：97-103，112.

[11]韓穎，董玉琦，畢景剛（2018）.學(xué)習(xí)分析中情緒的生理數(shù)據(jù)表征——皮膚電反應(yīng)的應(yīng)用前瞻[J].現(xiàn)代教育技術(shù)，28（10）：12-19.

[12]郝東方（2015）.教室攝像頭的注視現(xiàn)象研究——以薩特的他者理論為視角[J].電化教育研究，36（12）：23-29.

[13]黃麗鳳，邵志芳，孟徐虹等（2010）.誘導(dǎo)情緒影響面部表情識別的反應(yīng)偏向[J].心理科學(xué)，33（3）：624-626，599.

[14]李日容，張進（2018）.維貝克“道德物化”思想的后現(xiàn)象學(xué)根基[J].科學(xué)技術(shù)哲學(xué)研究，35（5）：83-88.

[15]李新，楊現(xiàn)民（2019）.教育數(shù)據(jù)思維的內(nèi)涵、構(gòu)成與培養(yǎng)路徑[J].現(xiàn)代遠程教育研究，31（6）：61-67.

[16]李政濤（2006）.為人的生命成長而設(shè)計和發(fā)展教育技術(shù)——兼論教育技術(shù)學(xué)的邏輯起點[J].電化教育研究，（12）：3-7.

[17]李政濤（2020）.現(xiàn)代信息技術(shù)的“教育責(zé)任”[J].開放教育研究，26（2），13-26.

[18]劉清堂，何皓怡，吳林靜等（2019）.基于人工智能的課堂教學(xué)行為分析方法及其應(yīng)用[J].中國電化教育，（9）：13-21.

[19]莫宏偉（2018）.強人工智能與弱人工智能的倫理問題思考[J].科學(xué)與社會，8（1）：14-24.

[20]彭蘭（2021）.算法社會的“囚徒”風(fēng)險[J].全球傳媒學(xué)刊，8（1）：3-18.

[21]蘇明，陳·巴特爾（2019）.人工智能教育倫理的多維審視——基于馬克思技術(shù)批判和人的全面發(fā)展理論[J].西南民族大學(xué)學(xué)報（人文社科版），40（11）：223-228.

[22]孫艷秋（2018）.課堂教學(xué)中的“技術(shù)崇拜”：癥候、成因與治理[J].電化教育研究，39（7）：77-82，90.

[23]孫眾，呂愷悅，駱力明等（2020）.基于人工智能的課堂教學(xué)分析[J].中國電化教育，（10）：15-23.

[24]唐漢衛(wèi)，張姜坤（2020）.大數(shù)據(jù)教育應(yīng)用的限度[J].華東師范大學(xué)學(xué)報（教育科學(xué)版），38（10）：60-68.

[25]王一巖，劉士玉，鄭永和（2021）.智能時代的學(xué)習(xí)者情緒感知：內(nèi)涵、現(xiàn)狀與趨勢[J].遠程教育雜志，39（2）：34-43.

[26]吳河江，涂艷國，譚轢紗（2020）.人工智能時代的教育風(fēng)險及其規(guī)避[J].現(xiàn)代教育技術(shù)，30（4）：18-24.

[27]吳立寶，曹雅楠，曹一鳴（2021）.人工智能賦能課堂教學(xué)評價改革與技術(shù)實現(xiàn)的框架構(gòu)建[J].中國電化教育，（5）：94-101.

[28]張愛軍（2021）.“算法利維坦”的風(fēng)險及其規(guī)制[J].探索與爭鳴，（1）：95-102，179.

[29]張家軍，陳苗（2021）.回歸育人價值：數(shù)字全景敞視下教育規(guī)訓(xùn)隱憂的消解路徑[J].現(xiàn)代遠程教育研究，33（4）：33-42.

[30]趙佳麗，羅生全，孫菊（2020）.教育大數(shù)據(jù)研究范式的內(nèi)涵、特征及應(yīng)用限度[J].現(xiàn)代遠程教育研究，32（4）：57-64，85.

[31]趙瑞斌，楊現(xiàn)民，張燕玲等（2021）.“5G+AI”技術(shù)場域中的教學(xué)形態(tài)創(chuàng)新及關(guān)鍵問題分析[J].遠程教育雜志，39（2）：44-52.

[32]鐘紹春（2020）.課堂教學(xué)新模式構(gòu)建方向與途徑研究[J].中國電化教育，（10）：40-48.

[33]Berendt， B.， Littlejohn， A.， & Blakemore， M. （2020）. AI in Education： Learner Choice and Fundamental Rights[J]. Learning， Media and Technology， 45（3）：312-324.

[34]Boddington， P. （2020）. The Ethics of AI and the Moral Responsibility of Philosophers[J]. The Philosophers’Magazine， 89：62-68.

[35]Dawson， S.， Poquet， O.， & Colvin， C. et al. （2018）. Rethinking Learning Analytics Adoption Through Complexity Leadership Theory[C]// Proceedings of the 8th International Conference on Learning Analytics and Knowledge. Association for Computing Machinery：236-244.

[36]Holroyde， D. （1971）. Educational Technology Means Men-or Machines？[J]. British Journal of Educational Technology， 2（2）：137-142.

[37]Wang， Y. （2021）. When Artificial Intelligence Meets Educational Leaders’Data-Informed Decision-Making： A Cautionary Tale[J]. Studies In Educational Evaluation， 69：100872.

[38]Whitehill， J.， Serpell， Z.， & Lin， Y. et al. （2014）. The Faces of Engagement： Automatic Recognition of Student Engagement from Facial Expressions[J]. IEEE Transactions on Affective Computing， 5（1）：86-98.

[39]Zapf， D. （2002）. Emotion Work and Psychological Well-Being： A Review of the Literature and Some Conceptual Considerations[J]. Human Resource Management Review， 12（2）：237-268.

收稿日期 2021-11-10 責(zé)任編輯 李鑫 譚明杰

AI Enabled Classroom Teaching Evaluation： Ethical Review and Risk Resolution

LUO Jianghua， WANG Lin， LIU Lu

Abstract： While artificial intelligence （AI） technology improves the quality and efficiency of classroom teaching feedback， a series of ethical problems have attracted more and more attention. The systematic analysis of application cases helps to reveal the deep-seated causes of such ethical dilemmas. Based on the interviews with the developers， teachers， students and other users of classroom feedback AI system in X Middle School， the “internal cause-external edge” interpretation model constructed through three-level coding analysis shows that the ethical dilemma of classroom feedback AI system application is mainly caused by algorithm pitfalls， manifested in algorithm black box and algorithm discrimination. Due to the opacity and bias of algorithm rules， the classroom intelligent feedback process presents phenomena such as data dishonesty， data abuse and privacy invasion， which induces external risks such as power anomie， relationship imbalance and emotional alienation. These risks are manifested in the transfer of educational autonomy of “teachers”， the loss of learning autonomy of “students”， excessive emotional labor and emotional masking. To resolve the ethical risk of AI enabled classroom feedback， we should firstly avoid algorithm black box and algorithm discrimination， advocate that teachers and students have the right to know the algorithm rules， take students’ initiative and development as the foothold， and improve laws and regulations to combat algorithm discrimination; secondly， we should formulate data ethics regulations to ensure the security of educational data and the privacy of teachers and students; thirdly， we should establish a two-way equal relationship between teachers and students and AI， and strengthen the effectiveness of man-machine cooperation; fourthly， we should reveal the law of students’ emotional change and develop the positive emotional relationship between teachers and students.

Keywords： Artificial Intelligence; Classroom Feedback; Algorithm Pitfall; Ethical Risk