江 波 丁瑩雯 魏雨昂
(華東師范大學(xué)教育信息技術(shù)學(xué)系/上海智能教育研究院,上海 200062)
數(shù)字技術(shù)的指數(shù)級發(fā)展速度遠(yuǎn)超于當(dāng)前社會、政治、經(jīng)濟層面的適應(yīng)能力(Hanna, 2018),各行各業(yè)都在積極推進和落實數(shù)字化戰(zhàn)略。數(shù)字化轉(zhuǎn)型是使用人工智能、自動化、5G 等數(shù)字技術(shù),利用數(shù)據(jù)實現(xiàn)工作的智能決策和實時響應(yīng)①,是利用技術(shù)從根本上提高組織的績效或者影響力(Brence &Mauhart, 2019),是在信息技術(shù)應(yīng)用不斷創(chuàng)新和數(shù)據(jù)資源持續(xù)增長的雙重作用下對相關(guān)領(lǐng)域的變革與重塑(翟云等, 2021)。教育是數(shù)字化轉(zhuǎn)型的重要領(lǐng)域。UNESCO(2022)認(rèn)為數(shù)字化學(xué)習(xí)和轉(zhuǎn)型是促進教育改革的關(guān)鍵杠桿。祝智庭等(2022a)將教育數(shù)字化轉(zhuǎn)型定義為將數(shù)字技術(shù)整合到教育領(lǐng)域的各個層面,推動教育全方位創(chuàng)新與變革,實現(xiàn)包容有序、開放持續(xù)的良好教育生態(tài)。它通過教育數(shù)據(jù)驅(qū)動,數(shù)字技術(shù)賦能,實現(xiàn)教育教學(xué)的提質(zhì)增效和傳統(tǒng)教育教學(xué)流程的優(yōu)化與重塑。
從技術(shù)變革教育的角度來看,我國教育發(fā)展大致經(jīng)歷了電氣化、信息化1.0、信息化2.0 三個主要階段 (黃榮懷, 2022)。信息化2.0 階段的一個顯著特征是教育數(shù)字化轉(zhuǎn)型,而在諸多數(shù)字化技術(shù)中,人工智能是能夠真正實現(xiàn)提質(zhì)增效的核心技術(shù)。無論是《教育信息化2.0 行動計劃》,還是《教育現(xiàn)代化2035》,都強調(diào)充分利用人工智能技術(shù)助力教育教學(xué)的改革發(fā)展。以人工智能為代表的新一代數(shù)字技術(shù)正對傳統(tǒng)教育生態(tài)、教育環(huán)境、教學(xué)方式、教育治理產(chǎn)生革命性影響,已然成為教育數(shù)字化轉(zhuǎn)型的核心技術(shù)。近年來,各類智能教育平臺紛紛將人工智能作為核心技術(shù),在智能輔導(dǎo)、微格教學(xué)、自適應(yīng)學(xué)習(xí)、沉浸學(xué)習(xí)、自動測評、課堂評價、數(shù)據(jù)決策、教育治理等多方面推動了教育的革新與發(fā)展(楊曉哲, 任友群, 2021)。人工智能技術(shù)助力教育的革新主要體現(xiàn)在教育教學(xué)流程再造、知識供給形態(tài)變革、教育評價模式優(yōu)化和教育管理形式創(chuàng)新等四個方面(劉三女牙, 2022)。
然而,人工智能的技術(shù)本質(zhì)決定了它天生具有偏見和風(fēng)險。微軟將人工智能帶來的挑戰(zhàn)歸結(jié)為公平、責(zé)任、透明、倫理(Fairness, Accountability, Transparency, Ethics, FATE)這四大核心問題②。教育的對象是人,人工智能教育應(yīng)用的前提是平等、公平和公正地使用(張坤穎, 張家年, 2017)。人工智能的“黑箱”決策機制有違以人為中心的決策理念,因此難以被教育利益相關(guān)者接納,而教育教學(xué)決策科學(xué)與否直接影響了教學(xué)效益(魏亞麗, 張亮, 2022)。人工智能的強大的預(yù)測能力在賦能教育教學(xué)決策的同時,也會放大教育決策的負(fù)面影響,從而違背了教育的公平、責(zé)任、透明和倫理等硬約束。因此,UNESCO 發(fā)布的報告(Duggan & Corporation, 2020)和建議書(UNESCO, 2021)均強調(diào)透明度、可監(jiān)督性和可解釋性對教育人工智能的重要性。由于教育決策的時效性和特殊性,教育人工智能應(yīng)用需要在設(shè)計和開發(fā)階段就實現(xiàn)透明性(Transparence)和可解釋性(Explainability),而不能事后彌補。教育由復(fù)雜成分構(gòu)成,它既是服務(wù)業(yè),也是社會文化事業(yè),還是極其復(fù)雜的社會現(xiàn)象(祝智庭等, 2018)。教育治理問題高度復(fù)雜,提升教育人工智能模型的透明度和可解釋性,不是一個簡單的技術(shù)問題,更需要從個人、部門、社會等主體對教育人工智能的監(jiān)督機制、隱私保護、倫理法規(guī)、公平?jīng)Q策等方面進行約束,從而構(gòu)建起兼顧性能、可解釋性、公平倫理、問責(zé)機制和透明度的可信教育人工智能體系。
本節(jié)將具體闡述人工智能賦能教育數(shù)字化轉(zhuǎn)型帶來的治理問題及引發(fā)的負(fù)面影響。
教育公平一直是教育變革中的重點話題。平等和公平是教育公平中兩個常見且易混淆的概念。Kizilcec 和Lee (2020)總結(jié)了技術(shù)創(chuàng)新對教育公平的影響(如圖1 所示)。平等是通過技術(shù)創(chuàng)新活動給不同學(xué)生群體在整個教育過程提供同等的教育機會和資源,由于不同學(xué)生群體獲取資源的途徑及學(xué)習(xí)能力存在差距,導(dǎo)致群體間的差距保持不變或者擴大;而公平是通過技術(shù)創(chuàng)新活動將教育資源和機會向邊緣弱勢群體傾斜,從而縮小群體間差距。在人工智能賦能教育數(shù)字化轉(zhuǎn)型過程中,可能會加劇教育不公平問題。在算法層面,人工智能算法中的數(shù)據(jù)樣本不均衡和數(shù)據(jù)標(biāo)簽歧視,使得算法推送產(chǎn)生偏見和歧視,容易將學(xué)習(xí)者置于“信息繭房”,推送給學(xué)習(xí)者較為單一的學(xué)習(xí)內(nèi)容,忽視其學(xué)習(xí)和發(fā)展的靈活性和多樣性。在教育資源層面,應(yīng)用對象往往向數(shù)字化水平高的地域傾斜,不同地區(qū)的學(xué)生對互聯(lián)網(wǎng)等數(shù)字技術(shù)的應(yīng)用存在差距,導(dǎo)致不同學(xué)生獲得教育資源不等。在應(yīng)用設(shè)計層面,產(chǎn)品開發(fā)者的逐利特性使其在產(chǎn)品設(shè)計階段忽略特殊人群的需求,智能產(chǎn)品的包容性低、智能產(chǎn)品設(shè)備要求高和迭代快,給邊緣群體帶來困擾,甚至使其排斥、厭惡智能產(chǎn)品,“數(shù)字鴻溝”將隨之拉大,最終加劇教育的不公平。

圖1 技術(shù)創(chuàng)新對教育公平的影響(Kizilcec & Lee, 2020)
隨人工智能算法的功能性增強、復(fù)雜性增加,其自主性增高,致使算法可解釋性降低。當(dāng)算法無法被觀測和解釋時,其責(zé)任分配和歸屬也就無從談起(劉艷紅, 2022)。教育人工智能的責(zé)任問題是指,誰來為人工智能帶來的負(fù)面影響或具有爭議的后果承擔(dān)責(zé)任。在數(shù)據(jù)管理層面,由于在數(shù)據(jù)的采集、分析、處理和存儲等過程中都有可能發(fā)生數(shù)據(jù)泄露、竊取和濫用的不正當(dāng)行為,導(dǎo)致學(xué)習(xí)者個人數(shù)據(jù)泄露問責(zé)困難(胡姣等, 2022)。在數(shù)據(jù)處理及共享層面,在數(shù)據(jù)共享和解釋時可能對個別學(xué)生帶上種族、地位等有色標(biāo)簽,使其合法權(quán)利受到威脅,此時責(zé)任主體無法明確(于聰, 劉飛, 2022)。在教育人工智能產(chǎn)品應(yīng)用層面,教育人工智能產(chǎn)品可能會導(dǎo)致學(xué)習(xí)的失敗,人工智能算法作為其中的責(zé)任主體,由于其過程不透明、內(nèi)部算法復(fù)雜、決策“黑箱”,很難確定系統(tǒng)的決策機制是如何運行的,也很難對其進行追溯和解釋。不具有透明度和可解釋性的人工智能,無法明確事故的發(fā)生因何而起,那么教育人工智能的問責(zé)機制就無法實現(xiàn)。
教育人工智能的透明性是為保障教育利益相關(guān)者的知情權(quán),公開關(guān)于教育人工智能系統(tǒng)的數(shù)據(jù)收集和管理框架、數(shù)據(jù)標(biāo)簽和清洗方法、影響特定預(yù)測或決策的算法等信息,可以增進教育利益相關(guān)者對系統(tǒng)的信任(苗逢春, 2022)。教育人工智能的透明性體現(xiàn)在兩個方面:一是模型的每個決策單元以及決策單元之間的可訪問、可觀測的程度;二是系統(tǒng)能夠以利益相關(guān)者可理解的方式披露信息,如技術(shù)構(gòu)成、行為邏輯、使用和維護方法及輸出的預(yù)期結(jié)果等。教育場景的特殊性一定程度上約束了教育人工智能的透明機制的建立。一是技術(shù)的限制,我國教育利益相關(guān)者的數(shù)字素養(yǎng)整體有待提高,而當(dāng)前的可解釋性技術(shù)尚未達(dá)到“通俗”水平,導(dǎo)致利益相關(guān)者無法理解技術(shù)決策的過程。二是法律法規(guī)的限制,數(shù)據(jù)透明存在損害利益相關(guān)者個人隱私的潛在風(fēng)險,相應(yīng)的涉及個人隱私的數(shù)據(jù)標(biāo)簽可能未經(jīng)用戶知情允許而被公開,從而誘發(fā)信息竊取泄露的違法行為。
人工智能賦能教育數(shù)字化轉(zhuǎn)型中面臨的倫理問題包括利益相關(guān)者倫理問題、技術(shù)倫理問題和社會倫理問題(托雷·霍爾等, 2022;苗逢春, 2022)。在教育人工智能技術(shù)的設(shè)計過程中,帶有 “偏見基因”的數(shù)據(jù)和算法引發(fā)教育偏見、歧視和個人隱私泄露等問題。師生面臨一系列倫理困境,如教師的角色定位、該以何種倫理準(zhǔn)則保護學(xué)生個人隱私和信息安全等。學(xué)生作為教育人工智能產(chǎn)品最直接的受益者,受到智能學(xué)習(xí)服務(wù)的有效性因人而異,在學(xué)習(xí)者大腦發(fā)育的關(guān)鍵期接受不適宜的學(xué)習(xí)服務(wù)將導(dǎo)致其生理和心理、社會交往習(xí)慣和認(rèn)知能力等逆向發(fā)展。例如,過度使用電子設(shè)備對學(xué)習(xí)者視力、聽力等生理結(jié)構(gòu)造成的不可逆影響及剝奪學(xué)習(xí)者與同伴、教師和家長的交流時間,從而造成社會交往能力缺失(荊敏菊, 2015)。教育數(shù)字化轉(zhuǎn)型中由于數(shù)據(jù)、算法及其決策過程導(dǎo)致技術(shù)倫理問題,從而引發(fā)教育不公的社會倫理問題。此外,教育人工智能技術(shù)中存在缺乏可解釋性和透明度的技術(shù)倫理問題,導(dǎo)致責(zé)任主體無法被界定,從而引發(fā)問責(zé)難的社會倫理。
綜上所述,人工智能的教育應(yīng)用在促進教育數(shù)字化轉(zhuǎn)型的同時,也在不同程度上加劇了教育教學(xué)中的公平、責(zé)任、透明和倫理等問題。歸根結(jié)底,人工智能賦能教育數(shù)字化轉(zhuǎn)型而引發(fā)和加劇的治理問題是人工智能技術(shù)引起的。因此,如果能從技術(shù)源頭實現(xiàn)透明性和可解釋性,則可最大程度降低人工智能賦能教育數(shù)字化轉(zhuǎn)型帶來的負(fù)面影響。
信任是建立合作的基礎(chǔ),人與技術(shù)之間同樣需要通過信任建立人機協(xié)同的合作關(guān)系。社會-技術(shù)系統(tǒng)中,人與技術(shù)的發(fā)展是相輔相成的,人類信任、接納技術(shù)以減少勞動成本,發(fā)揮技術(shù)價值,進而促進技術(shù)革新。構(gòu)建可信人工智能(Trustworthy AI,TAI)是解決信任問題的必要條件。Liu 等人(2022)分別從技術(shù)、用戶、社會對TAI 的原則進行總結(jié):從技術(shù)本身考慮,TAI 需要高準(zhǔn)確度、魯棒性和可解釋性;從用戶出發(fā),TAI 需要具備可靠可用性、安全隱私及自主性;從社會的角度,TAI 需要顧及法律、道德、公平和環(huán)保問題。如圖2 所示,歐盟在《可信賴的人工智能倫理準(zhǔn)則》(European Commission, 2019)中提出了TAI 的框架,包括尊重人的自主性、防止傷害、可解釋和公平等4 個倫理原則,人類代理和人類監(jiān)督、技術(shù)健壯性和安全性、隱私和數(shù)據(jù)管理、透明度、多樣性、社會和環(huán)境福祉、問責(zé)等7 個要素,以及技術(shù)方法和非技術(shù)方法等2 類方法。可信人工智能的原則貫穿于整個人工智能系統(tǒng)的生命周期,并進行不斷的評估反饋、迭代優(yōu)化。IEEE 在2022 年技術(shù)預(yù)測中將TAI 確定為隨后幾年的領(lǐng)先新興領(lǐng)域之一(IEEE Computer Society, 2022)。

圖2 歐盟《可信賴的人工智能倫理準(zhǔn)則》
當(dāng)前,可信人工智能已經(jīng)上升到各國人工智能發(fā)展的重大戰(zhàn)略 。在教育領(lǐng)域,利益相關(guān)者尤為重視教學(xué)決策中的公平、責(zé)任、透明和倫理問題,當(dāng)技術(shù)介入其中,算法“黑箱”、算法偏見等一系列問題導(dǎo)致教育過程變得機械化和形式化,教育參與者的主動權(quán)被削弱,教育過程與教育主體逐漸剝離(馮永剛, 趙丹丹, 2022)。在人工智能賦能教育數(shù)字化轉(zhuǎn)型的背景之下,技術(shù)的可信度將會影響轉(zhuǎn)型的“質(zhì)”和“效”。可信人工智能的提出能在一定程度上緩解技術(shù)賦能教育數(shù)字化轉(zhuǎn)型引發(fā)和加劇的治理難題。眾多國際組織和學(xué)術(shù)團體嘗試構(gòu)建可信人工智能的通用框架與指南 (中國通信院,京東探索研究院, 2021; European Commission, 2019; Trump, 2020),但教育領(lǐng)域的專業(yè)性約束了通用指南在應(yīng)用場景、作用對象和實現(xiàn)細(xì)節(jié)上的針對性。因此,本研究基于可信人工智能倫理準(zhǔn)則的七大要素,結(jié)合教育場景的特殊性,提出了可信教育人工智能(Trustworthy Artificial Intelligence in Education, TAIE)框架,回答教育利益相關(guān)者在設(shè)計、開發(fā)和運用教育人工智能技術(shù)的過程中為何需要可信、何以實現(xiàn)可信。進一步,基于社會-技術(shù)系統(tǒng)理論(Geels, 2002),從技術(shù)、社會和人三個角度來闡述教育場景下可信人工智能的基本特征和要求。
社會-技術(shù)系統(tǒng)理論認(rèn)為,技術(shù)系統(tǒng)的變革是社會經(jīng)濟、組織制度和社會文化等多種因素作用的結(jié)果(Geels, 2002)。技術(shù)創(chuàng)新促進社會發(fā)展是在技術(shù)和社會協(xié)同演進的過程中實現(xiàn)的,而不是單一的技術(shù)進步使然(孫啟貴等, 2021)。從這個視角看,可信教育人工智能是一種開放、多層次和多要素所構(gòu)成的新型社會-技術(shù)系統(tǒng)。首先,可信教育人工智能是一個多要素組合的復(fù)雜系統(tǒng)。技術(shù)層面,可信教育人工智能主要由算法、算力和數(shù)據(jù)組成;社會層面,可信教育人工智能系統(tǒng)的運轉(zhuǎn)需要一系列復(fù)雜社會條件的相互配合和支持。其次,可信教育人工智能的創(chuàng)新和應(yīng)用是一個持續(xù)的變革過程。人工智能技術(shù)與教育體系協(xié)同演進,通過技術(shù)將教育體制、教育方法和教育評價等諸多因素有機連接起來,以實現(xiàn)對教育的重塑。同時,技術(shù)的變革路徑也會受到這些社會因素的影響。最后,教育的主體是人,這是教育領(lǐng)域與其他社會行業(yè)的本質(zhì)區(qū)別,因此,可信教育人工智能需要“以人為中心”。從當(dāng)前的發(fā)展態(tài)勢看,智能時代下的社會-技術(shù)系統(tǒng)的發(fā)展更加注重“以人為中心”的設(shè)計理念,促使人、機、社會和組織之間更加緊密地交互和協(xié)同合作(許為, 2022)。因此,本研究從技術(shù)、人和社會三個層面提煉可信教育人工智能的基本框架(如圖3 所示)。

圖3 可信教育人工智能框架
從技術(shù)角度來看,可信教育人工智能必須具有良好的透明度和可解釋性,能夠保障用戶數(shù)據(jù)隱私和進行數(shù)據(jù)治理,同時必須是穩(wěn)健的、安全和可問責(zé)的。第一,教育人工智能算法模型在整個生命周期都需要實現(xiàn)技術(shù)問責(zé)機制。在模型投入教育教學(xué)場景中使用過程中,要記錄從輸入到輸出的運行軌跡數(shù)據(jù),以便于開發(fā)人員調(diào)試斷點,精準(zhǔn)發(fā)現(xiàn)問題。第二,保證模型的高精度是模型開發(fā)的基礎(chǔ)要求,在此基礎(chǔ)上還需要承受用戶并發(fā)、數(shù)據(jù)擾動等情況的攻擊,保證完整、可用和保密,同時根據(jù)教育相關(guān)利益者動態(tài)變化的需求,模型能夠隨時擴展、迭代和維護。第三,教育數(shù)據(jù)的泄露和竊取從一定程度上會降低用戶信任度,因此對個人信息進行特殊處理,除投入模型算法使用外,不作其他用途,且對涉及種族、年齡、地域等可能存在歧視的數(shù)據(jù)標(biāo)簽進行篩選和過濾,規(guī)避數(shù)據(jù)歧視導(dǎo)致算法推送歧視帶來的倫理風(fēng)險。第四,實現(xiàn)決策單元的可訪問、可觀測和可追責(zé)是保證模型透明度的基本要求,通過可解釋機制實現(xiàn)模型的可讀性是保證模型可解釋性的基本要求。在教育場景下,通過教育視角解釋模型輸出的決策,可以保證模型披露的信息能被教育利益相關(guān)者理解。
就社會角度而言,需要由各級教育部門和各級學(xué)校對教育人工智能的應(yīng)用進行約束規(guī)范,同時提高社會參與度和社會問責(zé)意識。在約束規(guī)范方面,制定統(tǒng)一的教育數(shù)據(jù)標(biāo)準(zhǔn),約束模型開發(fā)和使用過程中由于數(shù)據(jù)偏見帶來的算法歧視;在開發(fā)和使用人工智能模型過程中始終堅持“以人為中心”的基本原則,尊重學(xué)生的個體差異和個性化發(fā)展;合理分配不同地域、階層之間的人工智能技術(shù)和資源;建立健全可信人工智能評估標(biāo)準(zhǔn)。在提高社會參與度和社會問責(zé)意識方面,相關(guān)教育部門可專設(shè)部門及時監(jiān)管和審查教育人工智能的可信度。在教育人工智能模型應(yīng)用過程中,明確由于非技術(shù)人員不當(dāng)行為造成的教育問題的責(zé)任主體,并制定相應(yīng)的處置辦法,同時人工智能技術(shù)賦能教育在質(zhì)而不在量,其功能性、可信度、經(jīng)濟成本都需要進行合理評估。
從人的角度來看,教育主體在教育教學(xué)活動中應(yīng)當(dāng)充分發(fā)揮主體性,不依賴模型的單獨作用,而是參與模型決策,共同推進人工智能賦能教學(xué)管評的進展。同時,提升教育主體自身的教育公平和倫理道德素養(yǎng),一方面參與對模型的評估,另一方面對存在問題的決策及時調(diào)控。提升教育主體的數(shù)字素養(yǎng),盡管當(dāng)前可信教育人工智能從技術(shù)上難以實現(xiàn)“通俗易懂”,但教育主體仍需要一定的數(shù)字素養(yǎng)。人工智能技術(shù)在教育場景中的應(yīng)用非常多樣化,自身在選擇技術(shù)時需要洞察力和辨別力,積極參與并監(jiān)督模型的決策,避免使用不當(dāng)而造成負(fù)面影響。
教育數(shù)字化轉(zhuǎn)型過程中數(shù)字技術(shù)的應(yīng)用以數(shù)據(jù)為基礎(chǔ),由可信教育人工智能處理數(shù)據(jù)、解釋結(jié)果。機器學(xué)習(xí)的性能與數(shù)據(jù)量強相關(guān)(Halevy et al., 2009),數(shù)據(jù)量的大小直接影響算法的輸出效果,對教育數(shù)據(jù)的全方位采集不僅可以實現(xiàn)模型的清晰刻畫,同時有利于實現(xiàn)模型的可解釋性。多模態(tài)數(shù)據(jù)的融合是破解智能教育關(guān)鍵問題的核心驅(qū)動力(王一巖, 鄭永和, 2022)。多模態(tài)數(shù)據(jù)通常可分為外在行為表現(xiàn)、內(nèi)在神經(jīng)生理、人機媒介交互、學(xué)習(xí)情境活動等(Blikstein & Worsley, 2016; 陳凱泉等, 2019;牟智佳, 符雅茹, 2021; 王一巖, 鄭永和, 2022; Chango et al., 2022),多模態(tài)數(shù)據(jù)的獲取是實現(xiàn)多模態(tài)數(shù)據(jù)融合的基本途徑,這驅(qū)動了記錄系統(tǒng)交互日志、追蹤腦電心電反應(yīng)、捕捉眼動及微表情等數(shù)字技術(shù)參與教育數(shù)字化轉(zhuǎn)型。這些數(shù)據(jù)通過可信教育人工智能的分析、轉(zhuǎn)化、加工和解釋,幫助教育參與者更全面深入地剖析學(xué)習(xí)者的學(xué)習(xí)過程。
以分布式技術(shù)緩解數(shù)據(jù)壓力,以區(qū)塊鏈技術(shù)強化數(shù)據(jù)保護。人工智能技術(shù)對龐大數(shù)據(jù)量的需求勢必給系統(tǒng)造成負(fù)荷,由此驅(qū)動分布式存儲技術(shù)來分擔(dān)數(shù)據(jù)壓力,進而提高系統(tǒng)的可靠性、易用性和擴展性。智能化數(shù)字技術(shù)和海量數(shù)據(jù)資源互相融合推動教育數(shù)字化轉(zhuǎn)型,除了可信人工智能外,區(qū)塊鏈技術(shù)也在一定程度上降低了教育數(shù)字化轉(zhuǎn)型過程中可能出現(xiàn)的數(shù)據(jù)安全、倫理風(fēng)險問題。區(qū)塊鏈技術(shù)由多方共同維護,通過使用密碼學(xué)保證傳輸和訪問安全,在實現(xiàn)數(shù)據(jù)共享的同時,保護教學(xué)利益相關(guān)者。結(jié)合區(qū)塊鏈去中心化的特點, 金義富(2017)提出“區(qū)塊鏈+教育”來真正實現(xiàn)“以人為中心”的教育需求,張雙志和張龍鵬 (2020)提出了區(qū)塊鏈賦能教育治理結(jié)構(gòu)的技術(shù)邏輯,通過區(qū)塊鏈中的點對點傳輸、鏈?zhǔn)綍r間戳等技術(shù)實現(xiàn)數(shù)字信息的共享互通,實現(xiàn)教育主體之間的多元平等、相互信任。
可信教育人工智能優(yōu)化了數(shù)字技術(shù)賦能教學(xué)管評的業(yè)務(wù)流程。人工智能治理提出了“人在回路中”的模式,通過對人工智能體賦予特定價值、倫理、道德、意識形態(tài)等,讓機器“懂人理”(余欣等,2022),可信人工智能在此基礎(chǔ)上進一步實現(xiàn)讓人“懂機理”,教育領(lǐng)域中的“回路”體現(xiàn)在人機交互過程中發(fā)揮教育利益相關(guān)者的主體性。由于人工智能技術(shù)賦能教育時存在的“黑箱”問題造成信任問題,在教學(xué)環(huán)節(jié)需要適時人為干預(yù),這種監(jiān)督式的“無效參與”增加了教育利益相關(guān)者的工作成本。可解釋性是構(gòu)建教育領(lǐng)域?qū)θ斯ぶ悄軠?zhǔn)確認(rèn)知和良好信心的必然要求(孫波, 2022),可信更是進一步強化了教育主體對人工智能的信心構(gòu)建。若能針對教學(xué)管評等具體教學(xué)流程,構(gòu)建出被利益相關(guān)者接受和信任的可解釋方案,就可以實現(xiàn)自動化的教學(xué)決策。例如,在個性化教學(xué)系統(tǒng)中構(gòu)建個性化可信方案,能夠讓學(xué)習(xí)者明白系統(tǒng)的資源推薦緣由以及取得的何種效果;通過可信的人工智能模型,學(xué)習(xí)信息管理系統(tǒng)向管理者解釋學(xué)習(xí)者的預(yù)測結(jié)果,幫助管理者進行教學(xué)管理辦法的調(diào)整和優(yōu)化;在自動化評測系統(tǒng)中,通過可信人工智能模型以透明、可視化的形式告知評價者具體評價指標(biāo),且對評測的具體流程做出解釋,從而既保證教育主體適時參與,又減少其勞動負(fù)荷,構(gòu)建人機協(xié)同的智能教育結(jié)構(gòu)。當(dāng)前,國內(nèi)外已經(jīng)有不少具備可解釋性的學(xué)習(xí)平臺。例如,可解釋性ACSP 系統(tǒng)(Conati et al., 2021)是為學(xué)生提供自適應(yīng)反饋與提示并做出相應(yīng)解釋的自適應(yīng)導(dǎo)師系統(tǒng),該系統(tǒng)使用FUMA 框架進行學(xué)習(xí)者建模,系統(tǒng)向?qū)W習(xí)者提供學(xué)習(xí)反饋的同時,給出判斷的理由、預(yù)測的原因以及分?jǐn)?shù)計算規(guī)則。具備可解釋性和可視化的多模態(tài)情感分析系統(tǒng)M2Lens(Wang et al., 2022)的解釋引擎采用特征歸因方法,構(gòu)建多層次的模型行為解釋,再通過可視化的交互界面呈現(xiàn)給用戶,從而實現(xiàn)人機交互。
可信教育人工智能讓教育數(shù)據(jù)與智能體的融合更加緊密且符合倫理,通過數(shù)智融合實現(xiàn)教育數(shù)字化轉(zhuǎn)型新生態(tài)。教育問題通常由數(shù)據(jù)反饋,尤其是針對不同的教學(xué)場景,教學(xué)管評環(huán)節(jié)關(guān)注的數(shù)據(jù)重點各有不同,比如學(xué)習(xí)者的學(xué)習(xí)表現(xiàn)、教學(xué)者的教學(xué)策略、管理者的治理辦法、評價者的評價指標(biāo)等。可信教育人工智能對這些數(shù)據(jù)進行融合分析,輸出過程性解釋和終結(jié)性決策,闡明潛在的教育意義。可信教育人工智能要求采集的數(shù)據(jù)特征粒度更加精細(xì)化,來源更加多元化,獲取更加精準(zhǔn)化,采集方式更加多樣化。可信教育人工智能通過緩解責(zé)任、公平、安全問題提升教育參與者對其信任度,包括接納模型決策和反饋真實數(shù)據(jù),數(shù)據(jù)的真實性能夠幫助模型得到更加精確的結(jié)果,形成良好的人機協(xié)同生態(tài),實現(xiàn)數(shù)智融合。上海寶山區(qū)構(gòu)建的“未來寶”數(shù)字基座使用先進數(shù)字技術(shù)構(gòu)建智能教學(xué)終端和系統(tǒng),通過人機交互形成的開放式結(jié)構(gòu)實現(xiàn)了教學(xué)資源之間、教學(xué)團隊之間、各學(xué)科之間零距離的溝通與協(xié)作,同時通過大量領(lǐng)域知識數(shù)據(jù)構(gòu)建的“學(xué)科知識圖譜”讓教學(xué)參與者明白資源推送的原因,推動了個性化教學(xué)的展開,從而推動基礎(chǔ)教育改革,營造數(shù)智生態(tài)(上海市教育委員會, 2022)。
將可信視為人工智能設(shè)計開發(fā)的規(guī)范和約束,世界各國出臺了一系列的指導(dǎo)建議和管理規(guī)范。2019 年歐盟頒布的《可信人工智能倫理指南草案》(Vaggalis, 2019)提出了10 項構(gòu)建可信人工智能的要求。2021 年歐盟頒布的《人工智能法案》(European Commission, 2021)提出構(gòu)建統(tǒng)一規(guī)則的可信人工智能監(jiān)管框架,對高風(fēng)險的人工智能技術(shù)嚴(yán)格監(jiān)管。同年,中國通信院等 (2021)頒布的《可信人工智能白皮書》,聚焦可信人工智能的技術(shù)、產(chǎn)業(yè)和行業(yè)實踐,分析其實現(xiàn)路徑并提出發(fā)展建議。
在教育數(shù)據(jù)治理領(lǐng)域,我國已出臺了相關(guān)管理規(guī)定,例如《教育部機關(guān)及直屬事業(yè)單位教育數(shù)據(jù)管理辦法》《上海教育數(shù)據(jù)管理辦法》等,明確了教育數(shù)據(jù)治理的責(zé)權(quán)及應(yīng)對數(shù)據(jù)層面的公平和責(zé)任問題,但仍缺少教育人工智能算法設(shè)計和使用的管理辦法。人工智能賦能教育領(lǐng)域時,既要最大程度發(fā)揮人工智能的作用,又要防止技術(shù)、數(shù)據(jù)的濫用和越界。推進可信教育人工智能的立法是從社會層面來解決人工智能的信任問題,通過相關(guān)政府部門對可信人工智能提出具體的標(biāo)準(zhǔn)和法規(guī)來強化管理,可以緩解教育中的FATE 問題。例如,在教育數(shù)字化轉(zhuǎn)型中建立教育人工智能的算法說明書(曹建峰,2022),解決透明性問題,提高教育人工智能模型的可信度。通過對算法的詳細(xì)闡釋與說明,判斷算法的公平性和倫理性,構(gòu)建算法問責(zé)機制。在教學(xué)管評的每一個流程中都有相應(yīng)的教育主體,同時明確人工智能參與過程中的責(zé)任機制,在發(fā)現(xiàn)問題之初即可追溯算法出現(xiàn)紕漏的節(jié)點,及時干預(yù)和制止。
可信度的量化評估能幫助用戶和開發(fā)者明確可信程度,有助于實現(xiàn)可信人工智能的健康發(fā)展。美國國家標(biāo)準(zhǔn)與技術(shù)研究院發(fā)布的《人工智能和用戶信任》(Stanton & Jensen, 2021)草案提出了可信度的判斷標(biāo)準(zhǔn),劉晗等人(2022)基于軟件的可信屬性,從數(shù)據(jù)、模型和結(jié)果三方面構(gòu)建了人工智能系統(tǒng)可信度量評估框架。教育利益相關(guān)者在使用愈發(fā)先進但復(fù)雜的工具技術(shù)過程中,會提出為何要采取這種行動、有什么理論依據(jù)、結(jié)果是否有效等一系列問題。設(shè)計出教育人工智能技術(shù)的可信度評估指標(biāo),能夠幫助教育主體信任、接納和運用人工智能技術(shù),讓教育人工智能融入教育數(shù)字化轉(zhuǎn)型中,實現(xiàn)教育流程的高效運作,組成豐富的教育活動形態(tài),形成完備的教育生態(tài)。本研究建議,教育人工智能的可信度評估需要在當(dāng)前可信人工智能的評估框架的基礎(chǔ)上結(jié)合教育場景的特殊要求,基于前述的可信人工智能原則,從技術(shù)、相關(guān)利益者、社會三個層面進行量化評估。
建立有效的數(shù)據(jù)管理機制是構(gòu)建安全和有效的數(shù)字化教育生態(tài)的前提 (胡姣等, 2022)。數(shù)據(jù)標(biāo)簽中的“偏見基因”造成算法決策不公,進而加劇了教育歧視;數(shù)字化學(xué)習(xí)系統(tǒng)沒有對采集到的數(shù)據(jù)進行規(guī)范的管理和歸檔,隨著數(shù)據(jù)量的增大可能會面臨數(shù)據(jù)紊亂;數(shù)字化環(huán)境中教育利益相關(guān)者可能受到惡意攻擊和系統(tǒng)干擾或出現(xiàn)人工失誤,導(dǎo)致數(shù)據(jù)泄露;過于注重用戶安全的系統(tǒng)可能會建立起數(shù)據(jù)加密機制(朱嘉文, 顧小清, 2022),導(dǎo)致各平臺之間無法跨越,出現(xiàn)“數(shù)據(jù)孤島”的封閉局面。
看似對立的教育數(shù)據(jù)泄露與數(shù)據(jù)孤島問題,實則都是源于對數(shù)據(jù)的極端處理。在教育數(shù)據(jù)治理體系的構(gòu)建上需要“適度”,尋找數(shù)據(jù)保護與數(shù)據(jù)融合的平衡點,實現(xiàn)教育數(shù)據(jù)的智能化集成。對于數(shù)據(jù)的適度保護,可以通過技術(shù)手段和人為干預(yù)兩種方式。“黑箱”模型的內(nèi)部結(jié)構(gòu)復(fù)雜,未得到合理利用的數(shù)據(jù)資源反而會造成不必要的泄露。注重數(shù)據(jù)的產(chǎn)生和應(yīng)用過程的篩選、過濾,明確數(shù)據(jù)價值,實現(xiàn)數(shù)據(jù)保護,輔以可信人工智能的解釋來提升技術(shù)信任度,從而消弭數(shù)據(jù)歧視帶來的公平問題。同時,相關(guān)部門建立健全教育信息的隱私保護制度、提升教育參與者的信息保密意識等也能夠形成數(shù)據(jù)保護機制。對于數(shù)據(jù)的適度融合,從數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)規(guī)劃兩方面著手。海量的數(shù)字化教育平臺承載著形態(tài)各異的教育數(shù)據(jù),構(gòu)建可解釋的數(shù)據(jù)挖掘模型對多源異質(zhì)數(shù)據(jù)進行提取、剖析和同化,提取特征解釋數(shù)據(jù)關(guān)聯(lián)性,實現(xiàn)跨系統(tǒng)數(shù)據(jù)的集成。同時,著眼于教育系統(tǒng)本身,在系統(tǒng)設(shè)計之初明確數(shù)據(jù)框架,統(tǒng)一數(shù)據(jù)格式,幫助系統(tǒng)從數(shù)據(jù)源頭追溯可解釋性;也可通過相關(guān)的機構(gòu)或者部門制定統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn),設(shè)定數(shù)據(jù)管理部門專門處理數(shù)據(jù)。
數(shù)字化轉(zhuǎn)型在一定程度上受制于組織成員的數(shù)字化素養(yǎng)(祝智庭, 胡姣, 2022b)。教育從業(yè)者,尤其是教師,作為教育數(shù)字化轉(zhuǎn)型的重要成員,兼具數(shù)字公民和培養(yǎng)數(shù)字公民的雙重身份(但武剛等,2022),必須要提升自身的數(shù)字素養(yǎng),主要有兩個途徑:理解和信任新技術(shù),接納和運用新技術(shù)。首先,教育從業(yè)者對技術(shù)的理解有助于構(gòu)建技術(shù)信任。由可信教育人工智能構(gòu)建的教育教學(xué)系統(tǒng),能夠建立起教育者與機器之間的溝通橋梁,更容易被教育者理解,由此打破對機器難以捉摸的偏見,提高掌握數(shù)字技術(shù)的自我效能感,推動教育從業(yè)者進一步接納和運用新技術(shù)。其次,教育從業(yè)者接納并運用數(shù)字技術(shù)有助于推進教育與技術(shù)的融合。從社會-技術(shù)系統(tǒng)角度來看,可信人工智能能夠提高技術(shù)的透明度、增強結(jié)果的可靠性、保證運作的安全性,有助于建設(shè)更加和平、公正、包容的社會(UNESCO,2021)。教育從業(yè)者是促進技術(shù)創(chuàng)新和社會發(fā)展的主導(dǎo)力量,教師合理運用可信教育人工智能可以減少勞動成本、提高教學(xué)效率、推動技術(shù)傳播,從而構(gòu)建一個良性的社會-技術(shù)系統(tǒng)。
(江波工作郵箱:bjiang@deit.ecnu.edu.cn)