可信賴人工智能教育應用的建設路徑與現實啟示

沈苑　胡夢圓　范逸洲　汪瓊

摘要：人工智能技術在輔助教學上展現出了巨大潛力，也因其不透明性、無法預測性以及不當使用而引發爭議，建設可信賴的人工智能教育應用（AIED）成為國際共識。可信賴AIED強調“以人為本”的價值宗旨，以可靠、安全的AI技術為底層基礎，以合倫理性的理解和使用為關鍵保障，觀照教育情境的復雜性，摒棄將通用AI倫理原則或其他AI應用領域的專業倫理原則生搬硬套到教育領域。英國作為人工智能倫理治理的先行者，在可信賴AIED建設方面積累了豐富經驗，尤其體現在《人工智能保障生態系統路線圖》中。該《路線圖》從技術的開發、采購與使用三大階段出發，分別采取倫理設計、倫理核查和AI素養培養等具體策略，構建了可信賴AIED的保障體系。借鑒英國AIED的典型舉措，我國應在開發階段對智能教育產品開展本土化的價值敏感設計，采購階段對智能教育產品的可信賴度做出有意義的解釋，使用階段對師生用戶的人工智能素養加以培養和提升，以推動技術開發者、產品采購者、一線使用者等利益相關方共促可信賴AIED的本地建設。

關鍵詞：人工智能教育應用；可信賴人工智能；倫理設計；英國實踐

中圖分類號：G434? ?文獻標識碼：A? ? 文章編號：1009-5195（2023）04-0065-10? doi10.3969/j.issn.1009-5195.2023.04.008

一、引言

近年來，人工智能教育應用（Artificial Intelligence in Education，AIED）為教育形態的重塑提供了巨大的可能性。尤其是以ChatGPT為代表的新一代人工智能，更是憑借其高生成性、高自主性、高交互性，對傳統的教育方式和教學方法帶來沖擊，并進一步推動“因材施教”“終身學習”等教育理想走向現實。同時，因機器學習具有“黑箱”特征，與之相關的安全性和透明度等倫理質疑也開始蔓延（Dignum，2019）。總體來看，AIED對于傳統課堂來說尚屬陌生的“外來物”，在師生信賴不足的情況下，不乏技術誤用、濫用、棄用等情況出現。為保障AIED充分發揮其功能優勢并為教育賦能，亟須建設起符合倫理要求且值得師生信賴的智能生態系統。基于此，探究可信賴的人工智能教育應用（Trustworthy AIED）成為教育領域重要的研究話題。

長期以來，英國一直都是人工智能倫理治理的先鋒。作為“人工智能之父”艾倫·圖靈（Alan Turing）的故鄉和諸多著名AI企業（如DeepMind）的發源地，英國對AI倫理問題在政策上給予了大量關注。例如，在《人工智能行動計劃》（AI Action Plan）中，英國政府將“有效治理”作為國家發展AI的三大目標之一。2021年，英國中央數字與數據辦公室、人工智能辦公室與內閣辦公室聯合發布了《自動決策系統的倫理、透明度與責任框架》（Ethics，Transparency and Accountability Framework for Automated Decision-Making），提出了保障系統安全、可持續、倫理性的7項要素（GOV.UK，2021）。同年出臺的《人工智能保障生態系統路線圖》（The Roadmap to an Effective AI Assurance Ecosystem，下文簡稱《路線圖》）明確提出了各利益相關方在建設可信賴AI過程中應分別承擔的責任（CDEI，2021a）。近年來，英國的學術組織、研究機構、學校也都在努力探索可信賴AIED的建設路徑，貫徹相關政策的核心精神，積累了豐富的實踐經驗。有鑒于此，本文將首先對可信賴AIED的發展和建設背景進行分析，然后針對英國在AIED全生命周期中開展倫理治理的具體實踐與典型案例進行剖析，最后從AIED設計者、采購者和一線用戶等利益相關方的視角出發，反思和總結英國相關舉措對于我國可信賴AIED本土建設的啟示。

二、可信賴AIED的發展背景

“可信賴AIED”由“可信賴AI”這一概念引申而來，梳理其內涵發展、現實困境和領域特征，有助于人們達成對可信賴AIED的一致共識。

1.可信賴AI的內涵發展

我國學者李應潭在《人工智能可信賴性與可信賴算法研究》一文中將“可信賴AI”描述為“在沒有硬件故障的情況下，對于向它提出的一批問題，能夠做到沒有把握或無力回答的就不回答，有把握的才回答，回答的則保證正確”（李應潭，1999）。21世紀以來，這一概念強調的重心逐漸從技術維度轉向倫理維度，成為了社會技術倫理治理的最終目標之一。國際標準組織/國際電工委員會的第一聯合技術委員會（ISO/IEC JTC1）將人工智能的“可信賴”界定為“有能力提供客觀證據證明AI產品或系統可以完成特定要求以滿足利益相關者的期望”（ISO/IEC TR 24028：2020，2020）。

英國政府在人工智能相關戰略制定方面始終非常強調人工智能的“可信賴”問題。2016年，英國政府發布《人工智能：未來決策制定的機遇和影響》（Artificial Intelligence：Opportunities and Implications for the Future of Decision Making）報告，指出“公眾信賴”是人工智能得到有效利用的必要條件，建設信賴的核心在于公開的對話（GOV.UK，2016）。2017年，《在英國發展人工智能》（Growing the Artificial Intelligence Industry in the UK）報告再次指出，建立公眾對AI的信賴對于英國人工智能的成功發展至關重要，特別要增強數據信賴（Data Trust），以促進數據持有方和技術開發方之間安全地共享數據；該報告還要求行業與政府攜手開發經過驗證的框架和協議以確保數據共享的安全性和互惠性（Hall et al.，2017）。2018年4月，英國上議院下屬的人工智能委員會發布《英國人工智能發展的計劃、能力與志向》（AI in the UK：Ready，Willing and Able），指出如果公眾被過度暴露于負面的、失真的AI描述中，可能會導致公眾反彈，同時承認某些人工智能應用本身可能涉及誤導和欺騙，應辯證看待AI技術（House of Lords，2018）。此外，英國數字、文化、媒體和體育部（DCMS）在《國家人工智能戰略》（National AI Strategy）中進一步重申要建設“世界上最受信賴和支持創新的人工智能治理系統”的愿景（Kwarteng et al.，2021）。

2019年4月，歐盟人工智能高級專家組發布的《可信賴人工智能倫理準則》（Ethics Guidelines for Trustworthy AI），可謂是可信賴AI發展道路上的一個里程碑，其確立了“可信賴AI”的三項必要條件，即人工智能須符合法律法規、人工智能須滿足倫理道德原則及價值、人工智能在技術和社會層面應具有可靠性。該準則還明確了構成可信賴AI的7個關鍵要素，分別為人的能動性與監督，技術穩健性與安全性，隱私與數據管理，社會與環境福祉，多樣性、非歧視性與公平性，透明性和問責制度（AI HLEG，2018）。聚焦于教育領域，經濟合作與發展組織（OECD）于2020年4月發布了《教育中的可信賴人工智能：前景與挑戰》（Trustworthy Artificial Intelligence （AI）in Education：Promises and Challenges），提出了可信賴AI在教育中的要求，即只有同時滿足“AI能準確地執行任務”和“以公平且恰當的方式被使用”這兩項條件時才能取得公眾信賴（Vincent-Lancrin et al.，2020）。

綜上，可信賴AI的內涵經歷了從物理層面的準確性延伸至社會層面的合倫理性的發展過程。開發出可靠的AI技術，確保技術穩健安全和透明，始終是信賴建設的基礎。而利益相關者如何能夠辯證地理解和恰當地使用AI，包括正確地管理數據、包容地推廣技術、主動地監督使用，則是鞏固信賴的保障。

2.AIED面臨的信賴危機

目前，AIED產品已被廣泛應用于教育教學中。沉浸式體驗系統、智能導師系統、自動評估系統的出現，為傳統的教學模式注入了變革的動力。已有很多原本不是專門為教育學科設計的各種社交網絡、博客、游戲平臺和移動應用程序，也都在潛移默化地影響著學習生態系統。但從應用現狀來看，機器學習所帶來的無法預測性、不透明性，以及對人工智能的不當使用等因素，導致教育環境中頻繁出現人機信賴危機。

比如，2020年受新冠疫情影響英國高考無法正常開展，英國資歷及考試評審局采用了智能系統為考生打分，但經統計發現，約39.1%的考生的成績被系統低估，尤其是位于較差考區的弱勢學生群體被系統“打壓”得最厲害（Rahim，2020）。2022年秋季美國高校有學生借助OpenAI開發的聊天機器人ChatGPT做作業、寫論文，甚至得到了高分，更是引發了高校的警覺，使一線教師陷入深深的擔憂之中（Roose，2023）。國內方面，有學校使用頭環監測學生的課堂注意力，也有學校使用手環記錄學生的位置和行為，并將這些數據報告給家長和教師，致使“校園監獄化”等負面論斷頻頻出現（新京報，2019）。

“以人為本”是教育實踐者與研究者開展全部工作的起點與終點。上述事件反映出，目前應用于教育領域的人工智能產品，如果忽視了教育場景下的倫理訴求，非但不能達成預期效果，反而會致使教育異化，引發公眾抵觸情緒和人機信賴危機。美國教育傳播與技術協會（AECT）在2008年明確將教育技術界定為“通過創建、使用和管理適當的技術和資源來推動學習和提升表現的研究與符合倫理的實踐”（Januszewski et al.，2013）。上述定義中的合倫理性意味著對AIED的倫理審視刻不容緩。

3.教育場景的復雜性

AIED如何設計和使用也受到教育場景復雜因素的影響。首先，教育場景下的受教育對象往往是易受外界影響的兒童和年輕人，其身心尚未成熟，相較于成人用戶更需要正當的支持引導。其次，與其他AI應用領域不同，教育領域中的很多問題并非“生死一線”問題，一項不恰當的教育決策看似不如醫療事故或交通事故那么嚴重，但這也意味著利益相關者很難及時發現決策的問題所在，因此也需要付出更多成本來修正或彌補其后果。再次，相較于制造、零售、安防等AI應用較為成熟的行業，人工智能在教育領域的應用仍處于摸索階段，其帶來的直接和間接影響仍缺乏有效驗證，而且因為教育實踐本身的復雜性和隱晦性，以及影響教育目標實現的因素眾多，致使很難輕易地將技術因素剝離出來分析其影響路徑。最后，教育環境中的行為主體有自己的價值傾向性，難以一概而論，就像多數人工智能學家所追求的系統準確度并不一定是利益相關者最看重的東西。比如，學生可能希望在學習上擁有更多自主性，教師則希望在學習過程中保持人工監督和隨時干預，而家長則希望系統決策是透明可解釋的（Holmes et al.，2021）。

基于教育領域的特殊性與復雜性，建設可信賴AIED并不能簡單地將通用的AI倫理原則或其他AI應用領域的專業倫理原則“生搬”到教育領域，而是要兼顧技術和教育的雙向視角，挖掘突破AIED場景中倫理困境的內在進路。

三、可信賴AIED的建設路線

隨著AI的快速發展及其教育應用場景的不斷拓展，將碎片化的治理規則和治理工具整合為保障生態系統的迫切性和必要性持續凸顯。專門為英國政府提供人工智能安全、倫理和創新發展等政策建議的智庫——英國數據倫理與創新中心（CDEI）于2021年12月8日發布《人工智能保障生態系統路線圖》（下文簡稱《路線圖》），明確提出“在未來五年內要建設一個蓬勃發展和有效的人工智能保障生態系統”的目標，并提出了較為成熟的建設路線（CDEI，2021a）。下文概述了《路線圖》中對于AI要達到“可信賴”標準所提出的具體要求以及對應的行動指南，可作為教育領域建設“可信賴AIED”的重要參照。

1.建設可信賴AIED的雙重要求

《路線圖》將建設可信賴AI遇到的挑戰劃分為信息問題和溝通問題兩類，前者指向“人工智能系統的設計是否值得信賴”，后者指向“人工智能系統的使用是否值得信賴”。

信息層面的信賴建設聚焦于提升技術產品自身的穩健和可靠程度。如果AIED系統存在數據集質量欠佳、算法偏見、決策機制不透明、隱私保護不當、無法抵抗外部攻擊等來自技術局限或設計不周的表現，則會削弱公眾信賴，進而引發其對智能產品的抵觸和質疑。有研究者發現，IBM、曠視、微軟的人臉識別產品識別男性的準確率均高于女性，這類存在偏見的算法模型如果被用于教育中，很可能會加劇男童與女童在技術可及性方面的鴻溝（Buolamwini et al.，2018）。

溝通層面的信賴建設聚焦于提升技術在部署和使用過程中的恰當程度。這取決于用戶對技術的信賴與技術的可靠性是否匹配，過多和過少的信賴都會阻礙教育目標的實現。設想如果某著名的技術企業推出一個智能教學系統，即便此系統的算法并不成熟、準確度也無從考量，但師生可能會因為公司名氣大或宣傳力度大而盲目相信此系統，這種信賴錯置可能會導致誤用和濫用。而如果有一個算法成熟、準確度高的系統，但由于其出自一家不知名的初創公司，或技術開發者沒有準確地將證明它很可靠的證據傳達給師生，或學校領導和師生缺乏對產品背后AI技術原理的了解等，都可能導致用戶不愿意信賴和使用該系統，從而導致優質資源被浪費。

2.建設可信賴AIED的多方行動

《路線圖》還列明了處于人工智能供應鏈不同位置上的關鍵利益相關方，包括AIED開發人員、采購人員、一線用戶以及受AI影響的其他個人，尤其針對前三方還分別提出了明確的行動指南（見圖1），即要求多方在人工智能全生命周期的各個階段協作配合，以建設起人工智能保障生態系統。

具體來說，AIED開發人員需要保障技術本身的穩健可靠，遵循相關法規標準進行開發，盡可能地規避數據泄露、偏見歧視、損害自主等技術倫理問題。AIED采購人員需要對技術的可信程度與希望通過此系統達成的教育目標的匹配程度進行有效評估，并承擔起促進多方溝通的任務，避免信息不對稱情況的出現。AIED一線用戶需要提升自身的技術素養，能根據技術的可信程度和相關證據在實踐中靈活、恰當地使用AIED。

從目前英國在教育領域的具體實踐來看，AIED的開發人員、采購人員和一線用戶都在推動可信賴AIED的建設上進行了初步探索。后文將分別從開發保障、采購保障與使用保障三個角度進一步解讀英國在建設可信賴AIED的典型舉措，并就其對我國教育領域人工智能倫理治理的啟示展開討論。

四、開發保障：AIED產品的倫理設計

按照《路線圖》的要求，AIED的開發者需要首先證明自己的開發是負責任且符合相關法規和標準的，同時要不斷向技術采購人員與一線用戶傳達其系統的可信賴程度。

在2021年英國政府網站發布的《AI晴雨表第五部分——教育》（AI Barometer Part 5 - Education）中，將AIED劃分為面向學生、面向教師和面向區域三類（CDEI，2021b）。在這些不同類別的AIED產品開發中，設計者都非常重視提升技術的可信賴程度。下文選取了英國3個典型的AIED開發項目，根據《可信賴人工智能倫理準則》的7項要素對其倫理重點進行歸類，并對其設計策略進行詳細解讀（見表1）。

1.面向學生的AIED：以AIAccess為例

面向學生的AIED往往以“智能導師系統”或“適應性學習平臺”的形式出現（Baker et al.，2019）。其通常以增進學生個性化學習為開發目標，具備基于學生需求設計和推送學習材料、診斷學生知識中的強項與薄弱處、提供自動化反饋、促進學習者合作等功能。

透明性是此類產品開發中關注的關鍵要素，其強調“算法的可解釋性”，即要求AI系統的工作原理、工作機制是可以被解釋的，系統所做出的任何決策都是有跡可循的。一個不透明的AI“黑箱”會使教師與學生難以深入理解并接受系統所進行的評估、推薦或預測，因而可能導致教師做出不當決策，學生錯失進一步提升學習的機會。

由倫敦大學學院知識實驗室（UCL Knowledge Lab）開發的人工智能評估系統軟件AIAccess，通過使用開放學習者模型（Open Learner Model，OLM）以保障其透明性。AIAccess是一款幫助學生進行數學與科學學習的智能評估軟件，能以可視化地圖的方式展示系統對于學習者完成任務表現的判斷，包括學生正在學習的內容在整體學科知識地圖中的位置、學生在每個話題下已經完成的不同難度水平的學習內容，以及所獲得的系統支持程度等（Luckin，2017）。OLM使得系統的推理過程更加透明：一方面學生能夠更多享有對自己學習的控制權，增強他們對自身學習負責的意識（萬海鵬等，2021）；另一方面也讓教師能夠更好地掌握學生的知識理解水平，以便進一步開展個性化的學生管理與教學。

2.面向教師的AIED：以ClassCharts為例

面向教師的AIED旨在幫助教師減輕管理與教學方面的壓力。在這類系統中，通常會通過自動發布學習任務與材料以減輕教師的工作負擔；或者通過對學習者行為進行預測分析，以輔助教師更好地進行針對性的分組教學與班級管理。

隱私和數據管理是此類產品開發中關注的關鍵要素。教師在進行決策的過程中，不可避免地要收集學習者多方面的數據，這就要求保障技術足夠穩健安全，以避免侵犯學生個人隱私、泄漏個人數據等風險。

ClassCharts是一款輔助教師進行課堂管理的人工智能工具，能夠監測教室中學生的行為，基于學生間的互動歷史與相互影響即時生成學生座位排布，追蹤教室中特定學生間的互動，并快速生成學生行為分析報告，以便于教師高效管理學生的行為。這些功能的實現需要收集眾多學生的行為與互動數據。為確保用戶安心使用，ClassCharts所屬公司Edukey聲明會嚴格遵守歐洲《通用數據保護條例》（General Data Protection Regulation，GDPR），以標準化的政策和流程管理用戶數據。在數據隱私方面，公司聲明學校是教師與學生相關數據的控制方，具有決定收集何類數據、由誰處理數據的權力，而公司只是數據的處理方而非控制方，并且公司會保障用戶的“被遺忘權”（The Right to Be Forgotten），即用戶刪除個人信息的權力。在數據安全方面，公司指出他們用于存儲和處理數據的谷歌云服務器位于英國境內，從而保證了用戶數據存儲在歐洲經濟區范圍內，并會在平臺中通過加密技術、防火墻等多層保護措施保障用戶數據的安全（Edukey，2022）。

3.面向區域的AIED：以BIT學校審查項目為例

面向區域的AIED多以學校管理系統的形式出現，主要用于學校與地區層面上的整體改進，涉及不同學校間的數據共享。

多樣性、非歧視性與公平性是此類產品開發中關注的關鍵要素。在數據共享的過程中會涉及多元化的機構和人群，內嵌于技術的偏見問題可能會加劇對特定種族或社會文化背景人群的不公正對待，加深學生在資源和機會獲取方面的差距，進而擴大阻礙教育公平發展的數字鴻溝。

英國政府成立的行為研究小組（Behavioural Insights Team，BIT）近年來開展了借助機器學習為學校表現打分的大型社會實驗，以幫助英國教育標準局等機構進行科學決策。該評估算法采集了大量的教育數據，如各學校本地數據庫中的學生數據、英國教育標準局記錄的學校數據、學校職工普查數據、家長調查數據等，并基于這些數據對學校的未來表現進行預測（Baker et al.，2019）。但是，這種做法可能會因為數據樣本偏差而致使算法模型偏見，比如擁有黑人學生或教師比例更高的學校可能更容易被判斷為具有高風險的學校。對此，項目負責人聲明BIT團隊在項目規劃初期就將偏見風險納入考量，在創建數據集時特別加強了對數據集的來源、數據規模、代表性、特征選取和標注質量的把關，盡可能選取更高質量的數據集；而對于可能直接或間接引發宗教、種族偏見等的數據則進行多輪審查與清洗，以期盡可能保障對機構及其師生的公平對待（Reynolds，2017）。

五、采購保障：AIED產品的倫理核查

按照《路線圖》的要求，教育機構負責采購AIED的人員應當要求開發人員和供應商提供關于技術值得信賴的證據，以確保他們采購的系統符合標準，并向一線用戶傳達自己評估的結果。英國人工智能教育倫理研究所（The Institute for Ethical AI in Education，IEAIED）提出了面向AIED采購者的倫理框架（下文簡稱IEAIED框架），要求采購者在技術采購和部署階段保持倫理敏感度，擔負起教育機構與技術企業的溝通橋梁責任（IEAIED，2021）。

1.IEAIED框架的倫理維度

IEAIED框架包含9個倫理維度和33條對應的核查指標，實現了對AIED開發目標以及目標實現形式的全方位審查。9個倫理維度如下：

一是實現教育目標，即AIED應被用于實現具有可靠證據支持的、以學習者為中心的明確的教育目標。二是評價形式，即AIED應被用于評價和識別更廣范圍內的學習者能力。三是管理和工作量，即AIED應能增強教育機構的能力，同時尊重人類關系。四是平等，即AIED應被用于促進不同學習者群體之間的公平，而不是以歧視任何學習者群體的方式被使用。五是自治，即AIED應被用于提高學習者對其學習和發展的控制水平上。六是隱私，即AIED應在隱私和合法使用數據來實現教育目標之間取得平衡。七是透明和問責，即人類最終要對教育成果負責，因此應對AIED的運作方式進行適當的監督。八是知情參與，即學習者、教育者和其他相關從業者應對AIED及其影響有合理的理解。九是合乎倫理的設計，即AIED應由了解AIED潛在影響的人來設計。

上述9個維度要求教育機構的采購者不僅要對AIED產品本身進行審查，也強調了機構內部要進行自我反思和審視，比如前三個維度要求學校本身要知道自己使用AI的目的究竟是什么，以及明確AI能為學校帶來的益處和風險。此外，IEAIED框架也要求采購者與開發AIED的研發團隊進行深度溝通，比如最后一個維度要求采購者了解開發AIED的團隊構成以及成員的技術素養水平。

2.IEAIED框架的獨特優勢

與其他現有的AIED倫理框架相比（Aiken et al.，2000；Holmes et al.，2021），IEAIED 倫理框架在倫理視角、受眾群體、可操作性方面都具有鮮明的優勢。

第一，在倫理視角方面，已有框架大多是從人工智能倫理原則視角出發將權威的技術原則（如計算機協會道德與職業行為準則、阿西莫夫機器人三定律、羅杰克拉克機器人七原則、歐盟可信賴人工智能倫理準則等）演繹于教育領域，而IEAIED框架中不僅包含了平等、自治、隱私、透明和問責、知情參與、合乎倫理的設計等技術倫理要求，還更多地關注到了教育目標、評價形式、管理和工作量等教育領域的特定倫理要求。

第二，在受眾群體方面，已有框架大多沒有區分特定的面向對象，涉及內容既包括技術本身要滿足的標準，也包括使用過程中人要注意的事項。而IEAIED框架直接面向教育機構中負責采購AIED產品的負責人，也間接地要求技術開發者提供足夠的信息給采購者。

第三，已有框架大多包含了AIED需要達到的普遍標準，但沒有作出階段性的要求，也缺少操作指南，而IEAIED框架還為采購者提供了極為詳細的核查清單，包含了產品采購前、采購時、部署后每個階段應該核查的內容，具有更強的針對性，也更能保障該框架的落地實施。

六、使用保障：提升一線用戶的AI素養

根據《路線圖》要求，作為一線用戶的師生需要對智能系統有所了解，以便恰當地運用AIED來達成教育目標。近年來英國對教育的關注點放在了提升師生AI素養上。AI素養包括了解AI的基本技術和工作原理、批判性地理解AI對現實生活的影響和潛在的倫理問題、進行AI產品的創造等方面。《路線圖》指出，讓每名學生都掌握基本的AI知識，不僅是理解基礎的編程、推理或數學概念，也不僅是簡單的倫理原則，而是要讓學生成為“有意識的、有自信的AI使用者”，知道應當問什么問題、應當注意哪些社會風險和倫理問題，以及AI能夠帶來什么機會。同時，《路線圖》也支持每位教師與AI同進步，幫助他們掌握有關AI技術的基本信息，以便在教學實踐中做出最優選擇。

1.英國基礎教育階段的AI素養提升

在基礎教育階段，英國政府與社會組織協力提升師生的AI素養。在學生素養方面，英國的獨立慈善組織Apps for Good為英國超過20萬名中小學生提供了免費的技術課程，在幫助學生廣泛了解技術運用原理，并指導學生基于現實問題自主進行智能產品開發的同時，還講授了關于AI算法使用的社會、法律與倫理影響等內容，以增進學生對可信賴AI的了解，旨在讓他們成為具有批判能力和負責任的AI技術使用者。在教師素養方面，由英國教育部資助建立的英國國家計算機教育中心（National Centre for Computing Education，NCCE）為英國中小學教師提供了具有學分與證書認證的計算機與技術課程以及免費的教學資源，并為有需求的學校提供資金支持，其目標是通過政府對NCCE項目的支持，讓英國每所學校的學生都享有世界領先的計算機教育。

2.英國高等教育階段的AI素養提升

在高等教育階段，英國大力發展數據科學與人工智能學科，以及人工智能倫理教學項目。目前已有92所英國大學提供了關于人工智能的本科生課程（UCAS，2022），并且有超過224個有關人工智能的研究生項目（FindAMasters，2022）。在英國政府發布的《在英國發展人工智能產業》（Growing the Artificial Intelligence Industry in UK）報告中還提出，英國大學應當結合雇主與學生的需求，為更多本科不是計算機或數據科學的學生開設更多人工智能一年制轉修碩士課程（One-Year Conversion Masters Degrees）。該報告還提出在一流大學還需創造至少200個AI領域的博士學位名額，而且預計在2025年需要增加至少1000個人工智能博士學位名額（Hall et al.，2017）。

此外，英國的多所大學還開設了關于AI倫理的課程。如劍橋大學提供了“AI倫理與社會”（AI Ethics and Society）碩士項目，旨在培養學生在AI技術所帶來的機遇與挑戰下所必備的專業知識與技能，從而讓他們能夠理解與應對復雜社會技術系統中關于隱私、監控、公平、算法偏見、負責任的創新等方面的問題（Leverhulme Centre for the Future of Intelligence，2022）。牛津大學也成立了AI倫理研究院，重點關注AI與民主、人權、環境、治理、人類幸福、社會6個議題（Institute for Ethics in AI，2022），以促進可信賴AI的設計與使用。

七、英國可信賴AIED建設的經驗與啟示

英國在探索可信賴AIED道路上積累了豐富的經驗，《路線圖》中的三方行動指南以及前文述及的典型做法為我國可信賴AIED建設提供了重要的借鑒。考慮到中西方在文化價值觀以及AIED普及程度上的差異，我國也應該結合本土實際情況，靈活地調整可信賴AIED的建設路線和具體舉措。

1.開發階段：開展AIED本土化價值敏感設計

《路線圖》中始終強調多方利益相關者的合力建設，要求在技術設計階段就要確保AIED有足夠的穩健性。這種倡議與芭提雅·弗里德曼（Batya Friedman）等人所提出的價值敏感設計理論（Value Sensitive Design，VSD）相契合。在價值敏感設計的視角下，需要將利益相關者的倫理價值嵌入AIED的設計之中，通過倫理要素制約設計，達到使技術服務于正向度的社會建構的目標（Friedman et al.，2002）。如前文中采用開放學習者模型、遵循隱私保護規范、采用高質量數據集等做法都是價值敏感設計的實現形式。

以“隱私”這項倫理價值為例。AIED的開發者在進行產品設計時就要認識到，在便捷地收集數據的同時自身也承擔了更大的數據保護責任，應當依托國家政策制定嚴格的數據使用規范。歐洲GDPR就為眾多信息技術產品劃定了不可逾越的隱私邊界，如ClassCharts這款軟件的開發商就明確表示完全遵循GDPR的要求。對于我國來說，AIED在隱私方面的價值敏感設計則需要對標近年來我國出臺的《新一代人工智能治理原則——發展負責任的人工智能》《新一代人工智能倫理規范》《中華人民共和國數據安全法》《中華人民共和國個人信息保護法》等政策要求，對數據收集范圍、收集過程、數據處理過程、數據所有者、可獲取數據者、知情同意流程等方面加以清晰界定和嚴格執行。

另一方面，我國開展AIED價值敏感設計也需要契合我國本土文化價值的特點。比如，IEAIED要求“在隱私和合法使用數據以實現教育目標之間取得平衡”。這種平衡點的位置在不同文化背景下很可能會有所差異。參考霍爾的個人空間理論，有研究者指出，我國的傳統文化更強調集體主義，更能包容擁擠的個人空間，更愿意犧牲一部分隱私換取交際關系或者其他效用（郭望舒，2009）。以校園人臉識別技術為例，2019年瑞典的一所中學因為使用這類系統進行考勤而被瑞典數據保護局認定為違反GDPR，并處以2萬歐元的罰款（Coraggio，2019）。美國多個州市因為校園暴力事件頻發，近年來才開始允許家長申請安裝教室攝像頭（Heintzelman et al.，2017）。相較于一些西方國家極為嚴苛的隱私保護手段，我國教育領域對于這類技術則采取了更加靈活、開放的態度，目前已有許多中小學和高校借助人臉識別技術開展智慧校園建設，在承認此類技術優越性的同時，通過《教育部等八部門關于引導規范教育移動互聯網應用有序健康發展的意見》等政策法規加以制衡。因此，在產品設計過程需要增強對我國本土文化的審視，切忌完全效仿國外做法而導致“水土不服”。

2.采購階段：溝通過程中對產品的可信賴度作出有意義的解釋

英國IEAIED所提出的倫理框架啟示我們要關注AIED的采購階段。我國教育機構負責采購AIED的人員應該從多個維度對產品進行審查，要求AIED的設計者提供關于產品可信度的一系列證據，以說明AIED實現預期目標和產生潛在影響的方式、算法背后的假設、AIED在準確性和可解釋性之間作出的權衡與理由。

在采購階段，特別需要關注上述證據的解釋力度。GDPR要求產品開發企業向利益相關者提供“有意義的解釋”（EU，2016）。因此，設計者需要確保這些證據的效度，即確保這些材料能夠證明在AIED設計過程中采取了減少偏見的措施，做出了滿足各類學習者需求的包容性設計，具備數據收集的正當目的，進行過利益相關者咨詢，具有多元化的組成，參與過技術倫理培訓，不會強迫學習者或致使其成癮，確認過產品會對學習者行為產生積極影響等。

此外，在我國本土教育場景下，“有意義的解釋”還涉及解釋形式、應用情境、面向對象、解釋目的等各項具體因素。我國近年來開始大力推廣人工智能課程，但許多地區因師資、設備等條件制約，智能產品對于當地師生來說仍是新興事物。針對這類用戶的特點，學校負責采購的人員應當要求設計者提供更加簡明易懂的說明指南。采購者作為學校內部最了解AIED產品的人，還應該承擔起更多輔助性的責任，比如積極引導師生熟悉基本操作，教授師生如何在日常生活中應用，著重解釋清楚數據收集的正當目的與數據管理機制等，以提前規避倫理爭議。

3.使用階段：提升師生的AI倫理素養水平

如前文所述，過多或過少的信賴都會影響AIED產品的使用情況。師生需要了解AI技術的特點和可能帶來的影響，掌握與AI進行有效互動與批判性評估的能力，唯此才能適當地校準他們對于系統的信賴程度。相較于英國在培養AI倫理素養方面的進展，我國目前缺少類似于Apps for Good這一類注重培養學生人工智能倫理素養的專業組織。近年來所出版的中小學人工智能教材中關于人工智能倫理主題的內容也大多作為后置的補充單元，在廣度與深度上都有所不足（趙慧臣等，2019）。為提升一線師生恰當使用AIED產品的能力，我國應當進一步推動人工智能倫理教育的發展。

首先，國內高校與研究機構可以加強面向學生的人工智能倫理課程與工作坊開發，從專業角度助力學生AI素養的發展。如美國麻省理工學院媒體實驗室（MIT Media Lab）就開發了面向中小學生的“AI與倫理”課程，通過一系列動手實踐活動，帶領學生學習AI系統的相關技術概念、AI技術的倫理與社會知識。而同樣由他們開發的“個人機器人小組”（Personal Robots Group）工作坊，也通過一系列與學生日常生活息息相關的趣味性活動向中小學生傳遞了數據隱私相關知識（Akgun et al.，2022），這些課程都可以作為我國開發類似教育資源的參考。

其次，開展更多以人工智能為主題的教師專業發展活動，在幫助教師學會在課堂中使用技術的同時，也讓教師理解 AI只是為教育賦能的一種可選擇的方法，并非唯一路徑。在“借助智能技術淬煉教師的核心能力”的同時，也讓教師警惕對于運用智能技術進行教學判斷的過分依賴（汪瓊等，2021）。

再次，中小學也應進一步加強與大學、科研機構、人工智能企業的伙伴關系，依托學校的真實教育場景、教師的專業知識與教學智慧，以及其他機構的AI前沿知識，以平等、互惠的合作形式，共同就AI在教育中的應用進行學習與探究。

總體來說，學校與相關機構應協力支持師生更好地理解AI技術及其在教育中的倫理問題，樹立起他們對于可信賴AIED的合理預期，進而通過對AIED產品的恰當運用，建立起人與技術的相互信賴，使技術成為增進教育福祉的重大助力。

參考文獻：

[1]郭望舒（2009）.中西方對于個人空間的比較性研究[D].北京：首都師范大學：31-33.

[2]李應潭（1999）.人工智能可信賴性與可信賴算法研究[J].信息與控制， （2）：7-13，18.

[3]萬海鵬，余勝泉，王琦等（2021）.基于學習認知地圖的開放學習者模型研究[J].現代教育技術，31（4）：97-104.

[4]汪瓊，李文超（2021）.人工智能助力因材施教：實踐誤區與對策[J].現代遠程教育研究，33（3）：12-17，43.

[5]新京報（2019）.廣雅中學擬采用電子手環被質疑侵犯隱私，校方：還在研究[EB/OL].[2022-04-08].http：//www.bjnews.com.cn/edu/2019/03/07/553814.html.

[6]趙慧臣，張娜鈺，閆克樂等（2019）.高中人工智能教材的特征、反思與改進[J].現代教育技術，29（11）：12-18.

[7]AI HLEG （2018）. Ethics Guidelines for Trustworthy AI[EB/OL]. [2022-04-08]. https：//digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai.

[8]Aiken， R.， & Epstein， R. （2000）. Ethical Guidelines for AI in Education： Starting a Conversation[J]. International Journal of Artificial Intelligence in Education， 11（2）：163-176.

[9]Akgun， S.， & Greenhow， C. （2022）. Artificial Intelligence in Education： Addressing Ethical Challenges in K-12 Settings[J]. AI and Ethics， 2：431-440.

[10]Baker， T.， Smith， L.， & Anissa， N. （2019）. Educ-AI-tion Rebooted？ Exploring the Future of Artificial Intelligence in Schools and Colleges[EB/OL]. [2022-06-07]. https：//www.nesta.org.uk/report/education-rebooted/.

[11]Buolamwini， J.， & Gebru， T. （2018）. Gender Shades： Intersectional Accuracy Disparities in Commercial Gender Classification[C]// Proceedings of the 1st Conference on Fairness， Accountability and Transparency. US： ML Research Press：77-91.

[12]CDEI （2021a）. The Roadmap to an Effective AI Assurance Ecosystem[EB/OL]. [2022-05-10]. https：//www.gov.uk/government/publications/roadmap-to-an-effective-ai-assurance

-ecosystem/roadmap-to-an-effective-ai-assurance-ecosystem.

[13]CDEI （2021b）. AI Barometer Part 5 - Education[EB/OL]. [2022-04-08]. https：//www.gov.uk/government/publications/ai-

barometer-2021/ai-barometer-part-5-education.

[14]Coraggio， G. （2019）. First GDPR Fine in Sweden for Illegal Facial Recognition at School[EB/OL]. [2022-05-22]. https：//www.gamingtechlaw.com/2019/09/fine-gdpr-sweden.html.

[15]Dignum， V. （2019）. Responsible Artificial Intelligence： How to Develop and Use AI in a Responsible Way[M]. Switzerland： Springer Cham：50-60.

[16]Edukey （2022）. Edukey and GDPR Compliance[EB/OL]. [2022-05-23]. https：//www.edukey.co.uk/gdpr-compliance/.

[17]EU （2016）. General Data Protection Regulation （GDPR）[EB/OL]. [2022-06-02]. https：//gdpr-info.eu/.

[18]FindAMasters （2022）. Masters Degrees in Artificial Intelligence， United Kingdom[EB/OL]. [2022-04-30]. https：//www.findamasters.com/search/courses.aspx？CID=GB&JD=8&JS=810.

[19]Friedman， B.， Kahn， P. H.， & Borning， A. （2002）. Value Sensitive Design： Theory and Methods[EB/OL]. [2022-04-30]. UW CSE Technical Report. https：//research.cs.vt.edu/ns/cs5724papers/6.theoriesofuse.cwaandvsd.friedman.vsd.pdf.

[20]GOV.UK （2016）. Artificial Intelligence： Opportunities and Implications for the Future of Decision Making[EB/OL]. [2022-04-08]. https：//assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/566075/gs-16-19-

artificial-intelligence-ai-report.pdf.

[21]GOV.UK （2021）. Ethics， Transparency and Accountability Framework for Automated Decision-Making[EB/OL]. [2022-04-08]. https：//www.gov.uk/government/publications/ethics-transparency-and-accountability-framework-for-automated-decision-making.

[22]Hall， W.， & Pesenti， J. （2017）. Growing the Artificial Intelligence Industry in the UK[EB/OL]. [2022-06-06]. https：//apo.org.au/node/114781.

[23]Heintzelman， S.， & Bathon， J. （2017）. Caught on Camera： Special Education Classrooms and Video Surveillance[J]. International Journal of Education Policy & Leadership， 12（6）：1-16.

[24]Holmes， W.， Porayska-Pomsta， K.， & Holstein， K. et al. （2021）. Ethics of AI in Education： Towards a Community-Wide Framework[J]. International Journal of Artificial Intelligence in Education， 32：504-526.

[25]House of Lords （2018）. AI in the UK： Ready， Willing and Able？[EB/OL]. [2022-06-07]. https：//www.politico.eu/wp-content/

uploads/2018/04/I-in-the-UK-ReadyWillingAndAble-April-

2018.pdf.

[26]IEAIED （2021）. The Ethical Framework for AI in Education[EB/OL]. [2022-06-07]. https：//www.buckingham.ac.uk/research-the-institute-for-ethical-ai-in-education/.

[27]Institute for Ethics in AI （2022）. Research Themes[EB/OL]. [2022-05-23]. https：//www.oxford-aiethics.ox.ac.uk/.

[28]ISO/IEC TR 24028： 2020 （2020）. Information Technology-Artificial Intelligence - Overview of Trustworthiness in Artificial Intelligence[EB/OL]. [2022-05-22]. https：//www.iso.org/obp/ui/#iso：std：iso-iec：tr：24028：ed-1：v1：en：term：3.47.

[29]Januszewski， A.， & Molenda， M. （2013）. Educational Technology： A Definition with Commentary[M]. UK： Routledge：10-12.

[30]Kwarteng， K.， & Dorries， N. （2021）. National AI Strategy[EB/OL]. [2022-06-07]. https：//assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/1020402/National_AI_Strategy_-_PDF_version.pdf.

[31]Leverhulme Centre for the Future of Intelligence （2022）. Master of Studies： AI Ethics & Society[EB/OL].[2022-05-23]. http：//lcfi.ac.uk/master-ai-ethics/.

[32]Luckin， R. （2017）. Towards Artificial Intelligence-Based Assessment Systems[J]. Nature Human Behaviour， 1（3）：1-3.

[33]Rahim， Z. （2020）. Algorithms Can Drive Inequality. Just Look at Britains School Exam Chaos[EB/OL]. [2022-02-13]. https：//www.cnn.com/2020/08/23/tech/algorithms-bias-inequality-intl-gbr/index.html.

[34]Reynolds， M. （2017）. UKs Nudge Unit Tests Machine Learning to Rate Schools and GPs[EB/OL]. [2022-04-30]. https：//www.wired.co.uk/article/rithms-schools-ofsted-doctors-behavioural

-insights.

[35]Roose， K. （2023）. Dont Ban ChatGPT in Schools. Teach with It[EB/OL]. [2023-02-07]. https：//www.nytimes.com/2023/01/12/technology/chatgpt-schools-teachers.html.

[36]UCAS （2022）. Courses in Artificial Intelligence[EB/OL]. [2022-04-30]. https：//digital.ucas.com/coursedisplay/results/courses？searchTerm=artificial%20intelligence&destination=Undergraduate&

distanceFromPostcode=&studyYear=2022&sort=MostRelevant.

[37]Vincent-Lancrin， S.， & Van der Vlies， R. （2020）. Trustworthy Artificial Intelligence （AI） in Education： Promises and Challenges[EB/OL]. [2022-06-07]. https：//www.oecd-ilibrary.org/education/tificial-intelligence-ai-in-education_a6c90fa9-en.

收稿日期 2023-03-05 責任編輯 劉選

Path and Enlightenment of Trustworthy Artificial Intelligence in Education：

A Case Study of Typical Initiatives in the United Kingdom

SHEN Yuan， HU Mengyuan， FAN Yizhou， WANG Qiong

Abstract： Artificial intelligence （AI） has shown great potential in assisting teaching and learning. However， its opacity， unpredictability， and improper use have sparked controversies. Building trustworthy AI in education （AIED） has become an international consensus. Trustworthy AIED emphasizes a “people-centered” value， with reliable and secure AI technology as the underlying foundation and ethical understanding and usage as critical safeguards. Recognizing the complexity of educational contexts， it rejects the practice of mechanically applying general AI ethics principles or professional ethics principles from other AI application domains to the field of education. The United Kingdom， as a pioneer in AI ethics governance， has accumulated rich experience in constructing trustworthy AI in education， particularly evident in The Roadmap to an Effective AI Assurance Ecosystem. This roadmap starts from three significant phases： technology development， procurement and utilization. It adopts specific strategies such as ethical design， ethical verification， and AI literacy cultivation to establish a guarantee system for trustworthy AI in education. China should draw lessons from the UKs specific initiatives in AI in education. During the development phase， it is essential to conduct value-sensitive design of intelligent education products that align with local values. In the procurement phase， meaningful explanations should be provided for the selection of intelligent education products. During the utilization phase， efforts should be made to cultivate and enhance AI literacy among teachers and students. By doing so， China can promote the local development of trustworthy AI in education by involving technology developers， product procurers and frontline users.

Keywords： Artificial Intelligence in Education; Trustworthy Artificial Intelligence; Ethical Design; UK Initiatives