人工智能教育應用的倫理風險及其應對研究

高山冰 楊丹

摘要：人工智能教育應用的倫理議題主要包括教育大數據引發的隱私安全問題、智能機器對人類教師職業造成的威脅、個性化學習算法存在的倫理沖突、教育領域數字鴻溝帶來的倫理危機、智能教育發展對社會美德的沖擊等多方面的倫理問題。究其成因，與技術主體的職業素養“失守”、倫理自主性受限，用戶技術崇拜、能動性喪失以及社會層面的監管不力、倫理規范缺失等關聯密切。人工智能教育應用要構建倫理規范體系，完善問責體制，健全算法審查及數據監管機制以及建構以人為本的倫理共識。

關鍵詞：人工智能;智能教育;倫理;算法近年來，各國紛紛將發展人工智能作為提升國家競爭力、維護國家安全的重要戰略。我國也制定了多項人工智能發展戰略，快速推進人工智能技術與社會經濟各個領域的深度融合。教育是人工智能應用的一個重要領域，人工智能教育的發展潛力，吸引了大批互聯網企業、科技公司入局，產生了多種智能教育應用形式和大量的應用案例。與此同時，人工智能教育應用由于缺乏有效的技術標準與“強制性”法律手段加以規約，引發的倫理爭議嚴重制約了行業發展。

一、文獻綜述

Holmes等[1]學者在2018年人工智能教育應用（AIED）研討會上指出，目前有關研究、開發和部署在本質上仍是在道德真空的環境下進行的，幾乎還未形成任何方針、政策、法規來解決在教育領域應用“AI”所引發的特定倫理問題，提出了建構人工智能教育應用倫理規制的現實需求。蘇明等（2019）[2]基于馬克思主義技術批判和人的全面發展理論，對人工智能教育應用進行價值審視、公平性審視、人性審視、責任審視和終極目標的審視，提出要警惕人工智能可能產生的異化作用，促進人工智能教育應用的良性發展。Morley等（2020）[3]梳理了人工智能倫理爭論的演變，認為如今圍繞人工智能的道德辯論主要集中在人工智能的倫理原則是“什么”上，并提出人們的倫理風險意識和緩解相關風險的能力明顯脫節，應在AI產品設計開發的各個方面應用道德規范。Berendt等（2020）[4]認為，人工智能的教育應用不僅會影響數據保護和隱私，還會影響公民的基本權力。鑒于AI的全球影響力，應該在跨國級別對其進行監管，由聯合國等全球組織來承擔這一角色。

圍繞教育公平和人類教師能否被代替議題，Hilbert（2016）[5]認為人工智能可能是一種破壞性的技術，會加劇現有的不平等和分歧，導致新的數字鴻溝。劉盾等（2019）[6]從哲學與倫理的視角，對人工智能對教育的沖擊與顛覆展開分析，指出人工智能的教育應用可能導致人與教育分離、科技依賴、職業危機等倫理問題。Cope等（2020）[7]通過分析機器智能的本質及其教育應用的局限性和潛力，認為人工智能的工作原理和作用始終與人類智慧有很大不同，它將永遠不會“代替”教師的角色。Tan（2020）[8]探討了數字教師能否在精神教育中替代人類教師的問題，認為數字教師能作為“人工智能伙伴”在傳播知識和技能方面發揮作用，但在作為學生的道德精神指導者和行為榜樣方面則無能為力。

在具體應用層面，Floridi等（2018）[9]認為利用AIDA數據分析技術對發展適應性學習有重要作用，但在數據收集、使用，算法設計、應用的過程中都可能會面臨倫理難題。Annabel Latham等（2019）[10]為研究人工智能教育應用倫理提供了受眾視角。何億寧等（2019）[11]對人工智能課程與倫理道德教育的融合進行了探討，指出應當適當地加入道德教育的元素，均衡其固有的技術性偏向。Perrotta等（2020）[12]質疑機器學習能否用于教育，通過對智能輔導系統和“深度學習”算法預測教育表現案例的分析，認為用此類算法處理教育數據有諸多不合理性。

人工智能應用于教育存在一定的倫理風險已成共識，不過多數對人工智能教育應用倫理問題的討論包含在以智能教育發展或具體的教育應用場景分析為主題的研究之中，總體上還停留在抽象價值的提取和共識構建階段。全面、系統地審視人工智能教育應用的倫理問題，有助于促進其高質量發展。

二、人工智能教育應用倫理風險

（一）過度資源依賴潛藏倫理危機

1.教育目標發生偏移。縱觀技術的發展歷程，科學技術的進步實現了人對自然的有效控制，然而人在肯定技術價值、消費技術所帶來的物質資料的過程中，卻失去了批判精神和否定意識[13]，人工智能教育應用亦是如此。教育對人工智能技術的一味追逐，可能導致教育教學的核心發生偏移。一方面，多元化的教學資源，滿足了學生的個性化學習需求，但使得傳統的教師和學生的二元關系，變成了教師、產品、學生的三元關系，進一步拉開了師生之間的心理距離。另一方面，人被量化、標簽化的現象普遍存在，用數據來描述人的特性，有將教育標準片面化、教育過程流水線化的嫌疑。過度追求數據層面人的成長，會出現技術對教育的控制和壟斷。

·教育基本理論·人工智能教育應用的倫理風險及其應對研究2.理性工具化的泥淖。技術體現了主導性的思考和行為模式，是控制和支配的工具。[14]技術的發展造就了一個自成體系的機器世界，人們也就越來越根據實證科學的思維方式來調整自己的行為與價值理念，理性越來越工具化了。[15]人工智能為教育帶來了諸多變化和美好預期。然而，人工智能讓機器越來越像人，教育卻讓人變得越來越像機器，這樣的教育最終結果是讓學生被迫記住一大堆對付考試要用的東西，卻逐漸喪失了學習能力、創新能力。[16]學生不再運用大腦（以及認知、感知和注意）理解教學內容，這與教育的本質和追求背道而馳。從教育者采用智能應用開始，技術就在“籌謀”反客為主之道，由服務者變成控制者，從技術融入教育，到教育者過度依賴技術，理性越來越工具化，最終落入被技術掌控的“泥淖”。

（二）教育大數據引發信息安全問題

大數據、深度學習等關鍵信息技術的突破和成熟，引發了第三次人工智能浪潮。與大數據技術相關的在數據采集、存儲和使用中面臨的隱私泄露、信息安全問題，與深度學習算法有關的算法黑箱、歧視問題等，也順延到了人工智能應用的各個領域，教育應用也不例外。

1.隱私邊界更加模糊。大數據時代，隱私的邊界越發模糊，各類數據都可能被挖掘、預測甚至監控，人在網絡空間越發“透明”。2019年初，西南地區十余所中小學試水智能校服，在網絡上引發了對此類智能產品是否侵犯未成年人隱私權的熱議。這些敏感數據的收集、存儲、使用、監管等全然由智能教育科技公司自主進行，因而外界對“收集敏感數據如何使用”“監測設備是否會影響使用者的身心健康”等問題的質疑之聲也未斷絕。隨著在線教育用戶規模的快速增長，各類教育App過度收集用戶信息的現象屢禁不止，教育平臺泄露用戶信息的事件時有發生，引發了社會對個人隱私和智能教育應用的擔憂。

2.數據安全難以保障。大數據、機器學習、深度學習等技術的協同探索，為用戶“個性化學習”提供了實現的可能。但是，數據收集標準不統一、處理規范不完善帶來嚴重影響了人工智能教育應用的有序發展。因服務器安全措施不到位、防火墻漏洞等導致用戶信息泄露的事件時有發生。人工智能技術給非法入侵者提供了“過墻梯”的資源，對用戶的數據安全造成嚴重威脅。

（三）個性化學習算法潛存倫理風險

算法是人工智能的“靈魂”，但由于算法本身的復雜性以及技術公司的排他性商業政策等，“算法黑箱”普遍存在且很難被打破。此外，數據的中立性、客觀性難以保證，算法存在諸多固有偏見，可能導致一系列的負面影響。

1.算法的不透明性忽視了人的知情權。以深度學習和神經網絡為代表的人工智能，是數據驅動的不確定性智能。其不確定性主要體現在算法并不能完全為其主導者和設計者所左右。[17]人工智能教育應用中的個性化推薦算法可以描述成一個未知的“黑箱”，算法以用戶的各方面數據為基礎發揮作用，為用戶量身定制個性化學習服務。用戶卻幾乎無從獲悉算法的設計者、持有者[18]，對推薦個性化學習內容的生成方式更是一無所知。利用不可解釋的個性化學習推薦算法，對海量的教育數據進行分析，最終生成的結果是否合理，能否用于指導學生的成長發展，爭議頗多。即便數據透明，對人的隱私保護、知情同意、信息安全是否一定是正向影響，也很難確定。

2.個性化推薦算法限制了人的選擇權。機器學習算法是基于社會整體“大數據集”而形成“規則集”并應用于具體場景的過程，暗含著以整體特征推斷個體行為的邏輯。[19]算法本身并非是絕對客觀、無情感偏向的，算法的設計無一例外都是為了實現一定的目的，其中或明或暗地滲透著主導者的意圖與能動性。推薦算法自主運行輸出個性化學習方案這一過程，在某種意義上，收束了用戶的自主選擇權，可能對用戶的成長發展產生負面的影響。如今，個性化學習、個性化輔導、個性化學習計劃定制已成智能教育的“標配”。然而，利用智能教育應用的推薦算法生成的個性化學習課程，是用戶需要的“因材施教”的“良境”，還是選擇受限的“信息繭房”的“困境”，尚難定論。

（四）數字鴻溝困境與教師職業威脅

1.數字鴻溝的困境。有學者指出，以慕課為代表的在線教育確實為部分弱勢群體、教育貧困群體帶來了獲取優質資源的契機，但它從接觸率到有效使用率都偏向在經濟條件、設備基礎、知識儲備等方面更具優勢的群體，這可能會助長而不是削弱已有的教育不公平問題。[20]此外，人工智能教育應用一直被寄望于對特殊人群有所幫助，對其生理缺陷有所“補足”，但實際上這些人群幾乎被排除在人工智能教育應用的用戶之外。這與其媒介使用情況、智能設備持有率、特殊用途教育應用的市場有限性等外部條件不無關系，無形之中擴大了“數字鴻溝”。

2.對教師職業的威脅。人工智能終將邁入新的發展階段，智能機器帶來的職業威脅并非妄言。如今，人工智能教育應用已經遠超了普雷希和斯金納時代教學機器的意義，它不僅涉及教學環節中的某種工具或具體技術問題，而且包含了對人類教育任務的根本挑戰。雖然現階段的人工智能教師還不能完全發揮人類教師的作用，它在智能問答、信息儲備、處理重復工作等方面所具有的優勢，尚不能均衡它在情緒感知、精神引領方面的乏力。但隨著智能程度的提升，兩者之間勢必將暴露出更多的倫理沖突。

三、人工智能教育應用倫理風險根源剖析

（一）技術主體的失范

由于應用開發者，即技術主體的倫理行為有個體型技術主體的倫理行為和組織型技術主體的倫理行為，所以可以將技術主體的行為失范分為個體型技術主體的行為失范和組織型技術主體的行為失范。[21]

1.職業素養“失守”。古人講“三不朽”：立德、立功、立言。即便此后更高形式的機器智能能達到立功和立言的結果，立德也永遠不會被取代。[22]然而事實證明，經濟因素、政治因素、社會因素等外在條件能輕易越過技術主體的職業道德“屏障”，導致倫理失范行為。技術“中性”論認為，技術本身無所謂善惡，它無非是中性的工具和手段，技術產生什么影響，服務于什么目的，不是技術本身所固有的，而取決于人用技術來做什么。[23]所以，技術實施者自身的道德素養“失守”，以經濟等原因作為智能應用開發的首要考慮因素，是導致此類倫理問題的主要原因。

2.倫理自主性受限。倫理自主性是指技術主體在開展技術活動的過程中，能動地進行行為判斷和道德選擇，并自主承擔相應的倫理后果的特性。技術主體這個角色本身有一定的矛盾性。他一方面受雇于企業，是技術活動的實施者、企業利益的生產者和企業發展的獲益者。需要遵循相應的企業規范，完成上級管理者分配的工作任務，參與以公司利益為主導的技術開發等。另一方面，技術主體作為社會公民，有遵守社會道德規范。其在實施技術行為的過程中有堅持倫理自主性，甚至在沖突發生時與企業利益進行協商的必要。在現實生活中，當技術主體的倫理自主性被上級管理者或更高層面的利益所抑制，技術主體應有的職責操守往往會做出退讓和妥協。人工智能發展到現在，其與教育融合引發的倫理問題雖然有部分可以用傳統的倫理原則來審視，但更多的問題是全新的，需要新的行業規范從根本上提升技術行為實施者的倫理意識和道德素養。

（二）技術拜物教的桎梏

人工智能在教育領域的應用使得傳統的教育倫理從關注教育公平、教師素養、職業道德，拓展到對教育者的智能技術使用行為，受教育者被侵權，教育者、受教育者、智能機器三者之間關系的討論，技術在這一過程中有著重要的影響。

技術是人創造的、服務于人、內在于人生命的。而在現代社會它卻反過來控制人、支配人、統治人。技術的巨大功能使人們產生了“技術無所不能”的神秘感，讓人在心理上形成了類似宗教崇拜的知覺狀態，這是現代技術社會特有的技術拜物教現象。[24]人工智能技術作為一門前沿科學技術，有帶動生產力整體躍升的巨大潛力，現代生產和消費的需要決定了人工智能是“拜物教”的現代形式。人工智能技術為教育者提供了新的教育教學途徑，也使這些新的應用處于一種不確定的狀態，教育者面對人工智能教育應用極易處于“手握一把錘子”的狀態，無論有無必要都在教育過程中使用人工智能技術。如此一來，容易陷入過于依賴人工智能對學習者學習活動的反饋評價，而喪失教師自身的主體能動性的局面。另外，人工智能教育產品的生產成本較高，且尚無系統的法律法規制約，發展狀況參差不齊。由此帶來的新數字鴻溝問題已經引發了社會的廣泛熱議。此外，如果教育者的教學設計需要學習者配備相應的智能產品，則極易導致有關教育者素養甚至教育倫理的爭議。

（三）監管與規制的缺失

在人工智能教育應用的發展過程中，一方面是學界和業界對人工智能教育應用前景的美好預期和積極探索;另一方面，在實際的融合過程中，智能應用迅速增多，企業競爭加劇，而規范人工智能教育應用的行業規范、法律法規卻不完善等問題仍然十分突出。

1.智能教育應用監管不力。人工智能教育應用的監督主要涉及兩個主體，一個是國家強制力量;另一個是以媒體監督為主的社會監督力量。近幾年，我國雖然在人工智能倫理準則設計、智能應用整治等方面取得了一些成果，但與人工智能相關的立法工作的推進較為緩慢，與打擊智能應用侵權相匹配的法律法規尚不完善，威懾力不足。另外，媒體對人工智能教育應用的報道仍是以“緊追時效”為主，什么應用熱度高就報道什么，鮮有事關人工智能教育應用倫理問題長期的、系列深度報道。在某種程度上反映出媒體在人工智能教育應用的倫理風險監督中的缺位和力度不足。

2.倫理規制的滯后。人工智能教育應用作為如今的熱門發展領域，一方面，企業逐漸拓寬人工智能技術在教育領域的應用范疇，不斷推出新的智能教育應用產品。另一方面，行業發展速度遠高于行業規范、法律法規的更新速度，各企業實則處在“自由生長”的無序發展狀況之中。有學者指出，對信息技術在隱私方面的規范通常是無效的，因為持續變化的技術和技術實踐活動使得各種規范很快過時。相對于技術“日新月異”的發展速度，倫理規范的發展的確要緩慢的多，這從客觀上造成了人工智能教育應用的倫理規制缺失問題。

四、人工智能教育應用倫理問題的應對

1.構建智能教育應用的倫理規范體系

人工智能教育應用既不能做出有違信息倫理或信息法律的行為和結果，也不能做出有違教育倫理或教育規律的行為和結果。[25]有必要加強智能教育應用頂層規劃設計，在遵循人工智能、大數據等技術的一般標準規范的前提下，結合教育業務的實際特點，制定智能教育倫理標準和管理規范。推動技術活動主體倫理意識和倫理素養的養成，堅持“善”的技術活動出發點。進一步通過社會廣泛認可的道德準則的約束，輿論的引導和監督，以及法律規范等強制力量的保障，確保智能教育應用生態健康、有序發展。

2.完善智能教育應用的問責體制

人工智能教育應用過程中如果數據有誤、算法不合宜或者用戶操作不當，就可能導致反向的效果。事故發生后，設計者、開發方、使用方或用戶各自該承擔怎樣的責任，需要有明確的追責問責機制。此外，明確的問責機制需要建立在系統透明的基礎上，即應該建立完整的數據跟蹤記錄方案，保持系統算法和決策推理過程的透明，以便在任何情況下均可以快速找出責任主體。

3.健全智能教育算法審查及數據監管機制

首先，智能教育應用要注重算法公平。要拆除算法的“黑箱”，將其內在邏輯明確化，避免可能存在的倫理風險。要警惕程序設計者將自身偏見帶入算法設計過程中導致的歧視現象等問題。其次，避免濫用大數據分析等技術手段，侵犯用戶合法權益的行為。要嚴格保證用戶信息安全，對收集的信息如何存儲、作何使用能給出合理的解釋。第三，人工智能教育應用應當實現教育公平，而不是擴大現有的“數字鴻溝”。要避免應用設計、開發過程中可能存在的偏見和歧視，同時也要加強監管，審慎判定其在使用中是否有產生偏見和歧視的可能。

4.建構以人為本的倫理共識

人工智能應用于教育應當產生改善現有教學環境的效果，而非打破已有的教學平衡。于教育者而言，智能應用能夠扮演強大的助力角色，協助其處理瑣碎重復的日常工作，準確的反應學生的學習狀況;于受教育者而言，智能應用能夠使其更好地理解學習的內容，針對性地推薦個人學習內容，自動提供作業反饋等，使教學活動的各方參與者利益最大化。人工智能發揮的是“賦能”教育、助力人的培養的功能，始終保有對人的自我實現的關注，體現出人工智能教育應用對提高整體教育水平，促進人的全面發展等更高層次社會發展進步的關懷。

五、結語

人工智能技術與教育的融合，在提升教學效果、提高管理效率、促進教育資源合理分配等方面都將產生積極的影響。但技術的普及和應用與已有的社會文化制度體系總存在著一定的張力、矛盾。數字鴻溝在不斷地擴大，教育資源配置仍呈現馬太效應。[26]同時，人工智能教育應用涉及教育學、計算機科學等學科，其倫理爭議既與這些學科原有的倫理問題有關，又有融合帶來的新問題。首先，人工智能是科學技術發展的前沿領域，技術倫理、計算機倫理等相關倫理問題在人工智能教育應用的倫理議題中都有所體現;其次，人工智能浪潮的到來，受益于深度學習、機器學習、情感計算等關鍵技術的突破，尤其是大數據技術的形成和發展。在大數據采集、處理、分析、挖掘的過程中面臨的倫理問題同樣是智能應用需要關注的倫理難題;第三，人工智能技術在教育中的應用，使得技術所主導的思維、過程、理念等逐漸融入教育體系的方方面面，拓展了傳統教育的內涵，為“因材施教”“有教無類”等教育理念提供了實現的可能，也為教育倫理增添了新的內容。

目前，國內相關部門已將研制人工智能教育應用的倫理法規提上日程，教育信息化技術標準委員會也在考慮制定“智慧校園”“智慧教室”等教育應用的國家標準，以期為人工智能教育應用創造一個健康規范的發展環境。雖然倫理規制的發展往往滯后于技術，但仍然需要規范制定者和執行者。人工智能本身的倫理問題尚未得解，其應用于教育領域造成的新的挑戰時則更需審慎應對。在人工智能技術與教育融合發展的過程中，如何有效地趨利避害，挖掘技術的正向作用，避免負面影響，制定人工智能教育應用的倫理框架至關重要。[27]

參考文獻：

[1]HOLMES W，BEKTIK D，WOOLF B，etal.Ethicsin AIED：Who Cares？[R].20th International Conference on Artificial Intelligence in Education，Chicago，IL，JUN 25-29，2019.

[2]蘇明，陳·巴特爾.人工智能教育倫理的多維審視：基于馬克思技術批判和人的全面發展理論[J].西南民族大學學報（人文社科版），2019（11）：223-228.

[3]MORLEY J，FLORIDI L，KINSEY L，et al.From What to How：An Initial Review of Publicly Available AI Ethics Tools，Methods and Research to Translate Principles into Practices[J].Science and Engineering Ethics，2020（4）：2141-2168.

[4]BERENDT B，LITTLEJOHN A，BLAKEMORE M.AI in Education：Learner Choice and Fundamental Rights[J].Learning，Media and Technology，2020（3）：312-324.

[5]HILBERT M.Big Data for Development：A Review of Promises and Challenges[J].Development Policy Review，2016（1）：135-174.

[6]劉盾，劉健，徐東波.風險預測與憂患深思：人工智能對教育發展的沖擊與變革：哲學與倫理的思考[J].高教探索，2019（7）：18-23.

[7]COPE B，KALANTZIS M，SEARSMITH D.Artificial Intelligence for Education：Knowledge and its Assessment in AI-enabled Learning Ecologies[J].Educational Philosophy and Theory，2020：1-17.

[8]TAN C.Digital Confucius？ Exploring the Implications of Artificial Intelligence in Spiritual Education[J].Connection Science，2020：1-12.

[9]FLORIDI L，COWLS J，BELTRAMETTI M，et al.AI4People—An Ethical Framework for a Good AI Society：Opportunities，Risks，Principles，and Recommendations[J].Minds and Machines，2018（4）：689-707.

[10]LATHAM A，GOLTZ S.A Survey of the General Public’s Views on the Ethics of Using AI in Education[C]//International Conference on Artificial Intelligence in Education.Springer，Cham，2019：194-206.

[11]何藝寧，商容軒，于游.高校人工智能課程與倫理道德教育融合探索[J].教育教學論壇，2019（41）：144-145.

[12]Perrotta C，Selwyn N.Deep Learning goes to School：Toward a Relational Understanding of AI in Education[J].Learning，Media and Technology，2020（3）：251-269.

[13]馬丹，金吉華.當代設計教育中的技術樂觀主義傾向與反思[J].教育理論與實踐，2014（36）：17-19.

[14]Herbert Marcuse.Some Social Implications of Modern Technology[M].Routledge，1998：41.

[15]仰海峰.法蘭克福學派工具理性批判的三大主題[J].南京大學學報（哲學·人文科學·社會科學版），2009（4）：26.

[16][22]伏彩瑞，關新，朱華勇，等.“人工智能與未來教育”筆談（下）[J].華東師范大學學報（教育科學版），2017（5）：13-29.

[17]段偉文.數據智能的算法權力及其邊界校勘[J].探索與爭鳴，2018（10）：92.

[18]張淑玲.破解黑箱：智媒時代的算法權力規制與透明實現機制[J].中國出版，2018（7）：49-53.

[19]譚維智.人工智能教育應用的算法風險[J].開放教育研究，2019，25（6）：20-30.

[20]吳剛.從工具性思維到人工智能思維：教育技術的危機與教育技術學的轉型[J].開放教育研究，2018（2）：51-59.

[21]蘆文龍.技術主體的倫理行為：規范、失范及其應對[D].大連理工大學，2014.

[23]郭慶光.傳播學概論[M].北京：中國人民大學出版社，1999：117.

[24]王華英.技術拜物教探析[J].理論界，2009（6）：101-103.

[25]張坤穎，張家年.人工智能教育應用與研究中的新區、誤區、盲區與禁區[J].遠程教育雜志，2017（5）：54-63.

[26]張坤穎.大數據環境下的人工智能應用[M].北京：學苑出版社，2019：9.

[27]張慧，黃榮懷，李冀紅，尹霞雨.規劃人工智能時代的教育：引領與跨越：解讀國際人工智能與教育大會成果文件《北京共識》[J].現代遠程教育研究，2019（3）：3-11.

（責任編輯賴佳）

收稿日期：2021-08-04

作者簡介：高山冰，南京師范大學新聞與傳播學院網絡與新媒體系主任，副教授;楊丹，南京師范大學新聞與傳播學院碩士研究生。（南京/210097）

*本文系國家社科基金重大項目“我國青少年網絡輿情的大數據預警體系與引導機制”（20&ZD012）;南京師范大學教學改革研究課題重中之重項目“全媒體背景下卓越新聞傳播人才培養體系建構與實踐”（2020NSDJG002）的成果之一。

2889501705357