教育人工智能倫理問題與倫理原則探討

鄧國民 李梅

[摘 ? 要] 文章旨在揭示智能化時代的教育將面臨哪些新的倫理問題，并在人工智能倫理和教育倫理的基礎上，探討教育人工智能的倫理原則。運用文獻研究和邏輯推理方法，系統梳理了教育人工智能應用的特點和優勢，及其可能引發的新的倫理問題：（1）角色層面，系統創建者、教師、學生和監測員等利益相關者將面臨更加復雜的倫理困境;（2）技術層面，涉及自動化決策倫理問責、算法倫理和數據倫理等方面的問題;（3）社會層面，可能轉變就業市場、改變人際關系和引發新的社會不公平。因此，需要對教育人工智能倫理問題的復雜性有充分的認識，同時需要遵循一般的人工智能倫理原則和教育倫理原則，其中，最核心的內容為二者之間的交集，具體包括：（1）福祉;（2）是非善惡;（3）公平正義;（4）人權和尊嚴;（5）自由自治;（6）責任和問責。

[關鍵詞] 教育人工智能; 人工智能倫理; 教育倫理; 數據倫理; 算法倫理; 倫理原則

[中圖分類號] G434 ? ? ? ? ? ?[文獻標志碼] A

[作者簡介] 鄧國民（1981—），男，湖南醴陵人。教授，博士，主要從事信息化環境下的教師專業發展和教育人工智能研究。E-mail：dam1981@163.com。

一、引 ? 言

當前，人工智能、大數據和物聯網等新技術的發展正在推動人類社會從信息時代進入智能化時代。信息時代的教育仍然帶有明顯的工業化特征：借助現代信息技術，提高教育資源創建、傳遞和共享的效率，打破時空的限制，實現人才培養的批量化和效率的最大化。然而，信息時代的教師資源仍然短缺，而且教師深陷于大量瑣碎的日常工作中，使得真正意義上的因材施教難以實現。

教育人工智能是在教育領域應用的人工智能技術及系統，能夠憑借其高度智能化、自動化和高精準性的數據分析處理能力與主動學習能力，承擔一部分過去只有教師才能夠勝任的工作，從而有效地解決信息時代的教育所面臨的一系列問題：（1）利用基于自然語言處理和深度學習的自動問答技術，能夠自動回答學生提出的問題[1];（2）自動評價學生的學習與作業，并提供符合其認知狀態的反饋和支持[2];（3）利用情感檢測技術自動識別學生的身體動作和面部表情，識別學生學習過程中的情感需求，提供個性化情感支持[3];（4）模擬教師、管理者、學習伙伴、合作者和競爭者等不同的角色，促進交流與合作[4];（5）構建自適應學習環境，分析和診斷學習者的學習風格、學習需要，為他們提供自適應學習支持服務;（6）利用決策管理技術輔助教師的教學決策和學習者的學習決策[5]。因此，教育人工智能能夠更有效地支持個性化教學，甚至在某些學習支持服務方面的能力已經超越了人類教師。

然而，教育人工智能強大的數據整合與分析能力，同時也會引發一系列新的倫理問題，例如：可能會給用戶的私人數據和隱私保護帶來潛在的風險;模糊教師、學生和人工智能代理等角色之間的界限。因此，教育人工智能的設計、開發和教學實踐應用都需要對其倫理問題的復雜性有充分的認識，并認真思考應該遵循何種倫理原則。

二、教育人工智能面臨的倫理問題

（一）利益相關者倫理問題

探討教育人工智能的倫理問題，首先需要確定其涉及哪些利益相關者。湯姆塞特（Tomsett）等人從人工智能的可解釋性或透明度的角度，定義了人工智能生態系統中的六種不同的角色，分別是系統創建者、系統操作員、決策執行者、決策主體、數據主體以及系統監測員[6]。教育人工智能是在教育領域應用的人工智能技術及系統，其利益相關者同樣應該包括這些角色。首先，創建者包括開發教育人工智能的軟件公司、員工及與其合作的相關專業人員和研究人員。其次，教師和學生均承擔了操作員、執行者、決策主體和數據主體等角色，因為在教學過程中，教師起主導作用，學生具有主體地位，他們都會直接與教育人工智能進行交互，為系統提供輸入并接收系統輸出的信息。師生均會在教育人工智能輸出的信息的基礎上作出決策，而且會受到對方決策的影響。他們的個人信息均可能用于訓練教育人工智能，豐富和完善其智能導師代理、學習者模型和教學法模型。最后，監測員是指對教育人工智能進行審查的代理機構或人員，由他們對教育人工智能的應用效果和可能產生的潛在風險進行審查。因此，在構建教育人工智能的過程中，需要同時考慮系統創建者、教師、學生和監測員等利益相關者的倫理問題。

1. 系統創建者倫理問題

教育人工智能的創建者包括系統設計師、軟件架構師、程序員等設計開發人員。他們在設計、開發教育人工智能的過程中，需要在綜合考慮其教學應用效果的同時，兼顧教師和學生的利益。他們需要在保證教育人工智能的穩健性、安全性、可解釋性、非歧視性和公平性的同時，支持教師和學生的主觀能動性，重視師生的身心健康和學生綜合素質的全面發展，而且需要能夠支持問責追因。為了滿足這些方面的要求，教育人工智能的創建者應該清楚各自承擔了什么樣的倫理責任。首先，設計師需要了解不同用戶之間存在的能力、需求及社會文化等方面的差異，真正基于善良的動機設計產品，避免任何形式的傷害與歧視。軟件架構師需要構建安全、可靠和透明的系統架構體系，在保護用戶個人數據安全、保障系統可靠運行的同時，更好地支持問責追蹤。而對程序員來說，需要設計無偏見的算法，使其能夠公平、公正地對待每一位用戶。

2. 教師倫理問題

人工智能技術將會實現很多職業的自動化。教師的日常工作，如教學評價、教學診斷、教學反饋以及教學決策中的很大一部分都將由教育人工智能分擔，教師角色將會不斷深化，最終發生轉變。一方面，教師將從一些重復的、瑣碎的日常事務中解放出來，能夠有更多的時間和精力投入到更具創造性、人性化和關鍵性的教學工作中去，例如：創造和部署更加復雜的智能化學習環境，利用和擴充自身的專業知識，在恰當的時間為學習者提供更有針對性的支持。另一方面，對技術重要性的加持，將對教師工作及角色產生直接影響，例如：可能會掩蓋教師的個人能力、知識及人格等方面的重要性，削弱教師的主觀能動性[5]。因此，在智能化教學環境下，教師將面臨一系列新的倫理困境：（1）如何定義和應對自己新的角色地位及其與智能導師之間的關系;（2）利用教育人工智能采集和使用學生的學習行為數據為其提供教學支持服務的過程中，該如何保護他們的隱私及個人安全;（3）在新的教學實踐環境下，教師應該具備什么樣的倫理知識，需要遵循什么樣的倫理準則以作出倫理決策。因此，教育人工智能將對教師的能力素質與知識結構提出更多新的要求，他們不僅需要具備一定的關于教育人工智能設計、開發和應用方面的能力與知識，而且還需要具備一定的倫理知識，使其能夠以符合倫理原則的方式將教育人工智能融入教育實踐[7]。

3. 學生倫理問題

智能化時代對學生的學習、能力、素養提出了更多新的要求，也使學生面臨的倫理問題更加復雜化。第一，人工智能可能改變未來的就業市場，就業導向的教育很可能過時，因此，學習者對于自己所學習的內容和目標都需要進行重新思考[8]。第二，人的神經系統是可塑的，教育人工智能能夠給學習者提供個性化的學習支持服務，但同時也可能會剝奪他們的很多思維訓練和學習體驗的機會，改變他們的大腦結構和認知能力，尤其是在學習者大腦發育的關鍵期過度使用認知技術，將可能帶來不可逆轉的嚴重后果，這對他們發展更高級的認知技能和創新能力是非常不利的[9]。第三，教育人工智能的發展，使知識產權和誠信等倫理問題變得更加微妙和復雜。如果學生利用教育人工智能自動生成論文、作業或作品，其中涉及的知識產權的歸屬問題，目前仍缺乏明確的倫理規范[10]。第四，教育人工智能的使用會不會給學習者帶來身體的重復性勞損、視力問題和肥胖問題等，會不會影響他們的視覺、觸覺和聽覺等感官的敏感性，會不會剝奪他們體驗簡單快樂生活的機會[11]。第五，教育人工智能可能會剝奪大量的學習者與教師和同伴交流的機會，這會不會影響他們參與有意義的人類社會活動的能力。第六，教育人工智能的認知能力、計算能力和信息處理能力在某些方面遠遠超越了人類學習者，會不會讓他們變得沮喪，降低他們的學習動機，使其不再愿意去主動解決問題和進行理性思考。

4. 監測員倫理問題

在教育人工智能場景下，監測員包括制定教育人工智能標準的機構或相關人員、數據專員等，他們主要負責對系統的一致性、安全性和公平性等方面進行測試、調查和審查[6]。安全測試一般在教育人工智能部署之前進行，而審查需要檢查系統過去的輸出，因此，需要一個備份系統存儲教育人工智能的數據、決策及解釋。監測員正是通過這些數據、解釋與教育人工智能進行交互，分析和審查教育人工智能作出教學支持服務決策的一致性、安全性和公平性，并提出相應的整改措施。因此，保證教育人工智能的可解釋性，需要對其作出的決策、判斷和學習支持服務建立相應的存儲保留機制和解釋方案，供監測員審查，通過第三方機構來保證教育人工智能的設計、開發和應用是符合教育教學倫理規范的。審查之后，監測員還需要向創建者提供如何改進教育人工智能的反饋，如重新訓練模型、提高模型的公平性和保護學生隱私數據的安全策略。

（二）技術倫理問題

1. 自動化決策倫理問責問題

隨著教育人工智能的自主控制和自主決策能力不斷增強，它們也需要意識到自身行為的倫理含義，而不是依賴于設計人員預置的規則。因此，需要給教育人工智能引入倫理原則和規則，構建智能道德代理，使其具有一定的倫理決策能力，并能夠對自己的決策、行為和后果進行判斷，協調各方利益，但這樣也會引發出一些新的倫理問題[12]。首先，規則與算法是由設計者、程序員定制的，而不是由教育人工智能自主建構的，權威、權力和影響力會越來越多地體現在算法的開發和實施上。在各方利益沖突的情況下，教育人工智能應該優先服務于誰的利益，設計者、程序員、教師還是學生？其次，教育人工智能的應用可能會導致學習的失敗，其中潛在的責任主體包括設計開發人員、教師、學生和智能代理等，出現這種情況時應該向誰問責，軟件、數據、教師和學生各自應該承擔什么樣的責任，目前還缺乏相應的問責機制。最后，教育人工智能本身的自動化和復雜性，意味著我們很難確定系統的決策機制是如何運行的，也很難對其進行追溯和解釋。

2. 算法倫理問題

目前，人工智能主要通過機器學習和深度學習算法進行學習和訓練，基于過去記錄的歷史數據作出決策和判斷。如果利用教育人工智能對學習者及其學習進行評價，那么只能根據過去的標準和方法，如特定歷史文化背景下的成功衡量標準來進行，這將會使學習算法不可避免地產生歷史或文化的偏差與偏見，局限于依據歷史案例的平均化數據進行處理，而在處理具有創造性和創新性的學習活動過程方面面臨極大的挑戰[9]。從基本的倫理觀點來看，教師和學生能動性的表達需要的不僅僅是重復過去的歷史選擇，而是需要強調人的創造性和創新性，不能只是停留在過去。教育人工智能可能提供更多個性化和多樣化的學習路徑和學習資源的選擇，但目前的做法一般是根據用戶過去的選擇和決定將其確定為不同的個人畫像，然后過濾掉不符合其個人畫像的學習內容和路徑。這種方式可能會限制學習者對學習內容多樣化的需求，忽視人的學習和發展的靈活性、多樣性和不確定性。

3. 數據倫理問題

教育人工智能的正常運行需要大量數據的支持，因而需要記錄大量關于學習者的能力、情緒、策略和誤解等方面的數據，其中涉及大量新的數據倫理問題。首先，在數據的分析和處理過程中是否會涉及數據意外泄露的問題，教師和學生應該在何種程度上控制自己的數據，保護自己不受到傷害和歧視。其次，誰擁有這些數據，其中涉及什么樣的隱私問題，如果發生個人信息泄露，誰應該對此負責。最后，對于這些數據，應該如何分析、解釋和共享，如何糾正可能對個別學生的合法權利產生負面影響的偏見（有意識和無意識的），尤其是在考慮到種族、社會地位和收入不平等的情況下。因此，教育人工智能的倫理原則不能被簡化為關于數據或計算方法的問題，還需要考慮數據倫理和教育倫理。教育人工智能的倫理問題，實際上是數據倫理、計算倫理和教育倫理的綜合應用[13]。

（三）社會倫理問題

1. 轉變就業市場和人才培養的方向

現行教育系統的關鍵作用之一是培養學習者參與社會經濟生活的能力。教育制度的歷史與工業社會的發展密切相關，雇傭勞動仍然是當今社會及其日常生活的核心組織原則。但是，人工智能將可能代替人類的很多工作，這會不會導致失業率的上升？縱觀歷次工業革命，每次都會出現類似的擔憂，但最后對人才的需求量反而越來越大，因為隨著人口的增長和社會的發展，對產品和服務都會提出新的需求[9]。一些簡單的、重復性的勞動將由人工智能承擔，人類則將從事一些富有創造性、挑戰性和不可替代性的工作，例如：人工智能系統的設計與開發、人工智能哲學問題和社會問題的研究等。他們將有更多的時間和精力投入自己感興趣的領域，真正實現人性的解放。因此，未來的就業市場格局將面臨根本性的轉變，社會對人才的能力和素養也會提出更多新的要求，這將對人才培養的質量標準和規格帶來革命性的影響。

2. 改變教學過程中的人際關系

教育人工智能的技術化過程可能會忽略師生之間以及學生之間的正確關系（“我―你”而不是“我―他”），弱化我們對教育的理解，進而只是將其理解為學習技能，而不是人的培養，從而容易忽略教師和教學在教育過程中的重要性[14]。教育人工智能將對師生關系產生重要的影響，它可能會削弱師生之間和學生之間的聯系水平，以及他們之間建立聯系的能力，同時也可能削弱教學過程和學習過程，弱化教師作為專業人員的地位。師生關系質量對于學習者的個人自尊、學習動機和挑戰新問題的信心等影響學業成績的因素都具有重要的影響。教師對學生的友善態度和及時反饋有助于他們獲得自信心，促進他們健康情感的發展。而且，我們也無法保證所有的教育人工智能使用者都是基于一種良好的意圖，教育人工智能的濫用和不良使用，例如：獲取他人的隱私數據，模仿他人的筆跡、語音和會話風格去獲取非法利益，以及將教育人工智能生成的知識、報告和藝術作品據為己有，都可能降低教學過程中人與人之間的信任感。

3. 引發新的社會不公平

教育人工智能的初衷是要增進教育系統內各利益相關者的福祉，讓更多的教師和學生受益，需要盡量避免因為數字鴻溝而導致的新的社會不公平。教育人工智能領域的數字鴻溝，不是簡單地由社會經濟地位差異而導致的對技術設備擁有和訪問權的懸殊引起的，而是由一系列復雜的影響因素構成，如信息素養、人工智能素養、對待教育人工智能的態度、應用能力和使用意向等，它們會影響教師和學生應用教育人工智能的目的、方法和策略，進而影響最終的教與學效果，帶來新的教育不公平[5]。歷史經驗也表明，新技術的應用往往并不會縮小教育的不平等，反而可能擴大教育的不平等，這其中涉及技術應用的能力、效果和效率等方面的問題。

三、教育人工智能倫理原則

人工智能本身的自動化、自主性和能動性等方面的特征，使其同時扮演道德行動者和容受者的角色，并具有一定的倫理責任和道德決策能力。教育人工智能的應用可能會使各利益相關者面臨眾多新的倫理兩難問題，并帶來一系列新的技術倫理和社會倫理困境。因此，教育人工智能的應用絕不僅僅是一個技術層面的問題，還涉及技術與人類的關系、科技哲學及社會學等層面的問題，如果對其倫理困境的復雜性沒有深刻的認識，將可能帶來不可估量的負面影響。一方面，教育人工智能是人工智能技術及系統在教育領域的具體應用，需要遵循一般的人工智能倫理原則;另一方面，它又是一種具體的教育教學實踐活動，需要遵循教育倫理原則。

根據對國際電氣和電子工程師協會（IEEE）2019年發布的《合倫理設計：利用人工智能和自主系統最大化人類福祉的愿景（第一版）》[15]、歐盟委員會2019年發布的《值得依賴的人工智能倫理準則》以及其他人工智能倫理指南文件的分析[16]，可以發現，盡管各國存在文化傳統方面的差異，但在通用人工智能倫理方面表現出一定的趨同性，主要包括可解釋性、公平正義、責任、隱私和數據治理、善待、非惡意、自由自治、信任、尊嚴、穩健性、福祉、有效性、慎用、勝任和人權等方面。教育倫理原則主要包括：（1）能否給教育活動的全體利益相關者帶來福祉;（2）能否明辨是非善惡標準;（3）是否尊重教育公平和教育正義;（4）是否保護人的教育權、自由權和隱私權等基本人權;（5）是否尊重人，是否維護人的道德尊嚴;（6）是否履行教育的道德責任與義務[17]。可見，人工智能倫理和教育倫理在福祉、是非善惡、公平正義、人權和尊嚴、自由自治和責任等方面存在交叉重疊之處，如圖1所示。

? ? ?因此，教育人工智能倫理原則應該是二者之間的交集，代表在教育情境下，人工智能系統的技術開發與實踐應用應該遵循的具體倫理原則。

（一）福祉

福祉主要是指人工智能的設計和應用應該改善人類生活質量和外部環境，包括人類賴以生存的各種個人、社會和環境因素。它需要評估人工智能是否會讓人類社會和環境變得更加美好，能否促進社會的進步，促進社會和環境的可持續發展，為任何地方的人所有并使其受益[15]。從教育領域來看，福祉主要是指教育人工智能的設計、開發和應用應該能夠為教育活動的所有利益相關者帶來福利，實現所有教育教學活動相關人員的教育利益的最大化。例如：它能否改善現有的教學環境，更好地支持學習者的學習，尤其是存在學習障礙的學習者的學習;能否提供更多、更好的學習機會，更好地做到因材施教，使所有學習者均能夠得到更充分的發展;能否將教師從一些低水平的重復工作中解放出來，使其更好地投入到更有價值、更有意義、更具創造性的教育活動中去，讓他們的個人價值得到更充分的實現;能否改善師生關系，使師生能夠以一種更幸福、更健康的方式投入到教與學活動中去，實現個人全面和諧發展的同時，更好地保障他們的身心健康。

（二）是非善惡

人工智能的非惡意原則主要是指其設計和應用應該是出于仁愛而不是惡意的愿望，即絕對不應該造成可預見或無意識的傷害、偏見和不公平，需要避免特定的風險或潛在的危害[18]。因此，人工智能產品的設計、開發和部署需要基于一種良好的愿望，同時還需要有一套預防風險和潛在危害的干預機制。教育倫理則強調教育行為需要基于善良的動機，遵從具有普遍價值的道德準則和崇高的道德意義，履行社會和個人的道德義務。因此，教育人工智能的設計和開發應該基于一種善良的動機，是真正為了實現教育更好的發展，為了教師能夠更好地進行教學工作和履行育人的社會責任，學生能夠更好地進行學習，促進他們全面和諧的發展，而不是出于其他的功利性甚至帶有個人私欲的某種目的。

（三）公平正義

公平正義原則要求人工智能對所有人都是公平公正的，并且要避免保留現有的社會偏見和引入新的偏見。因此，人工智能的決策算法和訓練數據不應該沿襲設計者固有的偏見和歧視，而是應該通過評估確保這些數據對不同的社會文化均具有適當的代表性，讓所有人都有平等訪問的機會[19]。教育教學活動需要維護教育的公平和正義，受教育權是每個社會公民的基本權利，不管其社會地位的高低和財富的多寡。而且，教育本身也是實現社會公平的一種方式，它為階層之間的流動提供了一個良好的通道[20]。在部署教育人工智能系統之前，需要仔細思考會不會帶來更多的教育機會，是促進教育公平，還是妨礙教育公平。首先，教育人工智能的決策算法和依托的數據是否存在偏見與歧視，能否公平、公正地對待每一位學生。其次，教師利用教育人工智能進行教學的能力水平的差異，會不會導致教學效果的差異，從而引發新的教育不公平。再次，學習者的信息素養和人工智能素養水平的不同，對于他們使用教育人工智能進行學習會不會帶來學習效果的差異，從而擴大學生學業成績之間的差距。最后，家庭社會地位和經濟實力的不同，會不會造成訪問教育人工智能機會的不均等，從而帶來新的教育不公平。

（四）人權和尊嚴

人工智能應該優先考慮并明確尊重人的基本人權和尊嚴。這需要在各利益相關方之間合作協商的基礎上制定指導人工智能開發的人權框架，指導和規劃人工智能的未來發展方向，以確定、預防和糾正人工智能可能給基本人權和尊嚴帶來的潛在風險和危害，以維護人類的尊嚴和固有價值[21]。教育人工智能在教育中的應用，將可能替代教師的很多日常工作，但不能因此而動搖教師作為能夠自主確立教學目標的主體地位，以及忽略教師工作本身的價值和創造性，降低教師的地位和尊嚴。教育人工智能給學習者提供認知支架和智能化教學支持服務，應該讓學習者能夠根據自己的需要和個性特征做出選擇，而不是代替學生做出選擇，即應該充分地尊重學生作為一個人的基本人權和尊嚴，而不是將其作為某種目標對象來對待。因此，教育人工智能的創建者、教師和其他工作人員都應該充分尊重師生在智能學習環境下的這些人權和尊嚴。

（五）自由自治

人工智能的發展需要在以人為主導的決策和以機器為主導的決策之間保持平衡，應該促進人類的自主權和控制權，而不是傷害和破壞人類的自由。人類應該選擇以何種方式賦予人工智能何種程度的決策權，以實現人類自主選擇的目標[22]。因此，人工智能應該將使用者視為獨立自主的人，而不是被操控的對象，不能剝奪和影響人類自由自治的權力。部署教育人工智能的學校和機構對于預置什么樣的社會文化價值觀念具有自治權，教育人工智能的創建者不能把自己的社會文化價值觀念嵌入教育人工智能中，影響用戶對文化和價值體系的自治權。教師職業有其創造性和自主性的一面，對于自己選擇什么樣的教學方法，如何安排教學活動和進行教學評價，教師擁有自主權。學生對于自己在教育人工智能中的個人形象、數據和身份，擁有自主控制的權利。他們對于教育人工智能提供的教學支持服務和資源策略建議，擁有主觀能動性，而且不應該由于沒有遵循教育人工智能的建議而受到任何形式的懲罰。

（六）責任和問責

當人工智能具備了一定的行為和決策自主權后，其責任和問責機制將會變得更加復雜，所以應該建立一套完善的責任和問責機制，以確保能夠對人工智能及其行為決策后果進行問責，明確應該如何在制造商、設計師、運營商和最終用戶之間分攤責任。明確的問責機制需要建立在系統透明的基礎上，即應該建立完整的數據跟蹤記錄方案，保持系統算法和決策推理過程的透明，以便在任何情況下均可以快速找出責任主體[15]。教育人工智能，可能會代替教師的部分教學決策和教學行為，或者向他們提供教學策略建議，為他們的決策與行為提供支持。這種決策與行為后果的責任主體和問責機制是比較復雜的，這要求教育人工智能對于自身對教育教學工作的支持和干預具有一定的預見性。對于算法的決策過程、教師使用教育人工智能進行教學的過程以及學生學習過程中的行為數據，教育人工智能要有完整的記錄保存方案，從而為后續的問責過程提供依據。

四、結 ? 語

毫無疑問，人工智能將對教育產生深遠的影響，甚至可能帶來教育教學實踐領域的一場根本性的變革，轉變教師的工作性質和社會角色，改變學生的學習體驗。教育人工智能的出現給教育技術學帶來了新的挑戰，它在支持教育教學實踐的過程中，體現出越來越強的自動化和主觀能動性，將同時扮演道德行動者和容受者的角色。它將使教育領域的倫理問題變得更加復雜化，并引發出一系列新的倫理困境。因此，在教育人工智能的大規模設計、開發、部署和投入應用之前，需要認真考慮教育人工智能倫理原則的構建，為在教育教學實踐過程中安全有效地利用教育人工智能奠定合適的倫理道德基礎。

[參考文獻]

[1] 郭天翼，彭敏，伊穆蘭，等.自然語言處理領域中的自動問答研究進展[J].武漢大學學報（理學版），2019，65（5）：417-426.

[2] PERIKOS I，GRIVOKOSTOPOULOU F，HATZILYGEROUDIS I，et al. Assistance and feedback mechanism in an intelligent tutoring system for teaching conversion of natural language into logic[J]. International journal of artificial intelligence in education，2017，27（3）：475-514.

[3] MAR S，SANTOS O C，SERGIO S M，et al. Towards emotion detection in educational scenarios from facial expressions and body movements through multimodal approaches[J].Scientific world journal，2014，484873：1-14.

[4] VIZCAINO A. A simulated student can improve collaborative learning[J]. Artificial intelligence in education，2005，15（1）：3-40.

[5] LUCKIN R，HOLMES W，GRIFFITHS M，et al. Intelligence unleashed： an argument for AI in education[M].London：Pearson，2016.

[6] TOMSETT R， BRAINES D， HARBORNE D， et al. Interpretable to whom？ a role-based model for analyzing interpretable machine learning systems[C]//Proceedings of the 2018 ICML Workshop on Human Interpretability in Machine Learning. Stockholm：CoRR， 2018：8-14.

[7] 鄧國民.教師整合技術與倫理的學科教學知識框架[J].黑龍江高教研究，2018（2）：99-103.

[8] SIAU K. Education in the age of artificial intelligence： how will technology shape learning[J]. The global analyst，2018，7（3）：22-24.

[9] TUOMI I.The impact of artificial intelligence on learning， teaching， and education： policies for the future[M].Luxembourg： Publications Office of the European Union，2018.

[10] DAVIES C R. An evolutionary step in intellectual property rights-artificial intelligence and intellectual property[J]. Computer law & security review，2011，27（6）：601-619.

[11] AIKEN R M，EPSTEIN R G. Ethical guidelines for AI in education： starting a conversation[J]. International journal of artificial intelligence in education，2000，11：163-176.

[12] SIVILL T. Ethical and statistical considerations in models of moral judgments[J].Frontiers in robotics and AI，2019，6：39.

[13] HOLMES W，INIESTO F，SHARPLES M，et al. Ethics in AIED： who cares？[C]//20th International Conference on Artificial Intelligence in Education. Chicago：Open Research Online，2019.

[14] GUILHERME A. AI and education： the importance of teacher and student relations[J]. AI & Society，2019，34（1）：47-54.

[15] The IEEE Global Initiative on Ethics of Autonomous and Intelligent Systems. Ethically aligned design： a vision for prioritizing human well-being with autonomous and intelligent systems[EB/OL]. （2019-03-19） [2020-03-24]. https：//standards.ieee.org/content/dam/ieee-standards/standards/web/documents/other/ead1e.pdf.

[16] FLORIDI L. Establishing the rules for building trustworthy AI[J]. Nature machine intelligence，2019，1（6）：261.

[17] 王正平.教育倫理學的基礎理論探究與建構[J].上海師范大學學報（哲學社會科學版），2017，46（6）：24-33.

[18] JOBIN A， IENCA M， VAYENA E， et al. The global landscape of AI ethics guidelines[J]. Nature machine intelligence，2019，1（9）：389-399.

[19] SHAW G. The future computed： AI and manufacturing[M]. Washington： Microsoft Corporation， 2019.

[20] 王本陸.教育公正：教育制度倫理的核心原則[J].華南師范大學學報（社會科學版），2005（4）：98-104，160.

[21] LATONERO M. Governing artificial intelligence： upholding human rights & dignity[EB/OL]. （2018-10-10）[2020-03-24]. https：//datasociety.net/wp-content/uploads/2018/10/DataSociety_Governing_Artificial_Intelligence_Upholding_Human_Rights.pdf.

[22] FLORIDI L， COWLS J， BELTRAMETTI M， et al. AI4People—an ethical framework for a good AI society： opportunities， risks， principles， and recommendations[J]. Minds and machines，2018，28（4）：689-707.

[Abstract] This paper aims to reveal what new ethical issues education will face in the intelligent age， and explore the ethical principles of educational artificial intelligence on the basis of artificial intelligence ethics and educational ethics. By means of literature research and logical reasoning， this paper systematically combs the characteristics and advantages of applications of educational artificial intelligence， as well as the new ethical problems it may cause：（1）at the role level， system creators， teachers， students， monitors and other stakeholders will face more complex ethical dilemmas;（2）at the technical level， it involves issues such as automated decision-making ethics accountability， algorithm ethics， and data ethics; （3）at the social level， the employment market may be transformed， interpersonal relationships may be changed， and a new society unfair may be triggered. Therefore， it is necessary to have a full understanding of the complexity of the ethical issues of educational artificial intelligence. It also needs to follow both the general ethical principles of artificial intelligence and educational ethics. Among them， the most core content is the intersection between the two， including：（1） well-being;（2） right and wrong， good and evil;（3） fairness and justice;（4）human rights and dignity;（5）freedom and autonomy;（6）responsibility and accountability.

[Keywords] Educational Artificial Intelligence; Ethics of Artificial Intelligence; Educational Ethics; Data Ethics; Algorithm Ethics; Ethical Principles