論生成式人工智能服務中的教育風險及其應對

林莉

摘要：隨著人工智能技術的迅猛發展，生成式人工智能（AIGC） 服務在教育領域的應用也日益廣泛。作為AIGC的典型代表，ChatGPT憑借其強大的底座能力、卓越的思維鏈推理能力以及實用的零樣本能力，在為教育主體賦能、為教育客體賦權以及為教育過程注入活力的同時，也帶來了諸多挑戰，包括在法律、倫理、技術等方面的潛在風險。為有效應對這些教育風險，我們應從法律規范、倫理約束和技術攻關三個維度出發，推動以ChatGPT為代表的生成式人工智能安全風險治理工作。

關鍵詞：生成式人工智能；ChatGPT；潛在風險；教育風險應對

中圖分類號：TP3 文獻標識碼：A

文章編號：1009-3044（2024）11-0033-03

自OpenAI于2022年11月30日發布ChatGPT以來，這款優化對話的語言模型迅速在全球范圍內引起高度關注。2023年4月11日，國家互聯網信息辦公室發布了《生成式人工智能服務管理辦法（征求意見稿）》，明晰了對生成式人工智能的定義，將其界定為“基于算法、模型、規則生成文本、圖片、聲音、視頻、代碼等內容的技術”[1]。

一些學者積極肯定ChatGPT的價值，認為其發展將有利于人類的自由與解放，并對其持歡迎態度。然而，也有學者指出ChatGPT在教學應用中可能帶來的負面影響，如信息不準確的風險、對人際互動與同理心培養的不足以及對現有考試評價制度的沖擊[2]。這些問題進一步引發了關于數據悖論、知識悖論和認識能力等悖論的討論[3]。面對人工智能技術的飛速發展，教育工作者應如何應對ChatGPT在社會和教育領域引發的“海嘯”？本文將以ChatGPT為例，深入探討生成式人工智能在教育中的潛在風險及其應對策略。

1 生成式人工智能的教育風險檢視

黨的十九大以來，國家陸續出臺了“1+N”政策體系，為人工智能的快速發展提供政策依據和制度保障，規劃強調了對人工智能行為進行科學和倫理研究的重要性，并倡導在最大范圍內減輕相關風險[4]。2023年4月，國家網信辦發布的《征求意見稿》，在對科技倫理風險預警與跟蹤研判的基礎上，及時回應當前生成式人工智能帶來的風險與沖擊。總的來說，以ChatGPT為代表的生成式人工智能在學習、教學和管理等層面帶來諸多價值，然而，由于當前仍處于弱人工智能階段，生成式人工智能（AIGC） 在帶來眾多機遇的同時，也在法律、倫理、技術等方面存在潛在風險。

1.1 生成式人工智能的法律風險

1.1.1 數據和隱私的泄露

生成式人工智能系統通常需要大量的數據來進行學習和訓練。在課堂中，ChatGPT可能成為“課堂間諜”。為了獲得ChatGPT對特定問題的解決方案，師生需要輸入大量與之相關的數據。生成式AI通過對歷史記錄、行為模式和當前情況等日常數據的分析，以最小成本和最快速度為師生提供決策支持。然而，這種數據收集和處理方式可能引發數據和隱私的泄漏風險。

1.1.2 知識產權侵犯的風險

生成式人工智能在向用戶提供回復時，若過度借鑒他人作品，則可能引發知識產權侵權問題[5]。Chat‐GPT給出的答案通常來源于搜索引擎搜索來的網上公開數據。這些數據都是人們上傳和留痕的結果。如果ChatGPT 給出的答案涉及他人的著作權，如文字、代碼、圖片等，用戶在使用時若不加以甄別，可能面臨侵權風險。

1.2 生成式人工智能的倫理風險

1.2.1 師生情感的異化

教育是培養人的社會實踐活動，廣泛運用這類技術可能導致教師的知識權威逐漸減弱，教學變得更像是通過“人-機-人”模式傳授知識。這種方式與傳統的“人-人”面對面交流不同，學生和教師面對的是機器或屏幕，而非真實的生命體驗[6]。對于教師來說，這可能阻礙了他們全面地感知學生內心微妙變化的能力，也難以及時進行真實的情感交流[7]。馬斯洛的需求層次理論表明，人是社會性的，情感需求至關重要，“人-機- 人”交流方式可能導致師生間情感交往的疏離，減弱彼此關懷和情感投入，使情感體驗變得缺乏真實感[8]。

1.2.2 人工智能的偏見

ChatGPT是一個大型的語言模型，雖然被訓練了幾百萬個數據點，包括了大量的文本與書籍，但由于其學到的知識僅來自訓練數據中的統計規律，缺乏語境理解能力，無法像人類一樣能對世界進行復雜和系統地了解，因此常具有攻擊性和偏見性的反饋內容。由于ChatGPT的學習算法是建立在歷史數據基礎上的，其時效性相對較差。在對學生成績及能力進行評估時，采用這種算法將基于過去的衡量標準，可能導致產生偏見和不公平。

1.3 生成式人工智能的技術風險

1.3.1 內在技術風險

內在化技術風險即生成式人工智能教育技術應用過程中客觀存在的風險[9]。以ChatGPT為代表的生成式人工智能，主要涉及幾項關鍵技術和架構，分別是基于Transformer的預訓練語言模型、提示學習與指令精調、思維鏈以及基于人類反饋的強化學習。

因此內在化技術風險首先體現在數據支持的缺陷，具體表現為ChatGPT時效性差，無法融入新的知識。例如：當詢問ChatGPT“卡塔爾世界杯的冠軍是哪支球隊”？ChatGPT給出的回答是“卡塔爾世界杯將于2022年11月21日至12月18日在卡塔爾舉行。因此無法回答這個問題，因為比賽的時間尚未確定。請耐心等待比賽結果揭曉”。

1.3.2 外在技術風險

生成式AI時代的教育技術風險與以往的分析式AI有所不同，顯現出明顯的特殊性。在這一時代，技術風險不僅涉及內在方面，還包括外在的技術風險。外在技術風險主要體現在以下幾個方面：首先是數據隱私和安全，因為生成式AI需要大量數據進行訓練，可能會牽涉個人隱私信息的泄露和濫用。其次是誤導性和誤解，生成的內容可能會誤導人們，造成信息不準確或不真實的情況。此外，惡意濫用也是一個風險，生成式AI可以被用于制作虛假信息、網絡欺詐和惡意攻擊等。另外，技術的濫用也可能導致倫理和道德問題的出現，比如深度偽造視頻可能會引發虛假新聞、個人聲譽受損等問題。因此，需要嚴格監管和合理限制生成式AI的應用，以減少這些潛在風險。

2 生成式人工智能的教育風險構成

在大規模數據和強大計算力的支持下，ChatGPT 具備了“涌現”能力。這使得它不僅能夠“理解”人類自然語言，還能夠“記住”在訓練期間積累的大量事實，并基于這些“記憶”生成高質量的內容[10]。與此同時，相對已有的人工智能技術，生成式人工智能帶來的潛在風險更為緊迫。

2.1 生成式人工智能準備階段的數據風險

生成式人工智能的運行離不開算法和數據，Chat‐GPT通過“大數據＋大算力＋強算法”，構建了一種大型自然語言模型，讓人們在人工智能生產力轉變的基礎上向前推進一步。對于ChatGPT這類高度智能化的生成式人工智能，如何有效運用和處理數據，包括國家數據和個人數據等，以及在生成式人工智能準備階段如何應對數據風險，都成為評估ChatGPT安全性和規范其后續應用的重要標準[11]。

2.2 生成式人工智能運算階段的算法偏見風險

生成式人工智能引起廣泛社會關注的原因之一是它由傳統的分析式AI向新興的生成式AI轉變，而在這一過渡中，算法模型發揮著至關重要的角色。生成式人工智能主要通過基礎算法對數據進行分析和處理，ChatGPT算法的偏見風險也因此產生[12]。換言之，ChatGPT在進行機器學習的同時，通過人工標注來修正和校對機器學習的結論，“機器學習+人工標注”作為算法技術內核，雖然提升了技術水平，但也增加了算法偏見的風險。

2.3 生成式人工智能生成階段的知識產權風險

生成式人工智能的崛起給多個產業帶來了挑戰，其中對知識產權領域的影響最為顯著。生成式人工智能的智能程度極高，在運算時對知識產權的歸屬產生了顛覆性的變化，相較以往的人工智能系統，帶來了知識產權風險，而這是人工智能無法規避的。

3 生成式人工智能的教育風險應對

未來，人機協同成為大勢所趨。為了減少或避免生成式人工智能帶來的各種風險，應當從法治、倫理以及應用維度出發，采取具體實用的措施來應對這些風險。

3.1 法治層面：制定和完善生成式人工智能應用的政策和法律框架

為落實生成式人工智能的政策和法律體系，2016 年以來，世界各國與各類組織發布了大量與人工智能風險防范相關的規劃和報告[13]。2016年9月，英國標準協會出臺《機器人和機器系統的倫理涉及和應用指南》，指明人工智能倫理的研究要在行業設定標準的指導下進行。2021年4月，歐盟委員會通過了《人工智能》立法提案，提出通過制度規范規避風險的重大安排。

黨的十九大報告強調“以良法促進發展、保障善治”[14]。因此，我們需要科學嚴謹地對生成式人工智能的發展和應用可能帶來的潛在風險進行判斷、分析和論證，不斷制定和優化關于生成式人工智能的法律法規，以確保其在法制化軌道上規范發展和應用。

3.2 倫理層面：加強倫理約束，培養關鍵素養

加強倫理約束并培養關鍵素養是校規校紀與課程整合的重要方面。通過加強倫理約束，學校可以建立起一套明確的道德規范和行為準則，引導學生樹立正確的道德觀念和行為習慣。這不僅有助于維護校園秩序，還能培養學生的自律意識和社會責任感。同時，課程整合還可以通過教育教學活動，引導學生思考和討論倫理道德問題，促進他們的道德判斷能力和倫理意識的培養。通過這種方式，學生將更加深入地理解和內化校規校紀的內涵，為他們未來的學習和生活打下堅實的倫理基礎。因此，必須充分意識到使用ChatGPT等人工智能工具帶來的社會風險[15]，探索以主流價值導向駕馭算法，采取措施確保輸出內容準確可靠。同時，通過多樣化的教育活動，傳播人工智能相關的政策與法律法規，提升公眾人工智能的技術和人文素養[16]。

3.3 應用層面：建立ChatGPT 教育應用的風險預防體系

ChatGPT系統使用全過程的監督。如果學生過度依賴ChatGPT技術，可能會出現采用相同算法和對象的“常模”進行學習的情況，很難真正激發學生的潛力，也不利于引導學生深入思考和探究，甚至可能剝奪學生的思維訓練和創造力發展的空間[17]。因此，教師應有針對性地進行教學活動和課外實踐，根據學生的“最近發展區”設計創新性的資源，成為學生學業和人格發展的“引路人”，這是機器所無法替代的[18]。學校和教師應舍棄側重知識記憶的傳統評價方式，引入多維度的評價標準，注重考查學生在批判性思維和創新性思維等方面的綜合能力，以有效提升評價方式的科學性和公平性[19]。

4 結束語

本文探討了生成式人工智能服務在教育領域中存在的風險，并結合ChatGPT作為案例進行分析。雖然生成式人工智能在教育中具有巨大潛力，可以提供個性化的學習體驗和幫助，但同時也面臨一些挑戰和風險。我們必須謹慎對待生成式人工智能在教育領域中的應用，既要充分利用其優勢，又要警惕其中的風險。只有在全社會共同努力下，才能更好地推動人工智能技術在教育中的發展，為教育事業帶來更多的機遇與挑戰。

參考文獻：

[1] 生成式人工智能服務管理辦法（征求意見稿）[J]. 中國信息化，2023（5）：18-19.

[2] 王佑鎂，王旦，梁煒怡，等.“阿拉丁神燈” 還是“潘多拉魔盒”：ChatGPT 教育應用的潛能與風險[J]. 現代遠程教育研究，2023，35（2）：48-56.

[3] 肖峰. 哲學視域中的信息技術[M]. 北京：科學出版社，2017.

[4] 王嵐，王凱. 教育中的人工智能：應用、風險與治理研究[J]. 黑龍江高教研究，2020，38（6）：45-49.

[5] 張學博，王涵睿. 生成式人工智能的法律規制：以ChatGPT為例[C]//上海市法學會.《上海法學研究》集刊2023年第6卷：2023年世界人工智能大會青年論壇論文集，2023.

[6] 馮雨奐. ChatGPT在教育領域的應用價值、潛在倫理風險與治理路徑[J]. 思想理論教育，2023（4）：26-32.

[7] 尚瑞茜，么加利. 人工智能時代教師教學語言變革的隱憂與堅守[J]. 大學教育科學，2023，14（3）：54-62.

[8] 張雅麗，周雄俊，田再來，等. 人工智能教育應用風險與治理[J]. 中國現代教育裝備，2023（8）：63-65.

[9] 吳河江，涂艷國，譚轢紗. 人工智能時代的教育風險及其規避[J]. 現代教育技術，2020，30（4）：18-24.

[10] 韓丹東，王意天.ChatGPT火爆背后有何法律風險？[N].法治日報，2023-02-13（008）.

[11] 劉艷紅.生成式人工智能的三大安全風險及法律規制：以ChatGPT為例[J].東方法學，2023（4）：29-43.

[12]（ 美）約瑟夫·E.奧恩.教育的未來：人工智能時代的教育變革[M].李海燕，王秦輝，譯.北京：機械工業出版社，2019.

[13] 西桂權，譚曉，靳曉宏，等.挑戰與應對：大型語言模型（Chat‐GPT）的多樣態安全風險歸因及協同治理研究[J].新疆師范大學學報（哲學社會科學版），2023，44（6）：131-139.

[14] 馬煥靈.黨的十八大以來中國教育法治新樣態：理念、制度與行動[J].現代教育管理，2022（10）：22-32.

[15] 徐和祥，申利俠“. 智能+教育”：應用場景、風險挑戰與治理對策[J].復旦教育論壇，2023，21（2）：24-30.

[16] 李曉鋒.人工智能將如何改變中國教育：評《教育的未來： 人工智能時代的教育變革》[J].林產工業，2019，56（12）：110.

[17] 鐘秉林，尚俊杰，王建華，等.ChatGPT對教育的挑戰（筆談）[J].重慶高教研究，2023，11（3）：3-25.

[18] 盧宇，余京蕾，陳鵬鶴，等.生成式人工智能的教育應用與展望：以ChatGPT系統為例[J].中國遠程教育，2023，43（4）：24-31，51.

[19] 儲舒婷.ChatGPT火熱“出圈”，我們如何應對新挑戰[N].文匯報，2023-02-05（3）.

【通聯編輯：代影】