人工智能向善：面向未成年人的人工智能應用監管探研

倪琴　賀樑　王英英　白慶春　吳永和

[摘? ?要] 人工智能應用與未成年人之間的和諧共生是當前亟待完成的任務。由于未成年人正處于認知、心理塑造發展的關鍵時期，其成長發展過程中需要更多監管和關注。針對當前人工智能應用監管中存在的風險和挑戰，文章從面向未成年人的人工智能應用監管框架頂層設計出發，提出面向未成年人的人工智能應用監管善治路徑。監管框架頂層設計以尊重人類的自主能力為核心，提升未成年人的能動性，優化監督機制，具體包括監管內涵、技術原則和組成要素。監管善治路徑從以未成年人為中心的人工智能應用監管技術體系的構建出發，探索提升場景多樣化評測機制，完善面向未成年人的人工智能應用監管制度，參與面向未成年人的人工智能應用監管國際規則制定，開展面向未成年人的人工智能應用監管社會實驗研究。通過研究框架和善治實施路徑的構建，以期為面向未成年人的人工智能技術規范提供有益參考。

[關鍵詞] 人工智能； 應用監管； 未成年人； 安全倫理

[中圖分類號] G434? ? ? ? ? ? [文獻標志碼] A

[作者簡介] 倪琴（1989—），女，安徽合肥人。副教授，博士，主要從事教育數據挖掘和智能教育算法倫理研究。E-mail：niqin@shnu.edu.cn。賀樑為通訊作者，E-mail：lhe@cs.ecnu.edu.cn。

一、引? ?言

隨著人工智能應用場景的不斷拓展，在多元化海量驗證過程中不斷反映出應用產品和服務固有的技術缺陷，也持續暴露出政策法律、倫理輿情與市場反饋等方面的社會性風險[1]。《人工智能應用準則》中提到“人的監督”，強調人工智能不應該超過人的自主性，人類應該監督人工智能技術的發展以及人工智能技術的決策，并在必要時進行干預[2]。由此可見，人類在使用人工智能技術的過程中應具備“自主性”，特別是面向心智尚未成熟、世界觀尚未穩定的未成年人，更加需要有相應的監督和支持，以保證未成年人在與智能系統交互中保留“自主性”，具有以正確教育理念引導的成長體驗。英國著名社會學家大衛·科林格里奇曾言：“一旦技術應用的風險后果發生時，它已成為經濟和社會結構的一部分，對其管控將十分困難。”[3]因此，廓清人工智能應用的風險邊界，并對其進行有效管控是非常必要的。特別是針對作為社會發展后備力量的未成年人，在新型智能終端迅速普及的當下，及時采取監管策略進行智能化管控，才能為未成年人提供健康的成長環境，這也將成為智能時代發展的必然趨勢。面對機遇與挑戰并存的人工智能技術應用，需要切實把控面向未成年人的應用監管問題。為此，文章將回歸人工智能應用監管的服務本質，針對未成年人的人工智能應用風險和監管挑戰，聚焦于面向未成年人的應用監管框架、善治路徑，回答人工智能應用監管“是何”“為何”“如何”的問題，以期為面向未成年人的人工智能技術規范提供有益參考。

二、面向未成年人的人工智能應用風險與

監管挑戰

（一）面向未成年人的人工智能應用風險

以人工智能（Artificial Intelligence， AI） 為技術支撐的應用已經貫穿于未成年人的生活、社交、出行和學習等方面[4]。新冠疫情影響下的“停課不停學”，借助于遠程交互的課堂進行學習和交流，也進一步提升了互聯網應用在未成年人中的普及率。未成年人正處于認知、心理塑造發展的過渡時期，其心智和價值觀處于正在形成之中，需要更多關注其身心健康、安全、隱私和情感意愿等方面的健康發展。未成年人不同于成年人，他們在生理、心理上都具有較突出的特點。在生理方面，未成年人年齡偏低，身體的各種器官發育尚不完備。在心理方面，第一，未成年人的社會閱歷不豐富，社會經驗不足，文化知識淺薄，思想觀念尚未定型，因此，未成年人對于人工智能產品中的風險辨別能力較弱；第二，未成年人心理不成熟，自身素質不完善，各方面發展尚未完全成熟，較成人而言，更容易受外界環境的影響，產品中潛在的倫理風險不利于其身心健康發展。因此，鑒于未成年人的這些特點，人工智能應用存在的潛在風險。將會產生極大的、不可挽回的安全倫理隱患，并可能對未成年人的身心健康造成長期的傷害。

在理想情況下，人工智能應用應當作為體現向善賦能的價值載體[5]，為未成年人提供動態的、有吸引力的交流學習環境，能夠根據未成年人的需求自適應地提供相應策略[6]。但由于當前的人工智能是基于復雜算法和數據驅動的技術，其在運行的各個階段會有意識或無意識地引入風險，而很多平臺或軟件缺乏對倫理、道德的考量，肆意侵害未成年學習者的權益[7]。面向未成年人的人工智能應用中的潛在風險存在于應用中的各個階段：一是未成年人數據倫理風險。由于人工智能算法是在數據的基礎上作出決策，故當人工智能算法的數據建模階段出現訓練數據不夠完善或者不具備足夠的代表性等問題時，就會引起數據偏見。數據偏見會重現，甚至放大社會中的不公平現象，造成對未成年人中的弱勢或邊緣化群體的歧視現象，如學習障礙歧視、排外心理等。另外，算法會不斷收集用戶的行為、習慣、情緒、偏好等大量數字信息，如果不具備合理的敏感信息過濾機制，算法將對未成年人的隱私、安全帶來更大的風險。二是算法執行過程中對未成年人產生的潛在倫理風險。算法的倫理風險存在于算法開發完成的各個階段。在算法開發運行過程中，由于開發中的無心錯誤、模型選擇偏差等因素，將會造成模型在學習過程中融入相關偏差[8]。三是應用倫理風險。在應用結果層面，人工智能算法存在“信息繭房”和主體性消解風險。如迎合未成年人的需求，推薦類人工智能應用，會筑造未成年人“信息繭房”，長期使用此類產品，會影響未成年人的創造力，使得未成年人的依賴性增加，造成趨向于機器化的“同質化問題”[9]；人工智能算法的應用正逐漸使人面臨客體化的危險。人工智能算法的高度智能化釋放出巨大的生產力，人類對算法的依賴程度也愈來愈高，人們正逐漸從對人的信任轉向對智能技術的信任，這一趨勢導致了技術異化，并給人的主體性地位帶來巨大的沖擊。面向未成年人的人工智能應用的不同階段的潛在風險，如圖1所示。

（二）面向未成年人的人工智能應用監管挑戰

當前國內外關于面向未成年人的人工智能應用監管主要聚焦在“軟”治理與“硬”監管上。在“軟”治理上，鼓勵人工智能應用創新和增長；同時，通過準則約束和標準制定的“硬”監管來加強前瞻性預見和對未成年人的倫理保護。各國普遍都較為重視對于倫理安全的監管和約束，提出并發布相關風險管控政策。歐盟委員會成立人工智能高級小組，制定了涵蓋公平、安全、透明性以及維護基本權利等諸多方面的倫理指南[10]。我國也在《新一代人工智能倫理規范》中提出，將倫理道德融入人工智能全生命周期，促進人工智能向公平、公正、和諧、安全的方向發展，避免偏見、歧視、隱私泄露等問題[11]。并于2020年發布首個針對兒童的人工智能發展原則，即《面向兒童的人工智能北京共識》[12]，涵蓋“以兒童為中心”“保護兒童權利”“承擔責任”“多方治理”等四大主題，并指出人工智能發展首先應該滿足兒童的尊嚴，促進其自由發展和多元成長，不應有歧視或者潛在傷害，應當增強兒童的福祉，促進兒童的發展。

在學術研究方面，人工智能教育倫理相關研究近年來也成為熱點主題[13]。由于AI教育領域的應用普遍涉及隱私、偏見、歧視、公平等倫理問題，需要前瞻性預見和倫理保護機制研究。國內外人工智能倫理問題的研究主要按照應用場景，分為關注教育數據隱私、教育技術風險、教育公平問題、教育人文精神、管理機制和政策法規五大類研究主題，見表1。在教育數據隱私方面，研究主要關注教育場景的隱私保護和開放共享數據的界定機制；在教育技術風險方面，研究主要關注因人工智能技術的引入而帶來的內在風險；針對教育公平問題，相關研究主要關注如何借助人工智能教育應用來賦能教育公平；教育人文精神方面，主要關注人—機、人—人之間的責、權、利關系的界定；在管理機制和政策法規方面，研究主要關注規避倫理風險的現實路徑和法規政策。

盡管當前各國政府、組織和學者都高度重視人工智能技術的應用監管，出臺了大量的面向特定種類人工智能應用程序的監管規定，但對于面向未成年人的人工智能應用監管研究依舊缺乏，當前尚面臨諸多現實挑戰。

第一，人工智能應用中“以人為本”設置不足，“以未成年人為中心的”評估和監管困難。開展人工智能應用監管的目的，是針對未成年人的特征，為其提供安全可靠的人工智能應用輔助工具，創造良好的環境，讓其在倫理監管的框架下得到健康發展。由于人工智能引發了諸多倫理方面的挑戰，目前，已有一批相關專家學者達成共識，相關應用監管規范輔助工具也不斷涌現。然而，當前的人工智能應用中，更多地關注應用的功能性完善，對于以未成年人為中心的設置能力不強，而面向未成年人的人工智能應用監管要從保護、促進兒童青少年健康成長和未來教育的角度出發，規范發展人工智能，助力人工智能向善賦能。

第二，技術透明設計有短板，監管與過程追溯困難。相較于其他領域的新技術，人工智能具有的黑箱、數據依賴性和通用性等技術特性，使其更為復雜、更不可控、更難預測。人工智能在取代重復性人力勞動、提高社會管理效率、提升人類生活和服務質量方面發揮了巨大的正面效益，但是目前的人工智能應用遠沒有達到透明、可信的要求。開展人工智能應用監管的目的，是為人工智能的發展和創新營造良好環境，讓人工智能在法律和倫理的框架下得到健康發展。面向未成年人的人工智能應用對于技術要求更高，增加人工智能應用中技術設計的透明度，則為倫理和問責制度的制定提供技術支撐。因此，需要盡快推進現有的技術結構透明化、可解釋、可追溯，規范監管人工智能應用，重塑公平正義的社會結構和技術結構。

第三，面向未成年人的人工智能技術評估和監管能力不足。聯合國教科文組織發布的《人工智能倫理問題建議書》，強調人工智能應用的發展應當遵循倫理準則和價值觀的約束[28]。對面向未成年人的人工智能應用進行全過程的監督與管理是闡釋未成年人人工智能教育的底層邏輯。中共中央辦公廳、國務院辦公廳印發《關于加強科技倫理治理的意見》表明，當前各國在人工智能治理方面剛剛起步，相關體制機制還不健全，制度體系尚不完善，特別是針對當前未成年人這一特殊群體的全過程評估檢測和監管措施尚未完善[29]。人工智能所造成的安全倫理、算法歧視和技術同化等問題，在未成年人身上表現得較為突出，影響重大深遠。因此，增強面向未成年人的人工智能評估檢測能力的研究迫在眉睫。

第四，人工智能應用影響社會實驗缺乏，適用場景的人工智能應用監管困難。當前面向未成年人的人工智能監管主要關注于宏觀方向研究，通過提倡責任擔當、提升倫理素養來探討倫理的影響，缺少智能服務和智能化應用場景的探索與社會影響的系統分析。人工智能在未成年人的生活中有著廣闊的發展空間，過分夸大倫理風險將會阻礙技術的發展，因此，需要用社會實驗來探索既可以鼓勵人工智能領域的應用創新，又能規避不良風險的新方法，研究人工智能技術應用于未成年人的綜合影響，通過精準識別人工智能應用過程中的風險挑戰，不斷完善社會實驗的方法體系和善治路徑，提升向善監管的科學化、智能化水平。

三、面向未成年人的人工智能應用監管技術

規范框架

根據歐盟人工智能高級專家組（人工智能HLEG）發布的《可信賴人工智能倫理準則》報告，強調人工智能在應用中的核心的基本權利，堅持人類尊嚴、非歧視等價值觀，支持數據保護和隱私權等權益。面向未成年人的人工智能應用監管更需要堅持以未成年人的能力和人性化發展為目的，建立可信賴的應用。因此，人工智能應用監管本質上首先應當考慮尊重人類的自主性為核心技術原則，提升未成年人的能動性和監督機制；其次，在建設面向未成年人的可信賴人工智能應用監管過程中，應當遵循可解釋原則，使得數據和決策過程透明，確保人工智能應用的決策過程是可信賴的；再次，堅持預防傷害原則，保證人工智能應用在未成年人的使用過程中是安全可靠的，支持數據保護和隱私權等權益；最后，能夠堅持公平原則，確保人工智能應用“有道德、可信賴”。面向未成年人的人工智能應用監管技術規范框架如圖2所示。

（一）面向未成年人的人工智能應用監管內涵

面向未成年人的人工智能應用監管主要針對未成年人的人工智能應用場景進行監督和管理。其主要目標是保護可能受到傷害的未成年人，確保其在使用人工智能應用過程中的安全。主要途徑是針對未成年人的特征，建立可信賴的人工智能應用監管框架，對應用中潛在的風險進行識別，完善相應的安全倫理準則和制度，保障未成年人與人工智能技術的安全發展。面向未成年人的人工智能應用監管具有高安全性、多樣性和動態性特征，可以從以人為本、高安全和可信賴三個視角來理解其監管的內涵。其一，由于面向對象為未成年人，堅持以人為本的人工智能監管的內涵，需要人工智能應用能夠支持未成年人的能動性與自主性，避免用戶過度依賴而影響其自主性。其二，高安全的監管策略是推動可信賴人工智能應用監管的重要保障，要求人工智能系統在開發時采用預防風險的方法，確保其行為可靠且符合預期，同時盡量減少或防止外在傷害的發生。其三，可信賴人工智能應用監管的微觀基礎是決策可信賴和影響可信賴，也就是人工智能應用既能保障數據和過程的透明，又能產生非歧視和公平的結果，使得人工智能應用成為真正“有道德”的應用。

（二）面向未成年人的人工智能應用監管技術原則

為保障面向未成年人的人工智能應用監管的成效，在制定監管技術原則時，可以從以下四個方面開展：第一，尊重人類自主原則。即需要考慮人工智能應用是否限制了未成年人的能動性，是否為迎合未成年人的需求而造成“同質化問題”，是否能夠控制人工智能的使用時間和方式。第二，可解釋原則。是指人工智能以一種可解釋的人機互動方式進行交流溝通，以取得用戶的信任，同時滿足決策監管的要求。通過可解釋技術，增強人機交互與溝通，建立和維持用戶對人工智能系統的信任。第三，預防傷害原則。在算法的應用過程中會有不確定性的衡量邊界，在人工智能應用的設計階段，應當仔細檢測和考慮人工智能應用可能對未成年的影響，需要根據未成年人的特點設計應用的邊界，尊重未成年人的隱私和情感需求，保護未成年人的身心健康。第四，公平原則。在人工智能應用的監管過程中，不應該依賴于倫理和社會后果的事后審計，需要在算法的設計、應用程序開發過程中融入相關因素，保障過程和結果的非歧視性和公平性。

（三）面向未成年人的人工智能應用監管組成要素

為實現面向未成年人的可信賴人工智能應用監管，必須要在整個人工智能系統生命周期內實現包容性和多樣性。監管的組成要素是安全監管過程中需要特別研究的對象。當前面向未成年人的人工智能應用監管可以從四個組成要素來理解和建立可信賴的體系。

第一，未成年人的能動性監管。人工智能發展的目標是更好地“為人服務”，面向未成年人的人工智能應用發展的目的是“育人為本”。然而，在實際的人工智能應用中，人作為技術的使用者，也是數據的生產者，更是技術的同化對象。教育的“育人為本”與人工智能的“為人服務”二者關系是統一的，面向未成年人的人工智能應用更應該考慮到未成年人的“發展”過程，防止陷入技術、算法為中心的服務中，使得未成年人在長期使用中逐步失去能動性和主動思考能力，趨向于機器“同化”。基于此，在面向未成年人的人工智能應用監管中，一方面，要重視未成年人的特征，堅持以未成年人的能動性為中心，遵循人本主義理念，“人類要監督人工智能決策機制設計”“人類要參與人工智能決策”“人類要完全掌握命令權”；另一方面，也需要注重發展未成年人天然創造力的優勢，以保障和維護未成年人的基本權利、塑造正確的價值觀和道德觀、關注未成年人的身心健康為原則，發展面向未成年人的人工智能應用，同時提升算法的多樣性、公平性、可解釋性以及安全性等。

第二，面向未成年人應用中的數據和決策過程監管。由于人工智能算法存在“黑匣子”問題，即技術的決策過程不透明，結果不具備可解釋性。這種情況下，針對未成年人的應用決策過程不可追溯，人對于系統的信任度就會大大降低。在面向未成年人的人工智能應用監管中，對于模型的可解釋組成要素需要有更高的技術指標，例如，性能監測指標、數據質量指標、決策結果指標等來避免偏差的存在，避免對未成年人的生活產生不可逆的嚴重后果。在數據和決策過程透明化中，可解釋性、可溝通和可追溯性是實現透明決策的具體舉措。可解釋性要求人工智能算法在推理中能夠進行事前解釋、事后解釋和因果解釋。對于不可解釋的深度算法模型，能夠通過事后解釋來解析決策的機制和過程。對于決策的結果能夠分析其真實的因果關系，而不僅僅是數據之間的關聯特征。

第三，智能技術的穩健性、安全性監管。對于面向未成年人的人工智能系統而言，不僅需要確保技術的穩健可靠，更應當確保其安全性。這就要求人工智能系統在開發時采用預防風險的方法，確保其行為可靠且符合預期，同時盡量減少并防止意外傷害的發生，避免對未成年人產生不可逆的影響。通過設置安全的監管方法和措施避免學生受到潛在傷害。例如，建立持續不斷的測量和評估體系，制定相應的回退策略，保證智能技術的可靠性和可重現性。

第四，人工智能應用的倫理監管。由于人工智能應用的服務對象是未成年人，根據其道德發展理論，未成年人處在道德發展的習俗水平，正從尋求認可定向階段向維護權威或秩序的道德定向階段轉型，是一個人的道德水平發展與道德觀形成的關鍵時期，在這個過程中，倘若作為輔助工具的人工智能沒有安全倫理方面的相關規范與約束，就很可能無意識地為未成年人帶來風險。因此，需要在監管過程中，建立可問責機制，增加人工智能應用的非歧視性和公平性約束，避免系統存在偏見、歧視或者不良影響，減輕潛在風險的傷害。

四、面向未成年人的人工智能應用監管

善治路徑

人工智能應用監管是人工智能技術規范中與用戶最緊密相連的環節。當前，卻并未有明確的人工智能應用監管善治路徑，人工智能應用監管仍面臨著不確定性、監管基礎薄弱、機遇與風險并存等監管難題，特別是在面向未成年人的人工智能應用監管方面，仍然面臨著諸如監管現狀模糊不清、監管內容不明確的現實難題。因此，需從理論和實踐的視角，系統性地完善人工智能應用監管路徑，破解人工智能監管方面的難題，保證人工智能向善賦能未成年人。文章嘗試構建了面向未成年人的人工智能應用監管與善治路徑，如圖3所示。包括構建以未成年人為中心的人工智能應用評估和監管技術體系、探索應用場景，提升場景并多樣化監測能力、完善面向未成年人的人工智能應用監管制度、參與面向未成年人的人工智能應用監管國際規則制定、開展面向未成年人的人工智能應用監管社會實驗研究五個方面。

（一）構建以未成年人為中心的人工智能應用監管技術體系

“以未成年人為中心”是面向未成年人的人工智能應用監管的核心要求，需從多個維度對介入未成年人的人工智能技術進行監管。可從數據集、工具集、評測檢測平臺三方面入手，構建面向未成年人的人工智能應用監管的信息模型。

1. 數據集

在教育領域中，智能技術已經涉及了未成年人群體，在帶來便利的同時，也帶來了諸多風險。而數據是人工智能的基礎，人工智能的質量取決于對其訓練所使用的數據，因此，數據質量監管刻不容緩[30]。教育大數據中的絕大部分數據是非結構化數據或者半結構化數據，數據類型多樣，存在采集到殘缺、虛假、過時數據的可能。因此，需要圍繞數據采集、數據預處理、數據標注等關鍵環節開展面向未成年人的數據質量監管。以可測量指標為主，以不可測量等觀察指標為輔，從數據的完整性、一致性等方面對未成年人數據進行全面管理和監控，做到事前質量檢查、事中運行監控、事后歸納總結，最終形成相對完整、規范、準確、及時的標準數據集。

2. 工具集

開發具有一定技術規范的人工智能應用評測工具，有效監管人工智能應用的規約性。在針對未成年人人工智能算法評測中，不僅要評測算法本身的有效性，同時要從多維度出發對面向未成年人的人工智能應用質量進行監管，包括對智能算法的有效度評測、社會性評測和倫理評測等。有效度評測指的是使用傳統的算法評測指標對算法的精確度、準確性等性能指標進行的評測，是算法評測的基礎環節[31]；社會性評測將人的發展性評價指標引入算法評測中，指算法是否能促進未成年人道德、情感、素養等社會屬性的全面健康發展；倫理評測從隱藏在算法背后的人工智能哲學問題進行評測[32]，包括安全性評測、隱私性評測、公平性評測、可解釋性評測等。從三個維度出發，形成人工智能應用監管工具集，通過全面監管，產生合乎規范設計的未成年人人工智能應用產品，降低未成年人在使用技術的過程中產生的風險。

3. 評測監測平臺

建設面向未成年人人工智能應用評測監測平臺，集質量評測平臺與檢測平臺一體化。評測監測平臺的主要目的是實現面向未成年人的人工智能應用評測信息化和自動化。以人工智能技術等新興技術為底層支撐，在信息安全和隱私保護合規性框架下，能夠針對面向未成年人的特定應用場景，依托標準規范完成對各類人工智能應用的全面監測處理。采用數據驅動的方式監管未成年人使用人工智能產品的情況，通過監控應用數據的采集、分析過程以及決策結果，了解未成年人使用人工智能產品過程中的認知、情感情況，確定人工智能技術是否會對未成年人的日常行為和心理健康產生影響。同時，基于數據分析結果，反向監管人工智能產品的設計和開發過程，確保人工智能產品適合未成年人需求。平臺的搭建也可以同時考慮當前的監管需求和融入已有的技術架構[33]。聯合既有的學生監管平臺和家長守護平臺，建立“一站式”的未成年人人工智能應用評測監測平臺，既能對面向未成年人的人工智能應用進行評測和監測，也能監管未成年人的使用情況，并便于監護人更深層介入，對未成年人的智能產品使用進行個性化管理。

（二）探索應用場景并提升場景多樣化監測能力

隨著新一代人工智能技術的不斷進步，傳統的教育手段正逐漸向信息化、智能化方向轉型[34]。當前應該搶抓機遇，積極發揮智能技術在促進教育公平、提升教育質量中的作用，不斷探索智能技術的教育應用場景，推動其與教育教學深度融合，為建設高質量的教育體系夯實基礎。

人工智能在教育中的應用為教育形態帶來了變革[35]。隨著智能技術在教育領域的應用不斷深入，人工智能在教育中的應用場景已經從單點轉換為多元化的應用場景。人工智能技術圍繞教育實際需求，創新教育數字化核心場景，打造出一條“教、學、研、評、管”閉環鏈條。但是，隨著人工智能教育應用場景的不斷拓展，在多元化海量驗證過程中不斷反映出應用產品和服務固有的技術缺陷，也持續暴露出政策法律、倫理輿情與市場反饋等社會性風險。這些在教育領域中的技術缺陷和風險將會給不同教育主體帶來不可預估的影響，特別是面向心智尚未成熟、世界觀尚未穩定的未成年人。因此，人工智能在教育場景中的應用需要有相應的評測、監管支持，從評測、管控視角廓清人工智能應用的風險邊界，提升場景多樣化評測能力，檢測、定位、排查因智能技術的引入給教育帶來的風險，為未成年人提供健康的成長環境。

（三）完善面向未成年人的人工智能應用監管制度

人工智能應用在給教育發展注入新動能的同時，技術不合理應用導致的問題也深刻影響著未成年人的教育。未成年人保護一直是社會關注的重點。頒布完善且具有針對性的人工智能應用監管規章制度，是防范安全風險的需要，也是提升技術監管能力水平、促進未成年人健康發展的需要。

1. 企業監管制度

應加強對企業的監督和風險控制，構建集中統一、全面覆蓋、權威高效的企業審計監督體系。督促企業按照審計監督制度的要求，認真組織做好內部審計工作，在開發面向未成年人的人工智能應用產品時，能夠做到及時發現問題，明確責任，防范和化解風險，提高產品開發的質量，從源頭啟動人工智能應用監管。

2. 第三方檢測準入制度

第三方測評機構在人工智能應用評測中扮演著重要角色。確保第三方測評平臺的獨立、公正、科學和專業是非常重要的。如果測評結果存在利益沖突等問題，會對人工智能應用的知情權和選擇權造成侵害。因此，需要對第三方測評平臺進行嚴格的監管，確保其評測結果的獨立性和公正性。同時，有必要對人工智能應用評測進行法治化的系統治理，夯實企業主體責任，強化責任追究，彰顯法律引領威懾和懲戒的重要作用。特別是要針對面向未成年人的智能應用，建立專門的第三方倫理、安全評估機構和監管機構，實行標準統一的準入制度。完善市場準入效能評估指標，穩步開展準入效能評估，確保人工智能應用的安全性和合規性。

3. 未成年人線上監管制度

使用互聯網及其各種服務是未成年人的基本權利，也是未成年人成長過程中能夠更好地參與社會生活的必要前提。保護未成年人，尤其是學齡前未成年人的網絡權益，不是限制，更不是剝奪未成年人使用互聯網的權利和自由，而是讓其養成良好的使用互聯網的習慣，不斷提升與自己的年齡相適應的媒介素養。因此，政府在出臺相關政策的過程中，一定要注意用規則限制商業訴求對未成年人造成的不良影響，一定要通過設置更加有建設性的未成年人技術使用模式等，限制容易使未成年人上癮并有可能形成病態技術使用習慣的應用開發和運營。

（四）參與面向未成年人的人工智能應用監管國際規則制定

隨著人工智能技術的快速發展及其應用領域的不斷擴大，國際社會越來越關注人工智能應用的影響和潛在風險。為了規范人工智能技術的合理應用，特別是保護未成年人的權益和安全，國際社會需要制定統一的監管規則。當前，各國政府和組織已經推出一系列人工智能應用監管條例。例如，歐盟提出的監管條款指出，為保障人們的安全和正當權利不受損害，高風險的人工智能應用應被禁止或受到限制[36]。我國國家互聯網信息辦公室也聯合多部門發布了《互聯網信息服務算法推薦管理規定》，明確表示對算法推薦類人工智能技術進行合理監管[37]。

在這個背景下，參與面向未成年人的人工智能應用監管國際規則制定，已經成為各國政府和組織共同關注的議題。因此，我國應當積極參與未成年人的人工智能應用監管國際規則的制定，深入研究國際社會對人工智能應用監管的經驗和做法，結合我國未成年人特征，分析各國監管模式的優缺點和適用情況，為我國制定監管規則提供參考；積極參與國際標準制定，爭取在國際標準制定過程中發揮積極作用，推動人工智能應用監管標準的國際化和標準化；應加強國際合作和交流，促進各國在未成年人的人工智能應用監管方面的協調和配合，共同應對人工智能應用監管面臨的各種挑戰和困難，推動人工智能應用監管國際化、標準化、協同化發展。通過國際監管規則的制定，以期在鼓勵智能技術創新應用與保護未成年人的健康發展之間找到合理的平衡點，達到共贏的目標。

（五）開展面向未成年人的人工智能應用監管社會實驗研究

面向未成年人的人工智能應用監管機制的構建和推行也是一個有待解決的問題。監管機制如何合理有效地推行需要進一步探究。因此，需要開展面向未成年人的人工智能應用監管社會實驗研究，使未成年人的人工智能應用監管從理論規劃走向現實[38]。

首先，要建立教育數字化轉型試驗區，評估面向未成年人的人工智能應用反饋。發現人工智能教育工具對未成年人的潛在威脅，進而針對潛在風險設計開發適用場景下的人工智能應用監管工具，從最大范圍內減少人工智能工具對青少年的負面影響。需要注意的是，針對龐大的未成年人群體和不斷涌現的人工智能技術及其應用模式的更新，單一的監管工具難以實現全面的監管，必須加強監管手段和方法的創新，以多元化監管方式為不同的應用場景選取最合適的監管工具，最大程度地提升監管效能。

其次，聯合企業進一步開展監管工具嵌入后的人工智能應用運營服務監管工作。通過構建人工智能應用監管社會實驗體系，結合人工智能技術影響下的社會實驗新特點，圍繞數據、技術和政策三個要素，從研究介入和效果產生的“安全性”角度，一方面，營造“無威脅”的智能教育社會實驗場景，另一方面，從人工智能工具評級、使用規范、科學引導和優化支出等方面形成原創理論體系。同時聚焦人工智能技術與監管工具的聯合應用場景，設計開展一系列面向未成年人的人工智能應用監管社會實驗，評估迭代反饋。進一步研究監管工具嵌入后，人工智能應用的運行模式對未成年人的使用習慣等產生的影響，是否能規避或減輕智能教育工具給未成年人帶來的風險等。通過持續的跟蹤調查社會實驗，形成面向未成年人的人工智能應用監管理論體系，制定人工智能工具引入未成年人教育領域的引導性評級，推動相關法律法規的形成。

五、結? ?語

人工智能應用深刻影響著未成年人的生活、學習等方面，然而，未成年人正處于身心發展、價值觀形成的階段，技術的發展如果不加以監管，將會帶來諸多安全倫理問題。文章首先對未成年人使用人工智能應用的風險與監管挑戰進行分析，明確了為未成年人提供安全可靠的人工智能應用輔助工具的重要性和迫切性；其次，對面向未成年人的人工智能應用監管框架進行界定，創造良好的環境作為保障目標；最后，通過探索面向未成年人的人工智能應用監管善治路徑，提出從以未成年人為中心的人工智能應用監管技術體系構建框架、探索提升場景多樣化評測機制、完善面向未成年人的人工智能應用監管制度、參與面向未成年人的人工智能應用監管國際規則制定、開展面向未成年人的人工智能應用監管社會實驗研究的善治路徑。明確了未成年人人工智能應用監管的關鍵要素和指標，保障未成年人在倫理監管的框架下得到健康發展。

[參考文獻]

[1] 胡凡剛，孟志遠，龐茗月，等. 基于歐盟人工智能倫理準則的教育虛擬社區倫理：規范構建與作用機制[J]. 遠程教育雜志，2019， 37（6）： 41-49.

[2] 曠視.《人工智能應用準則》倡導AI技術健康可持續發展[J]. 黑龍江紡織，2019，153（3）：38.

[3] 陳凡，賈璐萌.技術控制困境的倫理分析——解決科林格里奇困境的倫理進路[J].大連理工大學學報（社會科學版），2016，37（1）： 77-82.

[4] 顧小清.當現實逼近想象：人工智能時代預見未來教育研究[J].開放教育研究，2021，27（1）：4-12.

[5] 祝智庭，韓中美，黃昌勤. 教育人工智能（eAI）：人本人工智能的新范式[J].電化教育研究，2021，42（1）：5-15.

[6] 劉三女牙，孫建文.人工智能時代的課堂創變：解構與重構[J]. 國家教育行政學院學報，2021，285（9）： 16-22.

[7] 李曉巖，張家年，王丹. 人工智能教育應用倫理研究論綱[J].開放教育研究，2021，27（3）：29-36.

[8] 岳平，苗越. 社會治理：人工智能時代算法偏見的問題與規制[J]. 上海大學學報（社會科學版），2021，38（6）：1-11.

[9] 彭蘭. 算法社會的“囚徒”風險[J]. 全球傳媒學刊，2021，8（1）： 3-18.

[10] 王錚，曾薩，安金肖，黃菁茹. 歐盟《一般數據保護條例》指導下的數據保護官制度解析與啟示[J].圖書與情報，2018（5）：119-125.

[11] 國家新一代人工智能治理專業委員會.《新一代人工智能倫理規范》發布[J].機器人技術與應用，2021，203（5）：1-2.

[12] 北京智源人工智能研究院《面向兒童的人工智能北京共識》發布[J]. 中小學信息技術教育，2020（10）：6.

[13] 陳浩，鄭如月.近十年國內人工智能教育倫理可視化分析[J]. 教育信息技術，2022（3）：64-68.

[14] 田賢鵬. 隱私保護與開放共享：人工智能時代的教育數據治理變革[J].電化教育研究，2020，41（5）：33-38.

[15] 尹敏.人工智能應用中的隱私保護問題研究[D].山東：山東科技大學，2020.

[16] 茍學珍.智能時代教育數據安全的倫理規約簡論[J]. 電化教育研究，2021， 42（9）： 35-40.

[17] 郭利強，謝山莉. 融入AI的數字教材編制：倫理審視與風險化解[J].遠程教育雜志，2021，39（4）：104-112.

[18] 王旦，張熙，侯浩翔. 智能時代的教育倫理風險及應然向度[J].教育研究與實驗，2021（4）：34-39.

[19] 胡小勇，孫碩，楊文杰，丁格瑩.人工智能賦能教育高質量發展：需求、愿景與路徑[J].現代教育技術，2022，32（1）：5-15.

[20] 顧小清，李世瑾，李睿. 人工智能創新應用的國際視野——美國NSF人工智能研究所的前瞻進展與未來教育展望[J].中國遠程教育，2021（12）： 1-9，76.

[21] 李子運.人工智能賦能教育的倫理思考[J].中國電化教育，2021（11）：39-45.

[22] 張立國，劉曉琳，常家碩.人工智能教育倫理問題及其規約[J].電化教育研究，2021，42（8）：5-11.

[23] 張娜，候靜怡，賀威，劉家煒.中小學人工智能應用的倫理教育研究[J].中國教育信息化，2021，506（23）：49-52.

[24] 崔志根.人工智能倫理困境及其破解[D].北京：北京郵電大學，2021.

[25] 鄧國民，李梅.教育人工智能倫理問題與倫理原則探討[J]. 電化教育研究，2020，41（6）：39-45.

[26] 趙磊磊，吳小凡，趙可云.責任倫理：教育人工智能風險治理的時代訴求[J].電化教育研究，2022，43（6）： 32-38.

[27] 沈苑，汪瓊.人工智能在教育中應用的倫理考量——從教育視角解讀歐盟《可信賴的人工智能倫理準則》[J]. 北京大學教育評論，2019，17（4）：18-34，184.

[28] 苗逢春. 教育人工智能倫理的解析與治理——《人工智能倫理問題建議書》的教育解讀[J].中國電化教育，2022（6）：22-36.

[29] 中共中央辦公廳，國務院辦公廳.關于加強科技倫理治理的意見[J].中華人民共和國國務院公報，2022，1765（10）：5-8.

[30] 崔鐵軍，李莎莎.人工系統中數據—因素—算力—算法作用及相互關系研究[J].智能系統學報，2022，17（4）：772-779.

[31] 謝躍. 基于語音的言語置信度評測算法研究[D].南京：東南大學，2019.

[32] 孟天廣，李珍珍. 治理算法：算法風險的倫理原則及其治理邏輯[J].學術論壇，2022，45（1）：9-20.

[33] 曾馨花.基于云平臺的人工智能檢測平臺應用研究[J]. 中國測試，2021，47（10）：170.

[34] 馬陸亭.教育要主動助力新一代人工智能發展[J].師資建設，2019（7）：16-19.

[35] 祝智庭，胡姣.教育數字化轉型的理論框架[J].中國教育學刊，2022（4）：41-49.

[36] 吳沈括，胡然.歐盟委員會2021年《人工智能法》提案研究[J].中國審判，2021（9）：4.

[37] 國家互聯網信息辦公室.互聯網信息服務算法推薦管理規定[J].中華人民共和國國務院公報，2022（9）：71-75.

[38] 呂明杰，王平，魏闕.從“智能社會治理實驗”的視角解讀數字化改革[J].信息化建設，2022（1）：20-21.

Artificial Intelligence for Good： An Exploration of the Supervision of Artificial Intelligence Application for Minors

—Research on Technical Specifications of Artificial Intelligence for Minors （3）

NI Qin1，? HE Liang2，? WANG Yingying2，? BAI Qingchun3，? WU Yonghe4

（1.Education Big Data and Education Decision Lab， Shanghai Normal University，Shanghai 200234;

2.Shanghai Institute of Intelligent Education， East China Normal University， Shanghai 200062；

3.Shanghai Engineering and Technology Research Center of Open and Distance Education， Shanghai Open University， Shanghai 200433； 4.Department of Educational Information Technology， East China Normal University， Shanghai 200062）

[Abstract] The harmonious symbiosis between artificial intelligence （AI） application and minors is an urgent task at present. As minors are in the critical period of cognitive and psychological development， they need more supervision and attention during their growth and development. In view of the risks and challenges in the current supervision of AI applications， this paper starts from the top-level design of the supervision framework of AI application for minors， and puts forward a path of good governance for the supervision of AI applications for minors. The top-level design of the supervision framework focuses on respecting human autonomy， improving the initiative of minors and optimizing the supervision mechanism， including the connotation of supervision， technical principles and components. The path of good supervision and governance starts from the construction of "minor-centered" evaluation and supervision technology， explores the improvement of diversified evaluation mechanisms for scenarios， improves the supervision system of AI application for minors， participates in the formulation of international rules for the supervision of AI application for minors， and carries out social experimental research on the supervision of AI application for minors. Through the construction of the research framework and the implementation path of good governance， it is expected to provide useful reference for the technical specifications of artificial intelligence for minors.

[Keywords]? Artificial Intelligence; Application Supervision; Minors; Safety Ethics

基金項目：2021年度國家社科基金重大項目“面向未成年人的人工智能技術規范研究”（項目編號：21&ZD328）；2022年度國家自然科學基金青年基金“基于深度強化學習的自適應學習路徑推薦研究”（項目編號：6210020445）