以未成年人為中心的人工智能何以實現？*——基于“兒童人工智能”項目的思考

郭勝男 吳永和

以未成年人為中心的人工智能何以實現？*——基于“兒童人工智能”項目的思考

郭勝男 吳永和[通訊作者]

（華東師范大學 教育信息技術學系，上海 200062）

在AI技術促進數字化轉型的時代，未成年人正面臨著以ChatGPT為代表的生成式AI帶來的風險和挑戰。當前，AI治理戰略中對未成年人的關注僅提及了教育資源和健康資源，而鮮少就未成年人的成長和數字權益展開討論。基于此，文章首先分析了發展以未成年人為中心的AI驅動因素。之后，圍繞聯合國兒童基金會與其他國際組織合作展開的“兒童人工智能”項目，文章系統梳理了以未成年人為中心的AI國際行動和實踐方向，以深度剖析AI技術如何保護、支持和賦能兒童。最后，文章基于人本主義理論，從技術、倫理、未成年人三個維度出發，提出了我國發展以未成年人為中心的AI新路徑，包括鼓勵參與式設計、堅持倫理化治理、優化數字教育環境等。文章旨在維護未成年人的數字權益，并培養未成年人適應未來數字世界的能力，以驅動教育數字化轉型的持續推進。

人工智能；以未成年人為中心；AI治理；數字化轉型；人本主義

引言

在數字化轉型背景下，以人工智能（Artificial Intelligence，AI）為“頭雁”的數字技術給社會大環境和人類的生產生活帶來了重大變革。2022年底，美國OpenAI公司發布對話式大型語言模型ChatGPT（Chat Generative Pre-trained Transformer），引燃了新一輪AI革命[1]。事實上，以ChatGPT為代表的生成式AI，在一定程度上具備了語言理解、推理和自我學習的能力，AI技術由此進入“能思考會理解”的認知智能階段[2]。學界對“未成年人”的界定各有不同，如《兒童權利公約》認為兒童是指十八歲以下的任何人[3]，《中華人民共和國未成年人保護法》規定未成年人是指未滿十八周歲的公民[4]，世界經濟論壇（World Economic Forum，WEF）則將兒童和青少年均歸屬為身體和大腦尚在發育中的未成年人[5]。而在現階段，未成年人是在AI構筑的世界里成長起來的一代人，他們所獲取的教育資源越來越多地由AI應用程序主導[6]。因此，當ChatGPT、Watsonx等AI技術對教育數字化轉型產生沖擊時，未成年人也不可避免地會卷入新一輪AI變革的浪潮中。

綜合來看，現階段AI治理策略研究雖圍繞AI政策、倫理原則和問責制度達成了廣泛的社會共識，卻鮮少圍繞未成年人的成長和數字權益展開研究。2020年1月，聯合國兒童基金會（United Nations International Children’s Emergency Fund，UNICEF）在芬蘭政府的支持下，與IEEE標準協會、伯克曼克萊因互聯網與社會中心、世界經濟論壇、五權基金會等國際組織合作，推出了“兒童人工智能”（AI for Children）項目（下文簡稱“兒童AI項目”）。該項目通過設置全球論壇、政策指南、試點測試等模塊，致力于發展以兒童為中心的AI，了解AI如何保護、支持和賦能兒童。基于對此項目的思考，本研究以未滿十八歲的未成年群體（包括兒童和青少年）為對象，從人本主義視角探索我國發展以未成年人為中心的AI新路徑，以維護未成年人的數字權益，培養其適應數字社會的能力，進而為推進教育數字化轉型提供新思路。

一 發展以未成年人為中心的AI驅動因素

1 AI技術給未成年人帶來的挑戰

AI技術的廣泛應用，正潛移默化地過濾著未成年人所獲得的信息和服務，給未成年人的成長和發展帶來挑戰：①“數字鴻溝”進一步擴大。“數字鴻溝”是社會不公平在數字時代的一種反映。由于信息本身具有離散性，這對未成年人獲取、掌握、運用信息的相關能力提出了更高要求，使得未成年人在理解、適應、使用AI設備和培養自身素養與技能方面存在不足，淪為“數字弱勢群體”。另外，發達地區與不發達地區的數字化基礎設施建設存在地域差異，貧困地區的未成年人在數字世界中往往處于不利地位。“數字鴻溝”的進一步擴大，會導致不同區域的未成年人在獲得AI服務方面的差異更加顯著。②未成年人的隱私安全問題。隨著數字技術的發展，隱私的概念和內涵不斷迭代，其邊界越來越模糊，正如哲學家Tavani所言：“隱私是一個既不清楚理解也不容易定義的概念。”[7]未成年人可能不理解隱私的概念，也不具備隱私保護意識，在與AI互動時容易過多地泄露個人信息，從而加大了隱私侵害的風險。此外，未成年人隱私信息的泄露不僅侵害隱私權，還可能帶來人身安全、財產安全、被定位追蹤等安全威脅。③自動化決策的偏見和歧視影響了AI服務的公平性。現有AI系統的設計未能充分考慮未成年人的需求與權益，倘若用于訓練AI系統的數據不能充分反映未成年人的特征，那么其決策可能會對他們產生偏見。對未成年人來說，不具有代表性、有缺陷或有偏見的訓練數據和盲目使用的決策結果，均會導致AI自動化決策結果出現偏差，無法讓每位未成年人公平地獲得并享有AI服務。

2 人本主義理論的內在價值驅動

“以人為中心”（Human-centered）是人本主義理論的內在價值體現。人本主義理論強調“人”是哲學的出發點和歸宿，主張“以人為中心，保留本源問題”，要求尊重人的生命、情感、意志、本能的意義和價值。Rogers[8]提出“以學生為中心”的教學觀，強調學生的主體性和發展的全面性，給學生以尊嚴和自尊。Li等[9]將AI設計與人本主義理念相結合，形成了“以人為中心的人工智能”（Human-centered AI，HCAI）——HCAI將人類置于AI的核心，這代表了“第二次哥白尼革命”[10]。祝智庭等[11]強調，“人性為王”是未來教育的時代主題，無論AI技術如何發展，都應該以學習者為中心。同理，當AI的使用對象聚焦于未成年人時，HCAI便自然過渡成了“以未成年人為中心”的AI，進行AI的設計與應用時也就理應重視未成年人在認知、情感、德性倫理等方面的需求，并以可靠、安全、可信賴的方式將這些需求放大，以提高未成年人的AI參與度，促進其全面且自由地發展。

3 面向未成年人的AI治理需求

隨著AI技術對社會各領域的滲透，世界各國紛紛圍繞隱私、問責制、安全和保障、透明度和可解釋性、公平和非歧視、人類控制和責任等主題制定治理框架、監管策略、倫理原則[12][13][14]。大多數國家的AI戰略和倫理原則在提及未成年人時限于教育、健康和隱私等方面，鮮少關注AI會如何影響他們的數字權益以及如何制定有針對性的治理策略。面向未成年人的AI治理需要充分考慮未成年人身體成長、心理認知和情感方面的需求，研制專門針對未成年人的AI倫理規范，為他們提供公平的教育環境，并保護他們免受歧視、獲得信息和社會參與的權利。例如，倪琴等[15]嘗試構建以未成年人為中心的AI監管原則與框架，以給未成年人提供安全、可信賴的AI系統；郭勝男等[16]分析了未成年人在生理、心理認知和情感、道德倫理方面的脆弱性，構建了面向未成年人的AI安全風險治理生態系統。如前所述，“以未成年人為中心”的AI將未成年人的發展訴求和權益表達放在首位，讓每位未成年人都能享受到AI帶來的社會福利，并賦予他們參與AI世界的能力。可見，“以未成年人為中心”滿足針對未成年人的AI治理需求。

二 以未成年人為中心的AI國際行動

1 國際行動概況

UNICEF項目組通過調研20個國家AI戰略中對兒童的看法，將兒童權益納入AI治理政策，以探索在不斷發展的AI世界中保護和維護兒童權益的策略。本研究基于對兒童AI項目相關資料的梳理與分析，將其主要內容概括為全球論壇、磋商過程、政策指南、試點測試四個模塊，如圖1所示。具體來說，兒童AI項目首先圍繞政策指南的制定與完善展開，通過一系列廣泛的調查、磋商與研討，起草“政策指南草案（1.0版）”，這被視作對以兒童為中心AI的初步貢獻。隨后，兒童AI項目不斷汲取AI領域和兒童權益領域專家及利益相關者的意見，為“政策指南（2.0版）”的優化提供了更全面的建議，其中以兒童為中心的AI九項要求是“政策指南（2.0版）”的重點內容。為了驗證政策指南的實踐效果，UNICEF項目組與不同的政府和企業團體合作，在8個試點進行了測試，為“政策指南（2.0版）”提供了豐富的區域實踐經驗與教訓。

圖1 兒童AI項目概況

2 國際行動過程

兒童AI項目的國際行動全程圍繞政策指南的初步制定（草案1.0版）和優化（2.0版）進行，這一過程展現了發展以兒童為中心AI的關鍵。“政策指南草案（1.0版）”是通過廣泛的磋商過程制定的，該過程包括一項全球調查、多個國家AI戰略審查、一系列AI和兒童權益的研討會：首先，UNICEF項目組面向全球調查AI系統如何影響兒童，之后對20多個國家的AI戰略與原則進行審查，最后重點圍繞以兒童為中心的政策指南草案展開研討，不斷協商并完善其內容，其中五次重要研討的主要內容如表1所示。在廣泛吸納各方建議與豐富實踐經驗的基礎上，“政策指南草案（1.0版）”不斷優化、調整相關內容，最終修訂成為“政策指南（2.0版）”。“政策指南（2.0版）”重在保障政府、私營部門AI政策和實踐中的兒童權益，并深化人們對如何維護這些數字權益的認識，其中的重點內容是以兒童為中心的AI九項要求，如表2所示。

表1 五次重要研討會的主要內容

三 以未成年人為中心的AI實踐方向

隨著AI技術在全球范圍的深度應用，各國AI治理策略和原則出現了明顯的“地域性”。為了驗證政策指南的實際應用效果，引導各國AI治理工作朝著“以兒童為中心”發展，UNICEF項目組與各國政府和企業合作，依托以兒童為中心的AI九項要求，推行了“試點測試”計劃。每個試點被整理成一個案例，其采取的方法、吸取的經驗教訓和收集的見解被用于豐富、完善政策指南。本研究通過對各案例的梳理和整合，將以未成年為中心的AI實踐方向概括為：

1 促進兒童AI的包容性設計

UNICEF政策指南強調，無論年齡、性別認同、地域和文化的多樣性如何，兒童都應該能夠使用AI產品或服務。包容性設計讓兒童、父母或監護人能夠參與AI的設計過程，以最大程度地滿足兒童的需求和權益，保證AI系統的公平性和非歧視性，這對發展負責任的AI至關重要。日本本田研究所和歐盟聯合研究中心在合作設計原型機器人Haru時，先考慮的是兒童的觀點和需求，通過讓兒童參與講故事的練習，了解他們如何看待AI伙伴的公平性，以指導將兒童權益融入到社交機器人中[17]；尼日利亞的Imisi 3D公司設計了虛擬現實游戲AutismVR，其游戲設計過程采用包容性的優化方法，通過對自閉癥患者兒童進行訪談和參與式測試，以父母為代理來征求兒童反饋，防止產生歧視和其他偏見[18]。可見，促進兒童AI的包容性設計可以最大化地保障兒童權益、滿足他們的需求，保護他們免受歧視和不公平的傷害。

表2 以兒童為中心的AI九項要求

2 鼓勵跨學科、跨領域合作與知識共享

AI技術創新給兒童帶來了諸多復雜影響，涉及心理安全、情感感知、隱私安全等倫理問題，僅用單一學科的知識和方法應對這些挑戰顯得捉襟見肘。AI本身是一個跨學科的交叉領域，大多數試點的實踐表明，只有開展跨學科、跨領域的知識共享，才能為發展以兒童為中心的AI提供更加廣泛的支持。例如，芬蘭的醫學專家、心理學家、心理健康專家、護士和AI工程師經過多年跨學科合作，開發了一款聊天機器人Mili，將芬蘭的年輕用戶與有用的心理健康信息聯系起來，為兒童群體提供量身定制的心理健康支持[19]；瑞典AI協會、隆德大學與赫爾辛堡、隆德、馬爾默三個城市展開跨領域和跨地域合作，協同評估如何將兒童AI項目的政策指南轉化為具體的AI實踐策略，以促進和發展以兒童為中心的AI[20]。

3 向兒童提供可解釋性和問責制

AI技術的快速發展，尤其是以ChatGPT為代表的生成式AI的出現，給兒童的認知和理解帶來了巨大沖擊。事實上，兒童往往無法準確、全面地了解其數字權益，也不太理解何為負責任的AI。為此，芬蘭的SomeBuddy公司開發了CrimeDetector系統，當兒童提交網絡欺凌、網絡成癮等事件時，該系統會使用自然語言處理自動分析這些事件，并通過人機交互為受影響的兒童提供量身定制的法律和心理指導，以深化兒童對人-機協同工作的認識，落實AI系統的透明度和問責制[21]；美國的“Hello Baby”倡議是一個AI驅動的兒童早期虐待預防計劃，使用行政管理系統中的算法模型來確定家庭需求，每個家庭在被告知并了解該計劃詳情的情況下可以自主選擇是否退出，這無疑提升了計劃執行的透明度和可解釋性。此外，“Hello Baby”團隊發布了兩項獨立的倫理審查，以避免出現問責不清和被動同意的情況[22]。

4 參與式研究與前瞻性預測

不同國家的社會文化和語言背景不盡相同，政策指南在具體的實施過程中可能會面臨“因地制宜”和“翻譯中的迷失”等挑戰。一方面，在文化背景不同和社會發展水平存在差異的地區，AI技術的發展及其給兒童帶來的影響有所不同；另一方面，在不同的AI倫理背景下，如何理解以兒童為中心的要求并將其應用于AI系統的設計和應用也存在巨大差距。為此，各試點采用參與式研究與前瞻性預測的方法，將政策要求因地制宜地應用于實踐。例如，艾倫·圖靈研究所更新和擴展了英國政府于2019年發布的《理解人工智能倫理和安全指南》[23]，通過探索兒童的興趣、關注點和當前對AI的理解，指導如何將以兒童為中心的AI要求轉化為可操作和負責任的保障措施；瑞典H&M集團的Responsible AI團隊采用虛構場景、風險監控、道德紅線等方法，以更好地預測并應對AI和數據驅動產品潛在的濫用問題[24]。

四 我國發展以未成年人為中心的AI新路徑

現階段，我國針對未成年人的AI治理側重于策略引導。例如，《面向兒童的人工智能北京共識》是我國首個針對兒童群體實施的AI細則，涵蓋了以兒童為中心、保護兒童權利、承擔責任、多方治理四大主題[25]；《人工智能倫理安全風險防范指引》僅強調要特別關注兒童、青少年等弱勢群體的個人基本權利，尚未提到具體的防范舉措[26]。事實上，我國面向未成年人的AI治理仍然存在缺乏理論指導、對未成年人權益的重視不足、實踐推進緩慢等問題。基于對前文AI驅動因素、AI國際行動和AI實踐方向的分析，本研究提出發展以未成年人為中心的AI的關鍵在于如何利用技術保障未成年人的主體地位、如何使AI治理合乎道德和倫理、如何培養個人參與AI數字世界的能力。在此基礎上，本研究以人本主義理念為指導，從技術、倫理、未成年人三個維度出發，提出了我國發展以未成年人為中心的AI新路徑（如圖2所示），以開發透明化、可解釋、可控的AI系統，維護未成年人的數字權益，并培養他們參與AI數字世界的能力。

1 鼓勵參與式設計，提升AI系統的可靠性

數字化轉型背景下的AI世界由成年人構筑，容易產生以成年人為中心的偏見，大多數AI技術都沒有考慮到未成年人。2021年，兒童AI項目組舉辦全球兒童論壇會，通過了解兒童對AI的不同看法和愿望，以及他們如何理解AI帶來的風險和機遇，將“兒童聲音”融入AI政策的制定過程[27]。可以說，未成年人參與AI系統的開發與設計，是保障未成年人主體地位的關鍵舉措，具體包括：①在AI系統開發之前，以未成年人作為主要需求分析對象，著重考慮他們的需要、態度和期望，并將之融入設計過程；②在AI系統設計過程中，采用讓所有未成年人受益的包容性設計，并通過應用更為廣泛的無偏見訓練數據集，使他們無論性別、年齡、能力如何均有獲得AI產品或服務的機會；③引入人因工效學設計，將AI設計與用戶體驗設計相結合，精心設計“一目了然”的界面來減少未成年人的認知負荷。值得注意的是，未成年人的推理、推斷和建立聯系的認知能力仍處于發展中，需基于心智模型，根據不同年齡組的理解水平設計提示語言，從而開發適齡化、可解釋和可理解的AI系統。可以說，確保未成年人參與AI系統的設計、開發和部署過程，不僅有助于開發透明化、可解釋、可控的AI系統，而且能更大程度地滿足他們的需求。

圖2 我國發展以未成年人為中心的AI新路徑

2 堅持倫理化治理，保障未成年人的數字權益

未成年人在生理、心理、情感、智力發展等方面相對弱勢，AI帶來的安全倫理、算法歧視、技術同化等問題在他們身上的表現尤為明顯。本研究通過汲取兒童AI項目經驗，堅持倫理化治理，保障未成年人的自主權、隱私權、享受非歧視等數字權益，具體的治理策略如下：①制度指導層面，全面調查我國AI系統在未成年群體中的應用現狀及其潛在的倫理風險，制定面向未成年人的倫理規范（包括AI技術倫理規范和應用倫理規范），保證數據的規范化流動，進而保護他們的隱私；②實踐層面，建立多方合作機制，整合AI工程師、心理和情感專家、家長及未成年人的觀點，建立面向未成年人的AI治理合作平臺，鼓勵共享治理經驗和方法，以有效開展跨領域、跨地域、跨學科的AI倫理治理。

3 優化數字教育環境，增進未成年人的AI社會參與

在AI時代，數字技術構筑的未來社會亟需高素質的AI人才。教育領域是人才培養的主要場域，而未成年人是被教育的主要對象。然而，當前的教育環境面臨信息化發展水平不均衡、AI教育內容有限等難題，這與教育環境和內容的數字化建設有很大關系。為了有效發揮AI技術對教育領域的賦能作用，教育工作者需要做出以下努力：①繼續完善教育數字化基礎設施，消除發達地區和不發達地區在信息獲取、技能學習、教育質量等方面存在的巨大差距，彌合“AI鴻溝”，使每位未成年人均能受益于AI技術，為他們提供公平的成長環境。②通過開展培養未成年人適應AI世界的教育計劃，在全國范圍內開展“AI掃盲計劃”，一方面幫助未成年人以適合其年齡、文化背景的方式，獲得AI概念和數據素養、基本的AI編程技能、理解AI倫理的態度和價值觀等；另一方面，引導未成年人明晰其作為AI用戶的權益，增強主動保護個人隱私與安全的意識，同時發展批判性思維、情商和技能。③通過提供免費的AI課程，培養教師、家長、監護人時刻關注未成年人生理、心理、情感、尊嚴、隱私等需求的AI意識。未成年人之“弱”，在于生理成長、心理認知、情感和倫理等方面的不完善，因此教師、家長、監護人有必要引導未成年人參與AI世界，并協助他們參與決策過程。可見，優化數字教育環境，彌合區域教育數字鴻溝，培養未成年人參與AI數字世界的能力，將成為推動以未成年人為中心的AI落地實踐的有效策略。

[1]焦建利.ChatGPT:學校教育的朋友還是敵人?[J].現代教育技術,2023,(4):5-15.

[2]郭勝男,吳永和.社會角色理論視域下的人工智能時代教師:困厄、歸因及澄明[J].電化教育研究,2022,(6):18-24、60.

[3]United Nations. Convention on the rights of the child[OL].

[4]新華社.中華人民共和國未成年人保護法[OL].

[5]World Economic Forum. Artificial intelligence for children: Parents and guardians[OL].

[6]UNICEF. AI for children[OL].

[7]Tavani H T. Privacy online[J]. SIGCAS Computers and Society, 1999,(4):11-19.

[8]Rogers C R. The foundations of the person-centered approach[OL].

[9]Li F-F, Etchemendy J. Introducing Stanford’s human-centered AI initiative[OL].

[10]Shneiderman B. Human-centered artificial intelligence: Three fresh ideas[J]. AIS Transactions on Human-Computer Interaction, 2020,(3):109-124.

[11]祝智庭,韓中美,黃昌勤.教育人工智能(eAI):人本人工智能的新范式[J].電化教育研究,2021,(1):5-15.

[12]Huq A Z. Racial equity in algorithmic criminal justice[J]. Duke Law Journal, 2019,(6):1043-1134.

[13]Leenes R, Palmerini E, Koops B J, et al. Regulatory challenges of robotics: Some guidelines for addressing legal and ethical issues[J]. Law, Innovation and Technology, 2017,(1):1-44.

[14]Taeihagh A. Governance of artificial intelligence[J]. Policy and Society, 2021,(2):137-157.

[15]倪琴,賀樑,王英英,等.人工智能向善:面向未成年人的人工智能應用監管探研——面向未成年人的人工智能技術規范研究(三)[J].電化教育研究,2023,(8):33-41.

[16]郭勝男,錢雨,吳慧娜,等.面向未成年人的AI安全風險:風險澄思、根源透析與治理進路[J].中國遠程教育,2023,(7):39-46.

[17][18][19][20][21][22][23][24]UNICEF. Pilot testing ‘policy guidance on AI for children’[OL].

[25]華凌.我國首個兒童人工智能發展原則《面向兒童的人工智能北京共識》發布[OL].

[26]全國信息安全標準化技術委員會秘書處.網絡安全標準實踐指南——人工智能倫理安全風險防范指引[OL].

[27]UNICEF. Adolescent perspectives on artificial intelligence[OL].< https://www.ictworks.org/wp-content/uploads/2021/03/adolescent-perspectives-artificial-intelligence.pdf>

How to Achieve Minor-Centered AI?——Based on the Reflection on “AI for Children” Project

GUO Sheng-nan WU Yong-he[Corresponding Author]

In the era of AI(artificial intelligence) technology driving digital transformation, minors are facing risks and challenges brought by generative AI represented by ChatGPT. At present, the focus on minors in AI governance strategies only mentions educational resources and health resources, with little discussion on their growth and digital rights. Based on this, the paper first analyzed the driving factors for the development of minor-centered AI. Subsequently, focuing on the “AI for Children” project launched by UNICE in cooperation with other international organizations, this paper systematically combed the international action and practice direction of minor-centred AI, and deeply expounded how AI technology protected, supported, and empowered children. Finally, based on the theory of humanism, this paper proposed a new path for the development of minor-centred AI in China, including encouraging participatory design, adhering to ethical governance, and optimizing the digital education environment. This paper aimed to protect minors’ digital rights and cultivate their ability to adapt to the future digital world, thereby driving the continuous advancement of educational digital transformation.

artificial intelligence; minor-centered; AI goverence; digital transformation; humanism

G40-057

A

1009—8097（2023）11—0029—09

10.3969/j.issn.1009-8097.2023.11.003

本文為2021年度國家社會科學基金重大項目“面向未成年人的人工智能技術規范研究”（項目編號：21&ZD328）的階段性研究成果。

郭勝男，在讀博士，研究方向為智能教育與學習分析，郵箱為Shining_guo123@163.com。

2023年6月14日

編輯：小米