AIGC視域下數(shù)字教育產(chǎn)品的四維風險矩陣與治理框架

——————————————————————————————————————————

摘要：數(shù)字教育是數(shù)字中國的重要組成部分。隨著生成式人工智能在教育領域的快速深入應用，數(shù)字教育產(chǎn)品已從教育APP、小程序、云平臺等成熟形態(tài)迅速衍生出大模型、虛擬機器人等創(chuàng)新形態(tài)。AIGC在為教育提供便捷的家校社聯(lián)系、多語種的流暢交互、高效率的閱讀批改等技術紅利的同時，仍然面臨資源質量良莠不齊、信息無序擴散、算法設計與人的認知發(fā)展弱關聯(lián)等挑戰(zhàn)。為此，亟需從社會定義范式和行為計算范式的雙重視角來構建一種貫通“數(shù)字資源—信息傳播—算法設計—認知評估”的四維風險矩陣，以定性和定量分析AIGC教育應用的潛在風險。同時亦需從“監(jiān)管者—開發(fā)者—使用者”的主體協(xié)同視角構建治理框架，通過行業(yè)應用準入審查和服務集群常態(tài)化測評的路徑來輸出決策支持和治理建議。該四維風險矩陣和治理架構可為政府監(jiān)管者、家校使用者和產(chǎn)品開發(fā)者推進AIGC良性應用生態(tài)提供重要參考。

關鍵詞：生成式人工智能；數(shù)字教育產(chǎn)品；風險矩陣；教育治理

中圖分類號：G434" "文獻標識碼：A" " 文章編號：1009-5195（2024）02-0012-08" doi10.3969/j.issn.1009-5195.2024.02.002

——————————————————————————————————————————

基金項目：2022年度國家重點研發(fā)計劃項目“互聯(lián)網(wǎng)教育應用的行為感知與風險監(jiān)測關鍵技術研究”（2022YFC3303500）；2022年度國家自然科學基金面上項目“基于領域適應算法的人機協(xié)作學習能力泛化關鍵技術研究”（62277002）。

作者簡介：童莉莉，博士，副教授，碩士生導師，北京師范大學教育學部，互聯(lián)網(wǎng)教育智能技術及應用國家工程研究中心（北京 100875）；曾佳、底穎，碩士研究生，北京師范大學教育學部（北京 100875）。

一、數(shù)字教育產(chǎn)品的新趨勢與新挑戰(zhàn)

2023年2月13日，第一屆世界數(shù)字教育大會在北京開幕，大會以“數(shù)字變革與教育未來”為主題，首次對“數(shù)字教育”的內涵、發(fā)展目標和路徑做了系統(tǒng)性闡述。數(shù)字教育正是在數(shù)字技術與教育深度融合的背景下產(chǎn)生的，其發(fā)展目標涵蓋6個方面：一是構建終身教育體系，二是改革人才培養(yǎng)模式，三是賦能教學與評測，四是支撐辦學與治理，五是創(chuàng)新管理與保障，六是注重隱私與安全（楊宗凱，2023）。而企業(yè)、機構、高校形成多級聯(lián)動，緊密圍繞數(shù)字技術的創(chuàng)新運用和數(shù)據(jù)的集成整合，開展基于大數(shù)據(jù)驅動、人工智能輔助的教育分析與決策，則是支撐好辦學與治理這一目標的重要行動。

當前，來自市場的統(tǒng)計數(shù)據(jù)顯示：2022年，我國在線教育、知識付費、在線閱讀、智慧教育、教育硬件等數(shù)字教育類產(chǎn)品用戶規(guī)模達到3.14億人，市場規(guī)模高達3620億元，增幅分別達到了5.36%和12.42%。國內僅教育類APP的數(shù)量就超過了15萬款。2023年GPT（Generative Pre-Trained Transformer，即生成式預訓練Transformer模型）火爆全球，百度的文心一言、抖音的云雀大模型、智譜AI的智譜清言等國內8家大模型產(chǎn)品成為新一代AIGC（AI-Generated Content，即人工智能生成內容）的弄潮者，其中也納含了多種數(shù)字教育應用內容（童莉莉，2024）。

通過運用大數(shù)據(jù)和人工智能等核心數(shù)字技術，智能學伴、AI助教等個性實用的新應用模塊正在演化成形態(tài)多樣的數(shù)字教育產(chǎn)品。表1呈現(xiàn)了提供教育服務的APP、小程序、教學云平臺、學科資源庫、大模型等不同類型的數(shù)字教育產(chǎn)品的使用功能、演化動因等，揭示了智能技術對數(shù)字教育產(chǎn)品的變革與影響。學科或藝術素養(yǎng)類的教育APP使得時時可學、處處可學成為可能，學習者也能接觸到比傳統(tǒng)面授課堂更寬廣的數(shù)字教育資源。班級小管家等小程序的使用，不僅有助于學校等組織較好地應對疫情等公共突發(fā)事件對學校正常教學帶來的挑戰(zhàn)，也有助于師生在實踐中提升其數(shù)字素養(yǎng)。2023年進入全球公共測試的國際國內大模型，更是讓人們體驗了其優(yōu)異的知識表現(xiàn)、流暢的語言交互和跨媒介輸出等多項技術紅利（何曼，2023）。

但是AIGC帶來的新挑戰(zhàn)亦不可回避。首先是數(shù)字教育資源的智能化呈現(xiàn)形式帶來的審核挑戰(zhàn)。傳統(tǒng)的靜態(tài)圖文類審核主要靠人工抽檢、用戶舉報＋部分關鍵字校驗，越來越多元化的音視頻和生成式內容的出現(xiàn)為審核帶來了前所未有的挑戰(zhàn)。其次是信息擴散的有序性受到?jīng)_擊。在AIGC技術的使用中，沒有明確劃分公有數(shù)據(jù)和專有數(shù)據(jù)的使用界限，使得數(shù)字教育產(chǎn)品中生成式內容的數(shù)據(jù)合規(guī)性、安全性、權屬產(chǎn)生問題，數(shù)據(jù)的有序擴散受阻。第三是認知智能中算法的教育屬性不夠顯著。從計算智能、感知智能再到認知智能的進階發(fā)展來看，AIGC已經(jīng)為人類社會打開了認知智能的大門。當前的AIGC落地方式主要包括直接使用通用大模型、運用Prompt提示工程、采用低秩自適應（Low-Rank Adaptation，LoRA）方法優(yōu)化模型等，這些算法設計理念能通過微調參數(shù)適應特定場景任務，但對育人規(guī)律和學習者認知特點的考量幾乎沒有體現(xiàn)，算法話語權在商業(yè)規(guī)則和教育規(guī)律之間面臨著多主體博弈。

二、AIGC的技術演進與風險產(chǎn)生機理

1.從PGC、UGC到AIGC的技術演進

隨著Web時代的變遷，互聯(lián)網(wǎng)上的內容生成模式已經(jīng)歷了從PGC（Professionally-Generated Content，即專業(yè)生成內容）到UGC（User-Generated Content，即用戶生成內容）再到AIGC的發(fā)展歷程。這正是技術與社會需求相互作用的產(chǎn)物。相較而言，PGC是由專業(yè)創(chuàng)作者創(chuàng)作的內容，注重專業(yè)性和深度，因而內容質量較高。Web2.0時期，UGC應運而生，強調用戶參與和互動，因而其內容的豐富度較高。Web3.0 時代，AIGC成為創(chuàng)新探索的引領方向，其強調利用自然語言處理和生成技術，融合PGC和UGC的優(yōu)點，旨在生成創(chuàng)作效率高且質量也高的內容（Qadir，2023）。表2深入剖析了三種不同的內容生成模式的技術和應用特點。

2.生成式人工智能的風險產(chǎn)生機理

與AIGC帶來的便利相對應的，是教育垂直領域中復雜多變的場景可能引發(fā)的應用風險。在已有的公開報道中，我們至少可以看到以下兩種風險產(chǎn)生機理：

第一，教育算法缺位引發(fā)的認知偏差風險。商業(yè)利益裹挾的算法設計可能傾向于僅向用戶推薦已經(jīng)熟悉的領域，而忽視了可能對其有益的多樣化內容，從而導致認知繭房效應。同時，算法設計者在內容生成設計時缺乏對學科內前序知識與接續(xù)內容足夠的參數(shù)設置，由此導致學習者難以建立學科知識體系間的正確關聯(lián)，從而影響其學科綜合能力的培養(yǎng)。此外，算法設計在未能充分理解學習者個體差異性（如學科興趣、學習風格、認知能力等）的前提下，更傾向于向學習者提供通用的教育內容，而無法滿足不同學習者的個性化需求，由此亦增加了教育不公平的風險。因此，在純商業(yè)算法導向和教育算法缺位的雙重加持下，數(shù)字教育資源體現(xiàn)出學科知識呈現(xiàn)片面化和供給不適配的弊端，無法促進學習者的全面發(fā)展和個性化發(fā)展。因而，在AIGC越來越多地應用于教育領域的過程中，由教育算法缺位引發(fā)的認知偏差風險亟需引起學界的高度重視。

第二，技術監(jiān)管滯后引發(fā)的信息無序擴散風險。AIGC更加智能化、實用化所依賴的三大要素是數(shù)據(jù)、算力、算法。這三類要素都在伴隨前沿技術快速迭代：數(shù)據(jù)標注技術和增強技術、基礎算力平臺和分布式訓練環(huán)境、算法模型建立和自動訓推技術等。教育數(shù)據(jù)包括個人屬性、家庭情況、學業(yè)成績、心理健康等多方面隱私信息，監(jiān)管技術的研發(fā)滯后可能會引發(fā)未成年學生的教育及成長類數(shù)據(jù)的無序公開、挖掘濫用、隱私泄露等不當情況。因此，加強數(shù)據(jù)歸集、算力統(tǒng)籌、算法開源等平臺和基礎能力建設，有效抑制形態(tài)多樣的數(shù)字教育產(chǎn)品中文本、圖像、語音、視頻等生成式內容在復雜網(wǎng)絡中的無序擴散風險，亦是當前學界和實踐領域的重要關切。

三、基于風險識別矩陣的治理體系設計

AIGC發(fā)展所仰賴的三要素（即數(shù)據(jù)、算力、算法）在教育領域垂直應用的風險可具象化為三類，分別是數(shù)字資源中的生成式數(shù)據(jù)風險、大算力支撐下的信息無序傳播風險和商業(yè)算法偏離育人目標。同時，數(shù)字教育產(chǎn)品的規(guī)模化應用亦使得傳統(tǒng)線下學習者評價需要向線上線下虛實融合的認知評估方向發(fā)展。有鑒于此，筆者將從“數(shù)字資源—信息傳播—算法設計—認知評估”四個維度來設計風險矩陣，以期為數(shù)字教育產(chǎn)品的規(guī)模化治理提供框架指導。

1.“數(shù)字資源—信息傳播—算法設計—認知評估”四維風險矩陣

2021年11月，《中華人民共和國個人信息保護法》正式施行（新華社，2021）。同一時期，國家互聯(lián)網(wǎng)信息辦公室等四部門聯(lián)合發(fā)布《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》，就生成合成類、個性化推送類、排序精選類、檢索過濾類、調度決策類等算法技術向用戶索取信息的具體要求進行了規(guī)范（國家互聯(lián)網(wǎng)信息辦公室等，2021）。2022年5月，教育部辦公廳印發(fā)《國家智慧教育平臺數(shù)字教育資源內容審核規(guī)范（試行）》，要求數(shù)字資源圍繞政治性、科學性、適用性和規(guī)范性，采用機器審核和人工審核相結合的方式，加強上線審查和更新復查（教育部辦公廳，2022）。2023年7月，國家互聯(lián)網(wǎng)信息辦公室、國家發(fā)展和改革委員會、教育部、科技部、工業(yè)和信息化部、公安部、國家廣播總局七部門聯(lián)合發(fā)布《生成式人工智能服務管理暫行辦法》，在通用領域和部分垂直領域利用生成式人工智能技術向中華人民共和國境內公眾提供生成文本、圖片、音頻、視頻等內容的服務作出規(guī)定（國家互聯(lián)網(wǎng)信息辦公室等，2023）。從已出臺的政策來看，諸多政策均已涉及對數(shù)字資源、信息傳播和算法設計的監(jiān)管約束。在此背景下，教育研究領域亟需針對教育垂直行業(yè)中基于數(shù)字化學習環(huán)境的線上線下融合的適應性認知評估開展理論研究和技術研發(fā)。

基于此，本文采用社會定義范式和行為計算范式相結合的設計思路，提出了“數(shù)字資源—信息傳播—算法設計—認知評估”四維風險矩陣。社會定義范式強調社會中各參與方在定義和塑造數(shù)字教育產(chǎn)品過程中的角色和影響，為治理體系提供了社會化的視角。行為計算范式強調將上述角色影響進行量化計算，用精準技術指標提升社會領域治理問題的科學化程度。本研究以社會定義范式指導研究的開發(fā)者、使用者、監(jiān)管者等群體建立交互關系，以行為計算范式指導研究的風險矩陣構建，以此來探求符合教育規(guī)律的數(shù)字教育產(chǎn)品的治理流程。

在社會定義范式下，“數(shù)字資源—信息傳播—算法設計—認知評估”四維風險矩陣闡明了當前數(shù)字教育產(chǎn)品存在的四重風險及其內涵。其一，數(shù)字資源類風險。此類風險主要是指數(shù)字教育產(chǎn)品中的教學資源（如靜態(tài)圖冊、動態(tài)音視頻和生成內容等）存在不符合國家法律法規(guī)、教育規(guī)范、學科標準等要求的情況，如有害信息、錯誤信息、重復信息等，其可能對學生的身心健康、價值觀、學習效果等造成不良影響。其二，信息傳播類風險。這類風險是指數(shù)字教育產(chǎn)品中涉及的個人信息傳播行為存在泄露、濫用、篡改等安全隱患，學習者基本信息或學情數(shù)據(jù)可能被不法分子或未授權方濫用于詐騙、虛假宣傳、廣告等方面（張黎等，2023）。其三，算法設計類風險。該類風險是指數(shù)字教育產(chǎn)品中使用的算法或人工智能技術存在不透明、不可解釋、歧視傾向等問題，未能體現(xiàn)育人導向，可能會對學生的學習行為、認知發(fā)展、個性形成等產(chǎn)生不可控的負面影響，或對教育公平、質量、效率等帶來潛在威脅（Fraser et al.，2004）。其四，認知評估類風險。這類風險是指數(shù)字教育產(chǎn)品提供的學習方式存在不適合學生年齡段、地域特色、認知特點等情況，可能會對學生的注意力、記憶力、思維力等造成損害，或導致學生出現(xiàn)過度依賴技術產(chǎn)品、缺乏創(chuàng)新等問題（Boninger et al.，2017）。

在行為計算范式下，“數(shù)字資源—信息傳播—算法設計—認知評估”四維風險矩陣還需從定性概念深化為定量指標。其中一級指標源于前文所述的教育部等部委出臺的規(guī)范和規(guī)定類文件，二級指標源于本文受資助的兩個國家級項目的前期循證調研，并以指標對應數(shù)據(jù)的可采集性為主要篩選原則來構建風險矩陣量化指標。具體的指標構成及風險示例如表3所示。

2.“監(jiān)管者—開發(fā)者—使用者”協(xié)同治理架構

從“數(shù)字資源—信息傳播—算法設計—認知評估”四維風險矩陣的量化指標中可以看出，使用者端和開發(fā)者端面臨大量的風險挑戰(zhàn)，傳統(tǒng)監(jiān)管手段或單一主體難以保障場景復雜、形式眾多的數(shù)字教育應用生態(tài)的健康良性發(fā)展（何偉光，2023）。有鑒于此，本研究提出一種“監(jiān)管者—開發(fā)者—使用者”協(xié)同治理架構，旨在由監(jiān)管者“事前—事中—事后”全周期推動治理進程，開發(fā)者參照標準研制新產(chǎn)品或者讓已有產(chǎn)品的運維接受常態(tài)化測評，使用者根據(jù)用戶端體驗反饋治理需求，并由三方共同推動數(shù)字教育產(chǎn)品良性治理生態(tài)的構建。

圖1為“監(jiān)管者—開發(fā)者—使用者”協(xié)同治理架構示意圖。該圖揭示了監(jiān)管者、開發(fā)者和使用者對數(shù)字教育產(chǎn)品進行協(xié)同治理需要經(jīng)歷如下三個階段。

階段一：行業(yè)應用準入審查。以監(jiān)管者為主體的方式實施，包括對小程序、Web端、APP等的存儲空間、動態(tài)更新、共享融通、可信安全等進行全面審查，以期實現(xiàn)對包括生成式內容在內的多源數(shù)據(jù)的結構化表示，讓算法設計更契合教育規(guī)律，并降低軟件跨域應用的不確定性風險。

階段二：服務集群常態(tài)化測評。以監(jiān)管者授權的第三方機構檢測、開發(fā)者自查和使用者監(jiān)督相結合的形式實施。主要從用戶端體驗測評和企業(yè)端運維測評兩方面開展，旨在形成“人員審查＋社群舉報＋技術自查”的常態(tài)化監(jiān)測體系，并能按照風險等級啟動精準的治理策略。用戶端體驗測評主要涉及感官體驗、行為體驗、情感體驗、思考體驗和關聯(lián)體驗等；企業(yè)端運維測評主要包括信息安全性、功能適配性、倫理合規(guī)度、技術成熟度/算法領先性等方面，旨在促進數(shù)字教育產(chǎn)品的治理精準性，提高教育軟件應用行業(yè)的運維成熟度。

階段三：決策支持服務產(chǎn)出。以監(jiān)管者采信、開發(fā)者遵約、使用者受益為目標形式。該階段從技術產(chǎn)出看，就是要形成數(shù)字教育應用的數(shù)據(jù)采集、調用、迭代標準；從咨政角度看，就是要形成基于科學監(jiān)測數(shù)據(jù)的治理建議。

在教育數(shù)字化轉型時期，對數(shù)字教育產(chǎn)品的治理已經(jīng)從傳統(tǒng)單一的自上而下的管理，升級為社會多元化需求、技術快速驅動、監(jiān)管全周期關注的治理新階段。多主體協(xié)同是適應這一新階段的有效路徑。通過監(jiān)管者的“事前—事中—事后”全周期關注、開發(fā)者按標準研制新產(chǎn)品、使用者的“感官—行為—情感—思考—關聯(lián)”等不同認知階段的差異化體驗，可以實現(xiàn)對以AIGC為代表的新技術帶來的技術紅利加快釋放、隱患風險可控的治理目標。

四、風險甄別與治理實證案例

隨著生成式人工智能技術的迅速發(fā)展和普及，筆者團隊在對“不良內容、重點賬號、評論治理”等傳統(tǒng)場景進行重點治理的基礎上，與某企業(yè)聯(lián)合在生成式人工智能場景下不斷提升算法的識別能力，圍繞未成年人網(wǎng)絡環(huán)境專項治理的重點領域，根據(jù)治理要求不斷細化審核規(guī)則，搭建語音語義識別算法模型和皮膚裸露面積識別模型兩個專項審核隊列，通過“風險矩陣甄別＋治理策略跟進”的模式，全面壓縮有害信息隱形變異的生存空間，遏制數(shù)字教育產(chǎn)品中數(shù)字資源和算法設計中可能侵害未成年人權益的違法行為（王佑鎂等，2023）。其中皮膚裸露面積識別模型的實例內容如下。

該實例的治理目標是對數(shù)字資源中的靜態(tài)圖片、動態(tài)音視頻、生成式內容中的人物皮膚裸露情況進行自動識別，若檢測到存在違規(guī)內容，則立即給出警示。該實例的風險甄別標準是根據(jù)顏色（膚色）找出圖片中皮膚的區(qū)域，然后通過條件判斷是否為違規(guī)內容。關鍵步驟如下：第一，遍歷每個像素，檢測像素顏色是否為膚色。第二，將相鄰的膚色像素通過池化算法歸為一個皮膚區(qū)域，得到若干個皮膚區(qū)域。第三，剔除像素數(shù)量極少的皮膚區(qū)域。同時，我們將非色情圖片的判定規(guī)則定義如下（滿足任意一個判定即為真）：一是皮膚區(qū)域的個數(shù)小于 3 個，二是皮膚區(qū)域的像素與圖像所有像素的比值小于 15%，三是最大皮膚區(qū)域小于總皮膚面積的40%，四是皮膚區(qū)域數(shù)量超過50個。規(guī)則可以嘗試更改，直到程序效果滿意為止。基于膚色監(jiān)測的皮膚裸露面積識別流程如圖2所示。

該識別過程在膚色監(jiān)測和圖像特征提取兩個環(huán)節(jié)用到兩個關鍵算法：HSV算法和Haar算法。HSV是一種根據(jù)人類對顏色的直觀感知創(chuàng)建的顏色空間（李明東，2018）。其中，H表示色調（Hue），用角度來衡量，范圍為0°～360°，從紅色（指向0°）開始逆時針方向變化，當轉向120°時顯示為綠色，當轉向240°時顯示為藍色；S表示飽和度（Saturation），用顏色的純度來衡量，取值范圍是0.0～1.0，表示顏色從暗淡到鮮艷；V表示亮度（Value），其取值范圍亦是0.0～1.0，表示從黑色到明亮。隨著數(shù)字教育資源中多彩圖文和音視頻的監(jiān)測需求迅速增長，能更好貼合人眼解釋圖像過程的開源環(huán)境如OPENCV也開始大量使用這一算法，其對應的取值范圍分別是H＝[0，179]，S＝[0，255]，V＝[0，255]。Haar分類器是用于目標檢測技術的一種基于特征的機器學習算法（Papageorgiou et al.，1998）。該算法通過對圖像中的不同特征進行組合，來判斷圖片中是否存在目標物體。其核心思想是提取人臉特征，使用積分圖對特征進行快速計算，挑選出少量關鍵特征，送入由強分類器組成的級聯(lián)分類器進行迭代訓練。

在皮膚裸露面積識別的具體案例中，監(jiān)管者、開發(fā)者與使用者的協(xié)同作用印證了緊密的技術治理體系。首先，監(jiān)管者制定不良皮膚裸露內容甄別標準和判定規(guī)則，確保對違規(guī)內容的判斷條件等規(guī)則能夠轉化為開發(fā)者可以遵循的技術指南。其次，開發(fā)者利用圖像處理技術，如上文提到的HSV算法和Haar算法等，來實現(xiàn)對膚色的精確識別和皮膚區(qū)域的有效聚合。通過池化算法，開發(fā)者能夠將相鄰的膚色像素歸類，形成一個個皮膚區(qū)域，并根據(jù)預設的條件判斷規(guī)則，如皮膚區(qū)域的數(shù)量、像素占比、最大區(qū)域面積比例等，來確定內容是否違規(guī)。最后，使用者依靠算法模型來監(jiān)控教育應用軟件中的內容，確保沒有違規(guī)的圖片或視頻出現(xiàn)。一旦發(fā)現(xiàn)潛在的違規(guī)內容，使用者可以立即報告給監(jiān)管者或通過軟件內的舉報機制進行反饋。

該案例僅是AIGC風險識別與治理中圖片生成內容的實證過程，運用了池化算法的技術原理，通過不同的數(shù)據(jù)增幅來調整池化個數(shù)，從而識別一張圖片中皮膚裸露的比例，并據(jù)此判斷涉黃風險概率。未來，在AIGC的圖片生成內容治理領域，可以從如下方面進行努力：一是研發(fā)更準確的圖像分割技術，不斷提高皮膚裸露面積識別的準確性，既要準確標識出皮膚區(qū)域，又要將其與其他區(qū)域區(qū)分開來。二是研發(fā)更強大的隱私保護技術，如模糊化、去標識化等技術，以確保用戶隱私數(shù)據(jù)的安全。

五、研究總結與展望

數(shù)字教育是數(shù)字中國的重要組成部分，更是建設教育強國的重要支撐力量。數(shù)字教育產(chǎn)品形態(tài)日新月異，數(shù)量規(guī)模不斷攀升，且虛實融合環(huán)境中的學習者持續(xù)增多，這些復雜的在線學習場景對風險監(jiān)管能力提出了更新且更高的要求。當然，數(shù)智技術的發(fā)展也為治理能力提升帶來了更多的可能性，如以生成性要素挖掘為核心的語義解析技術將促進內容監(jiān)管顆粒度更加精準，而污點傳播和圖卷積技術的發(fā)展將會促進數(shù)字資源傳播溯源度不斷提高（孟令宇，2022）。

本研究從數(shù)字教育產(chǎn)品的類型分析切入，深入剖析了從PGC、UGC到AIGC的演進過程，提出了“數(shù)字資源—信息傳播—算法設計—認知評估”四維度風險矩陣，并從“監(jiān)管者—開發(fā)者—使用者”協(xié)同的視角探討了數(shù)字教育產(chǎn)品的治理體系，最后以算法識別模型為例，證實了風險甄別的過程和綜合治理能力的提升。展望未來，該領域后續(xù)可從以下兩個方面發(fā)力：

第一，文本挖掘及跨時空學習特征表示技術研究。即運用基于過程標注和結果標注的多維畫像構建技術，結合圖文、音視頻等多模態(tài)數(shù)據(jù)，實現(xiàn)對未來特定用戶節(jié)點的學習狀態(tài)或群體學習狀態(tài)的感知及預測。通過分析學生的在線學習行為軌跡和學情畫像，還可匯聚認知發(fā)展動態(tài)評估數(shù)據(jù)，從而為數(shù)字教育應用對學生認知發(fā)展影響的檢測提供環(huán)境和技術支持。

第二，構建AIGC內容的風險量化治理規(guī)則庫。生成式人工智能技術雖然迎來新一波發(fā)展熱潮，但是其量化治理規(guī)則庫卻不夠充實。AIGC在為用戶帶來智能化、趣味性體驗的同時，也暴露出了常識性錯誤、不當文化傾向等弊端。在已有諧音詞/詞庫、皮膚曝光面積計算模型等數(shù)字資源的量化治理基礎上，持續(xù)研究構建針對AIGC的“信息傳播—算法設計—認知評估”量化治理規(guī)則庫十分必要，包括研究Hook分析、污點傳播、認知發(fā)展智能測評等，這些對緩解數(shù)字教育產(chǎn)品應用過程中跨域監(jiān)測難、溯源定位慢、閉環(huán)治理松等問題具有重要的實用價值。

參考文獻：

[1]國家互聯(lián)網(wǎng)信息辦公室，中華人民共和國工業(yè)和信息化部，中華人民共和國公安部等（2021）.互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定[EB/OL].[2024-01-19].http：//www.cac.gov.cn/2022-01/04/c_1642894606364259.htm.

[2]國家互聯(lián)網(wǎng)信息辦公室，中華人民共和國國家發(fā)展和改革委員會，中華人民共和國教育部等（2023）.生成式人工智能服務管理暫行辦法[EB/OL].[2024-01-19].https：//www.gov.cn/zhengce/zhengceku/202307/content_6891752.htm.

[3]何曼（2023）.AIGC更能滿足高質量教育體系的新需求——教育部教育信息化戰(zhàn)略研究基地（北京）副主任童莉莉專訪[EB/OL].[2024-01-19].https：//www.sohu.com/a/741922688_100016406.

[4]何偉光（2023）.走向解放：人工智能教育應用本質的哲學沉思[J].中國遠程教育，43（7）：11-20.

[5]教育部辦公廳（2022）.教育部辦公廳關于印發(fā)《國家智慧教育平臺數(shù)字教育資源內容審核規(guī)范（試行）》的通知[EB/OL].[2024-01-19].http：//www.moe.gov.cn/srcsite/A16/s3342/

202211/t20221108_979699.html？eqid=e280d5c40009dfaa0000

00056437a05b.

[6]李明東（2018）.基于HSV顏色空間膚色檢測算法的動態(tài)手勢識別研究[J].鄂州大學學報，25（5）：107-109.

[7]孟令宇（2022）.從算法偏見到算法歧視：算法歧視的責任問題探究[J].東北大學學報（社會科學版），24（1）：1-9.

[8]童莉莉（2024）.數(shù)字教育應用監(jiān)管如何“向善”而行[N].中國教育報.2024-01-08（04）.

[9]王佑鎂，王旦，王海潔等（2023）.算法公平：教育人工智能算法偏見的邏輯與治理[J].開放教育研究，29（5）：37-46.

[10]新華社（2021）.中華人民共和國個人信息保護法[EB/OL].[2024-01-19].https：//www.gov.cn/xinwen/2021-08/20/content_5632486.htm.

[11]楊宗凱（2023）.數(shù)字教育的內涵、發(fā)展目標與路徑[N].光明日報，2023-03-14（015）.

[12] 張黎，周霖，趙磊磊（2023）.生成式人工智能教育應用風險及其規(guī)避——基于教育主體性視角[J].開放教育研究，29（5）：47-53.

[13]Boninger， F.， Molnar， A.， amp; Murray， K. （2017）. Asleep at the Switch： Schoolhouse Commercialism， Student Privacy， and the Failure of Policymaking[EB/OL]. [2023-10-25]. https：//nepc.colorado.edu/sites/default/files/publications/RB%20Trends

%202017_2.pdf.

[14]Fraser， M. W.， Kirby， L. D.， amp; Smokowski， P. R. （2004）. Risk and Resilience in Childhood[M]// Fraser， M. W. （Ed.）. Risk and Resilience in Childhood： An Ecological Perspective. Washington， DC： NASW Press：13-66.

[15]Papageorgiou， C. P.， Oren， M.， amp; Poggio， T. （1998）. A General Framework for Object Detection[C]// Proceedings of the Sixth International Conference on Computer Vision， Bombay， India：555-562.

[16]Qadir， J. （2023）. Engineering Education in the Era of ChatGPT： Promise and Pitfalls of Generative AI for Education[C]// Proceedings of the 2023 IEEE Global Engineering Education Conference （EDUCON）， Kuwait， Kuwait：1-9.

收稿日期 2024-01-23 責任編輯 劉選

Four-Dimensional Risk Matrix and Governance Framework of Digital Education Products from the Perspective of AIGC

TONG Lili， ZENG Jia， DI Ying

Abstract： Digital education is an important component of a digital China. With the rapid and in-depth application of generative artificial intelligence in the field of education， digital education products have rapidly evolved from the mature forms such as educational apps， mini programs， and cloud platforms to innovative forms such as large models and virtual robots. While providing convenient home-school-community connections， fluent multilingual interaction， and efficient reading and editing， AIGC still faces challenges including uneven resource quality， disorderly information diffusion， and weak correlation between algorithm design and human cognitive development. Therefore， it is necessary for us to construct a four-dimensional risk matrix that connects “digital resources-information dissemination-algorithm design-cognitive evaluation” from the dual perspectives of social definition paradigm and behavioral computation paradigm， in order to qualitatively and quantitatively analyze the potential risks of AIGC educational applications. At the same time， we also construct a governance framework from the perspective of subject collaboration of “regulator-developer-user”， and output decision support and governance suggestions through the path of industry application access review and service cluster normalization evaluation. The four-dimensional risk matrix and governance architecture can provide important references for government regulators， home-school users and product developers to promote a healthy application ecosystem of AIGC.

Keywords： Artificial Intelligence Generated Content; Digital Education Products; Risk Matrix; Educational Governance