999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

“數字利維坦”的馴化:人工智能嵌入教育數據治理的法律規制

2025-04-05 00:00:00王伊晉祁占勇
大學教育科學 2025年2期
關鍵詞:人工智能

摘要: 作為新一輪科技革命的核心驅動力,人工智能正在全方位融入并重塑教育生態系統。《教育強國建設規劃綱要(2024—2035年)》在強調人工智能助力教育變革時,特別指出要強化數據安全、人工智能算法和倫理安全。人工智能嵌入教育數據治理,雖可賦能教育治理數智化,但也對公民受教育權、隱私權等基本權利構成挑戰甚至威脅。為防范“數字利維坦”危機,亟須相應的法律規制。歐盟《人工智能法》在教育數據治理領域,體現了保障公民受教育權、促進教育數據開放共享、鼓勵教育科技負責任創新的價值意蘊。其分等級治理、全鏈條治理及契約性治理的多重策略,對我國在人工智能時代教育數據治理的法律應對有重要的借鑒價值。

關鍵詞:人工智能;教育數據治理;歐盟《人工智能法》;法律規制

中圖分類號:G434" " " " " 文獻標識碼:A " " " 文章編號:1672-0717(2025)02-0088-11

英國哲學家霍布斯在其經典著作《利維坦》中,借用《圣經》中上帝創造海上巨獸“利維坦”這一意象,將國家隱喻為人類自己制造的、聯結最高主權的、具有絕對權威的“利維坦”。“國家利維坦”的誕生,旨在解決人類自身無法解決的問題,避免人類在自然狀態下走向每個人反對每個人的戰爭[1]。然而,在享受國家保障安全美好生活的同時,如何將“國家利維坦”關進牢籠,約束國家權力的濫用,也一直是現代社會關注的核心議題。在以數據為新型“血肉”的算法時代,“利維坦”完成數字化重構,“數字利維坦”隨之誕生。人們在對大數據、云計算、人工智能等數字技術高度依賴和崇拜的同時,也開始警惕“寡頭壟斷”型主體沿循“算法-規則-權力”的路徑生成“數字特權”[2],以及數字巨獸對人們隱私空間與數據安全的瘋狂侵蝕。人工智能在推動教育深刻變革的同時蘊含著巨大的風險,遏制風險的關鍵是要通過法律規制馴化人工智能這只“數字利維坦”。作為數智時代的新型生產要素,教育數據是教育數字化、網格化、智能化的基礎。教育數據通常被認為是對教育規劃、教育教學、教育科研、教育管理等行為過程及輸入輸出的真實反映,涉及大量公共數據及個人隱私信息[3]。隨著人工智能與教育領域日益密切的融合,不同類型、體量龐大的教育原始數據背后蘊含的復雜信息被深度挖掘,為教育主體的理性治理提供決策依據,賦能教育高質量發展。與此同時,教育數據在采集、傳輸、存儲及應用等多個環節也面臨著前所未有的挑戰。

面對人工智能治理的嶄新課題,世界各國都重視通過立法予以規范。歐盟采用統一性專門立法,通過具有法典性質的《人工智能法》(Artificial Intelligence Act)統一監管規則,其中明確涉及教育領域;美國積極推動各州自治,通過地方性立法防范人工智能風險。我國人工智能立法呈現出“小切口”的特點,對生成式人工智能、自動駕駛汽車及深度合成等問題出臺了相關部門規章及地方規章。雖然國務院2017年印發的《新一代人工智能發展規劃》中就指出人工智能技術對法律與社會倫理、個人隱私等問題可能帶來的深刻挑戰,第十三屆、十四屆全國人大常委會立法規劃也均將人工智能立法列入其中,但我國目前尚未實現人工智能的統一立法。學界提出的《人工智能法示范法1.0(專家建議稿)》、《人工智能示范法2.0(專家建議稿)》(以下簡稱“《專家建議稿2.0》”)及《中華人民共和國人工智能法(學者建議稿)》(以下簡稱“《學者建議稿》”)等建言,體現了人工智能風險管理的整體治理思路,但均未針對教育領域制定特別條款。此外,我國現行的教育法律法規尚未將包括人工智能在內的數字技術納入重點考量范圍。在“教育法典化”進展如火如荼的背景下,作為教育領域“根本法”的教育法典有望對人工智能教育應用展開最為周延科學的規范,助益人工智能教育應用的健康發展[4]。因此,無論在人工智能立法還是教育法典編纂過程中,人工智能在教育領域的使用所引發的風險與挑戰都亟須得到我國法治的回應。

《數字教育合作上海倡議》提出共商共議數字教育治理,倡導各國共同研發人工智能應用指南和管理規范,確保數字教育合乎倫理規范、安全可信。歐盟是全球教育水平領先的地區之一,其在推進教育數字化轉型戰略方面始終走在世界前沿。2021年4月,歐盟委員會在推進“數字單一市場”建設的進程中,提出了《人工智能法》立法草案;經多輪修訂與討論,2023年6月,歐洲議會以多數票通過了《人工智能法》的談判授權草案;2023年12月,歐盟理事會、歐洲議會和歐盟委員會就《人工智能法》立法文本達成三方共識;2024年5月,歐盟理事會批準通過《人工智能法》[5]。2024年8月1日正式生效的歐盟《人工智能法》是世界范圍內最先被提出的人工智能法案,為應對人工智能系統風險、支持人工智能技術創新做出了示范,其中涉及教育領域,對人工智能時代我國教育數據治理的法律應對有重要的研究及參考價值。

一、歐盟《人工智能法》中教育數據治理的價值意蘊

“鑒于條款”(whereas clause)是歐盟立法的一個特點,被要求用于說明適用相關執行條款(operative provision)的原因[6]。對歐盟《人工智能法》“鑒于條款”的解讀,有助于理解其具體適用條款蘊含的價值導向。歐盟《人工智能法》“鑒于條款”共180條,第1條對該法的立法目標進行了總體性闡釋,即為聯盟內部市場中人工智能系統的開發、投放市場、投入使用及相關操作制定統一的法律規范體系。歐盟《人工智能法》的核心目標是推動以人為中心、可信賴的人工智能應用的廣泛發展,確保對《歐洲聯盟基本權利憲章》(以下簡稱“《憲章》”)中所規定的健康、安全和基本權利提供高標準的保護。此舉旨在防范人工智能系統在聯盟內可能產生的有害影響,同時有效助力創新活動的開展。該條同時指出,《人工智能法》將確保基于人工智能的商品和服務的跨境自由流動,從而防止成員國對人工智能系統的開發、營銷和使用無端施加限制。歐盟《人工智能法》“鑒于條款”體現了保障公民受教育權、促進教育數據開放共享及鼓勵教育科技負責任創新的教育數據治理的價值意蘊。

(一)教育數據治理是保障公民受教育權的基礎

在歐盟法體系中,保護基本權利原則被認為是一項普遍適用的法律原則,具有憲法層面的重要地位。該原則不僅對歐盟各機構的行為起到約束作用,確保其在行使職權時尊重和保障公民的基本權利,同時也要求成員國在貫徹執行歐盟法時,嚴格遵循保護基本權利的原則[7]。《憲章》第14條對公民的受教育權進行了規定,賦予每一位歐盟公民接受教育、職業培訓與技能訓練的權利,是非歧視原則在教育領域的體現。

在數字化嵌入教育活動的過程中,教育主體可能正在遭受算法支配,處于被“控制”的境遇,從而潛藏著對公民受教育權的挑戰[8]。2020年,受新冠疫情影響,英國學生“A-level”考試被取消,取而代之的是英格蘭資格與考試監督辦公室(Ofqual)通過基于學生在學校的排名及學校歷史表現的新算法進行評分,以矯正教師評估普遍偏高的問題[9]。然而,這次評分結果遭到了大量學生的抗議,因為近四成學生的教師評分被新算法下調,且數據顯示,學費不菲的私立學校不成比例地從所使用的算法中受益,該評級系統因而被指責為“令人震驚的不公平”。最終,英國政府表示將停止使用基于有爭議的算法生成的考試成績。英國“A-level”考試相當于中國的高考,學生必須達到一定的成績才能確保自己進入理想的大學。這種選拔性的考試應客觀公正地評價每位考生的能力和素質,為高等教育機會的分配提供依據,以保障考生平等的受教育權。學生的成績、排名本屬于傳統類型的教育數據,然而對這些教育數據疊加新式算法的運用,就有可能使數字技術潛藏的“算法歧視”“算法黑洞”影響學生受教育權的實現。經濟合作與發展組織在《2023年數字教育展望:邁向高效數字教育生態系統》中表示,基于各種學生特征的算法偏見是存在的,但國際研究的缺乏限制了對偏見的理解。如果在數字時代對教育數據治理缺乏必要的警惕,數字技術侵害受教育權的現象可能會越來越普遍,越來越隱蔽,也越來越難以救濟。

歐盟《人工智能法》“鑒于條款”第56條指出,在教育領域部署人工智能系統,對于促進高質量的數字教育和培訓,使學習者和教師獲得必要的數字技能和能力,積極參與經濟、社會和民主進程至關重要。然而,如果設計或使用不當,用于教育或職業培訓的人工智能系統在某些情境下會實質性影響一個人的教育和職業道路,進而影響公民平等享有的受教育權。因此,歐盟《人工智能法》將此類人工智能系統視為高風險系統,劃歸至立法積極干預的強監管領域。

(二)教育數據治理是促進數據開放共享的前提

數據的核心價值在于互聯互通,數據的跨境流動已成為各類資源要素交換與共享的關鍵基礎和重要紐帶。處于割裂狀態的數據將造成數據孤島,降低整個社會的運行效率。教育數據治理亦要促進開放和共享。數據采集的樣本數量越充足、多樣性越豐富,數據分析的可行性和準確度就越高。此外,不同部門、教育機構及平臺之間若能最大限度地打破數據壁壘和數據壟斷,將極大地提升教育數據的使用效能[10]。

在數智時代,教育數據的跨境流動逐漸成為歐盟成員國之間共享教育資源的前提,歐盟面臨著教育數據開放共享和互通互聯方面的巨大需求。歐盟各國的教育體系存在較大差異、教育機構種類繁多且數量龐大,在一定程度上阻礙了學生的跨國學習。“歐洲高等教育一體化”的概念伴隨博洛尼亞進程的推進而逐漸深入人心。為了建立互通有無的歐洲高等教育區,歐洲學分轉換系統(European Credit Transfer System,ECTS)應運而生。各國教育部部長對“歐洲學分”推崇備至,稱其為“學術歐元”,并試圖通過這種“統一貨幣”打通歐洲各國高等教育體系之間的壁壘[11]。ECTS的關鍵性文件包括課程目錄、學生申請表、學習協議及成績記錄單等,記載了關于學生跨境學習的教育數據。歷經三十多年的發展,ECTS已然成為世界范圍內學分積累與轉換制度的典范。雖然歐盟各成員國通過ECTS的實踐已在跨境教育數據流動與共享方面積累了大量的經驗,但在人工智能時代教育數據的跨境流動面臨新的挑戰,尤其是數據隱私與安全方面。

2018年,歐盟《通用數據保護條例》(General Data Protection Regulation,GDPR)正式生效。教育數據生命周期長、數量龐大、涉及大量未成年人隱私信息且包含多樣化的參與者,屬于特殊類型數據。法國教育數據倫理委員會2020年發布的《疫情背景下教育數據使用的倫理問題》報告討論了教育數據跨境流動引發的潛在問題。該報告指出,教育數據具有商業價值和運作模式,是一種國家戰略資源。然而,由于法國專業教育軟件缺少其他國家專業教育軟件的在線人數兼容力和功能性,一大部分法國教育參與者傾向于使用更便捷的在線教育軟件,而不是更尊重GDPR規則、更符合法國價值觀的在線教育軟件,導致大量的教育數據已經掌握在一些國外平臺手中,對于數據的使用和處理難以監管[12]。無論是出于對個人隱私數據的保護,還是對國家數字主權和價值觀教育的擔憂,歐盟已關注到教育數據跨境流動的風險。

歐盟《人工智能法》“鑒于條款”第8條指出,需要制定一個歐盟層面的法律框架,制定規范某些人工智能系統的市場投放與使用的統一規則,從而確保歐盟內部市場的順利運作及對公共利益的高度保護,使歐盟能夠受益于人工智能商品和服務的自由流動。在教育領域,教育數據的跨境自由流動是人工智能教育產品與人工智能教育服務跨境自由流動的前提。這種“自由流動”不是絕對的,而是在《人工智能法》框架下符合歐盟內部市場規則和價值觀的“自由流動”,其目的是促進歐盟內部教育資源在安全、可靠、負責任的監管框架下進行共享、融合,提高教育資源利用率。

(三)教育數據治理是教育科技負責任創新的關鍵

當前,人工智能技術日益深度融入教育領域,教育科技行業迅猛發展。一些傳統跨國教育公司,開始致力于轉型為數據驅動、數字優先的全球教育領導者,他們通過收集、分析和使用大量教育數據和個人數據,開發數字教育產品,提供數字教育服務,發展學習平臺等數據基礎設施[13];同時,一些新興科技公司也瞄準數字教育市場持續發力。根據全球教育智庫HolonIQ的統計,對教育科技初創企業的投資從2010年的5億美元飆升到2021年的200億美元;根據歐洲教育科技風投公司Brighteye Ventures的統計,在全球范圍內,估值超過10億美元的教育科技“獨角獸”公司在2014年還不存在,在2021年就已有62家[14]。科技的創新在賦能教育數字化轉型的同時也帶了風險與挑戰。歐盟提出“歐洲地平線計劃”(Horizon Europe),以“負責任發展”“負責任研究與創新”為焦點,強調新興技術的負責任創新對社會的積極貢獻和正向價值,減少新興技術帶來的負面影響[15]。在教育科技迅猛發展的背景下,如何確保負責任創新是教育數據治理必須考慮并解決的問題。

教育科技的負責任創新離不開教育數據治理。以OpenAI公司的人工智能產品ChatGPT為例,其作為一款基于8 000億個單詞的語料庫(或45TB的文本數據)訓練的自然語言處理工具,已被測試通過美國執業醫師考試、沃頓商學院MBA考試等。歐盟《人工智能法》“鑒于條款”第139條指出,為確保法律框架能促進創新、面向未來并能抵御干擾,各成員國需確保本國相關主管機關在國家層面至少設立一個專門的人工智能“監管沙盒”(regulatory sandbox),以便在嚴格監管的環境下,推動創新性人工智能系統的開發與測試,待這些系統經過充分驗證之后,再正式投放市場或投入實際應用。“監管沙盒”中的“沙盒”原本指一個可以隨心所欲進行創作的裝滿沙子的盒子,就像在沙灘上作畫,只要海浪漫過,沙子就會恢復如新;后被延伸為計算機術語,指在沙盒中的試驗程序不必過分擔心測試結果是好是壞,一切都只發生在盒子當中,再大的錯誤都不會影響外部的環境[16]。“監管沙盒”制度最早被英國應用于對金融科技的監管,指在某種新興的金融科技模式正式進入整個行業之前,先在相對絕緣的場景中進行小規模監管測試,既減少新興科技直接引入市場的潛在風險,也降低相關科技創新企業的合規成本,進而促進金融科技的負責任發展與創新。歐盟《人工智能法》將“監管沙盒”制度推廣到各個領域,對教育科技的負責任創新有積極而深遠的影響。

二、歐盟《人工智能法》中教育數據治理的多重策略

在教育數字化轉型和推進治理能力現代化的背景下,教育數據治理已不再是單純的教育問題,而是與政治、經濟、科技、倫理等多方面因素密切交織,變得日益復雜而深刻。為應對人工智能時代帶來的重重挑戰,適應治理范式變革的時代要求,歐盟《人工智能法》通過分等級治理、全鏈條治理及契約性治理,為世界各國作出了重要的制度示范。

(一)分等級治理:依照教育數據所屬人工智能系統的不同風險等級進行治理

歐盟采取“基于風險”(risk-based)的規制進路,針對“不可接受的風險”(unacceptable risk)、“高風險”(high risk)、“有限風險”(limited risk)及“最小風險”(minimal risk)這四種不同風險等級的人工智能系統,設計與其風險成比例的約束性規則,對人工智能系統運作所依賴的數據治理同樣適用。

首先,歐盟《人工智能法》禁止可能帶來“不可接受的風險”的人工智能系統。在教育領域,“禁止的人工智能實踐”明確列舉了“在教育機構使用人工智能系統識別自然人的情感”這一情境。歐盟《人工智能法》在說明部分解釋了禁止這類情境的原因與教育場景下的權力不平衡及情感識別類人工智能系統的侵入性有關。考慮到人工智能技術識別或推斷情緒的科學基礎被高度質疑,且情緒的表達在不同的文化、情況下存在顯著差異,情感識別類人工智能系統存在可靠性有限、缺乏特異性和通用性有限等主要缺點,可能導致對某些人或其所屬群體的不利的對待,進而產生歧視[17]。

其次,歐盟《人工智能法》對于具有“高風險”的人工智能系統予以嚴格監管,其附件三列舉了教育領域中對人們的基本權利造成不利影響的“高風險人工智能系統”的四種情形:一是用于確定自然人進入各級教育和職業培訓機構或課程的機會、錄取或分配的人工智能系統;二是擬用于評估學習成果的人工智能系統,包括當這些成果被用于指導各級教育和職業培訓機構中自然人的學習過程時;三是在教育和職業培訓機構內,用于評估個人將接受或能夠接受的適當教育水平的人工智能教育系統;四是在教育和職業培訓機構內,用于監控和檢測學生考試違紀行為的人工智能系統。這幾類情形都與受教育權,尤其是教育機會平等權密切相關。教育機會作為一種客觀際遇與主觀利用各種教育資源和權利的可能時限與場景,涉及教育社會生態體系的方方面面。教育機會的平等既包括起點機會平等,也包括教育方式及過程平等[18]。歐盟《人工智能法》尚在草案期間,就有研究者關注到美國法學院對歐盟學生的招生錄取活動將可能受《人工智能法》的沖擊[19]。事實上,早在2021年9月,美國研究員阿列克斯·恩格勒(Alex Engler)撰寫的研究報告《在大學招生錄取中采用自動化算法或將引發美國高等教育危機》(Enrollment algorithms are contributing to the crises of higher education)就剖析了大學招生這一與公民受教育權高度相關的活動采用人工智能算法所引發的諸多風險[20]。歐盟《人工智能法》生效后,其適用范圍包括在歐盟境內將人工智能系統投放市場或投入使用的各類提供者,無論各提供者是在歐盟設立還是位于歐盟外。因此,對于歐盟以外的國家,如在招收歐盟成員國學生的過程中使用人工智能系統,就可能被認定為歐盟《人工智能法》規定的“高風險”應用,并受到嚴格的監管。

再次,歐盟《人工智能法》對“有限風險”的人工智能系統規定了透明度義務,包括用戶告知、內容標識等。例如,與人類交互的聊天機器人等人工智能系統,應不會對決策產生實質性影響,或不會對受保護的法律利益造成實質性損害。人工智能系統供應商應通過編制并更新技術文件、披露相關內容,確保使用相關人工智能系統的自然人知悉他們正在與一個人工智能系統互動。

最后,歐盟《人工智能法》對用于娛樂或個人目的等不構成風險或風險可忽略的“最小風險”的人工智能系統并無強制性的規定,鼓勵自愿適用高風險人工智能系統的強制性要求。

簡而言之,歐盟《人工智能法》著重防范“不可接受的風險”與“高風險”的人工智能系統。這種基于風險等級的立法模式,通過明確界定的優先事項和目標,使人工智能治理干預措施符合與預期損害成比例的原則,有助于監督、認證等資源和成本的合理、高效分配。

(二)全鏈條治理:通過對教育數據價值鏈的參與者規定法律義務進行治理

當代風險治理需要引入系統論思想,數據治理也不例外。美籍奧地利生物學家貝特朗菲在20世紀初提出了系統論思想,主張在分析和解決問題時,應從系統的整體性出發,將系統內部的各個組成部分、各個環節,以及系統與外部環境之間的關系,視為一種動態的、相互關聯且相互約束的網絡,借助全面視角,尋找使系統達到最佳狀態的解決方案[21]。人工智能系統是通過復雜的價值鏈進行開發和分發的,多方參與的結果注定不能只關注一方參與者。歐盟《人工智能法》重點規制的對象是“高風險人工智能系統”,在構建高風險人工智能系統的監管框架時提出了“人工智能價值鏈”(AI value chain)的概念,對該價值鏈上的提供者、進口者、分銷者及部署者配置了不盡相同的法律義務。

首先,高風險人工智能系統提供者的合規義務最為嚴格,須建立、實施、記錄并維護風險管理系統。在此基礎上,須采用符合規定的方式對數據集進行訓練、驗證及測試,確保所使用的數據集達到既定的質量標準,再基于這些高質量的數據集開發相應的應用系統。在系統正式投放市場或投入使用之前,需編制詳盡的技術文件,并在后續使用過程中對其進行持續更新與完善;在技術上允許自動記錄系統生命周期內的事件,確保其操作具有足夠的透明度且可由自然人進行有效監督,確保人工智能系統達到適當的準確性、穩健性和網絡安全水平。

其次,高風險人工智能系統部署者的合規義務也應被嚴格規范。高風險人工智能系統的部署者在部署高風險人工智能系統之前,須進行基本權利影響評估,采取適當的技術和組織措施,進行必要的人工監督、培訓與支持,并持續監測系統的運行情況。如果部署者對系統輸入的數據有控制權,應確保其輸入的數據的相關性與代表性;如果部署者為雇主,應在工作場所投放或使用高風險人工智能系統之前,告知工人代表和受影響的工人,確保使其知悉將受到該系統的影響。

最后,高風險人工智能系統的進口者和分銷者主要承擔輔助性合規義務。這類運營者在通過進口或分銷將高風險人工智能系統投放市場之前,應核實該系統的提供者是否已執行相關法定的合格性評估程序、是否取得所需的合格性標識等。在特殊情況下,分銷者、進口者、部署者或其他第三方將被等同視為提供者,包括但不限于在已投放市場的高風險人工智能系統上冠以自己的名稱或商標,或對其進行實質性修改。此時,分銷者、進口者、部署者或其他第三方須對標歐盟《人工智能法》第16條履行提供者的所有合規義務。

根據歐洲政策研究中心的研究報告,人工智能價值鏈被定義為“開發單個人工智能系統然后投入使用(或部署)的組織過程”,其功能是考慮哪些主體可以在人工智能價值鏈的哪些部分發揮作用,確定哪個主體最符合監管要求,以保障人工智能系統的安全性[22]。在教育數據治理領域也存在類似的價值鏈,價值鏈上的每一個利益相關者都應是數據治理關注的對象。以各種教育數據庫和教育數字平臺建設為例,要確保這些教育數字化終端產品或服務的質量和安全,需要對教育數據提供者、教育數據部署者、教育數據處理者、教育數據使用者等多類主體進行全鏈條的治理,厘清價值鏈中各個參與者的責任,避免將過多法律義務集中于單一主體上,以加強監管的整體性、有效性和連貫性。

(三)契約性治理:允許教育數據利益相關者參與監管沙盒進行教育數據治理

“監管沙盒”本質上是多元主體以“契約”為治理邏輯的新型監管模式。不同于以往自上而下的“對抗式”監管狀態,“監管沙盒”旨在實現一種共治狀態[23]。歐盟人工智能“監管沙盒”的設立主體為歐盟成員國公共機關或歐洲數據保護機關,具體運行分為申請、參與、監測、退出和終止幾個步驟。在教育領域,教育數據主體可以自愿提交申請,說明擬進入教育類監管沙盒的產品的技術參數、創新要點等基本情況及進入沙盒的必要性。在通過監管部門的初期評估后,教育數據主體進入監管沙盒。監管部門需與教育數據主體就沙盒測試的具體事項展開協商,包括測試事件、范圍、對象等關鍵內容,并根據實際需求,制定并提供具有差異化的監管措施,以促進教育數據的創新應用[24]。歐盟人工智能“監管沙盒”的契約性治理主要表現為參與主體的平等性、參與過程的對話性及參與責任的有限性。

首先,“監管沙盒”治理強調參與主體的平等性。根據歐盟《人工智能法》第58條第2款,該法案可促進人工智能生態系統中通知機關、標準化組織、企業、創新者、實驗室等利益相關者的廣泛而平等的參與,推動公共和私營部門開展合作,促進創新及循證的監管學習,有利于人工智能系統快速、安全、穩定地進入市場。科層式的剛性化管控缺乏容錯糾錯的制度空間,包容審慎的監管環境是當前數據要素治理的發展趨勢。面對顛覆性技術帶來的教育數字化轉型,教育數據治理模式亟待創新。在教育領域引入“監管沙盒”,便于加強多元主體的參與并吸收跨領域的經驗做法,通過扁平化的“契約”組織結構增加制度彈性,在一定程度上可以緩解技術創新與法律監管之間的潛在沖突。

其次,“監管沙盒”治理注重參與過程的對話性。歐盟《人工智能法》第58條第4款規定,當國家主管機關考慮在人工智能監管沙盒框架內進行真實世界條件下的測試時,應和參與者具體商定此類測試的條款和條件,特別是適當的保障措施,以保護基本權利、健康和安全。這種協同治理的對話框架增加了監管機構與被監管對象之間協商探討與良性互動的可能,保障了話語決策的平等性和多元化,既有利于監管機構了解監管體制在技術應用進程中的具體瓶頸與實踐期待,也有利于被監管對象取得監管機構的必要支持與有效監督,通過實驗過程中的動態反饋與持續跟進,在對技術治理的行動規劃中作出及時響應,能夠更好地解決監管錯配的問題。

最后,“監管沙盒”治理允許參與責任的有限性。歐盟《人工智能法》規定,人工智能監管沙盒中的提供者及潛在提供者根據適用的歐盟和成員國責任法,仍應對在沙盒中進行的實驗給第三方造成的損害負責。不過,只要提供者或潛在提供者遵守具體計劃及其參與條款和條件,并真誠遵循國家主管機關提供的指導,機關將不會對違反本條例的行為處以行政罰款。類似地,如果負責其他歐盟和成員國立法的主管機關積極參與了對沙盒中人工智能系統的監督,并提供了合規指導,則不得對相關立法處以行政罰款。這種保護機制使原本突破現有法律框架的創新產品和服務,有機會以較低成本在監管測試環境中進行試運行,以便平衡人工智能創新與安全發展之間的關系。

目前,歐盟個別國家在教育領域已開始“監管沙盒”的適用探索。例如,法國國家信息與自由委員會在教育科技監管沙盒計劃就是重點關注教育科技企業創新與GDPR合規義務之間的潛在矛盾,為致力于分析法國高校學習數據的DATA、增強家校互動的Klassly與Klassboard、將學生及其數字工作空間相連的“個人云平臺”MyToutice、由PowerZ推出的教育視頻游戲以及由Daylindo開發的教學實踐實時跟蹤與協作管理的數字解決方案等5個教育科技項目,提供數據保護方面的政策及技術支持,為用于創設隨機數學教育活動的Eleda、協助學習困難兒童進行讀寫的Kaygo DYS、用于管理敏感數據的加密多云解決方案Astrachain、基于人工智能提供用戶音樂畫像的Babel以及用于與其他公共和私人平臺實現互操作性更新的Competence Portfolio等5個教育科技項目提供個性化的政策建議[25]。未來,隨著“教育科技監管沙盒計劃”的推進,這項起源于金融領域的監管創新機制有望在教育數據治理領域彰顯出更多積極的效用。

三、歐盟《人工智能法》對中國教育數據治理的鏡鑒之思

2021年施行的《中華人民共和國數據安全法》(以下簡稱“《數據安全法》”)作為數據領域的基礎性法律,確立了我國數據安全保護管理各項基本制度;2022年印發的《中共中央 國務院關于構建數據基礎制度更好發揮數據要素作用的意見》進一步構建數據基礎制度,激活數據要素潛能;2023年中共中央、國務院印發的《數字中國建設整體布局規劃》強調暢通數據資源大循環,促進各行各業數字化轉型;2024年國家互聯網信息辦公室公布施行的《促進和規范數據跨境流動規定》通過保障數據依法有序自由流動,擴大高水平對外開放。我國對于數據本身及其流通的重視程度與日俱增,立法規制也日趨完善,但針對教育數據的規范性治理尚不成熟。我國教育領域利益相關者對教育數據的敏感程度、數據權利意識和數據安全意識均有待提升。在人工智能立法領域,2023年出臺的《生成式人工智能服務管理暫行辦法》支持各行各業及相關主體就人工智能數據資源建設及風險防范等開展協作。不過,截至目前,我國在教育領域的人工智能應用尚缺乏統一的立法規制及細致的操作指引。相較而言,歐盟立法者更早通過具有法典性質的《人工智能法》,對不同風險等級的人工智能系統構建差異化的行為規范體系,對人工智能系統價值鏈上的不同主體規定明確的法律義務,通過“監管沙盒”機制引導教育科技企業開展負責任的創新。面對人工智能這只“數字利維坦”對教育數據治理帶來的前所未有的挑戰,歐盟的人工智能統一立法對我國教育數據治理有重要的借鑒意義。

(一)區分法律風險,差異化治理教育數據

從數據的生命周期來看,教育數據在收集、存儲、傳輸、分析、共享、銷毀等各個環節均存在法律風險。與其他行業數據相比,教育數據具有一定的特殊性,主要表現在四個方面:第一,涉及大量個人隱私,尤其是未成年人隱私;第二,涉及公私多元主體,包括學校、學生、家長、教育科技企業、教育行政部門等;第三,數據生命周期長,覆蓋正式教育與非正式教育的全過程;第四,數據應用與公民的受教育權、隱私權、知情權等基本權利息息相關。非線性運行的人工智能技術在上述任何一個環節嵌入教育數據治理時所發揮的效應都不只是簡單的“科技+教育”,而是“科技×教育”,因而會進一步放大原有風險,比傳統教育形態產生更多難以預料的“特殊事件”[26]。例如,在教育數據收集階段,如果人工智能的訓練數據在來源處被“污染”,即所謂的“數據投毒”,將可能導致大語言模型生成有害內容,一旦投入教育領域,將直接影響教育質量。而在教育數據存儲與傳輸階段,隨著越來越多的數字科技企業介入教育領域,其在提供技術和資源支持的同時,也管控著大量的教育數據。若對數據的存儲與傳輸超出教育服務原本授權的目的與范圍,就會對受教育者的隱私權、知情權造成威脅。有研究發現,當一名9歲孩子點擊老師通過谷歌課堂提供的播客網站Vimeo的學習資源鏈接時,他就從谷歌課堂的高隱私保護中被帶出,暴露于42個第三方跟蹤服務中,包括谷歌的廣告服務和TikTok以及Facebook的分析服務[27]。當上述數據進入全球數據生態系統,學生便不可避免會遭受隱私風險和商業利用。此外,一些數字科技企業在人工智能教育應用的開發過程中,可能會將特定利益取向植入算法,從而在提供教育服務的過程中謀求不當利益。教育是國之大計,教育數字化轉型時代,資本主導的私權力在“數字權力”的助推下,在一定程度上對國家教育權進行分化或削弱[28],應引起充分的警惕。

我國已通過《數據安全法》確立了數據保護中分級分類的風險治理理念,《專家建議稿2.0》設置了基于負面清單實施的人工智能許可管理制度,《學者建議稿》基于技術發展、行業領域、應用場景等因素提出可以動態調整的人工智能分級分類標準,對關鍵人工智能實施特殊監管。然而,具體到教育領域,如何對人工智能嵌入教育數據進行分級分類治理,哪些人工智能教育應用應被列入負面清單或被作為關鍵人工智能實施特殊監管,學界還缺乏深入的理論研究與充分的實踐探索。

首先,應進一步明確教育數據基于風險治理的法律依據。例如,在《專家建議稿2.0》模式下將涉及高風險教育數據應用的人工智能列入負面清單實施許可管理;又如,在《學者建議稿》模式下,在第六章“特殊應用場景”中增加教育人工智能,同該章已列舉的國家機關使用人工智能、司法人工智能、新聞人工智能、醫療人工智能等一樣,予以特殊關注;再如,在教育法典總則“在線教育”章列舉人工智能等數字技術應用與教育領域的潛在風險,引入“基于風險”的規制原則。

其次,應確定教育數據的法律風險等級。歐盟《人工智能法》在對人工智能系統進行風險定級時借助了情境列舉的形式,因為人工智能所引發的法律風險在很大程度上依賴其使用的特定情境。換言之,歐盟“基于風險”的規制并非針對人工智能系統本身,而是應對不同情境下人工智能系統可能引發的后果。比如,當教育類人工智能系統用于監控和檢測學生考試違紀時,因其可能帶來處分等影響學生受教育權的嚴重后果,應作為“高風險”人工智能系統被嚴格監管;而當其作為不影響實質性決策的聊天機器人時,則可作為“低風險”人工智能系統,遵守透明度要求即可。我國亦可根據不同情境下對公民受教育權、隱私權、知情權等基本權利的影響程度與范圍,將教育數據的風險等級劃分為“不可接受的風險”“高風險”“有限風險”及“最小風險”,將具有“不可接受的風險”“高風險”的教育數據置于人工智能治理的負面清單,使人工智能在嵌入教育數據治理的實際場景中,能夠最大限度地規避風險、發揮效能。

最后,應區分不同風險等級的教育數據的法律規范路徑。一方面,對無需跨境流動的教育數據,按照風險等級,采取無條件共享、有條件共享和不予共享的分類治理思路。具有“不可接受的風險”的教育數據不予共享;具有“高風險”或“有限風險”的教育數據進行有條件共享,且前者在數據存儲格式、獲取路徑、共享方式等方面應有更為嚴格的要求;具有“最小風險”的教育數據可以進行無條件共享。另一方面,對有可能跨境流動的教育數據,可參照《促進和規范數據跨境流動規定》,采取無需不予跨境流動、申報跨境流動及無需申報跨境流動的分類規制。具有“不可接受的風險”的教育數據不予跨境流動;具有“高風險”的教育數據如需跨境流動,需要由數據處理者通過所在地省級網信部門及教育行政機構向上一級申報,由國家網信部門與教育部相關機構共同作出數據出境安全評估后,方可跨境流動;具有“有限風險”的教育數據如需跨境流動,需要由數據處理者通過所在地省級網信部門及教育行政機構申報,由同級網信部門與教育相關機構共同作出數據出境安全評估后,方可跨境流動;具有“最小風險”的教育數據跨境流動無需額外申報。

(二)明確法律義務,系統性治理教育數據

數據治理要關注整個數據生態系統,以系統思維理解數字化轉型。教育數據生態系統是基于教育領域海量數字要素,通過云端、邊緣端及終端的教育設施、平臺或應用相互連接而成的復雜生態系統。歐盟《人工智能法》對高風險人工智能系統價值鏈上的提供者、分銷者、進口者、部署者等各個主體規定了詳細而明確的法律義務,構建了一個覆蓋全鏈條的法律治理框架。相比之下,我國相關法律法規中對數據鏈上主體的界定略顯粗糙和單薄,相應的法律義務規定有待進一步細化。

首先,健全教育數據治理中的責任主體概念。我國現有的人工智能治理法律框架尚未明確歐盟《人工智能法》中的“人工智能部署者”這一法律主體。我國《數據安全法》提及數據處理者、服務提供者,《促進和規范數據跨境流動規定》僅論及數據處理者,《生成式人工智能服務管理暫行辦法》區分了生成式人工智能服務的提供者與使用者,《專家建議稿2.0》及《學者建議稿》也僅包含了人工智能研發者及提供者的法律責任。在教育領域,教育行政部門和學校都有可能作為教育數據應用系統的部署者,他們通過自行研發或借助技術公司研發的人工智能系統進行教育數據治理。自行研發的部署者與提供者重合;借助技術公司研發的情形中,部署者與提供者分離。針對人工智能教育應用可能引發的風險,我國在未來的立法中可以適當考慮借鑒歐盟對“人工智能部署者”的法律規制,明確教育數據治理價值鏈上的責任主體包括教育數據提供者、教育數據部署者、教育數據處理者及教育數據使用者等,構筑更為健全的人工智能法律責任機制。

其次,規范各主體在教育數據治理中的法律義務。與人工智能系統價值鏈上的主體責任配置相比,教育數據部署者可比照人工智能系統提供者,設置相對其他主體更為嚴格的合規義務。歐盟《人工智能法》與《關于缺陷產品的責任的指令的提案》存在諸多關聯,人工智能系統可被視為產品,提供者可被視為產品的制造商[29]。產品安全的歸責邏輯使歐盟《人工智能法》對人工智能系統的提供者規定了比部署者更為嚴格的法律義務。然而,在教育領域,受自上而下的傳統行政管理模式影響,在教育數據從采集、存儲、加工到使用各個環節,部署者都起到了關鍵的作用,有必要在教育數據治理中承擔更多責任。一方面,教育數據部署者須事先就教育數據治理涉及的多個環節對利益相關方基本權利的影響進行評估,須采取適當的技術和組織措施,進行必要的人工監督、培訓與支持,持續監測運行情況;另一方面,教育部署者應明確告知受影響的教師、學生、家長等主體,使其知悉可能受到的影響。對于教育數據提供者而言,應重視教育數據來源的合法性、準確性與真實性,尊重相關主體的隱私權及知情權,確保所提供的數據與所匹配的人工智能系統具有高度的相關性及充分的代表性。教育數據的直接處理者應使用符合要求的方式進行教育數據集的訓練、驗證和測試,基于達到質量標準的數據集進行開發應用,確保其操作具有足夠的透明度;教育數據的間接處理者可參考歐盟《人工智能法》對分銷者、進口者等運營主體的規定,承擔輔助性合規義務。只有明確教育數據治理價值鏈上的各類主體的法律義務,才能實現對教育數據的系統治理,最大限度降低相關風險。

事實上,學校在選擇教育科技產品時,往往更關注產品的功能性及其對教學的適用性,而不是產品功能和操作對數據保護合規性的影響。由于缺乏預算、技術及法律技能,很多學校對可能侵害受教育者權利的教育數據處置行為并不了解,或者能采取的救濟措施極為有限,尤其是在應對谷歌這類全球范圍的科技巨頭時。在這種情形下,我國教育行政部門應協同數據保護機構、網絡安全機構,更為積極地在教育新樣態中承擔評估、指引及監督的責任,注重在特定教育數據治理領域部署人工智能前,對使用人工智能的合法性及可能影響的基本權利進行評估,主動公開應用場景及決策領域,引導學校與符合要求的教育科技企業合作,合法、合規地使用人工智能開展教育數據治理,避免對公民受教育權及國家教育權造成侵蝕。

(三)創新法律機制,多元共治教育數據

傳統治理體系具有“規定性、確定性、穩定性”的特征,但并不能滿足數字時代的治理需求[30]。隨著人工智能技術飛速發展,以ChatGPT為代表的生成式人工智能技術在教育領域得到越來越多的應用。教育數據治理的利益相關者日益廣泛,從教育行政部門、學校、教師到學生、家長,再到教育科技企業等。2020年,北京市十五屆人大常委會第二十三次會議中提出,將對“在線教育”等新業態新模式探索包容審慎的監管沙盒措施。《學者建議稿》第十三條提出,建立和完善政府主導、社會協同、公眾參與的人工智能治理體制,構建多元共治的人工智能治理格局;《專家建議稿2.0》第六十條提出,國家人工智能主管機關應建立人工智能監管試驗機制。不難看出,我國對人工智能監管沙盒及新形態教育領域的監管沙盒抱有一定熱情,但與歐盟《人工智能法》第53條、第53A條、第54條、第54A條及第54B條等關于監管沙盒的詳盡制度設計相比,我國的監管沙盒機制還有完善空間。我們可以在人工智能立法或教育法典編纂中對人工智能教育應用領域監管沙盒的運作及責任機制做出更為健全的規范,匹配更為細致、周全的操作指引。

首先,應明確構建監管沙盒的準入程序。監管沙盒的準入對象應限定為那些在服務運行、產品性質或潛在后果與現有監管規則方面存在明顯沖突或潛在沖突,以及可能引發顯著風險和不確定性的人工智能教育應用。由適格的教育科技企業自愿向監管部門提交書面申請,說明其創新性及進入監管沙盒的必要性,在通過監管部門的評估后,協商確定沙盒測試時間、測試范圍、測試對象及規則豁免等事宜。

其次,應科學分配監管沙盒中各主體的責任范圍。在沙盒測試中,監管主體進行適當“放權”,技術創新者被適當“免責”。為了保證整體風險的可控性,監管主體須建立完善有效的監測機制,提前確定測試期間是否對教育數據主體的基本權利產生風險,以便在必要時開啟終止測試的響應機制;技術創新者在沙盒測試階段享有實質性的監管豁免,其前提是遵守契約,善意遵循監管主體提供的指導,且應注意個人數據處理,在終止沙盒參與后,將沙盒中處理的全部教育數據刪除。

最后,應制定正式的多元主體互動機制。可以參考歐盟做法,開發一個包含與監管沙盒有關的所有信息的單一專用界面,使利益相關方能夠與監管沙盒保持密切而持續的互動。監管機關可深入了解新型教育服務/產品的運行風險,從而對傳統監管規則予以完善;技術創新者可以低成本地測試人工智能在教育數據治理典型場景中的應用,獲取監管機構的支持與有效監督,并從教師、學生及家長等利益群體中獲取準確而詳細的隱私保護需求信息。多元主體的積極對話與反饋,有益于預判潛在風險,積累行動經驗,更好地發揮監管沙盒“以問題為導向”的前瞻性治理功能。

在人工智能時代,如何構建一種既能有效控制總體風險又能為創新提供足夠空間的監管模式,已成為監管者必須面對的挑戰。歐盟《人工智能法》為教育數據治理的分等級治理、全鏈條治理與契約性治理提供了思路,以受教育權保障為根本宗旨,厘清教育數據價值鏈上各主體的法律義務,在有效應對教育數據在采集、傳輸、存儲及應用等多個環節的潛在風險的同時,鼓勵利用顛覆性數字技術在教育領域進行負責任的創新。我國可以此為鑒,在人工智能教育數據治理中,區分法律風險,明確法律義務,創新法律機制,通過法治監管馴化人工智能“數字利維坦”,實現教育數據的差異化治理、系統性治理與多元共治。

參考文獻

[1] 尚新建.霍布斯的人性論之人造人——利維坦[J].外國哲學,2019(2):52-74.

[2] 楊寧霞,唐愛民.教育數字化轉型中的“數字利維坦”風險及其規制:基于風險社會理論的視角[J].中國電化教育,2024(9):86-94.

[3] 洪偉,任劍洪,徐麗娜,等.數據安全法實施背景下的教育數據分類分級研究[J].中國教育信息化,2022(3):41-50.

[4] 劉旭東.人工智能教育立法:基于教育法典的體系化編纂路徑[J].現代遠程教育研究,2024(5):61-71,82.

[5] 劉子婧.歐盟《人工智能法》:演進、規則與啟示[J].德國研究,2024(3):101-128,151.

[6] Klimas T,Vaiciukaite J.The Law of Recitals in European Community Legislation [J].ILSA Journal of International amp; Comparative Law,2008(15):1-33.

[7] 黃德明,謝垚琪,陳珺.保護基本權利原則在《歐盟基本權利憲章》生效后的前景分析[J].廣西大學學報(哲學社會科學版),2019(2):127-133.

[8] 杜越,祁占勇.公民教育數字權的基本內涵與法律屬性[J].中國教育學刊,2024(1):31-37.

[9] 郝倩.英國高考取消后靠算法“算”成績 近四成考生深感被算法背叛[EB/OL].(2020-08-18)[2025-02-26] http://finance.sina.com.cn/zl/2020-08-18/zl-iivhvpwy1591979.shtml.

[10] 田賢鵬.隱私保護與開放共享:人工智能時代的教育數據治理變革[J].電化教育研究,2020(5):33-38.

[11] 陳濤,劉晶蕾,張寶昆.走向自由、終身學習之路:歐洲學分轉換系統的發展歷程、規程與前程[J].比較教育研究,2012(9):75-80.

[12] 李軼凡.法國《疫情背景下教育數據使用的倫理問題》評述[J].教育傳播與技術,2021(1):55-59.

[13] 王超,孔令帥.跨國教育集團參與教育治理的案例研究[J].現代基礎教育研究,2023(3):100-107.

[14] Komljenovic J,Williamson B,Eynon R, et al.When Public Policy‘Fails’and Venture Capital‘Saves’Education:Edtech Investors as Economic and Political Actors[J].Globalisation,Societies and Education,2023:1-16.

[15] 李沖,張婷婷.負責任創新的技術治理何以可能——基于歐盟、美國、中國納米技術治理的案例分析[J].科技導報,2023(7):37-46.

[16] 李楊.“監管沙盒”制度研究[D].北京:北方工業大學,2023:9.

[17] 皮勇.歐盟《人工智能法》中的風險防控機制及對我國的鏡鑒[J].比較法研究,2024(4):67-85.

[18] 傅松濤,程利思.教育機會平等元論[J].當代教師教育,2015(3):1-6,11.

[19] Troy Lowry.The EU AI Act:A Game-Changer for Law School Admission [EB/OL].(2023-12-21)[2024-04-01] https://www.lsac.org/blog/eu-ai-act-game-changer-law-school-admission.

[20] Alex Engler.Enrollment Algorithms are Contribu-ting to the Crises of Higher Education[EB/OL].(2021-09-14)[2025-02-26]https://www.techpolicy.press/enrollment-algorithms-are-contributing-to-the-crises-of-higher-education.

[21] 謝永珍,王維祝,鐘安石.系統思維與利益相關者共同治理[J].山東經濟,2003(1):54-56.

[22] 萬斌.生成式人工智能規制中的義務主體與義務分配:以ChatGPT為例[J].太原理工大學學報(社會科學版),2024(3):29-35,44.

[23] 黃靜怡.“分級分類”與“契約”風險治理并行的人工智能監管制度構建:以歐盟《人工智能法》為分析對象[J].海南金融,2024(2):76-85.

[24] 陳振其.監管沙盒:數據要素治理新方案[J].圖書館論壇,2024(4):138-147.

[25] CNIL.EdTech“sandbox”:the CNIL Supports 10 Innovative Projects[EB/OL].(2022-05-25)[2024-08-18]https://www.cnil.fr/en/edtech-sandbox-cnil-supports-10-innovative-projects.

[26] 崔夢雪,熊樟林.智慧教育對受教育權的沖擊與應對[J].湖南師范大學教育科學學報,2023(6):64-75.

[27] Livingstone S,Pothong K,Atabey A,et al.The Googlization of the Classroom:Is the UK in Protecting Children’s Data and Rights?[J].Computersand Education Open,2024(7):1-8.

[28] 申素平,趙赫棟.數字時代國家教育權與受教育權的關系審視:兼論教育法法典化的底層邏輯[J].教育研究,2024(7):18-29.

[29] 鄭志峰.人工智能產品責任的立法更新[J].法律科學(西北政法大學學報),2024(4):3-17.

[30] 章忻.以系統思維構建數字治理生態[N].浙江日報,2022-01-20(4).

The Domestication of the “Digital Leviathan”: Legal Regulation of Artificial Intelligence Embedded in Educational Data Governance ——Based on EU Artificial Intelligence Act

WANG Yijin" QI Zhanyong

Abstract:" Artificial intelligence, as the core driving force behind the new wave of technological revolution, is increasingly integrated into and reshaping the educational ecosystem. When emphasizing the role of artificial intelligence in driving educational transformation, “the 2024-2035 master plan on building China into a leading country in education” specifically highlights the need to strengthen data security, ensure the safety of artificial intelligence algorithms, and reinforce ethical safeguards. The embedding of artificial intelligence into educational data governance has made it more intelligent, but it has also posed challenges, or even threats, to fundamental rights such as citizens’ right to education and privacy. In order to prevent the “digital Leviathan” crisis, it requires appropriate legal regulation. The EU Artificial Intelligence Act demonstrates the value of safeguarding citizens’ right to education, promoting the open sharing of educational data, and encouraging responsible innovation in educational technology within the field of educational data governance. Its multi-layered governance, full-chain governance, and contractual governance strategies provide significant insights for the legal response to educational data governance in the artificial intelligence era in China.

Key words: artificial intelligence; educational data governance; EU Artificial Intelligence Act; legal regulation

(責任編輯" 陳劍光)

基金項目:國家社會科學基金教育學重點課題“國際比較視野下職業教育社會認同的提升策略研究”(AJA220023);陜西師范大學教育數字化研究實踐項目“人工智能在高等教育領域的應用風險及其法治監管”(JYSZH201310)。

作者簡介:王伊晉,陜西西安人,陜西師范大學教育學部博士研究生,主要從事比較教育政策、教育法學研究;祁占勇,陜西師范大學教育學部教授、博士生導師。西安,710062。

猜你喜歡
人工智能
我校新增“人工智能”本科專業
用“小AI”解決人工智能的“大”煩惱
汽車零部件(2020年3期)2020-03-27 05:30:20
當人工智能遇見再制造
2019:人工智能
商界(2019年12期)2019-01-03 06:59:05
AI人工智能解疑答問
人工智能與就業
IT經理世界(2018年20期)2018-10-24 02:38:24
基于人工智能的電力系統自動化控制
人工智能,來了
數讀人工智能
小康(2017年16期)2017-06-07 09:00:59
人工智能來了
學與玩(2017年12期)2017-02-16 06:51:12
主站蜘蛛池模板: 真实国产精品vr专区| 免费无码在线观看| 亚洲无码91视频| 亚洲精品片911| 久久亚洲美女精品国产精品| 亚洲欧美不卡视频| 成人噜噜噜视频在线观看| 日韩精品亚洲人旧成在线| JIZZ亚洲国产| 日韩欧美视频第一区在线观看 | 精品剧情v国产在线观看| 四虎永久在线视频| 久久精品女人天堂aaa| 成人免费一级片| 高清不卡毛片| 欧美五月婷婷| 伊人精品视频免费在线| 99久久精彩视频| 美臀人妻中出中文字幕在线| 国产一二三区视频| 无码中文AⅤ在线观看| 国产成人精品综合| 青青草综合网| 热久久综合这里只有精品电影| 亚洲男人在线天堂| 国产成人久久777777| 国产成人综合久久精品尤物| 精品91视频| 凹凸精品免费精品视频| 成年人视频一区二区| 国产成人三级在线观看视频| 欧洲亚洲欧美国产日本高清| 被公侵犯人妻少妇一区二区三区| 欧洲亚洲欧美国产日本高清| 无码高潮喷水在线观看| 99久久性生片| 91精品国产91久久久久久三级| 久久永久免费人妻精品| 亚洲三级成人| 美女国产在线| 激情综合网址| 国内精品久久久久鸭| 99资源在线| 久久国产成人精品国产成人亚洲| 国产菊爆视频在线观看| 亚洲天堂成人在线观看| 国产欧美日韩精品第二区| 青草免费在线观看| 国产91麻豆视频| 欧美日韩成人在线观看| 久久精品91麻豆| 99久久精品国产综合婷婷| 久久这里只精品热免费99| 一本大道在线一本久道| 国产精品大白天新婚身材| 在线观看无码av免费不卡网站| 国产AV无码专区亚洲A∨毛片| 高清视频一区| 伊人中文网| 久久人人爽人人爽人人片aV东京热 | 日韩人妻少妇一区二区| 婷五月综合| 国产91视频免费观看| 亚洲AV无码久久天堂| 国产理论精品| 日本在线欧美在线| 国产喷水视频| 亚洲精品无码抽插日韩| 亚洲欧美日韩动漫| 五月天久久综合国产一区二区| 久久毛片免费基地| 国产亚洲成AⅤ人片在线观看| 国产高清无码麻豆精品| 色哟哟国产精品| 亚洲第一精品福利| 欧美亚洲国产视频| 欧美www在线观看| 美女无遮挡拍拍拍免费视频| 中文字幕欧美日韩高清| 91网在线| 国产丝袜啪啪| 9丨情侣偷在线精品国产|