人工智能課程教學評價量規設計模型與實踐案例研究

李睿?何敏怡

摘 要：研究主要圍繞人工智能課程教學評價展開，從人工智能課程教學評價現狀、人工智能素養培養目標、傳統評價理念與新型課程的矛盾沖突出發分析人工智能課程教學評價研究的必要性和迫切性。接著就評價量規應用于人工智能課程教學評價的適切性展開探討。針對評價量規設計與落實，研究基于經典的評價系統三要素模型設計出指向人工智能課程教學評價的評價量規設計模型，具體為目標——期望成就、認知——學習進階、觀察——任務情境、詮釋——評價量規四個步驟。根據模型以“智能分類器的特征提取”教學內容為例，展示完整的評價量規設計流程。最后論述了評價量規的應用有望讓課程評價實現學生主體性、客觀性、個性化和智能化。

關鍵詞：學習進階；評價設計；量規；人工智能課程；人工智能素養

中圖分類號：G434文獻標志碼：A文章編號：2096-0069（2023）01-0077-08

引言

國務院發布的《新一代人工智能發展規劃》和教育部印發的《教育信息化2.0行動計劃》中都同時強調，應逐步向全民普及人工智能教育，特別是做好中小學階段人工智能課程的建設和推廣[1-2]。可以說在中小學開展基礎性的人工智能課程是必然趨勢。那么，人工智能課程到底能夠在多大程度上完成正確價值觀、基本知識與能力的培養是面臨的關鍵問題之一。要回答這個問題，繞不過教學評價。從系統性角度出發，人工智能課程的教學評價在設計上既要“看見”新型課程的特點，又要“看見”學生學習的規律。

一、研究現狀

我國中小學人工智能教育發展進入快車道，各省市區和各級各類學校積極開展人工智能課程。[3]其中，教學評價是完整教學過程的重要一環，成功的評價設計能給學生學習、教師教學及利益相關者的教育行動帶來真實而有價值的反饋。但目前國內學界對中小學人工智能課程評價的關注度不高[4]，對具體教學評價方案的研究內容較少[5]。基于此，本文回答了人工智能課程應該“怎么評”的問題，并展示了相關教學案例。以期彌補我國人工智能課程評價研究之薄弱，希望為人工智能教學實踐提供些許借鑒。

對于人工智能課程應該“怎么評”的問題，樓又嘉等人[6]提倡開展實證取向的課程評價，認為應關注形成性評價和總結性評價的過程，關注學生學習全過程和最后學習成果及案例的呈現，并構建人工智能課程考核評價量規。詹澤慧等人[7]認為應在人工智能課程中開展表現性評價，可以從學生的行為、作品、項目工作日志、試題或量表五個方面進行評價。可見，針對人工智能課程的教學評價總體趨勢是基于學習證據和學習者表現的評價，但目前也存在一些誤區和不足。一是直接套用信息技術課程目標，或把計算思維和編程能力作為主要教學目標。雖然人工智能是信息技術的分支，但人工智能課程有其特殊的教育使命，不能混為一談。二是評價不是指向素養能力達成情況，而是指向具體任務的完成情況，如作品出現或未出現的具體元素、作品外觀等，實際上只是項目清單，這種籠統的評價指向甚至會束縛創造性和元認知的發展。三是各研究者只是發現了課程中缺乏“評價量規”等工具的使用等問題，但并未給出具體解決措施。出現這些誤區與不足的原因，主要在于人工智能課程評價設計缺乏系統性。所謂系統性，意味著評價設計不是獨立存在的，而是在課程設計中與其他課程要素相聯系的，共同服務于課程實踐。其中，學術概念“課程聯合”正是反映了這種系統視角下對評價設計的認識，即不同類型的學習結果和學習內容需要匹配不同的評價技術[8]。完整的教學評價設計應是自上而下的，即要從人工智能課程的評價目標、評價內容、評價標準、評價方式、評價工具來層層推演和精心設計。那么，與人工智能課程目標、內容、結果相匹配的評價應是什么樣的呢？

二、評什么：適應智能社會的人工智能素養

若要回答人工智能課程教學“怎么評”，首先應明確評價目標，即“評什么”。我國研究者早已意識到人工智能素養的重要意義，并從不同角度對其進行研究和解構。侯賀中等人[9]從智能意識、智能態度、智能倫理、智能知識、智能技能、智能思維、智能創新等7個維度構建了智能素養金字塔模型，并把智能素養劃分為初級（感受）、中級（體驗）、高級（創新）三個遞進的階段。鄭勤華等人[10]從人機協同的融合智能觀出發，從智能知識、智能能力、智能思維、智能應用、智能態度五個維度闡述了智能素養的構成。張銀榮等人[11]以“人工智能五大理念”為理論基礎，建構了人工智能素養結構模型，其中AI 知識、AI 能力、AI 倫理是人工智能素養的3個重要維度。無論人工智能素養的構成維度如何發生變化，實際上可以看出人工智能素養并非指某一種特定的知識或簡單的能力，而是指在智能時代基于全新的人與技術的關系視角重建人的自我認知，學會與智能技術共處的一整套知識、技能、價值與信念。中央電化教育館發布的《中小學人工智能技術與工程素養框架》中，明確指出以適應未來智能社會的必備品格和關鍵能力培養作為教學目標，本質上也是指向以人為本的人工智能素養的達成[12]。

當然，人工智能素養能力的內涵并非靜態而是發展的。聯合國教科文組織的人工智能素養能力框架的設計立足于以學習者為中心的教育理念，強調學習者（特別是非技術學習者）如何理解人工智能及如何與人工智能交互和合作。故而，從數字人文主義視角出發，以聯合國教科文組織的人工智能素養能力框架為基礎，結合我國《中小學人工智能課程開發標準（試行）》和《中小學人工智能技術與工程素養框架》，重構中小學人工智能素養能力框架。研究通過梳理人工智能素養各要素，圍繞對人工智能的五個認知問題重構了素養能力框架（見下頁圖1）：什么是AI，AI能做什么，AI如何工作，如何設計AI系統，如何應用AI。在聯合國教科文組織的素養能力框架下，增加“如何設計AI系統”這一問題框架，包含算法、編程、系統工程、系統設計與開發、系統評估與維護5個能力維度。在“AI如何工作”問題下，增加“人機協同”這一維度，突出人機協同工作能力培養的重要性。在“如何應用AI”問題下，增加價值觀、智能社會2個維度，形成從思想觀念到社會生活實踐全面的素養提升目標。通過學習“什么是AI”和“AI能做什么”，發展學生的人工智能意識；通過學習“AI如何工作”和“如何設計AI系統”，發展學生的技術應用能力；學習“如何應用AI”，發展學生的智能社會責任；而實踐創新思維的發展需貫穿整體課程學習當中。

三、怎么評：基于學習進階的評價量規

（一）量規應用于人工智能課程評價的適切性

研究者提出了有效反饋模型，為了縮短目前表現與理想目標之間的差距，有效的反饋要回答“我要達到什么水平”“我如何達到目標水平”和“下一個目標是什么”三個問題。教學評價實際上就是一種反饋，而量規就是實現有效反饋的工具之一。它支持重申學習期望，支持監控學習和自我調節學習。量規是針對學生學習制定的，它包含一組清晰連貫的標準，以及這組標準下各層級的表現質量描述。[13]量規主要用于對兩類學習表現進行評估：一是可觀察到的學習過程，二是學習生成的實體成果。下面將從4個維度闡明量規應用于人工智能課程評價的適切性。①評價目的適切。發揮評價的導向作用，使其支持到學習發生和教學開展，是先進評價理念所推崇的評價目的。評價量規能為學習和教學提供有意義且具體的反饋和線索，特別是在教師難以照顧到所有小組的學習時，小組成員可以通過對照量規標準反思自身學習水平和改進學習。②評價目標適切。培養“數字公民”是人工智能課程的教育使命，因此課程目標指向適應智能社會的核心素養能力。素養能力的養成是一個由知識技能習得到能力發展，再到思維模式和信念建立的連續遞進過程。而量規具有連續清晰的標準和各層級表現描述，能夠真實反映學生學習過程思維的變化，引導學生朝教育目標發展。③評價方式適切。在課標中，多次強調要落實以項目式學習方式開展人工智能課程。在實踐中，可以觀察到機器人教育、創客教育、編程教育等也一般依托小組進行協作項目式學習。這種學習方式賦予了人工智能課程實踐性、發展性、開放性和學生主體性的特點。而過程性評價傾向于“過程”與“發展”的價值取向，強調目標與過程并重，是一種主張內外結合的、開放的、教學評融合的評價方式[14]，能與項目式學習特點相契合。實際上，作為評價工具的量規與過程性評價的理念天然具有高度的一致性。一是考慮到量規主要的評價范圍；二是量規既能支持“量化”的外部測量，又能實現“質性”的內部評估；三是量規支持評價主體多元化，突出協作和共同參與；四是量規的評價信息和學習線索回流促進學生自我調節的發展、學習項目的發展以及教師教學的發展。

④評價內容適切。人工智能屬于應用科學，其課程內容往往與生活和生產實際聯系緊密，多為建構不良的學習專題，例如人工智能倫理問題、算法與程序設計、設計新技術解決方案等。評價量規能超越局限于有標準答案的知識評價，能夠很好地對建構不良的學習內容及較抽象的能力素養進行評價，設計合理的量規，甚至還能發揮學生的創造性和元認知。

（二）評價量規設計的依據和模型

評價量規的設計要基于對人是如何學習該學科領域的知識的研究和理論進行分析，量規中各層級的表現質量描述要依據“學生的理解如何發展”這一認識展開，實際上就是學生認知模型。有效的評價系統必須包含3個關鍵要素——認知、觀察、詮釋，且這3個要素必須加以連接形成協同的整體。考慮到學科核心素養和課程目標的落實在教學評價設計中發揮著指引性的作用，因此我們認為目標也是評價系統的關鍵要素之一。在經典的評價系統3要素模型基礎上，研究設計出指向人工智能課程教學評價的評價量規設計模型（見圖2）。該模型從目標出發，連接認知、觀察、詮釋。四個部分構成循環協同的整體。

在這里，目標指通過課程學習，學生在此學科領域內要達到的期望成就。期望成就是人工智能素養能力在相應課程內容中的具體體現。認知是指學生在此領域獲取的認識和知識，它是關于學生如何表征知識，以及如何從新手發展成為專家的過程的認識。其中，學習進階（也稱構念地圖）是描述學生隨著學習時間推移，其某種知識或能力發展所展示出來的學習路徑，它為創建有意義的評價提供清晰的指南，是后續觀察和詮釋兩個環節的重要基礎。實際上，隨著學習進階研究的影響力不斷拓展，許多研究機構和學者以此為基礎，進行測評開發和設計。例如伯克利評估與測量研究中心的BEAR測評系統就是較有代表性的產品[15]。觀察是指借助任務情境學生提供可觀察的知識習得與能力發展的有效證據。教師或評估設計者應該了解什么可以用來揭示學生知道什么和可以做什么，什么特定的任務可能引發的知識和技能的類型。詮釋是指對觀察中收集到的證據加以理解和判斷的過程。指向目標期望成就的、包含各層級學習表現描述的評價量規，是理解證據并給出定量或定性判斷的有效途徑。基于此，學生的學習得到客觀的評價，評價的反饋信息反過來對課程目標達成情況進行檢驗，教師利用這些信息可以進一步改進學習進階模型，修改任務情境設計方案。該模型重點為人工智能課程應該“怎么評”提供一種思路，同時也為課程的項目、任務和情境設計提供相關指引。

（三）實現：評價量規設計的案例

本部分主要以“智能分類器的特征提取”為案例，展示如何根據上文提出的設計模型實現針對具體教學內容的評價量規設計。該教學內容選自《人工智能基礎（高中版）》（華東師范大學出版社出版）教材第二章第2小節“提取特征”，主要讓學生認識智能分類器及其運作機制，掌握其中重要的步驟“提取特征”。內容主要由理解分類過程、識別事物的特征和有效特征、量化有效特征并轉化成特征向量、利用特征向量構建特征空間并理解如何利用特征空間進行分類等組成，筆者將本課命名為“智能分類器的特征提取”。

步驟一：根據上述中小學人工智能素養能力重構框架和本節教學內容確定教學最終需要達成的期望成就（見表1）。

步驟二：學習進階的開發并不是一蹴而就的，而是一個假設與驗證、理論與實踐不斷交替、逐步完善的過程，最終確認學生理解和發展的真實軌跡。本案例采用自上而下的方法預測學生思維的發展，開發學生對“智能分類器的特征提取”學習內容理解情況的學習進階（見表2）。該學習進階還需后續改進、完善。

步驟三：任務情境的設計是為了推動學習的展開和充分展現學生的知識技能和情感態度價值觀，幫助學生和教師了解學習進度。針對需要觀察的學習成就設計對應的任務情境（見圖3），任務總體上層層遞進，由易到難，以期在學生完成任務過程和提交的任務成果中透視出學生的成就水平。任務情境可以是開放式的，如案例中任務三的方案設計，沒有給出固定的問題，充分發揮學生的想象力和觀察力；當然也可以是半開放式的，例如蕨類植物的智能分類系統設計，這樣有利于減輕教師課堂教學的難度和工作量。

步驟四：使用評價量規可以測量和詮釋通過任務情境收集到的學習成就證據，最終獲得對學生學習的客觀評價。評價量規編制過程中需要注意：關注學習成就而非任務，任務只是成就水平展示的媒介，量規內容應指向任務所預示學習成就的特征，而不應淪為任務清單或作品要求；關注學習過程而非分數等級，量規不應充當簡單的打分工具，而是能指明“我現在在哪里”和“我將要去哪里”，作為促進自我調節和學習反思的有效手段。在本案例中，評價量規針對每個學習任務，下設一級指標和二級指標，并對每個指標的含義進行描述。等級劃分與學習進階呼應，共設計了4個等級，盡量涵蓋學生表現的各類情況（見表3）。

四、總結與展望

本文就人工智能課程應該如何進行教學評價展開研究，提出了基于學習進階的評價量規設計模型，并展示了完整的評價量規設計流程。通過對“提取特征”學習內容進行了評價量規的設計，可以看到在人工智能課程教學中，能夠實現對每個學習者學習表現的精準評價與指導；更重要的是，通過此類型的學習評價，為學習者的分步驟、階段性學習進階提供了可觀察、詮釋的學習依據。評價量規與人工智能課程的結合，有望實現教學評價的學生主體性、客觀性、個性化和智能化。學生主體性意味著學生不僅僅是被動的評價對象，更是對學習效能起決定性作用的主體，學生應當參與學習評價的全過程。崔允漷指出學習評價的新范式——“促進學習的評價”已逐漸成為主流[16]。評價量規有利于促進自我調節的學習，調動學生的元認知，學生使用評價量規不但能夠檢驗自身的學習成果，更重要的是能夠獲得對學習的掌控和學會學習。為教師、學生、同伴、家長提供簡明且操作性強的評價量規，有利于多元化主體共同參與評價，使評價可以基于不同視角和不同維度展開，最終獲得比較公平客觀的評價結果。評價量規對每個層級的表現都有細致描述，能照顧到學生學習的個性化差異。學習是一個發展性的過程，個體經驗和社會文化的差異讓每個學生處在不同的理解階段，利用評價量規，每個學生都可以得到個性化評估。同時，評價量規有可能為學習評價和人工智能技術相結合提供機會，實現評價的智能化。通過應用智能技術收集證據和基于評價量規進行推理評估，為每個學生生成個性化的能力雷達圖，立體展示其人工智能素養整個能力圈層中各目標的完成情況。

關于人工智能課程教學評價的相關問題，在未來研究中還可以從以下幾個方面深入探討。一是完善學生在人工智能學科領域學習的學習進階，從理論和實踐研究中明確學生理解和發展的真實軌跡。二是檢驗評價量規的實際應用效果，如收集評價量規促進學習的證據、了解不同主體視角下評價量規的作用和影響，為人工智能教育收集循證依據。三是技術賦能教學評價，開發基于評價量規的智能評價工具，人機協同促進評價與決策。四是運用評價量規進一步跟蹤學生的人工智能價值觀的轉變軌跡。五是基于評價量規探索符合人工智能教育規律的教學新路徑。

[1]國務院.國務院關于印發《新一代人工智能發展規劃》的通知[EB/OL].（2017-07-20）[2022-05-01].http：//www.gov.cn/zhengce/content/2017-07/20/content_5211996.htm.

[2]教育部.教育部關于印發《教育信息化 2.0 行動計劃》的通知[EB/OL].（2018-12-31）[2022-05-01].http：//www.gov.cn/zhengce/zhengceku/2018-12/31/content_5443362.htm.

[3]盧宇，宋佳宸.中小學人工智能教育的現狀、實施與發展[J].人工智能，2011（2）：8-13.

[4]郭可欣，劉俊強.我國中小學人工智能教育的研究綜述[J].中國信息技術教育，2022（2）：74-78.

[5]陳婧雅.高中人工智能課程的表現性評價框架設計與分析[J].中國現代教育裝備，2021（12）：40-42.

[6]樓又嘉，李一航，王永固，等.人工智能基礎教育課程全球圖譜：開發框架與實施方略——UNESCO《K-12人工智能課程圖譜》報告解析[J].遠程教育雜志，2022，40（3）：3-15.

[7]詹澤慧，姚佳靜，吳倩意，等.人工智能課程中表現性評價的設計與應用[J].現代教育技術，2022，32（5）：32-41.

[8]恰瑞羅特.情境中的課程：課程與教學設計[M].楊明全，譯.北京：中國輕工業出版社，2007.

[9]侯賀中，王永固.人工智能時代中小學生智能素養框架構建及其培養機制探討[J].數字教育，2020，6（6）：50-55.

[10]鄭勤華，覃夢媛，李爽.人機協同時代智能素養的理論模型研究[J].復旦教育論壇，2021，19（1）：52-59.

[11]張銀榮，楊剛，徐佳艷，等.人工智能素養模型構建及其實施路徑[J].現代教育技術，2022，32（3）：42-50.

[12]教育部教育技術與資源發展中心.中央電化教育館《中小學人工智能技術與工程素養框架》正式發布[EB/OL].（2021-11-30）[2022-06-24].https：//www.ncet.edu.cn/zhuzhan/xgwzxwzx/20211130/5559.html.

[13]哈蒂，馬斯特斯，伯奇.可見的學習在行動[M].彭正梅，任紹楊，鄧莉，等譯.北京：教育科學出版社，2018.

[14]蘇珊.布魯克哈特.如何編制和使用量規：面向形成性評估與評分[M].杭秀，陳曉曦，譯.寧波：寧波出版社，2020.

[15]姚建欣，郭玉英.學習進階：素養的凝練與范式的演變[J].教育科學，2018，34（4）：30-35.

[16]崔允漷.促進學習：學業評價的新范式[J].教育科學研究，2010（3）：11-15，20.

（責任編輯 孫興麗 王策）

Researoh on the Rubric-Based Model for AI Curricula Teaching Evaluation and Practical Case

Li Rui1， 2，He Minyi1

（1. Educational Technology Department，School of Information Science and Technology，Yunnan Normal University，

Kunming， Yunnan，China 650500）

Abstract： This research mainly focuses on the teaching evaluation of AI curricula.It analyzes the necessity and urgency of this topic from the current situation of AI curricula teaching evaluation，cultivation objectives of AI literacy and the conflict of traditional evaluation concepts and new curriculum.Then it discusses the relevance between the rubrics and the teaching evaluation of AI curricula.The research is based on the classic three-element model of the evaluation system to propose a rubric design model that aims at the teaching evaluation of AI curricula.It includes four steps：goal-expected achievement， cognition-learning progression， observation-task context，interpretation-evaluation rubric.According to the model， the teaching content of “feature extraction of intelligent classifier” is taken as an example to show the complete design process.Finally，it is discussed that the application of evaluation rubric is expected to realize the student subjectivity，objectivity，individualization and intelligence of evaluation.

Key words：? Learning Progressions;Evaluation design;Rubric;AI curriculum;AI literacy

收稿日期：2022-08-17

基金項目：國家自然科學基金-地區科學基金項目“多元文化環境下面向用戶的個性化在線學習中的關鍵技術研究”（61967015）

作者簡介：李睿（1979—），女，福建上杭人，副教授、碩士生導師，研究方向為計算機教育、移動學習、教學設計，系本文通信作者；何敏怡（1993—），女，廣東江門人，碩士研究生，研究方向為人工智能教育。