面向教學“測評”的智能教育軟件評估指標體系

摘" "要：數智技術方興未艾，智能教育軟件層出不窮，面向教學“測評”的智能教育軟件魚龍混雜。構建面向教學“測評”的智能教育軟件評估指標體系是掌握其質量線的關鍵。基于文獻研究、市場調研、專家協商研討等方法，探討面向教學“測評”的智能教育軟件評價指標體系的構建。該指標體系由二級評估維度和三級評估指標組成。評估維度中包含三個一級維度：考試測試、教師評估、學生評估。其中，考試測試維度包含五個二級維度：智能組卷、智能閱卷、智能考試分析、智能考試管理、在線考試管理；教師和學生評估維度均包含五個二級維度：數據收集、數據處理、評價方案、評價反饋、評估場景。三級評估指標包含三個一級指標：功能實現值、業務契合值、魅力屬性值；五個二級指標：功能實現值、功能完整值、場景需求匹配值、功能先進值、業務創新值；若干三級指標。基于所提出的評估指標體系，可同時為深入了解現有面向教學“測評”的智能教育軟件的發展水平與特征、挖掘不同類型用戶使用智能教育測評軟件潛在功能需求、開發新的智能教育測評軟件等工作提供科學依據和理論指導。

關鍵詞：教學測評；智能教育；教育軟件；評估指標；指標體系

中圖分類號：G434" " " " "文獻標志碼：A" " " " "文章編號：1673-8454（2024）07-0064-09

一、問題提出

2020年，中共中央、國務院印發《深化新時代教育評價改革總體方案》，指出要創新評價工具，利用人工智能、大數據等現代信息技術，探索開展學生各年級學習情況全過程縱向評價、德智體美勞全要素橫向評價。學術界與工商界為適應新時代對教育評價工作的具體要求不斷探索創新，都獲得了一定的成效。學術界相繼開展探討數智賦能下智慧教育未來范式的研究工作；[1]深度挖掘新時代教育評價的意蘊內涵并探索其實現路徑等研究。[2]工商界的同仁則致力于依托智能信息化系統載體，將智能技術引入教育評價全過程。[3]無論是來自學術界的專家和學者抑或是來自工商界的同仁，更傾向關注如何引領未來智能技術賦能教育測評的相關議題，但對當前實踐如何影響未來實踐的議題尚存巨大研討空間。值得我們關注的是，當前已經開發了足夠充分的智能評價系統，甚至已經形成諸多將這些系統應用于教學的優秀實踐案例。評估現存智能評估系統的質量，能夠為潛在用戶在教學測評過程中合理有效地利用和使用這些工具，提供正確的方向指引。因此，評估當前面向教學“測評”的智能教育軟件質量將成為引導其健康有序發展的一項重要工作。基于此，本文將致力于構建面向教學“測評”的智能教育軟件評估指標體系，最終以量化指標衡量智能教育軟件質量線。

二、面向教學“測評”的智能教育

軟件評估現狀

（一）政策背景

我國先后出臺《中國教育現代化2035》《新時代基礎教育強師計劃》等一系列政策文件，實施人工智能助推教師隊伍建設行動，旨在培養適應智能技術的新型教師。鑒于此，我國學者開展了系列相關研究工作：如何推進智能教育技術深度應用和教師專業發展，[4]深入分析國內中小學教師智能教育素養相關評價研究，[5]挖掘教師智能教育素養核心要素，[6]結合教師教育、人工智能、教育技術、教育測評等相關領域的專家意見和一線教師實踐經驗，構建科學系統的中小學教師智能教育素養評價指標體系，[7]基于評價指標體系開展中小學教師智能教育素養評價實踐。國外學者也開展了有關教育科技產品質量評估的相關研究工作，如美國教育技術指南（ISTE）推出了ISEL（ISTE標準評估指數），用于評估教育科技產品的質量和對學習的有效性，[8]通過收集和分析學生在軟件上的行為數據評估軟件的教學效果和學習進展，[9]根據學生的個性化需求提供智能化的學習建議等研究工作。[10]

（二）理論研究現狀

當前在教育領域，智能教育軟件已成為一種重要的教學輔助工具，其評估也成為教育技術研究的熱點。有學者指出，教育類軟件的評估應以教學設計理論、產品理論等為依據。教育理論作為教育軟件區別于其他軟件的特征，評價其是否符合教育規律、達成教育目標；分析其作為智能應用程序的技術特征。教育軟件的發展歷程受不同的教學理論影響，主要經歷了行為主義學習理論、認知主義學習理論和建構主義學習理論三個階段，而教育軟件設計也相應地從程序教學發展至多媒體教學并有向智能化、網絡化發展的趨勢。現階段，建構主義學習理論是教育技術學界及相關產業界人士較為廣泛接受的學習理論，在指導學習過程發生乃至教育軟件開發方面都有不可忽視的重要作用。關于面向教學的智能教育軟件評估，包括教學目標達成度、學生滿意度、教師滿意度、教學效果等方面，以及個性化教學、智能化推薦、數據驅動、互動性、易用性等。學者提出了多種評估方法和指標體系，如基于教學過程的評估、基于學習成果的評估、基于教師與學生滿意度的評估等。評估指標體系主要包括教學內容、教學方法、教學管理、教學效果等方面的指標。[11][12]隨著人工智能、大數據等技術的發展，智能教育軟件的評估也將迎來新的機遇。[13]未來，智能教育軟件評估將更加注重數據驅動、個性化評價，以及與教育教學實踐的緊密結合。[14]

（三）實踐探索現狀

近年來，許多研究者通過實證研究方法，探討了智能教育軟件在教學中的應用效果及其評估。這些研究為我們理解智能教育軟件的優缺點，以及如何進行有效評估提供了寶貴的實踐經驗。教育軟件評估指標的設置需要結合不同的教育場景和教育階段。按照評估指標的適用性，當前教育軟件評估指標可分為針對性的教育軟件評估指標、非針對性的教育軟件評估指標兩大類。針對性的教育軟件評估指標即針對某一學段或專業的學生/教師用戶的教育軟件構建的評估指標，非針對性的教育軟件評估指標即針對所有教育類的軟件通用型評估指標。由于覆蓋的教育軟件不同，在指標的設置上存在明顯差異。依托無感式、伴隨式數據采集，人工智能進行多元化、過程化大數據分析，能夠幫助教師實現各學段全過程縱向評價、德智體美勞全要素橫向評價，實現評價的智能化。

綜上所述，面向教學的智能教育軟件評估在理論概念、內涵、核心特征、評估方法與指標體系、實證研究等方面取得了一定的研究成果。然而，智能教育軟件評估仍面臨許多挑戰，如如何有效融合人工智能技術、如何提高評估的準確性等。因此，我們需要構建面向教學“測評”的智能教育軟件評估指標體系，系統而清晰地描繪軟件應用場景、梳理軟件核心功能、廓清軟件關鍵屬性，從而為智能軟件賦能教學測評提供更好的支持。

三、面向教學“測評”的智能教育軟件

評估指標體系構建邏輯思路

（一）構建緣起：遵從教學“測評”工作變革的政策引導

教學測評內容與測評方式的轉變是新時代面向教學“測評”工作變革的重要領域，也是新時代教育評價改革政策治理關注的焦點議題。中共中央、國務院印發的《深化新時代教育評價改革總體方案》中明確指出，在評價方式上要通過信息化等手段，探索學生、家長、教師、社區等參與評價的有效方式，客觀記錄學生品行日常表現和突出表現，特別是踐行社會主義核心價值觀情況，將其作為學生綜合素質評價的重要內容。數智技術的迅猛發展催化測評方式的轉變。新時代中高考改革和綜合素質評價都需要創新大規模教育測評方法與技術，優化評價體系和數據采集標準，應用大數據感知、互聯、存儲、計算、分析技術，構建跨區域、跨場景的智能化測評系統平臺和工具，形成基于證據和大數據（全樣本）的教育評估體系。智能技術為結果評價、過程評價、增值評價、綜合評價等方式提供數據支持，提高教育評價的科學性、專業性和客觀性。面向教學“測評”的智能教育軟件作為智能技術賦能教學測評的重要載體，構建其質量評估體系成為順應教學測評變革政策引導的重要工作。

（二）構建基石：描繪面向“測評”的智能教育軟件質量

有研究指出，對教育軟件的評估，應該以軟件的質量為基礎，并進一步探討教育軟件對用戶的價值。[15]但軟件的質量抽象，難以直接測量。為了對軟件質量進行刻畫，評估者往往會從軟件質量的體驗即用戶滿意度入手，從側面對軟件質量進行反饋和評估。根據用戶體驗模型，針對產品體驗的設計應該在分析軟件目標用戶的需求和產品目標后，進行對產品功能規格的創建。[16]功能對軟件產品的重要性不言而喻，功能越強大的軟件往往具有更高的用戶滿意度。為了較為系統地對軟件功能進行評估，嘗試構建“功能屬性值”這個一級指標。在該一級指標下，為了評測軟件所提供功能的豐富性，又設計了“功能完整值”這個二級指標，意在評價某一軟件所提供的功能是否較為完整地覆蓋市場上同類產品的核心功能；在功能有無的基礎上，為了對功能使用的真實體驗進行評估，在評估機制中進一步篩選剔除功能泛濫卻粗制濫造的軟件，增設“功能實現值”這個二級指標，從用戶對軟件功能質量和軟件設計質量設計的體驗感受出發，實現對軟件功能實現程度的評估。本研究選取《編程的原則》提出的非功能需求指標中的“可靠性、可維護性、可移植性、效率性”及指標解釋，并加入功能性、易用性這兩項指標，形成智能工具指數評估體系功能實現值的指標項。[17]

（三）構建路徑：構建面向“測評”的智能教育軟件評估指標體系的過程與方法

本研究構建面向教學“測評”的智能教育軟件評估指標體系的過程主要歷經三個階段，分別是文獻研究、市場調研、專家協商研討。在文獻研究階段，對智能教育軟件和智能工具指數核心概念進行系統梳理及界定，并檢索已經構建的智能教育軟件評估指標體系和相關研究進行分析；在市場調研階段，對國內面向教學“測評”的智能教育軟件的主要應用場景和主要功用等維度展開調研。在此基礎上，形成面向教學“測評”的智能教育軟件評估指標體系維度及指標架構的初步劃分；在專家協商研討階段，通過咨詢專家、與專家展開深層次的交流研討，完善面向教學“測評”的智能教育軟件評估指標體系。

四、面向教學“測評”的智能教育

軟件評估指標體系架構

綜合文獻研究、市場調研、專家協商研討等方法，構建面向教學“測評”的智能教育軟件評估指標體系。該指標體系由二級評估維度和三級評估指標架構兩部分構成。該指標體系用于考試測評、教師評估、學生評估三個應用場景。

（一）面向教學“測評”的智能教育軟件評估維度架構

面向教學“測評”的智能教育軟件評估體系中的第一部分是評估維度架構。評估維度旨在描繪智能教育軟件的應用場景及主要功能。該架構包含“考試測評”“教師評估”“學生評估”三個一級維度，分別對應面向教學“測評”智能教育軟件的應用場景。

1.考試測評維度

考試測評是面向教學“測評”的智能教育軟件的重要應用場景，也是檢驗學生學習能力和知識儲備的重要形式之一。傳統的考試即通過書面、口頭提問或實際操作等方式，考查參試者所掌握的知識和技能，參試者需在規定時間內按指定的方式解答精心選定的題目，或按要求完成一定的實際操作任務，并由主辦方評定結果，從而為主辦方提供考生某方面的知識或技能狀況的信息。

在中小學階段的考試測評的形式以筆試為主，教師根據學生的學段、教學大綱出題，組織學生在規定的時間內作答。試卷命題需合理掌握試卷的深度，盡可能覆蓋全體學生；貫徹理論聯系實際的原則，既要考核學生對基本理論、基本知識和基本技能的掌握程度，也要檢查學生運用基本理論分析問題和解決問題的能力；不宜出偏題、怪題。為實現高效命題和提高命題的準確度，教師通常會參考考查知識點的相關題目，并結合所教學生的實際學情命題。因此，教師對考試測評類智能教育軟件的主要需求在于，軟件需提供優質且豐富的題庫以供篩選；能夠幫助教師減少批閱的工作量；能夠形成精準的答卷分析報告，以便教師發現學生的學習問題，以及在線下考試無法正常組織的情況下，能夠支持教師組織線上考試。

2.教師評估維度

教師評估是面向教學“測評”的智能教育軟件的重要組成維度。教師肩負著重大的歷史使命和社會職責，承擔著培育新一代德才兼備的棟梁之才的重要使命。高素質的教師隊伍是培養優秀學生的關鍵，而教師評估則是打造高素質教師隊伍的重要抓手。2021年9月，教育部教師工作司司長任友群在中國教育科學論壇分論壇中提出“教育評價事關教育發展方向，教師評價事關教師隊伍建設，師德師風是教師評價的第一標準”。《深化新時代教育評價改革總體方案》中關于教師評價提出了五項任務：一是堅持把師德師風作為第一標準，二是突出教育教學實績，三是強化一線學生工作，四是改進高校教師科研評價，五是推進人才稱號回歸學術性、榮譽性。

傳統的教師評估主要依靠人工審核資料，各學校按照自己的評價指標體系進行核算。教師評估的周期較長，一般在學期末匯總整個學期的資料，教師往往需要耗費大量的精力核算一學期的工作績效和成長表現。優秀的教師評估智能教育軟件，能夠優化教師評估的過程、方式，從一定程度上減輕教師的工作量。前期調研結果顯示，教師評估類智能教育軟件主要是通過數據的獲取和分析、評價方案的設置和反饋相關功能，來滿足教師績效評價、課堂教學評價、成長記錄等需求。

3.學生評估維度

學生評估也是面向教學“測評”的智能教育軟件的重要組成維度之一。學生評估事關學生發展，學生發展事關國之未來。《深化新時代教育評價改革總體方案》中明確指出，要堅決克服“五唯”頑疾，“提高教育治理能力和水平，加快推進教育現代化”。以人工智能為媒介，實現學生評估工作數字化轉變，是教育評價改革的發展方向。我國的教育目標是培養擔當民族復興大任的時代新人，培養德智體美勞全面發展的社會主義建設者和接班人。如何評估學生的全面發展一直是教育工作的重難點之一。學生評估既不能唯分數，又要貼合學生的成長實際；既要注重學生成長的結果，又要注重發展和變化的過程。不可否認的是，長期以來教師受限于時間和精力等原因，造成學生評估工作流于形式，評估周期以學年為單位，無法真切記錄學生的成長變化。但在教育工具智能化的趨勢下，教師不難對學生評估工作破立并舉，推進學生評估取得實質性突破，進而提高評價的科學性、專業性和客觀性。

根據前期對學生評估類智能教育軟件進行調研的結果，本研究所涉及的學生評估類智能教育軟件包括學生學業成績評價、學生成長電子檔案袋、綜合素質評價體系、德育評價系統、智育評價系統、體育評價系統、美育評價系統、勞育評價系統、學生行為評價九種。教師評估類智能教育軟件與學生評估智能教育軟件一致，在對功能的評估上，按照數據收集、數據處理、評價方案、評價反饋等功能集合進行評估。

（二）面向教學“測評”的智能教育軟件評估指標架構

面向教學“測評”的智能教育軟件評估體系中的第二部分是評估指標架構。評估指標旨在描繪智能教育軟件的技術屬性。該架構包含“功能屬性值”“業務契合值”“魅力屬性值”三個一級指標，分別對應面向教學“測評”智能教育軟件的三個主要屬性。“功能屬性值”細分為“功能實現值”和“功能完整值”；“業務契合值”主要指向“場景需求匹配值”；“魅力屬性值”細分為“功能先進值”和“業務創新值”。面向考試測評場景，三級指標細化為27項核心功能指標和36項核心場景指標。

1.一級指標的確立

在人工智能教育的時代背景下對智能教育軟件進行評估，應該以軟件的技術質量為基礎，進一步探討智能教育軟件對用戶的價值。其中，在分析智能教育軟件的目標用戶需求與產品應用目標后，軟件產品的開發應關注產品功能的設計與創建，需要充分考慮用戶滿意度的因素。功能對軟件產品的重要性不言而喻。功能越強大、越符合應用場景的軟件往往具有越高的用戶滿意度。因此，為了對智能教育軟件的功能和對教育場景的賦能效果進行較為系統的評估，本研究構建了面向教學“評”的智能教育軟件評價指標的三個一級指標——“功能實現值”“業務契合值”“魅力屬性值”，基于此分別對軟件的功能質量、軟件設計體驗、功能在不同學習場景下應用的匹配度、軟件創新功能與應用幾個方面展開測評。“功能實現值”是指對軟件的功能質量和軟件設計體驗的評估。“業務契合值”用于評估軟件某一特定功能在不同學習場景下的應用匹配度，即軟件功能是否滿足具體教育場景下應用的需求與效果。“魅力屬性值”是對智能教育軟件的創新功能與應用情況的評估。

2.二級指標的確立

評估指標架構中的每個一級指標下設若干二級指標，如“功能屬性值”一級指標下設兩個二級指標，即“功能實現值”和“功能完整值”；“業務契合值”一級指標下設一個二級指標“場景需求匹配值”；“魅力屬性值”一級指標下設兩個二級指標，即“功能先進值”和“業務創新值”。二級指標在不同的智能評估軟件應用場景中具有不同的內涵。

在考試測評維度應用場景中，軟件的功能實現值指的是軟件是否實現了其設計和規劃的所有基本功能。在評估時，需要檢查軟件是否能夠有效地創建、管理、發布考試題目，以及是否具有學生作答、自動評分等功能。軟件應確保基本功能都可以正常運行且用戶友好易用。在考試測評維度應用場景中，軟件的功能完整值則是指軟件是否同時提供一些額外的功能，以滿足多樣化的教學和學習需求。例如，是否支持多種題型（選擇題、填空題、解答題等）、自適應性測試、測試分析報告等。檢驗評估軟件是否提供完整的功能組合，以滿足用戶的各種需求。在考試測評維度應用場景中的場景需求匹配值指軟件是否能夠滿足不同教學場景下的需求。例如，是否支持在線考試、離線考試、移動設備使用、多種語言支持等。軟件的場景需求匹配值體現了軟件的靈活性和適應能力，以滿足不同用戶的使用要求。考試測評維度應用場景中的功能先進值則指的是軟件是否提供一些領先其他軟件的功能，如智能組卷、人工智能輔助評分、實時監控學生作答情況等。軟件如果提供一些前沿的功能，可以增加軟件的吸引力和競爭力。在考試測評維度應用場景中的業務創新值是指軟件是否采用了一些新穎的教學管理理念和技術，以提高教學和學習效果。例如，是否提供個性化學習建議、定制化的測試方案等。軟件的業務創新值可以幫助用戶提升教學質量和管理效率。因此，評估考試測評應用場景中智能軟件的表現，應該綜合考慮功能實現值、功能完整值、場景需求匹配值、功能先進值、業務創新值等多個方面，以全面評估軟件在教學測評領域的應用能力和競爭優勢。

在教師評估維度應用場景中賦予二級指標與其在考試測評應用場景中完全不同的內涵。功能實現值是指軟件是否實現了其承諾的基本功能。教師可以通過自行測試軟件功能，以確保軟件在創建、管理，以及發布考試、評析測評結果等基本功能上具有可靠性和穩定性。教師也可以通過與其他教師的交流和使用經驗，了解軟件在實際教學環境中的功能表現。功能完整值是指教師可以評估軟件的功能完整值，了解軟件是否提供了一套完整的功能組合，以支持多樣化的教學需求。通過查看軟件的功能列表，教師可以評估軟件是否提供了不同題型、自適應測試、測試分析報告等功能。教師也可以根據自身的教學需求，判斷軟件是否滿足了自己的功能要求。場景需求匹配值指教師可以根據自己的教學場景需求，評估軟件在不同場景下的適應能力。例如，教師需要判斷軟件是否支持在線考試、離線考試、移動設備使用等。通過實際使用軟件進行考試和教學活動，教師可以了解軟件在不同場景下的匹配程度。功能先進值指教師可以評估軟件的功能先進值，以確定軟件是否具有領先其他軟件的功能。教師可以通過了解軟件的最新更新和功能介紹，以及對比其他類似軟件的功能差異進行評估。如果軟件具備一些前沿的教學功能，教師可以加強對軟件的認可。業務創新值指教師可以評估軟件的業務創新值，了解軟件是否采用了新的教學管理理念和技術。教師可以通過軟件提供的個性化學習建議、定制化的測試方案等功能，來評估軟件在提升教學質量和管理效率方面的創新性。通過以上二級指標，教師可以全面評估教學測評軟件的表現，以確定軟件是否滿足其教學需求和提高教學效果。

在學生評估維度應用場景中評估指標架構的二級指標具有區別于以上兩個應用場景的內涵。在學術評估維度應用場景中功能實現值指軟件是否滿足基本的教學需求。學生可能會關注考試測試軟件是否能夠順利進行考試、提交答卷、查看成績等基本操作，重點關注軟件的穩定性和易用性。功能完整值指學生可以評估軟件使用是否滿足學生學習需求，以確定軟件是否提供多種題型、自適應測試、測試分析報告等功能，來滿足不同教學需求。學生可能會希望軟件能提供多樣化的題目類型，以適應不同學科和知識點的測試。場景需求匹配值指軟件是否能在不同學習場景下進行使用。例如，學生可能希望軟件支持在線考試、移動設備使用等，以便在多種學習環境下進行測試。功能先進值指學生可能會關注軟件的功能是否具有一些領先其他軟件的特點，如智能組卷、個性化測試等功能。學生會關注這些功能是否能夠提高學習的有效性和趣味性。功能先進值指的是學生通過使用多數教育軟件，認為該軟件的部分功能優于其他教育軟件，以了解軟件是否采用了新穎的教學管理理念和技術。例如，個性化學習建議、定制化的測試方案等。學生希望軟件的創新性能夠提升他們的學習效果和體驗。通過以上二級指標，學生可以判斷考試測試軟件是否滿足學習需求，以及軟件是否提供有效的學習支持和促進學習。

3.三級指標的確立

評估指標架構包含多項三級指標。評估指標架構中將考試測評維度應用場景對接到智能教育軟件具體的場景評估方面，主要評估智能教育軟件對考試測評相關場景的功能實現程度和功能完整程度，共設計了27項核心功能指標、36項核心場景指標，基本涵蓋了考試測評系統所需的功能和常見的考試測評場景，并對每個功能集合從功能屬性、業務契合和魅力屬性三個角度進行了評估。評估指標架構中將教師評估維度應用場景細化為底層邏輯評估和具體場景評估兩個方面。在底層邏輯評估上，主要評估教師評估類智能教育軟件的功能實現程度和完整性，在具體場景評估上，主要是評估智能教育軟件對教師評估相關場景的適配度，共設計了24項核心功能指標、9項底層邏輯實現指標、20項教師評估場景指標，基本涵蓋了教師評估系統所需的功能和常見的教師評估場景，并對每個功能集合從功能屬性、業務契合和魅力屬性三個角度進行評估。評估指標架構再將學生評估維度應用場景細化為底層邏輯評估和具體場景評估兩方面進行評估。在底層邏輯評估上，主要評估學生評估類智能教育軟件的功能實現程度和完整性，在具體場景評估上，主要是評估智能教育軟件對學生評估相關場景的適配度，共設計了24項核心功能指標、9項底層邏輯實現指標、34項學生評估場景指標，基本涵蓋了學生評估系統所需的功能和常見的學生評估場景，并對每個功能集合從功能屬性、業務契合和魅力屬性三個角度進行了評估。

五、結語

構建面向教學“測評”的智能教育軟件評估指標體系，梳理其發展進程、掌握其發展規律，把控其質量水平的關鍵是確立我國當前面向教學“測評”的智能教育軟件評估指標體系。本研究構建面向教學“測評”的智能教育軟件評估指標體系，明確了目前我國面向教學“測評”的智能教育軟件的三大應用場景，即考試測試、教師評估、學生評估；確立了目前我國面向教學“測評”的智能教育軟件的三大屬性，即功能屬性、業務契合屬性、魅力屬性。依托本研究構建的面向教學“測評”智能教育軟件評估指標體系，將同時為深入了解我國現有面向教學“測評”的智能教育軟件的發展水平與特征、挖掘用戶使用智能教育測評軟件的潛在功能需求、開發新的智能教育測評軟件等工作提供科學依據和理論指導。

參考文獻：

[1]祝智庭，張博，戴嶺.數智賦能智慧教育的變與不變之道[J].中國教育信息化，2024，30（3）：3-14.

[2]張志華，王麗，季凱.大數據賦能新時代教育評價轉型：技術邏輯、現實困境與實現路徑[J].電化教育研究，2022，43（5）：33-39.

[3]劉邦奇，袁婷婷，紀玉超，等.智能技術賦能教育評價：內涵、總體框架與實踐路徑[J].中國電化教育，2021（8）：16-24.

[4]劉天麗，楊現民，李康康，等.社會公眾如何看待“ChatGPT+教育”？——基于國內主流開放社區的文本分析[J].現代教育技術，2023，33（10）：14-23.

[5]鄭智勇，宋乃慶.中小學教師智能教育素養測評指標體系構建研究[J].中國電化教育，2023（12）：75-83.

[6]杜華，袁璐欣，王璐瑤.教師智能素養評價的國際研究：主體、要素、工具與建議[J].中國教育信息化，2024，30（4）：79-88.

[7]鄭智勇，肖林，宋乃慶.中小學教師智能教育素養的現狀分析與提升路徑——基于11，703位教師的實證調查[J].教育發展研究，2023，43（4）：30-39.

[8]YDESEN C. International encyclopedia of education[M]. 4th ed. Amsterdam： Elsevier， 2023.

[9]CHEN Q. Music teaching software development based on neural network algorithm and user analysis[J]. Entertainment Computing， 2024（49）.

[10]CONATI C， BARRAL O， PUTNAM V， et al. Toward personalized XAI： a case study in intelligent tutoring systems[J]. Artificial Intelligence， 2021.

[11]張華，王麗麗.基于大數據的智能教育軟件評估研究[J].電化教育研究，2017（4）：61-66.

[12]李丹，何莉.智能教育軟件評估指標體系構建研究[J].教育技術研究，2019（1）：49-53.

[13]王永固，張志勇.基于教學過程的智能教育軟件評估模型研究[J].計算機應用與軟件，2018，35（10）：18-22.

[14]劉永芳，周榮庭.智能教育軟件應用效果的實證研究[J].現代教育技術，2016（6）：40-45.

[15]方海光.基于ESVUM模型的教育軟件價值評測框架的研究[J].現代教育技術，2008（9）：120-124.

[16]GARRETT J J.用戶體驗的要素[M].北京：機械工業出版社，2007.

[17]上田勛.編程的原則：改善代碼質量的101個方法[M].北京：人民郵電出版社，2020：100-117.

Intelligent Education Software Evaluation Index System for Teaching Evaluation：

Excerpt from the 2023 Annual Report on Artificial Intelligence Promoting

the Development of Education （Ⅵ）

Guohong ZHAO， Yanlong GAI， Yun MA， Zhina LI

（Normal College， Yanbian University， Yanji 133002， Jilin）

Abstract： With the flourishing of digital technology， intelligent educational software is emerging one after another， and intelligent education software for teaching “evaluation” is mixed. Building an intelligent education software evaluation index system for teaching evaluation is the key to mastering its quality line. This study examines the development of an intelligent education software evaluation index system， designed for teaching evaluation， utilizing methods including literature review， market research， and expert consultation. This indicator system includes two levels of dimensions and three levels of indicators. The three primary dimensions are exam testing， teacher evaluation， and student evaluation. The examination and testing dimensions include five secondary dimensions： intelligent paper formation， intelligent grading， intelligent exam analysis， intelligent exam management， and online exam management; Both teacher and student evaluation processes include five secondary indicators： data collection， data processing， evaluation plan， evaluation feedback， and evaluation scenarios. The three primary indicators are： functional implementation value， business fit value， and charm attribute value; The five secondary indicators are： functional implementation value， functional completeness value， scenario requirement matching value， functional advancement value， and business innovation value; In addition， it includes several three-level indicators. Based on the evaluation index system proposed， it can provide scientific basis and theoretical guidance for in-depth understanding of the development level and characteristics of existing intelligent education software for teaching evaluation， exploring the potential functional requirements of different types of users using intelligent education evaluation software， and developing new intelligent education evaluation software.

Keywords： Teaching evaluation; Intelligent education; Educational software; Evaluation indicators; Indicator system

編輯：王天鵬" "校對：王曉明

DOI：10.3969/j.issn.1673-8454.2024.07.007

作者簡介：趙國宏，延邊大學師范學院教授，博士（吉林延吉 133002）；蓋延龍、李知娜，延邊大學師范學院碩士研究生（吉林延吉 133002）；馬蕓，延邊大學師范學院講師，博士（吉林延吉 133002）

基金項目：2023年中國教育學會教育科研重點委托課題“人工智能教育發展指數研究”（編號：202300001101WTA）；吉林省教育科學“十四五”規劃2021年度重點課題“批判性思維導向的網絡學習空間應用研究”（編號：ZD21017）