基于ECD的學生信息素養評價研究框架

朱莎 吳砥 楊浩 孫澤軍 余麗芹 楊灑

摘要：學生信息素養評價是全面提升學生信息素養水平的重要前提，而獲取學生信息素養真實表現相關的過程性數據是實現精準評價的重要依據。針對傳統的學生信息素養評價范式中存在的評價內容有限、評價結果效度較低，且缺乏對過程性數據的采集與分析等問題，該研究基于“證據中心設計”（Evidence-Centered Design，ECD）的核心思想，采用理論研究與實踐應用相結合的方法，設計多類型的復雜情境任務，基于xAPI采集與存儲復雜、細粒度的過程性數據，利用機器學習算法挖掘學生信息素養評價指標與過程性數據的關聯機制，識別并提取學生信息素養行為特征變量，構建貝葉斯網絡并訓練樣本數據，實現數據驅動的學生信息素養精準評價，從而為培育與提升學生信息素養提供決策參考。

關鍵詞：證據中心設計;學生信息素養評價;情境任務;機器學習;貝葉斯網絡

中圖分類號：G434

文獻標識碼：A

信息素養是融合意識、知識、能力、態度與價值觀的綜合素養，是信息社會公民的基本素養，是人們應對信息化環境下的生活、學習所必備的核心素養之一。當前，大數據、人工智能等新技術的發展正不斷重塑社會生活和學習的新形態，提升學生信息素養水平對實現我國從信息社會向智能社會的轉型升級、促進創新人才培養以及貫徹落實我國教育信息化相關政策方針至關重要。義務教育階段學生信息素養的監測、評價與培養，是新時期我國義務教育階段的重要任務。2018年，教育部發布《教育信息化2.0行動計劃》，明確提出“制定學生信息素養評價指標體系，開展規模化測評，實施有針對性的培養和培訓”[1]。2020年，教育部發布了《2020年教育信息化和網絡安全工作要點》，提出“大力實施信息素養全面提升行動”的工作任務，即“培養提升學生的信息素養，發布中小學生信息素養評價指標體系，在‘智慧教育示范區創建區域開展評測工作”[2]。2020年初疫情防控期間大規模在線教學活動對學生信息素養提出了較高的要求，這進一步凸顯了學生信息素養培育提升工作的重要性和緊迫性[3]。

學生信息素養評價可以量化反映學生信息素養培養的成效與不足，是學生信息素養水平提升的關鍵環節，是制定學生信息素養全面提升計劃的基礎和前提。目前，學生信息素養評價主要沿用傳統的教育測量與評價范式，評價方法以標準化測試及自陳式量表為主，其評價結果效度低、解釋力度不強，難以準確把握學生信息素養水平[4]。盡管有少數研究利用情境任務測評系統獲取學生信息素養表現數據，但側重考察學生的信息獲取、處理、應用等知識與低階能力，對智能時代需要的信息創造、問題解決、計算思維等高階能力的評價較少涉及，更難獲取與信息素養相關的態度、價值觀方面的數據。總體而言，現有的學生信息素養評價基于“依據規則給潛在特質賦值”的經典測量觀，采用的是傳統的“試題一答案”的測驗設計范式，缺乏對復雜、細粒度的過程性數據的采集與分析，無法實現精準評價，難以為學生信息素養培育和提升提供決策支持。

隨著大數據、人工智能技術在教育領域的日益發展與融合，數據驅動的學生綜合素質評價成為當前教育測量與評價領域的主要趨勢。 “證據中心設計”（Evidence-Centered Design，ECD）的理論強調“基于證據進行推理”，力圖構建復雜的任務情境，獲取多類型的過程性數據，致力于解決復雜測驗設計的理論問題，適用于高度抽象、結構復雜的高階思維能力的評價，是數據驅動的新型教育評價的一種范式。本研究擬基于ECD，探索多類型的評價任務如何誘發學生在情境任務中的真實反應，如何挖掘信息素養評價指標與關鍵過程性數據的關聯機制，旨在構建過程性數據驅動的學生信息素養自動評價機制，從而精準、客觀、全面地評價學生信息素養水平，為學生信息素養水平提升提供決策支持。

一、學生信息素養評價的研究現狀

（一）信息素養的內涵與及組成要素

1974年，美國信息產業協會主席保羅·澤考斯基（Paul Zurkowski）最早提出信息素養的概念，自此之后，信息素養的概念在世界范圍內得到了廣泛傳播和使用，其內涵得到了不斷的延伸和發展。信息素養的內涵演變大致可劃分為：20世紀70年代以前的萌芽階段，強調手工檢索文獻的技能[5];20世紀70年代至80年代末的發展階段，強調運用信息工具及主要信息資源解決問題的技術和能力[6];20世紀90年代以后的成熟階段，人文屬性得到彰顯，批判、評價信息的能力被充分重視[7]。隨著信息社會的快速發展，信息素養被賦予了新的時代內涵，信息意識以及信息社會的倫理、道德被充分重視。

在20世紀90年代中期，信息素養的概念被引入國內。王吉慶認為信息素養是一種在信息社會中獲取信息、利用信息、開發信息方面的修養和能力[8];陳維維等認為信息素養是對信息活動的態度以及對信息的獲取、分析、加工、評價、創新、傳播等方面的能力[9];鐘志賢等認為信息素養是一種為實現特定目的而合理合法地利用各種信息工具的能力[10];吳砥等提出信息素養是信息社會的公民適應信息化環境下的學習、工作和生活所需的基本素養，同時也是中小學生必備的核心素養之一[11]。近年來，人工智能技術推動人類社會從信息時代向智能時代發展，信息素養被賦予了新的時代內涵。熊璋認為編程能力、計算思維及對智能化社會的深度認知，是人工智能時代學生信息素養內涵的重要內容[12];陳凱泉等提出智能化社會要求學生的信息素養內涵進行轉型與再造，其中計算思維、編程能力和人機協同能力是核心[13];于曉雅提出，智能時代的信息素養應強調利用信息技術解決問題的思維和行為以及應對智能社會的倫理道德問題的能力等[14]。

關于信息素養組成要素，國外比較典型的有：（1）二要素說，包括認識信息環境、參與和豐富信息兩個要素[15]。（2）三要素說，包括信息行為、信息獲取、信息道德三個要素[16]。（3）四要素說，包含尋找和獲取利用信息、信息意識、信息社會責任和信息倫理四個要素[17];或者包括信息檢索、信息獲取和交流、信息傳播、信息重組四個要素口[18]。（4）七要素說，包括信息技術經驗、獲取信息源、信息處理、信息控制、信息知識建設、信息知識延伸、信息智慧體驗七個要素[19]。（5）九要素說，包括認識信息、確認信息完整、確定潛在信息來源、信息搜索策略、獲取信息來源、評價信息、整理信息、整合信息、運用信息九個要素[20]。國內學者對信息素養組成要素的看法主要包含：（1）二要素說，包含信息意識和信息能力[21][22]。（2）三要素說，由信息知識、信息意識和信息能力構成[23][24];或者由信息意識、信息能力和信息倫理道德構成[25][26]。（3）四要素說，包含信息知識、信息意識、信息能力和信息道德[27-29]。

（二）學生信息素養評價方法研究

標準化測試、基于自陳式量表的評價是應用較早的學生信息素養評價方法。典型的標準化測試工具包括美國肯特州立大學設計的大學生信息素養測評工具（SAILS）和中小學生信息素養測評工具（TRAILS）。還有針對特定對象，如醫學生的信息素養標準化測評工具。標準化測試盡管是了解信息素養的最佳評價方法[30]，卻不能有效評價學生在真實場景中的信息素養能力[31]。基于自陳式量表的評價主要根據被試的主觀報告來確定其信息素養水平，例如PISA的ICT素養測評中采用自陳式量表評價學生ICT的熟練程度，以及其他研究者自主研制信息素養量表。

鑒于基于自陳式量表評價的結果具有主觀性，其測試結構與其實際水平之間的相關性較低等問題。近年來研究者開始關注學生在真實場景的信息素養表現，并采用電子檔案袋、基于計算機的情境任務等對學生信息素養進行過程性評價。有研究者設計信息素養能力檔案袋評價學生的信息、媒體和技術技能或信息素養水平[32]，還有研究者綜合采用書目分析與檔案袋評價學生的信息素養[33]。利用檔案袋收集學生的信息作品與測評反思，反映了學生信息素養水平的提升過程[34]，能夠考查學生對信息知識或技能的掌握程度，還能對學生的信息思維、信息意識等非智力因素進行評價[35]。然而，檔案袋評價需要教師投入大量時間和精力，且難以制定客觀、公正的評價標準，限制了檔案袋評價在學生信息素養評價中的應用[36]。

基于計算機的情境任務測評系統采集并分析學生完成任務時的過程性數據，從而評價學生的知識、技能與能力。根據任務呈現的形式，情境任務一般包含以下三類：（1）基于信息應答的任務，即簡單建構響應任務以及拖拽響應任務等，適合評價信息素養相關的知識和簡單技能等[37][38]，其測評結果比較客觀、準確，有利于評分和比較。（2）模擬真實情境的任務，即模擬真實情境設計的技能操作任務與作品創作任務，適合評價學生的軟件應用技能以及檢索、選擇、評價、轉換、創造、交流與共享信息的能力[39]，可提供關于任務過程與結果的豐富觀測數據。（3）基于游戲的任務，即在游戲化的活動中設置的任務，其具有豐富性、可玩性、仿真性等特點，適合評價學生的信息素養知識[40]，信息檢索等操作技能[41]，以及問題解決能力、邏輯推理能力等高階思維能力[42][43]。

（三）目前學生信息素養評價的局限性

作為21世紀核心素養的重要組成部分，學生信息素養成為了當前倍受關注的熱點問題，其評價也受到國內外學者的廣泛重視。現有研究在學生信息素養評價領域取得了較豐碩的成果，為本研究奠定了堅實的研究基礎。但是也具有一定的局限性。具體表現為：（1）現有研究局限于信息素養相關的知識和低階技能的評價，對信息思維、信息行為、信息創造、問題解決等高階思維能力的評價較少涉及，缺乏一套面向智能時代的學生信息素養評價標準;（2）現有研究主要采用標準化測驗、自陳式量表等評價工具，忽視了對學生信息素養評價指標與關鍵過程性數據的關聯機制挖掘;（3）現有的研究已將ECD廣泛應用于核心素養、計算思維等高階思維能力的評價，但是在學生信息素養評價領域的應用極其少見，基于ECD的學生信息素養自動評價技術尚處于探索階段;（4）現有研究局限于對學生信息素養水平的監測、評價，忽視了對學生存在問題的診斷和動態反饋，難以指導學生信息素養的培育和提升。

二、ECD及其在教育測評中的應用

ECD是一套強調“基于證據進行推理”的系統化評價方法，它力圖借助信息技術獲取證據，應用數理統計模型對個體的高階能力進行基于證據的推理[44]。ECD的概念評價框架包含三個核心模型，分別是學生模型、證據模型和任務模型。學生模型回答“測量什么”的問題，包含需要測量的知識、技能和能力的相關變量及其相互關系，研究者通常采用文獻研究法來確定所測能力的評價指標和對應的可觀察行為。證據模型回答“如何測量”的問題，包括證據規則和測量模型。證據規則是指評分標準，描述的是如何從個體完成情境任務的行為過程中抽取觀測變量，形成與擬測量的學生能力水平相對應的證據;測量模型是將觀測變量的數值和學生模型變量以特定結構和方式聯系起來的概率模型[45]。任務模型回答“用什么測量”的問題，探討怎樣構建復雜的任務情境，刺激學生在評價指標上的行為反應，從而獲取證據模型所需的證據。概念模型框架不是一個簡單的線性結構[46]，而是一個不斷完善、迭代的環形結構。總的來說，基于ECD模型的測驗邏輯主要包括三個核心：一是建構情境任務誘發個體行為表現，二是依據表現提取反映個體能力水平的可靠證據，三是依據證據對個體能力水平進行推理[47]。

證據是ECD的核心，是建立基于學生模型、任務模型和證據模型推理鏈條的關鍵所在。證據抽取是基于ECD評價的核心，包含定義證據規則，依據證據規則完成評分，為觀測變量賦值。當前研究采用的證據抽取方法主要包含兩種：一是依據證據規則編寫算法程序[48]，主要針對簡單的證據規則;二是利用機器學習、深度學習等高級統計模型從復雜數據中挖掘、推論與需要測量的能力相關的模式與規則，從中識別與提取可靠證據[49]，主要針對復雜的證據規則。基于證據的推論提供學生模型變量和觀測變量之間的關聯信息，通常采用多維項目反應理論（IRT）模型、診斷分類模型、貝葉斯網絡和雙因子模型等高級統計測量模型。

ECD已被廣泛應用于國際教育測評項目中。PISA、ATC21S、NAEP等許多國際大規模測評項目基于ECD模型開發了在線測評系統，用于評價學生的合作解決問題能力;美國教育考試中心基于ECD開發了計算機自適應（CAT）版本的研究生入學考試（GRE）和iSkills評價項目。此外，國內外學者也將ECD廣泛用于核心素養、21世紀技能、合作問題解決能力、計算思維、數據素養、邏輯推理能力等高階思維能力的評價。

三、基于ECD的學生信息素養評價的研究內容

基于ECD的學生信息素養評價的研究內容主要包含五個方面，即學生信息素養評價標準研究、學生信息素養過程性數據采集與存儲研究、學生信息素養觀測變量的抽取與處理研究、基于貝葉斯網絡的學生信息素養自動評價關鍵技術研究、學生信息素養自動評價技術的應用效果研究。研究內容框架如圖1所示。

（一）學生信息素養評價標準研究

1.學生信息素養評價指標研究

為了確定需要測量的學生信息素養相關的知識、技能和能力的相關變量，需要首先研究學生信息素養評價指標。結合國內外學生信息素養評價指標及國內學生信息素養培育現狀與發展需求，研究團隊研制了《中小學生信息素養評價指標》，并于2017年6月在CELTSC獲得正式立項。截至2019年，在全國累計征求了70名不同領域專家的意見，通過多輪修訂，標準的框架、內容已得到專家普遍認同。《中小學生信息素養評價指標》包括信息意識與態度、信息知識與技能、信息思維與行為和信息社會責任四個一級指標，每個一級指標分別包含2-3個二級指標。信息意識與態度主要考查學生對信息的感知意識、應用意識和安全意識，以及學生在學習和生活中利用信息與技術的態度;信息知識與技能主要考查中小學生對信息科學知識和信息應用技能的理解和掌握程度;信息思維與行為主要考查學生利用信息技術來輔助自身思維的綜合意識與能力傾向，如計算思維、非線性思維、創造性思維、智能化思維等，以及學生使用信息技術的行為與習慣;信息社會責任主要考查學生對信息道德與倫理、信息法律與法規的認識與踐行水平。

2.學生信息素養能力模型研究

在學生信息素養評價標準研究基礎之上，構建學生信息素養能力模型，即從教育測量的視角，描述需要測量的內容及其相互關系。學生信息素養能力模型研究包含以下三個關鍵環節：一是在學生信息素養評價標準的基礎上，深入分析學生信息素養相關的知識、技能、情感等領域的評價指標及其相互關系;二是厘清知識、技能和情感領域的學生信息素養評價指標與其能力表現的實質性聯系;三是確定每個評價指標對應的不同水平等級的行為表現特征，界定可觀察的行為及其操作性定義。表1為初步確定的學生信息素養各評價指標對應的可觀察行為。

（二）學生信息素養過程性數據采集與存儲

1.學生信息素養任務模型構建

學生信息素養任務模型旨在通過設置不同類型的任務，刺激學生在信息素養評價指標上的行為反應，因此，構建學生信息素養任務模型是采集學生信息素養過程性數據的基礎和前提。根據信息素養評價指標的不同類型，即知識相關指標、技能相關指標和情感相關指標，分別設計三種類型的任務，如表2所示。第一類是信息應答任務，適合評估學生對信息素養相關知識的掌握情況，其測評結果較為客觀、準確，有利于評分和比較。如學生在多個主題中選擇并拖動相應的選項來完成任務;第二類是模擬真實情景任務，適合評估學生的信息檢索、信息處理、信息應用等低層次技能，其為任務測評過程與結果提供復雜觀測數據，如利用文字處理軟件或圖形處理軟件制作電子海報、利用搜索引擎搜索信息等;第三類是基于模擬游戲的任務，適合評估學生的高水平技能和情感相關的指標，包括信息溝通、信息評價和信息倫理，其具有豐富性、可玩性、仿真性等特點，如學生與游戲伙伴的合作。

2.基于xAPI的過程性數據采集與存儲

在任務模型構建的基礎上，構建基于xAPI的過程性數據模型，進而對學生測評任務中產生的過程性數據進行采集與存儲。如圖2所示，該數據模型以Task（任務）為中心，Task的執行者是參與測評的學生（Actor），Actor元素包含學生的身份文檔（Learner Profile），身份文檔中記錄了學生的個人基本信息。Actor元素與Task元素之間補充了任務發生的情境信息（Context）。Task元素由學生的動作（Verb，表示學生的一系列任務操作行為）、對象（Object，行為的執行對象）、工具（Tool，學生在測試中使用工具的情況）、時間戳（Timestamp，動作發生的時間）構成。

結合情境任務測評系統獲取數據的可能性，擬采集的學生信息素養過程性數據如表3所示。

（三）學生信息素養觀測變量的抽取與處理

在情境任務測評系統中，學生與測評系統、情境任務交互的多類型、細粒度、全過程數據都會被自動采集、記錄下來，對這些復雜的數據進行梳理、整合和匯聚，挖掘學生信息素養評價指標與過程性數據的關聯機制，抽取學生信息素養行為特征變量，是精準評價學生信息素養水平的前提。學生信息素養觀測變量的抽取與處理，包括圖3所示的三個關鍵步驟：一是識別有意義行為;二是抽取觀測變量;三是觀測變量的效度驗證。

1.學生信息素養有意義行為識別

在情境任務測評的過程中，學生的信息素養集中體現于一些關鍵的有意義行為。然而，由于測評環境和被試學生行為習慣的復雜性，有意義行為的表現極其復雜。因此，如何在情境任務測評系統記錄的過程性數據中識別這些有意義行為是本研究面臨的一個關鍵問題。學生在各類任務中有意義行為的識別可視為一種序列分類問題，即判斷給定的行為序列是否屬于某一個類別。我們將Log文件中記錄的輸入、點擊、拖拽等去情境化的操作行為數據提煉為信息查詢、任務完成、信息發布等低階的可觀察行為;將學生在測試中表現出的猶豫、猜測等狀態行為提煉為對信息的感知、判斷、反思等高階的認知行為。高階的認知行為很難通過編寫統一的算法來對數據進行處理，需要依靠人工識別部分行為，并對相關數據進行標注;再以這部分數據作為訓練數據，運用機器學習算法建立模型，在模型達到滿意的精度以后進行其余數據的自動標注。

BILSTM+CRF模型因其具有對上下文的理解能力而被廣泛應用于序列數據的標注。如首先基于xAPI的過程性數據模型將Log數據轉換為包含Actor、Verb、Object、Context、Timestamp的向量;其次定義情境中的有意義操作集合，再選取集合內的操作對每一個包含此情境的向量進行人工標注;再次，使用訓練數據對模型進行訓練，將向量輸入BiLSTM模型，并將BiLSTM的輸出作為CRF層的輸入，識別標簽之間的關系，進一步提高預測的準確性;最后，輸出向量對應每個操作的概率，選擇概率最大的作為最終標簽。

2.學生信息素養觀測變量的抽取

通常基于任務結果的觀測變量能直接反應被測學生知識、技能的掌握情況，基于任務過程的觀測變量可以解釋學生完成任務中的思維過程與情感狀態。我們可從行為序列抽取基于任務結果的觀測變量，如任務完成與否、完成進度、消耗時間等;也可直接通過統計分析、聚類分析、時間序列分析和模式識別等復雜的算法處理獲取基于任務過程的觀測變量，如低階的認知行為指標（動作總數、交流的數量等）、高階的認知行為指標（對信息的感知、判斷、反思等）。此外，我們還可通過頻繁模式挖掘、因子分析等方法對行為序列模式進行處理，發現學生行為的自然分類并總結其特征。

在基于情境任務的學生信息素養測評中，既包含了有預設正確或最優步驟的結構化操作過程，也包括沒有預設正確或最優步驟的非結構化操作過程。結構化過程體現了被試學生信息知識與技能的熟練程度，而在非結構化過程則更能體現被試學生更深層次的思維與習慣。對于數據分析，結構化與非結構化的過程可抽象為結構化與非結構化的行為序列。對于結構化序列，可利用SPADE算法，采用廣度優先搜索（BFS）和深度優先搜索（DFS）策略來產生頻繁序列;對于非結構化的行為序列，可先采用用戶行為模式檢測（UBPD）算法，將每個測試者Log數據按任務進行切分;再按一定的窗口大小和滑動步長轉換為子序列集，統計每人每種子序列出現次數，形成用戶矩陣;然后，綜合方差解釋、基序數選擇合適的因子數量，并進行因子分析;最后總結每一類共同的基序及這一類測試者的行為模式，解釋其意義。

3.學生信息素養觀測變量的效度驗證

由于信息素養的復雜性和機器學習算法的不確定性，某些觀測變量與信息素養的相關性、可解釋性可能較差。同時在以上步驟中，通常會將盡可能多的信息納入分析，導致觀測變量在不同維度分布可能不均衡，甚至出現冗余。基于以上原因，需要對觀測變量的有效性進行檢驗。驗證觀測變量的有效性可采用主客觀相結合的分析方法：一是通過德爾菲法，即專家判斷觀測變量是否與可觀察行為關聯恰當，可觀察行為的觀測變量是否充足;二是通過數據分析，分析基于任務過程的觀測變量的值與基于任務結果的觀測變量的值的相關性。若基于任務過程的觀測變量與基于任務結果的觀測變量的相關性低或與其他觀測變量存在高度共線性，即認定為質量不佳的觀測變量，可考慮刪除;接下來計算每個觀測變量的信息增益率，結合上一步的分析結果，剔除信息增益率較低的觀測變量，從而獲得最終的觀測變量。由此確定的觀測變量能夠有效表征學生信息素養，增強其可解釋性，同時也能避免觀測變量的冗余，這對提高學生信息素養評價結果的準確性至關重要。

（四）基于貝葉斯網絡的學生信息素養自動評價關鍵技術研究

為了建立學生信息素養評價指標與觀測變量之間的關聯規則，完成基于證據的學生信息素養推理過程，本研究利用貝葉斯網絡實現學生信息素養自動評價。貝葉斯網絡具有較強的建模功能以及較完善的推理機制，能夠建立證據累積自動評分過程，最終通過有效融合先驗知識和當前觀察值來完成各種查詢、預測與評估[50]。貝葉斯網絡在評估研究和實踐中得到了廣泛的應用，特別是在ECD理論框架下，研究者大多采用基于貝葉斯網絡的自動評分技術。基于貝葉斯網絡的自動評分技術主要包含以下幾個關鍵階段：首先構建能力模型和證據模型的貝葉斯網絡片段;其次，確定貝葉斯網絡先驗概率，并計算條件概率表，構建完整的貝葉斯網絡并訓練樣本數據;最后，輸入新的樣本數據更新條件概率表，選擇最大概率值作為該條數據的自動評價依據。

在基于貝葉斯網絡的學生信息素養自動評價中，首先根據學生信息素養評價標準，分別建立信息意識與態度、信息知識與技能、信息思維與行為、信息社會責任的貝葉斯網絡結構片段，明確每個貝葉斯網絡結構片段中的可觀察行為及其觀測變量，并構建對應的能力模型貝葉斯網絡片段。根據能力模型貝葉斯網絡片段，明確觀測變量的證據抽取規則，構建對應的證據模型貝葉斯網絡片段。接下來，將貝葉斯網絡模型片段進行整合，形成完整的貝葉斯網絡結構圖。在這個過程中，專家需要結合情境任務的難度、區分度，對每個情境任務下各項操作的難度系數進行評價，確定各個觀測變量的參數。然后根據專家確定的變量參數及先驗條件概率，確定父節點與子節點的關系以及每個變量的概率估計值，進一步細化和更新更多的觀測變量值。最后，可將實證研究中獲取的觀測變量數據有序輸入已訓練完畢的貝葉斯網絡中。貝葉斯網絡將根據數據更新各節點的條件概率表，形成該數據的貝葉斯網絡拓撲圖，并選擇最大概率值作為該條數據的評價依據，從而實現學生信息素養的自動評價。

（五）學生信息素養自動評價技術的應用效果研究

為了驗證基于ECD的學生信息素養評價的科學性和有效性，需要開展過程性數據驅動的學生信息素養自動評價實證研究，驗證學生信息素養評價結果的效度，分析學生信息素養任務模型的有效性，基于評價結果建立動態反饋與干預策略。

1.學生信息素養自動評價結果效度驗證

首先，遴選試點中小學校，采用標準化測試、自陳式量表和情境任務測評的方法同時開展學生信息素養評價實踐。基于測評結果，以標準化測試分數和量表分數作為效標分數，分析情境任務測評結果的效標關聯效度;依據測評結果，從不同信息素養水平等級學生中分別遴選出5-10名學生進行持續追蹤調查，采用課堂觀察法分析學生在真實的學習場景中應用信息技術的能力，采用半結構化訪談法讓教師評價不同類別學生信息素養的日常表現，分析不同類別學生的測試結果與其實際信息素養表現之間的關系，驗證情境任務測評結果的區分效度。

2.學生信息素養任務模型有效性研究

學生在完成情境任務時會生成大量的證據數據，這些證據數據可用于驗證學生信息素養任務模型的有效性。通過多面Rasch分析得到項目難度值與學生能力值，將項目難度值與學生能力值比較，考察項目難度是否與大部分學生能力水平匹配。此外，任務難度的分隔指數（Separation）與分隔信度（Reliability）代表了任務之間的難易程度的差異，可據此調整項目難易程度或進行篩選，從而使整個測試具有適中的難度與較好的區分度。

3.學生信息素養動態反饋與干預

為了促進學生信息素養的培育和提升，必須及時反饋學生信息素養評價結果，并給學生提供個性化的信息素養提升建議。基于學生信息素養情境任務測評的結果，利用數據可視化工具將學生信息素養評估的全過程以直觀明了的圖形、圖像信息呈現出來，包括學生信息素養水平的整體評估結果，學生在完成每個情境任務時的可觀察行為表現，以及學生在各個觀測變量上的量化得分，并向學生提供全面的個人信息素養評估報告;基于學生信息素養評估結果，科學診斷學生信息素養整體水平，深入學生在完成情境任務時表現出的信息素養不足的問題，研究有針對性的、切實可行的學生信息素養培育與提升策略。

四、總結與展望

學生信息素養是一種復雜的高階能力素養，對其進行科學、精準的評價是極具挑戰性的任務。幸運的是，人工智能時代的教育測評理論、數理統計方法與技術的發展為實現學生信息素養精準評價提供了契機。本研究試圖構建基于ECD的學生信息素養的新型評價范式，通過設計任務、構建情境、提取證據、建立證據與中小學生信息素養評價指標的推理鏈條，實現面向復雜任務情境的學生信息素養自動精準評價，從而為培育與提升學生信息素養提供參考。盡管本研究提出了一個理論可行的研究框架，但是本研究在實踐過程中可能面臨以下幾個主要的困難和挑戰：一是在初期建立機器學習模型時，可能存在樣本量有限、樣本不均衡的問題，且初期的數據標注可能大部分需要人工完成;二是應用BILSTM+CRF模型對序列數據標注時，由于數據處理過程較多，不同步驟間的誤差可能累積，能否在有限的時間內達到滿意的精度將是一大挑戰;三是對行為序列挖掘結果進行解釋時，如何有效地將行為序列分析結果與有意義行為及其對應的信息素養評價指標建立直接或間接的相關關系，也是一大挑戰。下一階段，研究團隊將重點圍繞基于過程性數據的學生信息素養特征變量抽取與處理方法，以及學生信息素養評價指標與觀測變量的關聯規則挖掘展開研究，設計基于復雜情境任務的學生信息素養測評系統，獲取大量實測數據，初步建立過程性數據驅動的學生信息素養精準評價機制。

參考文獻：

[1]教育部.教育部關于印發《教育信息化2.0行動計劃》的通知[E B/OL].http：//www.moe.gov.cn/sre sit e/A 16/s3 342/201 804/t2018 0425_3 34188.html，2020-06-01.

[2]教育部《2020年教育信息化和網絡安全工作要點>XEB/OL].https：//www.edu.cn/xx h/foc us/rd_xin_wen/202003/t202 003 03—17148 14.shtml，2020-06-01.

[3]吳砥，余麗芹等.大規模長周期在線教學對師生信息素養的挑戰與提升策略[J].電化教育研究，2020，（5）：12-17+26.

[4][31] Samson，S.Information literacy learning outcomes and studentsuccess [J].The Joumal of Academic Lihrarianship，2010，36（3），202-210.

[5]柯平.信息素養與信息檢索概論[M].天津：南開大學出版社，2005.

[6] Zurkowski P C.The Information Service Environment Relationshipsand Priorities [R].Washington，DC：National Commission on Librariesand Information Science.Related Paper No.5，1974.

[7][20] Doyle C.Outcome Measures for Information Literacy Withinthe National Education Coals of 1990：Final Report of the NationalForum on Information Literacy [R].Washington，DC：US Depmtment ofEducation.Related ERIC document NO.ED 351033，1992.

[8][23]王吉慶.信息素養論[M].上海：上海教育出版社，1999.

[9]陳維維，李藝.信息素養的內涵、層次及培養[J].電化教育研究，2002，（11）：7-9.

[10]鐘志賢，汪維富.Weh2.0學習文化與信息素養2.O[J].遠程教育雜志，2010，28（4）：34-40.

[11]吳砥，許林等.信息時代的中小學生信息素養評價研究[J].中國電化教育，2018，（8）：54-59.

[12]熊璋.加強青少年信息素養教育的重要意義[J].國家治理，2016，（3）：41-45.

[13]陳凱泉，何瑤等.人工智能視域下的信息素養內涵轉型及AI教育目標定位：兼論基礎教育階段AI課程與教學實施路徑[J].遠程教育雜志，2018，（1）：61-71.

[14]于曉雅.人工智能視域下教師信息素養內涵解析及提升策略研究[J].中國教育學刊，2019，（8）：70-75.

[15] Lloyd A.Working （In）formation：Conceptualizing Information Literacyin the Workplace [C].Rockhampton，Queensland：Central QueenslandUniversity Press，2003.218-224.

[16] Johnston B，Webber S.Information Literacy in HigherEducation：a review and case study [J].Studies in HigherEducation，2003，28（3）：335-352.

[17] Lupton M，Clanville C，et al.lnformation Literacy Toolkit[DB/OL].http：//www.griffith.edu.au/centre/gihe/ griffith_graduate，2004- 12-1 1.

[18] Bawden D.Information and digital literacies：a review of concepts [J].Journal of Documentation，2001，57（2）：218-259.

[19] BRUCE，C.The Seven Faces oflnformation Literacy [M].Adelaide：AuslibPress，1997.

[21]任燕麗.信息與信息素質[J].北京成人教育，1999，（6）：43-44.

[22]霸桂芳.大學生信息素養的內涵與培養策略研究[J].教育探索，2007，（2）：15-16.

[24]張亞莉.信息素養內涵的建構[J].圖書館論壇，2005，（5）：53-55+117.

[25]呂慶陽，劉孝文.國內外信息素質概念的界定[J].河北科技圖苑，2008，（2）：40-42.

[26]鐘志賢.面向終身學習：信息素養的內涵、演進與標準[J].中國遠程教育，2013，（8）：21-29+95.

[27]仇誠誠.大學生信息素養及評價標準研究[J].圖書情報論壇，2011，（Z1）：38-41.

[28]夏秋萍，諶新華.高校圖書館提升大學生信息素養的策略研究——大數據時代背景下[J].學理論，2017，（12）：181-182.

[29]石映輝，彭常玲等.中小學生信息素養評價指標體系研究[J].中國電化教育，2018，（8）：78-82+98.

[30]盧敏.大學生信息素養評價方法淺析[J].現代情報，2014，34（12）：141-144.

[32] Newell Terrance S.Learning in Simulations：Examining theEffectiveness of Information Literacy Instruction Using MiddleSchool Students' Portfolio Products[J].Evidence Based Library andInformation Practice，2010，5 （3）：20-38.

[33] Scharf D，Elliot N，et al.Direct Assessment of Information LiteracyUsing Writing Portfolios [J].The Journal of Academic Librarianship，2007，33（4），462-477.

[34]楊陽.“互聯網+”時代下新型學生檔案袋評價的探索[J].華中師范大學研究生學報，2018，25（3）：109-113.

[35]魏鐵軍，呂蕊.教育檔案式評價研究[J].教育教學論壇，2011，（9）：163-164.

[36]江彬，邱立中.科學認識檔案袋評價[J]上海教育科研，2003，（11）：37-39.

[37] Katz I R.Testing information literacy in digital environments：ETS'siSkills assessment [J].Information technology andLibraries，2007，26（3）：3-12.

[38] Gobert J D，Kim Y J，et al.Using educational data mining toassess students' skills at designing and conducting experimentswithin a complex systems microworld [J].Thinking Skills andCreativity，2015，（18）：81-90.

[39] Cuo Y R，Goh D H L，et al.Tertiary students' acceptance of agame to teach information literacy [J].Aslih Journal of InformationManagement，2017，69（1），46-63.

[40] Siddiq F，Hatlevik O E，et al.Taking a future perspective hy learningfrom the past-A systematic review of assessment instruments that aimto measure primary and secondary school students' ICT literacy [J].Educational Research Review，2016，19：5 8-84.

[41]孫鑫，黎堅等.利用游戲log - file預測學生推理能力和數學成績——機器學習的應用[J].心理學報，2018，50（7）：761-770.

[42][英]維克托.邁爾一舍恩伯格，肯尼斯.庫克耶，盛楊燕周濤譯.大數據時代：生活、工作與思維[M].杭州：浙江人民出版社，2013.

[43]李菲茗，張浩等.計算機交互式評價的開發研究——以科學探究為例[J].中國遠程教育，2020，（5）：29-37+77.

[44] Mislevy R J，Almond R G&Lukas J F.A Brief Introduction toEvidence-centered Design [R].Princeton，NJ：ETS Research&Development Division.RR-03-16，2003.

[45]張娜，李峰.合作問題解決能力評價的本土化研究——基于以證據為中心的設計模型[J].中國考試，2019，（8）：59-65.

[46] Shute V J，Masduki I&Donmez O.Conceptual frameworkfor modeling， assessing and supporting competencies withingame environments [J].Technology，Instruction，Cognition&Leaming，2010，8（2）：137-161.

[47]袁建林，劉紅云.核心素養測量：理論依據與實踐指向[J].教育研究，2017，38（7）：21-28+36.

[48] Yuan J，Liu H，et al.Assessment of Collahorative ProblemSolving Based on Process Stream Data：A New Paradigm forExtracting Indicators and Modeling Dyad Data [J].Frontiers inpsychology，2019，10：1-14.

[49] Rohert J & Mislevy，et al.，Design and Discovery in EducationalAssessment： Evidence-Centered Design，Psychometrics，andEducational Data Mining [J].JEDM-Journal of Educational DataMining，2012，（4）：11-48.

[50] Pearl，J.Prohahilistic reasoning in intelligent systems：networks ofplausible inference [M].San Mateo：Morgan Kaufmann，1988.

作者簡介：

朱莎：講師，博士，研究方向為信息素養、教育信息化績效評估（zhusha@mail.ccnu.edu.cn）。

吳砥：教授，博士生導師，研究方向為師生信息素養評價、區校教育信息化評價（wudi@mail.ccnu.edu.cn）。

楊浩：教授，博士生導師，研究方向為數字公民素養、數字化學習理論與實踐（harrison.yang@oswego.edu）。

收稿日期：2020年5月5日

責任編輯：邢西深

*本文系中央高校基本科研業務費專項資金“基于證據中心設計理論的學生信息素養評價研究”（項目編號：CCNU20XJ014）、國家重點研發計劃“基于大數據分析挖掘技術及其智慧教育示范應用”項目課題“基于大數據的教學效果評價技術”（課題編號：2018YFB1004504）階段性研究成果。