基礎教育領域數字教育資源的評價研究

[摘 要] 信息時代的教育教學改革以信息技術在教育系統的普及、滲透與應用為基礎，并以數字化資源在教育教學中的應用為重要突破口，不斷推動教育的變革與創新。何為優質教育資源？在信息化建設實踐中我們需要一個科學的價值評判標準。文章研究建立合理的評價框架，研制不同類型資源的評價指標體系，定量評價與定性評價相結合、人工評價與機器評價相結合、線上評價與線下評價相結合等多種評價方法與策略，形成一個多方參與的持續性動態評價機制，以實現數字教育資源的有效評價。

[關鍵詞] 數字教育資源； 資源分類； 資源評價方法； 評價指標

[中圖分類號] G434 [文獻標志碼] A

信息時代的教育教學改革以信息技術在教育系統的普及、滲透與應用為重要基礎，并以數字資源在課程教學中的應用為突破口，不斷推動教育的變革與創新。《國家中長期教育改革和發展規劃綱要（2010—2020年）》、《教育信息化十年發展規劃（2011—2020年）》、教育部等九部門《關于加快推進教育信息化當前幾項重點工作的通知》等文件，都強調推動優質數字教育資源的開發與普遍應用，促進優質教育資源的共享，以教育信息化帶動教育現代化。為推進我國優質數字教育資源的共建共享，國家建設了“國家教育資源公共服務平臺（www.eduyun.cn）”，以此推動數字教育資源的匯聚與應用。同時，《教育信息化十年發展規劃（2011—2020年）》也明確指出需要“制訂數字教育資源建設與共享的基本標準，建立數字教育資源評價與審查制度”。為保證國家教育資源公共服務平臺資源建設的質量與規范，本研究在聯合國兒童基金會“基礎教育領域數字教育資源評價研究”、教育部中移動科研基金“教育信息化理論研究”等課題的支持下，由中央電教館與華南師范大學成立聯合課題組，系統研究與探索基礎教育領域數字資源的評價問題，形成一套完善適用的評價體系，推動我國基礎教育優質數字資源的建設與應用。

一、數字教育資源評價研究現狀

針對數字教育資源的建設，國內外相當多的研究機構與標準化組織提供了系列技術規范、設計規范，如IEEE LTSC的LOM標準、IMS的學習設計規范、我國CELTSC的資源建設規范等，但尚缺乏全面、系統的數字教育資源評價標準。2002年，我國教育技術標準委員會針對網絡課程的評價發布了《CELTS—22網絡課程評價規范》，其他類型資源的評價規范則尚未發布。從研究文獻上考察，資源評價的研究成果非常稀少，評價的主體、方法、模式、策略等內容鮮有人涉足。[1]從資源建設實踐的角度考察，我國基礎教育數字資源的建設部門在特定領域提出了一些具有一定操作性的評價指標，但目前尚缺乏系統性研究與實踐。

國外關于數字教育資源評價的探索，主要體現在一些資源建設項目上。Connexions開放資源項目[2]采取“用戶評價”、“專業人士審核”和“管理員審核”相結合的質量保證機制。用戶通過資源平臺的“透鏡”工具標記和評論資源，專業人士綜合用戶意見對資源進行權威的評價，管理員則就資源內容的合法性及可靠性作出審核驗證。MERLOT教育資源項目[3]則制定了一套有序的資源評價制度——“同行評審”、“用戶評議”和“個人收藏”。“同行評審”是指同行評審員根據各學科資源質量評價標準，對已征得創作者評審許可的學習材料進行評審；“用戶評議”是指資源用戶以個人主觀感受對資源進行星級評定和文字評論；“個人收藏”是用戶自發選擇喜愛而有用的資源的行為，可謂一種個性化資源推薦機制。Tracey L. Leacock，John C. Nesbit[4]介紹了專門用于評價學習對象的評價工具——LORI的結構和理論基礎，從九個維度考察學習對象的質量，每一個維度分為五個等級（一至五顆星）和“不適用”。土耳其研究者Deniz和Marzo等人[5]在2008年國際EAEEIE會議上就EU Socrates EIE—Surveyor項目提出了一套針對在線學習資源的質量評價方法。該方法分成兩個主要部分，分別是在線資源目錄和在線資源調查。Ann Ooms[6]提出了改進數字教育資源的迭代評價模型，強調數字教育資源評價的四元素。Dr. Alivizos Sofos和Apostolos Kostas[7]關注教學過程，基于教學法和媒體教學理論，從教師這個使用者的角度研制小學數字教育資源的評價指標。《評價和選擇學習資源指南》（Evaluation and Selection of Learning Resource： a Guide）[8]中給出了數字化學習資源的選擇與評價標準，包括了教學內容、教學方法、教學評估、社會現實、學生特點、媒體特點、技術性七個評價維度，每一個評價維度下都涵蓋具體的、體現不同程度的評價標準。《學習資源評價指導方針》（Learning Resources Evaluation Guidelines）[9]清晰地羅列了資源評價的五條準則。《開放教育資源評價量規》（Rubrics to Evaluate Open Educational Resources）[10]考慮七類評價量規，并詳細描述了每一量規的細節。國外資源評價的研究與實踐現狀見表1。

總結對比分析國內外數字教育資源評價的研究和實踐案例，可以看出：數字教育資源評價研究滯后于資源的研發與教學應用實踐，教育資源評價的相關研究主要集中在評價指標體系的開發與應用、評價原則與方法的探討上，并沒有形成資源的基本評價理論體系；現有的資源評價指標風格各異，大都集中在內容因素、組織形式因素和運行情況因素，缺乏系統性，未能詳細地反映教育資源本身的特征和教育資源應用于教學活動中的本質，忽略了預測教育資源實際教學效用的能力；評價機制、策略方面的研究成果缺乏，大規模有效的實踐案例并不多見。由此可見，在數字教育資源評價領域，目前尚未形成成熟的評價理論體系和評價模型，大規模的實踐應用也有待進一步探索。

二、數字教育資源評價體系的基本框架

數字教育資源的評價包括評價主體、評價對象、評價方法、評價指標等諸多要素，為構建科學有效的資源評價體系，需要厘清資源評價的相關要素，并建立一個科學合理的框架，如圖1所示。

（一）數字教育資源評價的基本要素

1. 評價目標

評價目標是任何評價活動能夠啟動的先決條件。評價的所有標準都是圍繞目標來制定的，數字教育資源的評價目標不僅包括對數字教育資源在教育性、社會性等方面的質量檢驗與優劣鑒定，同時也是對數字教育資源發展新方向及時、動態的預測與引導。

2. 評價主體

評價主體即評價者。數字教育資源的評價主體多樣，不同的評價主體由于所處的立場和專業角度不同，所關心的側重點也有差異。根據參與主體的特定專業身份，評價主體可分為教育資源的管理者、教育技術專家、學科專家以及使用者等幾類。在評價時，根據具體評價需要，評價主體可以是單獨個體，也可以是多個主體的組合。

3. 評價對象

評價對象，即被評價者。技術的驅動深刻地影響著教育資源的內涵和存在形式，人們對教育資源“質量保證”的要求越來越高。因此，評價對象不應僅僅是常規的數字教育資源實體，隨著評價不斷深入和推廣，還可以擴展至對資源開發商資質和支持服務能力的全面考察，從而多渠道保證評價效能。

4. 評價方法

評價方法是實施數字教育資源評價的手段與途徑。目前應用于數字資源評價的常見方法包括元數據方法、定性與定量相結合的方法、網絡計量方法。[11]教育資源元數據指的是用于描述資源的數據，是對資源內容形式的全方位揭示，依靠教育資源描述的元數據，可以在某種程度上對資源的價值作出一定的判斷。定性與定量相結合的方法是有關的定性方法和定量方法互補互促的高效產物，在主觀評價上引入精確技術手段，將定性問題定量化處理，主流的方法有層次分析法、因素分析法、回歸分析法、模糊綜合評判法等。網絡計量方法是指在網絡環境中，運用文獻計量、信息流計量、網絡鏈接分析等方法，對數字化資源的組織、存儲、分布、傳遞、相互引證及其功能和開發利用等作出定量描述并進行統計分析，以揭示其數量特征和內在規律的方法。例如通過資源的鏈接分析，由鏈接數量和頻率的多少反映出資源質量的好壞。

5. 評價指標

評價指標是評價目標的可操作化分解，是評價目標某個部分的具體描述，回答對評價對象的哪些方面進行評價的問題。評價指標是根據評價目標和評價主體來設計的。數字教育資源的評價重點考察反映教育資源質量好壞并有利于教育資源優化發展的影響因素。

（二）數字教育資源評價的基本方式

針對不同的評價主體，基本的評價方式有管理者評價、專家評價、用戶評價、機器評價等。管理者評價[12]面向教育資源運營系統的管理和運維，側重于評價資源的系統性、豐富性、組織性、準確性、高效性、安全性、穩定性；專家評價是應用最為廣泛的評價方式，領域專家往往更熟知教育資源的體系結構、教學特點和應用方向，可以憑借專業經驗多方位地考察教育資源；用戶評價是從用戶的角度考察資源是否實用、好用、易用，屬于開放式過程性評價，是對資源非正式的及時反饋；機器評價是借助技術實現的客觀量化評價，由計算機智能技術自動對資源的技術參數進行測試，以及對資源的引用、點擊、轉發、收藏等信息進行分析計算，形成直觀的評價結果。常用的數字教育資源評價方式與評價方法見表2。

（三）數字教育資源評價的指標體系

數字教育資源的評價指標體系是實現評價的核心，它由影響教育資源質量的不同象限列出的若干問題構成，是一組能清晰并有區分度地描述出數字教育資源價值特質的集合體，它為評價主體提供一套可參照的、較為統一的標尺。針對不同的評價主體與方法，可以建立不同的評價指標體系。

（四）數字教育資源評價的機制與策略

數字教育資源評價的機制與策略，是指有序化、規范化實施數字教育資源評價的基本方法、步驟和運行制度。只有建立科學的評價策略，形成有效的評價機制與方法，并在實踐中不斷完善，才能提高資源評價的整體質量與效率。

三、數字教育資源的基本分類

隨著信息技術在教育過程中應用的不斷滲透與深入，受不同認知學習理論、技術發展的影響，不同表現形式的教育資源不斷涌現。目前數字教育資源發展的特點是：在內容組織上，由預設性、結構化內容組織的資源向生成性、動態性教學內容的資源發展；在教學功能上，由結構化、集成化的多媒體課件和專題學習網站等內容展示式資源，向探究式、互動式、開放性等帶有強交互教學功能的教育資源發展；在教學應用上，由課堂教學課件向半開放的混合式課程、完全開放的社會化課程逐步發展；在技術應用上，由相對單一的終端支持向多種終端支持，由較單一的多媒體技術應用向網絡化、智能化技術等多種新技術的集成應用方向發展。目前虛擬仿真實驗室、微課、移動學習資源等新型數字教育資源受到廣泛關注。針對不同類型的數字教育資源，建立分類評價指標，是開展數字教育資源評價的基本原則。

（一）數字教育資源的分類

隨著各種新形態的數字教育資源不斷涌現，要對基礎教育領域的數字資源進行一個非常科學、規范的分類并不容易。從資源的文件類型角度，數字教育資源可分為文本、圖像、動畫、視頻、網頁等；從資源的承載物角度，數字教育資源可分光盤資源、IP資源、網絡資源等；從資源服務教學對象的角度，數字教育資源可分為輔助教師教學的資源、滿足學生學習的資源和支持教師專業發展的資源；從支持課程教學的知識粒度看，數字教育資源可分為教學素材、知識點課件、網絡課程等；從資源表現的內容角度，數字教育資源可分為知識類、工具類、案例類、評估類、素材類等等。

本研究建議結合資源所服務的教育教學對象及其外在表現形式兩個方面，把數字教育資源的第一層次分類為：面向教師教學的資源、面向學生學習的資源和面向教師專業發展的資源。第二層次分類為數字教育資源的表現形式，如：多媒體素材、教學課件、網絡課程等等，第二層次分類的具體名稱可根據技術發展與教學應用實際不斷擴展。面向教師教的常見資源包括多媒體教學素材、教學單元課件、教學工具等；面向學生學習的常見資源包括學習工具、微課視頻、主題探究學習與實踐資源、高中網絡選修課等；面向教師專業發展的常見資源包括教學案例、教師教育網絡課程等。

（二）常見的數字教育資源

結合我國教育信息化教學發展實際，國家教育資源公共服務平臺基礎教育領域目前征集的主要資源類型包括教學素材、教學課件、網絡課程、教學案例、教學工具與教育游戲等類型，并隨著教育信息化的深入發展不斷擴充與發展。

1. 教學素材。指教學過程中使用的文本、圖形、圖像、動畫、視頻、音頻等多媒體材料，是教學課件、網絡課程、教學案例等教學資源的基本組成元素，是承載教學信息的基本單位。

2. 教學課件。指根據教學需要，在一定的學習理論指導下，經過教學設計，以多種媒體表現，具有良好結構，滿足某一單元或知識點教與學需要的一種軟件。例如：演示文稿、動畫課件、電子白板課件等。

3. 網絡課程。指以計算機網絡為基礎實現的課程教學內容及實施的教學活動的總和。從組成內容來說，它包含教學目標、教學內容、教學活動和評價方法等課程教學必備的要素。從組成形式來說，它包含符合網絡學習特點、按照一定的教學目標組織起來的課程教學內容和網絡課程教學支撐環境，以及基于以上二者開展的網絡教學活動。網絡課程主要應用于教師教育、高中網絡選修課等。

4. 教學案例。指記錄教育教學過程中發生的教學活動、典型意義事例及相關信息的資源。概括來說，教學案例有兩類，一類可用于教師總結教學經驗，開展教研，促進教學水平提高。這一類教學案例需要包括教學設計方案、教學課件、課堂視頻實錄和教學反思四個部分（有的還包含專家點評）。一類用于幫助學生完成某個知識概念的理解與建構，如“微課”資源，圍繞某個知識點或問題進行講解的以視頻為主的教學短片，授課時間一般不超過15分鐘，比如：知識點授課視頻、操作過程演示視頻等；學前教育教學案例主要指幼兒學習探究過程和教師適時引導的幼兒園小組活動和區域活動案例。

5. 教學工具。指針對知識點（簇），能夠在一個或多個方面為不同學生或教師的學與教活動提供有效支撐的軟件，它可以一節課或一個單元為單位組織，也可以學科為單位組織。學科教學工具軟件主要分為教師備課工具、學生學習工具和仿真實驗室等。

6. 教育游戲。指根據教學需要，在一定的學習理論和游戲理論指導下開發的，兼顧教育特性和游戲特性，同時承載著一定的教育和娛樂目的，能夠實現寓教于樂的計算機軟件。

四、數字教育資源的評價指標體系

評價指標體系是資源評價中用得最廣泛的評價工具，完整的評價指標體系應由評價指標、評價標準以及權重系數三個要素有機組合構成。針對不同的評價目標與評價主體，可以建立不同的評價指標體系。為配合國家數字教育資源公共服務平臺的資源征集與評價，本研究初步建構了針對專家評價的資源評價指標體系。為使評價指標體系更加合理科學、更具有操作性，評價指標體系構建過程中須遵循科學性、系統性、可測性、動態性與導向性原則。

（一）數字教育資源評價指標體系的構建過程

評價指標體系的構建過程如下：

1. 提煉有效評價指標。通過相關研究項目與文獻全面收集整理評價指標，根據Delphi法實行第一輪開放式咨詢。

2. 設計評價標準。將二級指標細化衍生成的可觀察或可測量的若干評價要點，以評語式的語言敘述出來。

3. 篩選評價指標。實行第二輪咨詢，邀請專家分析出重要指標，述評評價標準細節，專家意見基本趨向一致，篩選出3個必備指標（所有資源評價都必須滿足的指標）和64個可選指標。實行第三輪咨詢，依照層次分析法的形式，編制《數字教育資源評價指標專家意見咨詢表》，再次統計專家意見，對各級評價指標之間的相對重要性進行判斷。

4. 分配指標權重。匯總咨詢表中的重要性賦值，運用層次分析法（簡稱AHP）計算出指標權重。指標的權重計算主要借助Yaahp 層次分析法軟件完成。

（二）數字教育資源的分類評價指標體系

國家數字教育資源公共服務平臺的資源評價標準針對多媒體教學素材、教學單元課件、網絡課程、教學工具、教學案例、專題教育資源、虛擬仿真系統等構建了相應的評價標準體系。其中所有資源都必須滿足基本的審查條件：（1）思想性。符合國家的有關法律、法規、方針、政策，無政治性錯誤，無錯誤教育導向。（2）科學性。科學嚴謹，沒有學術性、表述性錯誤，且能正確反映知識的規律性。（3）版權。符合國家出版規定，無侵犯著作權行為。

表3、表4分別給出了教學課件、教學工具的專家評價指標體系，其他類型資源的評價指標體系請見《國家教育資源公共服務平臺教育資源評價指標體系》（教育部教信推辦[2013]22號文）。

目前本研究中的相關評價指標體系已在“國家教育資源公共服務平臺”資源征集活動中試用，評價工作表明本研究提出的評價指標體系具有較強的可操作性與應用價值，對教育資源建設具有較好的指導作用。

五、數字教育資源的評價機制與評價策略

為實現數字教育資源的有效評價，推動優質數字資源的匯聚與共享，需要制訂科學的評價策略，建立可行的評價機制。

（一）定性評價與定量評價相結合

定性和定量結合的方法是最常見的綜合評價方法，定性與定量相互補充，以定性評價的全面性和成熟度來彌補定量評價的不穩定性，以數學模型分析的可測定和客觀性來彌補定性評價的經驗判斷。特別是從網絡信息資源評價中引進的網絡計量法，以“鏈接分析”和“流量分析”等方法，提供資源內在鏈接質量或訪問量的客觀數據，為資源的定量評價帶來新的視角。

（二）人工評價與機器評價相結合

管理者評價、專家評價、用戶評價和基于機器的自動化評價各有優勢，為使評價客觀、公平、可操作，應結合多種評價方式。在資源開發過程中聘請專家從專業角度分析教育資源中存在的不足；在資源投入使用前聘請有關專家組成評價小組對教育資源進行全面的評議；在資源發布之后通過開放式用戶評價，如資源評級、反饋意見等方式，實現資源的持續性、真實性評價；管理者評價則側重于資源的安全性、穩定性，保證資源運行順利、維護高效。機器評價彌補了主觀意見的不足，采用一定的工具自動記錄和統計該資源的引用、點擊、轉發、收藏等信息，然后通過統計分析這些信息來評估資源。

（三）線上評價與線下評價相結合

組織專家、學科教師對數字資源進行集中評價，針對資源評價中出現的問題進行研討交流，采用定量與定性評價相結合的方法，是線下數字資源評價的常用策略。網絡技術為資源評價提供了新的平臺與機制，基于網絡的在線評價系統支持與各類教育共享資源平臺無縫對接，實現資源評價與推送的高效管理。網絡平臺集教育資源申報、導入、審批、評價與管理于一身，適合于資源入庫、資源發布和資源日常使用檢測，評價人員可以借助網絡平臺開展評價活動，評價數據通過網絡平臺實現自動統計分析，可以大大提高資源評價的效率。線上評價與線下評價相結合的方式，是數字資源評價的有效機制。

（四）資源建設、資源應用與資源評價相結合

數字教育資源的建設、應用和評價相結合，建立評建結合、評用結合的機制將能保證數字教育資源的建設和應用進入到一個良性循環的狀態。國家數字教育資源公共服務平臺初步建立一個以評價為核心，實現“資源準入—資源共享—資源優化”的機制。資源準入：以國家資源公共服務平臺為依托，建立統一的資源評審機制，采用線上評價與線下評價、定量與定性評價相結合的評價方式，評價通過的資源方能進入公共服務平臺；資源共享：針對義務教育的公益性教育資源通過網絡免費為師生提供；資源優化：通過線上用戶評價收集使用者群體對資源的實際使用效果的評價意見，公共服務平臺根據專家評價、用戶評價與網絡計量評價進一步優化、完善已有資源，建立有效的淘汰與鼓勵機制，推動數字教育資源的良性進化。

六、研究結論

隨著數字教育資源建設與應用的發展，資源的評價主體、評價對象、評價方法日益多元化，目前國內的資源評價普遍采用基于評價指標體系的“靜態性”量化評價，國外的資源評價則更加注重資源的應用質量、支持服務、內容更新等動態性指標。數字教育資源評價首先需要厘清數字教育資源建設與應用系統的相關要素，建立合理的評價框架，讓不同評價主體圍繞評價目標，采用適當的評價方式與方法，形成有效的評價策略與機制，指導評價活動的開展；評價指標體系是資源評價的重要基礎，通過科學的方法建立不同類型資源的評價指標體系，是開展資源評價的關鍵；從資源的生存與發展周期看，資源評價需要建立一個多方參與的持續性動態機制：“資源發布準入”前一般可采用線上或線下的專家評價，資源在共享過程中可采用線上的用戶評價，資源的優化可采用專家評價、用戶評價與網絡計量評價相結合的評價。

數字教育資源的評價跟認知科學、教育教學理論與實踐的發展、技術的變革與創新有著密切的關系，只有建立一套動態、多元、與時俱進的資源評價機制與方法，并在實踐中不斷完善，才能提高資源評價的整體質量與效率，指導教育資源的科學建設與良性發展。

[參考文獻]

[1] 方圓媛，黃旭光.我國基礎教育數字化資源研究的現狀[J].中國遠程教育，2012，（1）：32～37.

[2] 吉喆，焦麗珍.連通開放教育資源——賴斯大學Connexions項目評析[J].現代教育技術，2011，（2）：17～21.

[3] 黃德群， 陳麗亞.在線教與學多媒體教育資源（MERLOT）項目評析[J].現代教育技術，2011，（5）：12～17.

[4] T. L. Leacock， J. C. Nesbit. A Framework for Evaluating the Quality of Multimedia Learning Resources[J]. Educational Technology Society， 2007，10 （2）， 44～59.

[5] D. Z. Deniz ， J. L. Marzo ，D. Genon， et al. A Quality Assessmentmethodology for EIE Resourcesavailable through the Internet[A]. Proc. of 19th EAEEIE Annual Conf[C]. 2008， 82～87.

[6] A. Ooms. The Lterative Evaluation Model for Improving Online Educational Resource[D]. University of Minnesota，2005.

[7] A. Sofos，A. Kostas. Pedagogically-Oriented Evaluation Criteria for Educational Web Resources[EB/OL]. http：//www.elearningeuropa.info/files/media/media21214.pdf，2009.

[8] Evaluation and Selection of Learning Resource：a Guide.Prince Edward Island Department of Education PO Box 2000 Charlottetown， Prince Edward Island， Canada， C1A 7N8： 66～71[EB/OL].http：//www.gov.pe.ca/photos/original/ed_ESLR_08.pdf.

[9] Learning Resources Evaluation Guidelines. Student Achievement and Supports Branch Saskatchewan Ministry of Education[EB/OL]. http：//www.education.gov.sk.ca/learning-resource-evaluation-guidelines.

[10] José Vladimir Burgos Aguilar. Rubrics to evaluate Open Educational Resources （OER） [EB/OL]. http：//www.temoa.info/sites/default/files/OER_Rubrics_0.pdf，2011.

[11] 秦衛平.數字資源評價與指標體系研究進展[J].現代情報，2007，（8）：97～103.

[12] 謝海波.高校網絡教育資源評價的探討[J].遠程教育雜志，2011，（4）：60～64.