數字化學習資源質量評價研究

[摘要]數字化學習資源在教育信息化發展過程中發揮著日益重要的作用，資源質量評價是數字化學習資源開發與利用領域亟待解決的熱點問題之一。文章對數字化學習資源質量進行了界定，對數字化學習資源質量評價相關標準進行了綜述。在此基礎上，提出了數字化學習資源質量評價的指標體系，并對相關評價方法進行了分析，最后提出了數字化學習資源質量評價的相關策略。

[關鍵詞]數字化學習資源；質量；評價；標準

[中圖分類號]G40-057 [文獻標識碼]A [論文編號]1009-8097（2013）01-0045-05 [DOI]10.39690/j.issn.1009-8097.2013.01.010

在知識經濟時代和信息化時代，數字化學習資源在教育信息化發展過程中發揮著日益重要的作用。隨著信息技術飛速發展和教育信息化的不斷推進，數字化學習資源總量呈“爆炸式”增長，與此同時，數字化學習資源種類繁雜混亂、可用性缺乏、建設標準多樣化、難以共享等問題不斷凸顯。究其原因，主要在于數字化學習資源缺乏準確的質量評價方法和有效的質量控制機制。質量評價是數字化學習資源開發與利用領域亟待解決的熱點問題之一。

一、數字化學習資源質量

數字化學習資源是在信息技術發展前提下學習資源的延展和提升，是指經過數字化處理的學習資源，包括文字、圖像、聲音、動畫、課件和視頻等。數字化學習資源中，有些是教學環境型的資源，本身不是純粹的資源，但是它可以依托自身的環境構成為學習者提供相應學習資源服務，基于此數字化學習資源可以分為資源型學習資源和系統環境型學習資源。數字化學習資源依托信息技術的優勢，較傳統學習資源具有多樣性、共享性、互動性、擴展性、再生性等特點。

（1）多樣性：信息內容以多種形式呈現，極大豐富了信息內容的表現力；

（2）共享性：互聯網環境下實現學習資源的共享；

（3）互動性：數字化學習資源的雙向傳遞及反饋功能使得學習者之間、學習者與學習內容、學習者與教師之間的互動更為便捷和有效；

（4）擴展性：允許對學習資源進行橫向或縱向的精加工，以滿足不同學習者的學習需求；

（5）再生性：在學習者參與下，可以利用信息技術對學習資源進行整合和二次開發。

國際標準化組織IS09000將質量定義為“一組固有特性滿足要求的程度”。固有特性是事物本來就有的，它是通過產品、過程或體系設計和開發及其后之實現過程形成的屬性。數字化學習資源質量是一個相對的概念，隨著信息技術的發展和學習技術的更新而不斷深化。國內外學者對數字化學習資源質量的認識逐漸由單純判斷資源好壞的客觀標準發展為包含用戶主觀價值取向因素在內的多個屬性的集合。從文獻檢索的情況來看，目前對數字化學習資源質量評價方面的研究很少，可參照內容不多。

因此，本文將借鑒信息資源質量評價領域的一些相關研究成果。在信息資源質量評價領域，有學者提出信息資源質量是一個三元結構，認為信息資源質量包括信息內容質量、信息符號質量以及信息接收者對信息的解釋和效用的質量；另有人認為信息資源質量表征的是信息資源滿足用戶和社會現實的、潛在的信息需求的能力，包括技術質量和功能質量兩個方面的內容。技術質量指的是用戶已獲得的信息資源的一些基本屬性，常常用信息資源的數量、可靠性、新穎性等指標衡量；功能質量研究的是用戶如何獲得信息資源，即獲取過程，大多是用戶的一些主觀感受，如資源界面的友好性、資源環境的優劣等。Eppler等人指出，信息資源質量是一個多維概念，是由信息資源質量的多種屬性構成的集合，由多個質量維度取值情況來表現和決定。本文在綜合以上觀點的基礎上，認為數字化學習資源的質量評價應該分為技術質量、功能質量和使用績效三個維度。其中的使用績效是從用戶滿意度角度出發，對資源使用效果的評估。

二、數字化學習資源質量評價相關標準

從國內情況來看，目前尚無數字化學習資源質量評價的專用標準。目前可以參照的是教育部教育信息化技術標準委員會（CELTSC）發布的《教育資源建設技術規范》（CELTS-41）和《網絡課程評價規范》（CELTS-42）。其中《教育資源建設技術規范》是一個較為寬泛的標準，側重點在于統一資源開發者的開發行為、開發資源的制作要求和管理系統的功能要求，主要從兩個方面進行規定：一是從用戶的角度，二是從管理者的角度。《教育資源建設技術規范》對教育資源的評價有所提及，但沒有具體歸規范。《網絡課程評價規范》通過定義網絡課程評價的基本框架和指標體系，來規范和指導網絡課程的質量評價。該規范定義了網絡課程的課程內容、教學設計、界面設計和技術等四個維度的特性，每個維度下包含有具體的評價指標，以最小的重迭描述了網絡課程的質量特性，具有較強的可操作性。但該規范針對的只是網絡課程這一種學習資源表現形式，對于評價其他形式的數字化學習資源不一定適用。

從國外情況來看，英國負責教育信息化指導與管理的教育及通信技術局（Becta）于2007年4月制定頒布了一套包括核心設計原則（Core Design Pedagogic Principles）與核心教學原則（Core Pedagogic Principles）兩部分內容在內的英國數字化學習資源質量標準，其中對英國數字化學習資源的設計制作及教學應用的標準提出了基本規范，具有一定的科學性、權威性及較強的實踐操作性。其中核心設計原則包括：強大的用戶支持功能、資源必須具備可訪問性和平臺互操作性、具備有效的溝通能力，確保關鍵資源信息、用戶指導信息以及各種已知的資源利弊信息等都清楚傳達給了所有用戶。資源核心教學原則規定數字學習資源的教學應用過程必須具備包容性（Inclusion）及準入性（Access）、支持參與式學習及有效學習、支持形成性評價及終結性評價、與課程匹配、易于使用等基本要素。

挪威教育部發布了一套數字化學習資源質量評價標準，該標準用于對挪威本土中小學數字化學習資源質量評價進行規范。該評價標準包含兩個大的維度，一是教育維度，一是技術維度。此兩個維度也包含了數字化學習資源的教育屬性和技術屬性。其中教育維度包括三個方面：數字化學習資源特征、資源的學術及教育取向（Academic and Educational Orientation）、用戶取向（User Orientation）；技術維度包括四個方面：可訪問性、元數據標識、并行語言版本（Parallel Language Editions）和技術互操作性（TechnicalInteroperability）。

三、數字化學習資源質量評價的指標體系

目前。數字化學習資源質量評價的研究還處于探索階段，還沒有一個能被廣泛認同的質量評價體系。基于對數字化學習資源質量的不同理解和不同的學科背景，不同學者提出了各自的評價指標體系。加拿大西蒙菲沙大學的John C.Nesbit教授等人設計了一套用于評價數字化學習資源質量的指標體系。該體系從9個維度來考察學習資源的質量，9個維度依次為：內容質量、學習目標一致性、反饋和適應性、激發性、界面設計、交互使用性、可訪問性、可重用性、遵守標準。Robin H.Kay在總結前人研究的基礎上，提出了一個5維度的指標體系：交互性，包括活動建構、控制、交互層級：設計，包括布局設計、呈現設計、圖片質量、關鍵概念的強調；參與，包括難度、主題、反饋和多媒體；可用性，包括簡單易用、清晰明示、導航；內容，包括準確性和質量。謝海波從使用者、管理者和開發者三個不同的視角，設計出了數字化學習資源質量評價的指標。使用者視角包括資源的易獲得性、易操作性、共享性、可編輯性和可移植性；開發者視角包括資源的創新性、兼容性、知識性、藝術性、適用性、技術性和教育性；管理者視角包括資源的系統性、豐富性、組織性、準確性、高效性、安全性和穩定性。

基于對數字化學習資源質量的多維理解，本文提出了一個多個層面的數字化學習資源質量的評價指標體系（見表1），主要包括資源內容、資源組織形式、資源支持系統和資源使用績效四個方面。

1.基于資源內容的評價指標

對數字化學習資源內容的評價是從資源內在的質量的判斷，是最根本、適用性最廣的評價方式。主要包括準確性、完整性、創新性、教育性、知識性和相關性等6個指標。

準確性是指資源內容本身反映所屬知識點或知識點屬性的客觀程度，資源設計人員不能帶有個人偏好來提供、傳遞和制作數字化學習資源；完整性是指數字化學習資源內容必須兼具廣度和深度；創新性是指資源內容是否新穎、獨創并且及時更新，既要判斷資源內容的獨創性，又要判斷資源內容的時效性；教育性是指資源內容能達到教育目標和教學任務的要求，能夠引導學習者進行學習與實踐，支持學習者開展自主學習和探究性學習；知識性是指資源內容是否包含豐富的學科專業性知識；相關性是指資源內容與學習者需求的匹配程度。強相關性意味著目標學習者能及時獲得學習資源，并且資源與學習者的學習目標和學習需求緊密相關。

2.基于資源組織形式的評價指標

資源內容是通過一定的形式來組織和呈現的，讓用戶可以方便地獲取和使用。因此，資源組織形式的好壞在一定程度上反映了數字化學習資源質量的高低，包括易用性、精簡性、標準化、藝術性和可重用性等5個評價指標。

易用性包含兩層含義，一方面是資源表達方法易于理解，另一方面資源使用方便、導航清晰；精簡性是指資源的組織要盡可能簡單明了，方便存儲和傳輸；標準化是指資源必須符合國內外數字化學習資源開發與建設的技術規范和標準。標準化是資源能夠共享的必要保證；藝術性是指資源應具有良好的交互界面，形象、生動、直觀地展示資源，能吸引使用者的注意，引起使用者的興趣：可重用性，重用也叫再用或復用，是指同一事物不作修改或稍加改動就可以多次重復使用。數字化學習資源的可重用性是指資源可以多次被重復使用，包括不同時間、不同地點、不同使用者和不同使用情境等。

3.基于資源支持系統的評價指標

數字化學習資源必須借助于相應的資源支持系統才能完整有效地組織起來并被使用。資源支持系統包括數字化學習資源超市、數字化學習資源呈現平臺、電子績效支持系統、在線學習社區平臺等。系統性能的好壞主要有可訪問性、快速響應性、可靠性、互操作性等4個指標。可訪問性是指學習者能夠簡單、快捷地檢索并迅速獲得所需學習資源，資源支持系統以用戶為中心、界面友好、交互性強，能最大限度地滿足用戶要求：快速響應性是指系統反應敏捷，能夠及時處理用戶要求，以最快的速度提供資源內容和相關服務；可靠性反映的是整個資源支持系統的穩定性和安全性；穩定性是指系統在用戶要求的時間內處于有效狀態；安全性是指系統有防御風險的能力，能預防系統被中斷、截獲、篡改和偽造；互操作性是指兩個不同的資源支持系統能夠互聯并共享信息。互操作性是不同資源支持系統之間實現資源共享的重要衡量指標。

4.基于資源使用績效的評價指標

資源使用績效是從用戶角度出發評價學習資源的質量。使用績效不僅可衡量在資源使用過程中產生的教學效果及社會效益，還能直接反映資源內容與用戶期望之間的直接差距。使用績效主要包括適量性、利用率和價值增值性等幾個指標。適量性是指學習資源的數量和規模應該適量，避免信息冗余和資源重復建設；利用率是考察數字化學習資源效用的直接指標。主要涉及系統流量、點擊率、用戶登錄次數、下載量、瀏覽時間等統計指標；價值增值性主要是考察學習資源給學習者帶來的教學效果和社會效益的總和。教學效果可以通過教學評價的形式方式來衡量；社會效益則要從全社會角度綜合考慮其短期效益和長期效益。

四、數字化學習資源質量評價方法

為了對數字化學習資源的質量進行科學、有效地評價，從評價技術出發，常用的評價方法主要有：定性評價法，定量評價法和半定量評價法。

1.定性評價法

定性評估是評估主體按照一定的評估標準，借助專業知識和個人經驗進行估計和推斷的一種評估方法。定性評價的基本步驟是：由評價工作的目的和服務對象的需求，依據一定的準則，研究確立評價標準，建立相關的評價指標體系對評價對象進行評價。就數字化學習資源評價而言，定性評價具有可靠性和專業性特征，因為評價主體一般都來自于學習資源建設領域的權威專家，具有豐富的學科知識和評價實踐經驗，了解學習資源各方面的特征，能夠對資源質量作出較為合理的評價和判斷。定性方法的優點是可以對學習資源進行全面、細致和深入的分析，可以從多種思路、多種視角、多種觀點來評價數字化學習資源的質量。其局限性主要表現在主觀性較大，有時可操作性較差，合理性和可信性可能會引起爭議，規范性、準確性和科學性有待進一步提高，時效性不強等。數字化學習資源質量評價的定性方法包括問卷法、訪談法、觀察法、對比法、模擬法等多種方法。

2.定量評價法

定量評價方法是指按照數量分析方法，從客觀量化角度對數字化學習資源質量進行評價。定量評價方法與定性評價方法相比，其得出的結論較為科學和精確，可信度較高。其不足之處在于：量化的標準相對簡單化和表面化，致使有時無法對學習資源質量進行深層次的剖析和考察，比如不同類型學習資源之間的評價數據往往不具備可比性等。從目前情況來看，采用定量方法評價數字化學習資源的不確定性因素較多，評價的技術手段還有待進一步完善。當前定量方法中主要有鏈接分析法和概率統計方法。鏈接分析法來自于信息資源評價領域，其通過分析學習資源站點被其他資源站點鏈接的情況，來測定學習資源被引和被使用的情況，為學習資源的評價提供依據。該方法主要適用于對基于網絡的數字化學習資源質量進行評價。概率統計方法主要是通過對學習資源自身特征、資源用戶特征、用戶對資源的滿意度等指標進行統計分析，從量化角度對資源質量的多個指標進行全面準確評價。

3.半定量評價法

半定量評估方法是兼具有定性和定量屬性的評價方法。其主要思想是在定性評價方法中引入精確評價手段，將定性問題（如專家評價意見）按人為標準打分并做出定量化處理。常見的半定量評價方法有層次分析法和模糊綜合評價方法等。

（1）層次分析法

所謂層次分析法，是指將一個復雜得多目標決策問題作為一個系統，將目標分解為多個目標或準則，進而分解為多指標（或準則、約束）的若干層次，通過定性指標模糊量化方法算出層次單排序（權數）和總排序，以作為目標（多指標）、多方案優化決策的系統方法。使用層次分析法的基本思想就是將數字化學習資源質量視為一個復雜的大系統，通過對學習資源的多個質量評價指標進行分析，劃分出各質量指標間相互聯系的層次關系；然后請相關評價專家對每一層次的質量指標進行客觀判斷，并定量地確定出各質量指標的相對重要性程度；接著利用構建的數學模型，計算出每一層次質量指標的相對重要性權重，加以排序；最后根據排序結果計算出各指標對學習資源質量的影響程度。該方法能夠快速判別出影響學習資源質量的主要因素及影響程度，可操作性較強。

（2）模糊綜合評價法

由于數字化學習資源質量評價是一個綜合評價的過程，需要考慮多種因素的影響作用，而且這些因素往往帶有一定程度的模糊性。模糊綜合評價法是一種基于模糊數學的綜合評標方法。該評價法根據模糊數學的隸屬度理論把定性評價轉化為定量評價，首先通過建立指標集、評語集、權重集和評估矩陣進行單因素評價，在此基礎上，從低層次到高層次把每層的評估結果作為上一層的輸入，逐層計算，直到最終得到總的模糊評價結果。該方法具有結果清晰，系統性強的特點，能客觀地考察數字化學習資源質量的真實值。

五、數字化學習資源質量評價策略

1.建立統一的評價指標體系與評價標準

從前文的分析可知，目前國內尚無數字化學習資源質量評價的專用標準。數字化學習資源質量評價的研究主要表現為學術領域人員的個別行為，缺乏權威研究機構的參與。目前的學習資源評價多以單一機構為主體，并且由于評價項目的資助者不同，各個評價項目面向的用戶群不相同，從而造成一種信息孤島式的評價服務。從相關研究的評價指標體系上來看，許多指標體系結構不科學，各級指標存在一定的重復和交叉：從可操作性來看，一些指標體系指標的可獲取性較差，有的根本無法獲取：有些指標看似合理，但其具體測度和運用有相當大的難度，不具備實用性。因此，建立統一的評價指標體系和評價標準勢在必行。在統一標準的指導下，對同一數字化學習資源質量的評價結果既真實可信，又具有權威性和互認性，避免了多次評價造成的人力、物力和財力的浪費。

2.專家評價與用戶評價相結合

為了保證數字化學習資源質量評價的科學性與有效性，應當采用專家評價與用戶評價相結合的方式。專家評價應建立包括多方面專業人員的評價小組，通常應該包括學科教學專家、教育技術專家、資源設計人員、資源管理者等。在整個評價過程中應注意小組成員之間的溝通與交流，對成員之間的意見分歧應合理協調。專家評價應兼顧三個方面：第一個方面是技術性評價，第二個方面是功能性評價，第三個方面是使用績效的評價。對用戶評價而言，應分為使用前評價和使用后評價兩種。使用前評價是根據事先制定的數字化學習資源質量評價指標體系，為不同用戶編寫不同的問卷來獲取評價信息及相應的得分即使用前的評價得分。使用后評價則主要是對該資源被使用后所產生的學習效果和社會效益的評價。最后把二者結合起來進行綜合評價，從而得出最后的評價得分。最后，將專家評審的結果與用戶評價的總得分結合起來，并以此作為確定該數字化學習資源質量評價等級的主要依據。

3.定性評價與定量評價相結合

定性分析和定量分析這兩種方法各有所長，兩者是優勢互補的。評價者不能根據個人喜好盲目使用某一種方法，而排斥另一種方法。定性評價注重學習資源內在特征的評價，定量評價注重數字化學習資源外部特征的量化：定性評價克服定量評價缺乏評價深度的不足，能確保評價的專業性，定量評價則克服了定性評價主觀性的問題，可以保證評價的客觀性。定性評價法要求評價者具備較強的學習資源設計、開發、管理與利用的知識和經驗，定量評價方法則要求大量的評價數據和樣本。單純的定性分析容易造成評價的片面性；而評價數據的不完善，也使得定量評價方法難以得到有效應用和檢驗。因此，應當結合定性和定量的方法對學習資源質量進行分析和評價，同時應加強半定量評價方法如層次分析法和模糊綜合評價法的應用，彌補單純定性評價和單純定量評價所產生的不足。

4.引入第三方評價

這里所謂的第三方，是指在數字化學習資源設計者、開發者、管理者和使用者以外的其他人員。第三方能完全擺脫學科領域和開發領域內對資源認識的種種束縛，站在旁觀者和審視者的視角，對數字化學習資源質量進行比較客觀的評價。第三方評價者必須具有良好的專業素養和一定的評價經驗，能敏銳地發現數字化學習資源建設、運行和使用過程中存在的缺陷，指出缺陷存在的根源，并能提出建設性的意見和建議，成功地完成評價任務。就具體操作而言，第三方評價任務一般由專業的評價機構承擔，能夠保持評價過程的中立性、公平性和公正性。但第三方評價也存在一定缺陷，比如第三方評價人員的實踐經驗不足，不能發現資源質量的深度層面等。這些缺陷都將影響資源質量評價的全面性和權威性。因此，第三方評價可以作為專家評價、用戶評價的有力補充，從而保證評價過程的客觀公正。

編輯：李婷