數字化學習資源應用成效計算方法及其應用研究

余平 顧小清

關鍵詞：學習資源;應用成效;用戶使用數據

數字化學習資源的建設一直受到各方面的重視，從國家到各省市甚至學校已經建立了大量規模大小不一的資源庫，期望能夠更好地支持教與學。在建設的同時，各級教育部門也在大力推進優質教育資源的應用，探索多種信息化教育教學和教師教研新模式。但是這些學習資源的具體應用情況如何？如何來評價學習資源的應用成效？這是教育資源建設主管部門、資源建設者以及使用資源開展教學的教師都非常關注的問題。2018年4月13日教育部印發《教育信息化2.0行動計劃》，其主要任務提到要將“優質資源班班通”實現提質增效，在持續推動信息技術與教育深度融合的同時，也要注重提升績效。資源應用成效可作為評估資源建設者績效的一種有效手段，教師也可根據資源應用成效篩選優質資源。而關注資源應用成效首先必須有一種科學的方法來計算應用成效。本文將聚焦學習資源應用成效計算方法的設計，以用戶為中心，提出一種基于用戶使用數據的學習資源應用成效計算方法，并通過實例來說明該方法的應用。

一、學習資源應用成效的概念界定

本研究中的學習資源是指數字化的學習資源，參考我國教育信息化技術標準《教育資源建設技術規范》（CELTS-41）中的相關定義，我們將數字化學習資源定義為：以數字信號在互聯網上進行傳輸并可以在教學活動中被應用的教育信息，它屬于學習對象的一個子集，包括媒體素材、試題、試卷、課件、案例、文獻資料、網絡課程、常見問題解答和資源目錄索引等類型。“成效”一詞一般指獲得的效果和功效。成效的具體含義一般需要結合應用領域來進行界定。

學習資源的應用是基于一個具體的平臺（學習平臺或資源平臺），這種平臺可以視為一個信息系統。關于信息系統項目的應用效果如何評價有如下不同的觀點[1]：

（1）目標觀點，認為通過對比項目實施后預期目標的實現程度來確定項目的應用效果。

（2）收益觀點，認為評價應用效果需要考慮成本和收益之間的關系，可以通過產品質量、種類和客戶服務等多方面帶來的綜合利益來體現，而不僅僅是財務指標。

（3）用戶觀點，認為需要關注信息系統對用戶（包括個人和部門）滿意度的影響，并根據用戶滿意度的多個影響因素研究項目的應用效果。

（4）能力觀點，認為企業內部對信息系統的管理能力都可能是影響項目應用效果的關鍵因素，這些能力包括戰略、計劃、認識和管理機構設置等等。

與之近似的一個詞是“績效”。績效是與企業組織目標及價值追求一致的成就和業績，是一種可測量的行為結果，與組織的總體目標與主流價值相關，是組織中投入和產出關系的體現。作為行為與價值的統一體，績效是過程和結果兩個方面的綜合反映[2]。

綜合上述觀點，我們認為學習資源應用成效是學習資源在使用過程和使用結果的反映，對學習資源應用成效的評估應綜合考慮應用的過程以及應用的結果，同時考慮支持這些應用的投入和產出的對比。成效的評價將主要基于用戶觀點和收益觀點，以滿足用戶需求、用戶滿意、用戶有收獲為主要出發點。

二、學習資源應用成效評價的相關研究

關于學習資源的評價的研究可以分為兩類，一類是從標準的角度，另一類是從應用的角度。

從標準角度，早期相關的標準主要是圖書情報資源相關標準，包括ISO2789、NISO Z39.7、E-Metrics等。劉蔚和王長宇兩位學者從適用范圍、相關定義、實用性3個方面對這3個標準進行了比較分析[3]。數字化圖書情報資源是較早出現的數字化學習資源，隨著技術發展，學習資源的范疇大大擴大，圖書情報資源目前只是學習資源中很小一部分。在國際上還未見專門針對更大范疇的學習資源的評價標準，只有相關技術標準，例如教育資源元數據標準、內容包裝標準等。國內教育信息化技術標委會提出了《網絡課程評價規范》（CELTS-22）[4]，但只考慮了網絡課程這一特殊類型的學習資源，對于評價其他形式的學習資源不一定完全適用。

從應用角度，教育機構和研究機構更多地關注學習資源的質量，從教育維度和技術維度對學習資源質量評價進行規范。國外相關的標準規范包括：英國教育及通信技術局（Becta）2007年4月制定頒布的數字化學習資源質量標準[5]、挪威教育部發布的數字化學習資源質量評價標準[6]、加拿大西蒙菲沙大學的John C.Nesbit教授等人設計的用于評價數字化學習資源質量的指標體系[7]、Robin H.Kay提出的5維度的指標體系[8]。國內相關的研究包括：童小素等[9]以CELTS-22為藍本建立的MOOC質量評價指標體系、萬力勇[10]提出的多層面的數字化學習資源質量的評價指標體系、謝海波從使用者、開發者和管理者三個不同的視角設計的資源評價指標[11]等。

已有一些研究注意到了資源的應用成效，例如萬立勇的資源質量評價體系中資源使用績效就是其中的一個一級指標，肖君等[12]提出教育資源庫使用效益評估指標體系。張家年等[13]認為，影響學習者學習績效的主要因素包括學習內容的設計、學習過程的設計、學習過程中的交互和學習的支持四個維度。楊文正[14]等研究了教育資源的持續使用問題，該研究發現用戶使用滿意度和感知有用性對用戶持續使用教育資源的意向有積極影響。柯清超等研究了國家教育資源公共服務平臺資源評價機制[15]。國家資源平臺的基本評價機制應包括準入與過濾機制、推薦與優化機制、保障與運行機制。其中包含了“用戶評價”和“網絡計量評價”的相關指標和方法。

關于評價的方法，已有研究一般都是主客觀結合的方法，從評價指標的設計來看，主觀因素仍占據主導地位，因此評價方法仍以專家主觀評價為主。但近年來，由于技術發展，以及資源系統中采集的用戶使用數據的積累，網絡計量方法越來越受到重視，張家年和柯清超等的研究就采用了網絡計量評價，利用客觀數據來進行科學評價。

從上述相關研究可以看出，這些研究仍然是從一個大的框架來評價資源的整體建設和使用情況，一些評價指標仍然側重定性的、主觀的分析，尚未見有研究關注資源應用成效如何科學、客觀地進行計算，也較少有研究關注應用成效對資源建設和管理的用途。

三、相關資源平臺中的用戶使用數據

筆者分析了幾類相關的資源平臺和互聯網平臺中已經提供的用戶使用數據，這些平臺包括以下類型：開放大學資源平臺、終身學習資源平臺、基礎教育資源平臺、商業學習平臺（新東方等）、開放教育資源網站（Merlot等）、以及相關的互聯網站（YouTube等）。歸納起來，這些平臺上關于用戶使用的數據針對不同的對象，這些對象包括網站、網站中的資源以及網站中的論壇/社區，各類使用對象相關的使用數據如下頁表1所示。

在這三類使用對象中，網站是一個整體，因此與它相關的使用數據都是針對網站整體的，例如網站的注冊人數、登錄人數等;資源是網站中的具體的學習對象，與它相關的使用數據針對每個具體的資源，這些資源可以是一些細粒度的資源（例如一個視頻、一個課件），也可以是一些大粒度的資源（例如一門課程），針對不同粒度的資源其相關的使用數據也不同，例如課程資源就有其特有的使用數據（如表1中的課程相關數據）;論壇/社區的使用數據有些與資源直接相關，例如針對課程開設的論壇，有些不與某個具體的資源相關。

因此如果從資源應用成效的角度來考慮，網站和資源的使用數據可以直接作為計算資源應用成效的基礎數據，而論壇/社區這個對象的使用數據不適于直接用于資源應用成效的評價，如果該論壇與某個資源直接關聯，其使用數據可以作為該資源使用數據的組成部分，在本文后續的設計中采用了這種處理方法（即將論壇相關使用數據作為課程資源的使用數據的組成部分）。

四、學習資源應用成效計算方法設計

（一）設計依據

學習資源成效評價重在“成效”，如何界定“成效”的高低？什么資源是應用得好的資源？筆者遵循“以用戶為中心”的評價原則，開展計算方法的設計，資源使用率、用戶使用滿意度和用戶學習效果的提升是我們用來評價資源成效的主要依據。這一出發點的主要理論依據是行為理論，包括計劃行為理論（Theory of Planned Behavior，TPB）、技術接受模型（Technology Acceptance Model，TAM）和信息系統持續使用模型（ECM-ISC）[16]。

（二）設計思路

在這個依據確立后，筆者從資源平臺運行環境中梳理與資源使用的相關要素，這些要素非常多，我們根據OECD的教育指標體系框架從輸入、處理、輸出這三個方面梳理盡可能完整的相關要素，并從這些要素中提取核心的觀測變量，依據這些觀測變量的值最后計算出資源應用成效。

在觀測變量的選取上，筆者注意到一些要素是關于資源使用的影響要素，并不能代表資源的實際應用成效（這一點在大多數研究中都是將二者混在一起的），筆者在研究中進行了區分，最后將那些能夠直接反映成效的要素（本文稱之為評價要素）提取出來，作為觀測變量。表2是經過初步梳理的資源應用成效影響要素和評價要素。

（三）觀測變量的設計及資源應用成效的計算方法

根據資源應用成效評價框架（如圖1所示），我們將評價的三個維度設計為一級變量，每個一級變量下設若干個觀測變量，這里稱之為二級變量。

資源有不同的組織粒度，研究中提出三種粒度：素材資源、課程資源、資源網站（如下頁圖2所示），這三種粒度由小到大，可以適應不同的評價需求。研究中針對這三種不同粒度的資源提出了相應的觀測變量及其對應的資源的應用成效數值的計算公式。

1.素材資源的觀測變量及其應用成效的計算

素材是指可以獨立提供用戶訪問的單個資源，其內部不再包含其他獨立的資源，例如一個PPT課件、一段視頻、一篇文章等等。這些資源可以被用戶單獨訪問，也可以隸屬于某個聚合資源（課程）。素材資源的觀測變量如表3所示。

素材資源的應用成效值M由各一級變量的綜合得分加權累加得到。其中，xi為第i個一級變量的綜合得分，λi為該一級變量的權重，n為一級變量的個數。具體的計算公式如下：

公式1中每個一級變量的綜合得分xi的計算公式如下，其中，xij為其第j個二級變量的分值，ωij為其第j個二級變量的權重，n為該一級變量包含的二級變量的個數：

2.課程資源（聚合資源）的觀測變量及其應用成效的計算

一個課程資源中可以包含多個粒度更小的素材資源，因此課程資源的應用成效包含兩個部分，第一部分是構成課程資源的各個素材資源的平均成效，第二部分是課程作為一個整體資源的成效。課程資源的應用成效值C由這兩部分的成效值加權累加得到，具體的計算公式如下：

公式3中，a1和a2為兩部分的權重，Mi為第i個素材資源的應用成效值，N為該課程資源包含的素材資源的個數，C'為課程資源整體成效。C'由課程資源整體的兩級變量（如表4所示）加權計算得到，具體計算方法與素材資源類似。

關于用戶學習效果的評價，有研究表示，一些學習行為與學習效果（測評情況）有顯著關系，例如孫月亞[17]的研究結果顯示，作業完成率、課程登錄次數、文本資源訪問率3個因素能夠預測成績48.3%的變化量。因此在衡量課程學習效果時，在沒有測試成績數據的情況下，也可以采用客觀學習行為（交互）數據來作為對學習效果的估計。

3.資源網站的觀測變量及其應用成效的計算

整個資源網站的應用成效的計算與課程資源的計算方式類似，既包括其中各個組成資源（包括素材資源和課程資源）的平均應用成效，也包含對資源網站整體的應用成效。網站資源的應用成效值W由這三部分的成效值加權累加得到，具體的計算公式如下：

公式4中，a1、a2和a3為三部分各自的權重，Mi為第i個素材資源的應用成效值，Nm為該資源網站包含的素材資源的個數，Ci為第i個課程資源的應用成效值，Nc為該資源網站包含的課程資源的個數，W'為資源網站整體成效，由資源網站整體的兩級變量（如表5所示）加權計算得到，具體計算方法與素材資源類似。

（四）觀測變量權重設計

1.用戶對資源的操作行為意愿分析、

為了應用上述計算模型，用戶對資源的操作行為數據是主要的依據，那么用戶是否愿意執行這些操作呢？本研究采用問卷調研方法初步了解用戶對實施這些行為的意愿。問卷發放對象以學生為主，學歷以本科為主，讓他們對使用資源時的下載、收藏、分享、評論、評分、好評、設置標簽等7種操作的實施意愿進行打分（從“非常不愿意”到“非常愿意”共五級），調研結果如表6所示（表格中的數據為選擇該項的占比）。

假設用戶選擇“愿意”和“非常愿意”的表示用戶對該操作的意愿是積極的，那么在這些操作中，積極意愿超過50%的操作有：收藏、下載、好評和設置標簽，而分享、評論和評分操作的積極意愿相對較低。

總體來說，39%以上的用戶是愿意進行這些操作的。因此，在資源平臺中設置相應操作應該可以采集到一定量的這些數據用于分析和計算。當然實際應用中的用戶是否會開展這些行為與很多因素有關，通過適當激勵機制可以提升這些操作的實施頻度。

2.觀測變量權重初步設計

本研究采用層次分析法，對上述幾種資源操作在計算應用成效的權重進行了初步研究。結合層次分析法的計算結果和相關領域的權重分布（YouTube在其視頻排行算法中部分指標的權重分布[18]），對觀測變量的權重設計建議如下：

（1）一級變量的權重：資源使用情況、用戶使用滿意度和用戶學習效果的權重比例（進行了微調）分別為35%，25%，40%，其中學習效果占比最高。

（2）“資源使用情況”的主要二級觀測變量的權重分為三類，其權重占比從低到高依次為：第一類（低，10%）：收藏、分享、好評/評分;第二類（中，20%）：下載、評論;第三類（高，70%）：訪問次數、訪問時長。

這樣分類的理由是：（1）第一類操作對于用戶所花的代價最小，也就是說用戶點擊一下就可以完成操作;（2）第二類操作用戶需要花費更多的時間，例如下載的等待時間、評論的錄入時間等，只有當用戶覺得非常有需要的時候才會執行這些操作;（3）訪問次數和訪問時長是決定使用率的最根本指標，因此權重占比最高。

五、學習資源應用成效計算方法的應用及建議

（一）方法的應用

本研究提出的計算方法在具體應用時需要根據實際情況進行適當調整，主要建議：（1）觀測變量調整。本研究中提出的觀測變量，尤其是關于資源使用的觀測變量較為完整，但實際資源平臺中可能不能采集到所有數據，因此在計算資源應用成效時，根據具體可以采集到的數據的情況對觀測變量進行取舍。（2）變量權重的設置。方案中對變量權重進行了設計，其中具體給出了三個一級變量的參考權重，同時對二級變量的權重分配給予了建議。在具體應用時，由于觀測變量的調整，相關的權重也需要調整，調整時，注意各變量之間的比例關系保持一致即可。例如，如果有變量刪減，那么根據剩余變量之間的相對值對變量權重進行重新計算。

當觀測變量和變量權重根據實際情況調整完成后，就可以參照上述方案中的計算公式對平臺中的各種粒度的資源的應用成效進行計算和分析。按照上述方法，研究中分別以某開放大學學習平臺和某教育資源中心的部分資源使用數據為例，對上述計算方法進行了使用，并從中發現資源使用的問題以及呈現的一些規律。

研究中從學習平臺中獲取了一門課程及其中資源（該門課程包含57個資源，169名學生）的使用數據（案例一），包括學習者基本信息、資源訪問情況、教學活動情況、作業完成情況、作業完成率、形考總成績和上網時間。從教育資源中心以“計算機”“英語”“健康”為關鍵詞爬取了相關資源的使用數據（案例二），其中“計算機”類素材資源520個，課程資源455門，“英語”類素材資源9241個，課程資源1271門，“健康”類素材資源2218個，課程資源820門，每個資源可獲得的使用數據比較簡單，包括資源的瀏覽次數和好評次數。

1.素材資源和課程資源的應用成效的計算

由于兩個案例中既包含了素材資源，也包含課程資源，因此可以分別計算兩種粒度資源的使用成效。根據實際采集到的數據的情況，兩個案例中實際采納用于計算應用成效的觀測變量和權重的情況匯總如表7所示。

根據表7中的數據和公式1，案例一的每個素材資源的應用成效的實際計算公式M=瀏覽次數*0.4+平均瀏覽時間*0.6（注：這里瀏覽次數和平均瀏覽時間均為歸一化后的數據）。根據這個公式計算出來的部分資源的應用成效如表8所示。

根據表7中的數據和公式3，案例一中的課程資源的應用成效的實際計算公式C=0.5*該門課程包含的所有素材資源的平均應用成效+0.5*（0.47*課程活動參與率+0.53*形考平均成績），這里公式3中a1和a2的取值均設為0.5。根據獲取的實際數據，所有素材的平均應用成效為0.218，課程活動參與率為0.02，形考平均成績為0.364（按實際平均分數/100計算），因此該門課程資源的應用成效為0.21。

根據表7中的數據和公式1，案例二中的素材資源的應用成效的實際計算公式為M=瀏覽次數*0.6+好評次數*0.4。案例二中的課程資源，由于沒有采集到課程整體的觀測變量，公式3中的第二部分沒有數據，因此a1和a2的取值分別為1.0和0。這樣，該課程的應用成效的計算公式為C=1.0*該課程包含的所有素材資源的平均應用成效。根據這個公式計算出來的不同學科類型的課程資源和素材資源的平均應用成效如表9所示。

2.網站資源的應用成效的計算

為了說明本計算方法在網站資源的應用，我們將案例二中的三類學科的資源模擬成三個資源網站的資源，根據公式4，計算三個模擬網站的應用成效。公式中的Mi和Ci的值取自表9，資源網站整體的應用成效W'的計算只采用“資源使用情況”這個一級變量，其下的二級變量使用“活躍資源數”。在此例中英語、計算機和健康三個網站的活躍資源數（包括素材資源和課程資源）分別為9521，972和2950，占網站資源總數的比值分別為0.9057，0.9969和0.9710。