大數據時代下大學生學習評價指標體系構建研究

[摘 要] 為回歸教育本體，教者從實質性評價角度出發更客觀地對學習者進行評價，構建一套大數據時代下的高校大學生學習評價指標體系，從而更科學地反映學習者的學習質量。研究運用德爾菲法確立、完善學習評價指標體系，通過多次專家調查討論確立了以學習態度、學習過程和學習效果為一級指標，包含13個二級指標和13個三級指標的學習評價指標體系，該指標體系針對性強，結構合理，具有較強的科學性和適用性。

[關鍵詞] 德爾菲法;學習評價;評價指標

MOOC、SPOC、在線學習、混合式學習等成為我們今天重要的課程形態和學習方式。與傳統環境下的學習相比，互聯網支持的在線學習有著巨大的發展前景和優勢，甚至已成為學校教育教學方式的重要組成部分。隨著國家一流課程建設的不斷深入，教學模式發生著重要變化，教師更應思考如何提高教學質量。學習質量是教育教學活動的根本。有效的學習評價是教學活動的重要組成部分，也是進行教學決策的重要前提，而有效的學習評價依賴于全面、可靠的評價依據。因此，在已有研究的基礎上，探索傳統學習評價現狀及問題，構建一套行之有效的學習評價指標體系，對改善教學決策和實施個性化教學具有重要的指導意義。

一、學習評價現狀及問題

（一）評價指標缺乏針對性

近年來，隨著課堂教學改革及教育評價改革的推進，在教學過程中注重過程性評價、診斷性評價已成為眾多學者和一線教師的共識。但在具體實踐過程中，因理論過于復雜、缺乏針對性而與實踐割裂，一線教師無法有效踐行。大多數高校的評價指標體系通用于工學、理學、文學、管理學等，未區分學生專業性質，甚至出現長時間不更新的現象。傳統學習評價所存在的問題在新理念的碰撞和滲透下逐漸顯現。在信息技術與教育不斷融合，我國高質量教育建設不斷推進的進程中，學校必須融合新理念、新思想、新技術改變傳統學習評價現狀，優化評價指標體系，規范評價方法，發揮好評價指揮棒的作用，建立科學的教育導向，以更好地培養具有創新性、創造性的時代新人。

（二）評價結果缺乏科學性

傳統的學習評價結果通常以最終的考試分數或優秀、良好、合格和不合格的等級制呈現，無法具體地反映學生學習過程中存在的問題。針對不同的教學目標，學生的完成度，學生在知識、方法、技能、實踐、思想等各方面的表現與差異都無法通過最終的結果展現出來，以致“唯分數”等頑瘴痼疾嚴重影響著學習評價及教育導向的科學發展。此外，傳統的以教師為主的評價方式易使教師的主觀因素影響學習評價結果，使學習評價有失公正和客觀性。而隨著大數據、人工智能、學習分析等新一代信息技術在教育教學中的深度融合應用，以及信息化學習環境的開發，學習者學習的全過程數據得以保留。我們通過對數據的深度分析，可以構建出學習者畫像。新技術的參與及新的教學方式為學習評價從主觀走向客觀和科學提供了良好的契機和條件。《深化新時代教育評價改革總體方案》提出，要充分利用信息技術，提高教育評價的科學性、專業性、客觀性。可見，在學習評價指標的制定過程中，充分考慮新一代信息技術的參與是實現教育評價科學性、專業性、客觀性的有效手段。

（三）評價實施重結果輕過程

傳統學習評價的實施大多重視結果而忽視評價過程，且缺乏對評價過程的監管及具體的可操作的監管措施。盡管教師在具體的評價實施環節可以充分根據課程特點采用合適的方法，極大地發揮教師的主動性，增加課程評價方法的多樣化，但可操作的監管措施的缺失會使評價結果的公正性和科學性受到懷疑。此外，部分學校的評價指標不清晰，在推行過程中難以發揮以評促改的作用，以及評價的導向和激勵作用。學校過程監督和監管的缺失，還有可能帶來一定的負面效果，如教師只重視結果而忽視過程、評價不認真，學生對結果不重視等。所以，在評價指標的具體執行階段，教育管理部門需要和一線教師共同完成。

二、學習評價指標體系的構建

（一）研究方法

研究采用德爾菲法。德爾菲法即根據一定的問題邀請相關領域的專家或有經驗的管理人員對某一問題進行預測并最終達成一致意見的方法。德爾菲法有匿名性、反饋性和統計性等特點，根據德爾菲法的要求，專家或管理人員數量可以根據研究項目的大小和涉及面的寬窄而定，一般在8～20人。研究通過德爾菲法分析初步構建的學習評價指標的科學性和有效性，以構建科學合理的學習評價指標。

（二）研究過程

1.確定指標體系。教育評價中的實質性評價倡導根據評價對象本身的特性進行評價，以真實反映評價對象的實質特征。當前，對學習者的評價，更多的是以成績等外部特征進行的評價，忽略了學生學習與成長的特點，忽略了人本質特點的反映。回歸教育本體，大學具有教育性、學術性和服務性的特性。關于培養什么人的教育首要問題，習近平總書記在全國教育大會上指出，要培養德智體美勞全面發展的社會主義建設者和接班人。因此，研究將評價指標劃分為學習態度、學習過程和學習效果三個維度，初步構建了一個具有3個一級指標、11個二級指標的學習評價指標體系。其中，一級指標學習態度重點考查學生對學校、教師、課程等的情感認同，以及學生自身的紀律意識和學習投入度;學習過程主要考查學生在學習階段表現出的自主學習能力、溝通表達能力、協作學習能力、創新能力和實踐能力;學習效果主要考查學生的知識應用、知識遷移和知識創新的程度。

2.遴選咨詢專家。德爾菲法專家一般在8～20人，入選標準：（1）本科及以上學歷;（2）副高以上職稱;（3）具有豐富的質控經驗;（4）積極性高，愿意填答問卷;（5）能保證參與多輪函詢。根據以上標準，研究最后選取15位專家，其中，教授6人，副教授9人。

3.設計咨詢問卷。為了更全面地了解專家及讓專家全面了解指標體系，研究設計了專家個人信息問卷表、專家評價表及學習評價指標體系表。

4.開展問卷調查。德爾菲法需要進行開放式的首輪調研、評價式的第二輪調研、重審式的第三輪調研和復核式的第四輪調研四輪專家調研。問卷過程全部在問卷星平臺完成。每輪問卷發放和收回周期為7天，重點討論指標體系的觀測點是否科學，指標的解讀是否存在歧義。我們根據每一輪的建議和意見，對指標體系進行修改，作為下一輪調研的依據。

三、問卷調查結果與分析

（一）開放式的首輪調研結果與分析

我們根據初步設想的指標體系進一步完善各個子指標的解釋，設計首輪調研問卷。調研問卷包括導語、指標體系中各個子指標的重要性和專家對指標體系的熟悉程度量化打分表、專家基本情況介紹三部分。專家對指標的重要性評分按照Liket量表，將重要性分為不重要、不太重要、一般、比較重要和非常重要五個等級，賦值為1、2、3、4、5。專家對指標體系的熟悉程度分為非常熟悉、熟悉、一般、較不熟悉和非常不熟悉五個等級，分別賦值1.0、0.8、0.6、0.4、0.2。同時，我們將專家的判斷依據分為實踐經驗、理論分析、同行了解及專家直覺四個方面，量化值分別記為0.8、0.6、0.4、0.2，如表1所示。

第一輪共邀請了15位專家參與調研，專家基本信息如下：年齡方面，小于36歲的2人，36～40歲的7人，41～45歲的2人，46～50歲的2人，大于50歲的2人;學歷方面，本科1人，碩士研究生5人，博士研究生9人;高校工作時間方面，低于10年的4人，10～15年的4人，16～20年的3人，21年以上的4人;專業方面，研究心理學的2人，研究數學的4人，研究教育學的4人，研究計算機科學與技術的4人，研究工商管理的1人，研究化學及化學工程的1人。

第一輪問卷回收后，我們使用Excel 365對結果進行分析，主要分析專家的積極系數、權威程度和意見協調程度。

1.專家積極系數。專家積極系數用專家問卷有效回收率和專家意見提出率表示。一般認為，專家咨詢表回收率在70%以上則表明專家積極性較高。兩輪發出問卷共15份，收回共15份，回收率100%。其中，第一輪中有12位專家提出意見，專家意見提出率80%。這兩個數據表明專家非常重視。

2.專家權威程度。專家權威程度（Cr）由專家對指標的判斷依據（Ca）和專家對指標的熟悉程度（Cs）決定，一般認為權威程度系數>0.7即可接受。專家的權威程度系數等于0.778，表明專家權威程度較高。

3.專家協調程度。專家協調程度反映了專家對全部指標的協調程度、對信息重要性的意見集中程度，用Kendall’s W系數表示，系數越大，表明專家協調程度越高，結果越可靠。經SPSS 20.0計算，第一輪咨詢協調系數為0.138，表明結果具有一定的價值。

4.專家意見和建議。通過對第一輪專家調研結果的統計分析可以看出，專家對現有指標認同度較高，共有12位專家提出了意見和建議，包括學生還應具有舉一反三、主動學習的能力;教師可利用網絡學習平臺，讓學生講解某個知識點或習題，教師評價分析，加深學生印象;整體分類很清晰，學習態度板塊分類偏簡單;自主獲取學習資源的能力很重要;增加對線上線下學習過程數據和學習結果考核的評價;學習動力、成就動機也很重要等。

專家針對初步構建的學習評價指標體系主要提出了三點建議，一是要重視學生的學習動機，二是要注重學生的學習興趣，三是要結合線上線下資源對學習者進行評價。因此，我們在初步構建的學習評價指標體系基礎上增加兩個二級指標，具體如表2所示。

（二）評價式的第二輪調研結果與分析

在第一輪指標體系的基礎上，進行第二輪調研。共發放 15份問卷，收回 15份，全部有效，專家積極度非常高;統計結果顯示咨詢協調系數為0.200，專家意見協調程度高于第一輪;變異系數都小于0.25，說明專家意見一致，經檢驗結果可信。統計結果如表3所示。

研究通過德爾菲法從學習態度、學習過程、學習效果三個維度確立了學習評價指標體系，以期改變傳統學習評價注重外部評價而忽略對學習者學習與成長特點的考查的不足，促使學習評價能真正反映學習者在德智體美勞多個方面的學習成長程度。

[基金項目]2020年度江西省教育科學“十三五”規劃資助項目“基于教育大數據的學習評價與決策支持研究”的階段性研究成果（項目編號：20YB250）。

[作者簡介]徐新愛（1973— ），女，江西豐城人，南昌師范學院，教授，研究方向為數據挖掘、計算機教育。

3417500338239