促進有效學習的評價反饋系統及其應用*

韓 后 王冬青通訊作者】

（華南師范大學 教育信息技術學院，廣東廣州510631）

引言

隨著教育改革的進行，有效學習的研究成為焦點話題之一。在信息時代，面對海量的信息、知識和技能，如果學習方式不當，很容易陷入忙碌但無效的學習狀態之中。反饋是教學過程的必要環節、形成性評價的重要組成部分，也是有效學習發生的基本要素之一。“基于反饋學習”的觀點認為“教學就意味著提供反饋”[1]。

傳統教學環境中，反饋的實施存在一定的問題，教師不能及時、全面了解學生的學習情況，在反饋信息方面存在一定的主觀性、片面性，并帶有一定的延遲：（1）教師往往憑借教學經驗，根據學生的表情判斷學生對知識的掌握情況，反饋效果難以測量；（2）反饋的參與面較窄，教師難以同時對多個學生提供反饋輔導，難以面向全體；（3）針對作業、練習和測試的反饋帶有較大的延遲性，而且反饋信息不夠具體全面，難以為學生提供及時、有針對性的學習建議。

技術在教學中的應用為學習者提供及時反饋和更多的學習機會[2]：（1）計算機具有強大的數據存儲與分析功能，能夠全面記錄學生的學習過程數據，并為教師和學生提供全面的測評報告；（2）網絡中存儲了大量優質的學習資源，如試題、解析、教案等，為反饋提供內容來源；（3）理想情況下的評價反饋系統具有較高的智能性，能夠根據學生的水平、任務的難度等自動為學習者提供個性化的反饋[3]，真正體現“一對一”教學的理念、促進有效學習。

一 有效學習與反饋的關系

1 有效學習發生的條件

有效學習是解決學習內容無限性和學習時間有限性這一基本矛盾的重要途徑。國內外很多學者從不同方面對有效學習發生的條件進行界定：斯皮策[4]從學習動機角度提出有效學習的發生取決于以往的學習體驗及現有學習情境提供的誘因；拉爾夫泰勒[5]從學習者的學習心理及學習行為方面將有效學習發生的條件歸納為積極主動的學習動機、清晰的學習目標、適宜的學習任務、學習者解決問題的信心、獎勵和反饋、不斷地練習和學習遷移等；我國學者邵瑞珍等[6]從教與學兩個方面考慮，認為有效學習包括外部條件（主要指教師提供的信息）、學習者原有知識和技能以及學習者的學習動機和學習策略三個必要條件。

本文認為有效學習的發生離不開教師、學生以及學習環境三方面內容。（1）教師方面，包括教學目標設置、教學內容選擇以及教學任務安排等。調控好教學過程，使教與學處于優化、平衡的狀態，離不開反饋；（2）學習方面，包括學習者的學習準備和學習者的主動加工活動。美國心理學家加涅認為：“學習的每一個動作，如果需要完成，就需要反饋，反饋是學生學習的重要條件”；（3）學習環境方面，主要指教師、學生以及學習內容之間交互的平臺或系統。交互數據本身也是反饋內容的數據來源，平臺提供的反饋信息能夠進一步改進學習。

2 評價反饋在有效學習中的作用

形成性評價是當前評價領域研究的熱點問題，反饋是形成性評價的重要組成部分，對形成性評價的效果起著至關重要的作用[7]。作為自我調節學習的關鍵環節，反饋可以有效地促進學習者建構知識體系、改進認知策略、優化目標設置、調整學習策略，進而提高學習效果和效率。當前對反饋的研究不僅僅關注反饋是否能夠促進學習，而且關注反饋如何促進學習的問題。Hatti從反饋縮小學習者當前水平與預期目標之間的差距方面提出了促進有效學習的反饋模型[8]，指出有效反饋必須回答的三個問題：（1）我要去哪里，即我的目標是什么；（2）我現在在哪里，即我已經取得了哪些進步；（3）我接著要去哪里，即為了取得更大的進步，我需要采取哪些行動。通過回答上述三個問題，可以使反饋達到促進有效學習的目的。但對于“什么樣的反饋能起作用”這個問題至今沒有定論，大量研究表明在學習者能理解的范圍內，正確、有效、客觀、有重點且明確的反饋能夠促進有效學習。同時，只有學習者愿意接受反饋并且正確使用反饋信息時，反饋才能發揮事半功倍的效果。

二 評價反饋系統設計與實現

技術與評價思想的融合，引發了評價內容、方法和形式的深刻變革，主要體現在強調評價活動與學習活動的整合，通過形成性評價來促進學生的學習與發展[9]。針對評價過程與結果的反饋也更加全面、呈現形式愈發多樣，為學生的學習提供了有力的支持。

1 評價反饋系統設計模型

本文從學生內部處理、教師外部干預以及技術支持環境三方面提出評價反饋系統的設計模型，如圖1所示。

首先，在教師教學干預方面，教師對教學的管理，根據教學過程可以將其分為制定任務、針對性教學、個別化輔導、教學質量分析四個階段。每個階段，教師會安排不同的教學內容、設置不同的學習活動。教師既可以使用傳統的方式為學習者提供活動和內容、觀察學習者的表現、改進教學并為學習者提供學習指導意見；又可以通過技術支持環境（系統或平臺）發布學習活動和教學內容，在系統或平臺給出的測評報告、反饋建議等反饋信息的基礎上調整教學，為學習者提供個性化的學習資源。這些資源被稱為學生進一步學習的“腳手架”，從而促進學生的知識學習和技能發展。

其次，在學生內部反饋方面，學生在完成任務的過程中監控成績和學習過程記錄了解差距，能夠產生各種自我反饋；學生能夠對外部信息進行解釋和過濾，對反饋在影響下一步行動之前做出解釋和內化，即通過增加努力程度、調整學習目標、優化學習策略，縮小當前水平與預期目標的差距。除此之外，伙伴反饋也作為一種外部反饋，對學習起到一定的促進作用，學習者可以與伙伴合作、查詢同伴與自己過去成績，構建一個“同伴壓力和競爭”機制，讓學生了解自己和他人的作答情況，以此勉勵自己，形成良好的互動。

最后，技術支持環境能夠全面記錄學習者學習過程及學習結果數據，并根據學習評價信息構建學生模型、領域模型、認知診斷模型等。一方面為學習者提供自動反饋，當學生提交評價任務后，系統進行自動評閱并提供反饋內容，如標準答案、分數以及適合學習者知識水平和認知狀態的學習內容；另一方面為學習者提供學習資源推送服務，包括學生根據自我評價結果訂閱符合自己認知特點的學習資源，以及系統根據學生模型主動為學生推薦的學習資源。

圖1 評價反饋系統設計模型

2 測評報告：基于測評數據的學習分析報告

測評報告能夠通過對學習過程和學習結果的統計分析，提供學習者學習過程中存在的問題，為有效學習的開展做出科學依據。它作為教師對學生學習過程最重要的外部干預手段之一，被普遍應用于教學活動中。根據評價類型的不同，測評報告可以分為總結性評價報告（如，學業水平報告）和形成性評價報告兩類。學業水平報告（國外又稱分數報告）屬于學業反饋的范疇，通過控制分數報告的反饋形式對學習者進行干預，可以有效地影響學生的表現[10]；形成性評價報告基于具體的學習平臺，能夠為學習者提供章節內容的分析報告，并提供一定的學習建議。有研究表明，當向學習者提供學習建議時，學習者的學習動機和學習效率都會受到促進[11]。本文在總結性評價和形成性評價并重原則的指導下，在評價反饋系統中進行測評報告的設計，其分析流程如圖2所示。

本文構建了評價反饋系統原型—ilearning，并在其中實現了測評報告的分析流程。學生可以在系統中進行目標導向學習、開展針對性的迭代訓練與錯題專項練習、完成教師統一組織的測試或作業等，教師可以為學生提供個性化輔導和關鍵學習指導，系統自動記錄學生學習過程數據和學習結果數據，為學生提供知識點掌握情況分析、歷次作答情況分析、試卷作答情況分析以及相應的學習建議等反饋內容，幫助學習者更好地了解當前學習狀態。測評報告系統界面如圖3、圖4所示。

圖2 測評報告分析流程

圖3 測評報告成績分析

圖4 測評報告知識點分析

三 應用效果分析

1 實驗描述

為驗證該評價反饋系統的有效性，本文選取大一《計算機導論》中技能操作部分（含Windows、Office、IE等）作為實驗內容，華南師范大學教育技術1班、多媒體3班96名學生作為實驗對象，進行實驗組對照組前后測準實驗設計。技能操作部分的自動評價借助itutor[12]實現，學生學習過程數據和結果數據實時傳送到該評價反饋系統中。實驗組使用評價反饋系統輔助學習，對照組則不使用該系統。

在實驗開始前，首先對兩個班學生計算機基礎水平進行測試（即前測）。測試結果表明，兩個班學生的技能操作水平無顯著差異（t=0.255，p>0.05），為此我們選擇教育技術1班為實驗組，多媒體3班為對照組。隨后，根據前測結果將參與實驗的學生分為高分組、中分組和低分組（如表所示），其中得分前33%的學生為高分組、得分后33%的學生為低分組、中間則為中分組。經過一個學期的實驗后，對所有參與實驗的學生進行IT技能水平測試（即后測），分析是否使用評價反饋系統（即不同的教學方法）對不同學習程度的學生計算機掌握水平的影響。

2 數據收集與分析

除去前、后測成績為空的學生，實驗收集94名學生的兩次成績，其中教育技術1班48人，多媒體班46人。計算機水平分組如表所示。對收集到的數據采用兩因素方差分析、單因素方差分析以及事后檢驗等方法進行分析。

表4 計算機水平分組

（1）不同計算機水平和不同教學方法對學生技能操作水平的影響

表5 教學方法和計算機水平兩因素方差分析（n=94）

在兩因素方差分析之前，對方差齊整性（F5，88=2.207，p>0.05）進行檢驗，結果表明因變量符合方差齊整性檢驗。兩因素方差分析結果如表，不同教學方法和不同計算機水平對后測結果有顯著的影響。LSD事后檢驗表明，使用評價反饋系統進行學習的學生明顯比不使用該系統的學生后測成績高。不同教學方法與不同計算機水平的交互效應顯著（F2，88=3.164，p<0.05）。

（2）不同教學方法下不同計算機水平對學生技能操作水平的影響

表6 不同教學方法下計算機水平方差分析

在進行單因素方差分析前，對不同教學方法下計算機水平的方差齊整性（實驗組，F2，45=0.257，p>0.05；對照組，F2，43=3.598，p<0.05）進行檢驗，對照組不符合方差齊整性檢驗，因此在事后分析中采用Dunnett方法進行檢驗。單因素方差分析結果如表所示，實驗組中不同計算機水平的學生后測成績無顯著差異（F2，45=0.213，p>0.05），即高分組、中分組與低分組學生的后測成績相差不大；對照組中不同計算機水平的學生后測成績有顯著差異（F2，43=6.301，p<0.01），Dunnett事后檢驗表明，中分組和高分組學生的后測成績明顯高于低分組學生的后測成績，然而中分組和高分組學生之間無顯著差異。

（3）不同計算機水平下不同教學方法對學生技能水平測試的影響

表7 不同計算機水平下評價反饋系統功能方差分析表

在進行單因素方差分析之前，對不同計算機水平下不同教學方法的方差齊整性（高分組，F1，27=0.059，p>0.05；中分組，F1，32=0.000，p>0.05；低分組，F1，29=3.742，p>0.05）進行檢驗，結果沒有違反方差齊整性假設。單因素方差分析結果如表所示，在不同計算機水平前提下，不同教學方法對后測成績有顯著影響。使用評價反饋系統的實驗組中低分組學生的成績明顯高于不使用評價反饋系統的對照組中低分組學生（F1，29=12.624，p<0.01），實驗組中高分組和中分組學生的后測成績均高于控制組中高分組和中分組學生，但在統計學上差異不顯著。

通過比較表和表發現：與不使用評價反饋系統相比，使用評價反饋系統能夠更有效的促進學生對計算機基本操作技能的掌握。并且，對于計算機水平較差的低分組學生有更大的促進作用，有助于他們縮小與計算機水平較高的中分組與高分組學生的差距。計算機水平較低的學生學習計算機操作技能時存在困難，他們需要更多的指導和幫助。然而，在不使用評價反饋系統的對照組中，計算機水平較差的學生后測成績也較差。

四 總結與展望

反饋是有效學習發生的關鍵條件，測評報告是反饋的一種重要形式。如何設計評價反饋系統中的測評報告以促進有效學習是研究者必須考慮的問題之一。本文以促進有效學習為出發點，提出了評價反饋系統的設計模型，以及該系統中測評報告的分析流程，并在ilearning原型系統中進行實現，應用效果表明包含測評報告功能的評價反饋系統能夠提高學習效果。信息時代云計算、大數據正在逐步擴展并深入到教育領域，在云計算、大數據技術背景下如何分析評價數據并為學生提供個性化反饋是下一步研究的重點。

[1]Bacic, B.. Computer at the university: opportunities for tailoring automated marking and digital feedback, F, 2003[C].IEEE.

[2]Ashtom, H., S., Beevers, C., E., Korabinski, A., A., et al. Incorporating partial credit in computer_aided assessment of mathematics in secondary education[J]. British Journal of Educational Technology, 2006,(1):93-119.

[3]Mason, B., J., Bruning, R.. Providing feedback in computer-based instruction: What the research tells us[OL].

[4]盛群力,李志強.現代教學設計論[M].浙江教育出版社,1998.

[5]Tyler, W., R.. Conditions for effective learning[M]. The University of Chicago Press, 1985(Education in School and Nonschool Settings (84 Yearbook of the NSSE)),1985:203-208.

[6]邵瑞珍.教育心理[M].上海:上海教育出版社, 1997.

[7]Bell, B., Cowie, B.. The characteristics of formative assessment in science education[J]. Science Education, 2001,(5):536-553.

[8]Hattie, J., Timperley, H.. The power of feedback[J]. Review of Educational Research, 2007,(1):81-112.

[9]Chang, C., C.. Building a web-based learning portfolio for authentic assessment； proceedings of the computers in education[A], 2002 Proceedings International Conference on, F, 2002[C]. IEEE.

[10]Locke, E., A., Latham, G., P.. A theory of goal setting & task performance[M]. Prentice-Hall, Inc, 1990.

[11]王文江.監控與評價“診斷書”:北京義務教育改革一大亮點[J].教育,2010,(8): 40-41.

[12]王冬青,柳泉波,任光杰等.一種面向問題解決的智能導師系統[J].中國電化教育, 2008,(8):90-94.