遠程教育學習過程滿意度評價研究

【摘要】為提高遠程教育中學習者的學習效率，提出了遠程教育學習過程滿意度評價的思路，建立了學習過程滿意度評價指標體系，并通過主成分分析測定了評價指標權重，探討了數據挖掘方法在學習過程滿意度評價中的作用。

【關鍵詞】遠程教育；學習過程滿意度；評價；主成分分析；數據挖掘

【中圖分類號】G420 【文獻標識碼】B 【論文編號】1009—8097 (2008) 09—0072—03

一 引言

與傳統的教育形式對學習者的種種限制相比較，以計算機網絡、多媒體和衛星傳送等現代通訊技術為基礎的現代遠程開放教育極大地提高了學習的自由性、開放性和資源利用效率。而同時，如何從學習者學習有效性的角度出發，對這種新型的教育形式進行效果評價也成為一個具有現實意義的研究課題。

現階段的遠程教育評價多采用總結性評價，以學期結束時（或每年一次）的定期考試、或相關調查問卷作為評價學生、教師、課程等的依據，事實上這是不夠的，因為教育是一個復雜的大系統，應該以長期的形成性的評價手段為主來進行評價。在評價過程中不斷的給被評價客體提供指導意見，幫助他們達到最終期望的目標。雖然在傳統教育領域，這樣的評價方式需要投入大量的人力物力，通過持續的跟蹤觀察來收集、統計相關信息，具有很大的實行難度，但這在當前的網絡教育環境下卻是有可能實現的，即在評價過程中通過評價模型構建、軟件設計、網絡存儲等新的技術手段來解決這個問題[1]。針對遠程網絡教育環境下人員分布很廣、結構松散的組織特點，我們需要用一種新的信息收集方法和評價標準來彌補傳統評價方法的不足，適應這種新型教育模式引起的評價方法、手段的變化，這就是與遠程教育環境、遠程學習過程相適應的網絡評價系統——“學習過程滿意度”評價模型。

二 學習過程滿意度評價模型的建立

1 學習過程滿意度評價模型的提出

“學習滿意度”的概念由多倫多大學的Allen Tough博士[2]于1982年提出，指的是對學習活動的感覺或態度，用來解釋學習者參與學習活動的動機和參與學習的結果。本文從遠程網絡教育學習者學習成效評價的角度出發，提出建立遠程教育“學習過程滿意度”評價模型的思路，著重關注在網絡學習過程中學習者動機、方法、信心及成果獲得的變化程度，并結合了當前遠程網絡教育實施水平對學習者的影響，將這一評價模型的研究方向界定為5個方面，分別為：學習準備、學習方法、學習效果、自我評價、支持服務。該模型的結構示意圖如下：

學習過程滿意度評價模型試圖通過建立一套基于學習者行為方式、認知過程和學習效果的綜合評價指標體系，利用大量數據記錄和統計分析結果的積累，評價甚至預測學習者的當前和將來學習過程滿意度，為每一個學習者提供有效的個體學習支持服務，來改善目前遠程教育條件下學習效率較低的狀況。通過構建學習過程滿意度評價模型，可以及時獲得學習者當前的學習狀態，如學習進程、學習風格等，從而及時進行改進，如對教學內容進行調整，甚至包括個性化輔導等。這種即時反饋之所以是必須的，是因為它是評價和調整后繼學習的基礎。這一過程中充分重視師生之間、學習者之間、學習者與課程服務之間的互動作用，并通過各種途徑和方法來保證、促進這種聯系和互動。比如，包括對學生作業完成狀況以及提出的問題提供及時和建設性的意見、根據學習過程滿意度的評價結果提出改進學習方法的建議、學習過程中對學習者科研能力的培養，其中包括資料的收集、整理和分析能力等等。

2 學習過程滿意度評價指標體系的構建

評價指標體系的確立是遠程學習者學習過程滿意度評價的基礎，其設計的合理性直接影響到被評價對象學習過程滿意度的評價結果，是學習過程滿意度研究中最為重要的一個環節。學習過程滿意度評價指標的選取原則如下：

（1） 建立的學習過程滿意度評價指標體系，必須是與學習者學習過程緊密相關的，也是學習者認為重要的；

（2） 評價指標是能夠被控制的，即根據評價結果，能使相關指標得到改進；

（3） 評價指標必須是可測量的或能夠被描述的，學習過程滿意度評價的結果需要得到量化，因此設定的評價指標必須是可以進行統計、計算和分析的。

基于上述原則，經過與中央電大部分專家的深度訪談和調查問卷兩種定性研究方式，將學習過程滿意度評價指標體系歸納為5大類，14個具體指標，見下表：

其中，學習準備包括學習條件、知識背景、動機等指標；學習方法包括認知習慣、學習措施等指標；學習效果包括學習進展、知識掌握、創造力、文獻積累等指標；自我評價包括自信心、交流程度；支持服務包括答疑、知識拓展、業務幫助等指標。

在評價指標構建中，基于對遠程學習過程側重點偏好程度的不同，研究人員對指標體系結構的掌握程度也不同。對于這種指標體系結構比較模糊的情況，本文采用主成分分析法來確定各個指標的權重。

3 利用主成分分析法確定評價指標權重

以下簡要介紹利用主成分分析法測定該指標體系權重的原理[3]。

主成分分析是指將原來眾多具有一定相關性的指標，由重新組合成的一組互相無關的綜合指標來替代的過程。通常數學上的處理就是將原來n個指標進行線性組合處理，作為新的綜合指標。最常用的做法就是用F1（選取的第一個線性組合，即第一個綜合指標）的方差來表達對原有指標的評價，即Var（F1）越大，表示F1 包含的信息越多。因此在所有的線性組合中選取的F1應該是方差最大的，故稱F1為第一主成分。如果第一主成分不足以代表原來的n個指標的信息，再考慮選取F2即第二個線性組合，這時為了有效地反映原來信息，F1已包含的信息就不需要再出現在F2中，用數學語言表達就是要求Cov（F1，F2）=0，稱F2為第二主成分。依此類推可以構造出第三、第四、…、第n個主成分綜合指標。一般來說，主成分個數提取原則為主成分對應的特征值大于1且主成分累計貢獻率≥85%的前m個主成分。在分析過程中，能夠通過初始因子載荷矩陣得知各個指標在每個主成分上的載荷，即每個主成分反映出各個指標信息的程度，并根據主成分提取原則確定合適的主成分個數，從而得到有效主成分的綜合得分模型，其中與各個指標對應的系數即為每個指標的權重。

在學習過程滿意度評價模型指標體系建立過程中，以中央電大部分網絡課程使用者作為調查對象，通過電話訪問和在線調查形式共發放調查問卷205份，其中回收有效問卷178份，對各個指標的評級采用萊克特的五點等級法，分別為：

5分——非常滿意；4分——比較滿意；3分——基本滿意；2分——不太滿意；1分——非常不滿意。

由原始數據可計算出各指標的滿意度評級的平均分，見下表：

利用SPSS13.0軟件，對調查統計數據進行主成分分析，結果如下（程序及計算過程省略）：

在本例中，前兩個主成分的累計貢獻率為89.2%>85%，意味著提取前兩個主成分就基本能夠反映全部指標的信息，所以決定用兩個新的綜合變量來代替原來的14個指標變量。再根據兩個主成分F1和F2的表達公式，得到學習過程滿意度評價的綜合得分模型為：

Y =0.218X1 +0.283X2 +0.276X3 +0.286X4 +0.236X5 + 0.297X6 + 0.274X7 +0.276X8 +0.183X9 +0.146X10 +0.169X11+0.187X12 +0.264X13 +0.156X14

其中X1-X14表示表1中列出的14個評價指標，式中每個指標對應的系數即為各指標的相對權重。

4 各評價指標滿意度評級與相對權重的象限圖分析

從表1中計算出的各指標相對權重可以看出，知識背景、學習動機、認知習慣、學習措施、學習進展、知識掌握、創造力和知識拓展這8個指標的相對權重高于平均值，比較受到重視。為進一步分析學習過程滿意度評價模型所選擇的14個指標的相對重要程度，以滿意度評級的平均分作為橫坐標， 以各指標相對權重作為縱坐標，繪制象限圖如下：

由上圖可知，位于第一象限的4個指標，學習動機、認知習慣、創造力和知識拓展比較受到學習者的重視，同時學習者對這4項指標的滿意度評價也較高；位于第二象限的4個指標知識背景、學習措施、學習進展、知識掌握屬于重要程度較高但學習者滿意度評價較低，說明對學習者來說，如果這4項指標能有所提升，對提高遠程教育學習過程滿意度的影響是比較大的；位于第三象限的4個指標學習條件、自信心、交流程度和業務幫助屬于重要程度和滿意度評價都相對較低的，這4項指標對于學習過程滿意度的影響還需繼續關注；第四象限的2個指標文獻積累和課程答疑屬于滿意度評級較高，但相對重要性不高的。

三 對學習過程滿意度評價模型的應用總結

根據前述對遠程教育學習過程滿意度評價的實質和評價系統的涵蓋范圍，可以將評價模型的應用及整個評價過程大致分為以下六部分：

（1） 制定評價方案，選擇評價方法。這一步是整個評價活動的基礎，需要明確評價的目的及對象，確定獲取數據的途徑、范圍、取樣及采集時間等，并擬定評價計劃安排，準備必要的評價工具；

（2） 構建評價指標體系。這一步是評價標準的具體化，具有可測量性，通過對收集到的信息進行篩選、分類、建構，并使用相關方法進行權重測定；

（3） 評價信息的收集。一般通過調查問卷的生成、發布和提交來實現數據集成，在學習過程滿意度評價中，還需要通過軟件技術獲得學習者行為方式、學習風格的記錄等等；

（4） 評價數據的處理、分析；

（5） 得出評價結論及報告；

（6） 建立評價記錄檔案和數據庫。

本文著重研究學習過程滿意度評價模型指標體系的構建及評價數據的來源有效性問題。隨著計算機技術和現代評價方法的不斷發展，為我們實現大量數據的記錄、統計分析和評價提供了有力工具。利用計算機網絡的快捷和普及，通過網絡調查問卷發布、信息即時提交等手段使我們得以在較短時期內收集到大量的學習者信息和統計數據；而科學評價方法的使用，則能夠對收集到的信息進行數據整理和統計分析，選擇出大量數據存在的分布狀態、數據特征、變化規律及其相互關系等，而諸如SPSS、MATLAB、LINDO等統計分析工具軟件的存在，使得這種數據處理過程變得簡便易行。

四 學習過程數據記錄方法簡介

學習過程記錄的數據來源有兩個方面，一個是學習測評系統，如作業系統、考核系統，另一個是學習平臺跟蹤系統。對學習過程滿意度的評價不只是關注評價結果的準確、公正，而是更強調評價結果的反饋以及被評價者對評價結果的認同以及由此帶來原有狀態的改進。本文著重關注學習平臺跟蹤系統，即通過設計具有人工智能技術支持的交互程序對學生在學習平臺上的學習過程進行全程的跟蹤記錄。例如在制作某個網絡課件時，可以通過程序設計，記錄下學習者訪問數據庫中記錄（知識點）順序和時間點，由一定的規則可分析得出該學習者此次學習的進展，則記錄下此項學習過程記錄和記錄時間。通過跟蹤分析此類記錄可以判斷出，該知識點的難易度、學習者學習持續狀態、完成學科知識的進度等[4]，這一過程需要通過Web數據挖掘技術來解決。運用Web數據挖掘技術自動從網絡課件的Web頁面和服務中發現和提取信息將成為學習過程數據記錄的一個重要技術手段[5]。在針對學習過程滿意度評價所需要的數據挖掘過程中，分別采用了聚類分析、關聯規則、決策樹、模糊集合等算法，具體使用方法如下：

（1） 利用聚類分析從Web訪問信息數據中聚類出具有相似行為的學習者；

（2） 關聯規則描述數據庫中數據項之間存在潛在關系的規則，可以發現學習者在某些知識興趣點之間的相關性，使得網絡課件開發更具有針對性；

（3） 決策樹主要應用于分類分析，通過分類算法實現對學生知識水平的客觀分類；

（4） 根據模糊集合理論，對實際問題進行模糊判斷、模糊決策、模糊模式識別、模糊聚簇分析。

五 總結與討論

遠程教育學習過程滿意度評價體系是一個很復雜的學習支持與管理系統，其目的在于針對學習者不同個體的學習過程進行滿意度評價，同時對學習過程滿意度的評價不只是關注評價結果的高低與否，而是更強調被評價者對評價結果的認同以及由此帶來原有狀態的改進，以此為學習者提供個性化的網絡教學服務。這一過程涉及到網絡技術、人工智能技術、教育學、心理學等多個學科，需要做的研究工作還有很多。由于時間、知識水平及其它軟硬件條件的限制，對該評價體系的研究還存在諸多問題，要在實踐工作中加以應用和解決。尚需探討的地方包括以下方面：

1 學習過程滿意度評價指標體系的構建需要完善。本文對學習過程滿意度歸納的5大類指標還需要在實踐應用中進一步擴充、完善和細化，需要從不同角度引入一些新的相關因素來刻畫學習者的學習過程，使系統對不同學習者的個性化學習特征評價有更為全面和準確的掌握。

2 各種評價方法及技術的綜合應用尚待加強。遠程教育是一種新興的教育模式，各種科學評價方法及技術應在正確的教育理論知識指導下在實踐中不斷嘗試和創新。

3 數據挖掘技術的進一步應用。數據挖掘技術不僅能提供可靠的學習者學習過程行為記錄分析，在之后的學習結果評價、自動化管理等方面的也能有充分的應用。這在以后的實踐中要深入研究，使之為實現提高遠程教育學習效率的目標更好的服務。

參考文獻

[1]任儆，張秀梅.對網絡遠程教育評價體系的探討[J].中國電化教育，2002，(8).

[2]王昭君.影響網絡學習成效關鍵因素探究[D].上海:華東師范大學，2007.

[3]趙濤.管理學常用方法[M].天津:天津大學出版社，2006，360-373.

[4]徐世猛.關注“學習過程記錄”的網絡課件研究[D].上海:華東師范大學，2005.

[5]李雄飛，李軍.數據挖掘與知識發現[M].北京:高等教育出版社，2003.