虛擬學習社區學習評價指標體系的設計*

李興保，徐 進，劉 敏，趙可云

(曲阜師范大學 傳媒學院，山東 日照 276826)

虛擬學習社區學習評價指標體系的設計*

李興保，徐 進，劉 敏，趙可云①

(曲阜師范大學 傳媒學院，山東 日照 276826)

虛擬學習社區學習評價對于規范和約束學習者社區行為具有重大作用，更是提升社區學習者學習效率的重要保障。虛擬學習社區的學習評價指標體系的研究十分重要。研究在理論剖析與原則構建的基礎上，初步設計了虛擬學習社區的學習評價體系，進而采用問卷調查的方法開展研究，通過問卷的發放和收回，經過SPSS處理得到問卷的信度和效度檢驗，得出了虛擬學習社區的學習評價指標體系。依據該評價指標體系，運用層次分析軟件計算權重，用模糊綜合評價方法，對在虛擬學習社區中學習的某學習者進行了實踐評價運用。即首先要確定被評價對象的因素集；然后分別確定各因子權重及其隸屬度向量，得到模糊評價矩陣；最后模糊判斷矩陣和因子權重向量進行模糊操作和歸一化得出模糊綜合評價的結果。

虛擬學習社區；學習評價；評價指標體系

一、引言

(一)問題的提出

虛擬學習社區在當前遠程教育研究中是一個熱點，對遠程教育及在線學習的研究提供了的機遇，其對學生高階能力的有效培養、協作交流能力的提升、知識建構方式的優化提供了優質平臺[1]。

虛擬學習社區需要有可以發揮其優勢，提升學習效率的學習評價。從某些方面上來講，學習評價可以稱得上是虛擬學習社區的核心內容。如果缺少實際可行的評價機制，虛擬學習社區便會失去其規范性和約束力。所以進行對學習者在虛擬社區中學習過程的研究，尋找到在學習活動中影響學習者發揮能力的有關因素，創建一個可行的關于虛擬學習社區的學習評價指標體系意義重要。主要表現在，一是可以激發學習者對學習的積極性，二是有利于促進學習者獨立自主、自我控制和合作探究問題能力的產生。

從教學評價或者學習評價的角度而言，作為一種有效的學習支持服務方式，虛擬學習社區中學習評價在“以評促學”方面扮演著極為重要的角色，其功能主要體現為在交互學習系統中對學習者進行監督、評測、引導、管理。

(二)虛擬社區的理論基礎

在虛擬學習社區中，幫助學習者進行學習，進而提高學習者的學習效率，記錄學習者學習行為，能夠分析先行者的學習情況和學習習慣。從而學習者進行學習指導。虛擬學習社區能夠成為遠程教育和傳統教育相結合的一種新的學習模式離不開支撐構建虛擬學習社區的理論[2]，主要包含以下三個大方面：

1.建構主義學習理論

學習者通過在虛擬學習社區中進行協作交互，最終的目的是要完成對已有知識的合理建構，從而獲取新的知識，并提高自己的高階思維能力[3]。教育改革的首要目的就是要提升學習者解決問題的能力、提升學習者的信息素養的綜合技能[4]。以上這些目標都是建構主義理論所倡導的，它是虛擬學習社區的最為重要的理論基礎。

2.情境認知與情境學習理論

布朗、科斯林和杜吉德認為：“情境是一切認知活動的基礎”。情境性的學習可以分為兩類：第一種是去情境性的學習。學生在老師的指導下總結概括出一些知識、理論，并將其內化為自身的內容，以此來指導以后的行動實施。還有一種是在情境中學習，老師指導學生去總結學習過程中的知識、理論，以達到以后遇到同樣情況可以將其運用自如的目的[5]。

3.學習共同體理論

根據莫勒的觀點，學習共同體有著兩種基本的功能。第一種是社會強化功能，學習者一方面能夠親身體會到自身處于一個學習團體之中的感受，可以與興趣愛好相同的學習者一起進行相同目的的學習活動，共同遵守團體的規則；另一方面可以通過學習者自身在共同體中的歸屬感、認同感以及與其他學習者之間逐漸培養起來的感情來更加積極主動地去參與到共同體中來，以達到促進學習活動的積極性，提高自我以及帶動整個社區的學習成績[6]。

(三)虛擬學習社區中學習評價應遵循的原則

傳統的教育評價忽略了學習者的綜合素質提升，突出以評價者為評價主體，使學習者的發展呈現出相同的，標準化的，面向過程的現象，在尊重個人差異方面沒有什么區別[7]。虛擬學習社區并不是網絡教學，它強調學習者之間相互分享，互相幫助，建立良好的互信度，在一個充滿了信任的環境中學習。因此，虛擬學習社區中的學習評價不可以用傳統的教育評價方式去評價，應在評價原則的基礎上遵循其自身的一些特點[8]。

1.目標的具體性與包容性原則

一個有效的評價必須具有切實可行的目標，這是教師的教學活動的基礎，是學習者進行自主學習的導航，是評價方案的設計依據。從這方面看，虛擬學習社區中的學習評價目標盡可能要具體。由于虛擬學習社區學習活動的復雜性，很難達到精確的目標，特別是反映了情感目標學習者參與社區活動更加困難。虛擬學習社區的學習評價的目標也應該有一定的開放性和包容性，布魯姆認為“應該保持一定程度的概括性，即具體性產生的損失不會太多”[9]。

2.評價的過程性原則

虛擬學習社區十分注重學習者的個性發展，雖然教師的目標基本一致，但學習過程是學習者自我建構的過程。按照加德納的多元智能理論，每一個學習者的學習風格都會導致最終的學習成績有很大的不同，這不僅是由一個期中考試就可以來確定學習者的表現。虛擬學習社區中的學習評價要監控學習者學習活動的整個過程，提高學習者過程表現的比例[10]。

3.評價的定性與定量相結合的原則

為了保證評價的公正性必須使用一個定量評價方法，以減少影響評估的主觀因素，且對評價數據的量化結果更容易處理，更準確地評測學習者的狀況，目前很多的在線學習都是如此。然而，更多的定量評價是總結性的，很難反映學習者在學習過程中的表現，且其他方面的目標也很難進行量化。所以虛擬學習社區中的學習應將這兩種評價方法合理使用。虛擬學習社區除了學習知識、技能外，很注意學習者之間的相互作用。

4.評價主體多元化原則

虛擬學習社區是一個不涉及到權威的互聯網空間，它不是教師主導的社區，社區的所有活動都應該是學習者自我管理[11]。發展和完善社區是學習者應有的責任和義務。虛擬學習社區中的學習評價是一個學習者之間的互動過程，是學習者之間協商的過程，是觀察學習者們是否形成了互相幫助、相互促進和密切的依賴關系[12]。多元化的評價主體一方面可以使評價具有更加全面的視角，另一方面可以促進學習者之間的交流和加強這一積極正面的依賴關系。

二、虛擬學習社區的學習評價指標體系的構建

(一)學習評價指標的初步確立

對虛擬學習社區進行評價的目的是為了能夠發現學習者在學習活動中所存在的問題，通過反饋調節，促使學習者提高學習成績，評價的目的不是為了分出高低，分出三六九等。虛擬學習社區中的學習評價相當復雜，因素多變，想要得到精確的數值對于我們來講基本是不可能的。因此設計的指標從某種意義上來講叫做軟指標。按照布魯姆對教育目標的分類及虛擬學習社區中學習活動的特征，將虛擬學習社區中的學習評價初步分為學習目標、交互情況、情感態度、知識與技能這4個一級指標以及21個二級指標，形成了初步的學習評價指標體系框架。然后將此學習評價指標體系制作成調查問卷的形式發放。本問卷總共發放150份，回收了136份，回收率為91%。其中有效的問卷為132份，有效率達到了97%。

(二)問卷信度和效度檢驗

問卷采用的評價方法是內部一致性信度法，按照克朗巴哈公式計算的克朗巴哈α系數決定了其內部一致性，與其呈正相關關系。根據所得出問卷進行分析，得出表1所示結果，克朗巴哈系數α值為0.876，這說明其信度比較高。

表1 問卷克朗巴哈α系數值

對于問卷中的每個潛變量的信度檢驗結果如表2所示。從表2可以看出，除情感態度量表的克朗巴哈α系數為0.513，比較低以外，其它的α系數均在0.6以上。因此，對潛變量“情感態度”進行觀察和測試，將“歸納總結”和“學習堅持性”從“情感態度”量表中去掉后，潛變量“情感態度”的信度檢驗值為0.752，量表的總信度變為0.913，無論是分量表還是總量表均具有較高信度，擁有比較高的內部一致性，符合數據分析的要求。因此，在評價指標的測量變量中去掉“歸納總結”和“學習堅持性”，即評價指標中包括4個潛變量、19個可測變量。

表2 潛變量的信度檢驗

運用SPSS軟件來對問卷做因子分析，得出其效度。如表3所示。其KMO值為0.867，對其因素分析，顯著性概率P=0.000＜0.001，說明此問卷擁有較高的效度。

表3 KMO以及Bartlett檢測

對評價指標進行整理和篩選，經過SPSS數據處理，最終剔除一級指標“情感態度”下的“歸納總結”和“學習堅持性”兩項二級指標，形成了以下完整的評價指標項。如表4所示。

表4 虛擬學習社區學習評價指標體系

續表4

(三)虛擬學習社區學習評價指標體系權重的計算

權重是針對某一指標的相對概念。對某一指標權重的確定是確定評價指標在總體評價中的相對重要性。權重的功能是將許多個評價指標的重要程度區分開來，所有指標所對應的權重就構成了權重體系。權重的計算是構建學習評價指標體系的重要部分，根據已經列出的虛擬學習社區學習評價指標體系的各級指標。但是由于各個因素的重要程度以及影響力的不同，需要對各個因素賦予權重，以便更準確地構建出評價體系。使用層次分析法對已構建的各項指標進行權重賦值。

1.層次分析法的使用

層次分析法，是20紀70年代初薩蒂提出的，它是基于心理學理論和數學理論的，這種系統分析法將定量和定性結合了起來。層次分析法的應用可以將復雜系統問題中的各種因素分為有序的層次結構，并且在定性描述的基礎上給出定性判斷的相對重要性，然后運用數學方法將各層次上各元素的相對權重計算出來，最后依據指標權重和指標數值對研究問題進行綜合評價[13]。

通過這種方法確定指標權重，首先要確定各級指標的相對重要程度，通過專家打分和評分結果統計分析，建立判斷矩陣之間的指標。最后，對各指標的矩陣層進行比較、計算和分析。

(1)構造判斷矩陣

在位于同一級別層次的指標中，將ai與aj一一重復對比，關于ai對aj的重要性aij進行評判(ai與aj分別代表同一級別層次中的兩個指標項)。T·L·Saaty確立了兩兩比較重要性的數值尺度，即取值1,3,5,7,9用來分別表示同等重要、較重要、重要、很重要、極其重要五種程度；其它四個偶數按照數值的大小介于五個奇數之間，用來表示另外間隔的四種重要度。判斷完畢之后，形成了矩陣A。

aij是評價指標ai相對于aj的重要性的數值，范圍時從1至9,其表示的意義如表5所示。如果ai=1，那么aij=1/aji。

表5 重要性標度數值表

(2)計算判斷矩陣

矩陣A中所有的列都大概地顯示出了權值的分配，所以使用所有列向量的平均值來計算權向量。

步驟一：將矩陣A所有列歸一化：

步驟二：將所有列進行歸一化后的判斷矩陣按照行相加：

即為所求的特征向量。

(3)進行一致性檢驗

步驟三：從表6所示的內容中找到相對應的一致性指標RI:

表6 評價隨機一致性指標RI

求出一致性比例CR=CI/RI

分析CR的值：一般情況下，要是CR＜=0.1，便能夠認為其擁有能夠接受的一致性；如果CR＞0.1，說明其一致性的偏離程度太大，需要進行修改，將CR的值修正到0.1以下。

(4)計算綜合重要度

上述分析結果僅僅得到相對重要性，所以層次分析法還需要計算相同級別的所有元素的最高級別并進行排序，方法是從頂部開始，從上往下，得出所有元素的綜合重要性。其分析計算過程如下：

假設上層為A，下層包含有m要素B1，B2，…，Bm，它們對于Aj的單層次排序重要度分別為b1j，b2j，…bmj(j=1，2，…，n)，此時B層的總排序的綜合重要度為：

即下層Bi的綜合重要度是以Aj的重要度為權重的相對重要度加權的和，如表7所示。

表7 B層要素綜合重要度計算表

按上述方法，自上向下依次計算，計算出下面各層要素總重要度。綜合重要度也必須進行一致性檢驗。

(5)依照綜合重要度以及評價準則，進行決策。

2.運用層次分析軟件yaaph計算權重

用層次分析軟件yaaph對指標權重進行了計算。根據虛擬學習社區的性質及特點，通過問卷請10位專家對構建的指標進行打分，并且同過計算平均值得出最終打分結果。表8按照各指標權重的大小從大到小將各級指標排列了下來。

表8 方案層中要素對決策目標的排序權重

續表8

可以看到，權重系數最高的二級指標是C11構建知識體系，為0.1842，最低的是C4答疑回復，僅僅只有0.0093。權重系數超過0.1的二級指標有3項，分別為C11瀏覽學習資源、C15構建知識體系、C12作業質量，依次分別為0.1842、0.1399、0.1203。權重系數值低于0.01的二級指標只有C4答疑回復，值為0.0093。從數值上可以分析出，瀏覽學習資源、構建知識體系、作業質量這三個因素對于虛擬學習社區中學習的影響較大，而答疑回復的影響相對會小很多。

由表9可以很直觀地得出四個一級指標情感態度、知識與技能、交互情況、學習目標的權重由高到低依次為0.4784、0.2918、0.1801、0.0497。其中一級指標情感態度達到了0.4784，而學習目標只有0.0497，相差較大，但和之前預測一致。原因主要是由于各一級指標下的子指標數量導致的。

表9 第1個中間層中要素對決策目標的排序權重

一致性比例CR=0.0287＜0.10，說明一致性比較高；對“虛擬學習社區A”的權重：1.0000；最大特征值λmax：4.0766。根據表10顯示，四個一級指標交互情況B2、情感態度B3、知識與技能B4、學習目標B1的權重系數由高到低依次為0.1801、0.4784、0.2918、0.0497。

表10 虛擬學習社區A

交互情況B2一致性比例CR=0.0415＜0.10；對“虛擬學習社區A”的權重：0.1801；λmax：5.1861。由表11，可以看出一級指標交互情況B2下的5個二級指標參與討論C3、協作活動C6、與老師交流C5、互傳資源C7、答疑回復C4的權重系數由高到低依次為0.2697、0.4683、0.1265、0.0838、0.0516。

表11 交互情況B2

情感態度B3一致性比例CR=0.0079＜0.10；對“虛擬學習社區A”的權重：0.4784；λmax：6.0499。由表12，可以看出一級指標情感態度B3下的6個二級指標尋求幫助C10、在線學習時長C9、作業質量C12、瀏覽學習資源C11、登錄社區次數C8、發帖數量C13的權重系數由高到低依次為0.1380、0.1380、0.2515、0.3850、0.0457、0.0419。

表12 情感態度B3

知識與技能B4一致性比例CR=0.0222＜0.10；對“虛擬學習社區A”的權重：0.2918；λmax：6.1396。由表13，可以看出一級指標知識與技能B4下的6個二級指標構建知識體系C15、信息檢索C18、積累知識C14、信息處理C17、網絡技術C16、問題解決C19的權重系數由高到低依次為0.4793、0.0538、0.2314、0.0538、0.0538、0.1279。

表13 知識與技能B4

學習目標B1一致性比例CR=0.0000＜0.10；對“虛擬學習社區A”的權重：0.0497；λmax：2.0000。由下頁表14，可以看出一級指標知識與技能B1下的兩個二級指標目標合理C2、目標明確C1的權重系數相同，都為0.5000。

表14 學習目標B1

綜合以上結果，得到各項指標的權重，最后得出最終的關于虛擬學習社區的學習評價指標體系。如表15所示。

表15 關于虛擬學習社區的學習評價指標體系

通過以上學習評價指標體系，可以很直觀地看出虛擬學習社區各項指標的重要程度，能夠更好地做出更有效的學習評價。由以上可知，瀏覽學習資源C11、構建知識體系C15、作業質量C12、協作活動C6、積累知識C14、在線學習時長C9、尋求幫助C10這些指標的合成權重都在0.0660以上，說明有很強重要性。在做出學習評價時，應該著重考慮這7項指標。從另一方面也說明了虛擬學習社區在發展以及學生在應用虛擬學習社區的同時，也要考慮到這些因素。通過對虛擬學習社區中學習者的學習評價，能夠使學習者得到及時的反饋。也能夠從側面對虛擬學習社區進行有效的評價。此指標體系應用于虛擬社區學習者的實證研究中。

三、虛擬學習社區學習評價指標體系的實證研究

模糊綜合評價法是一種運用模糊數學理論與技術針對教學評價對象的復雜性及其評價指標的模糊性，采用模糊數學的理論與技術對其進行評價，從而得到量化的評價結果的不確定教學的統計方法[14]。因為這種方法可以對各評價人員的看法進行概括總結，更充分地反映被評價對象的程度，評價結果會具有更大的客觀性。因此，對于學習者在虛擬學習社區中的學習評價運用模糊綜合評價法是比較合理的。其特征為對于對象逐個判定，每一個評價對象都只有一個定值與其對應，不會受到其它評價對象以及集合的影響，為的是評判出優勝對象。最終所有的對象按照評價結果排列順序。為了使評價結果更為精確，將會運用此方法對楊某某同學進行學習評價。

(一)確定評價對象的因素集

在已經得到虛擬學習社區中學習的各個影響因素后，根據這些因素確立因素集U={目標明確，目標合理，參與討論，答疑回復，與老師交流，協作活動，互傳資源，登錄社區次數，在線學習時長，尋求幫助，瀏覽學習資源，作業質量，發帖數量，學習興趣，自我評價，積累知識，構建知識體系，網絡技術，信息處理，信息檢索，問題解決}。

(二)確定評價等級

將評價等級分為5個，分別是優、良、中、差、很差。即V={優，良，中，差，很差}。

(三)建立模糊關系矩陣R

通過問卷的形式，得到了了解楊某某同學在虛擬學習社區《學習科學與技術》中學習情況的老師及學生的對楊某某的評價，并且從中挑選了20個有效問卷進行統計， 根據統計數據，計算出每個因素的隸屬度(人數/總人數)，建立模糊關系矩陣。(如下頁所示)

(四)確定評價因素的權重向量

通過層次分析法得出了各因素向量的權重，建立權重向量A={0.0249，0.0249，0.0486，0.0093，0.0228，0.0843，0.0151，0.0219，0.0660，0.0660，0.1842，0.1203，0.0200，0.0675，0.1399，0.0157，0.0157，0.0157，0.0373}。

(五)合成模糊綜合評價結果向量

B=A*R=(0.4972，0.3144，0.1108，0.0541，0.0237)，由于0.4972+0.3144+0.1108+0.0541+0.0237=1.0002≈1，結果非常精準，不需要歸一化處理。

(六)對模糊綜合評價結果向量進行分析

為了得出最終結果，將等級進行了量化，如表16所示。

表16 等級量化表

依據得出的模糊綜合結果向量以及上述等級量化表，依然運用加權平均型算法，最終得出楊某某同學在虛擬學習社區《學習科學與技術》課程當中的學習評價結果為：95×0.4972+85×0.3144+75×0.1108+65×0.0541+50×0.0237=86.97。

此結果說明楊某某同學在此課程當中學習表現良好，從側面也一定程度上證明了虛擬學習社區《學習科學與技術》這門網絡課程設計的比較成功。

四、結語

虛擬學習社區在當前遠程教育研究中是一個熱點，對遠程教育及在線學習的研究提供了充足的機遇，其對學生高階能力的有效培養、協作交流能力的提升、知識建構方式的優化均提供了較為優質的平臺。虛擬學習社區的發展離不開能夠與其相對應的可以發揮其優勢，并且提升學習效率的學習評價[15]。在以后的研究中，還要添加更加智能化的系統或是技術來協助教師，既能夠減輕教師的工作量，也可以提高評價的效率和準確性。從而更加切合虛擬學習社區的需求。根據以后科學技術的不斷進步，繼續對此學習評價指標體系進行改進升級，以滿足以后學習者不斷變化的需求。并希望此學習評價指標體系能夠為虛擬學習社區以后的發展提供支持。

[1]甘永成,祝智庭.虛擬學習社區知識建構和集體智慧發展的學習框架[J].中國電化教育,2006,(5):27-32.

[2]甘永成.論虛擬學習社區中的知識建構[J].中國遠程教育,2006,(2):17-21.

[3]李興保,劉敏.虛擬社區中學生高級思維能力的培養[J].電化教育研究,2006,(12):8-10.

[4]Yang Z, Liu Q. Research and development of web-based virtual online classroom[J]. Computers & Education, 2007, 48(2):171-184.

[5]Janssen J, Erkens G, Kanselaar G, et al. Visualization of participation:Does it contribute to successful computer-supported collaborative learning?[J]. Computers & Education, 2007, 49(4):1037-1065.

[6]尚建新.虛擬學習社區中學習者交互因素研究[D].長春：東北師范大學,2009.10-30.

[7]Hsu M H, Chen Y L, Chiu C M, et al. Exploring the antecedents of team performance in collaborative learning of computer software[J].Computers & Education, 2007, 48(4):700-718.

[8]Allan B, Lewis D. The impact of membership of a virtual learning community on individual learning careers and professional identity[J].British Journal of Educational Technology, 2006, 37(6):841–852.

[9]Daniel B K, Schwier R A, Ross H M. Synthesis of the Process of Learning through Discourse in a Formal Virtual Learning Community.[J]. Journal of Interactive Learning Research, 2007, 18(4):461-477.

[10]王陸.虛擬學習社區社會網絡位置分析與助學者群體的發現[J].中國電化教育,2010,(3):23-27.

[11]甘永成.虛擬學習社區中的知識建構和集體智慧研究[D].上海：華東師范大學,2004.20-60.

[12]尚建新,解月光,王偉.虛擬學習社區中學習者交互因素研究[J].電化教育研究,2010,(8):65-70.

[13]馮天敏, 張世祿. 網絡課程的學習評價設計[J].開放教育研究,2004.(3):34-36.

[14]張倩葦, 桑新民. 網絡環境下學習評價新模式的探索[J].中國遠程教育:綜合版,2002,(2):53-55.

[15]程艷,許維勝,何一文.虛擬學習社區的績效評估模型[J].計算機工程與應用,2011,(4):17-21.

The Designing of Learning Evaluation Index System in Virtual Learning Community

Li Xingbao, Xu Jin, Liu Min , Zhao Keyun
(School of Communication, Qufu Normal University, Rizhao Shandong 276826)

Since learning evaluation in the virtual learning community has a signi fi cant role in regulating and restraining the behavior of learners in community and also is an important guarantee to improve the efficiency of community learners, the study on learning evaluation index system in virtual learning community becomes highly meaningful. We conducted the research according to theoretical analysis and principles of construction and preliminarily designed learning evaluation index system in the virtual learning community. We implemented questionnaire method to carry out this research by issuing and collecting surveys. We found out the reliability and validity of questionnaire processed by SPSS and obtained the learning evaluation index system in the virtual learning community. Based on this evaluation index system, we used analytic hierarchy process software to calculate weight and performed the evaluation practice on a learner in the virtual learning community through fuzzy comprehensive evaluation method. That is, fi rst of all, to establish factor set of the object being evaluated; and then determine the weight of each factor and its subordinated vector and obtain the fuzzy evaluation matrix. Lastly, by using fuzzy judgment matrix and factor weight to perform the fuzzy operation and normalization to acquire the result of the fuzzy comprehensive evaluation.

Virtual Learning Community; Learning Evaluation; Evaluation Index System

G434

A

李興保：教授，碩士生導師，研究方向為教育信息化(lixingbaosd@126.com)。

徐進：碩士，研究方向為網絡教育應用。

劉敏：副教授，碩士生導師，研究方向為信息技術教育。

趙可云：副教授，碩士生導師，研究方向為教育信息化。

2016年9月6日

責任編輯：趙云建

1006—9860(2016)11—0061—07

* 本文系國家社會科學基金“十二五”規劃2011年度教育學一般課題“虛擬學習社區運行機制和評價研究”(課題編號：BCA110022)階段性研究成果。

① 趙可云為本文通訊作者。