基于模糊理論的大學(xué)英語網(wǎng)絡(luò)學(xué)習(xí)評價模型設(shè)計

□ 惠兆陽 梁 玉 梅樹美

基于模糊理論的大學(xué)英語網(wǎng)絡(luò)學(xué)習(xí)評價模型設(shè)計

□ 惠兆陽 梁 玉 梅樹美

大多數(shù)高校大學(xué)英語網(wǎng)絡(luò)自主學(xué)習(xí)教學(xué)方案中對學(xué)生學(xué)習(xí)評價缺乏科學(xué)手段，方法單一，沒有擺脫以考試為主的應(yīng)試教育考評方法。本文運用模糊綜合評價法，根據(jù)大學(xué)英語網(wǎng)絡(luò)自主學(xué)習(xí)的特點及學(xué)習(xí)者的特征，構(gòu)建了大學(xué)英語網(wǎng)絡(luò)學(xué)習(xí)的量化與非量化相結(jié)合的評價指標(biāo)體系，設(shè)計了大學(xué)英語網(wǎng)絡(luò)學(xué)習(xí)評價模型，用實例對模型進行了檢驗，并對評價模型進行了計算機編程。結(jié)果表明：該模型具有很好的實用性、易操作性、可編程性，評價指標(biāo)體系的結(jié)構(gòu)比較合理，并具有延展性，指標(biāo)系數(shù)科學(xué)，經(jīng)模型得到的評價結(jié)果更加合理，能較全面反映學(xué)生的學(xué)習(xí)狀況，因此，提出的評價方案總體可行，可以供大學(xué)英語自主網(wǎng)絡(luò)學(xué)習(xí)評價使用。

大學(xué)英語；網(wǎng)絡(luò)自主學(xué)習(xí)；評價體系；評價模型

引言

隨著計算機和互聯(lián)網(wǎng)技術(shù)的不斷進步，網(wǎng)絡(luò)學(xué)習(xí)也日新月異，但與之相配套的學(xué)習(xí)質(zhì)量評價體系卻一直滯后，對于網(wǎng)絡(luò)學(xué)習(xí)的效果評價還處于起步階段，缺少有效的評價手段。

目前，國外主要有三個較受公認(rèn)的網(wǎng)絡(luò)教育認(rèn)證標(biāo)準(zhǔn)，E-learning Certification Standards，E-valuation of a Web-Based Course，以及“在線教育質(zhì)量：遠(yuǎn)程互聯(lián)網(wǎng)教育成功應(yīng)用的標(biāo)準(zhǔn)”。不過它們對于網(wǎng)絡(luò)學(xué)習(xí)的評價僅是描述性的定義網(wǎng)絡(luò)學(xué)習(xí)的評價指標(biāo)，而對如何組織評價、如何獲取定量數(shù)據(jù)、評價數(shù)據(jù)等方面則較少涉及[1]。

國外對網(wǎng)絡(luò)學(xué)習(xí)評價的研究起步較早，但研究工作主要集中在遠(yuǎn)程協(xié)作學(xué)習(xí)評價上，都以案例的形式對自我評價、伙伴評價和小組評價進行研究。最早提出交互分析模型的是Henri，他從交互言論的視角分析了交互特征，提出了理解在線交互文本的分析模型，將交互分為五個維度：Partioipative、互動（Interaotive）、社交（Social）、元認(rèn)知（Metacognitive） 和認(rèn)知 （Cognitive）[2]。后來學(xué)者不斷在此基礎(chǔ)上開展研究，西班牙研究者Fatos Xhafa等用案例研究法對自我評價、伙伴評價和小組評價作了詳細(xì)介紹，并就遠(yuǎn)程網(wǎng)絡(luò)學(xué)習(xí)協(xié)作評價給出了具體的評價量表，此表包涵四個維度，task performance，group functioning，social support和 help service，權(quán)重分別為50%、20%、15%、15%[3]。國外研究者在網(wǎng)絡(luò)學(xué)習(xí)評價方面的研究主要集中在協(xié)作學(xué)習(xí)評價上。另外，大部分研究者都是以自我評價、伙伴評價或小組評價中的一項為研究對象，重點研究執(zhí)行這種評價對學(xué)生學(xué)習(xí)的影響，給出具體評價指標(biāo)的很少。國外的網(wǎng)絡(luò)教學(xué)平臺對學(xué)生學(xué)習(xí)效果的評價也是協(xié)作評價，如，澳大利亞的 Moodle教學(xué)平臺在評價教學(xué)效果方面做得比較全面，包含了作業(yè)、考試的定性定量評價與管理，但在如何處理評價指標(biāo)權(quán)重方面和定性評價向定量轉(zhuǎn)化方面顯得有些不足。

國內(nèi)對網(wǎng)絡(luò)學(xué)習(xí)評價的研究開展相對較晚，但近幾年發(fā)展較快。以中國期刊網(wǎng)（CNKI）作為信息源，以“學(xué)習(xí)評價系統(tǒng)”和“網(wǎng)絡(luò)”為關(guān)鍵詞，以論文“題名”為檢索項，檢索 1994年至2011年 9月的期刊論文和學(xué)位論文，得到近百篇文獻(xiàn)。

張萍選取了認(rèn)知、態(tài)度、應(yīng)用技能以及人際協(xié)作作為一級評價指標(biāo)，以知識建構(gòu)、高階思維、學(xué)習(xí)態(tài)度、協(xié)作態(tài)度、信息技能、工具技能、人際溝通能力作為二級評價指標(biāo)[4]。覃美珍選取了學(xué)習(xí)態(tài)度、交流與協(xié)作和資源利用等三個維度作為一級評價指標(biāo)[5]。張京彬等選取了學(xué)習(xí)態(tài)度、相互交流與協(xié)作、資源利用和總評等四個維度作為一級評價指標(biāo)[6]。

這些研究主要延續(xù)了國外的研究成果，以遠(yuǎn)程網(wǎng)絡(luò)學(xué)習(xí)或網(wǎng)絡(luò)協(xié)作學(xué)習(xí)為研究對象，網(wǎng)絡(luò)學(xué)習(xí)的評價指標(biāo)選取上存在較大差異。國內(nèi)外現(xiàn)有的網(wǎng)絡(luò)教學(xué)評價方案不足之處表現(xiàn)在以下幾個方面：① 最大的問題是國際上沒有統(tǒng)一的網(wǎng)絡(luò)教學(xué)評價標(biāo)準(zhǔn)，研究人員只是根據(jù)自己的研究實際制定評價體系；② 國內(nèi)外的網(wǎng)絡(luò)學(xué)習(xí)評價多數(shù)只針對某些局部范疇，如協(xié)作評價或只是關(guān)于遠(yuǎn)程教學(xué)中網(wǎng)上學(xué)習(xí)的過程性評價；③評價指標(biāo)的選取上存在較大隨意性和差異性；④ 課堂教學(xué)和網(wǎng)絡(luò)自主學(xué)習(xí)相結(jié)合的混合式學(xué)習(xí)模型還沒有受到關(guān)注，沒有文章對其作為一個單獨領(lǐng)域進行具體評價指標(biāo)體系設(shè)計研究，沒有系統(tǒng)的解決方案。

大學(xué)英語網(wǎng)絡(luò)學(xué)習(xí)屬于混合式學(xué)習(xí)模式，既有教師課堂授課，又有學(xué)生網(wǎng)上自主學(xué)習(xí)。為了解決大學(xué)英語網(wǎng)絡(luò)學(xué)習(xí)效果評價的困局，本文依據(jù)建構(gòu)主義理論和現(xiàn)代教育評價理論，參考Henri的交互分析模型，對國內(nèi)外現(xiàn)有的評價指標(biāo)體系進行梳理，結(jié)合大學(xué)英語網(wǎng)絡(luò)學(xué)習(xí)實際，構(gòu)建大學(xué)英語網(wǎng)絡(luò)學(xué)習(xí)評價指標(biāo)體系，再運用模糊數(shù)學(xué)方法設(shè)計了一套適合大學(xué)英語網(wǎng)絡(luò)學(xué)習(xí)特點的綜合評價模型。

構(gòu)建大學(xué)英語網(wǎng)絡(luò)學(xué)習(xí)評價指標(biāo)體系

首先，確定評價維度。參考Henri的交互分析模型，對國內(nèi)外現(xiàn)有的評價指標(biāo)體系進行梳理，結(jié)合大學(xué)英語網(wǎng)絡(luò)學(xué)習(xí)實際和大學(xué)英語網(wǎng)絡(luò)自主學(xué)習(xí)自身特點，本文選取學(xué)習(xí)態(tài)度、交互程度、資源利用和試卷成績作為大學(xué)英語網(wǎng)絡(luò)自主學(xué)習(xí)的四個評價維度，試卷的設(shè)計是參照國內(nèi)四級機考題型[7]，制定了大學(xué)英語網(wǎng)絡(luò)自主學(xué)習(xí)評價指標(biāo)體系量表，如表1所示。表中將學(xué)習(xí)成績、學(xué)習(xí)態(tài)度、協(xié)作與交流和資源利用四個方面作為一級指標(biāo)，每個一級指標(biāo)又包含3到9個二級指標(biāo)。Ui表示一級評價指標(biāo)（i=1,2,3,4,5）；uij表示二級評價指標(biāo)（i=1,2,3,4,5,j=1,2,…,9）。

其次，確定指標(biāo)體系權(quán)重。目前，確定評價指標(biāo)權(quán)重的主要方法有專家會議法、特爾裴法和層次分析法（AHP）[8]。鑒于層次分析法采用多因素分級處理思想來確定各因素權(quán)重，這與上文建立的評價指標(biāo)體系相吻合，因此，采用層次分析法來確定權(quán)重。

第三，評價指標(biāo)模糊集。根據(jù)大學(xué)英語網(wǎng)絡(luò)學(xué)習(xí)系統(tǒng)的特點和要求，需要用模糊數(shù)來代表教師評分所使用的等級，這里采用目前學(xué)習(xí)評價中常用的優(yōu)、良、中、及格、不及格五等級評價方式[9][10]。

表1 大學(xué)英語網(wǎng)絡(luò)學(xué)習(xí)評價指標(biāo)體系

大學(xué)英語網(wǎng)絡(luò)學(xué)習(xí)模糊綜合評價模型

1.建立評價指標(biāo)因子集和評價集

設(shè)評價指標(biāo)集合為U，則有：U=（u1,u2,…，un），式中ui為各評價指標(biāo)。

（1）定義一級指標(biāo)集為U=（u1,u2,u3,u4）=（資源利用，學(xué)習(xí)態(tài)度，交流與協(xié)作，學(xué)習(xí)成績），相應(yīng)的權(quán)重集為A=（a1,a2,a3,a4），其中ai（i=1,2,3,4）表示指標(biāo)ui在學(xué)生總成績U中的權(quán)重，且∑ai=1。

（2）定義二級指標(biāo)為Ui=（ui1,ui2,……）=（按教師預(yù)定的課程學(xué)習(xí)計劃完成學(xué)習(xí)任務(wù)，積極地參加教師組織的網(wǎng)上教學(xué)活動，……），相應(yīng)的權(quán)重集為ai=（ai1,ai2,……），其中aij（i=1,2,3,4）， 表示指標(biāo)uij在學(xué)生總成績ui中的權(quán)重。

（3）定義評價模糊集V=（v1,v2,v3,v4,v5），該模糊集中的每一參數(shù)均用評定的分?jǐn)?shù)等級表示。

2.確定模糊評判矩陣隸屬函數(shù)

學(xué)生排名與真實水平的關(guān)系假設(shè)滿足正態(tài)分布，這種分布在教育評定實際應(yīng)用中也被廣泛應(yīng)用[11]。針對大學(xué)英語對某班全部學(xué)生進行排名，把該課程的學(xué)生排名序列分為五檔：（0% ～10%]，（10% ～30%]， （30% ～ 60%]， （60% ～ 90%]， （90%～100%]。利用模糊數(shù)學(xué)中的隸屬度的概念，由專家經(jīng)驗值確定一個學(xué)生的排名在（10% ～30%]內(nèi)，則該學(xué)生的真實水平落在（10% ～30%]的可能性定為0.6，而落在（0% ～10%]和（30% ～60%]的可能性各為0.2。這樣，該學(xué)生在班級排名的真實水平可用向量r=[0.2 0.6 0.2 0 0]表示。則指標(biāo)U的模糊評價矩陣R=[r1，r2，……，rn]T，n是U評價指標(biāo)的數(shù)量。

教學(xué)評價模型的實例分析

在網(wǎng)上發(fā)布學(xué)生學(xué)習(xí)評價調(diào)查表，有30位師生對學(xué)生K進行綜合評價，經(jīng)處理后得到的大學(xué)英語網(wǎng)絡(luò)學(xué)習(xí)評價調(diào)查統(tǒng)計表如表2所示（評價指標(biāo)對應(yīng)表 1）。

1.確定一級指標(biāo)和二級指標(biāo)的權(quán)重系數(shù)

（1） 確定一級指標(biāo)U1、U2、U3、U4權(quán)重系數(shù)

根據(jù)上述AHP方法的思路，通過專家會議法，制定網(wǎng)絡(luò)學(xué)習(xí)行為各評價因素的兩兩比較矩陣。對網(wǎng)絡(luò)學(xué)習(xí)評價的一級指標(biāo)中的各指標(biāo)分別進行兩兩比較得到一組判斷矩B(1)，如表3所示。

再用和法[5]對 B(1)計算，得一級各指標(biāo)權(quán)重系數(shù)，如表3所示。對判斷矩陣B(1)進行一致性檢驗。最大特征根λmax=4.136，一致性指標(biāo)n為比較的指標(biāo)個數(shù)，CI=0.045。查表得，當(dāng)n=4時，平均隨機一致性指標(biāo)RI的值為0.90。一致性比例CR=CI/RI=0.045/0.90=0.050。當(dāng) CR＜0.10，認(rèn)為判斷矩陣的一致性是可以接受的，否則應(yīng)對判斷矩陣作適當(dāng)修正。本文CR顯然小于0.10，說明上述建立的一級指標(biāo)U中的各因素比較值所組成的判斷矩陣具備一致性，權(quán)重設(shè)置合理。

表2 大學(xué)英語網(wǎng)絡(luò)學(xué)習(xí)評價調(diào)查統(tǒng)計表

表3 一級指標(biāo)U中的各因素所組成的判斷矩陣及權(quán)重

同理，經(jīng)一致性檢驗，對比較矩陣進行修正得各二級指標(biāo)的判斷矩陣、權(quán)重和CR，分別由表4至表7給出。

表4 二級指標(biāo)U1中的各因素所組成的判斷矩陣及權(quán)重

表4 中對應(yīng)的λmax=9.168,CR=0.014。

表5 二級指標(biāo)U2中的各因素所組成的判斷矩陣及權(quán)重

表5 中對應(yīng)的λmax=7.566，CR=0.076。

表6 二級指標(biāo)U3中的各因素所組成的判斷矩陣及權(quán)重

表6 中對應(yīng)的λmax=6.066，CR=0.011。

表 7二級指標(biāo)U4中的各因素所組成的判斷矩陣及權(quán)重

表7 中對應(yīng)的λmax=3.014，CR=0.012。

2.隸屬度的確定

以u11為例計算uij(i=1,2,3,4,j=1,2,…,9)的隸屬度。

范堅強的臉在煙火下一明一暗，他長長地吐出一口煙，將快要燃盡的煙絲抖進易拉罐。“嗞”的一聲，易拉罐里顯然有水。他靠在椅背上，冷笑一聲，道：“做了？”仿佛在回味男子剛才那句話。男子緊張地看著他。他望著影影綽綽的院落，說：“放別人一條生路，也是放自己一條生路。”

評價指標(biāo)u11的積分=(95×v1+85×v2+75×v3+65×v4+50×v5)/評價人數(shù)

=(95×5+85×10+75×10+65×4+50×1)/30

=80

此學(xué)生的u11成績在班級30人中排在第12位，其分布率=12/30=40%，故u11的隸屬度為(0，0.2，0.6，0.2，0)。二級評價指標(biāo)uij的計算方法以此類推，得到的uij隸屬度，見表2。

3.建立模糊評價矩陣R

由表4可得各二級指標(biāo)的評價矩陣分別為R1、R2、R3和 R4。

各評價指標(biāo)的權(quán)重如下：

計算學(xué)習(xí)成績U4結(jié)果向量B4：

這表示該學(xué)生在大學(xué)英語這門課程的學(xué)習(xí)成績?yōu)閮?yōu)秀的成分為0%，良好的成分為14%，中等的成分為48%，及格的成分為32%，不及格的成分為6%。根據(jù)等級分?jǐn)?shù)矩陣，則該學(xué)生大學(xué)英語的學(xué)習(xí)成績?yōu)?/p>

其所屬等級為良。

同理可得學(xué)習(xí)態(tài)度U1、交流與協(xié)作U2、資源利用U3的成績分別為：把二級指標(biāo)所得的成績在所有人數(shù)中重新排名得到如表8所示成績。

表8 學(xué)生K大學(xué)英語一級指標(biāo)成績表

由上表可得這個學(xué)生大學(xué)英語總成績U的評價矩陣：

總成績一級指標(biāo)權(quán)重向量：

總成績U的結(jié)果向量B為：

則該學(xué)生的總成績

該生總評價等級屬于中等。

大學(xué)英語網(wǎng)絡(luò)學(xué)習(xí)評價模型綜合驗證

以參加大學(xué)英語網(wǎng)絡(luò)學(xué)習(xí)教改實驗的90名學(xué)生的學(xué)習(xí)參數(shù)為樣本點，檢驗?zāi)Ｐ偷臏?zhǔn)確性及魯棒性。對90名學(xué)生的學(xué)習(xí)狀況動態(tài)跟蹤采集，分析后得到學(xué)習(xí)數(shù)據(jù)。使用調(diào)查問卷收集學(xué)生的反饋意見，85%的學(xué)生認(rèn)為數(shù)據(jù)較準(zhǔn)確地反映自己的學(xué)習(xí)狀況，10%學(xué)生認(rèn)為數(shù)據(jù)有部分項沒有準(zhǔn)確反映自己的學(xué)習(xí)狀況，5%學(xué)生認(rèn)為數(shù)據(jù)完全沒有準(zhǔn)確反映自己的學(xué)習(xí)狀況。調(diào)查數(shù)據(jù)表明：評價指標(biāo)體系設(shè)置合理，能較好地表示學(xué)生的學(xué)習(xí)狀況；通過系統(tǒng)的處理機制得到的數(shù)據(jù)能較準(zhǔn)確地反映學(xué)生學(xué)習(xí)狀況。

以這90名學(xué)生2010-2011年第一學(xué)期課程的數(shù)據(jù)為依據(jù)，對該年級90名學(xué)生進行評價，其正確率-錯誤率曲線如圖1所示，正確率達(dá)90%。

圖 1大學(xué)英語網(wǎng)絡(luò)學(xué)習(xí)評價正確率-錯誤率曲線

這表明，該模型具有很好的實用性和指導(dǎo)作用，大學(xué)英語網(wǎng)絡(luò)學(xué)習(xí)評價指標(biāo)體系的結(jié)構(gòu)比較合理，經(jīng)系統(tǒng)得到的評價結(jié)果更加科學(xué)、合理，能較全面反映學(xué)生的學(xué)習(xí)狀況。經(jīng)系統(tǒng)得到的評價結(jié)果和理論結(jié)果一致性較好，學(xué)生對于使用該系統(tǒng)給出的評價結(jié)果和指導(dǎo)學(xué)習(xí)的信息認(rèn)可度在中等偏上。因此，提出的評價方案總體可行，可以考慮在更大范圍使用。

此評價模型可以進行計算機編程，使用起來更加簡便，可操作性更強，在大學(xué)英語教學(xué)評價中具有很強的實用性，模型的評價指標(biāo)系數(shù)可以按照專家和實際教學(xué)需要進行調(diào)整，其僅適用于大學(xué)英語網(wǎng)絡(luò)自主學(xué)習(xí)的量化與非量化混合的綜合評價。此模型把過程評價和總結(jié)性評價有機結(jié)合，希望能解決我國大學(xué)英語網(wǎng)絡(luò)自主學(xué)習(xí)評價的難題。

[1]Charles F.Saxon G.Reasons，Online Student Evaluation of Teaching for Distance Education:A Perfect Match?The Journal of Educators Online，Volume 2，Number1，January，2005.

[2]張潤芝.CSCL評價技術(shù)的新趨勢[J].中國電化教學(xué)，2009，（5）：35.

[3]Tim S.Roberts,Self,Peer,Group Assessment in E-learning,Information Science Publishing,2006.

[4]張萍.網(wǎng)絡(luò)環(huán)境下協(xié)作學(xué)習(xí)評價模型的探究[J].科技情報開發(fā)與經(jīng)濟，2010，（34）：101-103.

[5]覃美珍.網(wǎng)絡(luò)環(huán)境下學(xué)生學(xué)習(xí)評價的研究[D].南寧：廣西大學(xué)，2005：31-33.

[6]張京彬，余勝泉，何克抗.網(wǎng)絡(luò)教學(xué)的非量化評價[J].中國遠(yuǎn)程教育，2000，（10）：48-52.

[7]大學(xué)英語等級考試機考樣卷.[2011-12].http://wenku.baidu.com/view/2ad5ce3131126edb6f1a10e5.html.

[8]彭祖贈，孫韞玉.模糊數(shù)學(xué)及其應(yīng)用[M].武漢：武漢大學(xué)出版社，2007：90-94.

[9]張吉軍.模糊層次分析法（FAHP）[J].模糊系統(tǒng)與數(shù)學(xué)，2000，14（2）：80-88.

[10]張陽，王東，楊貫.基于模糊AHP理論的網(wǎng)絡(luò)學(xué)習(xí)評價模型研究[J].湖南師范大學(xué)自然科學(xué)學(xué)報，2007，30（2）：71-75.

[11]張磊.教育統(tǒng)計分析方法[M].北京：科學(xué)出版社，2007：255-256.

G431

A

1009—458x（2012）02—0021—05

2011－11－15

惠兆陽；梅樹美。哈爾濱理工大學(xué)榮成學(xué)院外語系（264300）。

梁玉，哈爾濱理工大學(xué)外國語學(xué)院（150040）。

責(zé)任編輯 池 塘