院校教學(xué)質(zhì)量評價(jià)模型的構(gòu)建

陳虹麗 夏曉靖 龔洛

摘 ? ?要：要使課堂教學(xué)質(zhì)量評價(jià)結(jié)果具備較高的認(rèn)可度，評價(jià)過程必須要有科學(xué)依據(jù)，其中信度是衡量評價(jià)過程的一個(gè)重要指標(biāo)。文章依據(jù)模糊教學(xué)理論構(gòu)建了院校課堂教學(xué)質(zhì)量綜合評價(jià)模型，并以實(shí)例分析其信度。

關(guān)鍵詞：教學(xué)質(zhì)量;綜合評價(jià);信度

中圖分類號：G640 ? ? ? ? ?文獻(xiàn)標(biāo)識碼：A ? ? ? ? ?文章編號：1002-4107（2016）03-0046-03

隨著《國家中長期教育改革與發(fā)展規(guī)劃綱要（2010—2020年）》的實(shí)施，教學(xué)質(zhì)量的評價(jià)成為科學(xué)化管理高校的重要內(nèi)容之一。實(shí)際上，高校里有著比較明確的專業(yè)分工，想要建立一個(gè)通用的高校教學(xué)質(zhì)量評價(jià)體系是不切實(shí)際的。可行的方法是雇用不同專業(yè)領(lǐng)域的專家學(xué)者參與并制定僅僅針對該專業(yè)的授課評價(jià)體系。具體的實(shí)現(xiàn)方法可以通過建立一些專門化的評價(jià)數(shù)學(xué)模型，通過模型來統(tǒng)計(jì)專家學(xué)者的評價(jià)意見并量化表示，用于指導(dǎo)完善實(shí)際的評價(jià)體系[1]。

常用的課堂教學(xué)質(zhì)量評價(jià)方法有層次分析法、人工神經(jīng)網(wǎng)絡(luò)法[2]、模糊綜合評價(jià)法、專家打分法等。層次分析法不夠細(xì)致，存在決策精細(xì)度不高、權(quán)重計(jì)算復(fù)雜的問題;人工神經(jīng)網(wǎng)絡(luò)法存在局部極小和收斂速度慢的問題;模糊綜合評價(jià)法依據(jù)模糊數(shù)學(xué)的隸屬理論[3]，較好地解決了評價(jià)過程中模糊的和難以量化的問題等。評價(jià)對象往往都含有多種屬性，每個(gè)屬性都從不同方面反映出評價(jià)對象的自有特征，這些特征往往是非線性的和不確定的。因此采用模糊綜合評價(jià)方法不僅能客觀地反映評價(jià)對象的本質(zhì)特征，也使得整個(gè)課堂質(zhì)量評價(jià)系統(tǒng)趨于完善。

概化理論相比經(jīng)典測量理論有以下優(yōu)勢：1.經(jīng)典測量理論中的“嚴(yán)格平行測驗(yàn)”假設(shè)所需的條件比較嚴(yán)苛，相比之下概化理論運(yùn)用“隨機(jī)平行測驗(yàn)”弱假設(shè)，問題的分析條件更易滿足。2.可以分辨出多種評價(jià)誤差來源。概化理論分別對協(xié)方差、方差進(jìn)行誤差分解，從分量中具體體現(xiàn)測驗(yàn)變異對結(jié)果的影響狀況。3.能夠提供可靠性系數(shù)，既考慮專家評審偏差，又考慮評價(jià)的隨機(jī)誤差，可用于絕對決策，也可以用于相對決策。4.可以提供最優(yōu)評價(jià)方案供決策人使用[4]。基于以上特點(diǎn)，概化理論非常適用于解決那些影響因素多、評價(jià)主觀性強(qiáng)、測評情景復(fù)雜的工作，其在行為與心理評測領(lǐng)域的成功應(yīng)用就是一個(gè)很好的例證。

本文利用模糊數(shù)學(xué)理論對層次分析方法進(jìn)行改進(jìn)，用改進(jìn)后的方法來確定每個(gè)評價(jià)指標(biāo)的權(quán)重值，設(shè)計(jì)出了一個(gè)較為合理實(shí)用的基于模糊綜合評價(jià)的高校教學(xué)質(zhì)量評價(jià)模型。在實(shí)際應(yīng)用時(shí)結(jié)合專家打分制度，對于最后的評價(jià)結(jié)果，運(yùn)用多元概化理論分析其信度。

一、院校教學(xué)質(zhì)量綜合評價(jià)模型的構(gòu)建

（一）建立因素集

因素集是評價(jià)對象各個(gè)因素所組成的集合，評價(jià)指標(biāo)體系是由被評對象的各個(gè)因素所組成的，包括授課的方法、教學(xué)的準(zhǔn)備、授課的內(nèi)容、教師的素養(yǎng)、授課的效果5個(gè)一級指標(biāo)，每一指標(biāo)又包括有限個(gè)子指標(biāo)，這些子指標(biāo)組成二級指標(biāo)體系。本文的質(zhì)量評價(jià)指標(biāo)系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1 ?評價(jià)指標(biāo)結(jié)構(gòu)圖

（二）確定指標(biāo)的權(quán)重

在模糊綜合評價(jià)方法中“權(quán)重”非常重要，權(quán)重設(shè)定情況會(huì)對評價(jià)結(jié)果產(chǎn)生絕對影響。本文在權(quán)重設(shè)置上采用“模糊層次分析法”，該方法有利于最大限度削弱評價(jià)者的主觀因素造成的權(quán)重偏差，使得權(quán)重值更趨于合理。重要性的標(biāo)度值參考表1指標(biāo)相對重要性等級表[5]。

表1 ?0.1—0.9的數(shù)量標(biāo)度

以U（u1，u2，u3，u4，u5）因素集為例，請?jiān)u審者參照表1，用0.1—0.9來表述其對于評價(jià)目標(biāo)的模糊判斷，判斷結(jié)果及模糊一致判斷矩陣A。

其中，ɑij表示的從屬關(guān)系為：“ui比uj重要”。

權(quán)重可由公式

直接求出[6]。其中ɑ可以在范圍 ? ? ? ? ? ? 選取，ɑ值越小越表明決策者重視指標(biāo)間差異，則權(quán)重差值越大。實(shí)際應(yīng)用中一般取 ? ? ? ? ? ?，此時(shí)決策者最為重視指標(biāo)間重要程度差異。

（三）建立評價(jià)集

V={v1，v2，…，vm}{優(yōu) 良 中 及格 差}。

（四）確定模糊評價(jià)矩陣

設(shè)評價(jià)對象對因素集中的第i個(gè)因素進(jìn)行評價(jià)，對于評價(jià)集中第j個(gè)元素vj的隸屬，將各影響因素評價(jià)集的隸屬度成行組成第i個(gè)單因素的評價(jià)矩陣Ri，程度為rij。

可將權(quán)重集Ai看作一行n列的模糊矩陣，將單個(gè)因素的模糊評價(jià)矩陣與權(quán)重集合成，可以得到二級模糊綜合評價(jià)集Bj：

在二級模糊評價(jià)集基礎(chǔ)上得到一級綜合模糊評價(jià)矩陣：

最后得出一級模糊評價(jià)集和：B=A·R。

（五）綜合評價(jià)得分

式中：M為綜合評價(jià)的量化分?jǐn)?shù)，B為模糊綜合評價(jià)的結(jié)果，V為評價(jià)等級的具體分?jǐn)?shù)。

二、教學(xué)質(zhì)量綜合評價(jià)模型的應(yīng)用實(shí)例

假設(shè)某校督導(dǎo)專家對授課教師進(jìn)行隨堂聽課，按圖1從17個(gè)方面給教師評分（共優(yōu)、良、中、及格、差5個(gè)等級）。在近三年評價(jià)結(jié)果數(shù)據(jù)中，隨機(jī)抽取10位專家給8位教師的評分?jǐn)?shù)據(jù)。以教師甲和乙為例，他們對教學(xué)質(zhì)量綜合評價(jià)的結(jié)果參照表2。以教師甲的一項(xiàng)評價(jià)指標(biāo)u11為例，其評價(jià)等級欄顯示3位評審者給出“優(yōu)”，6位評審者給出“良”，1位評審者給出“中”，0位評審者給出“及格”和“差”，其評價(jià)向量是R11={0.3，0.6，0.1，0，0}，得到二級模糊評價(jià)矩陣Ri。

表2 ?評委對授課綜合評價(jià)結(jié)果

比如教師甲的教學(xué)準(zhǔn)備的二級模糊評價(jià)矩陣：

其二級指標(biāo)的綜合模糊評價(jià)集：

B1（甲）=A1·R1（甲）

=（0.4100 ?0.4300 ?0.1867 ?0 ?0）。

依此類推，得到教學(xué)效果B5（甲），授課內(nèi)容B3（甲），基本素養(yǎng)B2（甲），方法手段B4（甲）。

在二級評價(jià)的模糊評價(jià)集基礎(chǔ)上可以計(jì)算出一級模糊綜合評價(jià)矩陣。

教師甲的一級綜合模糊評價(jià)集計(jì)算公式為：

B（甲）=A·R（甲）

=（0.3905 ?0.4729 ?0.1190 ?0.0144 ?0）

將評價(jià)集V={優(yōu)，良，中，及，差}賦值為V={95，80，

70，60，50}，則計(jì)算出教師甲的綜合評價(jià)結(jié)果：

M（甲）=B（甲）·VT

=（0.3905 ?0.4729 ?0.1190 ?0.0144 ?0）·[95 ?80 ?70 ?60 ?50]T=84.1

教師乙類似，綜合評價(jià)結(jié)果為82。

三、教學(xué)質(zhì)量綜合評價(jià)的信度分析

若用17個(gè)評價(jià)維度對8個(gè)教師（p）進(jìn)行教學(xué)評價(jià)，評分者側(cè)面專家（r），這時(shí)需要完成的是17個(gè)維度的單側(cè)面完全交叉設(shè)計(jì)（p×r）。

首先由式（1）至 式（3）計(jì)算出教師和專家均值：

式中：Xpr是10位評審者給8名教師從17個(gè)教學(xué)方面進(jìn)行打分的結(jié)果。

由式（4）至式（6）得到各種方差分量的估計(jì)值，其結(jié)果見表3和表4。

教員：σ2（p）=[MS（p）-MS（pr）]/nr ? ? ? ? ? （4）

專家：σ2（r）=[MS（r）-MS（pr）]/np ? ? ? ? ? ?（5）

交互效應(yīng)：σ2（pr）=MS（pr） ? ? ? ? ? ? ? ? ? ? ?（6）

式中：

MS（p）=SS（p）/（np-1）

MS（r）=SS（r）/（nr-1）

概化系數(shù)是Cronbach（1951）為概化理論構(gòu)建的一個(gè)信度系數(shù)，用G表示，按如下公式計(jì)算：

式中：σ2（δ）=σ2（pr）/n|r為相對誤差方差。

布倫南和凱恩（Kane）（1972）同樣構(gòu)建了一個(gè)與信度類似的可靠性系數(shù)，用φ表示，計(jì)算公式如下：

表3、表4給出了計(jì)算后的可靠性系數(shù)和概化系數(shù)。式中σ2（△）=σ2（r）/n|r+σ2（pr）/n|r：是絕對誤差方差。

合并17個(gè)指標(biāo)的分值，即可得出合成的分?jǐn)?shù)。

表3 ?協(xié)方差、方差估計(jì)值及信度系數(shù)指標(biāo)（n|r=nr=10，np=8）

表4 ?協(xié)方差、方差估計(jì)值及信度系數(shù)指標(biāo)（n|r=nr=10，np=8）

四、結(jié)論

本文評價(jià)指標(biāo)體系及其權(quán)重已在評價(jià)實(shí)踐工作中運(yùn)行多年，數(shù)據(jù)是在近三年評價(jià)實(shí)踐結(jié)果數(shù)據(jù)中，隨機(jī)抽取的。分析具體數(shù)據(jù)有以下結(jié)論。

第一，指標(biāo)u11、 u32、u42 的方差較大，說明它們對授課質(zhì)量高低的判別比較明顯。評選結(jié)果既注重創(chuàng)新，也符合高校對于教學(xué)質(zhì)量評選的具體標(biāo)準(zhǔn)。

第二，表4所示是總分各項(xiàng)指標(biāo)在評審體系規(guī)定的兩極指標(biāo)上的權(quán)重系數(shù)值。改變指數(shù)權(quán)重，相應(yīng)的合成可靠性指數(shù)結(jié)果會(huì)隨之改變。本文的可靠性指數(shù)值高達(dá)0.96，證明設(shè)計(jì)的評價(jià)方案權(quán)重分配恰當(dāng)。

第三，可以組成專家、領(lǐng)導(dǎo)、同行、學(xué)生、教師自評五個(gè)評價(jià)小組，則某教師的最終評價(jià)得分為他們的加權(quán)和，對他們的權(quán)重按照獲得最大的合成可靠性系數(shù)求取。

第四，要減低評分誤差、提高評分信度，可以增加評教專家人數(shù)。系數(shù)G和φ會(huì)隨著評教專家人數(shù)的增加而變大。當(dāng)增加1—3個(gè)專家數(shù)時(shí)，G和φ的增大較為明顯。其具體的關(guān)系可參見圖2。當(dāng)增加數(shù)超過3后再繼續(xù)增加評教專家人數(shù)，G和φ的增長趨勢趨于平緩。因此，在實(shí)際評教工作中，每門課的評教專家人數(shù)在3到5之間是最為合適的。當(dāng)專家人數(shù)確定不變后，可以通過明確具體的評分細(xì)則，使評教群體相對固定等方法進(jìn)一步提高評教信度。

圖2 ?系數(shù)G、φ與專家人數(shù)的關(guān)系圖（專家數(shù)多于3時(shí)）

參考文獻(xiàn)：

[1]陳小麗，馬建輝.基于AHP方法的教師教學(xué)質(zhì)量評價(jià)與

系統(tǒng)實(shí)現(xiàn)[J].黑龍江教育：高教研究與評估，2012，（11）.

[2]蔡錦錦.基于BP神經(jīng)網(wǎng)絡(luò)的高校課堂教學(xué)質(zhì)量評價(jià)系

統(tǒng)的研究與實(shí)現(xiàn)[D].杭州：浙江工業(yè)大學(xué)，2009.

[3]陳美華.基于Fuzzy綜合評判法的實(shí)驗(yàn)教學(xué)質(zhì)量評價(jià)方

法[J].實(shí)驗(yàn)室科學(xué)，2011，（6）.

[4]顧海根.應(yīng)用心理測量學(xué)[M].北京：北京大學(xué)出版社，

2010：247-261.

[5]蔡紅梅，許曉東.高校課堂教學(xué)質(zhì)量評價(jià)指標(biāo)體系的構(gòu)建[J].高等工程教育研究，2014，（3）.

[6]杜淼.兩類層次分析法的轉(zhuǎn)換及在應(yīng)用中的比較[J].計(jì)算機(jī)工程與應(yīng)用，2012，（9）.