教師課程教學質量評價排序問題的實證研究

未培++康震群

摘 要：本文通過實例分析，以測評對象在排序中的位置為依據，討論教學質量學生測評結果排序選優在評價主體細致分類下的均衡性及不同學期下的時間穩定性。在學生測評為基礎、評價主體多元的條件下，通過定義次序關系和排序變換，提出判斷某一評價主體對排序影響程度的一種算法。從排序選優的角度，為評估和改進課程教學質量評價方案提供了依據。

關鍵詞：教學質量 綜合評價 排序

中圖分類號：G718.5 文獻標識碼：A 文章編號：1672-3791（2014）01（a）-0155-04

教師課程教學質量評價（以后簡稱質量評價或評價）反映教師教學的質量和水平，監督管理是其功能之一，監督著教師的教學勞動，也在一定程度上為績效考核、人事決策提供依據。實現管理功能要求對評價對象能夠依據綜合評價結果排序。隨著勞動人事制度改革的深入進行，教學質量評價結果的排序問題受到關注。根據實例，兩元評價主體（全體學生或同行）已經依據某種綜合評價方法，對所有評價對象（任課教師）的教學質量做出評價，評價結果以測評分，即價值函數值的方式體現。根據評分可以區分優劣。全體對象按測評分降序排列稱為該測評下的“排序”，任一對象的測評結果名次，即該對象的在排序中的位置。依據排序，將全體教師按課程教學質量分為A、B、C、D共4組，名次在前25%的屬于A（優秀），25%～50%屬于B，50%～75%屬于C，75%以后屬于D組。在以后的討論中，全院承擔課程教學任務教師（測評對象）全體的集合為樣本全集，為學期，=1，2，3，4，5，6分別對應2012-13-2，2012-13-1，2011-12-2，2011-12-1，2010-11-2，2010-11-1學期。

教師姓名，即樣本集中的元素用序號替代。

1 學生測評排序分析

對測評對象依據系部或教師學科背景的分類，實際是對作為評價主體的學生的細致分類。在一個相當長的時期中，學生是實例中唯一的評價主體，在主體多元的情況下，學生也是其中最重要的評價主體。因此，學生測評排序選優在主體細致分類下的均衡性和不同學期下的時間穩定性，在一定程度上反映了教學質量評價的效度和信度。

1.1 排序的相對位置函數

為某系承擔教學任務教師全體的集合；是的一個子集，的容量記為。

由于中的樣本數不是常數，為了能夠對不同學期的排序進行比較，定義“相對位置函數”：

（1）

式中，為樣本i在樣本全集中的測評結果排序名次；為的容量。容易理解有如下性質：（1）對于任意，有；（2）設，則必有；（3）對于任意i1，i2，有

（2）

當時，有

（3）

由（3）可以得到Tj中各元素的位置函數值（表1）。表中序號與教師姓名對應，無函數值表示該教師在該學期沒有承擔教學任務。

1.2 學生測評排序的均衡性

由位置函數的性質可知，函數值即樣本i在中的排序位置。則分組A、B、C、D對應的位置函數值分別為：0.000～ 0.250、0.250～0.500、0.500～0.750、0.750～ 1.00。因此，從表1可以看出中測評結果為A（）的樣本數NAj，并計算出在中的比例（表2）。

從表2中可以看出，學期1和學期3屬于A組的比例接近25%外，其余4個學期均大于25%，且相差較大。這說明依據學生測評結果，屬于A組的比例在全院各系的分布是不均勻的。

依據教師的學科背景，系教師共有3類，記為集合TA、TB、TC：

TA={1，7，8，9，10，13，14，15，17，18，19，22，25，28，32，33，34，35，36，38，44，48，49，34，55，56，57，58}；

TB={2，3，6，12，16，20，21，24，26，27，30，31，37，40，42，43，45，47，50，51，52，53}；

TC={4，5，11，23，29，39，41，47，59}。

根據集合TA、TB、TC及表1、表2可得屬于A組（位置函數值<0.25）的比例按教師學科背景的分布（表3）。

從表3可以看出在細致分類的條件下，屬于A組的比例差異進一步擴大。

1.3 學生測評的穩定性

表2、表3中的數據各個學期有明顯的差異。為分析學生測評結果的時間穩定性，從表3中去除僅有2個數據的樣本后，對每一樣本計算位置函數值的最大差距，得到表4。

依據表4統計后得到，在54個樣本中偏差值小于組距0.25的有9個樣本，比例為16.7%；偏差值放寬到小于0.50時，樣本數為37，比例為68.7%。這個結果表明，學生測評下位置函數的時間序列值，只有不到20%可以認為是比較穩定的（最大差距不超過組距）；超過30%很不穩定（最大差距超過2倍組距）。

2 同行評價對排序的影響

實例中的“同行評價”是以系（部）為區分的評價主體，對屬于本系部的評價對象進行測評，依據某種綜合評價方法得到評分，然后按加權平均（學生評價權重w同行評價權重1-w）計算綜合評分。

2.1 次序關系

現設i、j為某學期某樣本集中任意兩個評價對象，學生評分、同行評分分別記為、和、，對象i、j的綜合評分為：，令 ，的符號可以定義對象i、j之間的一個“次序關系”（簡稱關系）：（1）當時，稱i優于j；（2）當時，稱i劣于j；（3）當時，稱i等同于j。

稱為綜合評分下的次序關系或最終次序關系，全體關系的集合記為Z。同樣可以定義學生、同行測評下的次序關系和關系集X、Y。顯然，關系集與排序之間是一一對應的，因此我們可以用同一字母表示對應的關系集和排序。顯然，N個對象之間關系總共有個。endprint

表5是某系2012-13-2學期兩個評價對象：i=5、j=24的評價情況。

表6給出了某系2012-13-2學期部分評價對象的次序關系。其中對象17的綜合評分排名比該對象的學生、同行測評結果兩者都要低，且學生評價都不劣于表中其它對象，但最終次序關系卻劣于表中任何其它對象。

觀察表5，對于對象5，綜合評分名次、學生測評名次均為1，這意味對象5和其它對象i（i=1，2，3，4，6，…，N）之間的綜合評分次序關系，完全取決于學生測評下的關系，同行測評結果對此沒有影響。

由表6，觀察對象17與對象i（i=13，15，22，35，41，46，52）的關系，在學生測評下，對象17“優于”或“等同于”對象i；但在綜合評分排序中，這7個次序關系全部成為“劣于”，這當然是同行評價產生了“作用”，我們稱為同行測評“有效”影響了這些對象間的次序關系。

表5、表6的數據全部來自T1，即以某系2012-13-2學期測評數據為依據，同行是以系部為區分的非單一主體，2012-13-2學期8個教學系部同行測評分的幾個統計數據見表7。

根據表7，不同評價主體之間評分差距很大，如D7的最低分相當于D1的最高分，顯然，分屬不同系部的對象之間不能直接進行比較。

D7的中位數與最高分僅有0.02的差距，最低分與最高分也只是0.2分的差距，而對D7中對象，學生測評分最大差距是 1.44。可以判斷D7同行測評結果對最終排序沒有什么影響。

D1的最低分與最高分差距較大，超過學生測評分的差距（最高分9.50，最低分 7.67），但這并不意味著其同行測評有效影響一定很大，對某一次序關系同行測評與學生測評判斷相反時，同行測評才有可能“有效”。

2.2 排序變換與同行評價對排序的影響

為能夠定量計算加入同行測評后排序的變化程度，引入“逆序數”的概念：

設對N個數碼1，2，3，…，N的一個排序： （4）

如果有較大數排在較小數之前，而這種大小顛倒安置的情形一共出現了k次，則說排序（4）有k個逆序，或稱（4）的逆序數為k。

從上述定義可知若（4）是升序排序，其逆序數為最小值0；若（4）是降序排序，則逆序數達到最大值： （5）

現設排序 （6）

的逆序數為k，交換、的位置后得到 （7）

容易理解，若，則排序（9）的逆序數為k+1；反之，排序（9）的逆序數為k-1。

排序中任意相鄰兩個對象交換位置（簡稱為換置），相當于改變它們的次序關系，由排序（6）中優于，變換成排序（7）的劣于，由于排序中其它對象的位置未變，排序（6）逆序數是排序（7）逆序數加1或減1。

對于一般情況，設一樣本集中N個對象已按學生測評分排序，不失一般性，假定學生測評分都是各不相同的，因此，不妨以名次作為對象的標識符（即對象的學生測評名次為）。顯然這個排序是：

（8）

其逆序數為0。X稱之為“基準排序”，若以表示對象，下標表示該對象在排序中的位置，則對于任意有。

對每一對象依據學生測評分、同行測評分以及綜合測評方法計算出綜合評分，依據綜合評分降序排序得到一個綜合評價下的名次排序：

（9）

可以通過對排序X施以一系列換置變換得到排序Z：（1）令i=1；X1=X；（2）在Xi中找到，若轉（4）；（3）對施以次換置，使到達位置i；（4）令，為變換后的排列；（5）若，結束變換，，否則轉（2）。

上述過程中的每一個換置都是對象位置前移1位，從而使得逆序數加1，同時也意味著同行評價對該關系有效，由此即證明了排序Z的逆序數等于同行測評的有效次數M，因此可用比值度量加入同行測評后對排序的改變程度。

用上述方法對D7同行測評結果對排序的改變程度進行分析，可以得到排序：

Z 7={1，2，5，6，3，4，7，8，9，11，11，13，14，15，16，17，18，19，20}

該排序的逆序數M=4，改變度 。表明由于D7的同行評價結果取值過于集中，因此對排序的改變很小。

同樣，可以計算出D1同行測評對排序的改變度為0.18，遠大于D7。

說明：（1）實際計算評價主體的貢獻時，不需要對排序逐步變換。只要依次完成3個步驟：按學生測評排序、用名次作為對象的標識符、按綜合結果重新排序即可得到綜合排序Z。（2）設學生測評有k（k2）個對象的測評分相同，名次并列為i，但其中部分對象綜合測評分不再相等，即同行測評將部分等同關系有效地改成非等同關系，因此按綜合測評分降序排列后，應將這k個對象的標識符由i依次改為i+k-1，…，i，（綜合測評分相同的對象仍用相同的符號以保持逆序數不變）。（3）上述方法可以推廣到評價主體為N（N3）元的情況：任意i（i1）個主體對排序的改變度，等于以其它N-i元主體的綜合評價結果為基準排序的條件下，最終排序的逆序數與的比值。

3 結語

學生測評結果排序的特點是：優秀類比例按系（部）和按教師學科背景的分布都是不均勻的；對于絕大多數對象，位置函數值時間序列分布相當分散。學生實際上是以班級為區分的非單一評價主體。高職院校學生來源多樣，不同專業、不同年級的班級與班級之間也存在價值上的偏好差異，通過聚類分析的方法，對學生班級適當分類，并建立相適應的指標體系，可能減少主體的差異性對測評結果的影響，但分類的結果可能大大降低結果的可比性。同行是按系部區分的非單一主體，大多數系部評分值分布過于集中，以致對排序影響有限。不同系部之間的評價平均值相差很大，完全無法比較。比較性差，排序的意義就不大。從排序選優考慮，應盡可能對全體教師進行同樣的檢查和評定，為此，評價指標的設置及描述，應選擇可以觀察到的教學事實作為評價內容，不應對教師的具體教學行為進行必然性的描述。課程教學質量評價，無論如何設計，都有很強的主觀性和模糊性，評價結果受到評價主體的價值觀念、認知水平、掌握的信息量等因素的影響。正確認識評價排序的作用及其局限性，才能從排序中得出正確合理的結論。

參考文獻

[1] 秦壽康.綜合評價原理與應用[M].北京：電子工業出版社，2003：35-40.

[2] 黃秋明.高職課程質量保證體系研究[M].上海：上海交通大學出版社，2010：73-79.

[3] 朱德全，宋乃慶.教育統計與測評技術[M].重慶：西南師范大學出版社，2007：102-107.

[4] 張芳，蘇永福.教師課堂教學質量的多元統計分析[J].數學的實踐與認識，2007（17）：15-18.endprint