高職學生評教影響因素的分層線性分析

蔡經漢

(黎明職業大學教務處，福建泉州 362000)

隨著高校教育評估工作開展的日益深入和數字化校園的日益普遍，網絡評教手段使得學生評教(Student Evaluation of Teaching，簡稱 SET)成為一項低成本高效率的教學管理手段。高校學生評教活動開展得越來越普遍。學生評教的目的主要是作為形成性評估向教師反饋學生意見以改進教學質量和作為總結性評估為職稱評定、晉升、各類評選或績效考核等提供相應的定量數據。作為評教體系的主要組成部分，學生評教結果的準確度關系重大。

但是，作為一種主觀測量的結果，評教分數必定存在一定的誤差。在評教分數的誤差來源中，來自課程以及學生個人的非系統性誤差嚴重影響了評教的合理性及公平性。學生、教師、課程特征等因素都會影響到學生所作的評價，但這些因素卻與所謂能夠促進學習的良好教學的評判標準無關。如果學校管理層將學生評教數據作為績效考核或人事決定的依據，那么評教中存在的誤差就必須加以注意并設法消除其影響。

一、文獻綜述與研究目標

(一)文獻綜述

SET真正要測量的是教師在課堂內的表現，不應該受到外部因素的影響，因而絕大多數的研究都試圖回答教學以外的學生、教師、課程等因素是否產生SET偏差。在其中，有兩個因素受到了學界的特別重視:一為性別因素，一為成績因素。

1.性別因素

性別差異問題在教育領域中歷來都受到特別重視，這也包括了性別作為評教影響因素。學生的性別、教師的性別以及兩者的交互關系，可能極大地影響學生對教師的評價，因而在國外研究中受到相當大的關注。這些研究中，有些僅涉及學生或教師單方面的性別因素，如部分研究發現，女性學生平均給分較高，而女性教師獲得的評價也一般優于男性教師［1］;而大多則同時考慮學生和教師兩者性別的互動關系，如部分研究發現，在學生與教師的所有四種性別組合中，女性學生給男性教師所打的評價分數是最低的［2］。一些研究提出了所謂的“性別認同假說”，認為學生與教師性別相同時，會傾向于給出更高的評價分數［3］。但另一些研究則認為性別認同假說僅是部分成立，發現女性學生在給女性教師打分時要高于男性學生所打分數，但卻未能發現男性學生對于男性教師給出比女性教師更高的評價［4］。綜合這些研究成果，可以認為性別因素確實影響到教師的評教表現，但性別組合的影響作用還需要更多的經驗證據和進一步的分析。

2.學生成績因素

學生成績對于學生評教分數也可能產生相當大的影響。在這方面，國外實證研究較多，得到的結論也較為一致，即學習成績與評教分數之間存在著較為顯著的正相關關系［5－8］。但是，學生成績如何影響其評教打分?在這一問題的成因上意見卻不統一。一種的觀點認為，學生成績與評教分數的正相關現象是學生評教合理性的證明。如果評教分數確實反映了教學質量，那么更高的評教分數就意味著更高的教學質量，而接受更高質量教學的學生理應在考試中有更好的表現。但另一種的觀點則認為，評教分數與成績之間的正相關關系僅僅是一種偽相關。第三方因素同時驅動了學生的評教分數與學習成績。例如動機，學習動機強烈的學生更專注聽講，對教師的表現也有更高的評價，同時，他們在考試中也有更好的表現。而僅從實證研究中的評教分數與成績之間的相關度來看，不同研究估算出來的結果雖然較為一致地支持正相關，但估算結果在數量值上仍存在較大的波動幅度。因此，本文對這一因素的考察將有助于在這個問題上提供更多的經驗證據。

在國內外研究中還考慮了其他一些影響學生評教分數的因素，如教師年齡［8－9］、教師學位［9］、上課班級規模［10］、上課時間［11］、高低年級差異、文理學科差異以及專業課和公共課的差異［12］，以及學生是否第一次接觸評教［13］等。關于這些因素的研究結論也存在一定的差異，有必要加以考慮。

(二)研究目標

通過對以上文獻的回顧，本文將研究以下幾種變量對學生評教分數所產生的影響:

(1)是否存在性別差異，性別交互效應如何?特別地，性別認同假說是否成立?

(2)是否存在成績與評教分數的正相關關系，影響力度如何?這一影響力是否會由于班級群組效應的存在而發生波動?

(3)其他各種個體水平或班級水平因素對于評教分數的影響如何?

二、方法與數據

(一)分層線性模型在評教影響因素問題中的適用性

一些實證研究只是簡單地比較不同課程評教分數的均值差異的統計顯著性［12］，而一些也僅使用了普通的方差分析方法［14］。這些簡單的統計方法無法區分多個因素可能產生的混合作用。對此，一些研究轉而采用多元回歸分析方法。多元回歸分析相對于方差分析來說是一種改進，但仍存在不足。普通多元回歸分析僅使用單一層面數據，或者僅使用個體層面的數據，或者僅使用班級層面的匯總數據。但是在實際上，由于學生上課必然是在一個班級的結構下，因此就產生了多水平的分層數據，必須考慮班級的固定效應與任課教師的特征。從這個角度來看，如果僅將學生個體的數據作為分析的單元的話，普通回歸分析所依賴的獨立性假設則不能成立，此時回歸系數的標準誤通常會被低估，從而使檢驗的p值過低，錯誤地接受原本并不存在的“真實”效應。而如果使用班級層面匯總數據，則會出現聚合偏誤，采用班級水平均值而非學生水平的個體數據進行分析可能會掩蓋住由同一班級內學生個體差異而導致的評教分數差異［15］。而分層線性模型最大的優點就是使研究者可以調查組水平特征或情境變量對個體作用的效果。因此，在解決這個問題時，有必要使用同時利用學生層面數據與班級層面數據的兩水平分層線性回歸模型加以研究。

具有隨機截距與隨機斜率項的兩水平分層線性回歸模型可以用以下公式表述:

其中，M個解釋變量xmij具有隨機斜率，而N個解釋變量znij具有固定斜率。模型的隨機效應體現在隨機截距u0j與隨機斜率umj上，其中u0j～N(0)以及 umj～N(0)，?m=1，…，M 是服從正態分布的組水平隨機變量。eij～N(0，)為個體水平誤差項。

(二)變量選擇和數據說明

在文獻回顧的基礎，本文將研究以下幾種變量對學生評教分數所產生的影響，這些變量包括:學生個體層次因素，如學生性別、學生成績以及學生是否具有評教經驗;由上課班級構成的群組層次因素，如包括教師性別、教師年齡和是否具有碩士以上學位等的教師因素以及包括課程類型、上課班級規模和上課時間在內的課程因素。在樣本上，本文選取黎明職業大學2011—2012學年第一學期的學生評教數據，共33688個數據。之所以選取這一學期的數據，是由于在這一學期2011級的學生是第一次參加學生評教，因此他們并不具備評教經驗，從而能夠與已具有評教經驗的高年級學生形成對比。

表1 研究中所用變量

三、模型設置、估計結果與討論

(一)群組效應檢驗

本文采用兩水平分層線性回歸模型，水平1為學生，水平2即為班級，學生被嵌套于班級之中。在進行分層線性模型估計之前，應首先對群組效應進行檢驗和確認。為此，需要先估計一個“空模型”，即不納入任何水平解釋變量，僅考慮群組效應的最簡單的分層線性模型。只有在空模型檢測到數據存在顯著的組內相關性時，才有必要繼續構造更詳細的分層模型加以進一步研究。適用于本研究的空模型方程如下:

表2 “空模型”參數估計與檢驗結果

(二)模型設置

通過模型預估計，發現在隨機效應部分，三個可能存在隨機斜率的水平1變量中，僅“學生成績”這一因素顯著，而學生性別與是否有評教經驗這兩個因素都不顯著。因此，在接下來的模型中僅設置在“學生成績”這一變量上具有隨機斜率。

模型1:只考慮教師與學生各自的性別，沒有考慮其交互項

模型2:不僅考慮教師與學生各自性別，還考慮其交互項

模型3:使用“是否相同性別”變量

(三)估計結果和討論

如表3，不管是從對數似然值還是從Wald χ2值來看，模型2都是三個模型中的最優模型。此外在師生性別交互效應的解釋力上模型2也是三個模型中最優的，因此，本文隨后的分析都將基于模型2的結果。

表3 各模型參數估計結果

1.師生性別交互效應

在模型1中，僅學生性別對于評教分數有顯著影響，男性學生打分顯著高于女性學生。而教師性別的影響則無顯著差異。而在模型3中，是否相同性別這一因素也造成顯著影響。相同性別的情況下比不同性別的情況平均打分要高出0.255分。但通過對模型2的結果分析，可以看出，模型1與模型3的結果都蘊含在模型2中。無論從統計意義上還是從解釋力上來說，模型2顯然優于另外兩個模型。

由表4，首先，男學生打分水平顯著高于女性學生，這一點包含了模型1。其次可看出，女學生給女教師打分高于男教師，而男學生給男教師打分高于女教師。這一結果包含了模型3。雖然包含了模型1和3，但模型2的結果顯然更加豐富。從模型2估計結果中我們還可觀察到:模型1未能區分開教師性別的影響，而模型2可以。模型3雖然確認相同性別組合評教得分較高，但只是估計了男－男和女－女兩種情況的平均效果。模型2則使我們知道同性打分高于異性的現象主要應歸因于男性學生給男性教師以較高的分數。

2.學生成績

本研究證實，平均來說學生成績與評教分數之間確實存在正相關關系。在排除由班級群組效應而產生的隨機斜率的影響之后，可以看到兩者之間的偏相關系數為正的0.0205，并且在統計意義上顯著。但這種正相關關系受到班級群組效應的影響，其95%置信區間位于0.0205±1.96×0.0176之間，即－0.014至0.055之間。大多數班級存在學生成績與評教分數之間的正相關關系，但有部分班級為負相關關系。

表4 學生與教師性別交互效應

3.學生評教經驗

學生具有評教經驗者打分較低，并且從數值上看較大。這提醒我們，部分開設兩個或以上的學期課程，如果出現評教分數下降的情況，不能簡單地歸因于教師教學質量的下降，而可能是源于學生總體的一種傾向。

4.教師年齡、職稱和學歷

在年齡的影響方面的結論是，教師的年齡越大，評教分數越低。在模型選擇過程中，曾試圖加入年齡平方項，但該項系數不顯著。其他條件相同的情況下，如老師性別職稱學歷等相同的情況下，可以理解為越年輕的教師越有活力，與學生之間的溝通更多更有效，越受學生的歡迎。相反，隨著年齡的上升，教齡越長越容易出現職業倦怠問題。而在職稱方面，教師的職稱等級越高，評教分數越高。這一點與預想相符。其他條件相同的情況下，研究生學歷或學位者反而獲得更低的評教分數。這與通常的預想相反，但與 Cochran等(2003)的結論相類似［9］。借鑒Cochran的分析，我們推測是由于目前高職院校教師的研究生學位大都是在職期間獲得的，其在職學習行為在一定程度上影響了其教學上的精力和時間投入。

5.課程類型和課程安排

從估計結果來看，在其他條件相同的情況下，必修課或公共課的評教得分都較高。從數量上看，公共必修課與專業限選課相比，平均得分要高出0.617分。在上課班級規模方面的結論則是人數越多，評教分數越低。以平均一個班級50人計，合班上課與分班上課的平均得分可相差0.6分。這一結論也與通常的看法相符，即大班上課師生互動不足，教學效果差，應盡量安排小班上課。

關于課程時間安排方面的結論則是下午上課的課程得分較低。這一結論與表2中相應分組均值檢驗結論相反，說明在控制了其他因素情況下下午上課的真正效果是比較差的。這也說明簡單的進行分組統計不能區分不同因素的影響。例如，安排在下午上課的公共課較多，老師年紀可能偏輕，這些因素混合后，使得下午的課程與其他時間對比起來似乎學生的滿意度會更高，但真實情況卻正好相反。

四、結論與展望

(一)研究結論

通過應用能夠控制班級群組效應的分層線性模型來研究學生網上評教結果的影響因素，研究發現，教師與學生性別交互效應造成偏誤，學生成績與其評教分數之間存在正相關關系。此外還發現，在其他條件相同的情況下，年齡低、職稱高、沒有獲得研究生以上學歷的教師獲得的評教分數較高;而沒有評教經驗的學生對于評教分數則較為慷慨;必修課或公共課的得分較高;課程安排于上午或晚上上課的教授獲得的評教得分較高;上課班級人數較少的教師獲得的評教分數也較高。

(二)研究的不足與展望

網上評教手段的應用在帶來極大便利的同時，也帶來了學生敷衍對付的問題，這必然對研究的可信度造成一定的影響。因此，在進一步的研究中有必要對數據進行甄別，剔除可信度不高的數據，再對新的數據樣本進行分析。此外，本文的研究僅限于一些較為客觀的因素。教師職業倦怠、學生的學習動機、自我效能等等主觀心理因素對于評教的影響也是值得研究的。

［1］Tatro C N.Gender Effects on Student Evaluations of Faculty［J］.Journal of Research and Development in Education，1995，28(3):169 －73.

［2］Rowden G V，Carlson R E.Gender Issues and Students’Perceptions of Instructors’Immediacy and Evaluation of Teaching and Course［J］.Psychological Report，1996，78:835－839.

［3］Lueck T L，Endres K L，Caplan R E.The Interaction effects of Gender on Teaching Evaluations［J］.Journalism Educator，1993，48(3):46 －54.

［4］Bachen C M，McLoughlin M M，Garcia S S.Assessing the Role of Gender in College Students’Evaluations of Faculty［J］.Communication Education，1999，448(3):193－210.

［5］Greenwald A G，Gilmore G M.Grading Leniency Is A Removable Contaminant of Student Ratings［J］.American Psychologist，1997，52(11):1209 －1217.

［6］Langbein L.The Validity of Student Evaluations of Teaching［J］.Political Science and Politics，1994，27(3):545－553.

［7］Krautmann A C，Sander W.Grades and Student Evaluations of Teachers［J］.Economics of Education Review，1999，18:59 －63.

［8］McPherson M A.Determinants of How Students Evaluate Teachers［J］.Journal of Economic Education，2006，37:3－20.

［9］Cochran H H，Jr.，Hodgin G L，Zietz J.Student Evaluations of Teaching:Does Pedagogy Matter?［J］.Journal for Economic Educators，2003，4(1):6 －18.

［10］Liaw S H，Goh K L.Evidence and Control of Biases in Student Evaluations of Teaching［J］.The International Journal of Educational Management，2003，17(1):37－43.

［11］Badri M A，Abdulla M，Kamali M A，et al.Identifying Potential Biasing Variables in Student Evaluation of Teaching in a Newly Accredited Business Program in the UAE［J］.International Journal of Educational Management，2006，20(1):43 －59.

［12］閆志明，張光旭，張立新.影響高校學生網上評教的因素研究［J］.中國電化教育，2007(3):45－47.

［13］沈毅俊，孫林，劉慧敏.高校學生評教客觀性的影響因素研究［J］.中國高等教育評估，2008(2):54－57.

［14］韓明，陳啟山，王鵬輝.教師與課程特征對高校學生評教分數的影響［J］.華南師范大學學報:社會科學版，2010(4):44－48.

［15］Griffin B W.Grading Leniency，Grade Discrepancy，and Student Ratings of Instruction［J］.Contemporary Educational Psychology，2004，29:410－425.