教學質量多目標評價方法的研究及應用

曾燕， 陳高云

(成都信息工程學院軟件工程學院， 成都610225)

教學質量多目標評價方法的研究及應用

曾燕， 陳高云

(成都信息工程學院軟件工程學院， 成都610225)

針對課程教學全過程的特點對課程教學質量進行科學評價是教學改革的重要任務。提出基于懲罰因子的層次分析法建立課程教學質量多目標評價模型，采用學生評教數據、教師評學數據和課堂考勤提問等授課過程中的大量客觀數據，利用層次分析法將教學質量量化，并采用懲罰因子對評價結果進行修正，對課程的教學質量進行綜合評估，從而為課程教學的改革提供決策支持。將評價模型運用于課程教學過程化管理平臺，對三個學院的37名教師和2100名學生的課程教學質量進行了評估實驗，結果表明，基于懲罰因子的層次分析法的課程教學質量多目標評價方法能夠客觀、科學地反映教師的課程教學質量。

層次分析法；懲罰因子；多目標評價；教學質量

引言

隨著信息化社會的發展，新時代更加需要兼具創新精神和實踐能力的新型人才，教學質量的創新和提高是高等教育發展和社會各界時刻關注的問題之一[1]。要培養出優秀的實用型人才，課程教學是關鍵。課堂教學質量評價是教育質量體系的核心環節之一，國內外研究人員進行了廣泛而深入的研究，提出了基于權值計算的問卷式主觀評價模型[2]、全程性課程教學質量評價模型、多元化課程教學質量評價模型等多種課程教學質量評價模型。教學質量具有多維性的評價指標[3]，如Marsh和Dunkin提出：教學技能、師生關系、結構、組織和作業量五個評價維度[4]，以及Kolitch提出的課程組織、行為管理、學生成績評價和師生關系四個評價維度[5]。

傳統課程教學質量評價以學生評教為主，評教工作局限于以表格的形式統一評教，這樣的評教方式在各大高校已運用多年，評價指標和評價方式的可信度較高。但該方法單一、片面，且師生間缺乏互動性，不能全方位地對教師教學、學生學習態度進行量化、客觀的評價，并且難以對課程教學進行過程化管理和監控，教學改進存在滯后性。因此，提出基于懲罰因子的層次分析法的課程教學質量多目標評價方法，以提高課程教學質量評價的互動性和全面性，從而提高課程教學質量評價的科學性和可信度。

國內和國外研究學者對評價指標的權值算法進行研究，提出了很多有效的計算方法，如熵值法[6]、層次分析法(Analytical Hierarchy Process)、灰色關聯分析法(Grey Relational Analysis)[7]和績效二維結構法[8]等。其中層次分析法是課程教學質量評價模型中最常用的權值計算方法[9]。層次分析法是美國運籌學家匹茨堡大學教授薩蒂(Saaty T L.)提出，該方法對復雜的決策問題的本質、影響因素及其內在關系等進行深入分析的基礎上，利用較少的定量信息使決策的思維過程數學化，從而為多目標、多準則或無結構特性的復雜決策問題提供簡便的決策方法，也是針對難于完全定量的復雜系統做出決策的模型和方法[10-13]。

本文針對傳統課程教學質量評價中存在的問題，利用層次分析法的決策優點，提出基于懲罰因子的層次分析法的課程教學質量多目標評價方法。該方法以層次分析法為基礎，全面分析課程教學質量影響因素，并利用懲罰因子對課程教學質量不一致的評價結果進行合理標注并修建，以降低其對評價目標的噪音干擾，確保課程教學質量評價的有效性，提高課程教學質量評價的可信度。此外，依據課程教學質量評價結果的數據維度可視性、固有的概念模式、明確的匹配方式和反饋機制等結構特征，設計了基于懲罰因子層次分析法的課程教學評價方法，并結合該評價方法實現了課程教學過程化管理平臺。該方法在教學全過程能夠正確反映教師的教學質量情況，并能夠對教學全過程進行全方位的考核，實現課程教學質量評價的有效性和客觀全面性，進一步說明該方法在高等教育的課程教學質量評價過程中具有很高的推廣價值。

1 基于懲罰因子的層次分析法

為全面分析課程教學質量的影響因素，實現教師的課程教學質量量化評估，在層次分析法的基礎上引入懲罰因子，將課程質量評價的客觀和主觀因素用層次分析法進行獨立分析，將判斷思維進行數字量化，并用懲罰因子對結果進行平滑過渡調整操作，使某些噪音干擾收斂至平衡狀態，以達到課程教學質量評價的客觀性和合理性。

1.1術語解釋

(1) 判斷矩陣

假設有n2個因素，Χ為Xij組成的n階判斷矩陣，其中Xij為第i個元素對第j個元素的相對重要性。Χ記為：

(2) 一致性檢驗

一致性是指判斷思維的邏輯一致性，如元素a、b、c，a比b重要，b比c重要時，則a一定比c重要，否則判斷不合理，因此用矩陣理論對判斷矩陣進行一致性檢驗。判斷條件為：當CI=0時，該矩陣通過一致性檢驗，當CR≠0時，若判斷條件滿足：

(1)

表1 平均隨機一致性指標

(3) 懲罰因子

圖1 調整方向示意圖

(2)

1.2層次分析法

層次分析法能夠全面分析課程教學質量的影響因素，按照各因素之間的關聯關系進行層次分類，通過專家意見列出因素的相對重要性，并對各因素進行運算和比較，得出不同方案的權值，從而為選擇最佳的決策提供依據。層次結構模型以頂層為目標層，中間層依次為支撐目標的準則和子準則，底層為準則的方案層。層次分析法分為以下6步：

(1)首先確定研究的問題。

(2)把問題條理化、層次化，分析其因素的關聯，并建立層次結構圖。

(3)根據專家判定因素的重要性構造判斷矩陣[12]，判斷矩陣的判斷標度含義見表2。

表2 判斷矩陣標度含義

(4)計算判斷矩陣的最大特征值λmax和幾何平均值，求出各因素權值。

(5)根據最大特征值λmax和一致性檢驗標準進行一致性檢驗。

(6)將通過一致性檢驗的因素權值與其量值進行計算，即得到課程教學質量評價結果。具體流程如圖2所示。

圖2 層次分析法流程圖

1.3基于懲罰因子的層次分析法

層次分析法是以專家意見為依據，對課程教學質量

的評價指標進行分類，然后分別利用層次分析法對分類結果進行建模訓練和結果計算，得到各子目標的結果。

正常情況下，課程教學質量的評價可信度根據評價指標分值的一致性來判斷，一致性越好，可信度越高。當評價指標分值不一致的時候，需要在評價指標平均值的基礎上為評價指標的偏離程度設置一個懲罰因子，對偏離情形采用平滑過渡調整操作，使偏離收斂至一個平衡狀態。則課程教學質量的計算公式為：

(3)

2 評價模型層次結構的建立

教學平臺是高校教育的一種重要方式[15]，課程教學過程化管理平臺是一個記錄課程教學全過程的教學輔助平臺，結合該教學平臺的功能以及課程教學過程的特點，課程教學質量從學生評教、教師評學以及課程教學客觀授課數據三方面進行評價，并根據該教學平臺的數據對該方法進行驗證。因此，利用層次分析法的分層思想，將課程教學質量設置為目標層，學生評教、教師評學以及客觀授課為子目標層。

2.1評價指標

根據教學專家意見和課程教學過程化管理平臺的功能支持，列出課程教學質量的影響因素，確定學生評教、教師評學以及課程教學客觀授課為課程教學質量評價的三個子目標，包括10個維度和22個指標，見表3。

其中評教有效率為有效評教次數與評教總次數的比值，評教同意率為評教同意人數與評教參與總人數的比值。評教未申訴率為有效評教中教師未發起申訴的評教次數與有效評教次數的比值。評教申訴無效率表示無效申訴次數與評教申訴次數的比值。評教有效率、評教同意率、評教未申訴率和評教申訴無效率反應學生的評教態度和評教可信度，為學生評教的方案層評價指標。

表3 課程教學質量評價指標

評學有效率為有效評學次數與評學總次數的比值，評學未申訴率為有效評學中未申訴次數與有效評學次數的比值，評學申訴無效率表示無效申訴次數與評學申訴總次數的比值。評學有效率、評學未申訴率、評學申訴無效率反映了教師評學態度以及評學的客觀性和有效性。為教師評學的方案層評價指標。

以課件上傳量、下載量、組卷量和作業完成率等指標作為評估教師授課情況和學生學習情況的依據，能夠較為客觀的反應教師授課態度、授課內容以及學生的學習態度和對知識的掌握程度。因此，將課件上傳量、下載量、組卷量和作業完成率等作為客觀授課的方案層評價指標。

2.2層次結構的建立

根據對評價指標的分析，建立課程教學質量評價層次結構。整個層次結構分為四層，即目標層、子目標層、準則層和方案層。子目標層包括學生評教、教師評學、客觀授課三個子目標；準則層涉及評教頻度、評教分值、評學頻度和課件資源質量等10個維度；方案層涵蓋評教次數、評教分值、評學分值和資源上傳量等22個評價指標。具體層次結構如圖3所示。

圖3 課程教學質量評價層次結構圖

2.3指標權值的計算

以學生評教為例，計算準則層和方案層的權值。根據教學專家對準則層評價指標進行分析，判定各評價指標的相對重要性，并根據表4構成B0—B3的四階判斷矩陣。

表4B0—B3的四階判斷矩陣

根據判斷矩陣計算B0—B3權值，即：

(4)

其中，χi為判斷矩陣第i行的幾何平均值[16]，即：

(5)

計算結果見表5。

表5 判斷矩陣權值計算結果

使用相同計算方法對方案層評價指標進行計算，計算結果分別見表6、表7和表8。

表6C01—C02判斷矩陣及相對權值

表7C21—C22判斷判斷矩陣及相對權值

表8C31—C32判斷矩陣及相對權值

計算后，對數據進行一致性驗證。經驗證，結果均符合一致性要求。

由于方案層數據類型不一致，如評教分值為0-100分，評教次數0-20(評教次數與教學周次有關)，因此需要對不同數量級的數據進行數據標準化處理。利用線性變換法[17-18]對方案層數據進行標準化處理，目標A1的計算為：

(6)

其中，

(7)

其中，A1、Bi和Cij分別為子目標層、準則層和方案層的評價指標，Wi和Wj分別為Bi和Cij的權值。

3 實驗與分析

3.1實驗結果

將基于懲罰因子的層次分析法應用于課程教學過程化平臺，利用課程教學過程化管理平臺的學生評教數據、教師評學數據和客觀授課數據，以軟件工程專業的4名教師、2門課程和10個教學班級為例，實驗結果如圖4所示。

圖4 兩名教師兩門課程教學質量結果

圖4(a)為軟件工程學院課程1，教師1對1-3班和教師2對4-6班的課程教學質量評價結果。圖4(b)為軟件工程學院課程2，教師3對1-2班和教師4對3-4班的課程教學質量評價結果。由圖4可知，教師1和教師4的課程教學質量評價結果在80-90之間，教師2的課程教學質量評價結果在85-90之間，教師3的課程教學質量評價結果在75-85之間。結果表明，同一教師對不同教學班級進行課程教學，課程教學質量評價結果趨于一致，其差值較小。

對軟件工程學院三名教師的三門課程進行課程教學質量評價。結果見表9。

表9 三名教師三門課程評價結果

三名教師的各課程教學質量結果對比如圖5所示。

圖5 三名教師多門課程評價結果圖

由圖5可知，對于教師1，課程3分值較高，課程1次之，課程2分值最低；教師2課程3分值較高，課程1和2分值較低；教師3課程2分值較高，課程1和3分值均較低。結果表明，同一教師對多門課程進行授課，其中只有1-2門課程的課程教學質量評價結果分值較高，其他課程教學質量評價結果相對較低，符合教師一般擅長對1-2門課程進行授課的現實情況。

3.2實驗分析

由實驗結果對比可知，以學生評教、教師評學和客觀授課三方數據進行課程教學質量評價，從驗證結果可以看出，教師對同一課程的不同教學班級進行授課，其課程教學質量評定結果趨于一致，其差值較小。對不同教學班級的三方數據、懲罰因子的大小和懲罰方向進行分析，判斷不同教學班級存在的問題。如教師對班級1的授課，教師評學為異常數據，三方數據平均分為85.0，懲罰因子-0.039，表明該教學班級的整體評學成績較低，教師應增加評學頻度，以增加評學的可信度，另一方面，應注意改善班級的學習氛圍，以提高課程教學的整體質量。

針對同一教師對不同課程進行授課的情況，其課程教學質量評價分值越高，表明教師對該門課程越擅長。如圖5所示，教師A和教師B均擅長課程3的授課，比較教師A和教師B對課程3的懲罰因子和課程教學質量評價分值，教師A和教師B的懲罰因子均為-0.031，而教師A的課程教學質量評價分值高于教師B，因此，選擇教師A對課程3進行授課，教師C擅長對課程2進行授課。

4 結束語

本文面向課程教學質量評價的客觀性、全面性需求，提出基于懲罰因子的層次分析法的課程教學質量多目標評價方法。該方法能夠客觀反映教師和學生之間課程教學的授課與學習情況的質量，并能快速判斷教學中存在的問題，在全面性和客觀性上具有突出優勢，此外層次分析法計算方便，可操作性強?；趹土P因子的層次分析法的課程教學質量多目標評價方法在提高教學互動性和對課程教學質量進行智能評價的同時，為教師和學生提供教學綜合評價，為教學管理人員提供教學輔助決策支持，在高校課程教學質量評價中具有廣闊的應用前景。

[1] Anthony S,Frank W.The postmodern university-contest visions of higher education in society[M].New York:Open University Press,1997.

[2] 田 靜,生云龍,楊長青,等.國內高校教師評價體系的變遷歷程與階段特征[J].清華大學教育研究,2006,27(2):58-61.

[3] Herbert W M,Michael B.Multidimensional students’ evaluation of teaching effectiveness:a profile analysis[J].The Journal of Higher Education,1993,64(1):1-18.

[4] Herbert W,Marsh D M.Students’ evaluation of university teaching:a multidimensional perspective[J].handbook of research and practice,1992,8:173-234.

[5] Kolitch E,Dean a v.Student Ratings of Instruction in the USA: hidden assumption and missing conceptions about good’s teaching[J].Studies in Higher Education,1999,24(1):27-42.

[6] 史琪立,張俊凇,付 敏,等.基于層次分析法和熵值法的學生評教模型[J].科技信息,2013(13):128-128.

[7] 蔣慧峰.基于灰色關聯分析法的學生評教模型[J].湖北工業大學學報,2011,26(3):106-109.

[8] 胡仲勛.基于績效二維結構模型的高校教師績效考核指標體系構建[J].鄭州師范教育,2012(3):23-27.

[9] Liu Jing.Research on classroom teaching quality evaluation of Chinese as a foreign language based on AHP model[J].Applied Mechanics and Materials,2013(411-414):2957-2960.

[10] Saaty T L.A scaling method for priorities in hierarchical structures[J].Journal of mathematical psychology,1977,15(3):46-51.

[11] 張 明,張蘭平,羅 元.基于模糊數學方法的高職教師績效評價模型[J].硅谷,2009(22):49-50.

[12] 許成鵬.基于層次分析和模糊數學方法的高校教師績效評價[J].黑龍江高等教育,2007(3):82-84.

[13] Saaty T L.How to make a decision: the analytical hierarchy process[J].European Journal of Operational Research,1990(48):9-26.

[14] 徐 俊,劉 娜.層次分析法的基本思想與實際應用[J].情報探索,2008,12:113-115.

[15] Meng Qian.Research on the construction of teaching resources platform in universities[J].Lecture Notes in Electrical Engineering,2014(269):1149-1154.

[16] 鄧 雪,李家銘,曾浩建,等.層次分析法權值計算方法分析及其應用研究[J].數學的實踐與認識,2012,42(7):97-100.

[17] 李 光,吳祈宗.基于結論一致的綜合評價數據標準化研究[J].數學的實踐與認識,2011,41(3):72-77.

[18] 俞立平,潘云濤,武夷山.學術期刊綜合評價數據標準化方法研究[J].圖書情報工作,2009,53(12):146-149.

Studies and Applications of Multi-objective Evaluation Method of Teaching Quality

ZENGYan,CHENGaoyun

(School of Software Engineering, Chengdu University of Information Technology, Chengdu 610225, China)

Aiming at the characteristics of the whole process of courses teaching, making a scientific evaluation of courses teaching quality is significant for teaching reform. The proposed work is to construct a Multi-objective Evaluation Model (MEM) of courses teaching quality based on the Analytic Hierarchy Process(AHP) with the penalty factor. With large amounts of objective data from the practical teaching process which including the students’ evaluation result of teaching, teachers’ assessment data, students’ attendance and questions in the class, the quality of the courses is quantized by using the AHP, the evaluation result is amended by using penalty factor and the teaching quality of courses is evaluated comprehensively, thus a decision support is provided for teaching reform. The experiment gathers the data from three colleges, covering thirty-seven teachers and twenty-one hundred students, and utilizes the MEM to the Teaching Process Management Platform to make the quality evaluation of the courses teaching. The result shows that the MEM based on AHP with the heuristic penalty factor can reflect the teaching quality of teachers objectively and scientifically.

AHP; penalty factor; Multi-objective Evaluation; teaching quality

2014-09-10

四川省教育廳基金項目(11ZA269)

曾 燕(1989-)，女，四川內江人，碩士生，主要從事數據挖掘方面的研究，(E-mail)703861403@qq.com 陳高云(1963-)，女，安徽霍邱人，教授，主要從事數據集成與可視化方面的研究，(E-mail)cgy@cuit.edu.cn

1673-1549(2014)06-0086-06

10.11863/j.suse.2014.06.22

TP315

A