基于改進AHP的教學質量評估方法

王 燕，于美菊，賈 如

（內蒙古大學 計算機學院，內蒙古 呼和浩特 010021）

0 引 言

教學質量評價已成為目前教育測量科學的一個基本項目。學生作為教育的受眾和受益者，從他們的角度獲得對教學質量的評價，能夠幫助教學管理部門了解任課教師的授課情況、學生對所學課程的意見以及任課教師的教學效果等直觀信息。設計合理有效的教學評估系統，既有助于任課教師了解學生需求和自身不足，改善教學方法和革新教學內容，也有助于教學管理部門宏觀掌控課程設置和教師授課的總體情況，達到優化配置教學資源和提升教育質量的目標。但是，目前為止尚未有一個完全統一的標準衡量某學科的教學水平。一方面，學生在教學評價時往往帶有較多主觀色彩，教學評估勢必引入許多主觀因素，而這些主觀因素難以量化；另一方面，教學評估與其他因素關聯性較高，難以一概而論，譬如課程在各個環節的契合程度、不同學生的學習能力及態度等。目前高校的教學模式普遍采用學分制，導致其教學評價不能像中小學教育一樣依賴長期持續的教學過程獲得比較客觀公正的有效評價。因此，設置合理的教學評價指標并設計有效的教學評價方法對于建立高校公正公平的教學評價體系具有重要意義。

1 相關背景與工作

目前已有文獻從評價內容、評價主體、評價過程管理、評價模型等多個角度討論了教學評價體系的關鍵問題及解決思路。

文獻[1]認為評價內容是實施教學評價的關鍵環節，評價內容的設置應該體現系統性、向生性、針對性和可測性。文獻[2]專門研究課堂語言對教學效果的影響，將語言作為課堂教學的重要載體,以弗蘭德斯互動分析系統為基礎，構建一個課堂教學語言量化綜合分析框架。文獻[3]針對教學評價實質缺失以及教學評價權受限的狀況（在這種狀況下學生只被“當做”主體來評價，而不是“作為”主體來評價），提出了一種從自主性、主動性及創造性出發，讓學生成為教學評價主體的實踐路徑，并嘗試從實踐主體的職責、課程內容的增進及評價制度的完善等方面來達成這一轉變。文獻[4]從教學評價的管理角度，提出采取獎懲性與發展性評價有機融合的評價模式、約束與激勵并行、加強評價過程監控、注重過程管理與服務等多種途徑構建科學合理的教師教學評價制度。

評價模型的研究工作目前最常用的方法是通過層次分析法建立教學質量評價體系，并分層綜合評價各個體系的指標，將多個定性的評估指標轉化為定量評價[5-6]。該類評估方法的關鍵是確定評估指標中各子目標的權重。

2 評價方法的實施過程

教學質量評價實質上是一個綜合評估問題，涉及多種評價目標，如教師教學水平、學生學習效果等。每個評價目標又包含多個評價項目，如評價教學水平涉及的因素，包括教師教授知識是否條理清晰、是否精確把握內容的重點和難點等。此外，不同的評價主體對各種評價指標重要性的看法也不盡相同。

AHP方法是一種定性與定量相結合的多目標決策分析方法，適用于解決涉及多準則、多要素以及多層次的復雜決策問題。將AHP方法應用于教學質量評價有助于克服教學評價的主觀性，使原本定性的教學評價更加明朗和精細，能有效解決教學評估中難以定量描述的問題，提高教學評估方法的可操作性和科學性。這里以內蒙古大學為例說明基于改進AHP的教學質量評估方法的具體實施過程。

2.1 評價指標的設置

內蒙古大學的在線教學質量評價系統由選項和主觀評價構成，學生從教師的職業道德、教學能力、教學方法、教學安排、教學效果5個方面共20個選項為教師打分，最后通過評價算法計算出教師的綜合得分。具體的評價選項見表1。

2.2 教學質量評估的層次結構模型

在實際調查中發現，學生對教學質量評價的考慮因素習慣從教師的職業道德、教學水平和教學效果3個方面考量。對于教學水平中的教學能力、教學方法和教學安排這3個方面設置的目標往往不能清晰地區分。鑒于此，這里將評價子目標合并為3條準則，根據教學評估系統的實際情況，確定一個4層教學質量評估指標體系的實例，見圖1。 在圖1中，目標層為教學質量綜合評估成績，準則層包括職業道德、教學水平和教學效果3個方面，方案層包含各個評價準則的具體子項，最底層為評價學生，每個學生均會對評價選項進行打分。

表1 教學質量評價系統的評價選項

圖1 教學質量評估體系的層次結構模型

2.3 教學質量評估算法

2.3.1 評估算法中的基本定義

定義1 評價指標集：依據教學質量評估指標體系的準則層將評價選項分組，用矩陣B=[B1,B2,B3]表示，其中Bi={bi1,bi2, …,bim}，這里的bij表示第i組中的第j個選項，m為第i組中的評價指標數目。

定義2 評價集：代表評價選項的評分集，表示為U=[U1,U2, …,Um]，Ui就是對某一選項的評價選擇。以現在的評估系統為例，U∈[1,5]。

定義3 準則權重分配集：代表定義1中對應準則的評價權重，表示為A=（A1,A2,A3），且滿足條件0＜Ai≤1，3。

定義4 指標權重分配集：代表定義1中各評價選項bij對準則Bi的影響，表示為W=（Wi1….Wim）（i=1,2,3）。

定義5 指標合成權重分配集：代表定義1中各評價選項bij對綜合評價的影響，表示為SW=（SWi1….SWim）（i=1,2,3）。

2.3.2 評估算法的具體實現

1）確定評價指標權重關系。

評估算法要求分析每個評價項目的重要性，然后得出它們的權重，這樣才能在最終的結果中反映出不同要素重要程度的區別，從而更加客觀地反映教師的教學質量。根據圖1中教學質量評估體系的層次結構模型，評估算法中使用兩級指標權重，即準則級權重和指標級權重。

首先比較評價準則，這里設定B1代表職業道德，B2代表教學水平，B3代表教學效果。由于教學是教師最主要的工作，所以筆者認為教學水平是最重要的評價準則，然后再比較職業道德和教學效果。由于學生對教師的印象評分較為主觀，差異較大，難以準確反映教師的實際情況，所以將其權重設為最低。對于每項準則中具體的每個選項，筆者又通過收集專家（學院教授委員會）、教師和學生三部分的意見形成了它們的基本權重排序。評價準則中各子項之間的相對重要程度通過判斷矩陣確定。本文采用1—9標度法對不同要素兩兩比較，構造教學評價系統中的判斷矩陣。根據上述步驟，經過分析和計算，教師教學質量評估準則的判斷矩陣見表2。接下來，筆者還需對各個準則中的子項分別構造判斷矩陣，由于篇幅所限，這里僅給出教學效果的判斷矩陣，見表3。

表2 教學質量評估A判斷矩陣表

表3 教學效果B3中子項的判斷矩陣表

為防止各要素的相對重要程度出現矛盾，保證計算出的最大特征根能真實地代表各子項的相對重要程度，使用平均隨機一致性指標檢驗上述判斷矩陣的一致性。計算公式如下：

檢驗一致性時，主要通過一致性比率CR來判斷，當CR的值大于0.1時，說明上述矩陣反映的權重關系沒有沖突，即具有一致性，反之，則說明該矩陣的一致性不可接受，需要重新調整和糾正各子項的相對重要性關系。

2）計算綜合權重。

上述步驟計算出的二級選項權重從屬于各一級選項。為了獲得各選項對于整體的權重，還要進行權重的合成。這里仍以教學效果準則為例，給出其對應子項的合成權重分配表，見表4。

3）篩選有效問卷。

鑒于部分學生對教學質量評估重視程度不足，應付了事，以至于亂填亂評，他們的評估結果無法采信，則需要一定的篩選過程，在一定程度上保證問卷的可用性。

這里通過設置相似選項方法確定學生評分的一致性。該方法的主要依據為：如果某個學生的評分較為一致，則認為他大概率是認真填寫的；若相似選項的評分差別很大，則認為他是胡亂填寫的。從問卷中選出幾個選項，對每個選項分別設置一個參照選項，它有如下特點：①不參與評分的生成，僅作為判斷問卷有效性的參照；②與其對照選項意思相近，但表述不同；③選取的選項和其對照選項有一定因果關系或相關性。例如，選取的選項為教師的講課是認真準備過的，參照選項可設置為教師的備課工作比較充分、講課脈絡清晰。

這些參照選項在最后的綜合評價中并不占權重，但可以作為判斷學生評價問卷有效性的一個標準。這里設置一個完全由參照選項評分構成的對照集C={C1,C2,C3,C4,C5}，比較各對應選項在評價集中的絕對差值，設置評價差集V={V1,V2,V3,V4,V5}。使用Mean函數計算其均值m，若m≤2,則認為此份問卷是有效的，反之則無效。

4）確定綜合評價。

經過篩選后的學生評價問卷分別計算每個學生對某教師的綜合評價得分，具體分為3個步驟：

（1）計算每個準則的綜合評價結果，計算公式為

其中，Psi=（Psi1,Psi2,…Psim）為第s個學生對第i個準則的評價向量，ZPsi為第s個學生對第i個準則的綜合評價。

（2）計算基于所有準則的綜合評價結果，計算公式為

其中，ZPs為第s個學生對教師的綜合評價。

（3）計算所有參評學生對教師的綜合評價，這里要事先剔除無效的學生評價，計算公式為

其中，n為有效的學生評價問卷數，則此時ZP為授課學生對教師的最終評價。

3 評估方法的應用實例

以學校計算機學院某班學生的教評為例，采集該班53名學生對任課的3名教師的各項指標評價，評價問卷表中共設置有效評估項目20項（參見表1），參照評價項目5項，在職業道德、教學能力、教學方法、教學安排、教學效果5個方面各設置1項，確保無效問卷篩選的全面性。

表5給出其中兩個學生對第1位教師的各項評價指標的具體評分。表6給出了表5中學生評價問卷經過相似選項篩選后的結果。從表6可以看出，學生1對教師3的評價可信度低，將該生對教師3的評分問卷剔除掉。經過對全部53名學生的總體篩選，最終剔除3名教師的16份無效問卷，其余數據經過合成權重的計算，得出的綜合評價成績及排名如表7。

表4 教學效果評價指標權重分配表

表5 2名學生提供的對教師1的評價問卷得分（后5項為參照評價項）

表6 相似選項篩選過程的m值

4 結 語

通過一種改進的AHP評價法對教師的教學進行評估，能在學生層面較為客觀地反映不同學生對教師的教學質量的認可程度，主要的貢獻體現在：①教學評估作為高校一項重要的工作并未得到相當一部分學生的重視，這種方法通過設置問卷篩選機制，在一定程度上減少亂填亂選對教評結果的不利影響；②構建了教評體系的層級結構模型，結合學校實際，對教評指標進行分類分層，通過多方調查確定評價指標的絕對和相對權重，能相對客觀地反映各選項之間的重要程度的區別，進而相對客觀地得出教師最終的綜合得分。

表7 教師綜合評價

[1]蔡敏. 美國著名大學教學評價的內容特征[J]. 外國教育研究, 2006(6): 25-28.

[2]武小鵬, 張怡, 彭乃霞. 基于FIAS與PPE理論的課堂教學評價研究[J]. 電化教育研究, 2016(11): 93-99.

[3]彭亮. 學生成為教學評價主體的探究[J]. 湖南師范大學教育科學學報, 2015(6): 41-45.

[4]羅玉萍, 劉麗娜, 潘慶先.基于過程管理的高校內部教師教學評價探索[J]. 高校教育管理, 2015, 9(6): 99-104.

[5]邱文教, 趙光, 雷威. 基于層次分析法的高校探究式課堂教學評價指標體系構建[J]. 高等工程教育研究, 2016(6):138-143.

[6]史健婷, 侯九陽, 關鳳巖. 基于AHP—FUZZY的教學評價系統的設計與應用[J]. 計算機技術與發展, 2013(5): 188-191.