基于層次分析法的《企業經營沙盤推演》課程評價模型構建

崔文琦

摘 要：課堂教學是高校教學活動中的一項重要組成部分，其教學效果與學生受到教育的質量密切相關。因此，對高校課堂教學質量進行準確的定位評價非常關鍵。當前高校中對課堂教學效果的評價，一般是通過主觀的定性描述來完成的。沒有規范的評價標準可以參照執行，對于量化評價結果不能達到客觀評定。本文通過將在安全科學和環境科學兩個領域應用廣泛的層次分析法與教學綜合評價相結合，通過定量計算的方式確定評價指標的權重，同時優化整個評價過程，因而使得評價結果具有更強的說服力和參考價值。

關鍵詞：教學質量評價;層次分析法;沙盤推演;定量分析

一、引言

本科教育是高校教育中的一個極為關鍵的組成部分。堅持“以本為本”，將本科教育視為高校教育中的重點工作，同時以立德樹人為根本，將有助于本科教育的提升。在本科教育中，課堂教學的質量直接影響學生接受教育的質量。高質量的課堂教學對推動一流本科的建設和發展產生積極的影響。因此，為了提升教師課堂教學的質量，各大高校均對教師課堂教學效果的評價作為整個教學質量評價體系中的一項重要組成部分。通常情況下，教學質量評價是通過專業的教學評價技術，結合一定的專業理論對教學全程進行綜合性分析，剖析教學成果各項指標，從而評定其是否達到特定價值程度[1]。這項質量評價作為教學活動中不可或缺的一個組成部分在科學的教育理念指導下，以特定的教學目標為依據實施全面準確的判斷。課堂教學是一種特定場景中教師與學生之間的思維互動過程[1]。現有研究表明：在教學評價的過程中，建立科學合理的評價指標機制，直接決定教學評價結果是否真實有效[2]。

完善的評價指標機制的形成，對教學評價結果的客觀公正起到關鍵的主導作用。其包括兩項主要內容：一是確定能夠全面反映教學質量的評價指標，二是準確運用評價指標的權重性，也就是通常所說的教學質量受各項指標的影響力。一般情況下，專家打分法以其操作便捷、高效成為最為常用的指標權重評定方法。但專家在打分過程中僅依靠自身經驗，主觀性較強，因而無法對教學效果進行準確評價。在這種情況下，需要找到一種能夠定量描述不同評價指標權重的方法，以便使得評價結果具有更強的說服力和參考價值。

論文擬利用層次分析法建立教學質量評價模型，并以本科階段開設的《企業經營沙盤推演》課程為例，通過定量計算獲取評價指標的權重，從而得到更加科學的評價結果。

二、文獻綜述

文獻綜述部分將從教學質量評價方法以及層次分析法在相關領域內的應用兩個方面展開。

（一）教學質量評價方法

目前針對教學質量的評價方法包括聚類分析、大數據分析、等級評分等。

專業學者王艷娥[3]等人對課堂教學質量評價進行了深入探索，根據有關“教學態度”是否積極向上和“教學方法”是否靈活高效的綜合表現，結合“教學內容”是否豐富以及“課堂氛圍”是否活躍等四個評價指標，對高校教師的課堂教學進行評分。在此基礎上利用經過優化的K-means聚類算法，在SPSS分析軟件的支持下分析了高校教師課堂教學質量評價的數據集，挖掘出了不同評價指標之間的隱含關系，以及不同的聚類分析過程中所使用的評價指標的差異，進而得出了對課堂教學質量具有關鍵因素的評價指標。研究結果表明：高校教師在教學態度方面具有高度相似性，而在教學內容與教學方法兩個方面的差異較為顯著，因而在教學效果上產生了較大差異。并根據這一結果對高校教師的課堂教學工作提出了科學合理的建議。

董彥佼[4]等人結合新冠肺炎疫情下“停課不停教，停課不停學”的實際情況，針對各高校中MOOC課程存在的選課率高而完成率低的問題，以利用文本大數據分析方法提取的學生對課程的評價作為參考，提出了基于文檔大數據分析的MOOC課程教學質量評價方法，并基于已有研究成果構建了MOOC課程的評價指標體系，在此基礎上確定了各項評價指標的權重。

王傳云[5]以產出為導向，設計了涵蓋教學過程中“設計—實施—效果”全流程的教學評價指標體系及評價內容，將“教學實施過程”“教學內容有效性”以及“教學成果”三個因素作為對教學效果的影響因素構建了教學效果的評價指標體系，每個因素下均有更加具體的評價指標及評價內容。并以此為基礎提出了一種基于評分等級自適應的課程質量評價方法。該方法利用三角模糊數實現了對課程教學效果評價結果的判定，同時在學生評價的基礎上利用同行教師及教學督導的評議來優化學生的評價結果，從而在一定程度上緩解了評價集中“好評”和“差評”的問題，確保對課程質量評價結果真實、準確。

曹彩峰[6]在分析了高校英語教學質量評價重要性的基礎上利用多元智能理論、構建主義等相關理論及方法，從不同角度建立了大學英語學科的教學質量評價體系，不但包括評價對象和評價主體的基本能力，還涵蓋了綜合評價指標和評價內容是否全面等基礎要素，甚至對評價方式也作了具體的界定，以學生和同行以及嚴格督導等作為評價主體要素，從教師素質、課堂教學以及學生學習效果三個方面對大學英語教師的教學質量展開綜合性客觀評價，并獲得公正、科學、合理的評價結果。在此基礎上針對評價過程中存在的不足之處提出了改進的建議，促使學校在進一步完善教學管理制度的同時有效提升教師的教學能力。

王永為[7]等人在OBE（注重學生的學習效果）教學理念的支持下提出了以學生為中心的課堂教學評價方法，其評價內容及指標設計由傳統評價方法中強調教師教學行為的狀況轉變為從學生的視角出發，學生在學習過程中的真實體驗和成果成為關注的重點，使之心理層面產生絕對的認可，使得評價結果更加客觀真實。與此同時，評價表格中開放性問題的設置能夠使學生跳出單一、固定化的選項型評價的思維模式，對教師的課堂教學質量做出更加多元化的直觀評價。

綜上所述，目前已有部分學者在高校課堂教學質量評價體系建設方面進行了有益的探索，在一定程度上改進并彌補了當前高校課堂教學質量評價中存在的不足。然而，上述研究所用的方法大多屬于定性描述，較少涉及對評價指標的定量計算與分析。

（二）層次分析法

美國SaatyT. L.早在20世紀70年代中期就提出了層次分析法，這是一種較為客觀的定性分析與科學的定量相結合的計算方法，利用巧妙的融合，具有顯著的系統化、層次化特點[2]，該方法是在網絡系統理論的基礎上，與各種目標進行綜合比對，有效地把其中相對復雜的問題因素，合理劃分層次，使彼此之間相互關聯，相互作用，形成具有多目標和多準則的客觀分析方法[8]。此法適用于為環境科學與安全學科領域，特別是在煤礦安全研究領域和城市災害預警綜合能力測評方面應用廣泛，對于交通安全和環境保護措施的指標研究也起到一定的客觀評價作用，除此之外，在野生動物保護區污染源和水質指標的綜合評定領域也被廣泛利用[9]。

層次分析法以其獨特的思維方式，完成準確的判斷過程，與人的運行思路有異曲同工之妙[10]，就是面對復雜的問題時，可以根據其表現出來的支配關系轉化為一個包含若干層次的結構框架，每一層次均由相互關聯的不同因素組成。在對目標問題進行分析時，利用成對比較的方法對各層級中不同因素之間的重要性進行量化排序，并就不同因素對目標問題的影響力權重進行賦值，然后進行整體的權重計算與排序，最終據此得出目標問題的解決方案。

目前，層次分析法在課堂教學質量評價研究中的應用尚不廣泛。裴少婧[10]等人構建了高校教學質量評價的指標體系，將影響教學質量的因素歸納為“教學準備”“教學思想”“教學執行”以及“教學效果與特色”四個方面，每個因素下均有若干個更加細化的二級指標。在現有基礎上，建立客觀的評價模型并確定評價指標的權重，從而避免了評價專家的主觀隨意性。周姍穎[11]從教學質量評價的來源入手，從基礎的“教研室評價”和“系部評價”入手，合理借鑒“學生評價”與綜合性的“督導評價”等四個維度，對評價指標進行合理劃分，且成功設置二級指標。利用層次分析法對指標權重加以確定，確保客觀、真實，并以安徽審計職業學院為例進行了應用，并取得了較為理想的效果。蔣秀林[12]等人研究了一種能夠在新工科背景下對物聯網工程專業學生的實習效果進行定量分析和評價的模型。該模型首先利用層次分析法建立了學生實習效果的層次化評價體系，以實習成績為評價目標設置了“實習階段成績”“實習評閱成績”以及“實習總結成績”三個影響因素，每個因素下包含兩到三個具體評價指標。并利用灰色關聯分析法，準確計算關聯系數，在評價指標定量基礎上，客觀地評價實習教學的效果。

根據上述種種情況，概括來說，利用層次分析法對課堂教學質量進行綜合性評價的應用范圍還有較大的局限，存在進一步擴大的空間。

三、基于層次分析法的教學評價分析

（一）基于層次分析法的《企業經營沙盤推演》課程評價指標體系

評價指標體系的建立必須嚴格遵循下面幾項原則，才能發揮其科學合理的作用效果[1]：一是整體相關性原則，也就是說每項評價指標必須緊密結合課堂教學的實際情況，客觀真實;二是全面性原則，在建立課堂教學評價機制過程中，必須嚴格根據教學態度和教學準備是否完備，以及教學內容和方法的表達以及課中與課后的完美答疑等流程是否形成良性循環，確保不脫節，環環相扣，形成較為嚴密綜合評價;三是客觀準確性原則，通過評價指標與目標的呼應，客觀真實地把觀測到的內容表示出來;四是簡單可操作性原則，利用簡便方式實現評價服務，因此一套科學的評價體系應具備較強的可操作性。

根據以上原則，結合實驗課程及《企業經營沙盤推演》課程的特點，我們利用層次分析法構建了《企業經營沙盤推演》課程的評價指標體系。

論文將《企業經營沙盤推演》課程評價體系用三個層次進行敘述，把評價指標體系服務的對象定為目標層A，即《企業經營沙盤推演》課程教學評價;準則層B為該課程評價的四個維度，即教學態度（B1）、實驗內容（B2）、實驗指導（B3）以及實驗教學管理（B4）;指標層C包括該課程評價過程中使用的各項評價指標。具體評價指標如下：

1. 教學態度

C1—C3是用于評價教師教學態度的指標，主要包括教師授課時的態度、精神狀態以及課程準備情況。教師嚴謹認真的教學態度、飽滿的精神狀態以及充足的課前準備是良好課堂教學的重要保障。

2. 實驗內容

《企業經營沙盤推演》課程主要通過在軟件平臺中開設虛擬企業，并模擬現實中企業經營過程的方式讓學生學習企業經營方面的知識。其目的在于使學生在市場分析、戰略制定、資金籌集、營銷策劃和生產組織以及財務核算等相關活動中，對企業運作流程形成一個完整的體驗，對企業資源現有的特性形成一種深入的理解，把握ERP的管理內涵，深刻領悟其科學客觀的發展管理規律，為今后工作全面開展奠定較為扎實的基礎。

基于上述目的，在該課程的實驗內容部分設計了以下幾項評價指標：

C4：實驗目的及要求明確，且能夠貼合課程教學的目的。該課程實驗的內容應為教學目的服務，即讓學生在課程學習的過程中積累未來實際工作所需的經驗。因此對學生的要求應有助于使其了解企業經營的具體流程，并積極參與經營活動。

C5：實驗內容完整，步驟明確。為了更好地服務于課程教學的目的，使學生能夠更加透徹地理解企業經營活動中的規律，該課程的實驗內容應能夠覆蓋現實中企業經營的全過程，同時為了使實驗過程具備可操作性，實驗內容應具有明確的操作步驟。

C6：實驗內容之間銜接有序，邏輯性強。《企業經營沙盤推演》課程按年度開展經營活動，每年的業務應按照企業經營邏輯依次進行，各項業務之間應相互銜接，具備較強的邏輯性。

3. 實驗指導

對于實驗課程而言，教師對學生實驗過程中的指導是必不可少的，教師指導的質量將直接決定學生對相關專業知識的掌握程度。因此在這一部分設計了以下評價指標：

C7：實驗進度控制合理，能夠用滿規定課時。教師在授課過程中應合理把握實驗進度，按照課程規定的課時進行授課。

C8：對學生經營結果的點評準確，具有指導意義。《企業經營沙盤推演》課程在學生每一年度的經營活動完成后需由教師對其進行點評。這一點評應力求準確無誤，并能夠從點評中指導學生后續的經營活動。

C9：對實驗報告要求明確，可操作性強。《企業經營沙盤推演》課程結束后，學生需以小組為單位提交實驗報告。在實驗報告撰寫方面教師應提出具體的、可操作性強的要求，以確保學生按照明確統一的要求對所學知識及感悟進行歸納總結，并順利完成實驗報告。

4. 課堂管理

課堂教學過程中教師對課堂的管理是非常重要和必要的一個環節，有效的課堂管理能夠維持教學過程中的秩序和氛圍。因此在課堂管理方面設計了以下評價指標：

C10：實驗課堂管理有序，氛圍良好。《企業經營沙盤推演》課程在學生實驗過程中不同小組之間需要進行必要的協商交流。由于各小組之間屬于競爭關系，因此教師應注意維持實驗過程中的課堂秩序，確保課程實驗的順利進行。

C11：嚴格要求學生，對犯錯誤者及時批評指正。教師授課及學生經營過程中應嚴格要求其按照經營規則開展經營活動，如出現違反經營規則，進行不正當競爭的學生則應提出嚴肅批評，幫助其改正錯誤。

（二）構造成對比較矩陣

成對比較矩陣是層次分析法中重要的數據來源和依據，以展現出該層內每一個因素對于上一層內某個因素的重要程度。第一步是架構出準則層的兩兩比較矩陣（A），即比較準則層中教學態度、實驗內容、實驗指導以及實驗教學管理四個因素對目標層（即《企業經營沙盤推演》課程教學評價）的影響及重要性。成對比較矩陣A中的元素aij展現出準則層內一對元素Bi和Bj（其中i、j均大于等于1小于等于4）對目標層的重要性。它們的大小是人為規定的，可由專家打分或由決策分析者給出。為了便于說明，本文中采用人工賦值的方式獲取相關數據。賦值的標準采用Saaty所提出的1—9的比較標度，如表1所示。

（三）單層評價指標權重計算及一致性檢驗

在成對比較矩陣內，考慮到所有元素的值都是人為給出的，未必完全滿足一致性條件，為了避免評價體系中的指標偏離實際情況，保證最終分析結果的準確性，必須對以上矩陣的最大特征值與特征向量進行定量分析，并由此完成一致性檢驗。該過程中用到的指標包括一致性指標、隨機一致性指標以及一致性比例。

對于一個n階矩陣，考慮到最大特征值即λ連續依賴于元素aij，所以只要最大特征值遠大于n，那么就能反映出矩陣的不一致性相對明顯，借助最大特征值相應的特征向量進行比較，則上一層內某因素作用于程度的權重向量導致的偏離越嚴重，此時可以利用λ-n來衡量矩陣的不一致程度。

進行實際應用時，可以允許矩陣有不一致性，但不能讓矩陣的不一致程度不受約束。這就需要劃出一個合理的范圍，層次分析法借助下面的式子定量分析不一致程度。

以上CI代表矩陣的一致性參數;λ代表最大特征值;n代表矩陣的階數。

考慮到需要定量分析CI，因此該方法采用隨機一致性參數即RI，對它進行運算的過程為：

隨機建立五百個成對比較矩陣，那么就出現了五百個一致性參數，RI就是這些參數的平均水平。用算式表達如下：

根據這一思路，針對不同階數的矩陣計算出其RI值如下表所示。

在這一基礎上定義了一致性比例的計算公式如下所示。

如果該指標小于1/10，則判斷矩陣的不一致性處于規定的范圍中，意味著可以通過檢驗。這種情況下，可把矩陣的特征向量當做權重向量。如果檢驗沒有通過，就必須再次作成對比較。

就此設計的模型而言，借助SPSS得到成對比較矩陣A的最大特征值即λmax為4.209，根據公式1，A的一致性參數CI為0.07。參考表2發現如果矩陣是四階的，則RI為0.89。再根據公式3計算出A的一致性比例CR為0.079，不超過1/10，故通過檢驗。準則層內的4個因素對目標層的權重分別是0.0895、0.5553、0.2349以及0.1203。

上述結果說明：在《企業經營沙盤推演》課程教學評價過程中，對其影響最為明顯的是實驗內容，其占比為55.53%;實驗指導因素占23.49%，位居第二;排在第三的是課堂管理因素，占比為12.03%;最后是教學態度因素，占比為8.95%。

同理可得指標層各項評價指標的檢驗數據：CR為0.081，CR為0.005，CR為0.081，CR為零。因此說明指標層的所有指標的成對比較矩陣的不一致程度都在規定范圍內。指標層對準則層的4個矩陣即B1到B4的權重見表3。

（四）整體權重計算及一致性檢驗

此項檢驗當中，對每一層內的每一個因素與評價指標對目標層的重要性權值作出定量分析。這些工作按照高至低層的順序開展。這里首先計算圖1中指標層各項評價指標對目標層（即《企業經營沙盤推演》課程教學評價）影響的權重。計算方法為將各層指標的單層權重對應相乘即可得到整體權重。舉教學態度下的“治學嚴謹，認真負責”為例子來闡述。由前文計算可知“教學態度”（B）這一因素對目標層的影響權重為0.0895，而由表3可知“治學嚴謹，認真負責”（C）這一評價指標對“教學態度”（B）這一因素的影響權重為0.2311。因此“治學嚴謹，認真負責”（C）這一評價指標對目標層的影響權重可由上述兩個單層權重相乘得到。即ωCA1=0.2311×0.0895=0.0207。

同理可得指標層中各項評價指標對目標層的影響權重如表4所示。

得到指標層內所有評價指標對目標層的影響權重后，再完成一致性檢驗。具體的步驟為：

假設準則層B內包含n個因素B，B，…，Bn，它們每一層的權重分別是b，b，…，bn。那么指標層C內某指標對B每一層權重的一致性是CI，相應措施隨機一致性參數的平均值是RI，那么C的整體權重隨機一致性比例為[5]：

如果該指標小于1/10，則說明整體權重達到一致性標準。

借助以上方法，可得到指標層對目標層整體權重的隨機一致性比例是1/75，小于1/10，故通過檢驗。

借助以上定量分析，得到準則層內4個因素與指標層內所有指標對目標層的影響權重，以完成所有評價指標對《企業經營沙盤推演》課程教學質量評價影響權重的定量分析與確定，有利于對該課程的教學質量進行科學準確的量化評價。

四、結論

課程教學質量評價是高校教學工作評價的重要組成部分。此設計將在安全科學與環境科學當中普遍使用的層次分析法和課程教學評價融合起來，構建了基于層次分析法的課程教學評價模型，并以經管類高校本科階段開設的《企業經營沙盤推演》實驗課程為例進行了計算分析，從教學態度、實驗內容、實驗指導以及實驗教學管理四個方面設計了共11項評價指標。利用層次分析法，在SPSS軟件的支持下通過定量計算與分析確定了各項評價指標對目標層（即《企業經營沙盤推演》教學質量評價）影響的權重，從而有利于獲得量化的評價結果，使其具有更強的說服力與參考價值。

參考文獻：

[1] 邢永麗，孫冠南，黃光東.本科教學評價的層次分析法研究與應用[J].高教學刊，2021，（14）：50-53.

[2] 王小燕，田小丹.基于BP神經網絡的ERP企業經營沙盤模擬課程評教模型的建立與實證[J].甘肅科技縱橫，2010，39（1）：165-166.

[3] 王艷娥，梁艷，丁心安.基于聚類分析的課堂教學質量評價標準研究[J].軟件導刊，2021，20（2）：234-237.

[4] 董彥佼，吳泓宣，羅麗君.基于文本大數據的MOOC教學質量評價方法研究[J].產業與科技論壇，2021，20（7）：252-253.

[5] 王傳云.面向產出的評分等級自適應式課程教學質量評價方法[J]. 黑龍江教育（高教研究與評估），2021，（7）：21-23.

[6] 曹彩峰.大學英語教師教學質量評價方法探究[J].英語廣場，2021，（159）：89-91.

[7] 王永為，高亞賢，郭森，等.OBE理念下高校課堂教學質量評價指標的構建研究[J].創新創業理論研究與實踐，2021，（3）：149-151.

[8] 王蓮芬，許樹柏.層次分析法引論[M].北京：中國人民大學出版社，1990.

[9] 郭金玉，張忠彬，孫慶云.層次分析法的研究與應用[J].中國安全科學學報，2008，18（5）：148-153.

[10] 裴少婧，蘇雅.層次分析法在高校教學評價體系中的應用研究[J].輕工科技，2021，37（4）：167-169.