基于移動端的高校評價體系創新路徑研究
——以西南某高校移動APP為實證案例

石榮月，范 勇，潘 婭，李叢磊，葛修婷

（西南科技大學 計算機科學與技術學院，四川 綿陽 621000）

一、引言

實施教育評價是教育教學決策的重要前提，而有效的教育評價依賴于全面的、可靠的評價機制。[1]對教學評價理論和實踐持續、深入地進行研究，科學、準確、全面地評價教學質量，則是促進教學目標有效實現的必要條件之一。近年來，伴隨學生數量和運行數據的增加，迫切需要引入有效應對大規模教學評價的技術和方法。而移動端的普及、APP開發技術和教育技術學科的發展，已使“增量評價”、“全面評價”、“可靠評價”為目標的教學評價，有了技術和方法的保障。

在網絡普及的背景下，學生網上評價成為了高校教師教學質量監控的主要手段，部分學者將目光從傳統的學生評價轉移到網上評價。關于學生網上評價的實踐反思，曹輝等人在《高校學生網上評教的困境與反思》中認為，評價指標過于抽象，評價指標的題目過多，難以理解指標體系的設置，未把學生需求放在中心地位，容易失去學生對評價的耐心；另外，網絡雖然為學生評價提供了方便的參評方式，但也使學生評價行為出現異化現象，這些網上評價被動參與行為所產生的評價結果是有失公允的。凌惜勤等認為傳統的高校學生評教活動多從學校管理本位出發，主要體現教學管理者的意志和功利性，更注重“總結性”評價，信息反饋相對滯后，師生間溝通的渠道不暢，流于形式，效果欠佳。孔羽表示教師教學質量評價中，提倡形成性評價，全面發揮評價功能，改變以往那種突出評價的選拔分等而忽視改進教育功能的做法。張欣在《學生網上評教的現狀、問題及對策研究》中指出，目前網上評價相關研究都大都停留在理論研究階段，而且網上評價得不到學校和相關部門的大力支持，利用評價結果來提高教學質量的研究也很少。

綜上，網上評價主要存在以下不足：①學校多設置教學評價為查詢成績的前提條件，強制學生參與評價，學生為了盡快完成“任務”，隨意性較大，導致問卷可信度降低。②評價指標過于煩瑣，為了對教學質量進行“全面”評價，設立了過多的指標。以西南某高校為例，大一至大三的學生每學期課程在10門左右。假設每個課程設立問題20個，就要做200個選擇題，花費了學生過多的時間和精力，可靠性也由于過度的煩瑣而值得懷疑。③充分利用評價結果，對教師進行持續跟蹤，旨在提高教學質量的研究很少。④大部分研究停留在理論研究階段，缺少實證研究的支撐。

為了更深入地了解學生對教學評價的想法，審視我們現有的評價體系。本研究從各年級隨機抽取5名學生進行訪談，通過學生的訪談反饋，可以發現學生的不滿主要集中于以下兩點：①沒有自主選擇權，忽略學生對課程的主體性評價。②學校片面強調 “全面性”、“覆蓋式”指標體系，忽視學生的個人意愿。

基于以上文獻研究和個人訪談結果，本研究擬結合目前智能終端的普及、“點贊”文化的流行，將教師教學評價系統部署在學生常用校園APP軟件上，對指標體系進行精簡化處理，并賦予學生自主選擇評價課程的權利，反饋教師教學質量，探討教師教學質量的穩定性。具體研究問題如下：①“點贊”形式下的移動端評價結果能否與專家評估吻合。②該評價方法能否獲得區分度較高的評價結果，使評價結果落到實處。③通過探索性分析，探討教師教學穩定性情況。

二、研究方法

1.評價形式

隨著移動互聯網的普及，人們使用手機、pad等移動端上網的比例越來越高。用戶在移動端設備上用“點贊”來使內心“喜愛和支持”的感情得以外化。同時點贊憑借其態度表達的直觀性和快速便捷低成本的優勢，迅速成為社會生活中極為常見的傳播符號。[2]在對教師教學質量的評價中，引入“點贊”的方式，一方面簡化了傳統的評價形式，增加了學生對評價的接受度，用這種“潮流”的方式可以激發學生的評價熱情。另一方面，“點贊”的方式能獲得相對真實的信息，篩選出優秀教師及待改進教師。運用移動端統計的方式，可以持續跟蹤教師狀態，獲得教師教學的穩定性及波動性狀態，統計出教師擅長的課程。

美國學者Howard研究表明：在大樣本情況下，“學生評價”是穩定可靠的。本文采取學生評價方式，將評價系統嵌入學生日常使用的移動APP中（該移動APP提供官網新聞、課表、一卡通、圖書館、網易云課堂、圈子等特色功能），注冊學生數46722，日均活躍度16785。為解決學生自主選擇權的問題，在評價系統中設置由學生自己選擇要點贊的課程教師（學生最多選課程總數50%的課程，至少選1門課程），用“點贊”的方式為教師評價。這種設置節約了學生的評價時間，讓學生有掌控感，發揮了學生的主觀能動性，是一種基于學生視角的評價方式。

2.指標及權重設置

國內不同高校評價的指標各不相同，但是內容大致包括教學態度、授課內容、教學內容、教學水平、教學效果、師德師風等?？傊?，沒有一個適用于所有高校的評價指標和評價標準，但是，在特定領域設計一個較為客觀的評價指標體系仍是可能的。

本文通過文獻調研的方法，對國內外相關文獻進行整理，初步確定教學評價的指標清單。然后，以專家論證的方式對指標進行修訂并最終確定教師教學質量評價的指標體系。指標體系包括師德師風、敬業精神和責任意識、課堂教與學氛圍、教學效果與收獲、興趣激發、教學水平。[3]參與評價是基于學生自愿，評價課程是由學生自主選擇，每位學生選評課程將在1～5門，僅根據指標設立六個對應的問題。即使主動降低了課程數和問卷數，隨著學生主動評價、主動定位參評課程過程的進行，仍然提高了問卷的有效性，同時使課程區分度拉大，更便于定位優秀課程和待改進課程。指標編號及內容對照情況如表1所示。

表1 指標編號內容對照表

關于指標權重的確定，大多研究以德爾菲法、層次分析法、熵權法、均值法等來確定，本文采用層次分析法進行指標權重的賦值。層次分析法是指通過不同指標之間的兩兩比較來確定指標間權重的方法，它也是一種定量與定性分析相結合的多目標決策分析方法。它的系統性、所需定量數據少的特性使其受到很多研究者的追捧，這種方法對項目風險評估過程中出現的多個指標和方案的選擇提供了有效的解決方案。[4]

為得到較為合理的權重值，本研究選取五位教師參與調查，其中包括兩位正高級別管理層專家，這兩位專家學術水平、教學經驗、管理經驗都較為豐富并且經常參與學院組織的專家評價活動。另外包含不參與管理工作的副高級別教師兩位、講師級別教師一位，旨在尊重被評價教師對評價內容的看法。根據問卷反饋結果和層次分析法中T．L．Satty提出9個重要度等級（見表2），對六項指標進行比較，建立五個6×6的矩陣模型。

表2 判斷矩陣標度

Yaahp是一種層次分析法可視化建模與計算軟件。本研究應用Yaahp軟件對采集到的專家數據（矩陣）進行處理，得到指標的權重如表3所示。

表3 指標權重

三、實證研究

2017年6月中旬-2017年7月下旬、2018年1月中旬-2018年3月下旬開展調查，邀請學生通過移動APP回答相關調查題目。

根據馬什（Marsh）于1984年關于“學生評價”一致性的研究表明，當有50個學生參加評價時，評價的可靠性為0.95；當有25個學生參與時，評價的可靠性為0.90，保留參與人數在25人以上的課程。2017年秋季，從教師課程評價維度，參與調查的教師課程為1969門，保留評價人數大于25人的課程，刪除參與人數少于25人的課程，可評價課程731門。2018年春季，從教師課程評價維度，參與調查的教師課程為2119門，保留評價人數大于25人的課程，刪除參與人數少于25人的課程，可評價課程546門。

評價結果顯示，平均分為34左右，說明學生僅選擇3～4門課程進行了評價。在教學評價中，我們通常認為離散程度越高，區分度越好。2017年秋季和2018年春季評價結果方差分別為334.5和373.7，我們認為離散程度高，評價結果區分度好。2017年秋季和2018年春季評價偏度分別為0.354和0.424，分布為正偏或右偏，分布圖形在右邊拖尾，評價得分極高的教師偏少。2017年秋季和2018年春季的評價結果中，峰度均為負值，為低峰度，觀測值在分布中心附近沒有正態分布那樣集中，尾部更厚。如表4所示。

表4 描述性數據統計結果

1.評優等級結果

參考美國教育測驗服務中心（ETS）的“學生教學評估報告表”（SIR）中將評價等級分為 “最好（前10%以內）、比大部分人好（前30%以內）、一般、比大部分人差（后30%以內）、最差（后l0%以內）”五個等級，將被評價課程的學生“點贊”率劃分為五個等級，評價主客體都能夠很精確地掌握指標等級的劃定范圍。

將可評價課程導入數據庫，按照SIR的評價等級將課程劃分為五個等級后，分別求五個等級的平均值，如表5所示。

表5 評價結果等級匯總

一般學校評價結果平均分在90分以上，最低分不低于80分。本研究評價結果是由點贊率得來，而學生只選自己意愿中的百分之五十以內的課程給予評價，所以課程結果非百分制計分，只表示相對分數。從表4可知，雖然學生更迭，授課教師也不盡相同，但是兩個學期各個區間的平均分卻十分接近。它說明，反映一個學校教學狀況的客觀規律是存在的，通過評價結果能明顯區分出課程優劣。

在評分較高的區間中，每學期都包括高等數學、大學物理、程序設計等，不被學生歡迎的課程主要包括軍事理論、體育達標、形勢與政策等課程。對每位教師的教學評分，我們每學期都征求有關領導的意見，特別是對評分高的或評分低的教師，我們都會同有關的系，做進一步的調查了解，發現大多數評分與教師本人的真實教學情況基本相符。由此可知，課程的受歡迎因素，不僅和教師授課水平息息相關，課程內容也是受學生喜歡的因素之一。

對該學校計算機學院的教師性別加以區分并進行男女教師評價結果的對比。同2017秋季的調查比較，2018春季學生對計算機學院的女性教師的滿意度有所下降，但是仍比男性教師高7.45。結合2017秋季的情況，可以發現計算機學院女教師的受歡迎程度高于男性教師。如圖1所示。

2.教師教學質量穩定性分析

圖1 男女教師評價結果對比圖

從計算機學院評價結果中，隨機抽取八名兩學期都參與評價的教師，每個節點代表一名教師評優結果的位置，可以發現教師三、教師五、教師八評價結果相對穩定，兩個學期都處于分值較低的狀態，調查發現教師三和教師五兩學期教同一門課程，教師八每學期教6門課程以上；而教師四和教師七兩學期評價結果波動很大，這兩位教師兩學期所教課程并非一門，并且無明顯關聯，比如教師七2017年秋季所教課程為離散數學，而2018年春季所教課程為程序設計。（見圖2）可見，教師擅長的課程也是影響評價結果的重要因素。這些數據可以幫助教研組指導教學檢查，選擇重點聽課對象，確定專題進行教研活動等。

圖2 教師教學質量波動圖

3.學生評價與專家評價吻合度分析

為了考察學生評價與專家評價的吻合度，我們用學生調查同樣的指標來編制專家問卷，用李克特五級量表測量專家評價等級，從“非常贊成”（5分）到“很不贊成”（1分）。專家以不記名的方式參加評價，選擇其中一項。以該高校計算機學院為測試點，聯系六名同行專家，以他們已有的聽課感受給教師評分。以同樣的權重為每位參評教師打分，按照“學生教學評估報告表”（SIR）中將教師劃分到不同區間。運用SPSS對專家數據和學生數據進行比對，皮爾遜相關系數為0.754，顯著性為0.00（顯著性<0.05，相關顯著），說明學生評價與專家評價吻合度較高。由于專家評價和學生評價的角度不同，例如專家聽課時容易受教師課堂教學的某些“表象”情況所影響。一位語音語調好、口語流利、板書工整清楚的教師容易受到專家的認同。[5]專家更注重教師“如何教”，而學生更多地體會“學到多少”。所以專家評價和學生評價又會有所不同。

四、結論

由于本研究沒有學校和教師的協助，所以學生參與率和高于25人評價的課程相對較低，僅占所有課程的30%左右，仍有很大的提升空間。從高校和教師兩方面給予移動端評價以支持，可以進一步促使移動端的評價發揮最大的價值與意義。高校教務評價系統借鑒這種評價方式可以提高教學評價的有效性，發揮學生評價的功能。對于教師而言只有掌握了學生的評價信息后才能了解學生的需求與想法，進而改進教學。

本文在研究了高校教師教學質量評價中的工作流程和特點后，借助于學?，F有的移動端軟件，設計并實現了一套基于移動端的、運用目前流行的“點贊”形式的高校教師教學質量評價系統。結合學生反饋的意見和建議，在評價過程中給學生自主選擇的權利，精簡了評價指標，評價結果能夠與專家評估相吻合。以學生為主體的移動端“點贊”評價結果，有明顯的區分度，較好地顯化了高校教師教學質量?？梢詫處煹脑u優、提職、獎勵等提供行政決策性服務。通過對該高校計算機學院男女教師評價結果對比發現，女教師明顯比男教師更受歡迎。學生評價是持續的，可以依據持續的評價結果跟蹤每位教師的教學穩定性情況，發現教師擅長的課程，用來為改進教學服務，協助管理者更好地考察、考核教師的教學質量，并進行后續的跟蹤調查，提高教師的教學質量。