臨床課堂教學評估系統的有效性

趙峻#，徐源，潘慧，羅林枝*

(中國醫學科學院 北京協和醫學院 北京協和醫院 1.教育處；2.胸外科，北京 100730)

教學評估(teaching evaluation)是持續改進并不斷提高教學質量的必要手段[1]，它對于評估醫學生對教學的感受、興趣和要求，優化教學模式和理念[2]，提出改善方向具有重要的作用。在傳統上，學生或教學管理部門對于課堂教學的質量評估多通過學期結束后的抽樣問卷進行，在時效和準確度上都存在較多不足[3]。

為了改善傳統的課堂教學評估體系，北京協和醫院于2017年引入課堂教學評估系統，通過基于“瀏覽器/服務器”模式(Browser/Server, B/S)架構的評估系統，實現學生對老師的背對背評估，這種計算機評估系統與傳統評估方式相比，在準確性與效率性上都有了實質性的提高。北京協和醫學院也借助該系統實現對部分臨床課程課堂質量的系統化監督。

在系統運行一年多之后，有必要對該系統的適用性和可靠性進行評估，可以保證課堂質量監督系統的可靠運行，對于評估系統中存在的問題及時進行調整，有助于及時發現問題，并進行改善。因此，本次所進行的研究與評估實際是對評估系統的檢驗，其目的在于確保評估系統的有效性。

1 課堂教學評估量表

為了對課堂教學質量進行監督，北京協和醫院設計完成“北京協和醫院課堂教學質量學生評估表”，該評估表分4個主要評估類別，即教學態度、教學內容、教學方法和教學效果，每個評估類別由若干條評估指標組成(表1)。

表1 北京協和醫學院課堂教學質量學生評估表

通過對課堂教學進行上述結構化評估，協和醫院初步建立了對課堂教學的質量監督體系。通過該評估系統，教學管理機構對各課程、任課教師的課堂授課質量實現了較為系統化的監督。在系統運行一年多的時間內，也積累了大量的課堂評估數據，對課堂授課改善提出了方向。

2 課堂評估系統的有效性檢驗

對于一個管理類信息系統而言，檢驗其有效性大致可從3個角度進行，分別是評估內容適用性、評估系統外因素以及評估結果應用。這3個角度都對評估系統的有效性產生重要影響(表2)。

表2 評估系統的有效性檢驗因素

在對評估系統可靠性的衡量上，基于表2中設計的有效性檢驗因素，設計相應的問卷，可以對系統有效性有一個較為全面和客觀的評估。

3 課堂評估系統的有效性調查設計

根據北京協和醫學院的實際情況，按照表2內容的指導，設計出一份針對課堂評估系統有效性的調查計劃，這份調查由調查表、抽樣調查、調查結果以及調查結論等所構成。

3.1 調查表

根據課堂評估系統的實際檢驗需求，設計的調查表如表3所示，從評估內容適用性、評估系統外因素、評估結果應用3個角度收集調查資料。

表3 課堂評估系統調查問卷設計構思及調查結果

3.2 抽樣調查

選擇實際使用過課堂評估系統的醫學生發放問卷，并采用隨機發放問卷形式。共發放問卷84份，回收有效問卷62份，問卷回收率73.9%，其中24份來自男生，38份來自女生。進一步分析表明，收回的有效問卷在隨機發放的問卷中，其分布符合抽樣調查的要求，能夠代表受調查學生群體對于課堂評估系統的評估和認知。

3.3 調查結果

3.3.1 評估內容適用性: 大部分同學認為評價內容的數量偏多，可能會有一些不必要的問題，如對于中醫課，幾乎用不到英文教學，或者問題累贅冗長，或者問題的設置有重復。

大部分同學都認為課堂評估中，教學效果最重要，少數關注教學方法、教學內容、教學態度。

在評價指標上，近半的同學認為目前的評價指標基本能夠全面反映不同課程授課老師的教學水平，也有相當一部分同學認為不太能夠概括或者不夠全面。

在對評價指標的理解上，大部分同學都基本能夠理解或者完全理解每個評價指標對應的教學行為，但也有一小部分同學不太能夠理解。

3.3.2 評估系統外因素: 在評教的影響上，絕大部分同學受到題目的影響，認為問題數目太多，大部分同學認為評教老師與授課老師經常不一致、老師對不上號。

當老師的某一優點較為突出時，一定數量的同學表示一定會忽略其他不足給老師高分，大部分同學表示有時候會忽略其他不足，而當老師的某一缺點較為突出時，只有少數同學認為一定會忽略其他優點給低分，大部分同學表示有時候會忽略其他優點。

在教學態度影響因素上，大部分同學表示完全不受任課老師要求嚴厲或寬松的影響。

3.3.3 評估結果應用:在對老師的影響方面，絕大部分同學反映老師對評教毫不在意，對評教結果毫無改變，但也有極少數的老師會采取一定的措施，或者改變考試難度、調整分數，或者降低課程考試要求，或者直接在課前課后談評教，并示意學生打高分。

在對學生的影響方面中，學校規定未完成網上評教的同學不能查閱成績，極大數量的同學表示不贊同這一規定，其中有小部分同學表示還會認真評教。

3.4 調查結論

3.4.1 課堂評估系統基本有效:學生群體對系統大多持正面態度，并能夠認真對待課堂評估，在課堂評估的客觀性態度上，也較為令人滿意。

3.4.2 權重有待優化：課堂評估系統的權重設計中，教學效果權重占有16%，而學生群體則對其有約56%的重要性認知，這表明了在評估系統中，需要進行相應的調整，增加教學效果的評估。

3.4.3 管理待加強：在評估系統的使用中，問題數量與教師辨別是學生目前面臨的主要問題，這也需要通過管理和技術的方法進行改善，例如優化評估問題本身，增加教師圖片或者典型視頻等。

3.4.4 配套待跟上：教師對課堂評估的重視程度不夠，這是由于習慣，管理措施不到位，或是由于評估系統對教師能夠提供的有價值信息偏少。但實際上，課堂評估能夠給教師提供準確且客觀的反饋，因此針對這一部分，還需要進一步的觀察和改善。

4 結論

為了提高現有課堂評估系統的有效性，對其進行定期的檢驗評估是必要的。通過協和醫學院本次的系統有效性檢驗評估，如調查結論所述，研究者發現了不少問題，而這些問題，在缺少有效性檢驗的情況下，很容易被忽視。

研究表明，對評估系統的有效性檢驗可以從評估內容適用性、評估系統外因素的影響以及評估結果應用3個角度進行，這3個角度可以反映出評估系統本身的有效性，并能夠實際上改善評估系統的應用效果。現有評估系統基本有效，但在評估類別的權重設計以及評估內容的可辨別性上也有需要進行改善之處。

當然，調查研究也存在一些不足，例如未能全部采取結構化的量表，使得對評估系統的有效性調查未能獲得最終的絕對值，因而不利于從縱向角度對評估系統進行跟蹤式的質量管理，這也是在未來的定期檢驗中需要改善的地方。