高校課程學習體驗評價研究述評及展望

徐立清 崔彥群 郝丹

摘 要：近年來，我國“以生為本”和“以學習質量為核心”的評價體系研究與實施取得了長足進步，但基于學習體驗的課程教學評價研究還處于起步階段，研究成果較少。文章通過簡要述評國內外以學習體驗為核心的課程教學評價體系與調查研究的新趨勢，以及學習體驗評價的可靠性研究，提出了我國高校課程學習體驗評價進一步研究和開發的思路與對策。

關鍵詞：高校課程;學習體驗;評價;綜述

近年來，隨著高等教育競爭的日益加劇，以及以制度績效為中心的高等教育循證運動的蓬勃發展，“保持和提高學生的滿意度成為大學的重要目標”，“學生體驗已成為高等教育質量保證的核心原則，已納入內部機構質量保證體系，外部質量保證過程和認證也需要學生滿意度調查報告”[1]。課程學習體驗評價是基于學生的學習體驗來評價課程教學效果，以便更好地接近教學事實。本文從學習體驗評價指標體系與量表研究、學習體驗評價的可靠性研究等方面展開述評。

一、學習體驗評價指標體系與調查研究

1.國外關于學習體驗評價量表的研究

從發達國家來看，有關學習體驗調查、學業成就評估、滿意度測評等各類有影響的評價工具已達20多種，較為著名的有：美國的全國大學生參與度調查（National Survey of Student Engagement，NSSE）、澳大利亞的課程體驗調查（Course Experience Questionnaire，CEQ）和英國的全國大學生調查（National Student Survey ，NSS）。

（1）美國的全國大學生參與度調查（NSSE）。NSSE以調查學生參與度為核心，其概念譜系可追溯到20世紀30年代拉爾夫·泰勒（Ralph Tyler）的研究，后逐漸涉及到心理學、社會學、認知發展、學習理論等多個領域，量表也在實踐探索中不斷發展和完善。1979年美國學者羅伯特·佩斯（Robert Pace）開發了“大學生就讀經驗調查”（College Student Experience Questionnaire），是第一個全面關注學生學習投入程度的研究項目，并先后經過1983 年、1990 年和 1998 年的三次改版，1999 年開始小規模試運行。2000年開始首次正式啟用“全美大學生參與度調查”（NSSE）。學習投入理論解釋了大學生如何發展成為具備復雜成熟的了解自我、他人及世界能力的個體的過程，并逐步形成了有效教育實踐五項原則 （ EEP），包括學術挑戰水平、主動學習和協作學習、師生互動、豐富教育經歷和校園環境支持。NSSE創始主任喬治·庫（George Kuh）研究指出，學校應鼓勵所有學生至少參加2次高影響力實踐（HIP），包括“基于社區的項目（服務學習）的課程”“與教職員工一起進行研究項目”“實習，合作社，現場經驗，學生教學或臨床實習”“出國留學”“培養高級經驗（頂峰課程，高級項目或論文，綜合考試，作品集等）”，這些教育實踐活動與支持學生學習和發展的機構努力的質量同等重要。2013年推出的NSSE2.0版本設有“學術挑戰、與同行一起學習、與教師的經驗、校園環境”4個方面“高階學習、反思性與整合性、學習策略、定量推理、與其他人的協作學習、討論、師生互動、有效的教學實踐、互動質量、支持環境”10項指標，每個參與指標通過匯總學生對一系列相關調查問題的回答，提供有關學生參與不同方面的寶貴信息。NSSE最初試圖通過“從聲譽、資源等評價轉移到學生體驗評價”，為高校提供高質量的、便于利用的實證數據，以便改進學生的就讀體驗。NSSE通過幫助參與院校分析判斷自身在課程設置、學術活動規劃、教學實施、學生服務等教育教學環節存在的具體問題，運用這些評價結果實施質量改進，提高人才培養質量。NSSE建有專門的網站（http：//nsse.indiana.edu），是全球應用最為廣泛的學生學習體驗評價工具。截至2019年，已有1650多所高校、600萬名學生參加[2]。

（2）澳大利亞的課程體驗調查（CEQ）。20世紀80年代，菲利普·帕爾森斯（Phillip Parsons）等人開展CEQ研究，1989年開始被用來衡量澳大利亞高等教育系統所有畢業生對學位課程的質量感知，現已成為一種廣泛使用的量化工具。CEQ以“預知—過程—結果”（3P模型）學習理論為依據，認為如果能夠獲取學生對學習情境的體驗信息，就可推測出學生學習成果，進而明確人才培養環節有待改進的方面和領域。目前，CEQ由澳大利亞社會研究中心負責管理，主要集中在畢業生對課程質量的看法，關注他們自我評價的技能水平以及對課程的總體滿意度上。指標由原來的5個方面23個選題簡化為“總體滿意度、好教學、通用技能”3個方面13個選題。為保障評價的可靠性，明確提出如果參與調查的人數少于25，則不會報告調查結果。2018年102所高等教育機構參與了全國在線調查，共收集了120564份有效調查答復（CEQ，2018）[3]。

（3）英國的全國大學生調查（NSS）。NSS始于2005年，是英國高等教育質量監管的重要組成部分。NSS在CEQ問卷基礎上編制形成，設有“課程教學、學習機會、評估與反饋、學術支持、組織與管理、學習資源、學習社區、學生之聲、總體滿意度”等9個方面27個核心選題（NSS，2019）[4]。NSS使用說明明確要求，調查問卷50%以上且至少有10名學生的反饋才算有效。NSS每年針對最后一年的本科生開展一次調查，涵蓋英國近50萬學生。NSS主要用于信息幫助、質量改進、公眾問責，包括為大學入學申請者和家長選擇專業以及為學校提供信息幫助。各校也會根據學生學習體驗調查情況，改革自己的課程體系和教學方法，以此提高學生和社會的滿意度。

總體上，歐美等發達國家以學生發展理論和學習理論為基石，以促進教育教學改革為目標，實施了不斷改進和完善的全國性大規模的學生學習體驗調查。（1）從調查量表的選題來看，充分體現了“以學為中心”的增值性評價，如“我從各種信息中形成了新的想法或理解”“這門課程的教學人員激勵我盡我所能”“該課程培養了我的解決問題的能力”“提供的IT資源和設施很好地支持了我的學習”等。（2）從研制目的、結果應用和評價重點上，各量表則有較大差異。NSSE注重測量在校生對學習、各類活動的投入和參與程度，明確指出不支持使用NSSE結果來排名學院和大學，只是提供具有診斷價值并且可用于指導教育改進的數據，并且建議與其他有關學生及其經歷的其他信息來源結合起來評價教育質量。而且，NSSE非常重視學習行為調查，與CEQ和NSS注重調查大學生的價值觀、態度或對大學經歷的滿意度也有較大不同。大學生的態度或對大學經歷的滿意度，一定程度上還是一種自我主觀的模糊判斷，而不是一種“事實”或“行為”的選擇，這在測量和統計上會有一定的難度。另外，CEQ和NSS被廣泛應用于高校排名，這就難免在調查實施過程中學生容易被引導甚至被操控，從而降低了調查結果的信度，受到了一些專家學者的批評。

2.國內高校關于學習體驗評價量表的研究

2009年清華大學率先把NSSE進行了漢化，形成了NSSE-China版本。基于大學生學習體驗的學生評價模式引入以來，得到了越來越多研究型大學的重視。比如北京師范大學的“中國大學生就讀經驗調查（CCSEQ）”、清華大學的“中國大學生學習與發展追蹤研究（CCSS）”、北京大學的“首都高校質量檢測項目”、廈門大學的“國家大學生學情調查”（NCSS）。國內一些高校在借鑒CEQ和NSSE等問卷基礎上，以學生評教結果及滿意度為切入點，設計了包括教學課程的結構性、教學的順應性、教師的教學態度、校園的學術環境等維度的課程體驗問卷，分析和探討了目前高校教育效果的影響機制及其存在的問題。另外，浙江省教育評估院等也開展了包含課堂教學、實踐教學、教學水平等內容的大規模的畢業生母校滿意度調查，以全面了解高校人才培養質量。這些調查研究已經形成了一定規模，調查結果為高校改進本科教育質量，制定改進教學工作的策略提供了有力證據。

但總體上，目前國內研究尚處于借鑒改進階段，且主要集中在某一學科課程上，與國外研究在理論支撐、指標設計、測量統計的深度和廣度上，存在明顯的差距。正如有專家指出：“與美國常規性的調研活動相比，無論是大學領導對這些項目的重視程度、參與大學的數量，還是數據分析的廣度和深度，尤其是結果的應用等諸多方面都存在很大差距、有很多不足之處。”[5]值得欣慰的是，部分國內研究者在逐漸推進MOOC等網絡課程的學習體驗評價研究，并在網絡課程評價要素、評價指標等方面進行了一些自主的有益探索。

二、學習體驗評價的可靠性研究

調查數據的廣泛使用與作為高等教育決策的證據，必須以數據的有效性、可靠性為前提。有效性關系到調查是否衡量了旨在衡量的東西，是否提供了支持對被測個人特征推斷的證據。調查工具驗證的關鍵在于評估定義結構的理論中包含的假設是否可信，評價量表或問卷是否能提供穩定和一致的結果，允許結果在不同測試情況下可復制的重復測量？一直以來，對于學生學習體驗評價作為高等教育決策的依據存在兩大爭議領域：（1）教育實踐與學生行為標準的一致性，（2）學生自我報告信息的準確性。因此，可靠性這一元評價研究一直是學習體驗評價研究關注的一大主題。

國外不少研究者就如何提高量表、問卷的科學性提出了很多合理建議，涉及到選題的科學性、評價的學科院系以及課程類型等諸多因素。伊娜·布勞（Ina Blau，2017）等[6]認為，學生體驗受到學科領域、課程類型、教學方式等多種變量影響等，以及學校特征、學生性別、家庭等要素。史蒂文·布林特（Steven Brint，2012）等[7]研究提出，不同類型學科在認識論假設和教育目標上的差異，會導致學習體驗的差異，對學習的促進也會有所差異。赫伯特·W.馬什（Herbert W. Marsh，2011）等[8]認為，通過對比學生學習體驗來比較不同院系的教學質量不太合理，因為學生沒有體驗到其他院系的教學情況。為此，我們應針對不同學科、類型、層次和院系的課程，在相對統一的框架體系下，需要設計個性化的指標和問題，形成個性化的評價指標和選題。喬治·庫（George Kuh，2002）[9]研究指出，測量工具滿足以下條件是可信的：（1）當所要求的信息是受訪者已知的框架。（2）這些問題措辭清楚、毫不含糊。（3）問題涉及最近的活動（最好是6個月或更短時間）。（4）被調查者認為這些問題值得認真對待、深思熟慮的回應。（5）回答問題不會威脅、使被訪者難堪或侵犯被訪者的隱私，也不會鼓勵被訪者以社會期望的方式回答問題。這些研究成果都是優化問卷設計時值得參考的重要因素。

如何保證量表測量的有效性，一些學者從評價目的、評價人數、評價主體、評價頻率以及數據驗證、評價方式以及多元化評價等方面提出了有益建議：（1）從評價目的上，勞倫·麥克萊恩（Lauren McClain，2018）等[10]研究指出，課程評價若為了有效衡量課程的質量，學生報告的信息會更誠實，結果可以改善教學效果，而不是對行政管理有利。（2）從評價主體上，赫伯特·W.馬什（Herbert W. Marsh，1997）等[11]在比較在校生、畢業生、同行和獨立評教者作出的評價結果后同樣得出：在校生和畢業生對教學效果的評價比教師自評、同行評價和他人評價的效度更高。肯尼斯·費爾德曼（Kenneth A. Feldman，1977）等[12]研究指出，評教的個數達到一定臨界值時（20或20以上），學生評教的可靠性就能勝過最好的客觀測驗。（3）從評價效度的檢測上，由于學習體驗本身比較抽象，且受情緒、動機、偏好的影響而存在一定的偏差，能否通過學習體驗評價客觀了解學生的真實狀況，這是學習體驗評價的難題。正如理查德·詹姆斯（Richard James，2003）[13]

所指出的，在大多數學科，學生的課堂體驗歷年都比較穩定，但學生的課堂體驗容易受到學生個體特征的影響，主觀性較強，將這樣的數據作為一項重要的衡量教學質量的指標似乎有待考證。對此，曼婭·克萊門西奇（Manja Klemencic，2015）等[14]建議，要通過來自不同來源的數據進行交叉驗證;學生和其他利益相關者參與調查設計、實施、分析和報告的整個過程有助于提高調查相關性、清晰度和合法性;可吸納不同的認知群體參與其中，特別是那些直接受到政策干預影響的學生。馬蘇德·沙（Mahsood Shah，2017）等[15]強調，要把定性評估與定量分析結合，“使用數據來為改進提供信息的工作有限，需要通過促進學生與院校之間的合作伙伴關系來真正聽取學生的聲音”。喬治·庫（George Kuh，2002）[16]研究指出，可根據從焦點小組、認知測試和對結果的心理測量分析中獲得的信息對個別項目和整體工具進行不斷改進，以提高評價的一致性和有效性。因為這些定性方法的優勢在于，它們可以生成更豐富、更深入、更真實的學生體驗和行為數據。