美國高等職業教育質量評價框架研究

摘 要 “社區學院學生參與度調查”（CCSSE）是一項針對全美社區學院學生學業投入程度的年度調查研究。形成了以“社區學院學生報告”為測量工具，以“主動與合作學習”、“師生互動”、“學業挑戰”、“學生努力”、“支持學習者”為調查基準的學生本位教育教學質量評價方式。其核心目的是采集和提供關于社區學院教育教學實踐的相關信息或資料，幫助學院及其決策者使用這些信息或資料改善學生學業結果，并有效提高學院的教育教學質量。

關鍵詞 社區學院；學生參與度調查；評價基準；美國；高等職業教育

中圖分類號 G719.3（712） 文獻標識碼 A 文章編號 1008-3219（2013）22-0084-06

一、社區學院學生參與度調查（CCSSE）的產生背景

（一）社區學院吸引力不斷增強

美國社區學院協會（AACC，2012）統計報告顯示，全美現有1132所社區學院，其中公立學院986所。截至2009年秋季，注冊學生超過1300萬，而且這一數字還在不斷增加，占到當年美國大學生總數的44%，且自1963年以來社區學院注冊學生增幅遠遠超過四年制學院（大學），達到近750%，而四年制學院（大學）不足200%[1]。社區學院產生如此吸引力的主要原因在于：一方面，大量民眾和學生接受高等職業教育的需求不斷增長，尤其是近年來美國經濟衰退導致的高失業率（根據美國勞工統計局資料，截至2011年6月，美國失業率高達9.2%，有1410萬美國人需要再就業）促使那些非熟練和技能準備不足的工人重回學校，接受社區學院提供的各種培訓，以此重新規劃他們的職業生涯。另一方面，社區學院的獨特性是許多學生樂意選擇就讀的關鍵因素。社區學院是介于中學教育和四年制大學教育之間的一種教育類型，其為學習者提供了多種途徑的進階路徑，尤其是對于那些出生于美國的第一代學生、少數民族（族裔）學生、低收入家庭學生、學業準備不足學生等十分有利。根據美國社區學院協會（AACC，2012）的統計報告，從人群劃分來看，出生在美國的第一代學生在社區學院的比例為42%，少數民族（族裔）學生的比例為37%，單親家庭學生比例為13%，殘疾或智障學生的比例為12%，白人學生的比例為54%。可見，多元化和學生成分復雜是社區學院的重要特征。從學生類型來看，學分課程學生有800萬，所占比例為61.5%；非學分課程學生有500萬，所占比例為38.5%。從學生的學習形式來看，有全日制類和非全日制類兩種，全日制學生有754萬，所占比例為58%；非全日制學生有546萬，所占比例為42%。從學費來看，可謂是低廉的，2011～2012學年度，公立社區學院學費為2963美元，而公立四年制學院或大學學費為8244美元，這些都為那些處境不利人群提供了很高的入學機會，而且這種機會在不斷加強[2]。美國總統奧巴馬于2010年在馬科姆社區學院發表演講，他提議的“美國人畢業倡議”計劃將在今后10年向社區學院投入120億美元，到2020年使社區學院在校生數再增加500萬名。這項計劃旨在讓數以萬計負擔不起學費的學生能夠接受良好的高等（職業）教育，并為希望學習新技能的失業者提供機會。這項教育計劃被認為是有史以來美國政府對社區學院的最大一筆投資。

（二）面臨質量挑戰

社區學院在面臨前所未有發展機遇的同時，也遭遇到了嚴峻挑戰，主要表現在：公眾對社區學院更高質量、更好績效和更多責任的期望和與之相對的高輟學率、慘淡的轉移率和比例失調的學位獲得率（即學生學業完成率低下）之間的矛盾，這意味著絕大多數學生未能在規定的學業期內正常獲得副學士學位或職業資格證書及升入四年制學院或大學繼續學習。以佐治亞州為例，2006～2009年間，學生畢業率僅為28.5%，該州26所社區學院3年中無一所學校學生畢業率達到50%或以上。2005～2008年，全美社區學院學生的平均畢業率也僅為31%，比該州和全美四年制學院或大學學生畢業率和平均畢業率分別少了20個百分點和25個百分點[3]。根據學者豪恩和威克（Horn L.， Wecko T.）對2003～2004年度和2006年度數據的統計，全美社區學院僅有15%的學生獲得了職業資格證書或副學士學位，只有11%的學生升入了四年制學院或大學繼續學習[4]。這些數據足以說明問題的嚴重性。因此，為深入分析其中的原因，以及更好地應對公眾對社區學院的高期望和有效提高學生學業完成率，作為一種提高教育教學質量和評價學生學業水平的有效手段——“社區學院學生參與度調查”（CCSSE）應運而生。

二、CCSSE的組織管理、目的及測量工具

（一）組織管理

“社區學院學生參與度調查”（CCSSE）作為德克薩斯州大學奧斯汀分校“社區學院領導力計劃”的一部分，建立于2001年，主要提供系統收集到的關于社區學院學生學習經驗的相關數據。CCSSE的啟動基金來自于皮尤慈善信托基金（The Pew Charitable Trusts）和盧米娜教育基金會（Lumina Foundation for Education），其同時也被卡內基教學促進基金會和大學生學習長椅論壇（Pew Forum on Undergraduate Learning）共同資助。之后，來自休斯頓養老股份有限公司（Houston Endowment Inc）和大都會人壽保險有限公司的捐款增強了CCSSE項目服務社區學院的能力。CCSSE是為四年制學院和大學開發的“全國學生參與度調查”（NSSE）的姊妹篇，接受由社區學院領導者、高等教育研究者、基金會合作伙伴和其他重要代表組成的“國家咨詢委員會”（National Advisory Board）的戰略和政策指導。CCSSE項目中涉及的調查開發、數據分析和結果報告的技術指導工作由在高等教育領域和調查研究領域中的專家組成的“技術顧問團”（Technical Advisory Panel）負責。

（二）目的和測量工具

CCSSE的核心目的是采集和提供關于社區學院教育教學實踐的相關信息或資料，幫助學院及其決策者使用這些信息或資料改善學生學業結果，提升學生學業成功率。CCSSE力圖改變校內外關于“什么是社區學院的教育質量”的話語權，認為對社區學院的質量判斷不應只停留于學院的聲譽和辦學資源等方面，應該關注學生在其就讀學院中獲得的教育經歷相關數據的系統收集。CCSSE通過其測量工具“社區學院學生報告”（CCSR）按年度獲取社區學院學生參與有意義的教育教學活動的信息，之后會對學生如何使用他們的時間，用何種方式和頻次與教師、其他專業人員和同學進行交流，以及學生在學院中有哪些收獲等調查結果進行評價，目的是通過這樣的評價來改進教學質量并促使學生參與到良好的教育教學實踐或學習中。

2007年春季的第五次全國調查中，CCSSE的當次調查對象接近60萬名，至2007年底，累計已有超過來自全美48個州和加拿大不列顛哥倫比亞及馬紹爾群島的548所不同社區學院的340萬名學生參與了這項調查。CCSSE成員院校在同一時期約占美國社區學院總數的49%和全美630萬名學分課程學生總數的54%。已有18個州的社區學院承諾使用CCSSE作為質量評價的依據，而且有越來越多的其他州、地區的社區院校逐步參與到該項調查中[5]。

三、CCSSE的評價基準

CCSSE是一種典型的以學生為主體的新的評價范式，其既是一種結果性評價，更是一種過程性評價，是以學生的學業成功為旨歸的過程性監控。CCSSE（2007）的基本理念是：學生越是加強與學院教職員工、同學之間的交流，并專注于課程作業，越有可能獲得成功，并達成他們的學業目標。正如庫（Kuh，2009）所言的：“學生參與度是一個系列實踐活動，機構可據此影響教學實踐并適時安排干預措施。”“是一個測量學生投入到有效學習活動中的時間和精力，以及學生如何看待學校對他們學習的支持力度的概念框架。即學生參與度就是指學生獻身學習活動的努力程度。”[6]

基于以上理念及齊克林和加姆森（Chickering and Gamson）的“本科生教育良好實踐七項原則”，CCSSE最終生成了頗具代表性的評價有效教育教學實踐的五項基準（含38個項目，由測量工具CCSR實際操作，其中兩個項目關于學生基本信息，本文中不體現），包括：主動與合作學習、師生交互、學業挑戰、學生努力和支持學習者[7]。

（一）主動與合作學習（active and collaborative learning）

主動學習是指要求學生主動參與學習過程的教學方法，包含那些在課堂內外，且已被證明能夠促進學生更高級學習的方法，如：案例研究、學生辯論、日志和學生主導的評審會議。合作學習是主動學習的一種類型，指組建學生團隊為一個共同的學業目標而一起工作、學習。這個基準主要調查七項問題，主要問詢學生參與相關主動學習活動的頻度。這些問題分別是：同學之間課堂內合作的頻次；同學之間課堂外合作的頻次；輔導其他學生的頻次；學生在課堂提問的頻次；學生做課堂展示的頻次；學生參與作為課程內容的基于社區知識的頻次；學生與家人、朋友或同事討論想法的頻次。

（二）師生互動（student-faculty interaction）

CCSSE認為師生之間在課堂內外的頻繁互動是影響學生學習動機和參與度的最重要因素，增加師生互動機會將會改善學生的學習持續性直到畢業。這一基準主要調查四項問題：學生使用電子郵箱與教師溝通交流的頻次；學生與教師談論職業生涯規劃的頻次；學生與其他教師討論課堂閱讀的頻次；除了課程作業外學生多久會與教師共同完成一項活動。

（三）學業挑戰（academic challenge）

學業挑戰與教師對學生知識和技能掌握的期望程度以及與其先前學習準備和作業的可控性相關，主要涉及學生心理方面。佩恩等（Payne et al）指出，學生最初可能會表達出對于額外作業的消極情緒，但當這樣的作業實際上為其提供高階學習機會而不只是忙于作業本身的時候，他（們）最終會承認這些學業挑戰性課程所帶來的獎勵。這個基準結合十個調查項目來證明具有挑戰性和創造性的作業對學生學習是非常關鍵的。這十個問題中的七個與高期望相關，學生會被問及：他們比想象中要努力多久才能滿足教師的期望、考試對學生努力學習的挑戰程度如何；是否他們的課程強調分析一個理論的基本要素；是否會用一種新方法合成信息；是否會對所學理論作出價值判斷；是否會應用所學理論去解決實踐問題；是否會用所學知識完成一項新的技能任務。另外三個問題基于“花在任務上的時間”的原則（一般認為，花在任務上的時間越多，任務完成得越好），學生會被問及：在當前學年他們閱讀了多少指定的教科書和其他閱讀材料；學生完成論文或報告的數量以及有多少學院鼓勵學生花費大量的時間在學習上。

（四）學生努力（student effort）

如果說學業挑戰與教師對學生的期望有關，那么，學生努力則是測量學生花費多少精力和時間來滿足這種期望。學生的努力可以集中于為課程和課程作業所做的準備，也可以通過家教服務（掙錢）、參加技能實驗室和使用其他學業資源來表現學生的時間和精力。這一基準包含如下，個案調查項目：他們在一學年中為豐富自我而閱讀過的書籍的數量；一周通常有多少時間花費在學習上；準備一篇論文或報告的兩個或以上草案需要多長時間；做一個需要整合各類觀點的項目需要多長時間；多久會有一次準備不足的上課；多久會有一次家教服務；多久去一次技能實驗室；多久去一次計算機實驗室。

（五）支持學習者（support for learners）

支持學習者是基于這樣一種概念，即學生滿意于所就讀學院是認為該學院會以他們的學業成功為己任，并且會為校園內不同學生群體的發展提供盡可能的支持性環境。這個基準有如下七個調查項目：學院是否會鼓勵來自不同經濟、社會、種族或民族背景學生之間的交流與聯系；學院會否對學生的成功提供必要的支持；學院能得到多少來自社會各界的支持；學院會為學生提供多少助學金；學生多久會進行一次學業咨詢和職業咨詢活動；學院是否幫助學生應對來自非學習方面的問題，如工作、家庭等方面。

四、CCSSE的效度信度分析

（一）效度分析

當前，關于CCSSE效度的研究主要集中于CCSSE五項基準與學生學業結果之間的相關性分析。學者麥克萊尼、馬蒂和阿肯斯（McClenney，Marti，Adkins，2006）進行了一項調查，調查對象數據來自于三個部分：第一部分是佛羅里達州教育部數據，全州所有社區學院共有4823名學生參與了CCSSE；第二部分是參與“成就夢想”①（Achieving the Dream）計劃的成員學院，共有24所學院的1623名學生參與了CCSSE；第三部分是“拉美裔學院和大學協會”成員院校和拉美裔學生占學生比例超過25%的社區學院，共計有3279名學生參與了CCSSE[8]。他們對五項標準與學生學業結果的關系一一進行了效度檢驗，結論如下：一是“主動與合作學習”基準往往與學生的高分數和課程完成情況，以及學習的持久性和學位完成情況相關。二是“學生努力”基準與“成就夢想”學院學生學分完成率有相關關系，而與佛羅里達州的社區學院學生學位和職業資格證書完成情況沒有相關性。“學生努力”與“成就夢想”院校和拉美裔學院學生第一到第二學期及第一到第二學年的學習持續性有相關關系，而與佛羅里達州社區學院學生這一階段的學習無關。三是“學業挑戰”基準與所有學生的學業結果呈完全相關關系，諸如與學生學期注冊數量、學時完成情況、平均績點（GPA）、學分完成率和學位或職業資格證書完成情況等。四是“師生交互”基準同其他基準一樣，與學生學期注冊數量和學時完成情況有相關關系。此外，其與“成就夢想”學院學生平均績點（GPA）、學生學分完成率和拉美裔學院學生平均績點（GPA）相關，而與佛羅里達州社區學院學生無關。這一基準與“成就夢想”學院學生和佛羅里達州社區學院學生的學位和職業資格證書完成情況呈正相關關系。五是“支持學習者”基準同其他基準一樣，與學生學期注冊數量和學時完成情況有相關關系，而與學生平均績點（GPA）、學生學分完成率沒有顯著關系。其與佛羅里達州社區學院學生的學位和職業資格證書完成情況呈正相關關系，而與“成就夢想”學院的學生沒有發現相關關系。

總而言之，對佛羅里達州社區學院學生數據的分析發現，這些數據“廣泛證實了學生參與度與其學業結果之間呈正相關關系”，CCSSE五項基準與學生學業結果變量之間在統計學上呈顯著相關關系，如，平均績點（GPA）、學位完成、重要學業目標的達成等。而對“成就夢想”成員院校學生的測量數據進行分析后卻產生了更為復雜的結果。調查結果顯示，只有衡量學業成績的學生總平均績點和學生學習持續性的兩個指標（學分完成率和保留率）與基準相關。而對那些諸如數學、寫作和閱讀等發展性課程，以及大學層次的代數和英語等課程的完成率方面基準有一個較低的預測性。研究也檢視了三類群體學生的參與度，包括低收入家庭學生、少數民族學生和其他不利處境學生，結果顯示，對于每個群體而言，每個小組都比對照組更有積極性。以上結論表明，對于“成就夢想”成員學院學生而言，“主動和合作學習”是CCSSE五項基準中對學生學業成功影響力最大的。而對于在以拉美裔學生為主的社區學院學習的學生，五項基準中“學業挑戰”和“支持學習者”可作為最好的學生學業結果的預測因子，呈正相關。

學者曼德利諾和麥特（Mandarino and Mattern，2010）使用2009年CCSSE冬季學期調查數據，以美國安大略湖社區學院學生為樣本，進行了CCSSE效度研究，并提出“有效教育實踐模式（Model of Effective Educational Practices，MEEP）”，其五項基準與CCSSE五項基準相同[9]。檢驗MEEP五項基準與學生學業結果的整體“擬合優度”（goodness-of-fit），研究者運用虛擬模型（hypothesized model）產生了一個良好的擬合優度，五項基準中的三個與五個可選擇的學生學業結果始終相關，比如：自我報告的平均績點、學期平均績點、總平均績點、總學分完成率和完成所修課程且平均成績在70%或以上。但是，在對特殊學生特征控制后，僅有“主動和合作學習”與“學業挑戰”兩個基準可被作為大部分學生學業成果的預測因子，這個結果與上述麥克萊尼的研究成果不謀而合。

學者安吉爾（Angell，2009）也測量了CCSSE的結構效度，他使用“主軸因子分析法”與“斜交轉軸法”的研究結果揭示了CCSSE對學生技能收益的測量、服務重要性的測量、學院意見的測量和學生心理活動的測量等具有實際意義[10]。并進一步總結：每所學校參與CCSSE基準的所有項目中，五項基準中有三項是可靠的，阿爾法值大于或等于0.70，表明CCSSE信度很高。但同時他也提醒，雖然在對基準的研究中運用數值是有益的，但問題在于當某一地區的研究結果無效時，不僅會對地方管理者產生不利導向，對于數據本身而言其效度和信度也會大打折扣。

（二）信度分析

關于CCSSE的信度，也是近年來才開展起來的研究，負責CCSSE的專職科研人員使用2003年、2004年和2005年的國家參與度調查樣本數據評價了CCSSE基準的結構效度和信度。這個樣本包含299762名社區學院學生，除了全日制學生較多外，基本涵蓋了社區學院各類學生群體，具有很強的說服力。他們基于RMSEA<0.6和SRMR<0.9的驗收標準，使用均方根誤差近似（RMSEA）和標準化殘差均方根（SRMR）來評價模型的擬合程度，同時使用最大相似估計法穩定驗證性因素分析的標準誤差。CCSSE技術顧問團的專家評議了“驗證性因素分析”（CFA）的結果并指定了五項基準的具體調查項目。解答五項基準的結構信度的數據被發現在合理范疇之內，RMSEA=0.60，SRMR=0.62。說明CCSSE的信度可以保障。學者馬蒂（2009）也通過相關研究證實了CCSSE有其“合理的內在信度和再測信度”[11]。

五、結論及啟示

總之，CCSSE是以學生為主體，學生學業質量為核心的院校評價方式，反映了學生學習經歷中的許多重要方面，為高等職業教育質量評價提供了一個新的視角。對其效度的研究結果表明，CCSSE對于改善社區學院學生學業質量、提升社區學院吸引力、促進其教育教學質量和推動同類院校績效比較的作用是顯著的。反觀當前我國高等職業教育質量評價方式，從目的上來講，并非以學生成功為目的，學校發展為本位，而是以更好地進行管理為目的，缺乏對學生及其學業質量的關注，評價方式主要還是以鑒定性評價為主，獎懲色彩明顯，進而忽視了被評價對象的進步程度，不能體現職業教育質量的動態變化。從標準上來看，我國高等職業教育質量評價往往遵循的是預先確定好的高度統一的質量標準，在評價時，以標準為綱，造成“順之者昌，逆之者亡”的局面，盡管這為教育部門評價學校質量帶來了最大方便，同時也導致了千篇一律辦學模式的負面效應。從評價方法來看，長期以來，我國職業教育質量評價方法還是依賴于事后的靜態總結性評價，評價過程處于封閉狀態。被評價對象往往處于被動的、被“盤剝”的位置，依照標準提供所要求的各類信息，配合評價者。最終獲得的通常只是一個對職業教育質量的提升無多大助益的表示優劣的等級符號、分數或抽象論斷。

CCSSE對我國高等職業教育質量評價的啟示在于：第一，重塑高等職業教育質量評價觀，明確“為什么評價、為誰而評價、評價什么”三個問題，樹立使學生學有所得的增值評價觀念。第二，建立獨立的第三方性質的“高職院校學生參與度調查”體系，全面調查我國高職學生學習狀況，為改進學生學業質量、提升學生技能水平和高職院校教育教學質量提供參考。第三，構建職業教育質量評價體系，編制“評價網絡”，應涵蓋多種目的和形式的評價手段和工具，從多方面把控職業教育質量，而不是依靠一種標準或一套指標來衡量職業教育質量問題。

參考文獻

[1][2]American Association of Community Colleges[EB/OL].[2012-12-25].http：//www.aacc.nche.edu/AboutCC/Pages/fastfacts.aspx.

[3]Olivia M. Boggs. Addressing the Graduation Dilemma in Technical and Community Colleges[EB/OL].[2012-02-10]. http：//www.eric.ed.gov/PDFS/ED522366.pdf.

[4]Horn L， Wecko T. On Track to Complete？ A Taxonomy of Beginning Community College Studentsand Their Outcomes 3 Years After Enrolling： 2003-04 Through 2006[R]. National Center for Education Statistics， Institute of Education Sciences， U.S. Department of Education， Washington：D.C. 2009：25-30.

[5]Kay M. McClenney. Research Update： The Community College Survey of Student Engagement[J]. Community College Review，2007，35： 137.

[6]Kuh， G. D. What Student Affairs Professionals Need to Know about Student Engagement[J]. Journal of College Student Development，2009，50： 683-706.

[7]Amaury Nora，Gloria Crisp， Cissy Matthews. A Reconceptualization of CCSSE’s Benchmarks of Student Engagement[J]. The Review of Higher Education， 2011， 35（1）：105-130.

[8]Kay McClenney， C. Nathan Marti， and Courtney Adkins. Student Engagement and Student Outcomes： Key Findings from CCSSE Validation Research[EB/OL].[2011-11-20].http：//www.ccsse.org/aboutsurvey/docs/CCSSE%20Validation%20Summary.pdf.

[9]Mandarino， C.， Mattern， M.Y. Assessing the Validity of CCSSE in an Ontario College[EB/OL].[2012-03-12].http：//www.heqco.ca/SiteCollectionDocuments/CCSSE_ENG.pdf.

[10]Angell， L. Construct Validity of the Community College Survey of Student Engagement（CCSSE）[J]. Community College Journal of Research and Practice， 2009， 33 （7）：564-570.

[11]Marti， C. Dimensions of Student Engagement in American Community Colleges： Using the Community College Student Report in Research and Practice[J].Community College Journal of Research and Practice， 2009， 33（1）：1-24.

Study on Quality Evaluation Framework of Higher Vocational Education in the USA

——Based on the Analysis on “Community College Survey of Student Engagement”

MA Jun

（School of Education，Lanzhou University，Lanzhou Gansu 730000， China）

Abstract The “Community College Survey of Student Engagement”（CCSSE） is a yearly national study on the engagement in school work of community college students. It is a kind of student-based teaching quality evaluation mode including five benchmarks of Active and Collaborative Learning， Student Effort， Academic Challenge， Student-faculty Interaction and Support for Learners， which aims to provide information about effective educational practice in community colleges， assists institutions in using that information to promote improvements in student learning， and enhance the education and teaching quality.

Key words community college； survey of student engagement； evaluation benchmark； USA； higher vocational education