□史秋衡 文 靜
大學生學習滿意度是高等教育管理中的一項重點與熱點議題,已成為高等教育利益相關者亟待了解的內容。目前,對大學生滿意度的測評與研究主要以問卷調查的形式進行,通過對所搜集調查數據的編碼與統計分析得出相應結果。公布是否滿意的數據結果只是一個開端,更重要的是通過測量深度挖掘大學生學習滿意度的內部結構、數據內涵以及原因,從而能夠構建出評價學習滿意度的方式與機制。
大學生在接受、體驗高等教育的過程中,扮演著多重角色。以學生為主體、以學生為視角的研究能夠從“學”和“學習者”的角度對高等教育進行全面剖析,其中一個重要議題即是大學生對于學習的滿意度。真實、有效、客觀地測量出目前我國大學生的學習滿意度,并建構評價模型與機制,是該方面研究亟待解決的命題。深度探求出我國大學生學習滿意度的內涵,并分析其邏輯結構,便是這項研究的邏輯起點。
滿意度是學生學習情況的重要組成部分,是其對大學學習感知與期望之間績差最直觀的表征。無論學生個人還是群體,均能對所接受的大學教學進行反饋。而站在項目管理的角度,學習滿意度的測評有利于監測項目實施效果,對績效作出評定。以大學生為主體,通過學習滿意度的測評,可反映其所在院系制度建設的效果,從多方面折射出高等教育質量管理的現狀,給進一步提升高等教育質量作出參照。
(1)我國大學生學習滿意度測評已有充足準備。大學生學習滿意度的測量與評價是學習狀態指標的重要組成部分,是闡明整個大學生學習情況的關鍵性指標之一。2011年,“國家大學生學習情況調查(NCSS)”開始展開全國范圍內的抽樣調查,將滿意度作為測量工具中的重要板塊,形成制度性、周期性的全國大學在校生調查[1]。審視大學生學習滿意度的研究狀況,以具體案例、區域為單位的研究居多,眾多研究結果為研究的繼續深入作出了鋪墊,并意識到大學生滿意度測評應從制度環境與理論認識兩方面得到改善,以理論研究的突破、增強對滿意度極其重要性的認識以及強化學生深度參與來完善對大學生學習滿意度的測量和評價模型的構建[2]。
(2)構建大學生學習滿意度評價模型是我國高等教育頂層發展戰略的體現。我國目前需要建立真正切實有效的大學生學習滿意度的測量與評價制度,并與學習情況、項目評估和制度建設掛鉤,通過滿意度評價的測評反映出大學教學和質量管理,從而有針對性地進行加強和改善。《國家中長期教育改革和發展規劃綱要(2010~2020年)》對人才培養質量提出了要求,強調了其中心地位,指出健全教學質量保障體系和改進高校教學評估的同時,需要從學生角度出發,充分調動大學生學習的積極性和主動性。因此,對學習滿意度的評價模型,不僅是建立學生體驗大學學習過程、狀態的反饋機制,更是在充分貫徹和切實踐行我國教育發展頂層設計的精神要旨。
邏輯模型(logic model)通過邏輯組合的形式系統描述過程、對象以及他們之間的關系,用邏輯圖表直觀呈現系統如何運作,以及將會出現的結果。由于邏輯模型能夠清晰勾勒活動中各項資源的邏輯關系、活動或者事件進程、所產生的結果或者變化以及剖析事件的影響,因而邏輯模型也被視作事件進程的“路線圖”[3]。事實上,邏輯模型是通過框架的形式描繪出項目的實施方向(where)、如何達到目標(how)以及出現的結果(what will show)。與其被視作是一種理論或者是現實呈現的方式,不如說這是一種用于構建資源、活動與結果之間關聯的框架,并且提供了一種規范的方法將計劃、實施、評估和報告整合起來,形成一體化的分析流程。
(1)邏輯模型是高等教育管理中的重要分析框架。在追求“質”的提升的主旋律下,邏輯模型能夠在高等教育領域發揮作用。從項目實施與推進的角度來說,邏輯模型本身即是對項目進程的勾勒,梳理所涉及的各項資源、利益相關者之間錯綜復雜的關系,全面描繪項目進展。從質量管理的角度來說,邏輯模型能夠呈現所發生的高等教育事件的現實結果與長期影響,不但便于檢測是否達到預期目標,而且在監控的同時還起到了一定的預測作用。從評價與問責的角度來說,邏輯模型將資源、事件、進程、結果與影響全部呈現,便能很容易從邏輯框架中追根溯源,并且能夠從結果給予反饋,倒推至過程檢查,從而實現改進[4]。
邏輯模型作為結果導向(results-based)的實證型評價方式,可以在具體集中項目、大型綜合項目、過程評估、組織、具體事件或者產品評估中廣泛使用。它提供了采用邏輯圖表的形式來厘定主要結構和變量的思維方式,對項目的進程與結果進行界定,同時也展示這些變量之間的內在聯系以及對結果產生的影響[5](P105-135)。目前,這種分析框架已經運用在高等教育財政、管理等領域。
從原理來看,邏輯模型能夠很好地切中大學生學習滿意度測評的要旨,通過所呈現的結果來反觀過程,能夠為滿意度的提升和更有效率的大學教與學起到積極作用,幫助決策制定和質量提升。從方法來說,邏輯模型對各種資源和數據的真實客觀性提出了高要求,以實證調查的數據作為輸入資源,利用過程合理推導結果,并且分析直接影響和深遠影響,據此反饋至項目設計、研究假設以及過程改進。
(2)在高等教育評價中使用邏輯模型的優勢。一般意義上講,邏輯模型的主要作用在于計劃、項目管理、評估和交流[6]。在高等教育項目運行與評估過程中,使用邏輯模型能夠有效建立起對該項目的深度認知,整合項目的所有資源與觀測所預期的結果,從而有利于進行理念的傳遞、研究假設、團隊組建以及溝通交流。同時,通過邏輯模型的構建,有利于項目的設計與改進,以幫助平衡項目內外各項資源,并能考慮到各項資源之間的溝通與交流,以避免信息不對稱造成的負面影響[7](P65-72)。
從運行標準來看,邏輯模型是以真實而明確的模型來呈現在不確定條件下,項目會如何運行而產生何種可能的結果,從而驗證是否能解決問題的過程。因此,邏輯模型是建立在對項目有預期績效的基礎上的[7](P65-72)。從結構來看,基本的邏輯模型主要由輸入(inputs)、進程(activities)、輸出(outputs)、結果(outcomes/impacts)這幾個部分構成,由此而產生邏輯關系,構建出邏輯模型框架。輸入(inputs)部分主要涉及目前所擁有資源(人、財、事、物、信息等)的整理,活動進程(activities)包括活動進程與任務安排、參與人員兩部分,輸出(outputs)則呈現通過這項活動會產生什么樣的直接結果,而結果(outcomes/impacts)的部分則更加側重于分析從短期到中長期甚至長期的影響,范圍由點到面,影響力度從微觀到宏觀。
(1)大學生學習滿意度研究由諸多要素組成。調查、測評及研究大學生學習滿意度的各個環節均涉及諸多要素、資源和利益相關者,因而完全有必要利用邏輯模型的優勢將其統合,形成對各類資源的監管,從而進行過程監控和結果評價,并由此形成反饋效應,實現質量管理與持續改進。當然,邏輯模型主要針對大學生的學習滿意度結果建立分析框架,在整合測評相關資源的基礎上,從各個不同的角度建立研究與評估學習滿意度的模型,運用調查數據建立邏輯模型進行分析,揭示現狀并反映影響,為決策制定提供有力的證據。通過實證調查、數據分析而構建的大學生學習滿意度的邏輯模型,證據翔實、過程科學、結論合理,對高等教育的進一步改革具有參考價值。
(2)在邏輯模型下統合大學生學習滿意度的要素。從本質上說,邏輯模型是用來完成對項目的邏輯梳理與評價的一種分析框架與思維方式,大學生學習滿意度作為高等教育管理中的一個重要命題,可以運用邏輯模型使各要素得到統合,通過邏輯框架完成評價過程。如果把大學生體驗高等教育視作一個整體性過程,學習滿意度測量與評估即是大學生對該過程的自我評價項目,是通過大學生在高等教育過程中的體驗與評價所形成的數據來實現評估,因此可以利用邏輯模型來進行學習滿意度的評價。
邏輯模型具有嚴格的操作步驟,需要遵循輸入(inputs)、進程(activities)、輸出(outputs)、結果(outcomes/impacts)的結構和流程制定邏輯路線圖,將每部分所需的要素歸納整理。而使用邏輯模型進行大學生學習滿意度的相關測評,在遵循普遍意義上的使用程序的同時,還需要考慮其在調查、研究中的規律,以求便于操作并做到有針對性和特點鮮明,使得參與大學生學習滿意度調查和研究的利益相關者能夠很好理解測評及其結果,實現邏輯模型的溝通交流功能。
清楚梳理大學生學習滿意度的內部結構,不僅是設計調查工具的關鍵步驟,也是使用邏輯模型測評的先決條件。梳理大學生學習滿意度的結構,能準確擬定探測出大學生學習滿意度的要素,便于找準測評大學生學習滿意度所涉及的資源,從而便于準確構建測量大學生學習滿意度的邏輯模型。
教師、學生和環境是高等教育教學過程的三大基本因素,這三者之間也形成了一個三角循環的邏輯關系,相互作用、相互影響、相互制約,成為貫穿高等教育始終的教學三要素理論。
在理論支撐的基礎上,沿著大學教學中教師、環境、學生這三條基線作進一步深入的拆解,可以將大學生滿意度首先分為教師教學、環境影響和學生群體這三個方面的一級要素。在教師教學要素下,形成了教學過程和教學關系這兩個二級要素,分別從過程和關系這兩個角度考察滿意度。環境影響要素可以分為硬環境和軟環境,硬環境主要指餐飲、住宿和圖書館這樣的可見設施,而軟環境則主要強調學校用以規范學生的各項規章制度。學生群體的滿意度要素指標從自我影響和他人影響的角度進行劃分,成為自我發展要素和群體關系要素,同時在群體關系要素中,又可以具體從正式群體與非正式群體分別進行考察。通過拆解和整理,我國大學生學習滿意度的內部結構和基本要素便躍然紙上,可據此進行邏輯模型的構建。
按照邏輯模型的使用程序和結構來確認各類變量及內涵是至關重要的環節,關系到模型的建構是否正確,能否準確反映出評估過程的真實性、客觀性和科學性。變量確認的程序是在斯塔夫比姆(Stufflebeam,1983)的CIPP評估進程理論框架下進行,將所有變量分為背景變量(context variables)、輸入變量(input variables)、過程變量(process variables)和結果變量(outcome variables)四種類型,從而形成CIPO結構[5](P105-135)。通過變量類型的確認,可以將評估對象所涉及的資源和過程進行歸類,便于邏輯模型流程的展開。
背景變量是指被評估對象的背景信息,主要以人口統計學方面的信息為主,可以細分為不可遷移特征變量和可遷移特征變量。不可遷移特征變量諸如被測評對象的種族、民族、性別或者社會階層背景,可遷移特征變量則包括家庭住址、年齡、年級等這類隨著地理環境或者時間的改變可以發生變化的特征,并且這類背景變量可以形成學習滿意度的影響因素。
輸入變量是需要在邏輯模型的“輸入”部分呈現的變量,主要指被評估對象已有的前置教育資源和所獲得的教育支持,與其繼續學習和發展緊密相關,同時也是能夠體現學習滿意度測評的具體條目。輸入變量主要在于提供一個系統性的框架,使評估過程能夠盡快進入教育性的程序,從而進入過程變量的環節。
過程變量則與學習滿意度的測量與評估過程相關,包括滿意度測量具體條目、要素、結構在內,并且通過高等教育過程將其得以實現。當然,這部分變量會直接導致教育結果的產生,預期與非預期的結果都會包含在內。
結果變量的出現和確認必然基于前述三類變量及學習滿意度的測量過程,可以將其視作認知和非認知的發展結果,符合布盧姆提出的三類教育目標(技能、認知和情感),并且可以據此將結果變量進行初步分類。同時,結果變量一方面體現教育過程作用后的結果,另一方面為可能會出現的影響(impacts)做鋪墊。
大學生學習滿意度的要素剖析為邏輯模型的運轉提供了測評素材和具體指向,變量認定在體現了邏輯模型運行程序方法論的同時,也完成了針對評估目標作各類變量確認的過程。因而在變量認定之后,運用邏輯模型進行評估進入技術性環節,即通過對象確認在邏輯模型中體現測評過程,并能夠繪制出邏輯模型的流程框架。這個步驟一來將前述的要素和變量根據研究問題形成評估流程(通過箭頭表示),二來幫助在結果變量之后形成評價指標,從而引至影響分析。
確保邏輯模型的評估效果仍然是使用程序的核心,包括模型的內在邏輯效果和外在視覺效果,這不僅僅是便于其發揮溝通交流的作用,更重要的是體現邏輯流程的準確性。因此,對象確認的步驟包括變量組合和評估流程擬定。前者遵循邏輯模型的內部結構,后者以箭頭形式體現,一部分箭頭描述各類變量之間錯綜復雜的關系,另一部分箭頭體現邏輯模型的評估流程。
在對象確認的步驟中,對象應該集中在根據目標所致的結果上,這樣以便于所制定的評估指標是必須的且具有代表性[8]。在這里,邏輯模型的對象確認并不是一開始就根據評估目標進行的步驟,而是在變量認定之后進入技術環節后進行的。其優勢在于強調針對性,和提高結果的可辨認度。
對于測評大學生學習滿意度來說,使用邏輯模型也必然經歷上述所有程序。由于學習滿意度的評估有測量工具(多為調查問卷)做鋪墊,因而在使用邏輯模型時必然參照問卷的外在題目和內在結構,從學習滿意度的結構出發,按照步驟運行邏輯模型。因此,在遵循滿意度結構和邏輯模型內在邏輯的基礎上,形成總體意義上大學生學習滿意度測評的邏輯模型(見圖1)。該模型既可以用做整體滿意度的測評研究,也可以根據滿意度的要素結構劃分做局部或者測量工具中某一條目的具體研究。當然,還可以分類學的視角作具體情況測評,從而有指向性的構建大學生學習滿意度測評的邏輯模型。
大學生學習滿意度測評的邏輯模型勾勒出整體意義上該領域的測評邏輯,不僅清晰呈現了該類評估應有的步驟,并且各項資源也得到整理和歸類,為評估大學生的學習滿意度邁出了堅實的一步。在對整體評估的邏輯模型有所認知和分析的基礎上,以分類學的觀點對大學生學習滿意度進行要素分類,從個人發展、群體收獲、項目績效和機構進展這幾方面構建不同類型的邏輯模型。

圖1 大學生學習滿意度測評的邏輯模型

圖2 大學生個人發展滿意度評價邏輯模型

圖3 大學生群體收獲的滿意度評價邏輯模型

圖4 項目管理基準下大學生學習滿意度評價的邏輯模型

圖5 基于制度建設的大學生學習滿意度評價邏輯模型
從大學生學習滿意度的結構分析可知,個人發展是大學生學習滿意度的重要構成要素,體現出參與調查、評估的大學生對高等教育個人感知的發展變化趨勢,同時也關系到在參與高等教育過程中教育目標是否達成的自我評價。因而對于大學生學習滿意度的個人發展評估,是建立在大學生的自我認知、自我覺醒和自我評價的基礎上。當然,在學習滿意度測評的背景下評價個人發展,是基于自我發展的時間序列,并以參與為導向所形成的個人評估(individual assessment)。其優勢不僅在于更加具體化、針對性地開展學生工作,更有利于建立大學生個人學習滿意度的發展變化數據,同時也能為大學生個人成長檔案袋(portfolio)評估提供材料支撐。因此,以學生個體為變量建立邏輯模型,能夠對學生的滿意度狀態指標進行客觀、綜合的評價(見圖2)。
使用邏輯模型對大學生學習滿意度進行個人發展的評價,便是利用這種分析框架將滿意度調查的具體行為概念化,使具體的調查結果得到整合。邏輯模型的持續評估過程,也是培養學生批判性思維(critical thinking)的過程,符合大學生獲得新知的邏輯思維發展,包括大學生在學習過程中的概念構圖(concept mapping)形成、概念文件(Concept Paper)建立和概念鏈接(Conceptual Linking)的搭建,以此來完善大學生對學習滿意度的正確認知和自我評價[9]。以評估過程的進行和評估結果的導出來給予反饋,一方面是反饋至學生本身的學習過程改進,另一方面是反饋至高等教育人才培養過程的改革。
在大學生學習滿意度的研究中,以人口統計學變量和院校變量作為分析單位,可以對不同的性別、民族、區域、院校、年級、學科等的大學生進行分類,從而分析某一群體或者不同群體之間的差異狀況或者變化趨勢。在分析差異或者趨勢的基礎上,大學生群體內部或者群體之間的學習滿意度評估可以通過邏輯模型進行,不但能夠構建出該群體對于學習滿意度的自我評價狀態評估模型,也能進行同一時期不同群體的狀態對比和不同時期同一群體的發展變化趨勢分析。
圖3所示的評估群體滿意度的邏輯模型中,目標群體的背景信息(包括分類標準、人口統計學信息等)作為內容變量而存在,該群體所接受或者體驗的高等教育成為了輸入變量。在過程部分,被選中的目標群體參與到大學生學習滿意度的調查研究中,與之一起的參與者還有相關教師,共同參與了教學活動。當然,該群體的整體滿意度水平、各要素滿意度水平構成了結果部分的直接數據,與該群體所獲得的教育目標分類下的收獲共同構成結果部分的變量。在影響分析框架中,學習滿意度的群體收獲評估還包括未來趨勢的預測,這是在長期影響的基礎上而得出的。此外,使用時間或者不同目標群體作為中介變量,便能根據目標或任務的不同,構建更多的邏輯模型作出比較研究,分析到位且結論明確,能夠很好地服務于決策制定。
調查某一項目之下的大學生學習滿意度是比較常見的研究內容,通過項目實施前后的對比或者跟蹤研究,獲取該項目是否有利于提高滿意度水平、在哪些方面影響了滿意度水平、未來可能的改進等的數據或者結果。因此,項目管理及其績效對于大學生學習滿意度研究是很重要的部分。無論是從整體系統推進的層面,還是從院校、院系的層面,項目所帶來的滿意度變化值得研究。當然,邏輯模型也適用于基于項目管理的大學生學習滿意度研究,對項目的計劃、管理、運作、審計以及評估過程都能進行有效闡述,并能清楚明確地解釋項目內各種資源的內在聯系和項目試圖達成的目標,以及這兩者之間的聯系[10]。以項目管理為基準,構建出大學生學習滿意度測評的邏輯模型分析框架(如圖4所示)。
項目績效對于項目管理來說既是結果也是關鍵環節,是項目決策者亟待了解的重點內容之一,對于涉及到大學生學習滿意度的項目亦是如此。由于項目管理涉及人、財、事、物、信息等諸多資源,邏輯模型成為梳理這些資源之間關系的紐帶。測評大學生學習滿意度,并以項目績效為研究目標而建立的邏輯模型,能將所有資源對應歸位,并且在學習滿意度調查的統領下進行統合,便于研究項目之下滿意度的數據、教育目標的達成、項目引起的變化和帶來的各種影響。邏輯模型注重項目產生的最終結果,其活動核心是圍繞系統已經產生的績效結果為起點,從中找到績效管理依據,來構建事物層次間的因果邏輯關系,從而達到最終實現最佳績效[11]。
制度建設是基于滿意度效果的測評,是以管理為導向進行的評估,同樣也是從院校特征變量出發對大學生學習滿意度的精細化研究方案。該類評估從學生角度透視制度建設,能夠很好地實現學生視角與制度建設平臺的對接。對制度建設基準下的大學生學習滿意度研究,還可以繼續細分。第一類是對制度環境下整體滿意度和局部滿意度研究;第二類是對整個高等教育系統、對某地區、學校、學科、院系、專業的學習滿意度研究。這兩類研究必須以具體研究問題為切入而構建邏輯模型,從而深入而準確地把握分析框架(見圖5)。
值得說明的是,由于制度建設是一個比較寬廣而難以駕馭的概念,因此在基于制度建設的大學生學習滿意度評價過程中,必須以具體的研究問題作為切入點,以便能夠準確地進行邏輯模型的構建。尤其是在變量認定的部分,以具體問題作引導,將切中要害的變量代入模型框架中。當然,可以利用學習滿意度的結構、要素、調查工具及具體題目將研究問題具體化,分條塊、分階段地做出學習滿意度的測評,從而有效地將大學生學習的滿意度測評和制度建設的成效在邏輯模型中得到融合,形成反饋與互促,最終建構長期良性循環的模型。
[1]史秋衡,郭建鵬.我國大學生學情狀態與影響機制的實證分析[J].教育研究,2012(2):109-122.
[2]韓玉志.大學生滿意度調查應重視的問題——基于美國大學生滿意度調查的思考[J].教育發展研究,2008(11):81.
[3]Rogers,P.J.'Logic models' in Sandra Mathison (ed)Encyclopedia of Evaluation[M].Beverly Hills,CA:Sage Publications.2005:232.
[4]Hernández,Mario.Using logic models and program theory to build outcome accountability [J].Education &Treatment of Children (ETC),February 2000,Vol.23 Issue 1:24-40.
[5]Chatterji,M.,Iyengar,R.,&Koh,N.Logic models as tools for studying comprehensive education constructs.In E.W.Gordon and H.Varenne (Eds.).Theoretical Perspectives in Comprehensive Education-Volume II.New York,NY:Mellen Press,2009:105-135.
[6]Enhancing Program Performance with Logic Models[OL/B].http://www.uwex.edu/ces/pdande/evaluation/pdf/lmcourseall.pdf
[7]John A.McLaughlina,Gretchen B.Jordan.Logic models:a tool for telling your program’s performance story[J].Evaluation and Program Planning,1999(22):65-72.
[8]Ralph Renger and Allison Titcomb.A Three-Step Approach to Teaching Logic Models [J].American Journal of Evaluation,2002,23:493.
[9]Caroline R.Ellermann,Merle R.Kataoka-Yahiro,and Lorrie C.Wong.Logic Models Used to Enhance Critical Thinking [J].Journal of Nursing Education,June 2006,Vol.45,No.6:220-7.
[10]Annie Millara,Ronald S.Simeoneb,John T.Carnevale.Logic models:a systems tool for performance management [J].Evaluation and Program Planning,2001,24:73-81.
[11]劉巧華,等.基于結果的高校專項資金績效管理“邏輯模型”構建[J].財會通訊,2010(12):54.