基于CIPP的應用型高校實踐教學質量評價體系研究與實踐

李 軍

(中國石油大學勝利學院 高等教育研究與評價中心,山東 東營 257000)

伴隨著我國高等教育的應用轉型和分類發展,實踐教學作為培養高素質應用技術人才的重要環節和提升學校辦學水平的主要路徑已經成為諸多應用型高校實現可持續發展的共識。隨之而來的問題是如何評價實踐教學的運行質量和實施成效,以及如何通過評價實現有效反饋并促進實踐教學質量提升。反觀既有的實踐教學質量評價,多數被視為一種鑒定的工具,以結果為導向并將評價結果作為高校評估排名的基本依據。同時,相關理論研究缺乏、評價體系結構復雜且忽視對實踐教學實施過程的評價,從而淡化了教學評價對于改進和提高教學工作質量的價值及意義。實踐教學質量評價的重新審視和體系構建成為必然。

一、CIPP的教育評價模式

CIPP評價是美國學者斯塔弗爾比姆于20世紀60年代在批判泰勒評價模式的基礎上提出的一種基于“過程”和“決策改進”的評價模式。20世紀40年代,泰勒經過“八年研究”正式提出教育評價的概念,指出“評價過程實質上是一個確定課程與教學計劃實際上達到教學目標的程度的過程”[1]7,提出所謂目標評價模式。泰勒評價模式以目標為導向,以對測量結果的描述為特征,重在對教育活動進行總結性評價,即主要考察教育活動的結果是否達到預先設定的教育目標。這種評價有利于對教育活動的成效進行歸納總結,但不利于考察教育活動的整體效能,從而無法根據評價結果,為決策者提出教育活動改進和完善的建議。為此,斯塔弗爾比姆指出,評價最重要的意圖不是為了證明,而是在于改進[1]86;評價是一種核定、獲取和提供敘述性和判斷性信息的過程,這些信息涉及研究對象的目標、設計、實施和影響的價值及優缺點,以便指導如何決策,滿足教學效能核定需要,并增加對研究對象的了解[2]。

學生的發展是教育活動諸要素之間相互聯系、相互影響的結果,更是一個不斷變化和生成的過程?；诮逃顒記Q策改進的考量,斯塔弗爾比姆提出涵蓋背景評價(Context)、輸入評價(Input)、過程評價(Process)和成果評價(Product)的新的評價模式,簡稱CIPP教育評價。背景評價即目標評價,是通過分析教育活動實施方案的背景,判斷活動目標設定的合理性;輸入評價是考察實現活動目標所需要的條件和資源,意在評判活動方案的可行性和效用性;過程評價是對活動實施過程開展的評價,即審視活動過程的運行情況和運行質量;效果評價則是要判斷教育活動的實施效果。后期研究中,斯塔弗爾比姆又將成果評價分解為影響、成效、可持續性和推廣性4個階段,進一步拓展評價結果對于反饋和改進教育活動的作用。顯然,CIPP評價將教育活動全過程納入評價范圍,系統考察教育活動的目標、設計、過程和效果,評價每一個環節是否滿足需要,從而實現了對教育活動全過程實施情況的監控、診斷和反饋,使之具備了動態評價的基本特征,能夠更好地為決策提供信息,便于被管理者采用,以提出下一步的改進策略。在這個意義上,CIPP評價有利于應用型高校整體推動實踐教學改革,亦成為應用型高校構建實踐教學質量評價體系的理論依據和實證基礎。

二、以CIPP評價理論重構實踐教學質量評價體系

根據CIPP評價理論,按照教育活動的整體性和系統性原則,構建涵蓋目標評價、方案評價、過程評價和效果評價4項指標的應用型高校實踐教學質量評價體系,分層次設置各級評價指標的內容和權重。

(一)實踐教學質量評價體系的基本內涵

實踐教學的目標評價,是對實踐教學目標的合理性進行的診斷性評價,目的是明確實踐教學需要做什么。實踐教學目標是實踐教學活動的出發點和歸宿,旨在確定教學目標和教育對象的需求。對應應用型高校的辦學特點,觀測點主要包括:實踐教學目標與理論教學目標的對應程度,體現學科專業特點的程度,與行業企業需求的契合程度,學生對實踐教學目標的理解、認同程度及參與實踐教學的準備程度等。

實踐教學的方案評價,是在目標評價基礎上,對達到目標所需要的且能夠保證的實踐條件、資源以及實踐教學方案的相對優點所作的評價,其實質是對方案的可行性和效用性進行判斷[3],屬于診斷性評價。實踐資源與條件是實踐教學方案制定和實施的基礎與關鍵要素。其主要觀測點包括:收集實踐教學的經費、場所、設備、課程、項目、教材等資源及條件的信息,評估既有的實踐資源和實踐條件能否達成實踐教學目標,確定方案實施所需的外部資源。

實踐教學的過程評價,是對方案實施情況的監督檢查,目的在于調整和改進實施過程,也即方案實施過程中的形成性評價[4]。顯然,過程評價是要了解執行過程中存在的問題和困難,為反饋和實施新的教育決策服務。過程評價的主要觀測點有:實踐課程的時間安排、運行程序、組織形式、實踐場所和儀器設備利用率以及教師的實踐指導情況等。

實踐教學的效果評價,是對實踐教學方案的執行結果與學生的實踐成效進行的測量與評價。目的是全面整體地檢測實踐教學質量,考核判斷實踐教學實施的最終成果,從而提供反饋改進意見,為實踐教學新方案設計提供決策依據。效果評價屬于終結性評價,關注的主要問題是實踐教學目標的達成程度,要能判斷出哪些實踐目標已經達成,哪些實踐目標尚未達成。如果實踐目標未達成,甚至出現了“負效應”(即非預期效果),要能診斷出是實踐教學目標本身的問題,還是方案設計或者實施過程中的問題。其主要觀測點包括:實踐教學目標的達成程度、實踐單位的考核評價以及學生自身的實踐成果等。

如此,實踐教學質量評價涵蓋了實踐教學的目標、方案、過程及效果,從而搭建起實踐教學質量評價的閉合循環。在實踐活動動態運行的環境中,進行即時性的組織、控制、評價和反饋,確保實踐教學過程、實際績效與實踐教學目標相一致,并達到改進完善以最大可能地提升學生應用實踐能力的目的。

(二)實踐教學質量評價指標體系的構建

以四項評價構建實踐教學質量評價體系,最終要落實到評價指標和權重的篩選及確認。按照CIPP理論,以四項評價作為一級指標,通過文獻研究法對實踐教學全過程質量評價的相關問題進行梳理,以定性的方式初步遴選20個二級指標。

區分學生、教師、專家三類群體,以其不同的視角設計三種不同的方式對所涉指標進行調研。一是將初步確定的實踐教學質量評價指標內容編制在線問卷,面向在校學生征詢意見,以關鍵特征調查法將學生重點關注的問題補充歸類;二是依據學生調研后優化調整的指標內容,選取不同學科專業背景的理論教師、實踐指導教師和教育管理人員進行座談,進一步總結凝練出25個二級指標;三是邀請學科專家和行業專家,使用專家咨詢法(特爾菲法)對前兩次調研的結果及其指標進行多次論證和評價,以指數法區分各級指標的重要程度,綜合厘定各級指標的相對權重。最終建構實踐教學質量評價指標體系,包括4個一級指標、24個二級指標(見表1)。

教學以學生發展為中心,學生是實踐教學的主體,學生對專業實踐教學目標的認知程度、對專業實踐教學開展情況的滿意度以及通過實踐教學取得的學習成效是高校評價實踐教學質量所應關注的核心問題。以CIPP理念構建的應用型高校實踐教學質量評價體系將以學生作為評價主體,即從學生視角全方位審視、研判、評價應用型高校實踐教學全過程運行情況,使決策者或管理者能夠清晰地認識到所實施的實踐教學在培養學生方面的優勢和不足,并有針對性地不斷改進實踐教學的方案設計和運行程序,以提升實踐教學質量。

表1 基于CIPP模式的應用型高校實踐教學質量評價指標體系

三、實踐教學質量評價體系的實證分析

根據實踐教學質量評價指標體系編制無記名開放式在線問卷,共設計24道題目,面向應用型高校在校本科生施測,以期通過分析問卷的可信性、可靠性和鑒別能力,判斷該指標體系能否達成評價實踐教學質量的目的。

(一)研究方法

1.被試

被試為某應用型高校在校本科生,年齡為18～25歲,年級為大一到大四,分布于工學、理學、醫學、法學、教育學、管理學、文學、藝術學等8個學科門類的28個本科專業。測試共發放1 402份問卷,回收有效問卷1 271份。

2.數據處理

使用數據統計分析SaaS軟件(SPSSAU)對收集到的數據進行統計分析。

(二)數據分析

1.問卷的信度分析

檢驗樣本回答結果是否可靠,即數據是否真實,樣本是否認真回答,回答是否可信等。信度表現的是測驗結果的一貫性、一致性和穩定性。對于一份問卷而言,如果兩個題項都測的是被測者的同一個特征,那么被試在這兩個題項上的得分應當有一致性,即一個得分高,另一個得分也應該高;兩個題項的信度系數越高,表明得分越一致,就越肯定兩個題項確實測的是同一個特征。對該問卷進行信度分析,得出的數據結果見表2、表3。

表2 信度分析數據

表3 折半信度分析

2.問卷的效度分析

檢驗該問卷題項設計是否合理,分析問卷的各個題項準確評價實踐教學質量的程度。效度越高,說明問卷的測量結果與要評價的內容越吻合,反之,效度越低,則說明問卷無法準確評價實踐教學的質量。對該問卷進行效度分析,得到的分析結果見表4。

表4 效度分析數據

3.區分度分析

測量問卷項目的有效和合適性。就是要測量所有題項對于受測者評價能力、教育成就的區分程度和鑒別能力;區分度高的題項,能將不同水平的受測者區分開來,區分度低的項目,就沒有很好的鑒別能力。因此,區分度也被稱為題項的效度,是評價題項質量、篩選題項的重要依據。對該問卷進行區分度分析,得到的數據結果見表5。

4.驗證性因子分析

用于測量因子與測量項(量表題項)之間的對應關系是否與研究者預測保持一致的一種研究方法。本研究主要使用驗證性因子分析判斷問卷的聚合效度和目標評價、方案評價、過程評價及結果評價4個因子間的相關程度,數據結果見表6～8。

(三)數據分析的結果

信度分析結果。信度分析用于研究定量數據回答的可靠性和準確性。從表2可知:信度系數值為0.971,大于0.9,說明研究數據的信度質量很高。針對“項已刪除的α系數”,分析項被刪除后的信度系數值沒有明顯提升,說明24個題項均應保留,進一步說明研究數據的信度水平高。分析項對應的“CITC值”全部高于0.5,說明分析項之間具有良好的相關關系。表3中的折半信度系數值為0.927,大于0.9,也說明研究數據的信度質量很高,可用于進一步分析。

效度分析結果。通過KMO值、共同度、方差解釋率等指標進行綜合分析,以驗證數據的效度水平情況。KMO值用于判斷是否有效度,共同度值用于排除不合理研究題項,方差解釋率值用于說明信息提取水平等。從表4可知,所有研究題項對應的共同度值均>0.4,說明研究項信息可以被有效提取。KMO值為0.973>0.6,意味著研究數據具有很高的效度。4個因子的方差解釋率分別是22.805%,20.656%,16.493%,14.589%,旋轉后累積方差解釋率為74.542%>50%,說明研究題項的信息量可以有效提取出來。

表5 區分度分析數據

**p<0.01

表6 模型AVE和CR指標結果

區分度分析結果。區分度分析目的在于確定問卷研究項目是否有效和合適。其原理是先對分析項求和,進而將其分成高分和低分組(以27%和73%分位數為界),然后使用T檢驗去對比高分和低分組別的差異情況,如有差異則說明量表項設計合適,反之則說明量表項無法區分出信息,設計不合理應作刪除處理。從表5可知,24個題項全部呈現出顯著性差異(p<0.01),意味著總共24個題項均具有良好的區分性,不需要刪除任何題項。

驗證性因子分析。從表6可知,問卷的4個因子分別對應的AVE值均>0.5,組合信度CR值均明顯>0.7;同時表7中的因子載荷系數顯示,4個因子共對應著24個題項,每個題項均呈現出0.001水平的顯著性(p< 0.001),僅一個題項(A1)的標準化載荷系數略小于0.7,結合實踐教學認知目標的必要性,該題項保留;其余題項的載荷系數值均接近或者高于0.8,綜合說明問卷數據具有優秀的聚合效度。

綜上所述,該評價問卷具有良好的信度、效度和區分度,評價指標體系的4個因子之間具有極高的相關程度,可以使用該問卷評價應用型高校實踐教學質量。

表7 因子載荷系數表

表8 因子協方差表

四、應用型高校實踐教學質量評價體系的實踐應用

使用樣本數據,綜合評價應用型高校實踐教學質量和成效。數據分析方法采用模糊綜合評價法,根據模糊數學的最大隸屬原則把學生的定性評價轉化為定量評價,以其清晰的結果解決主觀評價模糊、難以量化的問題,為多因素、多層次影響的應用型高校實踐教學質量做出一個總體評價。

(一)評價指標的評價因素集、評語集和權重集

根據表1,評價因素集為:A={A1,A2,A3,A4,A5,A6},B={B1,B2,B3,B4,B5,B6,B7,B8},C={C1,C2,C3,C4,C5,C6},D={D1,D2,D3,D4}。

評語集設計為四個等級V={V1,V2,V3,V4}={優,良,中,差}。

各級指標權重向量為:

W=(0.150 0, 0.250 0, 0.300 0, 0.300 0)T;

W1=(0.133 3, 0.133 3, 0.200 0, 0.133 3, 0.200 0, 0.200 0)T;

W2=(0.120 0, 0.120 0, 0.120 0, 0.080 0, 0.160 0, 0.160 0, 0.120 0, 0.120 0)T;

W3=(0.166 7, 0.133 3, 0.133 3, 0.166 7, 0.200 0, 0.200 0)T;

W4=(0.266 7, 0.266 7, 0.233 3, 0.233 3)T。

(二)構造隸屬度矩陣

隸屬度矩陣為Ri={ri1,ri2,…,rim},指的是所評價的因素的第i個指標所對應的評語集中的每個V1,V2,…,Vm的隸屬度。rij=Nij/N,其中N為參與應用型高校實踐教學質量評價的總人數,Nij為參與評價的總人數當中,對其中的第i個指標進行評價時,選擇評語為Vj(j=1,2,…,m)的人數。學生評價結果見表9。

表9 1 271名學生對應用型高校實踐教學質量評價的結果

由此可以構建:

(1)實踐教學目標評價的隸屬度矩陣

(2)實踐教學方案評價的隸屬度矩陣

(3)實踐教學過程評價的隸屬度矩陣

(4)實踐教學效果評價的隸屬度矩陣

(三)單因素一級模糊評價

根據公式Ki=Wi*Ri=(wi1,wi1,…,wi1)(ri1,ri2,…,rim)T,運用隸屬度矩陣Ri與前面求得的權重集Wi進行模糊矩陣的復合運算,可得到用隸屬度表示的單因素一級模糊評判結果,進而得到應用型高校實踐教學質量評價的一級模糊評價矩陣為:

(四)綜合評估(二級模糊綜合評判)

運用K與前面求得的權重集W進行模糊矩陣的復合運算,可以得到用隸屬度表示的應用型高校實踐教學質量評價的最后評價(二級模糊綜合評判)結果為P=W*K=[0.314 9 0.451 0 0.202 6 0.031 4]。

結果顯示,有31.49%的可能屬于“優”,有45.10%的可能屬于“良”,有20.26%的可能屬于“中”,有3.14%的可能屬于“差”。根據最大隸屬原則,該高校實踐教學質量評價的綜合評判結果為“良”。

實踐證明,以CIPP的評價理論構建應用型高校實踐教學質量評價體系,能切實尊重學生的主體地位,有效落實以學生發展為中心的教學理念,使實踐教學質量評價能更接近學生的學習感知和實踐體悟,能更真實地反映實踐教學的實際運行情況。這種評價體系既可以評價高校實踐教學整體運行質量,亦可以科學診斷不同專業類型的實踐教學存在的問題,從而更好地監控和保障實踐教學效果,為改進實踐教學、提升人才培養質量提供依據。