高校課程思政綜合評價指標體系構建
——基于CIPP評價模式的理論框架

許祥云，王佳佳

(1.南昌大學 公共管理學院；2.南昌大學 馬克思主義學院，江西 南昌 330031)

一、問題緣起

2016年12月，習近平總書記在全國高校思想政治工作會議上強調，做好高校思想政治工作，要因事而化、因時而進、因勢而新；要遵循思想政治工作規律，遵循教書育人規律，遵循學生成長規律，不斷提高工作能力和水平；要用好課堂教學這個主渠道，思想政治理論課要堅持在改進中加強，提升思想政治教育親和力和針對性，滿足學生成長發展需求和期待，其他各門課都要守好一段渠、種好責任田，使各類課程與思想政治理論課同向同行，形成協同效應。與此同時，教育部黨組頒發《關于學習貫徹落實全國高校思想政治工作會議精神的通知》，提出要把思想政治工作貫穿教育教學全過程，實現全程育人、全方位育人。自此，全國高校紛紛開展課程思政改革與探索，學界也從不同視角展開了一系列研究。

時至今日，課程思政教育理念已在全國高校得以深入貫徹。為了解高校課程思政的開展情況，本課題組于2020年2—3月對全國高校2 497名本科生進行了問卷調查，結果顯示：有93.79%的學生反映教師在學科專業課程教學中會融入不同類型的思政元素，有75.41%的學生認為在學科專業課程教學中開展課程思政有必要性；但也有58.31%的學生認為有一半以上的任課教師不能做到將思政元素自然、有效地融入學科專業課程教學中，且有51.03%的學生認為自己在課程思政教學中的收獲為一般、很小或幾乎沒有，甚至有10.45%的學生認為部分教師生搬硬套式地實施課程思政，干擾了正常教學。這一調查進一步驗證了部分學者的擔憂，即課程思政開展與體系構建過程中存在育人元素發掘不夠、應用不當和教學效果不佳的問題[1]。所以，如何提高課程思政教學效果是當務之急，而建立一套科學的課程思政綜合評價指標體系則是提高課程思政教學效果的有力保障。

二、文獻回顧與CIPP評價模式的引入

(一)文獻回顧

課程思政已然成為近年來國內學界關注的熱點。本研究以“課程思政”為篇名，在中國知網搜索到15 908條記錄，其中涉及高校課程思政的文獻有2 498篇。本研究通過分析現有文獻發現，當前學界主要從課程思政的概念與內涵[2-3]、課程思政的本質[4]、課程思政的功能與價值[5-8]、課程思政與思政課程的關系以及兩者的結合方法[9-10]、高校課程思政的技術路徑[11-12]、高校課程思政建設的問題與對策[13-14]、高校課程思政滿意度評價[15]等方面開展研究，只有極個別學者的研究涉及課程思政的有效性評價、課程思政的績效評價及績效評價指標體系的構建。在有效性評價方面，有學者通過層次分析法初步建立了以課程設計、師資隊伍、學生認知、學生發展、課程考核5個維度為基本框架的評價模型[16]。在課程思政績效評價及其指標體系構建方面，有學者從課程開發、教材建設、教學設計、教學過程、教學效果、思政元素映射6個維度和知識傳授、能力培養、價值引領3個層次上建立了評價體系[17]。還有學者以教學團隊、教學管理、教學特色、教學研究4個一級指標和能力素養、師德師風、團隊構成、課堂教學、課程設計、教學質量、表彰評優、社會評價、教學改革、教學研討10個二級指標為基本框架建立了評價指標體系[18]。

本研究通過分析現有文獻發現，關于課程思政有效性、績效評價及其指標體系構建的研究在2020年才剛剛起步，所構建的指標體系多是基于學生視角的單一評價，或僅僅以學生滿意度的單一結果為依據片面地構建指標體系，并且局限于教學團隊構成、師資素養或水平、課程設計與教學過程、教學考核等方面，忽視了對課程思政背景及目標設置合理性的評判，對課程思政方案設計與實施過程的評價以及對課程思政情境創設、資源投入與教學保障、教師行動能力提升過程、課程思政目標達成度等方面的評價。另外，已有研究指標權重的確定僅限于主觀賦值法，缺乏統計學意義，難以全面、立體、量化地考查高校課程思政的開展情況。

(二)CIPP評價模式的引入

從廣義上講，課程思政就是通過思政課、綜合素養課和專業課“三位一體”的課程體系進行思想政治教育[19]，是特定育人理念支配下的教育教學行動。從這層意義上說，對高校課程思政開展情況進行評價完全屬于教育評價的范疇。

20世紀80年代，教育評價從西方引入我國，并通過不斷的實踐、探索和提升，逐步形成了一系列具有中國特色的教育評價模式，一定程度上推動了我國教育學科的發展和教育事業的進步。在長期的教育評價實踐中，人們借鑒、應用較多的就是CIPP評價模式。CIPP評價模式強調教育評價的改進作用，能夠滿足教育改革活動評價及教育教學效果評價的需要，因此在高等教育各項實踐活動中借鑒CIPP評價模式有著積極的意義[20]。

CIPP評價模式是由美國學者丹尼爾·勒羅伊·斯塔弗爾比姆(Daniel Leroy Stufflebeam)于1967年對泰勒行為目標模式進行反思的基礎上提出的，這一模式由背景評價(Context Evalua-tion)、輸入評價(Input Evaluation)、過程評價(Process Evaluation)和結果評價(Product Evaluation)4項評價活動組成(見圖1)，充分體現了評價的發展性功能。其中，背景評價旨在分析育人環境、明確教育需求，是對教育環境的影響進行評價；輸入評價是對達到目標所需的資源、條件等進行評價，使實施方案切實可行；過程評價主要考查教師與學生的表現以及教師在方案實施過程中是否進行了連續的監督、檢查和反饋，是否對方案進行了持續的修正和改進；結果評價是對方案實施結果、成效及影響的評價，并以此確定目標是否繼續、修改或完善[21]。由此可見，CIPP評價模式具有過程性、反饋性和全覆蓋3個顯著特征，對高校課程思政教育活動的評價具有重要的借鑒意義。

圖1 CIPP評價模式

基于以上分析，本研究對高校課程思政開展情況進行綜合評價的內容框架包括以下4個方面。一是系統分析高校開展課程思政所處的內部個性環境。二是對高校開展課程思政所需并投入的各類教學資源、經費等條件以及教師開展課程思政的能力進行綜合評價。三是審視教師課程思政的教學方案、教學過程與表現以及學生學習過程與表現等。四是對課程思政目標的達成度、課程思政教育活動的效果及影響等進行綜合性評價，以判斷課程思政教育活動的效果與影響。

三、指標的選取與檢驗

(一)技術路線

對高校課程思政教育活動進行綜合評價，評價指標體系的構建是關鍵。為了確保所選指標的精準性、適用性和覆蓋度，本研究確立了指標選取與檢驗的6個步驟。一是對2016年12月習近平總書記在全國高校思想政治工作會議上的講話、教育部黨組發布的《關于學習貫徹落實全國高校思想政治工作會議精神的通知》以及教育部印發的《高等學校課程思政建設指導綱要》等政策文本進行分析。二是以政策文本和CIPP理論框架為基礎，確立質性訪談主題并開展質性訪談。三是梳理政策文本的核心語句和質性訪談記錄，初選評價指標。四是利用德爾菲法對初選指標進行理論飽和度檢驗，同時進行精簡和篩選。五是利用精簡和篩選后的指標編制問卷并進行測試，收集各指標的重要性數據。六是利用指標重要性數據，探索指標體系的內在結構，對指標體系進行區分度、結構效度和信度檢驗。具體技術路線見圖2。

圖2 指標選取與檢驗的技術路線

(二)質性訪談與指標框架建立

在對政策文本進行分析的基礎上，本研究基于CIPP評價模式，圍繞“背景、輸入、過程、結果”4項評價活動確立了質性訪談主題，具體包括以下4個方面。一是背景性主題，包括高校課程思政教育活動的政治環境、政策環境和制度環境等。二是輸入性主題，包括高校課程思政的條件、資源、經費支持及教師能力基礎等。三是過程性主題，包括高校教師課程思政的教學方案、教學過程與師生的表現等。四是結果性主題，包括課程思政的教學效果與課程影響等。

依據上述訪談主題，課題組對部分高校領導，教務處、督導與評估中心、二級學院、系或專業的負責人以及部分實施課程思政教學的教學名師、普通教師等共計23人進行了一對一的訪談。本研究在參考政策文本核心語句的基礎上以“背景、輸入、過程、結果”為理論框架對訪談記錄中的相關語句進行分類梳理，初步提煉了47項關于高校課程思政教育活動綜合評價的描述性指標；然后通過德爾菲法進行內容效度檢驗，即將47項描述性指標背靠背地征詢了包括高校課程管理研究專家、課程思政任課教師、教務人員、教學督導人員在內的16位專家學者和相關工作人員的意見，對所選指標進行理論飽和度檢驗，在沒有發現新的描述性評價指標后，形成了高校課程思政綜合評價描述性指標框架(見表1)。

表1 高校課程思政綜合評價描述性指標框架

(三)指標區分度與信效度檢驗

本研究首先以表1中的47項描述性指標作為觀測指標編制問卷(量表)，對指標的重要性進行判斷。每個觀測指標均以陳述句形式出現，對應設置“非常重要、比較重要、一般性重要、不重要、非常不重要”5個答案選項，并分別賦值“5、4、3、2、1”，構建了一份李克特五點量表。其次，本研究通過“問卷星”在全國范圍內隨機發放問卷。測試對象為高校教務部門、督導評估部門、學工部門的工作人員，二級學院的院系領導、專職教師、專職輔導員、其他職員共7類人員。最后，本研究在剔除無效問卷后，得到有效問卷753份。測試樣本分布如表2所示。

本研究利用SPSS26.0統計軟件，首先使用極端組法對47項指標進行項目分析以檢驗指標的區分度。經檢驗，本研究刪除了第7、11、13、14、21、22、40題共7個題項。余下的40個指標均有較好的區分度(t值介于9.566～21.942；P<0.000)。其次，本研究采用主成分分析法對40個指標進行了3次探索性因子分析，刪除第17、45題2個題項后，共提取了4個公共因子(KMO值為0.939，P<0.000)。38個指標的因子載荷及歸屬符合預設要求，而且4個公共因子所納入的指標內涵驗證了“背景、輸入、過程、結果”四維結構劃分的合理性(詳見表3)。最后，本研究再次采用主成分分析法(固定因子數量)分別對4個公共因子(維度)逐個進行因子分析，在“背景、輸入、過程”中各提取了3個公共因子，在“結果”中提取了2個公共因子(各維度的KMO值分別為0.937、0.921、0.918、0.868，均大于0.800，且P<0.000)。4個維度在提取公共因子后的累積方差均在70%以上，且38個觀測指標層次分明地被分別納入11個不同因子(二級指標)中，同一因子中的各個觀測指標均指向某一特定概念內涵，而且可以較好地進行命名。α內部一致性信度檢驗結果顯示，各因子的信度系數均在0.750以上，4個維度的α信度系數均大于0.900，且刪除本項的α系數均小于對應維度的α系數(見表3)。由此可知，由38個觀測指標所組成的指標體系具有良好結構效度和內部一致性。

表2 指標重要性測試樣本分布(N=753)

表3 指標體系的結構效度與信度檢驗

(續表)

四、指標權重的確定

(一)數據獲取

為了獲得指標體系的表現性數據，本研究利用上述經過檢驗后的38個指標構建了一份李克特五點量表(量表題項與表8的觀測指標相同)，對應設置“非常符合、比較符合、一般性符合、不符合、非常不符合”5個答案選項，并分別賦值“5、4、3、2、1”，然后利用“問卷星”在全國高校任課教師中進行隨機發放，在剔除未開展課程思政教師的問卷及無效問卷后，共保留有效問卷1 192份。調查樣本分布見表4。

表4 指標權重測試樣本分布(N=1 192)

(二)指標賦權

1.方差貢獻率與因子得分系數計算。本研究利用所獲取的1 192份樣本數據對量表進行驗證性因子分析(限定因子數為4)。38個指標依因子負荷大小分別歸入4個因子(維度)，且各維度歸入的觀測指標符合前文設計。表5為4個因子(維度)的解釋總方差(限于篇幅，省略了旋轉因子矩陣及其因子載荷ai值表)，由表中各因子所歸入的指標內涵可知，因子1、因子2、因子3、因子4分別對應“過程、輸入、結果、背景”4個維度，其方差貢獻率分別為20.533%、19.270%、15.016%、14.040%，累積貢獻率為68.860%，大于60%，符合統計要求。本研究在對38個觀測指標進行因子分析的過程中，在SPSS對話框中勾選“顯示因子得分系數(D)”，即可計算出38個觀測指標(X1～X38)在4個維度上的因子得分系數(詳見表6)。

表5 解釋的總方差

表6 因子得分計算

表7 指標權重賦值

(續表)

五、研究結果

(一)指標體系的構成

綜合前文的分析與計算，本研究構建了高校課程思政綜合評價指標體系。這一評價指標體系由4個一級指標、11個二級指標和38個觀測指標構成。根據測量句式的要求，本研究對最終保留的38個指標按量表的測量句式進行了轉換，且由評價者對被評高校或被評教師的課程思政教學現狀進行逐項考察后，依據實情按五級梯度計分制對各觀測指標(Xi)進行計分，具體劃分為“優(A=90～100分)、良(B=75～89分)、中(C=60～74分)、較差(D=45～59分)、差(E=0～44分)”5個等級(見表8)。

表8 高校課程思政綜合評價指標體系

(續表)

(二)指標體系使用方法說明

高校課程思政綜合評價指標體系可視情況并根據需要用于總體評價和個體評價，具體方法如下。

1.總體評價。總體評價即對高校或二級學院層面的課程思政教育教學活動情況進行綜合評價。評價者需同時采用“背景評價(C)、輸入評價(I)、過程評價(P)和結果評價(P)”4個一級指標、11個二級指標和38個觀測指標來進行綜合評價。各一級指標得分計算式如下：

(1)

(2)

(3)

(4)

上式中的Xi為評價人對Xi項目的評分值。總體評價的總分計算式為(百分制)：

(5)

2.個體評價。個體評價即對教師個體開展課程思政的教學情況進行評價。評價者只需同時采用“過程評價(P)和結果評價(P)”2個一級指標、5個二級指標和19個觀測指標進行評價即可。各一級指標的得分計算式可由式(3)(4)進行轉換，具體如式(6)(7)所示：

(6)

(7)

同理，Xi為評價人對Xi項目的評分值。個體評價的總分計算式為(百分制)：

(8)

六、相關討論與不足之處

(一)討論

1.關于CIPP評價模式理論框架的適用性。本研究基于CIPP評價模式所建立的高校課程思政有效性評價指標體系通過了區分度、結構效度和信度檢驗，驗證了“背景評價、輸入評價、過程評價和結果評價”4個維度劃分的合理性，且11個二級指標均具有良好的結構效度和內部一致性，這充分說明CIPP評價模式的理論框架適用于高校課程思政綜合評價指標體系的構建。

2.關于指標體系的覆蓋度與關注面。本研究觀測指標的選取以質性訪談結果為基本依據，并充分參考了教育部《高等學校課程思政建設指導綱要》等政策文件的基本要求，所選觀測指標涵蓋了《高等學校課程思政建設指導綱要》所提出的“課程思政建設目標要求和內容重點”，并且全面貫徹了習近平總書記在全國高校思想政治工作會議上的講話精神和教育部黨組《關于學習貫徹落實全國高校思想政治工作會議精神的通知》精神，所以具有較好的覆蓋面和廣泛的關注度。高校課程思政綜合評價指標體系適用于各類高校、各學科專業課程思政教學的綜合評價。使用者通過對指標體系4個維度的取舍，可分別對單位(高校)和個人(教師)的課程思政教學情況進行綜合評價。

3.關于評價指標的適用性。本研究所構建的指標體系不僅關注政治環境、政策環境、制度環境等背景性指標，也關注教學資源、能力基礎、經費支持等輸入性指標，還關注了教學方案、教師教學與表現、學生學習與表現等過程性指標以及教學效果和課程影響等結果性指標。從這11個方面的二級指標來看，該指標體系既關注了形成性評價，也關注了結果性評價，能夠比較系統、完整地反映高校課程思政教學的基本狀態，具有較好的適用性。

4.關于4項評價活動的側重點。從指標體系的構成及其權重分布來看，過程評價至關重要(權重占39%)，是4項評價活動的重點，這凸顯了高校廣大教師和教育工作者對“過程評價”的關注，尤其關注其中的“教師教學與表現”；當然輸入評價也同樣受到重視(占28%)，尤其是其中的“教學資源”；在背景評價中，學校“政治環境”的創建所占權重最大。

5.關于評價的實踐問題。本研究所構建的是一個量化的評價指標體系，但在具體評價實踐中，評價者不應將量化評價結果(得分)絕對化，不宜簡單地以量化評價結果作為教師課程思政教學活動評價的唯一依據，應當堅持定量評價與定性評價相結合，使評價結果更具可信度和說服力。

(二)研究不足

本指標體系是基于政策文本分析、質性訪談和統計分析等方法構建而成的，可能會由于政策文本分析的主觀偏差、質性訪談資料整合的疏漏、樣本數據的局限性等導致指標提取的失當或指標權重賦值的偏誤，對此，有待今后做進一步的實證檢驗和修正。