基于多元回歸方法的高職實訓課程效能評價實證分析

吳志華?楊瑩

摘 要 以5所高職院校樣本為數據來源研究高職實訓課程效能水平。采用多元回歸技術，從課程教學因素和背景因素兩個角度出發研究實訓課程對高職學生實踐能力發展的影響。結果表明：在課程教學層面，實訓課程物力條件對課程效能影響最大；在學生背景層面，學生高考入學成績與學生職業能力發展無顯著相關性。此外，在提高學生職業能力進步幅度方面，不同學校間相同專業存在明顯差異；增值評價結果與一般測評結果存在較大差異。

關鍵詞 效能評價；高職院校；實訓課程；多元回歸

中圖分類號 G712 文獻標識碼 A 文章編號 1008-3219（2015）08-0056-05

近些年，高職院校越來越重視實訓課程建設，重要舉措之一就是加大實訓課程資金投入。但這種投入能否取得預期效果，需要科學的評價。以效能評價對課程進行評估是一種較為科學、有效的評價方法。課程效能評價是指在一定投入條件下，課程對學生產生影響程度的價值判斷[1]。與傳統課程評價不同，這種評價不僅考慮課程的“產出”，還要計算課程的投入量和其他影響因素，以使評價更加客觀、科學、公正。效能評價在教育領域的應用正逐漸受到關注，已有學者做了這方面的嘗試性研究[2]，但把效能評價應用到課程評價的研究還鮮有涉及。本研究以“凈影響”理論為框架，運用多元回歸技術建立高職實訓課程效能評價模型，旨在為高職院校專業實訓課程提供科學的評估方法和檢測實踐樣本。

一、課程效能評價的理論基礎及相關問題

課程效能評價的理論基礎就是“凈影響”思想，其源于科爾曼（1966）的研究結論，學校課程對學生學業成績影響是有限的[3]。這種思想認為，學生的發展是受多方面因素影響的，除課程教學因素外，還有學校環境因素和家庭經濟狀況、父母的學識水平等因素。這種思想下的評價與一般的課程評價分析模型不同，屬于教育生產函數模型。“凈影響”評價就是將課程對學生發展的影響從這些諸多因素中分解出來，進而測量出單一課程實施對學生的進步影響[4]，也就是獲得的“純”課程影響。以此試圖發現不同學校同一課程或同一學校不同課程的學生是否比其他學校或課程獲得相對較大的發展。

在教育研究領域，尤其是在學生的心理和行為表現研究中，由于受個體差異、各種潛在心理變量、環境變量和測量方法等因素的影響，探索行為變量與心理變量、環境變量或其他刺激變量之間的函數關系顯得十分復雜。課程效能評估就歸為這一復雜函數關系中，其需要滿足一個必要條件：將學生個體發展變化與特定的課程或學校聯系在一起。這將涉及統計函數模式有效性問題。比如學生的發展是受多個因素的影響，這些因素的影響是交互的，可能會互相促進，也可能相互干擾。

但這些變量之間卻可能存在類似于某種函數關系的主要關系趨勢。如果用這種函數關系式或函數曲線近似地描述和表示這種主要關系趨勢，就可以近似地解釋諸多變量之間的因果關系，這種方法就是統計學中的“回歸分析”方法[5]。實訓課程效能評價模型就是通過回歸分析法建立回歸方程，找出多種課程影響因素對學生職業能力發展的影響度和影響趨勢，以課程產出——學生職業能力發展為因變量，實訓課程教學和背景因素為自變量，建立自變量對學生能力發展影響的回歸曲線，即課程效能的“回歸模型”。課程效能值應當是學生職業能力實際測量值與考慮課程投入和有效因素后的期望值之差的估計值，即回歸分析中的殘差。

二、研究數據和方法

在遼寧、黑龍江采用分層抽樣方式，抽取5所高職院校。其中，國家示范性高職院校2所，企業創辦的高職院校3所。從中選取共有度大的8個專業：汽車檢測與維修專業、數控設備應用與維修、機械設計制造、模具設計與制造、烹飪工藝與營養、交通運輸、生物技術及應用和計算機設計，每個專業選取兩門實訓課，共16門實訓課程為評測樣本。對參與16門課程的學生、教師隨機抽樣，共選取接受完實訓課程的大三學生1228人和實訓教師78人。

（一）信息收集及方法

評測實訓課程表現的“效能”時，需要收集學生職業能力發展水平和影響因素信息兩大部分資料。在參考“美國職業能力標準”和實地調查基礎上，經T檢驗和因子分析，構建了高職院校實訓課程效能評價指標體系，包括兩部分：課程效能影響指標（26項）和學生職業能力發展指標（14項）[6]。

1.學生職業能力發展水平

關于職業能力的含義，學者給出明確的解釋“能明確區分在特定工作崗位和組織環境中杰出績效水平和一般績效水平的個人特征”[7]，根據這一含義和參考我國職業能力標準，我們確立了學生職業能力的基本領域范疇。經T檢驗得出學生職業能力發展評價指標，分為能力習得、能力操作、能力物化三個維度共14項指標。操作能力維通過“中級技師資格鑒定”對學生現場操作情況進行打分；能力習得維各指標不能現場打分，將通過訪談由任課教師依據平時上課記錄打分；能力物化維通過學校教務部門協助收集真實數據。每項指標評判分值從低到高依次為1至5分。共觀察、記錄有效學生人數1081人。

2.課程效能影響因素

包含影響課程質量的學校可控因素和不可控因素，即課程教學因素和背景因素。在效能評價時，課程教學可以作為學生能力發展狀況的對照信息，以解釋造成課程效能高低的潛在因素；背景因素會對學生進步有影響，可以將其作為統計分析上的控制變量[8]。

3.背景情況

包括學生入學成績和學校課程背景、學生家庭背景等共10項指標。課程背景包括學校性質（公辦和民辦）、課程開設年限、聲譽、學校地位以及政府支持度。入學成績指標（2個）通過學校記錄查閱并做標準化處理，家庭狀況（3個）和課程背景（5個）數據來源主要通過材料收集、調查表打分。回收有效打分表1244份（1093份來自學生，151份來自教師）。

4.課程教學因素

包括5個二級維度（師資水平、資金投入、管理性因素、教學方法、學生學習主觀性）、16項指標。其中，學習主觀性是指學生對實訓課程學習的態度和愿望。學習主觀性信息在參考Schwarzer，R編制的《一般自我效能感量表》基礎上[9]，通過自編問卷獲取。為避免由于文字理解而造成的偏差，實施過程采用現場填答的形式，共發放問卷1208份，無效問卷14份。其他信息獲取采用材料收集、現場觀察、調查表打分以及訪談法。

（二）數據處理及模型構建

考慮到自變量指標過多不易分析，會影響結果的準確性以及可操作性，本研究將先做兩個模型進行分析。模型一：課程教學因素對學生職業能力發展影響的校正模型；模型二：背景因素對學生職業能力發展影響的校正模型。通過對這兩個模型的分析，最后建立模型三：高職院校實訓課程效能評價模型。

模型一——課程教學因素對學生職業能力發展的影響。多元回歸數學模型為：Y=a1+β1x1+β2x2 +β3x3+β4x4+β5x5。β是偏回歸系數，表示其他自變量不變時，某一自變量變化所引起因變量變化的比率；Y為因變量，指學生職業能力發展；x為自變量，是課程教學因素，x1-x5分別代表物力因素、管理性因素、學生主觀性因素、師資因素、教學及考核因素。

模型二—— 背景因素對學生職業能力發展的影響。多元回歸數學模型為：Y=a2+β6x6+β7x7+β8x8。Y為因變量，指學生職業能力發展；x為自變量，x6-x8分別代表專業課程背景、學生家庭背景和學生入學成績。

模型三—— 高職院校實訓課程效能評價模型。多元回歸數學模型為：Y=a+b1X1+b2X2 。Y因變量，代表學生能力發展；X為自變量，X1、X2分別代表課程教學因素和課程背景因素。

數據統計均采用SPSS10.0軟件進行操作。

三、結果及分析

（一）課程教學因素與課程背景因素對學生職業能力發展有顯著影響

從模型三中各變量的標準化回歸系數來看，課程教學因素為0.577，背景因素為0.363，且影響度均達極顯著水平（P<0.01）。說明課程教學因素、背景因素對職業能力發展有主要影響，課程教學對學生能力發展影響更大。

課程教學因素中有四個因素，即物力因素、師資水平、教學因素、學生主觀性對學生能力發展有較大影響（F值顯著水平P<0.01）。其矯正回歸系數分別為0.534、0.496、0.388、0.294。說明物力因素影響最大，其包括實訓設備、工具、實訓場地、實訓材料，是實現職業活動正常實施的基本物質保障。學生主觀性（自我發展意識、學習態度、努力程度）是影響能力發展的又一個重要因素。調查發現，學生缺乏自我發展意識或無主動性的參加實訓課很容易造成消極、任務式的學習。著名學者McClel.land（1973）認為，社會角色、特質和動機、情感因素，對人的行為與表現起著更為關鍵性的作用[10]。國外許多職業院校提出了用于彌合這個斷點和促進習得者對實踐主動性提升的戰略。一些研究人員也開展了實踐活動干預課程和教學研究，以及為習得者提供更廣泛的接觸職業背景實習和進行有興趣的學習機會[11]。這種以實踐基地和以激發學生實訓激情為基礎的實用性學習情境，可以被視為與學生職業能力發展的積累和經驗息息相關。

背景因素中，從逐步回歸的結果看，只有學校課程背景進入了回歸方程，影響度達極顯著水平（P<0.05），其β值為0.856。說明在學生實訓能力發展中影響明顯的是學校課程背景因素。這些因素對專業課程質量的影響主要體現在課程人力、物力的積淀和經驗的積累上。本研究中，學生家庭背景和學生入學成績變量沒有進入回歸方程，說明學生學習成績和家庭背景對于學生實訓能力發展影響不大。這與以往學生學業評價影響因素的研究有很大差異。如A W. ASTIN的研究顯示，高校學生入學成績與其在校的學習進步有很大關系[12]。再如Thomas.s研究認為，學生的家庭社會經濟地位、性別、種族、所使用的母語和流動性等，對其學習進步有顯著影響[13]。這說明，職業能力發展與學生學業進步不同，后者多依賴于外在的支持和環境的浸染，而前者更多的是依靠自身的動力和專業性活動的參與，與外在背景因素關系不大。這與訪談和現場觀察相吻合，訪談的79名教師中，有77人認為學生入學成績與職業能力發展無關，62人認為家庭背景對學生能力進步影響不大。

（二）效能評價與學生能力水平評價結果有很大差異

以5所高職院校均開設的汽車檢測與維修專業實訓課程為例，進行效能評價。把5所學校汽車檢測與維修專業影響因素數據分別輸入模型三，求出每所學校職業能力發展指標應然得分Y′，然后單獨計算每所學校的實際值Y，見表1。

結果顯示，課程效能評價結果與以學生能力發展結果評價存在很大差異。以學生能力水平絕對值結果進行的學校排序，從高到低依次為G2、G1、S1、S2、S3，而排除投入等影響因素的課程“凈影響”，排序從高到低分別為G2、S1、G1、S2、S3。從中可以看出，S1上升幅度最大，增值0.26，從最后上升到第二位；而G1增值為-0.19，從第二位下降至第三位，實際值Y小于應然值Y′，效能為負數。調查顯示，物力上，國家示范性高職院校獲得的資金投入遠遠高于企業創辦的高職院校，這也說明G1課程還有上升的空間。課程效能增高或降低的原因還需要進一步探尋，以便切實提高實訓課程效能。

（三）同一所學校不同專業實訓課程效能存在較大差異

鑒于各高職院校專業、課程及內容設置差異較大，不宜對各院校所有實訓課程效能進行評價，本研究僅以黑龍江的一所高等職業院校S1校為例，對其8個不同專業實訓課程效能進行評價。把8個專業影響因素數據分別輸入模型三Y=0.899+0.723X1+0.477X2，求出每個專業實訓課程學生職業能力發展應然得分Y′，然后單獨計算每個專業的實際值Y，見表2。

結果顯示，在S1校的8個專業中，有5個專業的能力發展實際值Y大于應然值Y′，表明課程效能都較高。有2個專業的能力發展實際值Y小于應然值Y′。在8個專業中，汽車檢測與維修技術專業的值最大，增值幅度達0.65，而模具設計與制造專業課程效能最低，為-0.32。

四、思考及后續研究

（一）課程效能評價將促進高職學校均衡發展

傳統的僅以學生學習結果為評價指標不利于高職學校的健康發展，對企業辦學校更加不公平。本次調查發現，課程背景因素變化一個單位會影響學生學習結果變化0.477個單位。說明課程效能差距不是完全由課程教學控制的，也有課程背景因素的影響，這些因素包括課程開設年限、學校地位以及政府支持度等。如果對學校課程的評價僅考慮“結果”不考慮“課程背景”差距，對大部分高職尤其是對民企辦的學校是不公平的。這種過于簡單化的評估手段容易導致高職過于關注課程外在的物質投入和政策傾斜，使得高職學校差距越來越大。實行課程效能評價將有效引導學校從重投入、重硬件建設轉到重過程、重教學管理，有助于學校提高效能，避免浪費、不計成本的盲目投入行為，特別是對于那些缺乏政府支持、基礎條件較差而仍然投入了大量工作的高職學校，效能評價利于激發民企辦高職的熱情，促進高職有序、均衡發展，實現效益最大化。

（二）建立效能評價指標，補充和完善現有學校評估指標體系

效能評估是對現有評價指標體系的補充和深化。一個真正高質量的學校課程在傳統評價和效能評價中都是最好的，如G2；反之，一個低水平的學校課程在兩種評價中也仍然是較差的，如S3。當前高職學校課程評估指標體系存在指標單一化，只關注結果不考慮過程，只關注書面成績忽視操作過程和實踐成績的問題。效能評價包含指標多樣化，即包含課程的“產出”，也包含課程的“投入”，還包含課程外的影響因素。但由于效能評估需要的數據極其繁雜，數據處理要求也很高，需要專業團隊參與，因此用這一評價方法完全代替傳統方法也不現實。但這一方法可以作為一種補充，進一步完善現有課程評估體系。目前，效能評價在美國越來越受到政策制定者的青睞并引起了一些學者的支持，政府已要求增加效能生長模型的適當年度進步評估計劃的實施[14]。

（三）以增值評價為導向，促進學校特色發展

效能評價不僅是對學校整體課程的評價，還可以評價學校內部不同課程、不同人群的效能。如本研究分析結果也顯示，部分學校在不同課程上有較高的效能，如有的學校可能整體效能不高，但可能某一課程有較好的效能，這將利于引導高職向多元化發展。

由于課程效能的評價研究極其復雜，加之調查環境所限，本研究還需要進一步充實和完善。后續研究將關注三方面問題：一是擴大信息收集數量和質量。由于目前收集數據機制不完善，從多個地區進行較大范圍的區域性高職實訓課程效能評價信息收集條件尚不完全成熟，所以數據精確性有限，下一步將擴大研究范圍和探討獲取數據可靠性的方法。二是對高職院校課程評價將分類或分級進行，如按照示范性高職院校與非示范性高職院校建立不同的評價模型。三是課程效能評價信息數據的穩定性。需要進行3年以上長期跟蹤才能得出更為合理、真實的結論。

參 考 文 獻

[1]弗蘭西斯科·索夫，楊燕燕.課程效能評價—以“教育效能與教育評價”為例[J].外國教育研究，2005（5）：57-60.

[2]湯林春，梁玲玲. 學校效能評價的嘗試[J]. 上海教育科研，2005（4）：24-26.

[3]Coleman，J.S，ECampbell，C Hobson McPart-land，AMood，F.Weinfeld，and R.York.Equality of Educational Opportunity[Z].1966.

[4]Llaap scheereus，Gees Glas and Sally M.Thomas.Educational Evaluation， Assessment，and Monitioring， a Systemic Approach[M]. Swets & zeitlinger publishers， 2003.

[5]張厚粲，徐建平.現代心理與教育統計學[M].北京：北京師范大學出版社，2009.

[6]楊洋，吳志華. 高職院校實訓課程效能評估指標的構建[J].中國高等教育評估，2011（1）：42-45.

[7][10]McClelland D.C.Testing for Competence rather than Intelligence[J].American Psychologist，1973（ 28） .

[8]薩麗·托馬斯，彭文蓉. 運用“增值”評量指標評估學校表現[J].教育研究，2005（9）：20-27.

[9]Schwarzer，R， Mueller J， Greenglass E.Assessment of General Perceived Self-efficacy on Theinternet：Data Collection in Cyberspace[J].Anxiety， Stress and Copying，1999（3）：145-161.

[11]Bouillion， L. M.， & Gomez， L. M. Connecting School and Community with Science Learning：Real World Problems and School-community Partnerships as Contextual Scaffolds[J]. Journal of Research in Science Teaching， 2001（8）， 878.898.

[12]Alexander W. Astin.Assessment for Excellence： The Philosophy and Practice of Assessment and Evaluation in Higher Education[M]. Second Edition. Rowman & Littlefield Publishers， 2012：42-45.

[13]Thomas.s.Dimensions of Secondary School Effectiveness： Comparative Analysis Across Regions.School Effectiveness and School Improvement，2001（3）：295-296.

[14]Finbarr C. Sloane ， Jennifer Oloff-Lewis， Seong Hee Kim Value-added Models of Teacher and School Effectiveness in Ireland： Wise or Otherwise？[J]. Irish Educational Studies，2003（32）：1， 37-67.