基于質(zhì)量工程統(tǒng)計(jì)技術(shù)的課程評價方法探索

錢曉耀， 孫長敬， 劉 輝

（中國計(jì)量大學(xué)質(zhì)量與安全工程學(xué)院，杭州310018）

0 引 言

工程教育專業(yè)認(rèn)證標(biāo)準(zhǔn)提倡以學(xué)生成果為導(dǎo)向的教育理念，即教學(xué)設(shè)計(jì)和教學(xué)實(shí)施的目標(biāo)是學(xué)生通過教學(xué)過程最后所取得的學(xué)習(xí)成果，學(xué)習(xí)成果包括學(xué)生所知、所了解的知識，并能應(yīng)用于實(shí)際的能力，和可能涉及的職業(yè)道德、社會責(zé)任等社會價值觀或創(chuàng)新設(shè)計(jì)、管理與經(jīng)營的專業(yè)基本素質(zhì)。在實(shí)施卓越工程師教育培養(yǎng)計(jì)劃與工程教育專業(yè)認(rèn)證等項(xiàng)目中強(qiáng)調(diào)了培養(yǎng)目標(biāo)、課程體系、教學(xué)活動設(shè)計(jì)及效果評價為一體［1］。

克龍巴赫（Cronbach L）認(rèn)為，用于改進(jìn)工作的形成性評價的作用遠(yuǎn)比總結(jié)性評價重要得多，“評價能完成的最大貢獻(xiàn)是確定教程需要改進(jìn)的地方”［2］?，F(xiàn)有課程教學(xué)中對課程考試及課程評價問題沒有提及具體操作方案，且也研究不夠，通常只是把考試作為學(xué)生課業(yè)考核的手段，忽視了對考試數(shù)據(jù)的分析、統(tǒng)計(jì)及應(yīng)用到改進(jìn)活動。本文從課程質(zhì)量評價與持續(xù)改進(jìn)的角度引入質(zhì)量工程統(tǒng)計(jì)技術(shù)，在課程教學(xué)環(huán)節(jié)過程中引入QC統(tǒng)計(jì)方法和工具，通過統(tǒng)計(jì)分析學(xué)生考試成績的信息來評價學(xué)習(xí)情況與課程目標(biāo)實(shí)現(xiàn)的程度，期望為課程教學(xué)活動中質(zhì)量改進(jìn)提供有效的信息。

1 課程質(zhì)量評價方法

課程是教育教學(xué)活動的核心載體，一門課程的教學(xué)評價通常包括兩個層面：①針對每項(xiàng)教學(xué)活動，設(shè)計(jì)單獨(dú)的評價指標(biāo)或評價標(biāo)準(zhǔn)；②整個課程的評價方案，要求按照教學(xué)目標(biāo)和學(xué)習(xí)活動的權(quán)重，加權(quán)計(jì)算每項(xiàng)教學(xué)活動的成績，生成一門課程的最終成績［3］?！白吭焦こ處熃逃囵B(yǎng)計(jì)劃”中為實(shí)施課程質(zhì)量控制，提出了“要針對不同的教育教學(xué)活動、不同的質(zhì)量管理主體、不同的質(zhì)量影響因素以及不同的具體情況，采取不同的質(zhì)量管理辦法，從而達(dá)到質(zhì)量管理效果的客觀、準(zhǔn)確和公正”［4］。

現(xiàn)階段針對課程教學(xué)質(zhì)量評價多關(guān)注考試試卷質(zhì)量分析上，運(yùn)用教育測量學(xué)、教育統(tǒng)計(jì)學(xué)等現(xiàn)代教育技術(shù)理論對試卷進(jìn)行測量分析，反映試卷命題質(zhì)量和評估考試本身的質(zhì)量，同時通過試卷分析結(jié)果了解學(xué)生的知識、技能的掌握運(yùn)用情況，對后續(xù)改進(jìn)教學(xué)方法、提高教學(xué)質(zhì)量提供信息。根據(jù)經(jīng)典測驗(yàn)理論（CTT），對試卷的客觀標(biāo)準(zhǔn)是符合教學(xué)大綱要求、難易程度適中、區(qū)分優(yōu)劣程度較強(qiáng)、覆蓋面較廣、成績呈正態(tài)分布，試卷定量分析采用對試卷成績及各試題分?jǐn)?shù)統(tǒng)計(jì)，繪制成績分布曲線，進(jìn)行信度、效度、難度和區(qū)分度的定量分析與計(jì)算［5-6］。上述方法對考試成績信息的利用是不夠的，在目標(biāo)與達(dá)成的統(tǒng)計(jì)分布及根因分析不足，在工程教育專業(yè)認(rèn)證、“卓越工程師教育培養(yǎng)計(jì)劃”質(zhì)量保障體系中對教學(xué)質(zhì)量評價也沒有規(guī)定采用何種評價方法和工具。

2 基于質(zhì)量工程統(tǒng)計(jì)技術(shù)的課程質(zhì)量評價方法

課程教學(xué)活動是由設(shè)定目標(biāo)、教學(xué)設(shè)計(jì)、結(jié)果考核和效果評價等過程組成，評價教學(xué)效果和控制教學(xué)質(zhì)量貫穿了整個教學(xué)活動過程，考試成績是作為考核學(xué)生學(xué)習(xí)情況的一部分，考試結(jié)果由于個體差異又體現(xiàn)了成績不一致，因此從統(tǒng)計(jì)學(xué)角度來看成績分布、方差大小、偏畸及趨向等統(tǒng)計(jì)量包含有豐富的質(zhì)量信息，應(yīng)用質(zhì)量工程統(tǒng)計(jì)技術(shù)能分析、衡量考試成績目標(biāo)的達(dá)成程度，為實(shí)施持續(xù)改進(jìn)創(chuàng)造條件［7］。

在質(zhì)量控制技術(shù)中有兩個關(guān)鍵環(huán)節(jié)：質(zhì)量控制系統(tǒng)的設(shè)計(jì)、質(zhì)量工程統(tǒng)計(jì)技術(shù)的選用。為支撐人才培養(yǎng)與質(zhì)量保障，設(shè)計(jì)質(zhì)量控制系統(tǒng)首先要確定課程目標(biāo)，依據(jù)專業(yè)課程體系與畢業(yè)要求進(jìn)行需求分析，進(jìn)而建立課程目標(biāo)模型并量化指標(biāo)，作為后續(xù)質(zhì)量評價的依據(jù)；接著在開展教學(xué)活動中實(shí)施教學(xué)監(jiān)控與考核，應(yīng)用質(zhì)量工程統(tǒng)計(jì)技術(shù)對試卷成績分析，其目的：①判斷學(xué)習(xí)效果達(dá)成情況；②為新一輪教學(xué)方式改善做縱向分析，質(zhì)量改進(jìn)是循環(huán)式進(jìn)行的。試卷成績分析過程，對成績統(tǒng)計(jì)分布進(jìn)行可行度和顯著性分析，采用直方圖獲取數(shù)據(jù)平均水平與偏差并判斷總體質(zhì)量分布情況，假設(shè)檢驗(yàn)和方差分析對不同樣本進(jìn)行顯著性水平進(jìn)行檢驗(yàn)，判斷總體成績間變化；然后，為評價和尋求質(zhì)量改進(jìn)，按分層法量化評價指標(biāo)統(tǒng)計(jì)成績分布，依據(jù)課程目標(biāo)的三維度繪制雷達(dá)圖來描述所要評估不同樣本目標(biāo)達(dá)成程度或改進(jìn)績效，以便為后續(xù)評估和改進(jìn)措施提供依據(jù)。設(shè)計(jì)課程質(zhì)量控制系統(tǒng)見圖1。

圖1 課程質(zhì)量控制系統(tǒng)分析過程流程圖

3 課程質(zhì)量評價過程設(shè)計(jì)及應(yīng)用

以質(zhì)量管理工程專業(yè)開設(shè)的電器產(chǎn)品質(zhì)檢技術(shù)課程為例，引入QC 統(tǒng)計(jì)方法和工具分析試卷評價學(xué)生的學(xué)習(xí)效果和能力的達(dá)成程度。

3.1 課程目標(biāo)設(shè)計(jì)

產(chǎn)品檢驗(yàn)是產(chǎn)品質(zhì)量控制的一個組成部分，課程中涉及產(chǎn)品質(zhì)量檢測技術(shù)、質(zhì)量信息處理方面知識點(diǎn)的學(xué)習(xí)，按照課程體系結(jié)合畢業(yè)要求制定課程任務(wù)和目標(biāo)。

（1）課程知識目標(biāo)。通過本課程的學(xué)習(xí)，使學(xué)生系統(tǒng)獲得電器產(chǎn)品檢驗(yàn)的基本要求、檢驗(yàn)手段等方面的知識。

（2）課程能力目標(biāo)。培養(yǎng)學(xué)生正確理解標(biāo)準(zhǔn)、正確執(zhí)行標(biāo)準(zhǔn)的職業(yè)核心能力，具備電器產(chǎn)品質(zhì)量檢驗(yàn)系統(tǒng)的設(shè)計(jì)和操作能力。

（3）課程素質(zhì)目標(biāo)。學(xué)生能夠協(xié)作承擔(dān)產(chǎn)品質(zhì)量檢驗(yàn)工作，并保證數(shù)據(jù)的準(zhǔn)確性，具備在企事業(yè)單位從事質(zhì)量檢驗(yàn)、學(xué)習(xí)溝通、創(chuàng)新批判思維、創(chuàng)新設(shè)計(jì)和分析的職業(yè)素養(yǎng)。

根據(jù)課程任務(wù)和目標(biāo)分解成課程知識目標(biāo)、課程能力目標(biāo)、課程素質(zhì)目標(biāo)等下設(shè)的子目標(biāo)，并以此建立三維度模型（見圖2），目的是為了展開課程子目標(biāo)與知識點(diǎn)分解。

圖2 課程目標(biāo)的三維度模型圖

建立測量標(biāo)準(zhǔn)，其依據(jù)是根據(jù)課程目標(biāo)三維度模型中子目標(biāo)與各教材章節(jié)對應(yīng)關(guān)系建立矩陣表（見表1），按章節(jié)量化目標(biāo)。

表1 課程章節(jié)支撐課程目標(biāo)實(shí)現(xiàn)的矩陣關(guān)系

3.2 實(shí)施過程設(shè)計(jì)

質(zhì)量管理工程專業(yè)在實(shí)施卓越工程師教育培養(yǎng)計(jì)劃試點(diǎn)班上對課程教學(xué)方式進(jìn)行了改革，具體做法在教學(xué)設(shè)計(jì)時安排認(rèn)知實(shí)習(xí)4 周在授課學(xué)期前的暑期進(jìn)行，實(shí)習(xí)單位為質(zhì)量技術(shù)監(jiān)督部門和企業(yè)從事質(zhì)量、計(jì)量檢測工作的部門，通過認(rèn)知實(shí)習(xí)使學(xué)生了解質(zhì)量檢驗(yàn)、計(jì)量檢定的工作流程、相關(guān)標(biāo)準(zhǔn)的運(yùn)用、檢驗(yàn)/檢定工作操作和編寫報告。學(xué)生認(rèn)知實(shí)習(xí)后再進(jìn)行電器產(chǎn)品質(zhì)量檢測技術(shù)課程的理論知識學(xué)習(xí)，課程實(shí)驗(yàn)中采用設(shè)計(jì)型實(shí)驗(yàn)，要求按認(rèn)知實(shí)習(xí)單位出具報告的形式寫實(shí)驗(yàn)報告。采用上述教學(xué)方式改革后，運(yùn)用質(zhì)量工程統(tǒng)計(jì)技術(shù)對2012 級和2013 級電器產(chǎn)品質(zhì)量檢測技術(shù)課程考試成績分布與課程目標(biāo)達(dá)成情況進(jìn)行分析。

3.3 數(shù)據(jù)采集與QC統(tǒng)計(jì)方法運(yùn)用

3.3.1 學(xué)生總成績情況分析

2012、2013 級試卷形式有單項(xiàng)選擇題（20 分）、判斷題（10 分）、填空題（20 分）、簡答題（18 分）、分析題（10 分）、案例分析題（22 分），涉及基本概念及其分析、綜合運(yùn)用等內(nèi)容；覆蓋了大綱要求的各個知識點(diǎn)，分?jǐn)?shù)分配與大綱要求基本一致。

用Minitab質(zhì)量統(tǒng)計(jì)軟件繪制2012、2013 級試卷成績樣本的直方圖（見圖3）以描述學(xué)生總成績分布，從圖中右上角表上可得到統(tǒng)計(jì)量：2012 級試題難度為0.26，標(biāo)準(zhǔn)差7.381 波動較大，圖形略有偏態(tài)，部分同學(xué)成績偏低；2013 級試題難度為0.29，標(biāo)準(zhǔn)差4.813波動小，成績分布略正偏差。

圖3 2012、2013級總成績分布分層直方圖

為驗(yàn)證2012 級、2013 級總體成績是否得到逐步提升，采用假設(shè)性檢驗(yàn)以檢驗(yàn)這2 個成績總體分布均值是否有差異，應(yīng)用Minitab軟件進(jìn)行分析得到圖4 所示結(jié)果。

圖4 成績的區(qū)間圖和箱線圖

從圖4 中可知，P = 0.069 ＞0.05，因此，兩個年級的方差不能呈現(xiàn)顯著性變化，若是等方差的，不能反映出二輪教學(xué)活動的效果有變化；從圖4 中的箱線圖可見，2013 級的均值明顯高于2012 級的成績均值。

為進(jìn)一步驗(yàn)證2013 級的均值是否高于2012 級，再對2 個成績分布進(jìn)行單因子方差分析（見圖5）。由圖5 可見：0.05 ＜P = 0.096≤0.10，因此，兩個年級成績的均值存在一般顯著性的差異。說明教學(xué)活動的效果是否有增長性，可為開展下一輪教學(xué)改進(jìn)提供決策。

圖5 方差檢驗(yàn)

然后，采用分層法分析成績分布，評估學(xué)生成績與課程目標(biāo)的達(dá)成程度，為課程教學(xué)內(nèi)容的改進(jìn)提供方向。

3.3.2 按題型分類分析

（1）客觀題成績分布。從圖6 中可見，2012 級同學(xué)的成績在30 ～44 都有分布，但高分區(qū)人數(shù)比例偏低，學(xué)生們對客觀題的掌握較好；2013 級圖形有偏態(tài)，大多數(shù)同學(xué)的成績分布在40 分以上，高分區(qū)人數(shù)比例偏高，學(xué)生們對客觀題的掌握有所提高。

圖6 2012、2013級客觀題成績分布直方圖

（2）主觀題成績分布。從圖7 中可見，2012 級大部分同學(xué)成績分布集中在30 ～40 分左右，試題的區(qū)分度較好，學(xué)生成績在45 分高分處有分布，在低分20 分處也有相應(yīng)分布；2013 級學(xué)生的主觀題成績分布集中在30 分左右，高分區(qū)人數(shù)比低分區(qū)多，總體分?jǐn)?shù)略低。

圖7 2012、2013級主觀題成績分布分層直方圖

3.3.3 按章節(jié)分類分析

表2 所示為從2012、2013 級考試成績分布中提取不同章節(jié)分?jǐn)?shù)統(tǒng)計(jì)的結(jié)果。

為評價學(xué)生對課程各章節(jié)學(xué)習(xí)和掌握情況，需將課程內(nèi)容中的各章節(jié)建立課程目標(biāo)（見表1），圍繞目標(biāo)組織設(shè)計(jì)教學(xué)內(nèi)容、教學(xué)方式、實(shí)踐教學(xué)和考核，因?yàn)橹握n程內(nèi)容各章節(jié)的重要度是不同的，實(shí)現(xiàn)教學(xué)目標(biāo)的手段、考核內(nèi)容的比重也應(yīng)不盡相同，設(shè)置表1矩陣關(guān)系中權(quán)重系數(shù)強(qiáng)度：★★★—強(qiáng)相關(guān)0.9；★★—相關(guān)0.6；★—弱相關(guān)0.3。

表2 各章節(jié)分?jǐn)?shù)統(tǒng)計(jì)表 %

在上述統(tǒng)計(jì)數(shù)據(jù)的基礎(chǔ)上按圖2 三維模型進(jìn)行評價，按表1 及表2 定量計(jì)算3 個維度對應(yīng)子目標(biāo)的分值結(jié)果見表3，將2 個年級課程目標(biāo)達(dá)成情況繪制成雷達(dá)圖（見圖8），以此進(jìn)行比較和分析。

表3 目標(biāo)達(dá)成定量值

圖8 課程目標(biāo)達(dá)成度雷達(dá)圖

從圖8 比較來看，2013 級在課程掌握能力優(yōu)于2012 級，對第4 ～5 章掌握程度更好；在課程知識方面，2013 級在第3 章與第5 章掌握程度較好；在課程素質(zhì)方面，2013 級在第4 章掌握程度更好；對2012 級而言，其在課程知識方面掌握程度超過了2013 級，對第1 ～2 章的基礎(chǔ)知識掌握扎實(shí)；在課程素質(zhì)方面，2012 級的優(yōu)勢也體現(xiàn)在1 ～2 章；而在課程能力方面，2012 級均低于2013 級。由此可見，2013 級同學(xué)對于知識的掌握具有全面性，能活學(xué)活用，將課堂所學(xué)知識轉(zhuǎn)變?yōu)檎n程中獲得的個人能力；而2012 級同學(xué)對知識的掌握存在局限性，1 ～2 章的知識掌握較好，然而其他章節(jié)的掌握程度對比2013 級看來較弱。

上述結(jié)果為下一輪的改進(jìn)呈現(xiàn)了清晰的方向，從2012 級學(xué)習(xí)效果來看課程能力偏弱，2013 級對這方面針對性的改進(jìn)后課程能力提高，而且3 個維度都較均衡，同時也看出2013 級成績均值還不夠高，再下一輪教學(xué)改進(jìn)措施應(yīng)聚焦于提高教學(xué)手段與提升學(xué)生學(xué)習(xí)主動性方面。

4 結(jié) 語

通過運(yùn)用質(zhì)量工程統(tǒng)計(jì)技術(shù)對課程考試試卷的分析，找出循序改進(jìn)課程教學(xué)過程中的問題及因果關(guān)系，為改進(jìn)下一輪教學(xué)活動并“精準(zhǔn)發(fā)力”提供有力的依據(jù)，同時也為評價課程目標(biāo)或標(biāo)準(zhǔn)達(dá)成提供保障。