“元評(píng)價(jià)”體系在高職院校學(xué)業(yè)評(píng)估工作中的應(yīng)用研究

《高職高專人才培養(yǎng)工作水平評(píng)估方案（試行）》的實(shí)施，使“以評(píng)促建、以評(píng)促改、以評(píng)、評(píng)建結(jié)合”成為引領(lǐng)職業(yè)教育發(fā)展的導(dǎo)向。然而在高等職業(yè)學(xué)校進(jìn)入高質(zhì)量階段的背景下，學(xué)業(yè)評(píng)價(jià)工作也面臨著提升質(zhì)量的現(xiàn)實(shí)問題，如何監(jiān)督評(píng)估活動(dòng)的質(zhì)量以及如何評(píng)價(jià)評(píng)估的質(zhì)量成為亟待解決的問題。本文基于高職院校內(nèi)涵式發(fā)展的背景下，針對(duì)“元評(píng)價(jià)”體系在學(xué)業(yè)評(píng)估中的應(yīng)用進(jìn)行了探索性研究。

一、高職院校學(xué)業(yè)評(píng)價(jià)中引入“元評(píng)價(jià)”體系的必要性

（一）“元評(píng)價(jià)”體系的應(yīng)用是高職院校學(xué)業(yè)評(píng)價(jià)體系優(yōu)化的方向

以促進(jìn)高等職業(yè)教育優(yōu)質(zhì)發(fā)展為目標(biāo)，《國家職業(yè)教育改革實(shí)施方案》（即“職教二十條”）由國務(wù)院于2019年發(fā)布。建立和完善職業(yè)教育質(zhì)量評(píng)價(jià)體系的目標(biāo)已經(jīng)在文件中得到明確。“元評(píng)價(jià)”又被稱為“元評(píng)估”，它是針對(duì)評(píng)估活動(dòng)和評(píng)估者表現(xiàn)的價(jià)值判斷，以提升評(píng)估品質(zhì)的專業(yè)化發(fā)展產(chǎn)物。“元評(píng)價(jià)”的核心思想是將原始評(píng)價(jià)工作作為評(píng)價(jià)對(duì)象，在一定標(biāo)準(zhǔn)或原則的指導(dǎo)下，對(duì)評(píng)價(jià)的過程、技術(shù)方法和結(jié)論進(jìn)行客觀分析和判斷。通過“元評(píng)價(jià)”體系，我們能夠發(fā)現(xiàn)原評(píng)價(jià)活動(dòng)中存在的問題，并提供改進(jìn)的方向和建議，使其更具規(guī)范性并充分發(fā)揮其積極作用。通過對(duì)評(píng)估系統(tǒng)和評(píng)估機(jī)制的評(píng)判，我們可以識(shí)別其優(yōu)點(diǎn)和缺點(diǎn)，進(jìn)一步完善和優(yōu)化教育評(píng)價(jià)體系。因此，元評(píng)價(jià)作為高職學(xué)業(yè)評(píng)價(jià)的重要優(yōu)化方向，可以全面了解評(píng)價(jià)的理論基礎(chǔ)、制度機(jī)制、評(píng)價(jià)元素和實(shí)施過程，確保學(xué)業(yè)評(píng)價(jià)的科學(xué)性和準(zhǔn)確性。

（二）“元評(píng)價(jià)”體系能夠有效提升評(píng)價(jià)信度與效度

復(fù)雜的職業(yè)院校教學(xué)活動(dòng)引發(fā)了對(duì)評(píng)價(jià)信度和效度的需求。評(píng)價(jià)方案的元評(píng)價(jià)旨在評(píng)估和分析評(píng)價(jià)方案實(shí)施過程中的各個(gè)環(huán)節(jié)，包括目標(biāo)、主體、內(nèi)容、程序、方式方法、技術(shù)、結(jié)果和反饋。通過實(shí)際情況分析和評(píng)判評(píng)價(jià)的合理性和科學(xué)性，發(fā)現(xiàn)并改進(jìn)評(píng)價(jià)活動(dòng)中的偏差，提升評(píng)價(jià)活動(dòng)的信度和效度，確保評(píng)估工作科學(xué)準(zhǔn)確。“元評(píng)價(jià)”體系的目的是使評(píng)價(jià)活動(dòng)發(fā)揮積極作用，并避免負(fù)面影響。為此，評(píng)價(jià)者需要考慮評(píng)價(jià)方案是否清晰明確、是否符合目標(biāo)需求、評(píng)價(jià)者是否具備專業(yè)背景、評(píng)價(jià)內(nèi)容是否充實(shí)全面、評(píng)價(jià)程序是否嚴(yán)謹(jǐn)可操作、評(píng)價(jià)方式方法是否科學(xué)可行、評(píng)價(jià)技術(shù)是否準(zhǔn)確可靠等因素。

（三）“元評(píng)價(jià)”體系的運(yùn)用能有效實(shí)現(xiàn)問題的診斷和改進(jìn)功能

在高職教育中，診斷和改進(jìn)是提高實(shí)踐教學(xué)質(zhì)量與層次的重要手段。其目的是通過了解工作現(xiàn)狀和工作目標(biāo)之間的差距，找出問題所在，并通過相應(yīng)的改進(jìn)措施縮小差距，從而達(dá)到提高教育教學(xué)效果的目的。首先，“元評(píng)價(jià)”重視教學(xué)評(píng)價(jià)的理論基礎(chǔ)，探究評(píng)價(jià)的目標(biāo)和價(jià)值取向，從而保證評(píng)估工作的科學(xué)性和正確性。其次，“元評(píng)價(jià)”關(guān)注制度機(jī)制的建設(shè)，包括評(píng)價(jià)依據(jù)、評(píng)價(jià)標(biāo)準(zhǔn)和評(píng)價(jià)流程等方面，促使評(píng)價(jià)具備規(guī)范性和可操作性。此外，“元評(píng)價(jià)”也強(qiáng)調(diào)對(duì)教學(xué)評(píng)價(jià)活動(dòng)全過程的評(píng)價(jià)，從評(píng)價(jià)目的設(shè)定、數(shù)據(jù)收集、分析解讀到結(jié)果反饋等方面進(jìn)行綜合考察，為改進(jìn)教學(xué)評(píng)價(jià)提供有力支持。

二、高職學(xué)業(yè)評(píng)價(jià)引入“元評(píng)價(jià)”指標(biāo)體系實(shí)施路徑

以“元評(píng)價(jià)”體系實(shí)施策略為視角，探討高職學(xué)業(yè)進(jìn)行評(píng)價(jià)的組織機(jī)制、內(nèi)容標(biāo)準(zhǔn)、技術(shù)方法和過程監(jiān)管。在任何評(píng)估中，都需要按照基本的原則和要求來進(jìn)行，通過研究以下方面，能提高估分的準(zhǔn)確性、實(shí)效性，進(jìn)一步優(yōu)化高職學(xué)業(yè)的評(píng)價(jià)質(zhì)量。

（一）建立教學(xué)“元評(píng)價(jià)”組織機(jī)制

1.建立和完善“元評(píng)價(jià)”組織機(jī)構(gòu)

領(lǐng)導(dǎo)機(jī)構(gòu)可由分管教學(xué)的副校長任領(lǐng)導(dǎo)小組組長，負(fù)責(zé)組織實(shí)施“元評(píng)價(jià)”工作。這樣的設(shè)計(jì)能夠賦予“元評(píng)價(jià)”組織結(jié)構(gòu)一定的權(quán)威性和決策力，確保“元評(píng)價(jià)”工作的順利開展。

2.組建一支或多支高水平的“元評(píng)價(jià)”專家團(tuán)隊(duì)

評(píng)價(jià)工作的有效開展和質(zhì)量保障離不開評(píng)價(jià)專家的資質(zhì)和實(shí)踐經(jīng)驗(yàn)。除從內(nèi)部專家中抽取部分委員作為“元評(píng)價(jià)”評(píng)審專家外，高職院校還應(yīng)邀請(qǐng)其他高校、科研機(jī)構(gòu)等擁有豐富經(jīng)驗(yàn)和了解高職院校教學(xué)特性的專家，聯(lián)合組成專業(yè)“元評(píng)價(jià)”隊(duì)伍。此外，第三方評(píng)估專業(yè)評(píng)估人員也可聘請(qǐng)參與評(píng)估工作，從而保證了“元評(píng)價(jià)”過程和結(jié)果的準(zhǔn)確客觀。

3.完善“元評(píng)價(jià)”相關(guān)制度

“元評(píng)價(jià)”體系的實(shí)施需要有明確的規(guī)則和準(zhǔn)則，這就需要建立相關(guān)的“元評(píng)價(jià)”制度。通過制度對(duì)“元評(píng)價(jià)”體系的地位和作用作出明確規(guī)定，使其成為重要保障。同時(shí)，制度也為避免“元評(píng)價(jià)”工作的隨意性和臨時(shí)性，保證了“元評(píng)價(jià)”體系的實(shí)效性和可行性。通過健全的“元評(píng)價(jià)”制度，可以規(guī)范評(píng)價(jià)過程，提升評(píng)價(jià)的可信度和有效性，從而推動(dòng)高職院校的教學(xué)質(zhì)量提高。

（二）制定“元評(píng)價(jià)”的內(nèi)容標(biāo)準(zhǔn)體系

制定“元評(píng)價(jià)”的內(nèi)容標(biāo)準(zhǔn)體系是對(duì)教育評(píng)估本身進(jìn)行評(píng)估和研究的重要工作。“元評(píng)價(jià)”需要考察評(píng)價(jià)方案、指標(biāo)體系、實(shí)施過程和結(jié)論的科學(xué)性、有效性和可行性等方面。

1.對(duì)評(píng)價(jià)方案進(jìn)行“元評(píng)價(jià)”

評(píng)價(jià)方案是指導(dǎo)和規(guī)范評(píng)價(jià)工作的重要依據(jù)，其科學(xué)性和完備性對(duì)評(píng)價(jià)順利進(jìn)行起著關(guān)鍵作用。實(shí)施“元評(píng)價(jià)”需要評(píng)估評(píng)價(jià)方案的整體設(shè)計(jì)，包括完整性、目標(biāo)描述的明確程度以及反映評(píng)價(jià)目的的能力等方面。還需要分析評(píng)價(jià)項(xiàng)目、觀測(cè)點(diǎn)的設(shè)計(jì)是否全面符合實(shí)際情況，評(píng)估標(biāo)準(zhǔn)的明確性、具體性和可操作性，以及周期安排的合理性等。

2.對(duì)評(píng)價(jià)指標(biāo)體系的“元評(píng)價(jià)”

評(píng)價(jià)這一指標(biāo)體系的“元評(píng)價(jià)”包括以下幾方面的內(nèi)容：首先要結(jié)合本校教學(xué)的具體情況來評(píng)判指標(biāo)設(shè)置的合理性。評(píng)價(jià)者應(yīng)該分析所設(shè)指標(biāo)是否能全面覆蓋教學(xué)質(zhì)量的各個(gè)方面，如師資力量、教學(xué)內(nèi)容、教學(xué)方法等。同時(shí)，還需要考慮到本校的特點(diǎn)和優(yōu)勢(shì)，確保指標(biāo)的設(shè)置與實(shí)際情況相符。其次，要評(píng)估指標(biāo)構(gòu)成的全面性。評(píng)價(jià)者需要檢查指標(biāo)體系中是否有遺漏的指標(biāo)，以確保所有關(guān)鍵因素都被考慮到。此外，評(píng)估標(biāo)準(zhǔn)描述的可測(cè)性，評(píng)價(jià)者需要仔細(xì)檢查每個(gè)指標(biāo)的具體描述，確保其具備具體明確的特點(diǎn)。這樣可以避免引起評(píng)價(jià)者之間對(duì)指標(biāo)的理解差異，保證評(píng)價(jià)結(jié)果的準(zhǔn)確性。同時(shí)，還要評(píng)估量化標(biāo)準(zhǔn)是否客觀合理，為確保評(píng)審過程科學(xué)公正。

3.對(duì)評(píng)價(jià)實(shí)施過程進(jìn)行“元評(píng)價(jià)”

評(píng)價(jià)實(shí)施過程是對(duì)收集到的信息和資料進(jìn)行總結(jié)、綜合分析的過程，其真實(shí)性直接影響著評(píng)價(jià)結(jié)果的可靠性。因此，需要分析信息資料的獲取渠道的是否可靠、信息資料的是否完備，以及所選用的信息數(shù)據(jù)處理技術(shù)是否科學(xué)有效。發(fā)現(xiàn)不足之處即提出改進(jìn)建議，以確保評(píng)價(jià)結(jié)果真實(shí)可靠。

4.對(duì)評(píng)價(jià)結(jié)論進(jìn)行“元評(píng)價(jià)”

評(píng)價(jià)的結(jié)論為改進(jìn)實(shí)際教學(xué)提供有效的建議和措施，對(duì)于職業(yè)院校教學(xué)改革至關(guān)重要。只有經(jīng)過評(píng)判和修正，才能確保評(píng)價(jià)的成果能真正促進(jìn)教學(xué)的發(fā)展。通過制定“元評(píng)價(jià)”的內(nèi)容標(biāo)準(zhǔn)體系，可以確保對(duì)教育評(píng)估進(jìn)行科學(xué)、全面和準(zhǔn)確的評(píng)估和研究。這將有利于促進(jìn)教學(xué)質(zhì)量的提高，為學(xué)生的綜合素質(zhì)培養(yǎng)提供更好的支持。“元評(píng)價(jià)”體系的有效實(shí)施是保證評(píng)價(jià)有效性的關(guān)鍵環(huán)節(jié)，只有經(jīng)過評(píng)判和修正，才能確保評(píng)價(jià)的成果能真正促進(jìn)教學(xué)的發(fā)展。

（三）運(yùn)用多元有效的“元評(píng)價(jià)”技術(shù)方法

為確保評(píng)價(jià)結(jié)果準(zhǔn)確客觀，在信息、資料、數(shù)據(jù)分析基礎(chǔ)上開展工作。常用方法有內(nèi)容分析法、經(jīng)驗(yàn)總結(jié)法、評(píng)價(jià)信效度分析法等重要方法。

1.內(nèi)容分析法

通過內(nèi)容分析法，可以科學(xué)評(píng)價(jià)評(píng)價(jià)方案，并從多個(gè)角度進(jìn)行綜合分析，以確保評(píng)價(jià)的質(zhì)量和有效性。這種方法有助于決策者更好地了解和評(píng)估提供的材料，從而作出更明智的決策。在實(shí)際應(yīng)用中，可以根據(jù)具體情況對(duì)內(nèi)容分析法進(jìn)行適當(dāng)?shù)臄U(kuò)展，以滿足對(duì)評(píng)價(jià)資料評(píng)判的需求。評(píng)價(jià)方案的科學(xué)性包括理論基礎(chǔ)是否扎實(shí)、研究方法是否科學(xué)等；可行性包括資源是否充足、可操作性等；指標(biāo)體系的全面性和合理性是評(píng)估評(píng)價(jià)效果的重要標(biāo)準(zhǔn)之一；程序的設(shè)計(jì)規(guī)范性包括流程是否合理、數(shù)據(jù)采集和分析是否規(guī)范等；結(jié)論的客觀性和完整性包括結(jié)論的準(zhǔn)確性、全面性等。

2.經(jīng)驗(yàn)總結(jié)法

它能夠全面概括和分析評(píng)價(jià)過程中的積極和消極經(jīng)驗(yàn)，為未來的學(xué)業(yè)評(píng)價(jià)工作提供指導(dǎo)和借鑒。通過系統(tǒng)收集和整理實(shí)踐經(jīng)驗(yàn)，并進(jìn)行綜合性評(píng)估和歸納，經(jīng)驗(yàn)總結(jié)法能夠?yàn)闆Q策者提供科學(xué)的參考依據(jù)。該方法的優(yōu)勢(shì)在于從已有經(jīng)驗(yàn)中獲得啟示，減少重復(fù)犯錯(cuò)，提高工作效率和質(zhì)量。通過不斷擴(kuò)充和完善經(jīng)驗(yàn)總結(jié)法，可以使其更加具體和智能化，為改進(jìn)和創(chuàng)新提供更多有效的支持。因此，經(jīng)驗(yàn)總結(jié)法在學(xué)業(yè)評(píng)價(jià)工作中具有重要的應(yīng)用價(jià)值，促進(jìn)了知識(shí)積累和經(jīng)驗(yàn)傳承。通過不斷發(fā)展和運(yùn)用這一方法，我們能夠更好地將實(shí)踐經(jīng)驗(yàn)轉(zhuǎn)化為實(shí)際行動(dòng)和改進(jìn)措施，推動(dòng)評(píng)價(jià)工作不斷取得新的突破和進(jìn)步。

3.信度分析法

信度分析法是一種常用的評(píng)價(jià)測(cè)量結(jié)果可靠性和穩(wěn)定性的方法。在進(jìn)行評(píng)價(jià)過程中，準(zhǔn)確可靠的信息、資料和數(shù)據(jù)對(duì)于結(jié)論的可靠性至關(guān)重要。因此，借助信度分析法可以評(píng)估這些要素的信度，并從多個(gè)角度綜合考慮，保證鑒定結(jié)果的可靠、穩(wěn)定。首先，信度分析法需要關(guān)注信息的準(zhǔn)確性和可靠性。這包括收集數(shù)據(jù)的方法、數(shù)據(jù)的來源、數(shù)據(jù)的真實(shí)性等。只有確保信息的準(zhǔn)確可靠，才能進(jìn)一步評(píng)估測(cè)量結(jié)果的信度。其次，指標(biāo)體系的科學(xué)性和全面性也是信度分析法的關(guān)注點(diǎn)。評(píng)價(jià)主體對(duì)指標(biāo)體系的理解一致與否直接關(guān)系到評(píng)估結(jié)果的可靠性。在應(yīng)用信度分析法時(shí)，還需綜合考慮各個(gè)要素之間的相互影響。比如，信息的準(zhǔn)確性和可靠性可能會(huì)受到指標(biāo)體系的科學(xué)性和全面性的影響，而學(xué)業(yè)評(píng)價(jià)主體對(duì)指標(biāo)體系的把握和理解也會(huì)影響評(píng)估結(jié)果的可靠性。

4.效度分析法

效度分析是評(píng)估量表的重要步驟，它能幫助我們確定量表是否能夠準(zhǔn)確地測(cè)量出所要測(cè)量的特性或功能的程度。內(nèi)容效度分析和結(jié)構(gòu)效度分析是常用的評(píng)估方法。內(nèi)容效度分析通過專家的經(jīng)驗(yàn)判斷和問卷前測(cè)評(píng)估，幫助判斷評(píng)價(jià)結(jié)論是否符合目的和實(shí)際情況。結(jié)構(gòu)效度分析則關(guān)注問卷設(shè)計(jì)是否科學(xué)合理，能否準(zhǔn)確反映被評(píng)估對(duì)象的特點(diǎn)。通過這兩種方法，我們可以更好地評(píng)估評(píng)價(jià)的結(jié)果是否可靠有效，并為必要的改進(jìn)提供基礎(chǔ)。除了以上兩種方法，還可以融入其他多種評(píng)價(jià)方法來進(jìn)一步提高準(zhǔn)確性和可靠性。通過實(shí)地考察分析法、深度訪談法和文獻(xiàn)查閱法等手段，對(duì)信息、資料進(jìn)行再獲取，解決對(duì)某些資料、數(shù)據(jù)或結(jié)論的真實(shí)性質(zhì)疑。通過進(jìn)行效度分析，我們可以確保評(píng)價(jià)結(jié)論的真實(shí)性，并促進(jìn)正確的決策制定。

（四）建立“元評(píng)價(jià)”的實(shí)施過程管理機(jī)制

教學(xué)質(zhì)量的評(píng)價(jià)一直是一項(xiàng)重要的任務(wù)，而“元評(píng)價(jià)”作為其中的一個(gè)環(huán)節(jié)，至關(guān)重要。通過“元評(píng)價(jià)”體系，可以全面系統(tǒng)地了解實(shí)踐教學(xué)質(zhì)量的現(xiàn)狀，發(fā)現(xiàn)問題所在，并采取相應(yīng)的措施進(jìn)行改進(jìn)。然而，由于評(píng)價(jià)本身的復(fù)雜性，以及實(shí)施過程中的各種因素影響，“元評(píng)價(jià)”也存在一定程度的偏差。首先，制定實(shí)施規(guī)范是確保“元評(píng)價(jià)”準(zhǔn)確性和有效性的關(guān)鍵。這些規(guī)范應(yīng)該包括評(píng)價(jià)的內(nèi)容、方法、指標(biāo)體系等方面的要求，從而保證測(cè)評(píng)的全面性和準(zhǔn)確性。同時(shí)，對(duì)不同的測(cè)評(píng)內(nèi)容，也要考慮其特點(diǎn)和要求，制定相應(yīng)的實(shí)施細(xì)則。為評(píng)價(jià)工作提供具體的操作指南。其次，建立巡視檢查制度對(duì)于提高評(píng)價(jià)工作質(zhì)量也是非常重要的。巡視檢查人員應(yīng)具備相關(guān)專業(yè)知識(shí)和豐富的經(jīng)驗(yàn)，能夠?qū)υu(píng)價(jià)工作進(jìn)行全面的監(jiān)督和指導(dǎo)，保證評(píng)估結(jié)果的可信度。

三、結(jié)論

高職院校需要建立高質(zhì)量的教學(xué)評(píng)價(jià)機(jī)制來完善內(nèi)部質(zhì)量保證體系，以降低教學(xué)質(zhì)量評(píng)價(jià)的偏差和缺陷并提高準(zhǔn)確性。要充分認(rèn)識(shí)“元評(píng)價(jià)”工作的重要性，對(duì)“元評(píng)價(jià)”工作的內(nèi)涵、技術(shù)方法等進(jìn)行深入研究，納入學(xué)校內(nèi)部的質(zhì)量保障體系，建立科學(xué)有效的教學(xué)質(zhì)量元評(píng)價(jià)機(jī)制。同時(shí)，應(yīng)規(guī)范與督查“元評(píng)價(jià)”活動(dòng)過程，確保其有效性。建成這樣的體系，對(duì)于高職院校進(jìn)一步提高教學(xué)質(zhì)量具有十分重要的意義和作用。

[課題項(xiàng)目：2023年廣東省普通高校特色創(chuàng)新類項(xiàng)目“基于校企協(xié)同育人的高職課程真實(shí)性評(píng)價(jià)體系研究”，（項(xiàng)目編號(hào)：2023WTSCX217）。]

責(zé)任編輯 何麗華