李爍 李貴安



摘? 要 教育教學(xué)研究離不開評價(jià),評價(jià)量表是評價(jià)可靠性與有效性的最主要影響因素之一,要保證量表的信效度,必須經(jīng)過科學(xué)的流程進(jìn)行編制與優(yōu)化。研究顯示,在教育教學(xué)研究中,量表編制與優(yōu)化的一般流程包括明確測量對象、劃分測量維度、項(xiàng)目的編制、初步篩選、專家評審、樣本試測、基于試測的優(yōu)化。本研究著眼于流程中的細(xì)節(jié)問題進(jìn)行探討,并結(jié)合實(shí)例數(shù)據(jù)加以分析,以供廣大研究者參考。
關(guān)鍵詞 教育教學(xué)研究;量表編制與優(yōu)化;因素分析;信度分析
中圖分類號:G652? ? 文獻(xiàn)標(biāo)識碼:B
文章編號:1671-489X(2020)17-0076-03
1 問題的提出
教育教學(xué)研究離不開評價(jià),沒有評價(jià)過程的反饋,易使研究過于主觀化,研究結(jié)果難以令人信服。隨著評價(jià)理論的不斷發(fā)展,形成不同種類的評價(jià)方式,但無論哪種評價(jià)方式,最終都離不開測量量表。要保證量表測量的數(shù)據(jù)可靠可信,就必須在量表編制與優(yōu)化過程中使用科學(xué)的流程與方法。本研究基于中外測量學(xué)的文獻(xiàn)及教育學(xué)和心理學(xué)領(lǐng)域?yàn)橹鞯挠嘘P(guān)文獻(xiàn),總結(jié)出普遍適用于教育教學(xué)研究中量表編制的科學(xué)流程,著眼于細(xì)節(jié)問題進(jìn)行探討,并依據(jù)SPSS V21的樣本數(shù)據(jù)作為實(shí)例加以分析,以供廣大研究者參考。
2 量表編制
前期準(zhǔn)備工作? 編制一個(gè)量表,第一步要明確所測量的對象,這個(gè)測量對象一般是研究中的主要概念或主要概念的一部分(如核心素養(yǎng))。明確測量對象后,還要厘清測量的意義所在。一般而言,在教育教學(xué)研究中測量的意義分為兩個(gè)方面:
1)研究教育理論時(shí)需要獲得量化的測量數(shù)據(jù),以佐證已有理論或進(jìn)行理論結(jié)構(gòu)與內(nèi)容的探究;
2)教學(xué)實(shí)踐者在進(jìn)行某項(xiàng)干預(yù)后需要通過量化的數(shù)據(jù)來得到干預(yù)對象的某個(gè)特質(zhì)在干預(yù)前后的變化情況,從而證明干預(yù)的效果。
許多教育研究者認(rèn)為,對于想要測量的東西心里早就清清楚楚,但結(jié)果卻發(fā)現(xiàn)自己最初的想法比想象的要含糊得多。如果測量對象沒有明晰的理論支撐就著手進(jìn)行量表項(xiàng)目的編制,會(huì)導(dǎo)致很多可靠性與結(jié)構(gòu)上的問題,這樣如果到了后面的工作中再來彌補(bǔ)這些問題,將比一開始就把測量對象用完整科學(xué)的理論了解清楚要多出成倍的工作量。在量表編制的前期準(zhǔn)備過程中,一定要對量表測量的對象所包含的內(nèi)容與結(jié)構(gòu)十分明晰。
將測量對象所包含的因素進(jìn)行分類是十分有幫助的。若測量對象的概念已有明確的結(jié)構(gòu)框架,就可以直接使用,否則需要研究者自己進(jìn)行分類與歸納。注意:不能只將測量對象的概念劃分為幾個(gè)維度,由于其在教育教學(xué)研究中,測量的有關(guān)因素一般比較復(fù)雜,因此至少需要將其中的每一個(gè)維度繼續(xù)劃分成多個(gè)次維度,按需要可以再將每個(gè)次維度繼續(xù)細(xì)分,以此類推。
生成初始項(xiàng)目池? 項(xiàng)目就是構(gòu)成量表的基本單位。理論上,一個(gè)好的量表,其項(xiàng)目應(yīng)該是從有關(guān)項(xiàng)目宇(Universe)
中隨機(jī)抽取的。由于假定項(xiàng)目宇為無窮大,這就基本上迫使人們打消實(shí)際去列舉項(xiàng)目宇中所有項(xiàng)目并從其中隨機(jī)取樣的希望。在這一步工作中應(yīng)該盡量多地羅列所有有關(guān)測量對象內(nèi)容的項(xiàng)目,無須考慮量表長度的問題。因?yàn)樵谶@一步,主觀認(rèn)為某個(gè)項(xiàng)目“不重要”是沒有客觀依據(jù)的。
項(xiàng)目的形式多種多樣,現(xiàn)在最常見的是李克特型,其他還有瑟斯頓治標(biāo)法、能力測驗(yàn)題等形式,根據(jù)測量對象選擇適合的形式即可。如果測量對象的內(nèi)容很廣,可能一些維度的測量不適合用同樣的形式,那么這時(shí)候可以將不同的維度分別采用不同的項(xiàng)目形式,制作各自維度的分量表,最后再通過設(shè)計(jì)如相加或加權(quán)后相加等方式來計(jì)算總分。
在項(xiàng)目編制過程中需要注意以下三點(diǎn)。
1)避免冗長。冗長的項(xiàng)目一般過于復(fù)雜,難以保證項(xiàng)目的清晰度,容易引發(fā)受測者的負(fù)面情緒,但前提是不能以犧牲內(nèi)容的代價(jià)來換取表面上的項(xiàng)目簡潔性。
2)避免有歧義的項(xiàng)目。如“我喜歡學(xué)習(xí),因?yàn)閷W(xué)習(xí)讓我快樂”,這個(gè)項(xiàng)目包含多個(gè)導(dǎo)向,做這種題目時(shí)受測者會(huì)感到困擾與為難,效度較低。
3)避免過于寬泛。如“有扎實(shí)的學(xué)科專業(yè)知識”,明顯不能客觀體現(xiàn)被測者的學(xué)科專業(yè)知識水平。
3 量表優(yōu)化
試測前的優(yōu)化? 初始項(xiàng)目池一般會(huì)比較龐大。考慮到最終量表的簡潔性,首先要對量表項(xiàng)目進(jìn)行初步篩選,主要依照三個(gè)方面進(jìn)行:
1)刪改表述有問題的項(xiàng)目;
2)高度重復(fù)的項(xiàng)目保留其一;
3)刪改相關(guān)性有問題的項(xiàng)目。
邀請有關(guān)專家來對池中的項(xiàng)目進(jìn)行評審,并根據(jù)需要請他們對項(xiàng)目進(jìn)行重新分類。邀請的專家建議包含兩個(gè)領(lǐng)域:
1)對量表測量對象有深入研究的專家,他們對測量對象有深刻理解,主要可以檢驗(yàn)項(xiàng)目的內(nèi)容效度;
2)測量學(xué)領(lǐng)域的專家,他們對如何提高量表的信效度有豐富的經(jīng)驗(yàn)。
他們對于量表的建議很多都是建設(shè)性的,可以參考其建議對項(xiàng)目進(jìn)行修改與增減。但也要考慮到專家本身也有一定的主觀性,所以在更改或刪除項(xiàng)目時(shí),尤其需要反復(fù)斟酌。經(jīng)過初步篩選與專家評審兩個(gè)環(huán)節(jié)后,試測量表就生成了,之后應(yīng)進(jìn)行試測,使用試測獲得的數(shù)據(jù)對量表進(jìn)行進(jìn)一步優(yōu)化。
探索性因子分析? 因子分析(又叫因素分析)能使研究者把一組反應(yīng)事物性質(zhì)、狀態(tài)、特點(diǎn)等的幾個(gè)變量簡化為少數(shù)幾個(gè)能反映事物內(nèi)在聯(lián)系、固有的、決定事物本質(zhì)特征的因子。它對重新認(rèn)識測量對象的內(nèi)容結(jié)構(gòu)有重要意義。
以下將介紹一些基于探索性因子分析的量表優(yōu)化方法,使用SPSS V21.0軟件,處理軟件自帶樣本數(shù)據(jù)“breakfast”,并進(jìn)行實(shí)例探討。因子分析的方法有很多種,還有因子旋轉(zhuǎn)的問題,以下使用的是較常用的主成分分析法與最大變異正交旋轉(zhuǎn)。
首先是確認(rèn)因子個(gè)數(shù),任一量表的任一項(xiàng)目都與無數(shù)個(gè)因子有關(guān),但要的只是最主要能反應(yīng)量表項(xiàng)目的那些因子。如何判斷應(yīng)該取多少個(gè)因子合適呢?主要有三種方法。
1)特征值法。因子的特征值對應(yīng)的是該因素的方差貢獻(xiàn),因素分析時(shí)只需要取特征值較大的幾個(gè)因子即可,公認(rèn)的方法是取特征值大于1的因子。如表1所示,按照該方法,樣本數(shù)據(jù)應(yīng)該取前四個(gè)因子進(jìn)行分析。
2)累計(jì)方差貢獻(xiàn)率法。因子的方差貢獻(xiàn)率是該因子的特征值與所有因子特征值之和的比值,也可以體現(xiàn)因子解釋項(xiàng)目得分變動(dòng)能力。累計(jì)方差貢獻(xiàn)率就是幾個(gè)因子方差貢獻(xiàn)率的和,這個(gè)值達(dá)到一定的百分比,就說明所取的這些因子已經(jīng)可以解釋量表中項(xiàng)目得分的大部分變動(dòng)。在測量學(xué)中閾值一般被規(guī)定為80%。如表1所示,按照該方法,樣本數(shù)據(jù)應(yīng)該取前七個(gè)因子進(jìn)行分析。
3)碎石檢驗(yàn)。這是由R.B.卡特爾提出的決定因子個(gè)數(shù)的方法。碎石圖的橫軸是特征值從大到小排列的各個(gè)因素,縱軸是各個(gè)因素對應(yīng)的特征值。如圖1所示,根據(jù)該方法,樣本數(shù)據(jù)可取前3~5個(gè)因子。
因素分析可以將項(xiàng)目進(jìn)行分類,見表2的旋轉(zhuǎn)成分矩陣。表中數(shù)據(jù)是各個(gè)項(xiàng)目在不同因子上的載荷值,這個(gè)值越大,說明該因子越能解釋項(xiàng)目的變異。根據(jù)數(shù)據(jù),可以將某個(gè)因子的載荷值較高的一些項(xiàng)目歸為一類,原則是每個(gè)因子至少需要三個(gè)項(xiàng)目,之后再觀察這些被歸為一類的項(xiàng)目有什么共同特征。如果一個(gè)項(xiàng)目在兩個(gè)因子上的載荷絕對值都超過0.4(如表2中的項(xiàng)目4與項(xiàng)目5),則說明從整個(gè)量表的結(jié)構(gòu)上看,這個(gè)項(xiàng)目是不良的,綜合考慮其重要性后,可以考慮刪除。
信度分析? 信度,又叫可靠性,是指問卷的可信程度。它主要表現(xiàn)檢驗(yàn)結(jié)果的一貫性、一致性、再現(xiàn)性和穩(wěn)定性。一般分析量表信度的方法有克隆巴赫α信度、分半信度等。本文基于克隆巴赫α信度,介紹量表信度需要達(dá)到的標(biāo)準(zhǔn)與信度分析中可以用來進(jìn)行量表優(yōu)化的數(shù)據(jù)。使用SPSS V21.0軟件,處理軟件自帶樣本數(shù)據(jù)“TV survey”,并進(jìn)行實(shí)例探討。
表3中顯示了量表的克隆巴赫α值與基于標(biāo)準(zhǔn)化項(xiàng)的克隆巴赫α值。在教育研究中,一般認(rèn)為總量表的克隆巴赫α值在70%以上就是可靠的。表3中兩項(xiàng)都大于70%,證明該樣本數(shù)據(jù)的量表信度達(dá)標(biāo)。如果克隆巴赫α值大于90%,則可能說明項(xiàng)目過多,可以通過相關(guān)性分析或探索性因素分析進(jìn)行篩選。
此外,信度分析也可以提供篩選項(xiàng)目的參考數(shù)據(jù)。一般認(rèn)為,如果刪除該項(xiàng)目對信度影響不大,甚至反而增加了信度,則這個(gè)項(xiàng)目可以考慮刪除。但對信度的影響較小,只能作為刪除項(xiàng)目的一個(gè)必要條件,不能作為充分條件。很多時(shí)候雖然刪除一個(gè)項(xiàng)目對信度基本沒有影響,但如果它在量表中有其特殊的意義,或在因素分析中是一個(gè)因子僅有的三個(gè)項(xiàng)目之一,則應(yīng)該保留。
表4中列出假設(shè)刪除該項(xiàng)目后這個(gè)量表的克隆巴赫α值,通過數(shù)據(jù)可以得知前兩個(gè)項(xiàng)目是肯定不可以刪除的,因?yàn)閯h除這些項(xiàng)目會(huì)大大降低量表的克隆巴赫α值;而最后一個(gè)項(xiàng)目刪除后反而增加了克隆巴赫α值,就可以考慮刪除它。
4 結(jié)語
綜上所述,在教育教學(xué)研究中,量表編制與優(yōu)化的一般流程包括:明確測量的對象與意義、劃分測量維度、項(xiàng)目的編制、項(xiàng)目的初步篩選、專家評審、樣本試測、基于試測的優(yōu)化。嚴(yán)格落實(shí)這些步驟而產(chǎn)生的量表信效度才有保證,所測量的數(shù)據(jù)才可具有較高的科學(xué)性,從而可很好地支撐研究內(nèi)容,使人信服。在當(dāng)今信息爆炸的時(shí)代,廣大教育教學(xué)研究者也更應(yīng)該注重量化數(shù)據(jù)的收集,在量表編制與優(yōu)化上下功夫,才能為自己的研究打下堅(jiān)實(shí)的基礎(chǔ),以使研究內(nèi)容更為真實(shí),研究結(jié)果更有意義。■
參考文獻(xiàn)
[1]德威利斯.量表編制:理論與應(yīng)用[M].3版.重慶:重慶大學(xué)出版社,2016:15-166.
[2]陳勝可.SPSS統(tǒng)計(jì)分析:從入門到精通[M].北京:清華大學(xué)出版社,2010:10-324.
[3]張勇.大學(xué)生自主性學(xué)習(xí)量表編制方法的研究[J].教學(xué)研究,2010,33(6):7-10.
[4]王登峰,崔紅.中國人人格量表(QZPS)的編制過程與初步結(jié)果[J].心理學(xué)報(bào),2003,35(1):127-136.
[5]Wang K T, WEI M, ZHAO R, et al. The Cross-Cultural
Loss Scale: Development and Psychometric Evaluation
[J].Psychological Assessment,2014,27(1):42-53.
[6]金艷,揭薇.中國英語能力等級量表的“口語量表”制定原則和方法[J].外語界,2017(2):10-19.
[7]連榕,楊麗嫻,吳蘭花.大學(xué)生的專業(yè)承諾、學(xué)習(xí)倦怠的關(guān)系與量表編制[J].心理學(xué)報(bào),2005,37(5):632-636.
[8]淡鑫.統(tǒng)計(jì)學(xué)編制量表的基本程序[J].新西部,2015(9):
144,132.