2002—2022年間我國學(xué)習(xí)主題元分析研究的質(zhì)量評價

胡曉玲 袁民 趙凌霞

[摘 ? 要] 作為一種突破傳統(tǒng)統(tǒng)計(jì)局限的整合性統(tǒng)計(jì)分析方法，元分析方法的應(yīng)用日益增多，但元分析結(jié)論的不可靠性卻往往被忽略。鑒于此，本研究選取我國近二十年有關(guān)學(xué)習(xí)主題的元分析成果，對其進(jìn)行方法學(xué)質(zhì)量評價和報告質(zhì)量評價。研究首先在確定納入標(biāo)準(zhǔn)后經(jīng)過檢索、篩選，從2002—2022年間CSSCI期刊發(fā)表的1906篇元分析中納入106篇作為評價對象。經(jīng)過數(shù)據(jù)提取和特征分析后，應(yīng)用AMSTAR和PRISMA評價工具對106篇文獻(xiàn)分別開展了方法學(xué)質(zhì)量和報告質(zhì)量評價，評價結(jié)論為文獻(xiàn)的方法學(xué)質(zhì)量整體偏低，缺乏方法學(xué)高質(zhì)量文獻(xiàn)；報告質(zhì)量中等，表現(xiàn)不均衡。其中方法學(xué)質(zhì)量存在研究納入與資料提取的可重復(fù)性較差、納入研究質(zhì)量評價缺失及發(fā)表偏倚檢驗(yàn)方法不當(dāng)?shù)葐栴}；報告質(zhì)量存在摘要報告結(jié)構(gòu)性不佳、方案和注冊缺失、納入研究信息報告不充分、報告結(jié)果缺乏嚴(yán)謹(jǐn)性、研究局限報告缺失等問題。最后，研究討論了質(zhì)量風(fēng)險來源，給出了改進(jìn)建議。

[關(guān)鍵詞] 學(xué)習(xí)主題； 元分析； 方法學(xué)質(zhì)量； 報告質(zhì)量； 評價

[中圖分類號] G434 ? ? ? ? ? ?[文獻(xiàn)標(biāo)志碼] A

[作者簡介] 胡曉玲（1975—），女，山東濟(jì)寧人。副教授，博士，主要從事學(xué)習(xí)科學(xué)、循證教育學(xué)研究。E-mail：hxiaoling @lzu.edu.cn。

一、引 ? 言

元分析也稱為Meta分析，或薈萃分析、整合分析等，由美國教育心理學(xué)家Gene V. Glass于1976年首次提出。Glass指出元分析是以綜合已有的發(fā)現(xiàn)為目的，對單個研究結(jié)果進(jìn)行綜合的統(tǒng)計(jì)學(xué)分析方法[1]。元分析突破了一些傳統(tǒng)統(tǒng)計(jì)學(xué)方法的局限，通過元分析可以對同類研究下不一致的研究結(jié)果進(jìn)行合并，得出具有普遍性的結(jié)論[2]，因而受到多學(xué)科領(lǐng)域的高度重視并普遍應(yīng)用。但并非所有元分析得出的結(jié)論均是可靠的[3]。作為對已有研究數(shù)據(jù)進(jìn)行合并分析的二次研究，元分析極易在各類偏倚風(fēng)險的侵害下產(chǎn)生效應(yīng)大小被高估、假陽性等情況[4]，從而導(dǎo)致研究信度降低。因此，為合理判斷元分析結(jié)論的可靠性和有效性，對元分析進(jìn)行質(zhì)量評價是十分必要的。元分析質(zhì)量分為方法學(xué)質(zhì)量和報告質(zhì)量兩部分，國際上先后發(fā)表了AMSTAR、PRISMA等工具用以進(jìn)行元分析方法學(xué)質(zhì)量評估和幫助研究者改進(jìn)系統(tǒng)評價和元分析的撰寫和報告[5-6]，且事實(shí)證明兩個工具能夠有效評估并提升元分析質(zhì)量[7-9]。

近些年在學(xué)習(xí)研究領(lǐng)域，學(xué)者們運(yùn)用元分析方法對各種學(xué)習(xí)境脈的有效性及其影響因素展開了廣泛研究，獲得了豐富的研究結(jié)論。但元分析質(zhì)量如何，方法使用是否嚴(yán)謹(jǐn)，結(jié)論是否可靠是值得深入探討的。本研究將采用AMSTAR、PRISMA兩個評價工具對我國近二十年來學(xué)習(xí)主題的元分析展開方法學(xué)質(zhì)量和報告質(zhì)量評價，對評價結(jié)果進(jìn)行分析，并討論質(zhì)量風(fēng)險來源，提出改進(jìn)建議。

二、資料與方法

（一）文獻(xiàn)納入標(biāo)準(zhǔn)

文獻(xiàn)納入標(biāo)準(zhǔn)如下：（1）發(fā)表于CSSCI期刊的中文文獻(xiàn)；（2）研究采用元分析方法；（3）以影響學(xué)習(xí)成效的效應(yīng)值為結(jié)果指標(biāo)的研究。這里學(xué)習(xí)成效指學(xué)習(xí)活動后學(xué)習(xí)者認(rèn)知水平和學(xué)習(xí)能力產(chǎn)生的可量化的學(xué)習(xí)結(jié)果；（4）研究樣本屬于全日制在校學(xué)生。

（二）文獻(xiàn)檢索策略

本研究以中國知網(wǎng)、萬方、維普三個中文數(shù)據(jù)庫為檢索源，檢索了從2002年1月到2022年6月數(shù)據(jù)庫內(nèi)的CSSCI來源期刊文獻(xiàn)，最后一次檢索時間為2022年10月18日。考慮到定量系統(tǒng)評價也采用元分析方法進(jìn)行科學(xué)量化統(tǒng)計(jì)[10]，檢索詞中增加了有關(guān)系統(tǒng)評價的詞匯。最終，檢索詞定為“系統(tǒng)評價”“系統(tǒng)綜述”“Meta分析”“薈萃分析”“元分析”“教育”“教學(xué)”“學(xué)習(xí)”。以在中國知網(wǎng)為例，檢索式為：“TI='元分析'+'薈萃分析'+'Meta分析'+'系統(tǒng)綜述'+'系統(tǒng)評價' and SU='教育'+'教學(xué)'+'學(xué)習(xí)'”。

（三）文獻(xiàn)篩選與數(shù)據(jù)提取

文獻(xiàn)查重后，由兩名研究者依據(jù)文獻(xiàn)納入標(biāo)準(zhǔn)，通過閱讀標(biāo)題、摘要、全文獨(dú)立進(jìn)行文獻(xiàn)篩選。篩選后核對結(jié)果，若出現(xiàn)分歧交由第三方裁定。納入文獻(xiàn)確定后，再由兩名研究者獨(dú)立進(jìn)行文獻(xiàn)數(shù)據(jù)提取，提取內(nèi)容包括：標(biāo)題、作者、發(fā)表時間、研究主題、研究篇數(shù)、樣本數(shù)量、效應(yīng)值大小、項(xiàng)目資金等。數(shù)據(jù)提取后核對結(jié)果，若出現(xiàn)分歧交由第三方裁定。

（四）文獻(xiàn)質(zhì)量評價

1. 方法學(xué)質(zhì)量評價

元分析方法學(xué)質(zhì)量可反映研究過程和研究結(jié)論中的偏倚或效度風(fēng)險[8]，即元分析過程是否遵循科學(xué)標(biāo)準(zhǔn)以有效控制偏倚，提高結(jié)果的真實(shí)可靠程度[9]。2007年，鑒于已有數(shù)十種元分析評價工具卻難以統(tǒng)一推廣的局面，荷蘭與加拿大的醫(yī)學(xué)研究團(tuán)隊(duì)在已有工具、實(shí)踐證據(jù)、專家共識的基礎(chǔ)上開發(fā)了系統(tǒng)評價或元分析方法學(xué)質(zhì)量評價工具——AMSTAR（A Measurement Tool to Assess Systematic Reviews）[6]。盡管該評價工具開發(fā)之初主要用于循證醫(yī)學(xué)領(lǐng)域，但現(xiàn)在國外多領(lǐng)域同類研究中得到廣泛使用且為相關(guān)專業(yè)期刊編輯推薦使用[11]。因此，本研究選取AMSTAR作為納入文獻(xiàn)的方法學(xué)質(zhì)量評價工具。

AMSTAR共有11個條目，條目的評價選項(xiàng)分為“是”“不清楚”“否”三類，三類選項(xiàng)依次按1分、0分、0分計(jì)分，滿分11分。鑒于AMSTAR的使用局限性[12-13]，本研究依據(jù)增加重要條目權(quán)重以優(yōu)化質(zhì)量評價的方法，參照AMSTAR 2和Jacobs等人的評價辦法[14-15]，將AMSTAR條目1、2、3、7、8、10視作關(guān)鍵條目。設(shè)置評價規(guī)則如下：若6個關(guān)鍵條目得分合計(jì)為6分，文獻(xiàn)的方法學(xué)質(zhì)量直接被認(rèn)定為高等質(zhì)量；若關(guān)鍵條目得分合計(jì)為4分或5分，則認(rèn)定為中等質(zhì)量；若得分合計(jì)低于4分，則認(rèn)定為低等質(zhì)量。

為避免出現(xiàn)評價偏倚，由兩名研究者獨(dú)立進(jìn)行評價，評價后核對結(jié)果，如遇分歧交由第三方裁定。

2. 報告質(zhì)量評價

元分析報告質(zhì)量是指報告的清晰度和透明度[8]，可反映報告內(nèi)容的全面性和完整性以及研究結(jié)果的發(fā)表偏倚[16]。2009年，David Moher等人在《英國醫(yī)學(xué)雜志》上發(fā)表的《系統(tǒng)評價和元分析首選報告項(xiàng)目》（Prefered Reporting Items for Systematic Reviews and Meta-analysis，PRISMA）[5]作為系統(tǒng)評價和元分析的規(guī)范性報告指南，以確保研究者報告每個要素，特別是研究內(nèi)部和研究之間偏倚風(fēng)險的報告[7]，國內(nèi)也推薦其為編輯審查系統(tǒng)評價/元分析來稿的重要工具[9]。

本研究依據(jù)PRISMA指南對納入文獻(xiàn)進(jìn)行報告質(zhì)量審查，PRISMA指南由標(biāo)題、結(jié)構(gòu)式摘要、引言、方法、結(jié)果、討論、資金七個部分組成，共計(jì)27個條目，條目的評估選項(xiàng)分為“完整報告”“部分報告”“無報告”三類，三類選項(xiàng)依次按1分、0.5分、0分計(jì)分，滿分27分。本研究參照拜爭剛等人的評估賦分方法[8]，若文獻(xiàn)得分在[0，15）區(qū)間內(nèi)，視作信息嚴(yán)重丟失、報告內(nèi)容不完整，認(rèn)定為低等質(zhì)量；若文獻(xiàn)得分在[15，21）區(qū)間內(nèi)，視作信息有所丟失、報告有所欠缺，認(rèn)定為中等質(zhì)量；若文獻(xiàn)得分在[21，27]區(qū)間內(nèi)，視作信息較為全面、報告相對完整，認(rèn)定為高等質(zhì)量。

為避免出現(xiàn)評價偏倚，由兩名研究者獨(dú)立進(jìn)行評價，評價后核對結(jié)果，如遇分歧交由第三方裁定。

（五）統(tǒng)計(jì)分析方法

利用Excel 2016整理統(tǒng)計(jì)文獻(xiàn)PRISMA和AMSTAR各條目得分。利用SPSS 23進(jìn)行統(tǒng)計(jì)分析，通過正態(tài)分布檢驗(yàn)了解得分分布，通過單因素方差分析對文獻(xiàn)質(zhì)量進(jìn)行影響因素探析，再通過多重比較了解差異所在。

三、結(jié) ? 果

（一）文獻(xiàn)篩選結(jié)果

本研究初次檢索共得1906篇相關(guān)文獻(xiàn)，通過EndNote軟件去重、閱讀文獻(xiàn)主題初篩以及閱讀全文復(fù)篩，排除重復(fù)以及不符合納入標(biāo)準(zhǔn)的文獻(xiàn)1800篇，最終得到符合納入標(biāo)準(zhǔn)的106篇文獻(xiàn)。本文在接下來的表述中提及“文獻(xiàn)”時特指篩選后納入的106篇元分析文獻(xiàn)。

（二）納入文獻(xiàn)基本特征

對106篇文獻(xiàn)進(jìn)行數(shù)據(jù)提取、整理后獲得了文獻(xiàn)基本特征。如表1所示。特別需要注意，文獻(xiàn)中有43篇文獻(xiàn)沒有提供其研究樣本數(shù)量，這將嚴(yán)重影響質(zhì)量評價結(jié)果。同時，為保證元分析研究的可重復(fù)性和科學(xué)性，作者數(shù)量要求為3人及3人以上，但有46篇文獻(xiàn)作者數(shù)量為1～2人，這部分文獻(xiàn)的科學(xué)性和規(guī)范性是值得質(zhì)疑的。

另外，從圖1可知，學(xué)習(xí)領(lǐng)域的元分析研究主題呈現(xiàn)出多樣豐富的特點(diǎn)，主題主要集中在有關(guān)技術(shù)環(huán)境的學(xué)習(xí)成效分析。例如，虛擬現(xiàn)實(shí)技術(shù)、信息技術(shù)、多媒體環(huán)境、數(shù)字化游戲等。而“互聯(lián)網(wǎng)+”時代的新型學(xué)習(xí)模式成效的元分析也是研究最廣泛的主題，例如翻轉(zhuǎn)課堂、混合學(xué)習(xí)、STEM學(xué)習(xí)、問題式學(xué)習(xí)、協(xié)作學(xué)習(xí)、項(xiàng)目式學(xué)習(xí)、在線學(xué)習(xí)等。也有一些關(guān)注教育信息化中的微觀因素對學(xué)習(xí)影響的元分析研究，例如，概念地圖、彈幕、教師在屏、線索效應(yīng)、圖文整合、觸覺反饋等。還有一些涉及師生特質(zhì)的研究主題，例如，師生互動模式、教師合作、積極情緒、學(xué)習(xí)初始年齡等。

（三）文獻(xiàn)質(zhì)量評價

1. 總體質(zhì)量分布狀況

106篇文獻(xiàn)的方法學(xué)質(zhì)量平均得分5.34分，最高分9分，最低分3分，其中僅有4篇高質(zhì)量文獻(xiàn)，20篇中質(zhì)量文獻(xiàn)，而77篇文獻(xiàn)被認(rèn)定為低等質(zhì)量。文獻(xiàn)方法學(xué)質(zhì)量得分分布偏度檢驗(yàn)顯著，得分呈陡峭的正偏態(tài)分布，大部分文獻(xiàn)得分集中在低分段并低于平均值水平，整體方法學(xué)質(zhì)量表現(xiàn)不佳。而文獻(xiàn)報告質(zhì)量平均得分18.31分，最高分25.5分，最低分12.5分，其中，13篇為高質(zhì)量文獻(xiàn)，84篇文獻(xiàn)質(zhì)量集中在中等分?jǐn)?shù)段，9篇低質(zhì)量文獻(xiàn)。報告質(zhì)量得分分布偏度檢驗(yàn)不顯著，得分呈正態(tài)分布，平均值可代表整體情況，整體報告質(zhì)量表現(xiàn)中等。

2. 方法學(xué)質(zhì)量評價

106篇文獻(xiàn)的AMSTAR各條目評價結(jié)果見表2。在關(guān)鍵條目的評價中，整體而言，文獻(xiàn)在提供前期方案、進(jìn)行全面檢索、檢索發(fā)表偏倚三條中表現(xiàn)較好，不同質(zhì)量等級的文獻(xiàn)之間也未出現(xiàn)明顯差異。而不足主要體現(xiàn)在106篇文獻(xiàn)的元分析研究過程可重復(fù)性差，并且很少有研究對其檢索結(jié)果的科學(xué)性作評估，導(dǎo)致推導(dǎo)研究結(jié)論時的科學(xué)性表現(xiàn)不佳。在非關(guān)鍵條目的評價中，所有文獻(xiàn)均采用元分析的結(jié)果合成計(jì)算方法計(jì)算效應(yīng)值；過半的文獻(xiàn)提供了研究納入排除清單以及納入研究的基本特征；而不足主要體現(xiàn)在僅6篇文獻(xiàn)納入了灰色文獻(xiàn)，且沒有文獻(xiàn)報告利益沖突。

3. 報告質(zhì)量評價

106篇文獻(xiàn)的PRISMA各條目評價結(jié)果見表3。結(jié)果可見，所有文獻(xiàn)都在標(biāo)題中說明了文章類型。在摘要中盡管大部分文獻(xiàn)都有方法、結(jié)果、結(jié)論等內(nèi)容呈現(xiàn)，但絕大多數(shù)并未形成完整的結(jié)構(gòu)式摘要。這與不同的社會科學(xué)期刊對文章摘要的書寫表達(dá)要求有關(guān)。在前言里過半數(shù)的文獻(xiàn)詳盡闡述了理論基礎(chǔ)和研究目的。關(guān)于研究方法，所有文獻(xiàn)都提供了納入標(biāo)準(zhǔn)，并最終得出了合并效應(yīng)指標(biāo)和結(jié)果綜合；絕大部分文獻(xiàn)提供了信息來源、檢索和資料提取；而在研究選擇、資料條目、研究偏倚和其他分析方面呈現(xiàn)不足，報告缺失比例較高。其中，研究選擇部分主要缺少篩選步驟的說明，研究偏倚和其他分析部分缺少研究偏倚預(yù)估以及依據(jù)預(yù)估預(yù)設(shè)其他分析方法。對于研究方法，最嚴(yán)重的問題是沒有一篇文獻(xiàn)進(jìn)行方案注冊，僅有兩篇文獻(xiàn)進(jìn)行了單個研究存在偏倚的檢驗(yàn)。關(guān)于研究結(jié)果，所有的文獻(xiàn)都進(jìn)行了結(jié)果綜合，絕大部分文獻(xiàn)提供了研究間偏倚風(fēng)險和其他分析，但部分文獻(xiàn)缺失研究篩選結(jié)果、研究特征、單個研究結(jié)果的報告，僅有6篇文獻(xiàn)對研究內(nèi)部偏倚風(fēng)險作了報告。關(guān)于研究討論，絕大部分文獻(xiàn)對整個研究進(jìn)行了總結(jié)，只有過半文獻(xiàn)完整討論了證據(jù)總結(jié)和研究局限性問題。

（四）文獻(xiàn)質(zhì)量的年度分析

圖2 ? 文獻(xiàn)各年發(fā)文數(shù)量及方法學(xué)質(zhì)量、報告質(zhì)量平均得分

在所檢文獻(xiàn)中，首篇學(xué)習(xí)主題元分析文章為王立君、顧海根2008年發(fā)表于《心理科學(xué)》的《概念圖對學(xué)生成績和態(tài)度影響的元分析》[17]。之后兩年未見相關(guān)文章發(fā)表。在2011至2017年間年均發(fā)文量僅2.86篇，隨后發(fā)文量呈現(xiàn)增長態(tài)勢，如圖2所示。鑒于2022年文獻(xiàn)數(shù)據(jù)不完整，年度分析中不涉及2022年文獻(xiàn)。研究中文獻(xiàn)的方法學(xué)質(zhì)量得分和報告質(zhì)量得分的年度走向呈現(xiàn)出一致性，但沒有出現(xiàn)得分逐年提升的勢頭，也沒有出現(xiàn)得分隨發(fā)文量增加而逐步提升的局面。由此推斷，元分析研究的質(zhì)量問題并沒有受到足夠重視，研究者對此沒有形成共識，研究質(zhì)量依賴于研究個體的方法素養(yǎng)。

（五）文獻(xiàn)質(zhì)量的影響因素分析

為進(jìn)一步探析質(zhì)量影響因素，以106篇文獻(xiàn)的發(fā)表年份、作者數(shù)量、研究篇數(shù)、研究樣本數(shù)量、資助資金為因子分別對AMSTAR和PRISMA得分進(jìn)行單因素方差分析，結(jié)果見表4。

經(jīng)檢驗(yàn)，研究篇數(shù)、研究樣本數(shù)量對文獻(xiàn)的方法學(xué)質(zhì)量有顯著影響，其他因素對文獻(xiàn)質(zhì)量無顯著影響。其中，研究篇數(shù)少于30篇的文獻(xiàn)方法學(xué)質(zhì)量更高。經(jīng)過AMSTAR各條目得分比對發(fā)現(xiàn)，這類文獻(xiàn)在提供納入或排除清單上表現(xiàn)更好，而研究篇數(shù)多于30篇的文獻(xiàn)由于納入研究清單過于侵占篇幅而未提供引起方法學(xué)質(zhì)量下降。另外，研究樣本數(shù)量是元分析中納入研究時必須提取的基本信息，也是效應(yīng)值合并時必須提供的信息，樣本數(shù)量不清楚的文獻(xiàn)在描述納入研究基本特征上表現(xiàn)更差，從而導(dǎo)致質(zhì)量不佳。

四、分析與討論

（一）方法學(xué)質(zhì)量評價的結(jié)果討論

通過方法學(xué)質(zhì)量評價可知，學(xué)習(xí)主題元分析研究基本能夠按照元分析方法步驟展開，但存在較多的問題與不足。最終僅有四篇方法學(xué)高質(zhì)量文章。由于偏倚風(fēng)險是影響元分析質(zhì)量的主要因素，方法學(xué)質(zhì)量評價主要評估在元分析實(shí)施過程中如何控制偏倚[16]。因此接下來主要從元分析常見的三類偏倚[2]——選擇偏倚、研究內(nèi)偏倚（包括提取者偏倚和研究質(zhì)量評分偏倚）、發(fā)表偏倚角度展開方法學(xué)質(zhì)量問題探討。

1. 元分析的納入研究選擇與資料提取缺少可重復(fù)性

可重復(fù)性高意味著研究者制定了描述明確、范疇清晰的納入/排除標(biāo)準(zhǔn)，并通過可靠的編碼對研究信息進(jìn)行客觀精準(zhǔn)的捕捉。作為對多項(xiàng)獨(dú)立研究進(jìn)行系統(tǒng)性綜合的二次研究，元分析研究過程的可重復(fù)性是系統(tǒng)性與客觀性的主要體現(xiàn)，也是極其關(guān)鍵的質(zhì)量指標(biāo)。然而從對106篇文獻(xiàn)的評價可知，低質(zhì)量文獻(xiàn)中鮮有對納入研究的選擇和資料提取的詳細(xì)過程說明，而兩項(xiàng)操作的可重復(fù)性更無從體現(xiàn)。鑒于研究者自身的主觀因素干擾以及資料提取作為元分析中最為煩瑣耗時的步驟，提取和編碼時需要具備嚴(yán)苛的精度和對細(xì)節(jié)的關(guān)注，并具備較高信度，才能保證效應(yīng)大小及模型的有效性[18]等原因，納入研究與資料提取需要兩名或以上的研究者“背對背”執(zhí)行，以增加研究的可重復(fù)性，避免產(chǎn)生選擇偏倚和提取者偏倚。

2. 元分析的納入研究質(zhì)量評價缺失

為確保元分析結(jié)果的科學(xué)性，避免因納入研究質(zhì)量參差不齊所引發(fā)的偏倚甚至是錯誤，現(xiàn)有的元分析指南都要求對被選擇的研究中實(shí)驗(yàn)分析的偏倚風(fēng)險或研究設(shè)計(jì)的方法學(xué)質(zhì)量進(jìn)行編碼[18]。然而，在106篇文獻(xiàn)中僅有6篇對原始研究進(jìn)行了質(zhì)量評價并報告單個研究質(zhì)量狀況。這表明研究者缺乏質(zhì)量評價意識，從而缺失了對元分析研究內(nèi)偏倚的控制。另外，這6篇元分析使用的質(zhì)量評價方法也不盡相同，可見研究者對此并沒有統(tǒng)一共識，評價維度、評價尺度的差異也會引發(fā)偏倚。

3. 元分析的發(fā)表偏倚檢驗(yàn)方法不當(dāng)

有研究證明發(fā)表偏倚是對元分析結(jié)果有效性的最大威脅之一[4]。對于教育實(shí)驗(yàn)類研究而言，教育干預(yù)措施有影響及正向影響的研究結(jié)論比無影響或負(fù)面影響的研究結(jié)論更容易受到研究者以及期刊編輯的關(guān)注，有學(xué)者在對教育學(xué)元分析進(jìn)行綜述時發(fā)現(xiàn)，未發(fā)表文獻(xiàn)所得效應(yīng)值小于已發(fā)表文獻(xiàn)[19]，這一基本規(guī)律致使元分析結(jié)果具有高估影響的風(fēng)險。因而在元分析的方法學(xué)研究中產(chǎn)生了多種元分析發(fā)表偏倚評估方法[4]。在106篇元分析文獻(xiàn)中盡管僅有極少部分文獻(xiàn)在發(fā)表偏倚評價項(xiàng)上有所缺漏，但存在部分研究使用的發(fā)表偏倚檢驗(yàn)方法不當(dāng)?shù)膯栴}。例如，在《ICT 對工科學(xué)生創(chuàng)造力的影響效應(yīng)》中，研究者僅能憑借主觀感受判定漏斗圖的對稱性，并依此判定發(fā)表偏倚存在的可能性[20]。而在《智能導(dǎo)師系統(tǒng)對學(xué)業(yè)成就的影響研究：量化元分析的視角》中[21]，雖然漏斗圖看似并不對稱，可能存在發(fā)表偏移，但作者利用Beggs秩相關(guān)性檢驗(yàn)卻發(fā)現(xiàn)發(fā)表偏倚存在可能性很小。因此，盡管本研究中85%以上的文獻(xiàn)對發(fā)表偏倚進(jìn)行了評價，但如果評價僅依靠漏斗圖進(jìn)行，評價的主觀性較強(qiáng)，容易產(chǎn)生人為誤差，有可能并未得到正確的發(fā)表偏倚評價結(jié)果。

（二）報告質(zhì)量評價的結(jié)果討論

元分析作為一種定量綜合方法，對其報告的透明性、完整性、可重復(fù)性上有較高要求。通過報告質(zhì)量評價可知，學(xué)習(xí)主題元分析報告質(zhì)量集中在中等水平，絕大多數(shù)元分析不存在嚴(yán)重的報告缺失，但也有需要重視和改進(jìn)的方面。

1. 摘要報告結(jié)構(gòu)性不佳

元分析的摘要具有結(jié)構(gòu)性要求。以PRISMA指南為例，摘要內(nèi)容應(yīng)該包括背景、目的、資料來源、研究納入標(biāo)準(zhǔn)、研究對象、干預(yù)措施、研究評價、結(jié)果、局限性、結(jié)論等[10]。然而106篇元分析中大部分摘要的寫作模式與一般文章的摘要寫作模式無異，缺少元分析特有的資料來源、研究納入標(biāo)準(zhǔn)、研究評價等結(jié)構(gòu)性要素。

2. 方案和注冊缺失

系統(tǒng)評價/元分析規(guī)范要求研究者在開展元分析之前要依據(jù)研究計(jì)劃完成平臺注冊，因而有一些期刊會要求元分析類文章投稿時提供文章平臺注冊號。通過平臺注冊，研究者可以重新梳理選題意義和計(jì)劃實(shí)施步驟；也可以監(jiān)督和防止因某些原因，研究者在研究過程中修改納入和排除標(biāo)準(zhǔn)，修改數(shù)據(jù)，最終有選擇地只提供部分報告；也可以避免出現(xiàn)研究選題撞車現(xiàn)象，由此提升了元分析研究的可信度和透明度。目前學(xué)術(shù)界常用的元分析注冊平臺主要為Cochrane系統(tǒng)評價注冊平臺（http：//www.cochrane.org/）和PROSPERO注冊平臺（https：//www.crd.york.ac.uk/prospero/）。鑒于Cochrane是封閉性平臺，注冊周期長，更多的研究者選擇PROSPERO注冊平臺，完成注冊。在本研究中沒有一篇文獻(xiàn)進(jìn)行了方案注冊，究其原因，首先研究者還沒有形成注冊意識；其次，國內(nèi)相關(guān)期刊并未對元分析注冊提出要求。為保障元分析研究過程的嚴(yán)謹(jǐn)性和研究結(jié)論的科學(xué)性，應(yīng)加強(qiáng)方案注冊的執(zhí)行力度。

3. 納入研究信息報告不充分

元分析報告要求納入信息公開透明。元分析應(yīng)提供詳細(xì)的文獻(xiàn)篩選過程，包括研究納入清單、納入研究特征以及單個研究結(jié)果等。106篇元分析報告在納入信息方面中都存在一定缺失。可能是由于篇幅限制或操作完整性，有些報告僅用語言簡要描述了文獻(xiàn)篩選過程，沒有采用流程圖呈現(xiàn)。在納入研究特征報告中，大多數(shù)元分析會說明提取了哪些特征，但并未將從單個研究中提取到的特征值進(jìn)行報告，如未報告樣本數(shù)量等。而單個研究結(jié)果的報告更是隨著研究納入清單和研究特征報告的缺失而不見蹤影。這些都是導(dǎo)致報告質(zhì)量差的重要原因。

4. 結(jié)果報告缺乏嚴(yán)謹(jǐn)性

首先，源于方法學(xué)上的疏漏，元分析內(nèi)部偏倚情況報告嚴(yán)重缺失。其次，由于樣本的多樣性，學(xué)習(xí)主題元分析往往異質(zhì)性極高，在進(jìn)行結(jié)果綜合時，要謹(jǐn)慎考慮異質(zhì)性對結(jié)果的影響。如在《課外輔導(dǎo)對學(xué)生學(xué)業(yè)成績影響效應(yīng)的元分析》中[22]，綜合所有研究后得到的結(jié)論是不存在顯著影響，然而這與納入的單個研究結(jié)果大相徑庭，原因就在于對于不同特征的群體呈現(xiàn)的相反效應(yīng)值在結(jié)果整合時出現(xiàn)了相互抵消現(xiàn)象。當(dāng)異質(zhì)性較高時，應(yīng)該進(jìn)行亞組分析以在同質(zhì)性較高的亞組下進(jìn)行結(jié)果綜合，如《多媒體學(xué)習(xí)中視覺情緒設(shè)計(jì)對學(xué)習(xí)效果的影響》[23]；或進(jìn)行敏感性分析探析排除不同研究后效應(yīng)值的穩(wěn)健性，如《教師支持、學(xué)業(yè)自我效能感與中小學(xué)生學(xué)業(yè)成績的關(guān)系：元分析結(jié)構(gòu)方程模型》[24]。

5. 研究局限報告缺失

元分析作為二級研究，很難彌補(bǔ)原始研究本身帶有的局限性，且元分析并不能保證在方法學(xué)意義上完美無缺，因此，對元分析研究的局限性進(jìn)行深入分析與報告有著重要意義。但在106篇元分析中只有46篇對研究局限進(jìn)行了完整報告。

（三）引發(fā)質(zhì)量問題的原因探討

1. 元分析的方法學(xué)研究與推廣缺失

據(jù)不完全統(tǒng)計(jì)，目前國內(nèi)教育領(lǐng)域期刊有關(guān)元分析主題的發(fā)文達(dá)三百余篇，幾乎所有文章都是元分析方法的應(yīng)用研究，極少數(shù)有關(guān)元分析方法學(xué)的研究成果則發(fā)表于早年間，近十年來未見教育領(lǐng)域內(nèi)有元分析方法學(xué)的研究成果，更難提及配套工具的開發(fā)與應(yīng)用。究其原因，學(xué)者們意識到元分析的價值，借由其標(biāo)準(zhǔn)化的操作程序，獲得具有較強(qiáng)說服力的證據(jù)結(jié)論，因此而產(chǎn)生應(yīng)用熱潮。但學(xué)者們似乎更聚焦自身學(xué)術(shù)問題，只是偶爾采用方法，并沒有對方法本身持續(xù)關(guān)注和深入學(xué)習(xí)的訴求。但元分析方法作為新興研究方法，還有很多不完善之處，還處在發(fā)展之中。因而追蹤研究與提高對此方法的認(rèn)知是十分必要的。國外教育領(lǐng)域一直在元分析方法學(xué)方面開展著深入研究，得出了豐富的成果，學(xué)者們批判性地評價了已有的元分析研究[25]，概述了元分析的最佳應(yīng)用方法[18]，并提出了有助于研究者間進(jìn)行方法論探討的步驟框架[26]。國內(nèi)方法學(xué)研究的缺失以及國外研究成果推介的缺失是影響元分析質(zhì)量的根本原因。

2. 元分析方法跨學(xué)科應(yīng)用的不適應(yīng)性

元分析起源于心理學(xué)并發(fā)展于醫(yī)學(xué)，方法的跨學(xué)科遷移帶來了元分析應(yīng)用的模糊性。首先，有研究表明，已有的高等教育系統(tǒng)評價（包含元分析）在方法學(xué)術(shù)語的使用上有明顯差異，在應(yīng)用上也并未達(dá)成共識[26]。其次，元分析研究具有較強(qiáng)的科學(xué)性與嚴(yán)格的技術(shù)規(guī)范。這一特質(zhì)對于社會學(xué)科是有些水土不服的。也有學(xué)者從強(qiáng)調(diào)教育學(xué)科的人文特質(zhì)出發(fā)對元分析方法、循證的思路展開反思與批評[27]。這也導(dǎo)致元分析方法在跨入教育領(lǐng)域后的應(yīng)用帶有一些混亂性。再次，目前源自于循證醫(yī)學(xué)領(lǐng)域已經(jīng)非常成熟的AMSTAR評價工具和PRISMA報告指南已普遍運(yùn)用于社會科學(xué)領(lǐng)域[26]，但源于學(xué)科領(lǐng)域差異，其運(yùn)用仍存在不適應(yīng)現(xiàn)象。

五、改進(jìn)建議

（一）提升元分析研究科學(xué)性

元分析研究的科學(xué)性主要體現(xiàn)在對各類偏倚風(fēng)險的評估與控制，在進(jìn)行研究時要特別予以重視。文獻(xiàn)篩選和納入時要盡可能納入灰色文獻(xiàn)，降低發(fā)表偏倚的出現(xiàn)風(fēng)險；文獻(xiàn)篩選和資料提取的過程由至少兩人獨(dú)立進(jìn)行后交叉核對，以保護(hù)研究過程的可重復(fù)性；在對發(fā)表偏倚的評價上，應(yīng)減少對漏斗圖的依賴，盡可能使用Egger回歸分析法或Beggs秩相關(guān)性法等定量檢驗(yàn)方法補(bǔ)充說明[28-29]，以確保發(fā)表偏倚評價的準(zhǔn)確性。而在研究內(nèi)部偏倚的排查上，研究者在元分析前應(yīng)對納入研究質(zhì)量進(jìn)行審查，在工具選擇上可以使用認(rèn)同度較高的GRADE（the Grading of Recommendations Assessment，Development and Evaluation）。GRADE是國際統(tǒng)一的證據(jù)質(zhì)量分級和推薦強(qiáng)度系統(tǒng)，但GRADE對非隨機(jī)對照實(shí)驗(yàn)研究的證據(jù)質(zhì)量等級評定較低，對于常使用非隨機(jī)對照實(shí)驗(yàn)的學(xué)習(xí)研究而言，也可以考慮采用由Cochrane制定的針對非隨機(jī)對照實(shí)驗(yàn)的風(fēng)險偏倚評估工具——ROBIN-I[30]。

（二）增強(qiáng)元分析報告規(guī)范化

有研究表明，PRISMA指南發(fā)布后，在PRIMA指導(dǎo)下進(jìn)行的元分析報告數(shù)量增多，且報告質(zhì)量有所上升[31-32]。研究還發(fā)現(xiàn)方法學(xué)質(zhì)量對報告質(zhì)量有一定依從性[32]，隨著報告質(zhì)量的上升有所上升。因此，研究者可以學(xué)習(xí)掌握AMSTAR、PRISMA和ENTREQ等信效度好的指南，依照指南細(xì)化研究計(jì)劃，完善研究過程并形成研究報告。其次，建設(shè)公開透明的數(shù)據(jù)庫也是實(shí)現(xiàn)元分析報告規(guī)范化的重要途徑。數(shù)據(jù)庫既能幫助研究者查詢關(guān)于某研究主題已有的元分析研究成果，直接找到相關(guān)研究的“最佳證據(jù)”，規(guī)避了研究彎路和學(xué)術(shù)浪費(fèi)。同時，數(shù)據(jù)庫也能幫助研究者明確元分析研究空白，確保新的元分析研究的學(xué)術(shù)價值。目前國際上在社會科學(xué)領(lǐng)域，特別是教育領(lǐng)域比較著名的數(shù)據(jù)庫有Campell圖書館、社會系統(tǒng)證據(jù)庫（Social System Evidence，SSE）、有效教學(xué)策略網(wǎng)WWC等。而國內(nèi)教育領(lǐng)域的元分析數(shù)據(jù)庫建設(shè)才剛剛起步，有著較大的發(fā)展空間。

（三）打造健康的元分析研究生態(tài)

要提升元分析質(zhì)量，就需要涉及的多方人員共同努力，一起打造健康、科學(xué)的元分析研究生態(tài)。首先，專家學(xué)者們研究制定適用于本學(xué)科領(lǐng)域的元分析方法學(xué)質(zhì)量評價工具以及報告規(guī)范指南是迫在眉睫的。這是打造健康研究生態(tài)的關(guān)鍵。其次，采用元分析方法開展研究的學(xué)者們要嚴(yán)格依照科學(xué)指南展開研究，獲得可靠的結(jié)論和規(guī)范的報告，從而提升研究的理論價值，同時，在元分析知識轉(zhuǎn)化上給出有建設(shè)性的建議和意見，以促成研究成果的實(shí)踐轉(zhuǎn)化。這是實(shí)現(xiàn)健康研究生態(tài)的重點(diǎn)。再次，各期刊編輯、審稿專家應(yīng)高度重視元分析相關(guān)稿件質(zhì)量，盡可能依照標(biāo)準(zhǔn)化、規(guī)范化的質(zhì)量評價工具和報告規(guī)范指南進(jìn)行審稿，以提升稿件質(zhì)量。這是打造健康研究生態(tài)的保障。最后，高校教育學(xué)相關(guān)專業(yè)有必要在教育研究方法課程中添加元分析方法知識，以保證學(xué)習(xí)者能夠獲得全面、系統(tǒng)的方法學(xué)習(xí)，保障研究工作的規(guī)范科學(xué)。這是打造健康研究生態(tài)的基礎(chǔ)。

六、結(jié) ? 語

元分析是針對現(xiàn)實(shí)問題獲得高級別科學(xué)證據(jù)的方法。近年來在學(xué)習(xí)領(lǐng)域元分析研究呈現(xiàn)出蓬勃發(fā)展的局面。盡管發(fā)文量不斷攀升，但研究質(zhì)量還存在著不同程度的問題。本研究就該問題展開研究，對學(xué)習(xí)領(lǐng)域的元分析成果進(jìn)行了方法學(xué)質(zhì)量和報告質(zhì)量評價，得出評價結(jié)果，討論結(jié)果產(chǎn)生的原因，并給出改進(jìn)建議。

本研究存在以下局限：（1）本研究在納入文獻(xiàn)基本特征分類、方法學(xué)質(zhì)量評價、報告質(zhì)量評價中具有主觀性，盡管研究由兩位經(jīng)過培訓(xùn)的研究人員分別進(jìn)行，最終交由第三方核對，但仍然可能產(chǎn)生偏倚。（2）本研究僅納入了CSSCI期刊上的元分析文獻(xiàn)，并且只搜索、錄入了2022年上半年的文獻(xiàn)，這都可能導(dǎo)致抽樣偏差，不一定能全面反映學(xué)習(xí)主題元分析的總體水平。（3）由于篇幅限制，本研究沒有提供完整的文獻(xiàn)納入清單和納入研究特征。（4）本研究對質(zhì)量影響因素的探析不完全充分，有待后續(xù)關(guān)注與研究。

[參考文獻(xiàn)]

[1] GLASS G V. Primary， secondary， and meta-analysis of research[J]. Education research， 1976， 6（5）：3-8.

[2] 夏凌翔. 元分析方法的幾個基本問題[J]. 山西師大學(xué)報（社會科學(xué)版）， 2005（3）：34-38.

[3] IOANNIDIS， JOHN P A. The mass production of redundant， misleading， and conflicted systematic reviews and meta-analyses[J]. Milbank quarterly， 2016， 94（3）：485-514.

[4] VAN AERT R， WICHERTS M， VAN ASSEN M. Publication bias examined in meta-analyses from psychology and medicine： a meta-meta analysis[J]. PLOS ONE， 2019， 14（4）：e0215052.

[5] MOHER D， LIBERATI A， TETZLAFF J， et al. Preferred reporting items for systematic reviews and meta-analyses： the PRISMA statement[J]. Journal of clinical epidemiology， 2009， 62（10）：1006-1012.

[6] SHEA B， GRIMSHAW J， WELLS G， et al. Development of AMSTAR： a measurement tool to assess the methodological quality of systematic reviews[J]. BMC medical research methodology， 2007， 7（10）：1-7.

[7] FOSTER R L.Reporting guidelines： CONSORT， PRISMA， and SQUIRE[J]. Journal for specialists in pediatric nursing， 2012， 17（1）：1-2.

[8] BAI Z G， BING Q， GONG R R， et al. Evidence based social science in China paper 3： the quality of social science systematic reviews and meta-analysis published from 2000 to 2019[J]. Journal of clinical epidemiology， 2019， 141：132-140.

[9] 吳洋. 加強(qiáng)系統(tǒng)綜述/meta分析類論文來稿的編輯審查[J].編輯學(xué)報， 2020， 32（1）：37-40.

[10] 楊克虎， 李秀霞， 拜爭剛. 循證社會科學(xué)研究方法：系統(tǒng)評價與Meta分析[M]. 蘭州：蘭州大學(xué)出版社， 2018.

[11] 熊俊， 陳日新. 系統(tǒng)評價/Meta分析方法學(xué)質(zhì)量的評價工具AMSTAR[J].中國循證醫(yī)學(xué)雜志， 2011， 11（9）：1084-1089.

[12] BURDA B U， HOLMER H K， NORRIS S L. Limitations of a measurement tool to assess systematic reviews （AMSTAR） and suggestions for improvement[J]. Systematic reviews， 2016（5）：58.

[13] 張方圓， 沈傲梅， 強(qiáng)萬敏. AMSTAR使用過程中存在的問題及建議[J]. 中國循證心血管醫(yī)學(xué)雜志， 2018， 10（2）：138-142.

[14] JAVOBS W C H， RUBINSTEIN S M， WILLEMS P C， et al. The evidence on surgical interventions for low back disorders， an overview of systematic reviews[J]. European spine journal， 2013， 22（9）： 1936-1949.

[15] 張方圓，沈傲梅，曾憲濤，等. 系統(tǒng)評價方法學(xué)質(zhì)量評價工具AMSTAR 2解讀[J]. 中國循證心血管醫(yī)學(xué)雜志，2018，10（1）：14-18.

[16] 項(xiàng)明強(qiáng)，肖讓，趙雪平，等. 70篇體育學(xué)元分析文獻(xiàn)的質(zhì)量評價與改進(jìn)建議[J]. 上海體育學(xué)院學(xué)報， 2021， 45（4）：68-76.

[17] 王立君， 顧海根. 概念圖對學(xué)生成績和態(tài)度影響的元分析[J]. 心理科學(xué)，2008，31（6）：1510-1512，1506.

[18] TERRI D P， JOSHUA R P. Methodological guidance paper： high-quality meta-analysis in a systematic review[J]. Review of educational research， 2020， 90（1）：24-46.

[19] POLANIN J R， TANNER-SMITH E E， HENNESSY E A. Estimating the difference between published and unpublished effect sizes[J]. Review of educational research， 2016， 86（1）：207-236.

[20] 侯浩翔， 王旦. ICT對工科學(xué)生創(chuàng)造力的影響效應(yīng)——基于國內(nèi)外41項(xiàng)實(shí)驗(yàn)與準(zhǔn)實(shí)驗(yàn)研究的Meta分析[J].現(xiàn)代教育技術(shù)， 2021， 31（12）：110-118.

[21] 汪維富， 毛美娟， 閆寒冰. 智能導(dǎo)師系統(tǒng)對學(xué)業(yè)成就的影響研究：量化元分析的視角[J]. 中國遠(yuǎn)程教育， 2019（10）：40-51.

[22] 劉珊珊， 楊向東. 課外輔導(dǎo)對學(xué)生學(xué)業(yè)成績影響效應(yīng)的元分析[J]. 教育發(fā)展研究， 2015， 35（22）： 55-64.

[23] 楊紅云， 陳旭輝， 顧小清. 多媒體學(xué)習(xí)中視覺情緒設(shè)計(jì)對學(xué)習(xí)效果的影響——基于31項(xiàng)實(shí)驗(yàn)與準(zhǔn)實(shí)驗(yàn)研究的元分析[J]. 電化教育研究， 2020， 41（1）：76-83.

[24] 紀(jì)春梅， 趙慧. 教師支持、學(xué)業(yè)自我效能感與中小學(xué)生學(xué)業(yè)成績的關(guān)系：元分析結(jié)構(gòu)方程模型[J]. 教師教育研究， 2021， 33（6）：106-113.

[25] HEW K F， BAI S R， DAWSON P， et al. Meta-analyses of flipped classroom studies： a review of methodology[J]. Educational research review， 2021， 33：18.

[26] CHEN Y L， CHONG S W， LIN T J. A methodological review of systematic literature reviews in higher education： heterogeneity and homogeneity[J]. Educational research review， 2022， 35.

[27] 陳露茜， 蘇藝晴. 循證教育溯源及其困境[J]. 清華大學(xué)教育研究， 2022， 43（4）：44-52，113.

[28] 李彤彤， 龐麗， 王志軍. 翻轉(zhuǎn)課堂教學(xué)對學(xué)生學(xué)習(xí)效果的影響研究——基于37個實(shí)驗(yàn)和準(zhǔn)實(shí)驗(yàn)的元分析[J].電化教育研究， 2018， 39（5）：99-107.

[29] 張文蘭， 胡姣. 項(xiàng)目式學(xué)習(xí)的學(xué)習(xí)作用發(fā)生了嗎？——基于46項(xiàng)實(shí)驗(yàn)與準(zhǔn)實(shí)驗(yàn)研究的元分析[J]. 電化教育研究， 2019， 40（2）：95-104.

[30] 金雪娟， 王吉耀. 《如何使用ROBINS-I和其他非隨機(jī)研究偏倚風(fēng)險評估工具對證據(jù)體的質(zhì)量進(jìn)行評級》文獻(xiàn)解讀[J]. 中國循證兒科雜志， 2021， 16（6）：442-445.

[31] NIKOLA P， EMANUELE L， GIULIO B， et al. Evaluation of the endorsement of the Preferred Reporting Items for Systematic Reviews and Meta-Analysis （PRISMA） statement on the quality of published systematic review and meta-analyses[J]. PLOS ONE， 2013， 8（12）：e83138.

[32] ADAM T， MATTHEW M， RAMEZ H， et al. Association of study quality with completeness of reporting： have completeness of reporting and quality of systematic reviews and meta-analyses in major radiology journals changed since publication of the PRISMA statement？[J]. Radiology， 2013， 269（2）：413-426.

Quality Evaluation of Learning Thematic Meta-analysis

Research in China from 2002 to 2022

HU Xiaoling， YUAN Min， ZHAO Lingxia

（Institute of Higher Education， Lanzhou University， Lanzhou Gansu 730000）

[Abstract] As an integrated statistical analysis method that breaks through the traditional statistical limitations， the meta-analysis method is increasingly used， but the unreliability of the meta-analysis conclusions is often ignored. In view of this， this study selects the meta-analysis studies about learning themes in China in the past two decades and evaluates them for methodological quality evaluation and report quality. Firstly， after determining the inclusion criteria， 106 meta-analyses from 1906 papers published in CSSCI journals between 2002 and 2022 are included in the study. After data extraction and feature analysis， the methodological quality and report quality of the 106 papers are evaluated by applying AMSTAR and PRISMA evaluation tools respectively. The evaluation conclusion is that the overall methodological quality of the literature is low， and there is a lack of methodologically high-quality literature; the report quality is moderate， with uneven performance. Among them， the methodological quality has some problems， such as poor reproducibility of research inclusion and data extraction， lack of included research quality evaluation and improper publication bias test methods. Report quality has problems with poorly structured abstract reports， missing protocol and registration， inadequate reporting of included research information， lack of rigor in reporting results， and missing reporting of research limitations. Finally， this study discusses the sources of quality risk and gives suggestions for improvement.

[Keywords] Learning Themes; Meta-analysis; Methodological Quality; Report Quality; Evaluation