國內教育技術領域元分析方法學質量研究*

程 薇 凡正成 楊淑婷

國內教育技術領域元分析方法學質量研究*

程 薇1凡正成2楊淑婷3

（1．南京郵電大學 教育科學與技術學院，江蘇南京 210023；2．北京師范大學 中國基礎教育質量監測協同創新中心，北京 100875；3．華東師范大學 教育信息技術學系，上海 200063）

元分析被視為指導教育實踐與制定教育政策的“最佳證據”。然而，這并不意味著元分析的研究結論一定是可靠的。基于此，文章試圖分析發表在國內教育技術領域期刊中關于元分析的研究質量，首先通過文獻檢索和篩選共納入39篇元分析文獻；接著編制了包含25個題項的元分析方法學質量評價工具；隨后對39篇文獻進行文獻編碼與資料提取。研究發現，雖然國內教育技術領域元分析的發表數量和研究質量呈整體上升趨勢，但研究報告質量參差不齊；納入研究的元分析文獻普遍存在概念泛化、文獻檢索不充分、關鍵研究過程缺失、忽視研究結果的普遍性和局限性等問題。文章期望通過研究為規范元分析在教育技術領域的應用提供參考。

教育技術；元分析；方法學質量；報告質量

引言

自2002年起，美國國家研究理事會開始提倡使用元分析進行教育科學知識的積累[1]。作為一種定量的系統化文獻綜述方法，元分析為整合已有研究成果提供了方法學意義上的指導，被視為指導教育實踐與制定教育政策的“最佳證據”，這在教育技術領域也不例外[2][3]。《教育技術研究與開發》（，）雜志主編也曾鼓勵開展元分析研究，以改善教育實踐[4]。事實上，自1976年Glass[5]提出“元分析”的概念后，教育技術領域關于元分析的研究數量不斷增長[6]。

雖然元分析能夠提供高可信度的研究結果，但這并不意味著元分析的研究結論一定是可靠的。近年來，元分析的發表數量每年以成倍速度增長，并在教育研究領域得到了廣泛應用[7][8]，但缺乏價值或“粗制濫造”的元分析也隨之不斷涌現——許多元分析的研究方法缺乏規范，質量參差不齊，其研究結果或結論可能會誤導研究者、實踐者和管理者。近年來，國內教育技術領域相關期刊發表了不少元分析的研究，其研究質量如何？本研究采用系統化文獻綜述法，分析發表在國內教育技術領域期刊上的元分析的研究質量，以期為規范元分析在教育技術領域的應用提供參考，并助力教育實踐者和政策決策者開展循證教育實踐。

一 文獻綜述

1 元分析的內涵、價值及研究過程

（1）元分析的內涵

“元分析”（Meta-Analysis）也稱薈萃分析、整合分析、綜合分析等[9]，是利用統計分析方法對同一類問題的已有實證研究結果進行綜合分析與評價，從而概括出其研究結果所反映的共同效應[10]。作為定量的系統化文獻綜述方法，元分析使用“效應量”這一指標衡量實驗干預的強弱或變量間關系的強弱。效應量是一種標準化均值差，能夠將同一主題使用不同研究工具和樣本的研究結果用“統一尺度”進行量化、比較和分析[11]。例如，Hattie[12]整合教育研究領域的800余項元分析所得出的影響學業成就的“儀表盤”就是以效應量為指標。

（2）元分析的價值

教育領域長期存在關于“教育研究難以指導教學實踐”的爭論，而元分析是構建教育教學實踐“知識庫”的工具[13]。元分析被認為是尋找“最佳證據”的有效方法，也是開展循證教育實踐的首要環節[14]。在教育領域，研究者使用元分析方法提供“最佳證據”；管理者則協調各方“冶煉”有效教學的策略和方法；編制有效教學指南，進而幫助教育實踐者開展循證教學。

（3）元分析的研究過程

元分析的研究過程是證據整合的過程，主要包含形成問題、文獻檢索、文獻篩選、文獻編碼、整合數據、解釋證據等環節[15]。其中，形成問題環節主要包含明確概念定義、聚焦研究問題、闡明研究意義等；文獻檢索環節主要采用電子數據庫檢索、手動檢索關鍵期刊、網絡檢索、參考文獻回溯、聯系專家等方式；文獻篩選環節包含瀏覽標題和摘要、瀏覽全文兩項內容；文獻編碼環節一般需要確定獨立比較的單位，有時需要對編碼者進行編碼培訓，至少需要兩名編碼者背對背編碼，嚴格意義上還需要進行編碼者一致性分析；整合數據環節也可稱數據分析環節，主要包含計算效應量、發表偏倚、靈敏度分析、異質性檢驗等；解釋證據環節主要討論研究結果的普適性和局限性。

2 元分析研究質量的評價方式

元分析的質量評價方式有兩種：方法學質量（Methodological Quality）和證據質量（Quality of the Evidence）[16]。

①方法學質量評價即報告質量（Reporting Quality）評價，是對元分析研究報告質量的評估。目前來說，AMSTAR及其升級版AMSTAR2是常用的方法學質量評價工具[17][18]。Shea等[19]設計開發的AMSTAR評價清單旨在評估基于隨機對照實驗的系統化文獻綜述的方法學質量，而其升級版AMSTAR2是用于評價基于隨機、非隨機對照實驗的系統化文獻綜述的方法學質量評價工具[20]。雖然AMSTAR的應用范圍較廣，但其在教育研究領域的應用少之又少。同時，該工具評估研究問題以及納入納出標準是否采用PICO格式，而PICO格式是醫學領域在提出問題時的專門格式，是英文中病人（Patient）、干預（Intervention）、對照（Comparison）以及結果（Outcome）四個單詞的首字母縮寫，其在教育領域中的適用性有待商榷。

②證據質量評價即偏倚風險（Risk of Bias），是對元分析潛在偏倚的評估——這里的偏倚是指研究結果或推論與事實的系統性偏差。ROBIS是用來評估證據質量的常用工具，主要通過研究設計、研究過程、解釋研究結果三個階段來評估系統化文獻綜述的證據質量，包括評估目標研究問題與擬研究問題的相關性、評估系統化文獻綜述過程中的偏倚風險情況、判斷系統化文獻綜述的總偏倚風險[21]。當前，ROBIS主要用于醫療領域，而在其他領域的應用比較少。

3 教育技術領域已有研究述評

Tamim等[22]從元分析的概念明晰性、元分析過程與方法的全面性、元分析實施過程的嚴謹性三個維度的16個題項出發，對技術影響學習的25個元分析進行了方法學質量評價，結果發現：對于研究質量水平不同的元分析來說，效應量大小沒有顯著性差異；不足之處在于，該研究在評判研究質量高、中、低水平上僅僅給出了主觀的結果。在此基礎上，Bernard等[23]從界定問題、檢索文獻、從研究中收集資料、評估原始研究質量、分析研究結果、解釋證據、編碼者一致性七個維度出發，研究高等教育領域技術整合元分析研究的偏倚風險情況；不足之處在于，該研究沒有關注文獻篩選的過程和方法。

Plonsky等[24]從引言和文獻綜述、研究方法、結果與討論三個維度的17個題項出發，對計算機支持的語言學習的10個元分析的方法學質量進行評估。不足之處在于，該研究缺少對文獻編碼過程、選擇合成效應量模型、異質性檢驗以及靈敏度分析的關注；同時，該研究沒有將研究結果、結論與討論兩部分區分開來。

Young[25]使用基于AMSTAR改編的R-AMSTAR量表，對技術支持的數學學習的19個元分析進行質量評估。與AMSTAR采用清單形式進行評估不同，R-AMSTAR采用的是量表形式。但R-AMSTAR缺少對文獻篩選、效應量合成、調節變量分析等的關注。該研究發現，對研究質量水平不同的元分析來說，效應量大小存在顯著性差異，其中質量高的元分析平均效應量最小。不足之處在于，該研究也未給出評判研究質量高、中、低水平的客觀標準。

Tamim等[26]在修訂和完善其團隊前期研究工具的基礎上，對教育技術領域的52個元分析進行方法學質量評估。該研究增加了文獻篩選流程題項，減少了原始研究方法學質量的題項。但是，該研究關于文獻檢索與研究結果的報告內容過于簡單，且該研究也沒有評估異質性檢驗及其效應量的計算等。該研究發現，低質量的元分析可能過高估計了教育技術對學習的貢獻，進而誤導研究者和實踐者；另外，早期發表的元分析研究質量得分遠低于近年來發表的研究得分——也就是說，本領域發表的元分析研究質量呈好轉趨勢。該研究還指出，近年來有些元分析的質量仍處于中等水平，這需要引起本領域研究者、實踐者及管理者的注意，以防被結果誤導。

教育技術領域關于元分析質量的研究已有近十年的歷史，所采用的研究工具雖尚未統一，但主要聚焦于方法學質量評價。另外，目前關于元分析研究質量高、中、低水平的判定未有客觀標準，研究質量與效應量大小之間的關系也存在爭議。考慮到元分析在國內教育技術領域的應用仍處于初級階段，本研究首先整合已有研究中的元分析方法學質量評價工具，然后采用系統化文獻綜述方法，對國內教育技術領域已發表的元分析研究進行方法學質量評價，同時研究方法學質量與發表年份之間的關系，以及不同質量水平元分析的效應量大小是否有顯著性差異。

二 研究設計

1 文獻檢索與篩選

本研究的納入標準為：①發表于國內教育技術領域和遠程教育領域的期刊；②報告了效應量的元分析研究；③被CSSCI期刊收錄；④2021年之前正式發表。本研究使用與元分析相關的關鍵詞，如元分析、文獻綜述、系統評價、薈萃分析、整合分析法等；期刊來源類別選擇CSSCI，限定在《電化教育研究》《中國電化教育》《現代教育技術》《開放教育研究》《現代遠程教育研究》《遠程教育雜志》《中國遠程教育》七本期刊。

本研究的文獻檢索時間為2021年4月4日，共計檢索到文獻215篇。隨后，本研究團隊通過瀏覽文獻的標題和摘要，排除170篇非元分析研究的文獻。之后，本研究團隊通過瀏覽文獻全文，繼續排除6篇未報告效應量的研究。最終，本研究納入的文獻有39篇。

2 編碼表的制定

結合美國心理學協會（，）和教育領域的元分析報告質量研究相關成果[27][28][29][30]，同時考慮國內教育技術元分析的應用情況，本研究主要從界定研究問題、研究設計與方法、研究結果、結論與討論四個維度來評估本研究所納入的39篇元分析，共設計評估題項25個，文獻編碼如表1所示。

表1 文獻編碼表

參考Tamim等[31]的評分方式，本研究采用三級定性描述每一題項的等級水平：第一級為沒有報告相關信息，計分為0；第二級為部分報告相關信息，計分為1；第三級為清晰完整報告相關信息，計分為2；滿分為50分。同時，本研究還對期刊名稱、發表年份、關注的主題、關鍵詞的使用、合成效應量的名稱、合成效應量的類型、合成效應量的大小等進行編碼，以對納入文獻的研究過程進行更為全面的分析。

3 文獻編碼及編碼者一致性分析

本研究團隊首先對納入文獻中的10篇文獻進行預編碼，編碼完成后協商討論，以達到對編碼表的一致理解。之后，本研究團隊中的兩名成員采用“背對背”方式，分別對剩余的29篇文獻進行正式編碼。計算兩名成員的編碼者一致性采用組內相關系數（）[32]。本研究的值在0.659～1之間。通常情況下，值大于0.75，為一致性高；值處于0.40～0.75之間，為一致性良好[33]。據此可知，本研究的評分者一致性滿足統計學意義上的要求。對于不一致的編碼結果，本研究團隊的三名成員共同商議后確定最終的編碼結果。

4 數據分析

本研究主要使用描述性統計分析報告納入研究的基本特征，研究結果主要采用頻數來描述每一題項在三種水平（即完整報告、部分報告、未報告）上的分布情況。同時，本研究對方法學質量25個題項的總得分進行排序后，將前27%記為高質量組、后27%標記為低質量組，剩余為中質量組[34]，并采用方差分析驗證這一分組的有效性。本研究還使用皮爾遜相關性檢驗分析發表年份與方法學質量總分的相關性。

三 研究結果

1 納入研究的基本信息

在納入的39篇文獻中，發表在《電化教育研究》的有10篇，發表在《開放教育研究》《中國遠程教育》的各有8篇，發表在《現代遠程教育研究》的有4篇，發表在《中國電化教育》《現代教育技術》《遠程教育雜志》的各有3篇；從發表年份上來看，主要集中在2017年以后；從研究主題上來說，涉及虛擬現實技術、翻轉課堂、在線學習或網絡學習、思維導圖或知識可視化、教育機器人、移動學習等；從檢索所用關鍵詞和檢索方式來看，近三分之二的元分析在檢索時采用“教學干預+學習結果”的方式，其中“學習結果”所使用的詞語通常為考試、測評、成績、考察、學習成效、學習成果等之類。

從數據分析軟件來說，有21篇文獻使用Comprehensive Meta-Analysis（CMA）軟件，有8篇文獻使用Review Manager，有2篇文獻使用Stata，有1篇文獻使用R語言，其余7篇文獻均未報告使用的數據分析軟件；從使用的效應量類型來說，有14篇文獻報告使用Cohen的值，13篇文獻報告使用標準化均值差（），8篇文獻報告使用Hedges的值，有2篇文獻分別報告使用值、均值差（），還有2篇文獻未報告使用的效應量類型。事實上，Cohen的值和Hedges的值都是標準化均值差，區別在于后者是對前者在樣本量上進行校正后的無偏估計[35]，但是不少研究者在使用時并未對其進行區分。

2 方法學質量分布

在納入的39篇元分析文獻中，方法學質量得分的最高值為44分、最低值為12分，均值為29.31分。在界定研究問題維度上，雖然絕大多數研究能夠完整報告研究問題，但是缺乏對相關概念的界定以及對理論或實踐緣起的闡述。在研究設計與方法維度上，文獻編碼過程、編碼者一致性、異質性檢驗、調節變量分析依據、靈敏度分析等題項未報告的文獻較多。在研究結果維度上，檢索與篩選流程圖、異常值處理結果等題項未報告的文獻較多。在結論與討論維度上，絕大多數研究完整報告了結果陳述部分和未來研究方向，同時絕大多數研究未完整報告一般局限性。25個題項在不同等級上的方法學質量評價結果如表2所示。

表2 方法學質量評價結果

通過方差分析（ANOVA）發現，高、中、低分組在方法學質量上存在顯著性差異（=61.336，=0.00＜0.05），說明本研究采用的高、中、低分組方法是有效的。進一步分析發現，高、中、低三組在效應量大小方面不存在顯著性差異（=0.593，=0.558＞0.05），不同等級效應量大小方差分析結果如表3所示，這與Tamim等[36]的研究結果并不一致。

表3 不同等級效應量大小方差分析結果

注：其中有1篇文獻未報告總效應量，所以本表文獻數量總計38篇。

3 方法學質量與發表年份的關系

本研究發現納入研究的文獻的方法學質量與發表年份之間存在顯著性正相關（=0.638，=0.000＜0.01）。按照發表年份，本研究用條形統計圖可視化呈現高、中、低三組方法學質量的發表數量和發表年份分布，如圖1所示。可以看出，高質量文獻主要集中在2017年以后。

圖1 高、中、低三組方法學質量的發表年份和發表數量分布

四 討論與展望

1 研究發現

本研究從國內教育技術領域七本CSSCI期刊發表的文獻中篩選出39篇元分析，通過對其方法學質量的評估，發現雖然國內教育技術領域元分析研究文獻的發表數量和研究質量整體呈上升趨勢，但研究報告質量參差不齊，主要表現為：

①雖然多數文獻報告了研究問題，但存在基本概念界定不清楚、概念泛化的問題；同時，在理論或實踐緣起部分缺乏論證，多為泛泛之談。

②在研究設計和方法部分，多數文獻忽視了對文獻編碼過程的闡述和編碼者一致性的分析，且缺少對異常值的檢驗，這是造成元分析研究結果偏倚的重要原因。

③在研究結果部分，多數文獻沒有報告文獻篩選的過程和結果，僅報告最后納入研究的數量；另外，多數研究僅使用漏斗圖的方式判斷發表偏倚情況，而很少采用定量的方式來評估研究的發表偏倚情況。

④在結論與討論部分，多數文獻缺少對研究結果普適性和局限性的解釋與討論，也缺少對未來研究提供參考性的建議或意見。

⑤對研究質量水平不同的元分析來說，其在效應量大小上不存在顯著性差異；但是，低質量組元分析效應量的均值最高，也就是說低質量組可能會高估教育技術對學習的貢獻。

2 研究討論

針對目前元分析研究存在的問題，本研究認為造成這些問題的原因主要在于：

（1）概念泛化或是造成元分析研究質量不佳的首要因素

雖然元分析不是研究“蘋果”或“橙子”，而是研究“水果”的問題，但這并不意味著核心概念的界定可以泛化。在界定研究問題的同時，概念性定義和操作性定義也需要清晰界定，否則會影響研究的透明度和可重復性。然而，在納入的39篇元分析文獻中，有不少研究文獻出現了概念泛化的問題。而概念泛化會影響整個研究設計的質量和研究結果的解釋力，繼而會對教育實踐產生誤導。

從視覺教學到計算機輔助教學、多媒體學習，再到在線學習、人工智能教育，教育技術的發展似乎是各種技術在教育研究與實踐中的“沉浮”，技術在教育中的應用方式和形態沒有形成一個穩定的“分析變量和觀察單位”，有關教育技術的核心概念界定模糊、難以區分，造成研究與實踐之間的“無效”對話，甚至出現學術共同體內的“無效”爭論[37]。因此，需要構建教育技術學的概念體系，形成技術應用于教與學的邏輯框架。

（2）文獻檢索不充分會影響元分析的透明度和可重復性

相較于敘述性文獻綜述來說，系統化文獻綜述和元分析的主要優勢之一在于其能盡可能多地納入相關研究，進而尋找一般性的結論。然而，雖然納入的大多數文獻報告了文獻檢索的策略和過程，但文獻檢索所選用的關鍵詞選擇不當、檢索方式難以復現，都會使文獻檢索的充分性難以保障，進而導致元分析的優勢變成劣勢。

事實上，醫學研究領域常用的檢索原則在教育技術甚至教育領域中的適用性有待商榷。在教育技術領域開展系統化文獻綜述或元分析時，文獻檢索關鍵詞的選用需要有經驗的研究者來指導。未來研究可以關注教育技術領域已發表的系統化文獻綜述和元分析研究的文獻檢索存在的問題，規范文獻檢索方式和流程，制定文獻檢索指導規范，提高文獻檢索的充分性。

雖然報告質量并不完全代表研究質量，但遵循特定的研究報告標準可以提升研究報告本身的可讀性，并提高研究的透明度和可重復性。目前來說，元分析的報告標準主要有系統化文獻綜述和元分析優先報告條目（Preferred Reporting Items for Systemtatic Reviews and Meta-Analyses，PRISMA）以及元分析報告標準（Meta-Analysis Reporting Standards，MARS）兩種[38][39]。其中，PRISMA主要在醫學領域使用，而MARS主要在心理學領域使用，兩者在教育技術領域中的適用性有待商榷。此外，是否需要制定教育技術領域元分析的報告標準還有待進一步研究。

（3）關鍵研究過程缺失會造成元分析的偏倚風險

元分析使用“效應量”這一指標來衡量實驗干預的強弱或變量間關系的強弱，其研究結果有很強的解釋力，為縮短教育研究與實踐的距離提供了方法上的支持。然而，元分析雖然是提供“最佳證據”的主要來源，其研究結果具有較高的可信度，但是這并不代表其研究結論就是可靠的，“粗制濫造”的研究反而更容易造成誤導。

本研究所納入的元分析存在關鍵研究過程缺失報告的問題，這會造成元分析的研究偏倚。例如，文獻檢索使用不當或錯誤的檢索詞、沒有嚴格按照納入納出標準執行文獻篩選、沒有進行編碼者一致性分析、缺少對異常值的檢驗等都會造成偏倚風險。為全面提升教育技術領域元分析的研究質量，未來還需要編制元分析的證據質量工具。

（4）研究結果的普遍性和局限性需要引起重視

元分析作為一種研究方法，其研究結果具有很強的解釋力，元分析的討論部分需要解釋效應量的大小。而在解釋效應量的大小時，研究者需要選擇合適的評估效應量大小的標準。例如，Cohen[40]規定了大、中、小標準化均值差效應量的分界點分別為0.2、0.5、0.8。而在本研究所納入的元分析中，大部分在解釋效應量的大小時沒有關注這一點。

另外，每一種研究方法或研究范式都存在各自的局限性。在解釋研究結果時，研究者要從研究方法、研究實施條件等多個方面闡述其局限性。本研究所納入的39篇元分析文獻中，大多從文獻檢索的范圍、納入納出標準等方面對研究的局限性泛泛而談，而對元分析研究方法本身存在的局限性缺少探討。

3 未來展望

本研究僅關注元分析研究的方法學質量，未來可以研究證據質量視角下的研究質量。此外，本研究僅選擇國內七本與教育技術相關的CSSCI期刊進行文獻檢索，未來還可以將納入研究的范圍擴展到國外期刊論文、國內外學位論文和會議論文，以更全面地探究教育技術領域元分析的研究質量。事實上，國內學者所寫的元分析研究文章還有一些發表在國際期刊或國際會議上，因此本研究的研究結果在一定程度上并不能完全反映國內教育技術領域元分析研究的質量。

作為一種研究方法，元分析有一套嚴格的研究流程。開展元分析研究需要全面、系統地掌握此種方法，若其質量不佳，很可能在于研究者對該方法掌握不足。此外，研究者還要對所需研究的主題具有豐富的研究經驗，僅僅通過模仿很難產生高質量的研究。

[1]National Research Council. Scientific research in education[M]. Washington, D.C.: National Academies Press, 2002:44-49.

[2]Alsop G, Tompsett C. From effect to effectiveness: The missing research questions[J]. Journal of Educational Technology & Society, 2007,(1):28-39.

[3][4]Spector J, Johnson T, Young P. An editorial on replication studies and scaling up efforts[J]. Educational Technology Research and Development, 2015,(1):1-4.

[5]Glass G V. Primary, secondary, and meta-analysis of research[J]. Educational Researcher, 1976,(10):3-8.

[6]程薇,凡正成,陳桄,等.重溯技術與學習關系之爭:整合元分析的發現[J].電化教育研究,2019,(6):35-42.

[7][28]Ahn S, Ames A J, Myers N D. A review of meta-analyses in education: Methodological strengths and weaknesses[J]. Review of Educational Research, 2012,(4):436-476.

[8]Polanin J R, Maynard B R, Dell N A. Overviews in education research: A systematic review and analysis[J]. Review of Educational Research, 2017,(1):172-203.

[9]張琦.遵循循證原則制訂教育政策[J].中國教育學刊,2007,(7):11-15.

[10]毛良斌,鄭全全.元分析的特點、方法及其應用的現狀分析[J].應用心理學,2005,(4):354-359.

[11]鄭昊敏,溫忠麟,吳艷.心理學常用效應量的選用與分析[J].心理科學進展,2011,(12):1868-1878.

[12]Hattie J. Visible learning: A synthesis of over 800 meta-analyses relating to achievement[M]. London?; New York: Routledge, 2008:7-21.

[13]Wang M C, Haertel G D, Walberg H J. Toward a knowledge base for school learning[J]. Review of Educational Research, 1993,(3):249-294.

[14]楊文登,葉浩生.縮短教育理論與實踐的距離:基于循證教育學的視野[J].教育研究與實驗,2010,(3):11-17.

[15]Cooper H. Research synthesis and meta-analysis: A step-by-step approach[M]. Los Angeles: SAGE Publications, Inc, 2010:29-39.

[16]Becker L A, Oxman A D. Overviews of reviews[A] Cochrane Handbook for Systematic Reviews of Interventions[C]. Chichester, England: John Wiley & Sons, Ltd, 2008:607-630.

[17][19]Shea B J, Grimshaw J M, Wells G A, et al. Development of AMSTAR: A measurement tool to assess the methodological quality of systematic reviews[J]. BMC Medical Research Methodology, 2007,(1):1-7.

[18][20]Shea B J, Reeves B C, Wells G, et al. AMSTAR 2: A critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both[J]. BMJ, 2017,358:j4008.

[21]Whiting P, Savovic J, Higgins J P T, et al. ROBIS: A new tool to assess risk of bias in systematic reviews was developed[J]. Journal of Clinical Epidemiology, 2016,69:225-234.

[22]Tamim R M, Bernard R M, Borokhovski E, et al. What forty years of research says about the impact of technology on learning: A second-order meta-analysis and validation study[J]. Review of Educational Research, 2011,(1):4-28.

[23][29]Bernard R M, Borokhovski E, Schmid R F, et al. An exploration of bias in meta-analysis: The case of technology integration research in higher education[J]. Journal of Computing in Higher Education, 2014,(3):183-209.

[24]Plonsky L, Ziegler N. The CALL-SLA Interface: Insights from a second-order synthesis[J]. Language Learning & Technology, 2016,(2):17-37.

[25]Young J. Technology-enhanced mathematics instruction: A second-order meta-analysis of 30 years of research[J]. Educational Research Review, 2017,(22):19-33.

[26][30][31][36]Tamim R M, Borokhovski E, Bernard R M, et al. A study of meta-analyses reporting quality in the large and expanding literature of educational technology[J]. Australasian Journal of Educational Technology, 2021,(4):100-115.

[27][39]American Psychological Association. Publication manual of the American psychological association[M]. Washington, DC: American Psychological Association, 2013:251-252.

[32]Fleiss J L, Cohen J. The equivalence of weighted Kappa and the intraclass correlation coefficient as measures of reliability[J]. Educational and Psychological Measurement, 1973,(3):613-619.

[33]潘曉平,倪宗瓚.組內相關系數在信度評價中的應用[J].華西醫科大學學報,1999,(1):62-63、67.

[34]戴海崎,張鋒.心理與教育測量(第4版)[M].廣州:暨南大學出版社,2018:80-82.

[35]Borenstein, M., Hedges, L. V., Higgins, J. P. T., Rothstein, H. R. Introduction to Meta-Analysis[M]. Chichester, UK:John Wiley & Sons,Ltd., 2009:21-30.

[37]郭文革.教育的“技術”發展史[J].北京大學教育評論,2011,(3):137-157、192.

[38]Page M J, Mckenzie J E, Bossuyt P M, et al. The PRISMA 2020 statement: an updated guideline for reporting systematic reviews[J]. BMJ, 2021,88:105906.

[40]Cohen J. Statistical power analysis for the behavioral sciences[M]. New York: Routledge, 1988:20-40.

Research on the the Quality of Meta-analyses Methodology in the Field of Domestic Educational Technology

CHENG Wei1FAN Zheng-cheng2YANG Shu-ting3

Meta-analysis is considered as the “best evidence” for guiding educational practice and formulate education policies. However, it does not mean that the research conclusion of the meta-analysis is necessarily reliable. Based on this, this paper attempted to analyze the research quality of meta-analyses published in domestic educational technology journals. Firstly, a total of 39 meta-analysis literature were included through literature search and screening. Then, a meta-analysis methodology quality evaluation tool containing 25 items was compiled. Subsequently, 39 pieces of literature were coded and data extracted. It was found that although the publication number and research quality of meta-analysis in the field of domestic educational technology showed an overall upward trend, the quality of research reports was uneven, and the meta-analysis literature included in the research generally had the problems of conceptual generalization, insufficient literature retrieval, and lack of key research processes, ignoring the generalizability and limitations of the research results. This paper was expected to provide reference for the application of normative meta-analysis in the field of educational technology through research.

educational technology; meta-analysis; methodology quality; report quality

G40-057

A

1009—8097（2022）06—0025—10

10.3969/j.issn.1009-8097.2022.06.003

本文為江蘇省教育科學“十三五”規劃青年專項課題“教育技術學領域元分析的方法學質量評價研究”（項目編號：C-b/2020/01/23）的階段性研究成果，并受教育部人文社會科學研究項目“循證視域下技術有效應用于教與學的理論與實踐研究”（項目編號：19YJC880013）資助。

程薇，講師，博士，研究方向為技術促進學習、循證實踐和智慧學習環境，郵箱為chengweiet@njupt.edu.cn。

2021年12月31日

編輯：小時