孫安
摘???要:目前元分析方法在圖情檔界尚處于初始研究階段。該文首先詳細論述元分析方法的涵義、步驟和特點。在此基礎上,探究關于元分析方法的幾個爭議性問題:偏倚問題、異質性問題、評價問題。最后論述元分析方法與圖書情報檔案學關系,并推斷未來該方法在圖書情報學的應用趨勢。結論:隨著圖情檔領域中定量分析研究的數據格式規范性、標準性得到重視,元分析方法將逐步受到重視和發展。
關鍵詞:元分析????定量分析????集成研究????圖書情報檔案
中圖分類號:G250???????????文獻標識碼:A???????????文章編號:1672-3791(2022)07(b)-0000-00
Review?on?the?Characteristics?of?Meta-analysis?Research?Methods?Based?on?Quantitative?Integration
SUN?An
(Library?of?Henan?University?of?Science?and?Technology,?Luoyang,?Henan?Province,?471003?China)
Abstract:At present,?the?meta-analysis?method?is?still?in?the?initial?research?stage?in?the?field?of?map?and?information?files.?Firstly,?the?meaning,?steps?and?characteristics?of?meta-analysis?method?are?discussed?in?detail.?On?this?basis,?this?paper?explores?several?controversial?issues?about?meta-analysis?methods:?bias,?heterogeneity?and?evaluation.?Finally,?it?discusses?the?relationship?between?meta-analysis?method?and?library,?information?and?archives,?and?infers?the?application?trend?of?this?method?in?Library?and?Information?Science?in?the?future.?Conclusion:?with?the?attention?paid?to?the?standardization?and?standardization?of?data?format?in?the?field?of?quantitative?analysis?in?the?field?of?map?and?information?files,?the?meta-analysis?method?will?be?gradually?valued?and?developed.
Key?Words:?Meta-analysis;?Quantitative-analysis;?Synthesis-analysis;?Library-information-archive
絕大多數科學研究成果都是建立在前人研究的基礎之上,因此,總結前人的研究是一項重要的科研工作??偨Y前人研究,最常見的方法是收集、整合以往發表的研究成果,將過去每個獨立的研究成果進行匯總、比較、分析給予定性或定量的評價,得出新結論,找出新問題、新的研究方向?,F代社會發展迅速,尤其進入大數據時代,科研文獻成果發表數量較以往呈現顯著增長態勢,據中國科技信息技術研究所統計:中國卓越科技論文數量2018年為31.59萬篇比2017年增長12.4%,2019年為38.73萬篇較2018年增長22.6%,2020年為49.38萬篇較2019年增長27.4%[1,2]??偨Y前人經驗,這一研究范式在當今社會背景下顯得越發重要,一種新的研究方法:元分析研究法(Meta-analysis)也開始受到人們關注。
元分析是一種將定性分析與定量分析相結合的文獻綜合分析方法。元分析方法最早于1976年由美國教育心理學家Glass提出,早期該方法應用于心理學、教育學,目前國外社會科學研究中也得到了廣泛應用,出現了一些介紹元分析方法的書籍和一些應用軟件[3]。元分析分析方法進入我國后,首先被醫學、心理學界專家廣泛采用,發表了許多科研成果,而在社會科學研究領域則相對較少,近幾年我國社會科學研究領域也開始關注這一方法?;诖耍撐臄M介紹元分析方法、注意問題以及展望該方法在圖書情報檔案學界的應用前景。
1??元分析方法介紹
1.1?方法涵義
Glass對元分析的定義是:以綜合已有的發現為目的,對單個研究結果進行綜合的統計學分析方法[4]。參照元數據概念,元分析可以理解為:關于“分析○”的“分析”,“分析○”是圍繞某一命題的過往研究成果進行匯總,然后再次定量分析,得出綜合評價。這里的過往單個研究成果是基于定量分析得出的,包含統計數據。早期統計學家僅把元分析方法看作是定量整合分析方法[5]。但隨著元分析方法應用范圍的擴大,專家們發現元分析中應該既包含定量分析也包含定性分析,例如Ellenberg和Sacks等人將其定義為:對具有共同研究目的相互獨立的多個研究結果給予定量合并分析,剖析研究差異特征,綜合評價研究結果;和對以往的研究結果進行統計學的合并和嚴謹的系統綜述方法[6-7]。
1.2?元分析操作步驟
元分析方法的操作步驟主要包括:(1)提出問題;(2)收集篩選文獻;(3)編碼信息提取;(4)依照統計學處理;(5)分析總結[8]。如圖1所示:
“提出問題”是科學研究中最重要的一個環節,“提出問題”的好壞、優劣,決定著此次研究的結論意義是否明確、是否意義顯著。且圍繞“提出問題”關鍵詞的提煉關系到第二步收集文獻的準確度、查全度。
“收集篩選文獻”環節中著重強調文獻的查全率。若遺漏文獻,則將影響元分析分析結果,甚至得出錯誤結論。為了說明研究不存在收集偏倚或者發生較少收集偏倚,研究者在此環節會清晰描述其檢索式、選擇的文獻數據庫、甚至聯系相關作者尋訪未發表或者為找到的“零次文獻”或“一次文獻”。收集完文獻,則依據研究內容是否相關、是否依據定量分析、是否具有統計數據等標準篩選出符合該本次元分析方法研究的基礎文獻。
“編碼信息提取”:按照統一編碼,篩選保留的文獻進行信息提取。社會學研究領域中,文獻編碼與信息提取有時具有二義性和模型性,為保證此環節的編碼科學性,往往安排2人進行,當存在文獻信息提取不一致時,進行協商,當協商無果時,征詢第3人仲裁。
“依據統計學處理”包括:計算單個效應量,異質性檢驗,構建效應模型,計算平均效應量,計算結果穩定性。由于收集到的每個研究結果的效果量所采用不同的方式或者工具來檢驗所要考察的相關變量。所以需要將這些獨立的研究的效果大小從新標準化,常見采用皮爾遜相關系數作為標準化效果量的估計[9]。然后通過異質性檢驗判斷單個研究之間是否存在異質性,如果存在則構建隨機效應模型,反之則構建固定效應模型[10-11]。之后對待每個研究質量設計合理權值,計算整體平均效應量,得出定量結論。最后利用敏感性分析、漏斗圖或失效安全系數法計算是否存在發表偏倚,即該次研究的定量結論是否穩定。
“分析總結”,前面依據統計學處理視作定量分析,分析總結為定性分析。它不是簡單地解釋計算的定量結果值,而是根據結果值開展進一步深入探究。例如:異質性分析中,計算結果值只能發現是否存在異質性,不能得出異質性原因。異質性原因需要憑借專業領域知識和專家經驗對單個獨立的研究結果之間進行定性分析。
1.3?元分析方法特點
元分析作為一種定量的綜合文獻的方法和傳統的文獻綜述研究方法有很大不同的。首先目的本質不同,元分析方法主要目的是對過往研究進行定性與定量的匯總后進行綜合分析,并得出新結論的一種研究方法。傳統文獻綜述法,是過往文獻進行綜述評價,其主觀新創造部分為“過往研究評價”,一般不產生新結論。另一方面,傳統文獻綜述一般只有定性分析,缺乏定量分析,研究者參考了那些文章不得而知,且研究者往往無法窮盡所有文獻,綜述結論受研究者主觀態度明顯。而元分析是較高一級邏輯形式上的文獻綜述,其主要是基于定量分析基礎上的定性分析,且研究過程可重復性,設計嚴謹,科學性強,強調對有關研究進行全面的文獻檢索,有明確的文獻納入和排除的標準,系統地考慮了研究的對象、方法、測量指標等對分析結果的影響,對納入文獻進行了嚴格評價,并在此基礎上對結果進行定量的合并。所以,與傳統的文獻綜述相比,元分析能最大限度地減少各種偏倚,確保結論的科學性、客觀性和真實性。
具體地說,元分析具有以下作用:(1)匯聚大樣本,提高統計分析的功效。將同一性質實驗的不同研究中的樣本數據匯總,樣本數量將遠遠大于每個獨立研究個案的樣本數量,其統計功效更加明顯,更具有統計分析意義。(2)揭示和分析多個同類研究的分歧,找出新的研究方向。通過異質性檢驗等方法考察研究間異質性的原因,揭示文獻異質性的來源,發現過去未注意的調節變量,回答單個研究中尚未提及或不能回答的問題,揭示單個研究中存在的不確定性,并據此提出新的研究假說、課題和方向。(3)具有處理大量文獻的能力,不受研究數目的限制。在當今知識爆炸的時代,當需要系統總結、分析以往的工作,為科學決策提供依據時,元分析是合并現有信息的最好方法之一,有助于研究者和實踐工作者對文獻進行分析與評價,從而在較少的時間、人力和物力的投入下獲取更多的信息。
2??元分析方法應注意的問題
元分析方法雖然已經在社會科學領域廣泛應用,但仍有許多專家對該方法的有效性提出質疑,甚至質疑元分析方法研究問題時得出的結論不僅會有偏倚,甚至可能得出錯誤的結論。針對這些質疑,我們應該冷靜對待,不應元分析方法存在的局限性而輕易否定元分析研究方法,而應在元分析方法的操作步驟中注意存在的問題,加以規避或者減小其對結果的誤差。下面來注意分析應對元分析方法存在的問題。
2.1各種偏倚與其規避
“偏倚”(bias)是指與真實情況的誤差。元分析方法的操作步驟確實存在可能發生的各種偏倚,如:收集偏倚、選擇偏倚、研究偏倚、發表偏倚。
收集偏倚是指,元分析方法在初始收集研究結果時難以做到全面性,即難以收集到關于某一主題所有已存在的研究成果。該偏倚是一個無法證明問題,任何一次基于元分析的研究都無法證明其不存在收集偏倚。所以收集文獻時,研究者一般除了需要明確給出其檢索詞,檢索資源庫,還應強調其采取了額外途徑,如走訪、電話、E-mail該研究主題的知名專家,咨詢他們是否還存在此次研究未收集到的文獻。通過上述工作試圖說明研究中不存在收集偏移,或收集偏移量較小。
選擇偏倚是發生在元分析方法收集完文獻后,以一定的納入標準剔除不屬于該次研究所需的初始文獻。納入標準存在一定的主觀性,存在一定概率把需要納入研究的初始文獻剔除在外。
研究偏倚是對已保留的初始文獻進行編碼,提取信息。由于各個初始文獻所采用的研究方法、工具、指標項不盡相同,所以在信息提取時由于提取方法和標準存在主觀性,所以容易發生研究偏移,或者叫內容提取偏移,導致提取信息不準確。
針對選擇偏移和研究偏移,元分析方法研究者往往采用2人以上人數完成,對待剔除文獻和提取內容有異議時進行協商,協商之后不一致的交由第三人仲裁。通過多人完成選擇文獻、內容提取最大限度減少選擇偏倚與研究偏倚的發生。
發表偏移也是對元分析方法爭議最大的偏移,即雜志編輯部對陰性結果的采用率明顯低于陽性結果,編輯的喜好及作者聲望,此外還有文件抽屜(filed?drawer)問題?[5]。針對發表偏移,元分析方法一般采用漏斗圖、失效安全系數、敏感性分析進行定量的估計[12-13]。估計值可以說明其所檢索的文獻是否存在發表偏移。例如失效安全系數,如計算值為500,那么其含義是如果因為發表偏移而導致元分析定量結果失效需要找到500未發表的陰性文獻,即失效安全系數越大,元分析得出的結論越穩定。
綜上是元分析存在的各種偏移,但我們應該理性看待他們。這些偏移并非元分析方法所特有的偏移,即采用傳統文獻分析法,這類偏移依然存在,只是在元分析應用過程中,被大家所重視。采取合理應對措施,元分析方法所得結論依然有其信服之處。這也是元分析方法從產生到現在被廣泛應用不被拋棄的原因。
2.2?“桔子”與“蘋果”問題
對元分析的最尖銳的批評之一就是“桔子”和“蘋果”問題,認為元分析方法不應該將研究對象、結果測量指標、實驗設計以及測量方式等不同的各項研究所得的結果結合在一起,因為這就好比將桔子與蘋果拿來比較,是很難得出正確結論的。但也正是因為“桔子”和“蘋果”問題,讓元分析方法有了新的課題研究意義。因為元分析方法可以通過進行異質性檢驗來判斷其所收集的文獻是否存在異質性,一般通過Q檢驗,檢驗值可以定量給出異質性程度[14-15]。當發現異質性明顯時,并不意味著該次元分析方法的失效終結,而是促使研究者通過專業領域知識以及經驗判斷所收集的文獻存在異質性的原因到底何在。通過定性分析,找出異質性原因,給課題研究帶來了新的活力和明確未來研究方向。例如,關于收集到某一問題的同一研究發生異質性,這些獨立的研究的調查對象:1/3是僅在男性中完成,1/3僅在女性中完成,1/3是在男性與女性共同完成??梢缘贸鲈撗芯拷Y果對性別是要做區分的,這一發現可能是過去研究中未發現的情況。所以桔子和蘋果問題并不是元分析方法的弊端,只要帶入異質性分析,相反可以發現過去研究中的遺漏,發現創造新的研究成果。
2.3?元分析總體質量評價
雖然有學者提出了一些元分析的質量評價標準,但應該說目前對元分析本身的質量還缺乏一個公認的和科學的評價標準,這在一定程度上也導致了元分析方法的誤用和濫用。就目前來說,要保證元分析的質量必須注意以下幾個問題:(1)要有合理的研究設計和文獻檢索策略,保證文獻的查全率和查準率。(2)沒有嚴格的文獻篩選剔除標準,主觀性強。為了不遺漏真實需要的文獻,此處工作建議讓2人獨立完成,對篩選結果進行協商評價。(3)進行異質性檢驗,選擇恰當的統計學方法進行分析;如果資料之間異質性明顯,則建議采用隨機效應模型,否則建議采用固定效應模型。(4)注意控制各種偏倚,尤其發表偏倚,分析結果的可靠性。
已存在的基于元分析方法發表的學術論文對上述注意事項有或多或少的缺失,通過對元分析方法特點的梳理和元分析方法的進一步應用,相信元分析方法還會在未來得到進一步的發展,其關于偏移問題和異質性檢驗等方法還會有所創新,到那時元分析方法將更加完善,更加受到各類研究者所喜愛。
3??元分析方法與圖書情報檔案學關系
3.1?元分析方法與文獻學
圖書情報檔案學其研究對象之一是文獻,隨著信息時代到來,文獻概念逐步被信息取代,信息組織、信息利用、信息情報、信息分析、知識挖掘、信息預測等領域在圖書情報檔案界涌現出一批優秀科研成果。信息是個強勢概念,而文獻是個包容性強概念。百度百科中將文獻定義為:通過一定的方法和手段、運用一定的意義表達和記錄體系記錄在一定載體的有歷史價值和研究價值的知識[16]。實驗記錄、調查研究、統計數據以及各類科研成果其最終最好最常用的傳承保留方式是用文獻來記載。元分析方法是圍繞某一研究命題,對已有的科研成果進行匯總,采用定量分析法二次分析,并對結果進行定性研究得出結論。可見元分析方法本質屬于文獻學研究的一個分支,其雖然包含大量數理統計方法和具體的實驗步驟,但整個過程是圍繞已有文獻進行匯總,并進行二次分析,已有文獻是元分析方法基礎與素材。元分析方法不需要再次實驗,但卻能獲得統計量的大樣本空間,研究結論更加信服有力,這正是對已有文獻分析利用的好處,其可以讓研究者在開展實際研究之前對已往研究進行更精確的定量評價,為下一步研究指明方向。
3.2元分析方法與元數據分析的區別
圖書情報檔案學研究領域目前盛行對元數據展開深度分析、深度挖掘,進而分析研究熱點,預測趨勢。其研究成果集中在文獻計量、知識圖譜、信息可視化等。即對已有文獻發表數量、文獻屬性(題名、關鍵詞、主題詞、發表年代)、作者情況、發表機構等數據匯總分析,給出定量結論,并利用知識圖譜、信息可視化等手段對研究結論進行可視化表示。其研究方法與元分析方法相似,但有著本質上的不同。圖書情報檔案學中關于文獻計量、知識圖譜、信息可視化所研究的對象是元數據即文獻的外部信息。而元分析方法的研究對象是文獻的內部信息,即文獻本身的研究內容。二者在后期利用的數理統計公式方法、編碼過程、研究結論、研究意義有著明顯的不一樣。利用元分析方法研究問題時研究者還應具備對該問題有著長期研究與專業知識的功底,否則難以得出令人信服的元分析研究結論。所以元分析與元數據分析二者不能混淆,也不能相似對待。
3.3?元分析方法在圖書情報界未得到廣泛應用的原因
元分析方法研究本質符合文獻學研究范疇,但其最早在心理學、醫學、教育學廣泛應用,而后逐步拓展至社會科學,但在我國的圖書情報學還未得到充分利用與重視。其原因有多,但最主要原因還是元分析方法研究所收集的初始研究成果需要具有嚴格的統計定量數據。我國圖書情報界近年來也強調實證研究,需要有調研、問卷、統計數據。但圖情領域中的研究常以案例研究、調查性研究,其問卷形式、統計數據格式相對心理學、醫學中的統計數據缺乏規范性和一致性,這給元分析后期的編碼、信息提取、定量整合造成了不少障礙。目前元分析方法在我國圖書情報檔案領域研究還處于初始階段,多以探討元分析方法的步驟和特點,但在國外的圖情領域已經涌現了一批利用元分析方法開展的實際問題研究,研究效果顯著。隨著我國圖書情報檔案學研究與國際接軌,可以預期未來元分析方法在該領域勢必將得到應用,屆時將促進我國圖書情報檔案學領域的理論與方法發展。
參考文獻
[1]? 中國科技論文統計與分析課題組.2019年中國科技論文統計與分析簡報[J].中國科技期刊研究,2021,32(1):99-109.
[2]? 中國科技論文統計與分析課題組.2018年中國科技論文統計與分析簡報[J].中國科技期刊研究,2020,31(1):88-98.
[3]? 范哲,趙宇翔,朱慶華.元分析方法在社會化媒體采納和使用中的應用探索[J].情報理論與實踐,2017,40(9):112-118.
[4]? Glass?V.?Primary,?secondary?and?meta-Analysis?of?research?[J].?Education?Research,?1976,?11(5):3-8.
[5]? 夏凌翔,?元分析方法的幾個基本問題[J].?山西師大學報(社會科學版),?2005(3):34-38.
[6] Ellenberg?S?S.Meta-analysis?the?quantitative?approach?to?research?review[J].Seminars?Oncol,?1988,15(5):427.
[7] ?Sacks?H?S,Berrier?J,Retain?D,et?al.Meta-analysis?of?randomized?controlled?trials[J].The?New?England?J?Med,1987,316(8):450-455.
[8]? 李雪梅,曲建升.元分析方法與圖書情報學[J].圖書情報工作,2013,53(11):26-31,64.
[9]? Hunter?J?E,?Schmidt?F?L.?Methods?of?Meta-Analysis[M].Thousand?Oaks:Sage,1990.
[10] ?Hedges?L?V.?Estimation?of?effect?size?from?a?series?of?independen?experiments[J].?Psychological?Bulletin,1982,92(2):490-499.
[11]? Hedges?L?V.?A?random?effects?model?for?effect?size[J].Psychological?Bulletin,1983,93(2):388-395.
[12] 石修權,曹博玲.用失安全系數判斷發表偏倚的效果及對策[J].中國醫學創新,2012,9(26):134-136.
[13] 張喜艷,程康明,郭曉桃,等.紙質閱讀效果優于數字閱讀嗎?——基于48項國內外研究的元分析[J].情報科學,2021,39(6):55-61,91.
[14] 余良如.?基于元分析的多維知識吸收與企業創新關系探究[D].鄭州:鄭州大學,2020.
[15] 沈郊,徐劍.互聯網使用是否導致極化現象?——基于英文量化研究的元分析[J].西南民族大學學報:人文社科版,2020,41(9):140-145.
[16]? 百度百科-文獻.[EB/OL].[2021-10-26].?http://baike.baidu.com/subview/70348/10537160.htm.