








摘 " 要:開放科學環境下,學術期刊的TOP 因子能否作為評價期刊的補充指標需要提供一定的理論依據。文章采用描述性統計方法和相關性分析方法,對開放科學中心接受評估的1797本期刊的TOP因子的均值與分布情況,以及與這些期刊的影響因子和被引頻次相關性情況進行統計分析。結果發現絕大多數期刊只實施了單一的 1 級TOP 標準,期刊影響因子和總被引頻次均與TOP 因子總分及TOP因子的數據引用、材料透明度、分析代碼透明度和設計分析報告指南等維度呈顯著的正相關關系。所以TOP因子可以成為評價期刊的一個補充指標。各學科期刊的開放科學進程不一,國內的科技期刊也應參照TOP因子中的各維度來設置開放科學的要求。
關鍵詞:TOP因子;開放科學;影響因子;總被引頻次
中圖分類號:G353.1 " 文獻標識碼:A " DOI:10.11968/tsyqb.1003-6938.2024021
Research on the Correlation between TOP Factor and Citation Index in Academic Journals under the Background of Open Science
Abstract Under the open science environment, whether the TOP factor of academic journals can be used as a supplementary index to evaluate journals needs to provide a certain theoretical basis. Descriptive statistics and correlation analysis were used to analyze the means and distribution of TOP factors of 1797 journals evaluated by Open Science Center, as well as the correlation with impact factors and citations of these journals. The vast majority of journals only implemented a single level 1 TOP standard, and the journal’s impact factor and the total citations were significantly positively correlated with the total score of TOP factor. In each dimension of the TOP factor, the impact factor and total citations of all journals are significantly positively correlated with data citations, material transparency, analysis code transparency and design analysis report guidelines. TOP factor can be a supplementary index to evaluate journals. The open science process of journals varies in different disciplines. Chinese journals should also refer to the dimensions of TOP factor to set up the requirements of open science.
Key words TOP factor; open science; impact factor; total citations
近年來,科學研究的可重復性和再現性問題引起了學術界的廣泛關注。可重復性和再現性危機表現為研究結果的可重復率和再現率較低,許多研究無法被重復或再現。如有開展對心理學期刊的研究結果再現,發現只有36%的再現率[1]。有學者表明超過 70% 的研究人員曾嘗試重現另一位科學家的實驗,但未能成功,甚至超過一半的人未能重現他們自己的實驗[2]。為了解決可重復性和再現性危機,學術界開始倡導“盡可能早地分享知識”的開放科學實踐[3],呼吁對數據、材料或結果的生成和發布方式進行根本性改變,并建立關于研究人員如何與公眾互動和交流的新做法[4],以提高當前科學研究的透明度。因為透明且可重復再現的研究能夠提高已發表研究的可信度[5],并可增加研究的可見性、可讀性、被引用次數和影響力、認可度和聲譽度以及更好的合作機會。因此將開放性作為科學原則的核心是非常重要的。盡管大多數科學家同意接受透明度、開放性和可重復性的學科規范和價值觀[6],但在具體的開放科學實踐中這些原則還未得到普遍的推行。這需要作為目標群體的期刊出版商、資助者、政策制定者、機構、圖書館和研究人員等的協調努力,以實現更高水平的科學開放。其中出版商制定的期刊政策和要求是促進采用開放科學實踐激勵體系的關鍵要素之一。因而對期刊政策加以評價和引導對于開放科學運動來說也是尤為必要的。
2015 年,開放科學中心(Center for Open Science,COS)頒布了透明度和開放性促進(Transparency and Openness Promotion,TOP)指南[7],該指南被定義為開放實踐的共享標準,期刊可以采用該標準來促進開放科學[3]。TOP 指南由八個模塊化標準組成,可用于評估期刊在數據引用、數據透明度、材料透明度、代碼透明度、設計和分析報告指南、研究預注冊、分析預注冊和復制方面的政策。在每個模塊的標準內部,又按照期刊對具體的開放科學實踐的不同要求(鼓勵、要求或執行),進一步定義出1級、2級、3級三個嚴格程度逐級提高的等級,使科學交流朝著更為開放的方向發展。2020 年,開放科學中心又推出了 TOP因子(Transparency and Openness Promotion Factor),這是用量化分數來反映期刊對 TOP 指南及“注冊報告和發表偏倚”和“開放科學徽章”干預措施的遵守程度[8]。TOP 指南公布七年后,超過5000 家期刊和資助者表達了他們對指南的支持,并且至少 2000 家期刊的政策被開放科學中心依據TOP指南的程度審查評估以確定 TOP 因子分數[9]。
盡管一些研究分析了特定學科期刊的 TOP 因子情況和特定學科中某一個TOP因子維度和期刊影響力之間的關系[10-14],但此類分析尚未在更大的期刊樣本和跨學科中進行,沒有報告 TOP 標準的采用在不同學科中有多大差異,以及每個標準的總體采用情況如何。此外,也沒有對大規模樣本的期刊引文指標和TOP因子的相關性進行過研究。作為一個新提出的指標,TOP 因子能否成為評價期刊的一個有效補充,還有待驗證。為了回答這些問題,本研究分析了開放科學中心審查評估的兩千種期刊的 TOP 因子得分和采用 TOP 指南的期刊水平,從而評估這些期刊的透明度和開放性等特征;同時利用相關性分析來探討期刊 TOP 因子得分與期刊的引文指標之間的關系,為 TOP 因子能否作為評價期刊的補充提供理論依據,以期為國內期刊制定開放科學的政策帶來一定的啟示。
1 " 數據采集與研究方法
本研究首先在開放科學中心下載了2022年最新版本的含有2000種期刊的TOP因子指標,TOP因子總共包括十個子量表(TOP 指南的八項標準加上兩個有效的干預措施:“注冊報告和發表偏倚”和“開放科學徽章”),構建 TOP 因子的九個維度可以得分為 0-3,而 “開放科學徽章”維度得分為 0-2。開放科學中心已賦予了這些期刊TOP因子指標十個維度和三個級別的分數,為每本期刊判定了十個維度中每個維度的嚴格級別,以及對應于每個級別的期刊政策的描述;并確定了TOP因子每個維度的得分和TOP因子的總分。TOP因子的最高分數可達 29,表明在各維度上都是按最高級別來遵守;其次根據期刊刊名和ISSN號,在JCR(Journal Citation Reports)里檢索到了每一本期刊2021年的影響因子、總被引頻次、學科分類等信息;再次,刪去了那些在JCR里找不到信息的期刊,最終剩下1797本期刊。
運用描述性統計方法來描述這1797本期刊研究樣本的概況,包括所有期刊和分學科期刊的TOP 因子十個維度的均值和分布情況,期刊影響因子和總被引頻次的均值等。相關性分析方法被用來檢驗所有期刊和分學科期刊的TOP 因子總分和其各個維度分值與影響因子、總被引頻次間的關系。由于各期刊引文指標的分布是偏態的。因此采用了Spearman 相關性分析而非Pearson 相關性分析來檢驗TOP 因子與引文指標間的關系。
2 " 結果與分析
2.1 " "描述性統計分析
統計1797本期刊的TOP 因子各維度得分、總被引頻次和期刊影響因子的最大值、最小值和均值(見表1)可以發現,TOP 因子的十個維度得分最小值均為0,最大值除了“開放科學徽章”外其余均為3;TOP因子總分的最大值為25,最小值為0,平均值為3.083。數據引用和數據透明度的得分平均值高于其余維度,分別為0.833和0.554,這表明目前期刊更注重制定數據引用及數據透明公開方面的政策。分析代碼透明度的平均值為0.376,設計和分析報告指南的平均值為0.454。材料透明度、研究預注冊、分析預注冊、重復性、發表偏倚和開放科學徽章這六個維度的得分平均值分別為0.185,0.055,0.048,
0.238,0.229,0.112,意味著大多數期刊政策均不滿足這六個維度的要求,有較大的改進空間。
再看TOP因子各維度的分布情況,61%的期刊政策采用“數據引用”標準,46%的期刊采用“數據透明度”標準,35%的期刊采用“設計和分析報告指南”,28%的期刊采用“分析和代碼”透明度。其他四個標準采用的頻率都較低:14%的期刊采用“復制”、14%的期刊采用“材料透明度”、4%的期刊采用“研究預注冊”和3%的期刊采用“分析預注冊”標準。只有8%的期刊采用“注冊報告和發表偏倚”,6%的期刊頒發“開放科學徽章”。另外有392本約20%的期刊政策沒有采用任何 TOP 因子標準,即他們的 TOP 因子總得分等于 0。共有490種約27%的期刊采用單一TOP 因子標準。只有38種期刊采用了所有八種 TOP因子標準,其中有8種期刊在采用所有八種 TOP 因子標準的基礎上還要求了“注冊報告和發表偏倚”以及頒發了“開放科學徽章”。從分布情況也可以看出期刊的開放科學進展情況還比較慢,在TOP因子各維度的政策執行情況差異較大,目前采用較多的政策是數據引用、數據透明度、分析代碼透明度和設計分析報告指南。
結合JCR中的學科分類和2022年教育部的新版學科專業目錄,可以將1797本期刊分為八大學科大類,統計八大學科分類各維度平均值(見表2)。其中,理科大類共有277本期刊,TOP因子總得分的平均值為3.769;工科大類共有190本期刊,TOP因子總得分的平均值為2.294;社會科學(包括社會學類、法學類和政治學類)大類共有459本期刊,TOP因子總得分的平均值為3.268;文史哲大類(文學類、歷史學類和哲學類由于期刊較少,合并為了文史哲大類)共有60本期刊,TOP因子總得分的平均值為2.433;醫學大類共有399本期刊,TOP因子總得分的平均值為3.538;經濟管理大類(經濟學類和管理學類由于期刊較少,合并為了經濟管理大類)共有171本期刊,TOP因子總得分的平均值為2.378;教育學大類共有197本期刊,TOP因子總得分的平均值為1.754;農學大類共有44本期刊,TOP因子總得分的平均值為2.477。總體來看,理學、社會科學、醫學的TOP因子總得分的平均值較高。數據引用維度的平均值理學和醫學較高,在1分以上;數據透明度維度的平均值理學、醫學和經濟管理類的較高,在0.5分以上;分析代碼透明度維度的平均值理學的最高,在0.5分以上;設計分析報告指南維度平均值較高的為理學和醫學,超過了0.5分。而材料透明度、研究計劃預注冊、分析計劃預注冊、復制、注冊報告和發表偏倚以及開放科學徽章維度的平均值各學科都比較低。
2.2 " "Spearman相關性分析結果
分析期刊總被引頻次與TOP因子各維度的Spearman相關系數(見表3)可知,期刊的總被引頻次與其TOP 因子的總得分呈顯著的正相關關系,但相關系數較弱,為0.119。期刊的總被引頻次與TOP因子的十個維度中的四個維度均呈顯著的正相關關系。總被引頻次與材料透明度的相關性最高,Spearman 相關系數為0.163;其次為分析代碼透明度,相關系數為0.146;再次為設計和分析報告指南,相關系數為0.125,與數據引用的相關性最低,相關系數為0.107。
期刊2021年的影響因子與TOP因子的總得分也呈顯著的正相關關系,相關系數為0.182。期刊的影響因子與其TOP 因子的四個維度也均存在顯著的正相關關系。其中,期刊影響因子與設計和分析報告指南的相關度最高,Spearman 系數為0.285;其次為分析代碼透明度,系數為0.252;再次為材料透明度,系數為0.180,與數據引用的相關度最低,系數為0.166(見表4)。期刊總被引頻次和影響因子與TOP因子的其余六個維度均不存在相關關系。
分學科來考察各學科期刊的相關性,理學期刊的總被引頻次與其TOP因子的總得分呈顯著的正相關關系,相關系數為0.225。理學期刊的影響因子與其TOP因子的總得分也呈顯著的正相關關系,相關系數為0.443,相關系數較高,為中等程度相關。社會科學期刊和文史哲期刊的總被引頻次與其TOP因子的總得分也呈顯著的正相關關系,相關系數分別為0.204,0.321。社會科學的影響因子與其TOP因子總得分也呈顯著的正相關關系,相關系數為0.191。但文史哲期刊的影響因子與其TOP因子的總得分不相關(見表5)。其余學科的總被引頻次與其TOP因子總得分不相關。
再細分TOP因子的各維度來考察相關性,可以得知,理學期刊的影響因子與其數據引用得分也呈顯著的正相關關系,相關系數為0.258。理學期刊的影響因子與其數據透明度得分也呈顯著的正相關關系,相關系數為0.235。理學期刊的影響因子與其分析代碼透明度得分也呈顯著的正相關關系,相關系數為0.428。理學期刊的總被引頻次和影響因子與其材料透明度得分均呈顯著的正相關關系,相關系數分別為0.373和0.470。理學期刊的總被引頻次和影響因子與其設計和分析報告指南得分均呈顯著的正相關關系,相關系數分別為0.159和0.421。理學期刊的總被引頻次和影響因子與其復制得分均呈顯著的正相關關系,相關系數分別為0.299和0.406(見表6、表7)。
社會科學期刊的總被引頻次和影響因子與其數據引用得分均呈顯著的正相關關系,相關系數分別為0.223和0.168。社會科學期刊的總被引頻次和影響因子與其數據透明度得分均呈顯著的正相關關系,相關系數分別為0.135和0.173。社會學期刊的總被引頻次和影響因子與其分析代碼透明度得分均呈顯著的正相關關系,相關系數分別為0.172和0.214。社會學期刊的總被引頻次和影響因子與其材料透明度得分均呈顯著的正相關關系,相關系數分別為0.190和0.175。社會科學期刊的總被引頻次和影響因子與其設計和分析報告指南得分均呈正相關關系,相關系數分別為0.115和0.132。社會科學期刊的總被引頻次和影響因子與其研究預注冊得分均呈顯著的正相關關系,相關系數分別為0.206和0.177。社會科學期刊的總被引頻次和影響因子與其分析計劃預注冊得分均呈顯著的正相關關系,相關系數分別為0.215和0.196(見表8、表9)。
除了理學和社會學期刊外,其余學科期刊的總被引頻次和影響因子與其TOP因子的十個維度的得分不相關。
3 " 討論
3.1 " "TOP因子總分和各維度分數與引文指標相關性討論
雖然采用引文指標來評價期刊質量的評價方式會受到一些質疑。但引文指標中的影響因子和被引頻次目前依舊是評價期刊質量的重要指標。而期刊的影響因子本身就是在被引頻次的基礎上通過計算得出的。所以在期刊論文刊發數量相同的情況下,被引頻次和影響因子是呈強相關關系的。這也解釋了本研究的結果期刊影響因子和總被引頻次均與TOP 因子總分呈顯著的正相關關系。越來越多的期刊開始采用包括數據引用、數據透明度、材料透明度、代碼透明度、設計和分析報告指南、研究預注冊、分析預注冊和復制政策的這樣一套廣受贊譽的 TOP 指南來促進研究的透明度、開放性和可重復性[3]。期刊的TOP 因子總分越高,代表期刊在TOP 因子的多個維度上執行了較嚴格的政策,如有較全面的共享數據、材料和代碼的政策。已有研究也表明了共享數據等提升期刊開放性的政策與期刊的影響因子存在顯著的正相關關系[15]。所以期刊通過執行共享數據、材料和代碼等開放透明的政策,可以提高研究成果的可發現性,從而增加期刊的被引頻次和影響因子,因此可以驗證本文的研究結果TOP因子總分和引文指標是存在相關性的。在TOP因子的數據引用維度上,本研究中數據引用維度是TOP因子中最常被采用的標準,數據引用維度方面的得分與期刊的影響因子和總被引頻次呈顯著的正相關關系。并且理學和社會科學的影響因子也和數據引用維度呈正相關關系。以往的多項研究也都表明,數據引用能夠使研究成果得到認可,有助于實現研究的可再現性,并且被數據引用的論文能夠獲得更多的關注,增加期刊的被引頻次[16]。此外數據引用還能使數據與研究論文相聯系,使兩者保持一致,從而增加論文數據集的可見性,也增強了論文的影響力[17]。因此本研究結果與以往的研究也是一致的。
在TOP因子的數據透明度維度上,本研究的結果顯示,目前只有理學和社會科學的影響因子和數據透明度維度呈顯著的正相關關系。已有的多項研究也都顯示了公開數據的論文能夠獲得比未公開數據的論文更高的被引頻次。如天體物理學中,有數據鏈接的論文較之沒有數據鏈接論文的被引頻次多了28%[18]。天文學中有數據鏈接的論文則是多獲得了20%的被引頻次[19]。這些學科領域都屬于理學,和本研究也是一致的。公開分享研究數據,能夠使數據的可見性大大增強,數據所在的研究論文的影響力從而也得到了極大的提高[20]。另外公開研究數據還可以使其他研究者訪問到該數據,并檢驗數據的真實性[21],從而提升研究的可信度。其他研究者還能通過現有數據開展新研究提出新問題,從而促進科技創新。
在TOP因子的材料透明度維度上,本研究的結果顯示所有期刊的影響因子和總被引頻次均與材料透明度維度呈顯著的正相關關系。理學和社會科學的影響因子和總被引頻次也與材料透明度呈顯著的正相關關系。本研究認為這是由于材料方法要素的共享和數據的共享是一致的,他們都可以減少重復的收集處理工作,所以其他研究者也傾向于引用有數據和材料的論文。已有研究也提出公開分享研究中的材料和各種方法要素,可以提高研究的可信度[22],并增強研究的可見度,提升研究的影響力。
在TOP因子的分析代碼透明度維度上,本研究發現分析代碼透明度與期刊影響因子以及總被引頻次呈顯著的正相關關系。理學和社會科學的影響因子也與分析代碼透明度呈顯著的正相關關系。現有研究也表明,在圖像處理領域中,論文如果共享了代碼,其被引頻次會增高[23]。公開了論文中使用的計算方法的源代碼,可以使其他研究者閱讀源代碼、測試驗證源代碼的性能、再現研究結果,并可以把代碼擴展使用到自己的研究中[24],從而顯著提高研究成果的影響力。
在TOP因子的設計和分析報告指南維度上,本研究的結果顯示,所有期刊的影響因子和總被引頻次均與設計和分析報告指南維度呈顯著的正相關關系。理學和社會科學的影響因子和總被引頻次也與設計和分析報告指南呈顯著的正相關關系。有研究表明基于報告指南的額外審查一定程度上會提升稿件質量[25]。還有研究表明期刊對試驗標準報告指南的認可度與期刊的影響因子相關[26]。遵從報告指南,論文的被引頻次會得到增加[27]。研究者越來越認識到報告指南的重要性,會有更多的期刊鼓勵作者使用報告指南,提高研究的透明度。
在TOP因子的重復性研究維度上,本研究的結果顯示,目前只有理學期刊的影響因子和總被引頻次與重復性研究維度呈顯著的正相關關系。這是因為重復研究并不是所有學科都有必要進行的,如文史哲等領域并沒有必要進行這類研究。此外,重復研究雖然不會得出新的結論,但卻能驗證已有研究的可行度,對于依實驗數據的學科來說意義重大。有研究認為直接復制先前的工作可能是一種經濟有效的方法,可以防止研究人員未來的研究建立在不可靠的研究結果上[28]。但目前有來自多個領域的數據表明,研究結果的可重復性遠低于預期。如一項分析估計,85%的生物醫學研究工作被浪費了,而《自然》雜志最近的一項調查中,90%的受訪者同意存在“可重復性危機”[29]。這意味著科學知識的積累效率已經受到了普遍的威脅。改變激勵機制是提高發表結果的可信度和可重復性的重要手段。有研究提到許多資助者正在試點資助機制來促進可重復性,如荷蘭科學研究組織(NWO)和美國國家科學基金會的社會、行為和經濟科學理事會,它們都宣布將資助可重復性研究。
在TOP因子的研究預注冊和分析預注冊研究兩個維度上,本研究的結果顯示,目前只有社會科學的影響因子和總被引頻次和這兩個維度都呈顯著的正相關關系。這在社會科學領域為預注冊這一新興制度的效用提供了實證檢驗。有研究表明對于提高研究結果可信度的一個有效方案是在觀察研究結果之前確定研究問題和分析計劃,這一過程即為預注冊,將預測結果和實驗結果區分開來[30]。預注冊的推論比未注冊的分析更具透明性、可重復性和可解釋性。因而可預計預注冊有助于提高研究的透明度,能夠使整個研究過程中的決策變得清晰,并有助于其他人理解這些決策的理由。已有研究表明預注冊制度還可以縮短科研人員與同行進行交流的時間間隔、提高交流的時效性、并且簡化學術出版流程[31]。社會科學領域的部分學科均面臨實驗結果的可重復問題,尤其是心理學,在近十年面臨著極為嚴重的可重復性問題,因而心理學領域較早引入了預注冊制度,并且取得了一定成效。無論是對預注冊制度的關注度、了解程度和認可度均較高,預注冊在這些學科領域目前成為保障研究可信度的一個憑證[32]。因而這些領域的期刊可通過推行預注冊制度,使發表的研究更容易受到認可,從而獲得更高引用。
在TOP因子的注冊報告與發表偏倚和開放科學徽章這兩個維度上,本研究的結果還未顯示有任何期刊的影響因子和總被引頻次與這兩個維度呈正相關關系。雖然期刊采取這方面的措施未必能提高自身的被引頻次,但已有研究認為這些措施對于提升研究可行度和推進開放科學進程是有意義的。如有研究認為注冊報告是一種新型的出版模式,它包含了設計的預注冊和數據收集前的同行評審,預計會增加已發表結果的可信度[33]。還有研究認為從被引情況來看,完整注冊式研究報告的平均被引頻次達到22.33,表明注冊式研究報告已在學術交流中形成一定的學術影響力[34]。學術界對注冊式研究報告的可靠性、重用價值予以一定的認可和支持。而開放科學徽章則能表明了對開放科學的認可,國外一些期刊會給那些發表在自己期刊上共享數據的論文印上“開放科學徽章”的圖標,從而激勵研究人員進一步共享和開放數據。
3.2 " "TOP因子的學科差異性影響討論
從學科差異性的角度來看,不同學科的學科性質和研究方式會導致數據引用行為的差異,由此產生的學術交流的需要也會導致對數據共享行為和重復使用接受度的差異。因此本研究結果中不同學科在TOP因子各維度的分值上表現不一,在TOP因子各維度與引文指標相關性上也表現不一。
如理學領域許多學科對于數據的依賴程度很高,結論的產生更有賴于真實有效的數據來源,數據也更需要得到公開和檢驗,這可能是理學期刊對數據引用要求較嚴,TOP因子數據引用維度得分較高的原因。此外,在生物醫學領域,許多研究都依賴于GenBank、MEDLINE等醫學數據庫來獲取研究所需數據集,因而這些領域的數據引用行為也更為普遍,對于數據引用的關注度和規范意識也較其他學科更高[35]。相較于其他學科,理學期刊通過更嚴格的數據引用標準,有利于論文數據溯源和重復實驗[36],能夠更有效提高發表論文的可信度,讓發表的論文更容易得到引用,從而獲得了更高的總被引頻次和影響因子。
理學領域里的天體物理學、大氣科學和海洋學由于具有開放獲取傳統,開放獲取運動較其他學科進行得更為順利,數據共享的意識更強[37]。還有學者研究發現,期刊出版商對于共享數據的要求是促使科研人員進行數據共享的重要推動因素[38]。相較于人文社會科學領域,這種推動作用對于自然科學研究者更為明顯,這是由于自然科學產生數據更需要得到公布、檢驗。這種特性不僅表現為期刊的要求,也表現為理學學術團體和專業機構一直以來對數據共享有著更高預期。另外有研究發現,數據存儲對于自然科學研究者共享的鼓勵作用更大[39]。在具體實踐中,生物、化學、地理這類理學學科建立了數量最多的開放科學數據倉儲。所以理學期刊在數據透明度、材料透明度、分析代碼透明度這三個維度較高的得分與其整體較高的開放水平是一致的,是學科整體較高的開放水平在期刊領域內的反映。在理學領域內也更容易受到認可,從而提高了自身的被引頻次和影響因子。
以上可以看出TOP因子的學科差異性在期刊開放性的差異上可以很明顯的體現出來,理學類期刊的開放程度確實比其他學科更高;在期刊影響力的差異上也可以很明顯的體現出來,如理學類期刊的TOP因子得分更高,相應的影響力也更高。這也從一定程度上說明TOP因子在期刊開放性評價、期刊影響力評價以及期刊的綜合評價上是可以作為一個評價指標的。
4 " 結論與啟示
4.1 " "結論
本研究統計分析了開放科學中心的1797本期刊的TOP因子的分布情況及其與引文指標的相關性。研究結果顯示,有很多期刊還未實施任何TOP標準,絕大多數期刊只實施了單一的 1 級TOP 標準,標準只是被闡明、陳述或描述。TOP 標準在采用數量和水平上具有較大的差異:“數據引用”和“數據透明度”是最常采用的兩條標準。其次是“分析代碼透明度”和“設計分析報告指南”,說明大多數期刊目前是通過這幾種政策來激勵科學研究的開放。各學科在TOP標準的實施上差異也較大,總體上來看,理學、社會科學和醫學的TOP 因子總分和各維度的分值都要略高于其他學科。
同時期刊影響因子和總被引頻次均與TOP 因子總分呈顯著的正相關關系。而分學科期刊來看,只有理學、社會科學期刊的影響因子和總被引頻次均與TOP因子總分呈顯著的正相關關系。這和理學、社會科學的TOP因子總分平均值較高也是一致的。說明這兩類期刊開放科學政策的執行程度較高。而其他幾類期刊目前推進開放科學發展進程仍較為緩慢。
在TOP因子的各維度上,所有期刊的影響因子和總被引頻次均和數據引用、材料透明度、分析代碼透明度和設計分析報告指南呈顯著的正相關關系,但相關系數都比較低。而理學和社會科學期刊的影響因子和更多的TOP因子維度呈正相關關系。從上述討論結果也可以得出,數據引用、數據和材料代碼共享,遵循報告指南等確實可以提高研究結果的被引頻次,從而增強研究成果的學術影響力。TOP因子可以成為評價期刊的一個補充指標。但由于現在除了理學類期刊的影響因子與TOP因子各維度的相關系數更高一些,其他的相關性還比較弱,也從一定程度上說明目前期刊TOP因子各維度的執行情況還不足,開放程度還不夠。也說明各學科期刊的開放科學進程不一,理學和社會科學期刊先行一步,除了能遵循數據引用、數據透明度、材料透明度和分析代碼透明度的要求外,也已經能頻繁地實施設計分析報告指南、重復性、研究與分析預注冊了。隨著時間的推移,它們以漸進的方式,通過數據和代碼的可用性等政策,不斷增加開放科學的力量和嚴謹度。
4.2 " "啟示
在促進開放科學的時代背景下,在科學研究可重復性和可再現性危機的緊迫情勢下,開放科學中心制定的TOP 因子可以為科學研究提升開放透明度,并為我國的學術期刊積極推進開放科學進程帶來一些啟示。
(1) 國內的學術期刊編輯部應順應開放科學的發展趨勢,積極響應TOP指南上的各項要求。在目前開放科學中心登記的2000種期刊里還未見有國內的期刊,都是歐美國家出版商的期刊。國內的學術期刊在期刊政策和投稿指南中也應參照TOP因子中的各維度來設置開放科學的要求。如在數據引用維度方面,國內期刊應對引用規范進行擴展,在投稿指南中給予數據集和代碼等的引用格式的范例,并要求作者按照這個格式將論文中出現的數據、代碼和其他材料等做出標引。在數據透明度、材料透明度和分析代碼透明度等方面,要求作者在提交論文時也一并上傳提交支持研究成果的數據、材料和分析代碼,以及可用性說明。當然在實施過程中,也需要循序漸進,從1級的嚴格程度要求,直到能達到3級的嚴格程度。在這些維度都能滿足后,期刊還應更進一步推進開放科學,如制定政策鼓勵遵循設計分析報告指南,要求作者詳細清楚地記錄研究過程。并推進研究預注冊和分析預注冊,鼓勵作者預先注冊研究,推進研究過程的開放性。
(2)加強對科研人員開放科學理念的宣傳。TOP 指南和TOP 因子都是近年來出現的新興事物,尤其國內的很多科研人員還沒有接觸了解過。對開放科學的理解和信任度還有待提高。期刊可以通過投稿指南及其他一些途徑廣泛的宣傳開放科學的理念。并可以對共享數據、材料或代碼的研究者給予鼓勵和激勵措施,如在他們的研究論文上添加“開放科學徽章”等。
(3)國內的科技部門還應積極制定符合中國形勢發展有中國特色的開放科學政策。和國際上發展較快的國家相比,我國開放科學還缺乏系統性的政策體系設計,未能充分協調開放科學相關的措施和資源。我國應加強開放科學頂層設計,進行一些國際政策的調研,從而促進符合我國實際需求的開放科學政策的制定。另外在國家安全觀的建立和要求之下,為保障國家利益,也需要重視在期刊論文發表中信息安全的監管。因此在制定政策時,需要在開放共享和國家安全之間尋求平衡,既鼓勵開放政策的制定,又需要出臺恰當的保密政策,以保護涉及國家安全的一些關鍵科學數據和敏感技術。
5 " 結語
本研究對各學科大樣本期刊的TOP因子進行了統計分析,并對各學科領域的期刊TOP因子與引文指標的相關性進行了驗證分析。研究結果初步驗證了期刊的TOP因子和引文指標存在一定的相關性,但仍存在一定的局限性。首先,本研究使用的是開放科學中心提供的TOP因子的評估結果,沒有自己評估期刊的政策,而開放科學中心工作人員評估期刊TOP因子的方法并不完全透明,某些TOP因子的分數和解釋是存在一定偏差的,不能被視為對期刊透明度和開放政策的客觀呈現,可能某些標準聲明的存在不意味著期刊在實踐中會實際這么做[40]。所以在期刊的實踐中具體有多少論文實際共享了數據或代碼材料等,還有待觀察。其次,雖然本研究揭示了期刊影響因子和總被引頻次與TOP 因子總分之間存在顯著的正相關關系,且揭示了與TOP因子的某些維度之間也存在著顯著的正相關關系,但因為相關性不能代表因果性,所以無法推斷出引文指標和TOP因子各維度的因果關系。在后續研究中,將進一步深研TOP因子標準的實際使用情況和適用性,加強對不同學科TOP指南執行情況的追蹤,并探索TOP因子和引文指標的因果關系。
參考文獻:
[1] "Open Science Collaboration.Estimating the reproducibility of psychological science[J].Science,2015,349(6251):4716.
[2] "Baker M.1,500 scientists lift the lid on Reproducibility[J].Nature,2016,533(7604):452-454.
[3] "Nosek B A,Alter G,Banks G C,et al.Promoting an open research culture[J].Science,2015,348(6242):1422-1425.
[4] "Watson M.When will ‘open science’ become simply ‘science’?[J].Genome Biology,2015,16(1):1-3.
[5] "Hardwicke T E,Wallach J D,Kidwell M C,et al.An empirical assessment of transparency and reproducibility-related research practices in the social sciences (2014-2017)[J].Royal Society Open Science,2020,7(2):190806.
[6] "Anderson M S,Martinson B C,De Vries R.Normative Dissonance in Science:Results from a National Survey of U.S.Scientists[J].Journal of Empirical Research on Human Research Ethics,2007,2(4):3-4.
[7] "Center for Open Science.TOP guidelines[EB/OL].[2023-10-29].https://osf.io/9f6gx/wiki/Guidelines/.
[8] "Mayo-Wilson E,Grant S,Supplee L,et al.Evaluating implementation of the Transparency and Openness Promotion(TOP) guidelines:the TRUST process for rating journal policies,procedures,and practices[J].Research Integrity and Peer Review,2021,6(1):1-11.
[9] "TOP Guidelines.Center for Open Science:Charlottesville,VA,USA,2022[EB/OL].[2023-10-29].https://www.cos.io/initiatives/topguidelines.
[10] "Grant S,Wendt K E,Leadbeater B J,et al.Transparent,Open,and Reproducible Prevention Science[J].Prevention Science.2022,23(5):701-722.
[11] "Nosek B A,Hardwicke T E,Moshontz H,et al.Replicability,robustness,and reproducibility in psychological science[J].Annual Reviews of Psychology,2022,73(1):719-748.
[12] "Cashin A G,Bagg M K,Richards G C,et al.Limited engagement with transparent and open science standards in the policies of pain journals: a cross-sectional evaluation[J].BMJ evidence-based medicine,2021,26(6):313-319.
[13] "Patar■i■ I,Stojanovski J.Adoption of Transparency and Openness Promotion(TOP)Guidelines across Journals[J].Publications,2022,10(4):46.
[14] "梁潔純,宗乾進,黃志鴻.開放科學背景下TOP因子及其與科技期刊學術影響力的關系——來自LIS期刊的實證研究[J].中國科技期刊研究,2020,31(12):1508-1514.
[15] "Stodden V,Guo P X,Ma Z K.Toward reproducible computational research:An empirical analysis of data and code policy adoption by journals[J].PLoS ONE,2013,8(6):e67111.
[16] "史雅莉.科學數據引用標準實施的關鍵問題探析[J].現代情報,2019,39(4):34-41.
[17] "Silvello G.Theory and practice of data citation[J].Journal of the Association for Information Science and Technology,2018,69(1):6-20.
[18] "Dorch B F,Drachen T M,Ellegaard O.The data sharing advantage in astrophysics[J].Proceedings of the International Astronomical Union,2015,11(A29A):172-175.
[19] "Henneken E A,Accomazzi A.Linking to data-effect on citation rates in astronomy[J].ASP Conference Series,2011,461(9):763-768.
[20] "Borgman C L.The conundrum of sharing research data[J].Journal of the American Society for Information Science and Technology,2012,63(6):1059-1078.
[21] "McKiernan E C,Bourne P E,Brown C T,et al.How open science helps researchers succeed[J].eLife,2016,5:e16800.
[22] "Piwowar H A,Vision T J.Data reuse and the open data citation advantage[J].PeerJ,2013,1:e175.
[23] "Vandewalle P.Code sharing is associated with research impact in image processing[J].Computing in Science & Engineering,2012,14(4):42-47.
[24] "Pianosi F,Sarrazin F,Wagener T.How successfully is opensource research software adopted?Results and implications of surveying the users of a sensitivity analysis toolbox[J].Environmental Modelling & Software,2020,124:104579.
[25] "Cobo E,Ribera J M,Cardellach F,et al.Effect of using reporting guidelines during peer review on quality of final manuscripts submitted to a biomedical journal:masked randomised trial[J].BMJ,2011,343:d6783.
[26] "Wilson B,Burnett P,Moher D,et al.Completeness of reporting of randomised controlled trials including people with transient ischaemic attack or stroke:A systematic review[J].European Stroke Journal,2018,3(4):337-346.
[27] "Vilaró M,Cortés J,Selva-O’Callaghan A,et al.Adherence to reporting guidelines increases the number of citations:the argument for including a methodologist in the editorial process and peer-review[J].BMC Med Res Methodol,2019,19(1):1-7.
[28] "Coles N,Tiokhin L,Scheel A M,et al.The costs and benefits of replication studies[J].Behavioral and Brain Sciences,2018,41:E124.
[29] "Munafò M,Nosek B,Bishop D,et al.A manifesto for reproducible science[J].Nature Human Behaviour,2017,1(1):1-9.
[30] "Nosek B A,Ebersole C R,DeHaven A C,et al.The preregistration revolution[J].PNAS,2018,115(11):2600-2606.
[31] "黃國彬,鄭霞.開放科學環境下“預注冊式研究設計”的產生與影響[J].圖書館論壇,2020,40(8):103-112.
[32] "Van't Veer A E,Giner-Sorolla R.Pre-registration in social psychology——A discussion and suggested template[J].Journal of experimental social psychology,2016,67:2-12.
[33] "李瀟麗,潘云濤,馬崢,等.注冊報告的興起及其對傳統出版模式的挑戰[J].科技與出版,2020(10):114-120.
[34] "黃國彬,鄭霞,劉源,等.開放科學環境下注冊式研究報告發展特點剖析[J].圖書館雜志,2021,40(9):29-38.
[35] "邱玉紅,焦紅,楊波.多元數據出版模式下生物醫學領域科研人員數據引用行為研究[J].圖書情報工作,2022,66(16):92-104.
[36] "王丹丹.科學數據規范引用關鍵問題探析[J].圖書情報工作,2015,59(8):42-47,53.
[37] "Zuiderwijk A,Spiers H.Sharing and re-using open data:A case study of motivations in astrophysics[J].International Journal of Information Management,2019(49):228-241.
[38] "萬莉,程慧平.基于元分析結構方程模型的科學數據共享行為因素研究[J].情報理論與實踐,2021,44(7):125-130,158.
[39] "黃永文,張建勇,黃金霞,等.國外開放科學數據研究綜述[J].現代圖書情報技術,2013(5):21-27.
[40] "Gabelica M,Bojˇci'c R,Puljak L.Many researchers were not compliant with their published data sharing statement:A mixed-methods study[J].Journal of Clinical Epidemiology,2022,150:33-41.
作者簡介:陳銘(1978-),女,南京大學信息管理學院副教授,研究方向:開放科學、開放存取、信息資源建設;楊浩華(1999-),男,南京大學信息管理學院碩士研究生,研究方向:開放科學。