基于H1 Connect的多元化評價標簽相關分析及綜合評價指標體系建立研究

摘要：文章基于H1 Connect對生物醫學科技論文各類同行評議標簽進行相關性分析研究，結合多元化指標嘗試構建更為全面、科學的論文評價指標體系。從H1 Connect、Altmetric、WoS（Web of Science）平臺獲取同行評議、社會影響力、學術影響力代表性指標和評價標簽，根據規則計算出綜合評分，運用SPSS軟件進行斯皮爾曼相關性比較分析。H1 Connect中同行評議各指標與不同評價標簽之間大多呈低相關或不相關關系。相對引用率與同行評級之間也呈低相關或不相關關系，而星級權重與同行評級“Very Good”和“Exceptional”呈中度相關。文章提出綜合評分指標CS，該指標與同行評議結果呈中度相關性，與社會影響力和學術影響力評價結果也高度一致，可為生物醫學領域的學術評價提供新視角。

關鍵詞：H1 Connect；綜合評分；評價標簽；對比分析

中圖分類號：G250.252" 文獻標志碼：A

0 引言

2023年7月，H1公司宣布推出H1 Connect，其前身為Faculty Opinions（即并購前的F1000 Prime）^［1］。H1 Connect是全球生物醫學領域內最為廣泛的科技論文同行評議數據庫，也是生命科學專業人員獲取醫學和生命科學研究最新資源的重要渠道。世界范圍內近90%的頂尖生命科學研究機構都在使用H1 Connect進行文獻推薦，這里匯集了超過萬名生命科學家的專業觀點，他們憑借領域內豐富的專業知識進行嚴格篩選和深入評價，從意義、創新點、方法等多個維度出發，遴選出具有開創性，對科研人員具有重要價值和意義的研究成果^［1］。

科技論文評價一直是學術界關注的熱點話題，有學者對同行評議分數的被引頻次影響因素開展研究^［2］。安瑋琦^［3］依據Faculty Opinions評分，綜合運用文獻研究法、相關性分析法、引文分析法以及層次分析法，對單篇生物醫學領域論文的綜合質量評價體系進行初步探索。姜育彥等^［4］基于Faculty Opinions提出絕對顛覆性指數這一創新概念，以病毒學為例深入研究了該指數與同行評議指標及學科規范化的引文影響力（CNCI）之間的關系，為科技文獻的評價提供了新的視角和方法。Chen等^［5］基于ICSR Lab及F1000新穎性標簽和顛覆性指數提出了跨學科更有可能產生新穎的還是顛覆性成果開展了評估研究。雖然我國學者在科技文獻評價領域已經取得了諸多研究成果，但針對H1 Connect評分體系及其內部指標的研究仍顯不足，鮮見各類評價標簽與相對引用率和星級權重以及同行評級之間的相關報道。

在科技論文評價領域，隨著學術研究的不斷深入和學科交叉融合的加速，傳統的單一評價指標已經難以滿足對生物醫學科技論文進行全面、科學和公認的評價需求。盡管學術界一直在努力探索更為先進和全面的評價工具，但在新的評價標準尚未完全確立之前，如何對現有評價方法進行優化和改進，以更準確地反映生物醫學科技論文的質量和影響力顯得尤為重要。因此，本文嘗試構建一個更為全面、科學的生物醫學科技論文評價指標體系，不僅包括傳統的同行評議指標，還融入Altmetric等社會影響力指標、WoS（Web of Science）等學術影響力指標。通過探討不同類型評價指標之間的關系，揭示它們之間的內在聯系和相互影響，為生物醫學科技論文的多元化評價提供更加深入全面的視角和科學依據。

1 材料與方法

1.1 數據源選取

本文選取腫瘤和生物化學兩個學科發表于2019年的H1 Connect推薦文獻進行研究，其中腫瘤學科380篇，生物化學學科346篇，獲取每篇推薦文獻的不同數據平臺各類指標數據。H1 Connect數據庫中獲取推薦得分（RS）、相對引用率（RCR）、星級權重（WSS）^［6］、同行評級（Exceptional、Very Good、Good）^［4］，用來反映文獻在同行專家中的認可度和價值度。從Altmetric平臺中獲取Altmetric Score、Twitter、Mendeley指標，用來反映文獻在社交媒體上的傳播情況和受眾關注度。從WoS平臺中獲取被引頻次指標（TC）和學科規范化的引文影響力指標（CNCI），用來反映文獻在學術界的引用情況和影響力。上述指標均以PMID作為唯一標識符號，同時標注出每篇文章的不同評價標簽。

1.2 生物醫學科技論文綜合評分指標構建

為了全面、科學地評價生物醫學科技論文的質量和影響力，本文嘗試構建生物醫學科技論文一個新的評價指標——綜合評分（Composite Score，CS），該評分整合了同行評議、社會影響力和學術影響力不同維度的指標信息，為生物醫學科技論文的多元化評價提供一個更為全面和客觀的參考，具體計算標準如下。

（1）同行評議得分：將H1 Connect中的推薦得分（RS）作為同行評議得分的唯一指標，同行評議得分=H1 Connect RS*30%。

（2）社會影響力得分：選取Altmetric Score、Twitter和Mendeley 3個指標來衡量社會影響力，并分別賦予40%、30%、30%的權重，社會影響力得分= （Altmetric Score×40%+Twitter×30%+Mendeley×30%）×35%。

（3）學術影響力得分：選取WoS平臺中的TC和CNCI來衡量學術影響力，并分別賦予50%的權重，學術影響力得分=（TC×50%×CNCI×50%）×35%。表1列出了綜合評分的各級指標權重和計算方法。

根據以上計算規則，計算出兩個學科中每篇文章的綜合評分（CS）。綜合評分CS=同行評議得分+社會影響力得分+學術影響力得分=H1 Connect RS×30%+（Altmetric Score×40%+Twitter×30%+Mendelay×30%）×35%+（TC×50%×CNCI×50%）×35%。

1.3 研究方法

運用Excel進行綜合評分的統計運算，使用SPSS Statistics 23軟件對兩個學科中的不同評價標簽和不同類型指標數據進行斯皮爾曼相關性比較分析。

2 研究結果

2.1 生物化學學科不同評價標簽斯皮爾曼相關性比較結果

生物化學學科中選取6種覆蓋率較高的評價標簽：Confirmation（確認）、Good For Teaching（適合教學）、Interesting Hypothesis（有趣假設）、New Finding（新發現）、Technical Advance（技術進展）和Novel Drug Target（新藥物靶點）進行研究，相關性分析結果見表2。

研究結果表明，RS與Exceptional和Very Good為中度相關，與Good為低度相關。RCR和Good不相關，與其他同行評級為低度相關。WSS與Exceptional、Very Good為中度相關，與Good為低度相關。RS、WSS與不同標簽大多為中、低度相關，相關系數為0.452～0.533。RCR與不同標簽為低度相關或不相關。Exceptional與Good For Teaching、Technical Advance為中度相關，與New Finding為低度相關。Very Good與Confirmation、New Finding、Technical Advance為中度相關，與Good For Teaching、Interesting Hypothesis、Novel Drug Target為低度相關。不同評價標簽之間：Interesting Hypothesis與New Finding、Novel Drug Target、Good For Teaching為中度相關；New Finding與Technical Advance、Novel Drug Target、Good For Teaching也為中度相關；其他不同標簽之間大多為低度相關或不相關。

2.2 生物化學學科綜合評分（CS）的斯皮爾曼相關性比較結果

本文計算出346篇生物化學學科文獻的綜合評分，與不同類型評價指標進行相關性比較，結果見表2—3。

CS與RS為中度相關，相關系數為0.675。CS與Altmetric Score、Twitter、Mendeley、CNCI及TC均為高度相關，相關系數為0.813～0.925。CS與Mendeley的相關系數最高，為0.925。CS與RCR為高度相關，與WSS、Exceptional、Very Good為低度相關，與Good不相關。CS與不同評價標簽Confirmation、Good For Teaching、Interesting Hypothesis、New Finding、Technical advance、Novel Drug Target均為低度相關，相關系數為0.354～0.395。可以看到，CS與多個社會影響力和學術影響力指標高度相關，特別是與Mendeley的相關系數最高，表明CS能夠較好地反映出文章在學術交流方面的影響力。CS與不同評價維度（如WSS）和同行評級（如Good）相關性較低或不相關。

2.3 腫瘤學科不同評價標簽斯皮爾曼相關性比較結果

腫瘤學科選取7個覆蓋率較高的評價標簽進行研究，分別是Confirmation、Controversial（有爭議的）、Good For Teaching、Interesting Hypothesis、New Finding、Technical Advance和Novel Drug Target，相關性分析結果見表4。

研究結果表明：Exceptional、Very Good、Good與RS均為低度相關，與WSS均為中度相關。RCR與Exceptional、Very Good、Good均為不相關，說明了在腫瘤學這樣的高度專業化領域中，雖然相對引用率是衡量學術影響力的重要指標，但不足以全面直接反映論文在同行學者的實際評價情況。RS與Confirmation、Good For Teaching、Interesting Hypothesis、New Finding為低相關。RCR只與Good For Teaching、Interesting Hypothesis、New Finding為低相關，與其他標簽不相關。WSS與Controversial、Good For Teaching、Interesting Hypothesis、New Finding為低相關。RS、WSS、Exceptional、Very Good與Novel Drug Target均為中度相關，表明在尋找新的藥物靶向治療方面，同行評議指標更能反映論文的某種質量或影響力。其他不同標簽和同行評級大多為低相關或不相關。

不同評價標簽之間，Controversial與Good For Teaching為中度相關，意味著有爭議的研究在一定程度上能夠引起教學上的討論和興趣。Good For Teaching與Interesting Hypothesis、New Finding均為高度相關，相關系數在0.8以上，表明適合教學的論文往往包含有趣的假設和新發現。Interesting Hypothesis與New Finding和Novel Drug Target均為中度相關，表明有趣的假設往往能夠引領新的發現或新藥物靶點的研究。New Finding與Novel Drug Target相關系數是0.748，表明新發現往往能夠推動新藥物靶點的研究，兩者之間關聯性較強，與筆者之前的研究結論一致^［7］。

2.4 腫瘤學科綜合評分（CS）的斯皮爾曼相關性比較結果

本文計算了腫瘤學科380篇文獻的綜合評分，與不同類型評價指標進行相關性比較，結果見表4—5。

與生物化學學科結果相似，CS與RS為中度相關，相關系數為0.609。CS也與Altmetric Score、Twitter、Mendeley、CNCI及TC均為高度相關，相關系數為0.824～0.953。CS與TC相關系數最高，為0.953。CS與RCR為高度相關，與WSS為低度相關，與不同同行評級為低相關或不相關。CS與不同評價標簽Good For Teaching、Interesting Hypothesis、New Finding、Technical Advance、Novel Drug Target均為低度相關關系，相關系數為0.225～0.378。

3 討論

3.1 H1 Connect同行評議指標及標簽分析

本文對生物化學學科與腫瘤學學科文獻中H1 Connect同行評議各指標進行對比分析發現：無論是基礎科學類的生物化學文獻，還是實踐科學類的腫瘤學文獻，不同學科的RS與Good均顯示低度相關性，與Very Good、Exceptional的相關性要略高。不同學科中，RCR與不同同行評級均顯示低相關或不相關，這也表明了RCR所反映的學術影響力與同行評級所代表的質量標準不完全一致；而WSS與Very Good、Exceptional均顯示為中度相關性，這說明了星級權重在評價高質量文獻時具有一定的參考價值。

H1 Connect同行評議各指標與不同評價標簽進行對比分析發現：不同學科的文獻，基礎類學科中RS大多與各個標簽為低度相關或中度相關關系，說明RS在基礎類學科中能夠反映文獻的某些特點或屬性；實踐類學科中RS大多與各個標簽為低度相關或不相關關系，說明RS在實踐類學科中的適用性相對較低。不同學科中，RCR與不同標簽大多數為低度相關或不相關關系。基礎類學科中，WSS與不同標簽多數為中度或低度相關，實踐類學科中除了與Novel Drug Target為中度相關，其他為低度相關或不相關，這表明WSS在不同學科中的適用性存在差異，且可能與特定標簽存在一定關聯。

3.2 生物醫學科技論文綜合評分的探討

本文嘗試建立生物醫學科技論文一個新的評價指標——綜合評分，以生物化學和腫瘤學科論文為例進行了探索驗證。不管是基礎類學科還是實踐類學科，綜合評分均顯示出與同行評議得分呈中等程度的相關性，這表明CS在一定程度上能夠反映同行專家的評價意見。CS與社會影響力和學術影響力指標均為高度相關關系，且與學術影響力各指標相關度更加緊密，這也顯示出CS在衡量論文社會影響力和學術價值方面的有效性。CS與不同的同行評級Exceptional、Very Good、Good均為低度相關或者不相關，CS與不同的評價標簽大多也為低度相關或者不相關，這也說明了同行評級和評價標簽與CS關注在同一篇文章的不同維度和不同范疇^［7］。

3.3 綜合評分的構建與優勢

本文基于H1 Connect數據庫，通過合理的權重分配和算法設計整合了同行評議、社會影響力和學術影響力3類數據指標，成功構建了生物醫學科技論文的綜合評分。CS作為一種綜合評分指標，在生物醫學文獻評價中具有較好的適用性，不僅體現出同行評議結果在評價科技論文質量時的重要作用，而且一定程度反映出科技論文在社交媒體上的傳播情況和受眾關注度，同時也反映了科技論文在學術界的影響力和貢獻情況。CS在反映論文社會影響力和學術價值方面具有較高的準確性，與同行評議得分、社會計量學和學術影響力指標均存在顯著的相關性。

相較于單一數據庫中的各類評價指標，本文提出的綜合評分超越了單一數據庫中各類評價指標的局限性，在數據源、指標類型和覆蓋范圍上均表現出顯著的優勢，涵蓋了H1 Connect、Altmetric和WoS三大數據平臺，提供了同行評議、社會計量學、引文計量學多種類型指標數據，為綜合評分的構建提供了豐富的信息基礎，確保了評價范圍的全面性和豐富性。

4 研究結論

本文基于H1 Connect結合多元化數據指標構建了生物醫學科技論文的綜合評分這一指標，并通過生物化學和腫瘤學科論文的實例進行了驗證。不僅為生物科學論文的評價提供了新的視角和方法，也為同行評議、社會影響力和學術影響力等概念的整合奠定了實踐基礎，具有一定的研究意義。本文得出以下結論。

（1）在H1 Connect數據庫中，同行評議各個指標與不同評價標簽之間大多為低度相關或不相關。不同學科的文獻，相對引用率與同行評級之間也為低相關或不相關，而星級權重與同行評級“Very Good”和“Exceptional”為中度相關。

（2）本文提出了綜合評分指標CS，該指標結合了同行評議、社會影響力和學術影響力等多個維度信息，能夠更全面、科學地反映生物醫學科技論文的質量和價值。該指標與同行評議結果為中度相關性，與社會影響力和學術影響力評價結果也顯示出高度一致性，有望成為一個有效的生物醫學科技論文評價指標，為學術評價提供新的依據和參考。

參考文獻

［1］Anonymous. H1 Connect［EB/OL］.［2024-08-28］.https：//connect.h1.co/.

［2］張楠. 基于論文發表后同行評議分數的被引頻次影響因素研究［D］. 合肥：中國科學技術大學，2021.

［3］安瑋琦. 單篇生物醫學領域論文綜合質量評價體系研究［D］. 濟南：山東師范大學， 2024.

［4］姜育彥，劉雪立. 絕對顛覆性指數與同行評議指標及CNCI的關系：基于病毒學論文的研究［J］. 圖書情報工作， 2023（3）： 96-105.

［5］CHEN S， GUO Y， DING A S， et al. Is interdisciplinarity more likely to produce novel or disruptive research？［J］. Scientometrics， 2024（129）： 2615-2632.

［6］許丹，韓爽，白彩軍，等. 基于Faculty Opinions最新推薦評分的生物醫學科技論文評價指標相關性研究［J］.醫學信息學雜志， 2024（4）： 45-51.

［7］許丹，韓爽，徐爽.Faculty Opinions不同評價條件下論文多元評價指標差異性及相關性分析［J］.中國科技期刊研究，2022（2）：246-259.

（編輯 李春燕）

Research on correlation analysis of multiple evaluation labels and establishment of comprehensive evaluation index system based on H1 Connect

XU" Dan， LUO" Xiangdong， WANG" Wenxia， XU" Shuang*

（Library， China Medical University， Shenyang 110122， China）

Abstract：" The article conducts a correlation analysis of various peer review labels for biomedical technology papers based on H1 Connect， and attempts to construct a more comprehensive and scientific paper evaluation index system by combining diversified indicators. Obtain representative indicators and evaluation labels of peer review， social influence， and academic influence from H1 Connect， Altmetric， and WoS （Web of Science） platforms， calculate the comprehensive score according to the rules， and use SPSS software for Spearman correlation comparison analysis. Most of the peer review indicators in H1 Connect show low or no correlation with different evaluation labels. There is also a low or no correlation between relative citation rate and peer rating， while star weight is moderately correlated with peer ratings of “Very Good” and “Exceptional”. The innovation proposes a comprehensive scoring index CS， which shows a moderate correlation with peer review results and is highly consistent with social and academic influence evaluation results， providing a new perspective for academic evaluation in the biomedical field.

Key words： H1 Connect; composite score; evaluation label; comparative analysis

基金項目：2021年遼寧省社會科學規劃基金；項目名稱：基于Faculty Opinions最新評分的生物醫學科技論文多元評價指標體系建立研究；項目編號：L21BTQ009。

作者簡介：許丹（1985—），女，副研究館員，碩士；研究方向：科技論文評價。

*通信作者：徐爽（1983—），女，副研究館員，碩士；研究方向：情報分析與知識發現。