基于異構數據的機構網絡影響力評價指標相關性研究

楊波++趙佳駿+++殷作霖++陳睿瑩++王小妍++黃水清

摘 要：對學術機構進行客觀公正的評價是科研管理過程中不可或缺的工作， 基于網絡計量學的機構影響力評價成為學術機構評價研究中有別于傳統文獻計量方法的另外一種有效的評價手段。為了進一步探討不同的分析策略對網絡影響力的評價效果的影響，文章以我國342所大學作為研究樣本，對比分析不同Web數據采集策略下，利用不同評價指標對機構的網絡影響力進行評價的可靠性。研究結果表明，機構入鏈所屬的大學域名的數量指標RD_EDU以及學院層面的鏈接指標Linknet與多個大學排名之間的平均相關系數接近0.8，并且高于以Webometrics Ranking of World Universities和uniRank為代表的網絡影響力排名與ARWU、CARK和CUAA等大學排名之間的相關性強度。

關鍵詞：機構評價；網絡影響力；鏈接分析；大學排名

中圖分類號：G203 文獻標識碼：A DOI：10.11968/tsyqb.1003-6938.2017095

Comparative Study on Indicators for Evaluating Institutional Influence in Web Space Based on Multiple Heterogeneous Datasets

Abstract It is an indispensable job to objectively evaluate academic institutions in daily scientific administration and webometrics-based evaluation technique has been increasingly becoming an effective way to fulfill this task besides traditional bibliometric indicators. In order to investigate the impact of different analytical strategies on the web influence of institutions， 342 universities in Mainland China were selected to compose the sample set to compare the reliability of different evaluating indicators on the web influence of institutions generated from different strategies of web data collection. Finally， the statistics shows that the numbers of educational domain names （RD_EDU） that linking to university websites， as well as the numbers of inlink on department level （Linknet） that university websites receive are significantly correlated （the average coefficient is nearly 0.8） with several transitional university ranking lists. Moreover， the correlation strengths are higher than that between prevailing web-based ranking lists （Webometrics Ranking of World Universities and uniRank） and traditional ones （ARWU， CARK and CUAA）.

Key words institution evaluation； web influence； link analysis； university ranking

1 引言

對學術機構進行客觀公正的評價是科研管理過程中不可或缺的工作，也是傳統文獻計量學和新興的Altmetrics視角下對機構影響力進行量化評估的熱門研究主題[1]。

在目前的機構評價研究和實踐中，主要基于機構發表的科學論文數據，對機構的整體情況或者學科表現進行計量分析，包括采用高被引論文數、總被引頻次、篇均被引頻次等指標對學術機構的科研產出進行評價。但是僅僅從文獻角度獲得的分析結論不足以全方位體現機構的發展狀態[2]。基于傳統出版物的引用已經不是學術成果傳播的主要渠道，科學思想并不總是通過科學論文的出版進行傳播[3]。隨著開放獲取運動的開展，網絡日漸成為學術出版的主要平臺之一。在數字出版大行其道和學術交流網絡化的今天，學者們更愿意使用開放存取平臺或在線學術社區進行學術交流。各種基于網絡計量學方法的期刊和機構影響力評價成為學術評價研究中有別于傳統文獻計量方法的另外一種有效的評價手段。網絡影響力作為大學綜合競爭力的一個很重要的補充，受到了學術界的廣泛關注，也出現了不同于傳統大學排名的網絡影響力排名。多項研究成果表明大學的綜合實力和網絡影響力之間存在顯著的相關關系[4-5]。然而，通過對這些研究中展示的數據進行分析可以發現，他們所采用的對于機構網絡影響力的計量指標和機構本身的綜合實力的相關程度還不是很高。

由于Web資源本身在數量、質量、結構化程度和異構性等方面的復雜性，利用Web數據對機構網絡影響力的評估中在很大程度上受到數據采集策略和統計指標的影響。為了進一步探討不同的分析策略對網絡影響力的評價效果的影響，本研究將以我國342所大學作為研究樣本，對比分析不同Web數據采集策略下，利用不同評價指標對機構的網絡影響力進行評價的可靠性，從而為基于Web的機構影響力評價提供更為完善的數據采集策略和分析模型。endprint

2 相關研究

隨著網絡計量學的提出、興起和應用范圍的逐漸擴大，尤其是商業應用中搜索引擎推廣效果和社會網絡環境下的信息傳播效應的不斷增強，學術機構越來越重視利用網絡進行學術推廣、交流、人才招募、招生就業宣傳等。于是，各種大學網絡影響力排行榜應運而生。其中影響力比較大的是西班牙國家研究委員會（CSIC）下屬的網絡計量實驗室的網絡計量世界大學排行榜（Webometrics Ranking of World Universities，WRWU）。該機構自2004年發布第一版排名數據以來，每半年更新一次排名數據[6]。最新版（2017年）排名數據由四種不同的網絡數據源加權產生[7]（見表1）。

基于對網絡環境下學術研究活動的全面考察和分析，WRWU 的創始人Aguillo等[8]認為，網絡的開放性不僅能全面地反映研究人員的活動和成果，也提供了更多非正式學術交流的可能性，且這種可能性在傳統紙質出版物中是無法獲得的。學術論文的網絡出版不僅保持了同行評議的高質量標準，而且成本更低，潛在的讀者群也更大。新興的開放獲取運動（Open Access Initiatives，OAI）更是加快了學術研究成果向全社會及廣大發展中國家擴散、傳播及利用的速度和效率[4]。

經過十多年的發展，以WRWU為代表的大學網絡影響力排名已經成為繼上海交通大學ARWU、泰晤士高等教育THE-QS和U.S. News等大學排名之外最有影響力的世界大學排名體系。除了WRWU，uniRank（前身名為4 International Colleges & Universities）也是具有較大影響力的大學網絡影響力排名，它采用MOZ、Alexa、Similar Web和majestic的數據對全球200多個國家12358個大學或學院進行排名[9]。

然而，基于網絡數據的大學網絡影響力排名也存在其局限性。趙丹群[10]認為從WRWU的指標體系以及在當前大學評價領域所產生的影響力來看，WRWU還需要平衡評價指標和數據獲取的質量與效率。由于采用爬蟲進行原生鏈接數據采集的方式成本比較大，因此在大規模機構評價中可能會面臨數據獲取困難的問題。雖然早期部分通用商業搜索引擎提供外部鏈接的搜索功能。但由于該功能被過度濫用，Bing從2007年初開始只允許網站的管理員對本網站的外部鏈接進行查看，禁止所有利用linkdomain或者inurl等命令進行外部鏈接搜索的行為[11]，Yahoo！也于2011年初關閉了該功能[12]。Bosch等人經過九年的監控發現，通用商業搜索引擎Google和Bing的索引網頁數變化非常大，因此通過通用搜索引擎采集的數據的可靠性將會受到很大質疑[13]。相比之下，專用的搜索引擎可能是解決數據可靠性的另外一個途徑，其中最典型的代表就是Majestic。它是一個來自于英格蘭的鏈接搜索引擎，專門為搜索引擎優化、媒體分析師、開發人員等提供付費數據和報告。

數據采集策略是影響網絡影響力評估的主要因素之一，而計量指標的選擇直接關系到排名數據的可靠性。為了盡可能設計更為合理的網絡影響力評價指標，AGUILLO等人提出了采用復合指標進行網絡影響力排名的思路，并且在WRWU中進行了應用。為了進一步討論考察網絡影響力排名的可靠性，他們將WRWU和主流的四大大學排行榜（上海交大的ARWU排名、泰晤士高等教育的THE-QS排名、臺灣高等教育評鑒中心基金會的HEEACT排名和萊登大學的CWTS排名）之間的相關性進行了對比分析。他們的研究數據顯示，WRWU和其它大學排名之間（2008年）的Spearman相關系數在0.5左右。國內學者也分析了WRWU和U.S.News（2010年）之間的相關性，得出了類似的相關性分析數據（世界大學綜合競爭力和網絡競爭力排名的比較研究）。除了在大學影響力方面的應用外，以鏈接分析為主要技術路線的評價方法在期刊評價、網站質量評價中已經有了很多較為成熟的應用。多位學者將鏈接分析應用于圖書館[14]、企業[15]、學術期刊等對象[16]，并證實鏈接分析指標能夠很好的測度網站的影響力。

3 數據來源與指標體系

3.1 樣本選擇

高校是人才培養的重要機構，是國家創新活動的核心組成部分。截至 2012 年底，中國有普通高等學校和成人高等學校2790所，有學士學位授予權的學校 2442所，有碩士及以上學位授予權的學校534所[17]。為了達到比較全面的學科覆蓋率，并使網絡影響力評估的結果和主流的評價體系具有可比性，本研究將研究樣本選定為《教育部學位與研究生教育發展中心2012年學科評估結果》中的363所高校為研究對象。由于軍事類院校的Web信息具有保密性要求，因而除去其中的軍事院校。此外，部分藝術類院校的院系層面沒有單獨的網站，僅限于相關文字性敘述，而本研究在部分指標的數據采集中需要以院系網站為基礎，因此這部分網站也被移除。最終確定的研究樣本共包括342所大學。

3.2 數據采集和預處理

本研究的數據來源大致可分為五種：（1）大學綜合排名數據；（2）樣本網站的原生鏈接數據；（3）通用搜索引擎Google、文獻搜索引擎Google Scholar和鏈接搜索引擎Majestic；（4）大學網絡影響力排名數據；（5）Web of Science論文數據。

（1）大學綜合排名數據。為了對比不同的網絡影響力指標的性能，本研究以現有的大學綜合排名數據作為比較的基準。雖然國際上比較權威的大學排行榜有多個，考慮到現有的對于網絡影響力計算的指標大多以上海交通大學的排行榜作為主要對比數據，并且本研究涉及我國大量的大學樣本，該排行榜中有關我國大學的排名數據相對比較完整，因此本研究在涉及到國際大學排名的對比時，以上海交通大學的大學排名數據作為基準來檢驗各種網絡影響力指標的有效性。在國內大學樣本的指標分析中，為了提高分析結論的可靠性，本研究將上海交通大學（ARWU）、中國管理科學研究院（CARK）和中國校友會網（CUAA）三個主流大學排行榜作為基準數據。endprint

（2）原生鏈接數據。本研究采用LinkDiscovere系統進行鏈接網絡的數據采集[18]，數據采集時間段為2015年5-6月。該系統允許研究者對每個采集任務進行比較靈活的前控制和后控制，前控制可以通過設置具體參數實現，采集深度、采集范圍、子線程數、頁面格式、URL關鍵字過濾等，后控制包括任務監控模塊等。經過數據采集，獲得了本次研究的樣本網站的外部鏈接數量。需要特別說明的是，為了盡可能采集到大學之間因學術研究的相關性而產生實質性鏈接關系，本次網絡采集數據之前首先人工收集了大學所屬的所有學院網站，并以此為單位，最終由5711個學院的網站鏈接數據聚合形成大學網站之間的鏈接關系網絡。采集到的網頁數量為21，575，697個，外部鏈接數為7，234，946個，指向除了自身外的其它341所大學的外部鏈接總數為168，535個。

（3）搜索引擎數據。從Google、Google Scholar和Majestic采集數據的時間為2016年11月7日至11月18日，具體使用檢索式和采集的數據指標詳見表2。檢索式1獲取的是Google索引的該大學網站的網頁數，代表了網站的規模；檢索式2表示該大學的名稱被其它大學網站提到的次數，也可稱為web mention指標；檢索式3表示Google Scholar中收錄的來自該大學的學術資源的數量，pdf、doc、ppt和html等格式的科學論文為最主要的收錄對象；檢索式4獲取來自Majestic的TrustFlow、RD_EDU等8個指標數據。

（4）大學網絡影響力排名數據。目前比較全面、影響力較大的大學網絡影響力排行榜主要是WRWU和uniRank。在對比分析中，為了充分反映異構數據源下的網絡影響力排名和大學綜合排名之間的相關性，在指標相關性分析中，只保留了部分在多個網絡影響力排行榜中都存在排名數據的樣本作為分析對象。在國際大學指標相關性分析中，去除了ARWU中100名以后排名數據不精確的樣本，最終保留了ARWU、uniRank和WRWU重疊的樣本作為研究對象（共78所國際大學）；在國內大學分析中，雖然原始集合包括342所大學，但由于部分樣本在有些榜單中存在排名數據缺失的問題，最終以ARWU（China）、CARK、CUAA和WRWU重疊的樣本作為研究對象（共267所國內大學）。需要特別說明的是，在國內樣本的指標對比分析中，uniRank排行榜包含的中國樣本太少，因而沒有作為平行數據納入到對比分析中。

（5）WoS論文數據。獲取342所大學相應的發表于Web of Science數據庫的核心庫中2006-2015年間的SCI、SSCI和A&HCI三個引文數據庫的文獻信息。數據處理過程中參考了文獻[18]的機構名規范化方式，盡可能全面地獲取WoS中相關機構名的不同表達形式，從而最大程度保證文獻數據的檢全率。由于2006年和2007年份的文獻中參考文獻的DOI信息缺失達到94%，因而最終將引用數據的數據范圍限定于2008-2015年，共得到956，948條原始文獻信息，其中參考文獻部分引用342所大學所發表的論文的頻次為861，819次。

3.3 指標體系

根據不同的數據來源，除了大學排名數據外，本研究需要參考的指標主要來自四種途徑（每種來源的指標分布情況見表3）。

4 相關性分析

為了探討不同的Web數據源以及對應的加權評價指標與傳統大學排名之間是否存在一定的聯系，相關性程度如何，本研究以國內大學樣本為主要研究對象。同時為了驗證待考察指標在不同的統計樣本集上的相關性表現是否具有一定的穩定性，下面將在國內和國際不同的樣本集合上對比分析異構數據源下的不同網絡影響力評價指標的表現。

4.1 國內樣本集合指標相關性分析

作為專業的鏈接搜索引擎，Majestic提供的網站排名數據不止文中列舉的8個指標，這里選取了部分比較重要的，具有代表性的指標及對應的數據（見表4）。從表4中前四種不同途徑的異構數據（Google、Majestic、Web和WoS）和主流的大學排名（CARK、CUAA和ARWU）的相關度統計結果來看，所有基于網絡鏈接分析的指標和大學排名之間存在中度（0.4-0.7）或者高度（0.8-1.0）的相關關系。

無論被搜索引擎Google索引的網頁數量、被鏈接的EDU域名的數量或者被Google Scholar收錄的學術文檔數量，均能部分反映一所大學的網絡影響力。雖然表4中從Majestic獲得的8個指標的數據相關性和Google的三個指標比較接近，但RD_EDU指標卻顯示出和其它三個大學排名之間高度或接近高度相關關系（0.800、0.817和0.745）。存在這種現象的可能原因是，RD_EDU表示鏈接到一所大學的EDU域名的數量，代表了高等教育領域的同行對該大學的認可程度，因此可信度比較高。在相關性表現方面，RD_EDU甚至接近于傳統文獻中體現的機構論文數（Papers）、總被引次數（Citation）和合作（Cooperation）等指標。RD_EDU指標體現出的高度相關性說明了網絡鏈接分析中的同行評議行為如果能得到恰當的識別和利用，可能具有重要的大學影響力評價價值。這個假設通過Linknet指標的相關性數據可以得到部分驗證。Linknet指標表示的是一個樣本被樣本集合中所有其它機構鏈接的次數。不同于Google的Google_EDU指標的是，Linknet采集的鏈接次數只來自于大學的學院網頁上的鏈接，過濾了大量來自EDU域名上的非科研或者教學部門的鏈接（如大學的論壇、管理機構等），并且采用了目錄去重、采集范圍和深度控制等策略。這些組合策略有效規避了Google_EDU和RD_EDU等指標存在的混雜非科研或教學動機產生的鏈接，評價數據可靠性得到了大幅提高。表現為Linknet和其它三個大學排名之間存在高度或者接近高度相關的關系（分別為0.803、0.802和0.714）。endprint

為了和西班牙學者AGUILLO團隊開發的著名的網絡影響力排行榜Webometrics Ranking of World Universities形成對比，本研究從該排行榜中抽取了中國大陸的大學排名數據，形成了WRWU指標，并計算了WRWU指標與三個大學排名之間的相關性。統計數據顯示，相比于2010年AGUILLO等人的評測數據，雖然WRWU與ARWU之間的排名相關性平均值有所提高（從0.550左右提高到了0.650）[20]，并且WRWU和CARK以及CUAA排名之間的相關性也很顯著，但總體上和RD_EDU、Linknet兩個指標還是存在比較明顯的差距。

4.2 國際樣本集合指標相關性分析

為了進一步比較以搜索引擎的多項數據加權形成的排名數據和經過充分優化的單個指標排名數據的性能，本研究選取了ARWU全球大學排行榜上排名前100位的大學作為統計樣本（100位以后并列排名過多），其中共有78所大學出現在uniRank和WRWU兩個主流的網絡影響力排行榜上[24-25]。從相關性數據可以看出，uniRank和ARWU的相關程度比較低。WRWU指標和ARWU在國際樣本中的表現基本接近于國內樣本，說明了本研究采用的對WRWU指標的評測數據是基本穩定的（見表5）。由此可以推斷表4中對ARWU、WRWU、RD_EDU和Linknet指標進行平行對比是可行的。

此外，在一般的大學評價中往往對機構的論文數量或者質量（被引次數）賦予比較高的權重，表4中來自WoS的大學發表的論文總數、總被引次數與ARWU高度相關關系也證實了這一點。然而，以網絡鏈接關系為主的RD_EDU和Linknet指標與三個大學排行榜之間的相關性水平基本接近Citations指標，說明了在正確的數據獲取策略下，網絡影響力指標也有可能達到和傳統科學論文同等的評價水平。

5 結語

作為信息傳播的新媒介，互聯網在工作、學習和生活中扮演著越來越重要的角色。Web大數據的背景下，以鏈接為主要關系表征的Web空間的交互行為中往往隱藏著重要的信息。利用海量網絡信息進行大學網絡影響力的評估，逐漸成為大學評價研究的主要研究內容之一。由于Web信息存在量大、增長速度快、分布范圍廣、結構復雜和垃圾信息多等特點，選擇合適的數據采集策略和評價指標是其中最為關鍵的兩個步驟。uniRank和WRWU兩大排名雖然采用了多數據指標加權策略，但仍然不能解決某些指標中存在的嚴重的數據失真的問題。以后者為例，WRWU的加權指標中對Subnets指標賦予了50%的權重[7]，而本文表4的數據顯示，Subnets指標和ARWU之間的相關性程度并不是最高的，因此將其作為網絡影響力的最重要指標的加權方案值得商榷。

通過對異構數據環境下不同的大學排名數據之間的相關性進行深入分析發現，本研究提出的以大學之間相互的實質性鏈接行為作為數據來源的策略是可行的。具體表現為，被鏈接的大學域名的數量（RD_EDU），或者經過過濾的學院層面的鏈接次數（Linknet）和多個大學排名之間存在顯著的相關關系，并且在相關性強度上要高于主流的網絡影響力排名。本研究的初步結論對提高學術機構的網絡影響力排名的可靠性有積極的參考價值，也可供機構對自身網絡影響力進行評估、從而進一步促進網絡學術交流活動的開展和跨區域學術合作。

在國際樣本的比較中，由于沒有對這些樣本的原生鏈接數據進行采集，因此沒有比較這些樣本在Linknet指標上的表現。并且國內樣本的原生鏈接數據采集時間要早于來自搜索引擎的數據，這使得搜索引擎的數據有一定的滯后性，雖然本研究使用的不同數據時間差異要小于實際值，但此類研究中不可避免的數據獲取時間的差異可能對結論有一定的影響。

參考文獻：

[1] 楊柳，陳貢.Altmetrics視角下科研機構影響力評價指標的相關性研究[J].圖書情報工作，2015，59（15）：106-114，132.

[2] 何文靜，邱均平.大數據時代計量學在學科評價中的應用研究[J].圖書與情報，2016（4）：83-88.

[3] Priem J，Costello K L. How and why scholars cite on Twitter[C].Proceedings of the American Society for Information Scienceand Technology，2010，47（1）：1-4.

[4] Aguillo I F，Granadino B，Ortega J L，et al. Scientific research activity and communication measured with cybermetrics indicators [J].Journal of the American Society for information science and technology，2006，57（10）：1296-1302.

[5] Thelwall，M.，& Harries，G.Do the web sites of higher rated scholars have significantly more online impact？[J].Journal of the American Society for Information Science and Technology，2004，55（2）：149-159.

[6] Webometrics Ranking of World Universities.Methology[EB/OL].[2017-05-10].http：//www.webometrics.info/en/Methodology.

[7] Webometrics Ranking of World Universities.2017-Ranking Web of Universities.January New Edition[EB/OL].[2017-05-10].http：//www.webometrics.info/en/node/178.endprint

[8] Aguillo I F，Ortega J L，Fernández M.Webometric ranking of world universities： Introduction，methodology，and future developments [J].Higher education in Europe，2008，33（2-3）：233-244.

[9] uniRank.About us[EB/OL].[2017-05-10].http：//www.4icu.org/about/index.htm#ranking.

[10] 趙丹群.WRWU及其評價指標體系簡析[J].知識管理論壇，2013（8）：40-43.

[11] Seidman E.Microsoft：Were Flattered that Google Copied Bing[EB/OL].[2007-10-18].https：//developer.yahoo.com/search/web/webSearch.html.

[12] Yahoo！.Web Search APIs from Yahoo！[EB/OL].[2016-10-18].https：//developer.yahoo.com/search/web/webSearch.html.

[13] Bosch A，Bogers T，Kunder M.Estimating search engine index size variability：a 9-year longitudinal study[J].Scientometrics，2016，107（2）：839-856.

[14] 丁楠，潘有能.基于鏈接的公共圖書館與高校圖書館網站影響力比較研究[J].圖書館學研究，2010（7）：41-46.

[15] 沙勇忠，牛春華.中國信息化優秀企業網站鏈接分析與網絡影響因子測度[J].蘭州大學學報（社會科學版），2004（5）：99-107.

[16] 劉虹，孫建軍，鄭彥寧，等.CSSCI來源期刊的網站影響力分析[J].情報雜志，2012，31（4）：5-8.

[17] 教育部學位與研究生教育發展中心.2012年全國高校學科評估結果[EB/OL].[2014-01-24].http：//www.cdgdc.edu.cn/xwyyjsj

yxx/xxsbdxz/mtjjp/index.shtml.

[18] 楊波，楊軍威，閻素蘭.基于規則的機構名規范化研究[J].現代圖書情報技術，2015（6）：57-63.

[19] Majestic.Glossary[EB/OL].[2017-05-10].https：//majestic.com/support/glossary.

[20] Aguillo I F，Bar-Ilan J，Levene M，et al.Comparing university rankings[J].Scientometrics，2010，85（1）：243-256.

[21] 武書連.挑大學選專業/2017高考志愿填報指南[M].北京：中國統計出版社，2017：23-39.

[22] 中國校友會網.2016中國大學評價研究報告[EB/OL].[2017-05-10].http：//www.cuaa.net/cur/2016/.

[23] Academic Ranking of World Universities.Academic Ranking of World Universities 2016[EB/OL].[2017-05-10].http：//www.shanghairanking.com/ARWU2016.html.

[24] uniRank.Top 200 Universities in the World[EB/OL].[2017-05-10].http：//www.4icu.org/top-universities-world/.

[25] Academic Ranking of World Universities.Best Chinese Universities Ranking-Overall Ranking-2017[EB/OL].[2017-05-10].http：//www.shanghairanking.com/Chinese_Universities_Rankings/Overall-Ranking-2017.html.

作者簡介：楊波，男，南京農業大學信息科學技術學院副教授，碩士生導師；趙佳駿，男，南京農業大學信息科學技術學院碩士研究生；殷作霖，男，南京農業大學信息科學技術學院碩士研究生；陳睿瑩，女，南京農業大學信息科學技術學院碩士研究生；王小妍，女，南京農業大學信息科學技術學院碩士研究生；黃水清，男，南京農業大學信息科學技術學院教授，博士生導師。endprint