基于大數據的科教評價信息云平臺構建和智能服務研究框架

唐曉波 石文萱 李詩軒 譚明亮 高和璇 劉志源

摘 ? 要：科教評價是促進國家科技和教育發展的重要助力之一，在國家科教戰略規劃、政策制定、績效評估、資源分配等多個方面發揮著十分重要的作用。隨著大數據時代的到來，科教信息資源的組織和利用形式開始發生變革，使得傳統的科教評價理論及方法在評價的準確性、全面性和綜合性等方面顯現出一定的不足。文章梳理了國內外科教評價相關研究現狀，發現已有研究所使用的科教評價數據的集成性和多維性不足;缺乏從內容層面進行挖掘的科教評價指標;缺乏從社會影響力層面進行科教評價的研究;缺乏信息云平臺構建與科教評價相結合的研究;缺乏智能服務與科教評價相結合的研究。在此基礎上，文章論述了基于大數據的科教評價研究框架構建意義，并從頂層設計入手，提出了包含需求分析、理論構建、模型與方法研究、云平臺構建和智能服務五個子課題的基于大數據的科教評價信息云平臺構建和智能服務研究框架和邏輯關系圖，并對各子課題進行了分析和論述。

關鍵詞：大數據;科教評價;智能服務;研究框架

中圖分類號：TP311.5 ? 文獻標識碼：A ? DOI：10.11968/tsyqb.1003-6938.2020084

Abstract Science and education evaluation is one of the main impetuses for the national development of technology and education， and it plays a rather significant role in national scientific and educational strategic planning， policy making， performance evaluation， and resources allocation and so on. With the advent of the era of big data， the way of organizing and utilizing technological and educational information resources has begun to change， which shows certain deficiencies of traditional science and education evaluation theories and methods in the accuracy， comprehensiveness and integrity of the evaluation results. This paper summarizes the research status of science and education evaluation at home and abroad， and makes the following findings： Firstly， insufficient integration and multidimensionality of technology and education big data;Secondly， lack of evaluation indexes extracted from textual content;Thirdly， lack of research on science and education evaluation from the perspective of social influence;Fourthly， lack of comprehensive research combining construction of cloud computing platform with science and education evaluation;Finally， lack of comprehensive research combining intelligent service with science and education evaluation. Starting with the research significance of the research framework and the top-level design， this paper puts forward the research framework for the construction of science and education evaluation cloud computing platform and intelligent service based on big data as well as its logical diagram， which includes five sub-projects： requirement analysis， theory construction， model and method research， cloud computing platform construction and intelligent service. At the same time， the five sub-projects are also analyzed.

Key words big data; science and education evaluation; intelligent service; research framework

1 ? 引言

科教評價是指對科技與教育的評價，包括宏觀、中觀、微觀三個層次的評價。宏觀的科教評價可以揭示整個國家、地區的科技教育宏觀狀況與發展趨勢，為宏觀科技教育管理決策提供依據;中觀科教評價是對科技教育計劃、機構等復合性科技教育活動單位的評價;微觀科教評價是對非復合的單個科技教育活動單位的評價，包括對人和事件的評價，其中對人的評價是指對科技教育人才的評價，而對事件的評價是指相關科技教育項目、成果等方面的評價。

傳統的科教評價研究圍繞著高校評價、科研機構評價、學術論文評價、專利評價等問題展開，評價方法主要為定性的同行評議和定量的科學計量兩大類。但是，隨著大數據時代的到來，科教信息資源的組織與利用形式開始發生變革，使得傳統的科教評價理論及方法顯現出一定的缺點和不足。為了應對變革，彌補已有的研究理論和方法的不足，需要在傳統評價范式的基礎上，進行科教評價理論與方法的創新研究。

“十三五”規劃提出要實施國家大數據戰略，促進大數據和云計算的廣泛應用，要把大數據作為基礎型戰略資源，全面推進大數據的高效采集、有效整合和融合利用，深化大數據和云計算在各個行業的創新應用;黨的十九大提出要推動實體經濟和人工智能的深度融合，并且提出要優先發展教育事業，實現高等教育內涵式發展，加快建設創新型國家，強化戰略科技力量，由此可見國家對發展大數據、云計算技術的堅定決心和對人工智能、科技教育發展的高度重視。因此，開展基于大數據的科教評價信息云平臺構建和智能服務研究具有十分重要的意義。

本文針對大數據環境下的科教評價服務需求，對基于大數據的科教評價理論框架、科教評價方法模型框架進行研究，構建基于大數據的科教評價信息云平臺和智能服務研究框架，有利于國家從整體上把握科教發展現狀，制定合理的科教發展規劃，從而獲取最佳的經濟效益和社會效益，同時，對于科研機構的發展規劃、人才引進、科研績效評價也有著重要的參考價值。

2 ? 研究綜述

2.1 ? ?國內外科教評價研究綜述

目前在文獻調研和網絡檢索中，均未找到“科教評價”這一術語的明確定義。本研究認為，科教評價是指對科技與教育的評價，是一個較為廣泛的概念，它不僅包含對整個國家、各個地區的科技教育宏觀狀況與發展趨勢的評價，也包含對科技教育計劃、機構等復合性科技教育活動單位的評價，還包含對非復合的單個科技教育活動單位的評價。對于非復合的單個科技教育活動單位的評價包括對人和事件的評價，其中對人的評價是指對科技教育人才的評價，對事件的評價則是指相關科技教育項目、成果等方面的評價。現有的科教評價成果主要以科技論文評價為基礎，進而開展學科機構、地區科教水平評價研究。

（1）科技論文評價綜述。科技論文作為科研活動的主要產出成果之一，對科技論文的評價是科教評價中的一項重要工作。目前，對科技論文的評價方法主要分為兩大類：以同行評議為主要內容的定性評價方法和以引文分析為基礎的定量評價方法[1]。在國外，Garfield[2]于1955年首次提出將論文的被引用次數作為評價其學術影響力的指標，從而奠定了將引文分析作為重要評價手段的定量評價方法的基礎。1972年，Garfield[3]還提出了使用影響因子作為衡量學術期刊影響力的指標。2005年，Hirsch[4]提出使用h指數作為評價學者科研產出的指標，該指數引起了學術界的廣泛討論，并被廣泛應用到國家、地區、科教機構、學科專業等科教評價的各個層級中。

隨著Web2.0的發展，科學交流方式逐漸發生轉變，越來越多的專家學者和非學術群體開始在社交媒體上獲取、傳播和瀏覽學術資源，并日益進行學術交流，科技論文的社會影響力凸顯，Priem[5]正是在這樣的背景下提出了替代計量學（Altmetrics）。Thelwall[6]研究了引文指標和Altmetrics指標之間的關系，發現二者之間的關系受到數據關聯強度的影響;Repiso等[7]對2013-2017年間Web of Science收錄的期刊進行分析，發現Mendeley和Twitter是指標覆蓋率最高的社交平臺，他們的指標覆蓋率高于傳統引文指標。

在國內，趙蓉英等[8]運用相關性分析法和主成分分析法，對現有Altmetrics評價指標進行分析，并與傳統引文指標進行比較分析，發現這兩種指標存在一定差異，Altmetrics指標是對傳統引文指標的有益補充;王雯霞和劉春麗[9]通過構建多維指標的綜合影響力評價模型，對不同學科的論文影響力指標進行對比分析，發現不同的學科應采用不同的指標構建論文評價模型，在論文綜合影響力評價中，相較于論文的社會影響力，其學術影響力依然占據主導;王艷波等[10]以國內圖書情報領域論文為研究對象，分別獲取其傳統引文評價指標數據和Altmetrics評價指標數據，構建比傳統引文評價更科學、全面的學術論文影響力綜合評價模型。

（2）學科機構評價綜述。學科專業及科研機構評價一直是社會各界普遍關注的問題，這關乎著我國一流學科和一流大學建設目標的推進。對學科和科研機構的評價是檢驗學科發展和佐證績效管理的有效手段[11]，因此，該如何對學科和科研機構進行評價是科教評價的重要組成部分。近幾年國外的研究中，Marginson[12]認為大學排名指標體系應遵循實在性、客觀性、外部性、綜合性、特殊性、次序均衡、績效校準和公開透明這八條準則;Dobrota等[13]對QS（Quacquarelli Symonds）世界大學排名進行了檢驗，認為該排名存在不夠客觀，具有一定偏向性的缺點，并對QS排名方法進行了改進。

在國內，2019年，中國科教評價研究院組織了中國大學及學科專業評價工作，并完成了《中國大學及學科專業評價報告2019-2020》[14]，該排名綜合考慮了其他幾大排名體系，堅持科研與教學并重的原則，力求全面客觀地反映各個院校的整體實力;周光禮和武建鑫[15]選取全球四個具有學科和大學評價功能的評價指標體系，以“三階段+三維度”為研究框架，得出了科教評價應具備多維度，應依賴于卓越的教師隊伍，應注重評價質量的結論。他還通過對QS、THE、U.S.News等最具影響力的世界大學排名進行評估，發現這些排行榜在技術性標準上存在缺憾，在合法性標準上嚴重不足，不能直接作為“雙一流”建設動態檢測和成效評價的依據[16]。

（3）地區科教水平評價綜述。對地區科教水平的正確評價，有利于中央和地方政府從整體上把握地區科教發展現狀，制定更為合理的區域科教規劃，從而更好地促進我國科教事業的發展。國外權威機構發布的科技進步水平指標體系主要有經濟合作與發展組織（OECD）的科技進步水平評價指標，瑞士洛桑銀行國際管理研究院（IMD）的科技進步水平評價指標體系，世界銀行的科技進步水平評價指標體系等。

國內地區科教水平評價多采用專家咨詢法、層次分析法、因子分析法、主成分分析法和熵權法等，構建綜合評價指標體系。李倩男和姚寧寧[17]利用因子分析法計算了我國31個省市2008-2013年每一年的高等教育發展水平的因子得分，再利用熵權法計算每年因子得分的熵權，從而為各個省市的高等教育發展水平進行排序，發現西部地區的高等教育發展水平較為落后，而東部地區的排名較為分散;王穎等[18]運用TOPSIS分析法對我國中部6省的科技發展水平進行評價，得出了中部6省的科技服務業競爭力水平的綜合評價及發展趨勢;張鵬等[19]從產業規模實力、科技創新能力、綜合發展潛力和服務客體能力四個維度分析了2007-2016年我國30個省、直轄市、自治區（西藏因數據缺失嚴重而剔除）的科技服務業總體發展水平以及區域差異。

2.2 ? ?國內外科教評價云平臺構建相關研究綜述

與大數據研究相伴而生的概念是云計算，云計算的本質是數據處理技術，大數據可以看作是云計算的資產及其升級方向[20]。云計算是一種新的分布式計算模式，它的本質是一種服務提供模型，通過該模型可以隨時、隨地、按需地通過網絡訪問共享資源池的資源，這個資源池的內容包括計算資源、網絡資源和存儲資源等[21]。在國外工業界，最典型的云計算實例有Amazon公司的彈性云計算，IBM公司的“藍云”平臺產品和Google的云計算平臺及云計算的網絡應用程序[22]。學術界關于云計算的研究主要圍繞云計算服務性能優化、云計算測試、云計算環境安全、云計算技術應用等方面展開[23]。Paton等[24]從效用計算的角度分析不同負載的任務使用，提出了云計算性能的優化方法。Ganon和Zilbershtein[25]為了解決大規模云計算測試環境難以構建的問題，構建了網絡管理系統測試環境用以準確測試大規模網絡管理系統的性能。安全和隱私保護是云計算發展的首要前提[26]，Elphinstone和Shen[27]對商用硬件的可靠性進行了分析，利用多余的多核處理器提高硬件的可信度，從而為云安全引入了一種新的防護策略。

目前云平臺應用已經廣泛滲透到電子商務、電子政務、金融和醫療等領域，而較少有針對科教評價信息云平臺構建的研究。在國內，高俊芳[28]提出了學科知識細粒度可控的本體組織方式，依據高校云學科知識服務平臺的構建原則，設計了高校數字圖書館云學科知識服務平臺組織結構;王茜和張黎[29]在分析了基于云平臺的智慧圖書館系統的優勢的基礎上，設計了主要包含跨域數據采集、實時事態感知、智慧服務整合和大數據統計分析和展示四個功能的基于云平臺的智慧圖書館系統總體框架;劉志亮和張金隆[30]在對我國教育信息資源共享現狀進行分析的基礎上，提出了由“服務維”和“數據維”構成的二維教育信息資源整合框架，并設計了基于“資源池”“云處理”“云應用”和“服務組合”的教育信息資源云服務架構;張惠敏[31]通過分析深圳市智慧城市的研究和實踐現狀，闡釋了融入智慧城市的深圳教育云的特征，描述了深圳教育云架構，并對具體試點學校的應用案例進行分析。

2.3 ? ?國內外智能服務研究綜述

當前國內外智能服務相關研究主要涉及智能服務理論構建、智能服務方法技術以及智能服務應用。在國外智能服務相關研究中，Carstena等[32]認為智能服務是基于網絡化、智能化的技術系統和平臺，是對采集和分析數據進行響應的數字化服務，他認為智能服務的過程可以劃分為內部基礎設施、外部基礎設施、連接物理平臺和服務平臺四個階段;Beverungen等[33]認為智能服務是通過智能產品所支持的行為，流程和績效來實現的應用，智能服務系統是利用智能產品來整合資源，使得參與各方實現互惠互利的系統;Corrall等[34]對澳大利亞、新西蘭、愛爾蘭和英國的140個機構的文獻計量服務進行了調查和研究，并對這些機構的服務質量進行了對比分析。

在國內，智能服務主要涉及金融、醫療、商務和圖書情報等領域，與科教評價相結合的研究較少。在與科教評價智能服務相關的研究中，王颯[35]對國內39所“985”高校圖書館開展的科研評價服務進行調研，進行統計分析，并對這39所高校圖書館的科研評價情況的文獻調研結果與實踐調研結果進行對比分析。葉蘭[36]通過文獻調研，網絡調研和案例研究，對國外大學圖書館如耶魯大學圖書館、愛荷華大學圖書館、新南威爾士大學圖書館等的科研評價服務進行分析，為推動國內大學圖書館科研評價服務提出建議;廖志江[37]針對數字圖書館知識服務需求，構建了基于知識發現的四層架構的圖書館知識服務平臺，并介紹了該平臺的各個子課題的功能;王欣和張冬梅[38]分析了高校讀者小數據應用于圖書館個性化智能服務的可行性，并提出了基于高校讀者小數據采集、預處理、個性化閱讀需求發現與預測的圖書館個性化智能服務模式。

2.4 ? ?研究述評

綜上所述，國內外關于科教評價、云平臺構建和智能服務進行單獨研究的文獻較多，相關研究也取得了一定進展，但是專門針對科教評價信息云平臺構建和科教評價智能服務研究的文獻還比較有限。無論是國內還是國外，與本文直接相關的研究都還處于起步階段或是發展階段，缺乏將科教評價與大數據、云平臺構建和智能服務充分結合起來的系統性研究，同時，也較少有針對本文研究主題的有深度的或者具有普遍意義的成果。

（1）科教評價數據的集成性和多維性不足。總體而言，過去的科教評價研究多利用官方的統計數據和論文發表數據，大數據時代產生的海量多維的科教大數據，如社交媒體數據、時空大數據等，并未得到充分的應用，科教評價與大數據的結合度不足。且以往的研究偏重于對科技論文的細粒度評價，而對學科、科教機構、地區科教水平評價的研究相對較少。已有的從學科、科教機構、地區層面的研究對已有科教評價數據的利用粒度較粗，忽視了對已有的細粒度評價成果的應用。

（2）缺乏從內容層面進行挖掘的科教評價指標。傳統的科教評價由于文本挖掘技術的復雜度和數據量的限制，無法將大量的，有價值的科教文本納入評價材料之中。這些文本對于發掘出細粒度的知識單元，并提煉出可量化的科教評價指標具有重要意義。需要將那些不易被挖掘且不易量化的指標，如論文創新性、學者的學術道德水平等進行量化，從而構建更為客觀全面的科教評價指標體系。

（3）缺乏從社會影響力層面進行科教評價的研究。已有科教評價研究更側重于對科教主體學術影響力的測度，而忽視了對其社會影響力的考量。換言之，當前研究中大多數科教評價指標體系的設計更重視評估科教主體的學術影響，而對于它所造成的經濟、政治、社會等多方面影響的考慮較少。整體而言，當前科教領域缺乏能夠全面地對科教主體的學術影響力和社會影響力進行科學評價的評價方案和評價體系，難以滿足當前背景下科教評價的現實需求。

（4）缺乏信息云平臺構建與科教評價相結合的研究。國內外諸多研究圍繞政務、教育等多個視角對云平臺構建進行了一定的理論探索和實踐探索，主要解決了在相應具體應用下的云平臺架構設計，或者針對云平臺構建中的某一具體問題進行改進和優化。但是，諸多研究仍然相對分散，只強調單個具體問題的解決，或者強調云平臺架構中某個層次的優化創新，缺乏針對科教評價應用的云平臺理論及應用成果。整體而言，缺少有深度的科教評價信息云平臺構建系統性研究成果。

（5）缺乏智能服務與科教評價相結合的研究。當前智能服務的研究主要涉及智能服務理論構建、智能服務方法技術和智能服務應用實踐三個方面。關于智能服務應用的研究中，多涉及金融領域、醫療領域、商務領域、圖書情報領域等，卻較少將智能服務理論、方法和技術應用于科教評價，可見智能服務的應用領域還相對有限，缺少智能服務在科教評價領域的應用。

綜上所述，基于大數據的科學化、精準化和綜合化科教評價理論框架與體系構建是當前科教評價研究的重點。基于大數據的科教評價信息云平臺構建與智能服務研究應從科教評價的用戶需求出發，在科教評價的理論方法研究基礎上，從大數據視角出發探索科教信息資源內容理解和評價理論方法創新，擴展已有的科教信息資源評價指標體系，構建一個兼顧有效性、可理解性和多維性的科教評價理論框架。并在此基礎上，實現基于大數據的科教信息云平臺建設，進行示范應用研究，并根據各類用戶的多元需求，豐富完善智能服務理論與方法，從而實現科教評價服務的個性化和精準化。

3 ? 基于大數據的科教評價信息云平臺構建和智能服務研究框架構建

基于大數據的科教評價信息云平臺構建和智能服務研究必須解決幾個關鍵性的問題：如何將大數據、云平臺構建和智能服務相關理論與方法深度應用于科教評價，構建以科教評價質量為核心，兼具有效性、可理解性、多維性，且適用于大數據時代的科教評價指標體系？如何基于大數據的科教評價模型與方法，從信息抽取、主題分析、情感分析、信息傳播等方面對關鍵技術進行研究，對社交媒體大數據、時序大數據等信息進行深度挖掘？如何從信息資源集成、知識融合等方面對關鍵技術進行研究，構建大數據背景下的科教評價信息云平臺？如何構建用戶需求-科教評價資源映射模型，實現基于大數據的科教評價智能知識服務？

本文按照科教評價的現實需求和問題制定研究目標和研究框架，通過調研文獻資料和分析凝練研究內容，重點進行基于大數據的科教評價理論深化和方法模型創新，在優化和提煉理論研究成果的同時，通過信息云平臺的示范應用推進成果應用。本文按照“現狀與需求分析-制定目標-理論框架構建-評價方法創新-信息云平臺構建-智能服務的示范應用-總結完善科教評價理論體系”的研究路徑展開。在理論框架的構建中，突出大數據背景與傳統評價理論方法的有機融合和創新發展，立足于大數據背景下科教信息資源的組織、利用和產出形態變革的現實問題和需求，在進行基礎理論研究和尋求實際問題解決的基礎上，致力于研究成果的拓展應用。

本文從基于大數據的科教評價信息云平臺構建和智能服務研究應包含的五個子課題出發，在結構上遵循“需求分析-理論研究-方法研究-云平臺構建研究-智能服務研究”的邏輯進行推進。首先，對基于大數據的科教評價服務需求進行調研分析，明確子課題的研究對象和起點，分析科教評價總體服務需求;其次，基于科教評價總體服務需求，參考已有的科教評價理論成果，構建兼具有效性、可理解性和多維性的科教評價理論框架;然后，從基于專家智庫的同行評議科教評價方法、基于文獻、科學、信息、網絡和知識計量的科教評價方法、基于文本語義挖掘的科教評價方法、基于大數據的科教評價知識融合模型這四個方面，探索基于大數據的科教評價模型與方法;接著，從基于大數據的科教評價信息云平臺需求分析切入進行架構設計，構建云平臺的基礎云計算層、大數據平臺層以及云平臺服務層，實現基于大數據的科教評價信息云平臺;最后，基于用戶特征與科教評價服務需求，構建用戶需求-科教評價資源映射模型，搭建基于大數據的科教評價智能服務系統（基于大數據的科教評價信息云平臺構建和智能服務研究框架見圖1）。

3.1 ? ?基于大數據的科教評價服務需求分析子課題

大數據時代的到來，使得科教信息資源的組織與利用的形式開始發生變革，傳統理論與方法支撐下的科技與教育評價體系已無法適應，首先要明確科教信息資源的組織、利用和產出形態，明確本子課題的研究對象和研究起點，進行科教信息資源大數據特征分析，并對科教信息資源大數據對科教評價的影響進行分析;然后，利用文獻調研法和內容分析法全面系統地對科教評價相關文獻進行歸納、總結和比較分析，明確當前科教評價理論和方法中存在的問題，并利用多維比較分析法研究當前科教評價指標和評價體系的共性及差異;最后，結合當前科教評價中存在的現實問題，采用社會調查法和相關分析法，對科教評價服務群體進行用戶細分，從而實現大數據視角下的科教評價需求分析。本子課題包含以下三個研究任務：

（1）科教信息資源組織、利用和產出形態的特征分析。大數據背景下，科教信息資源的組織、利用和產出形態均發生了變化。通過對國內外相關科教信息資源的調查和分析，可以揭示出當前科教信息資源的新特征，并對影響科教評價組織、利用和產出的因素進行分析，為構建科教評價指標體系奠定基礎。

（2）科教評價研究現狀分析。對當前國內外科教評價相關文獻進行全面系統地調研和分析，梳理現有研究的不足，著重歸納傳統的定性同行評議方法和定量科學計量方法的不足，結合大數據環境下科教信息資源的特點，對已有的科教評價指標和評價體系進行比較和分析，進行基于融合關系的科學化、精準化和綜合化科教評價理論框架和方法體系構建的必要性和可行性研究。

（3）大數據背景下科教評價服務的需求分析。全面系統地梳理大數據環境下科教評價服務用戶群體，通過社會調查法，如問卷調查、訪談法等，收集不同用戶群體的多元化需求，分析用戶需求的基本特征，區分不同用戶的基礎性需求和個性化需求，并分析用戶需求間的關聯性。除此之外，綜合利用數據分析及文本挖掘技術，從動態獲取的數據源中提煉各類用戶的深層次需求，構建用戶需求模型和科教評價用戶需求本體知識庫，從而為科教評價信息云平臺構建和智能服務提供基礎。

3.2 ? ?基于大數據的科教評價理論體系構建子課題

科教評價理論的創新和完善是進行科教評價的基礎和前提，傳統科學計量學層面的科教評價體系存在評價數據獲取方式單一、評價標準過度依賴文獻計量指標、評價方法僅使用統計計算方法、評價結果呈現形式不夠直觀等問題。在子課題一的基礎上，子課題二首先通過時序大數據、社交媒體大數據分析，探索基于大數據的科教評價有效性理論;其次，運用語義網、本體、知識庫的相關理論，厘清科教評價相關概念之間的邏輯聯系，擴展知識關聯的深度和廣度，構建知識大圖，探究基于大數據的科教評價可理解性理論;然后，利用時空大數據等多維數據，構建基于大數據的科教評價多維性理論;最后，在理論基礎上，探索基于大數據的科教評價融合指標體系，實現科教信息資源的精準性、關聯性、多樣性評價。本子課題包含以下四個研究任務：

（1）基于時序大數據和社交媒體大數據的評價有效性理論研究。將科教機構的研究成果轉化數據和人才培養大數據作為科教評價有效性的重要依據，通過時序大數據在時間范圍上對評價的有效性進行檢驗，發揮大數據背景下進行時間序列分析的優勢，同時對社交媒體大數據進行挖掘，結合時序大數據探究基于大數據的科教評價有效性測度策略。

（2）基于知識大圖的評價可理解性理論研究。將科教評價相關詞條根據特定領域加以關聯，為索引信息提供受控詞匯表，從而厘清科教評價相關概念之間的邏輯關系，分別從語義、語法、語用的層面明確科教評價相關概念的可理解性。在此基礎上，基于大數據的知識組織和表示方法，構建科教信息資源大數據的知識大圖。在自然語言處理、知識圖譜、機器學習等技術手段的支持下，構建基于知識大圖的科教評價可理解性理論模型。

（3）基于時空大數據的評價多維性理論研究。大數據是海量的多源異構數據的集合，時空大數據是其重要的組成部分。通過挖掘科教評價時間、空間和科教評價對象之間的關聯關系，探索科教評價數據與現實中科教評價對象及其活動，以及科教相關事件之間的對應規律，基于時空大數據模式發現并提煉出科教評價的多維性理論。

（4）基于大數據的科教評價融合指標體系構建研究。基于前述的科教評價有效性理論、可理解性理論、多維性理論，結合我國科教評價的現實需求和已有的科教評價指標和評價體系的共性和差異，明確大數據環境下的科教評價主客體、評價標準和指標權重的變化，構建基于大數據的科教評價融合指標體系。

3.3 ? ?基于大數據的科教評價方法子課題

傳統的科教評價方法存在著理論深度、方法深度以及技術深度上的不足，評價結果單一，準確性和有效性均難以得到保證，難以實現對科教信息資源的精確化、智能化評價。在子課題二的基礎上，子課題三將基于大數據的方法和模型創新，實現從內容層面對科教對象及活動進行全面精確的評價。首先，建立專家遴選制度，保證專家來源廣泛且在相關領域具有代表性，構建專家智庫，設計好同行評議過程中的程序規制，實現基于專家智庫的同行評議科教評價;其次，利用情感分析和機器學習等關鍵技術，突破傳統的評價算法和評價模型，對科研主體的科研工作以及學術出版物如著作、期刊論文、專利等進行評價，增加可以量化的評價指標，設置更加準確的指標權重，實現基于文獻、科學、信息、網絡和知識計量的科教評價;然后，運用最新的自然語言處理技術對科教文本進行深度挖掘，挖掘細粒度的知識單元，從而獲取各類科教文本中隱含的、不易被發掘的但又潛在有用的知識;最后，基于知識融合策略和多維度多語義評價視角，全面考慮各類科教數據及科教文本，綜合運用多種技術方法，將前述研究任務進行有機融合，構建基于大數據的、面向智能服務的科教評價知識融合模型。本子課題包含以下四個研究任務：

（1）基于專家智庫的同行評議科教評價研究。同行評議是由同領域或相鄰領域專家對該領域研究主體、科研成果或科研活動的科學價值進行評議的一種評價方式。作為一種典型的定性評價方法，傳統的同行評議法主要依賴于評議專家的經驗，雖然可以為科教評價提供重要參考，但是不可避免地帶上了一定主觀色彩，使得評價結果存在主觀性較強的不足。本研究任務將在設立專家遴選制度的基礎上，建立專家智庫，從而降低傳統同行評議方法給評價結果帶來的不足。

（2）基于文獻、科學、信息、網絡和知識計量的科教評價研究。網絡計量和知識計量是對傳統“三計學”的有益補充，是對“三計學”的豐富和完善。傳統計量學是典型的定量評價方法，具有一定效率和成本上的優勢。但是過去的數據收集以及處理方法無法對海量的科教大數據進行處理，傳統科學計量方法的信度和效度都面臨著極大的挑戰，無法有效滿足智能服務時代的多元化的用戶需求。本任務通過借助情感分析和機器學習等關鍵技術，突破傳統的評價算法和評價模型，對科研主體的科研工作以及成果進行評價，構建更加完善的科教評價指標體系。

（3）基于文本語義挖掘的科教評價研究。文本內含有大量隱含的，不易發掘的，但對科教評價具有重要意義的知識。但是由于文本挖掘技術的復雜度和文本數量的限制使得傳統科教評價未能將大量的、有價值的科教文本納入評價材料之中。因此，為了滿足大數據和智能服務時代科教評價用戶的多元化和個性化需求，對科教文本語義進行深度挖掘，發掘細粒度的知識單元從而實現細粒度的科教評價是極其必要的。本任務通過綜合運用最新的自然語言處理技術，對各種科教文本進行深度挖掘，從而支持基于大數據的科教評價智能化服務。

（4）基于大數據的科教評價知識融合研究。上述三個研究任務分別從不同的維度和技術路線實現了面向智能服務的科教評價。本研究任務將基于知識融合策略和多維度多語義的評價視角，全面考慮科教數值型數據和大量潛在有用的科教文本，綜合運用機器學習、知識組織、社會網絡分析等多種技術方法，將基于專家智庫的同行評議科教評價研究，基于文獻、科學、信息、網絡和知識計量的科教評價研究，和基于文本語義挖掘的科教評價研究進行有機融合集成，構建基于大數據的，面向智能服務的科教評價知識融合模型。

3.4 ? ?基于大數據的科教評價信息云平臺構建子課題

大數據環境下的科教評價信息資源呈現異構多模態、復雜關聯、動態涌現等特點，缺乏統一合理的規劃和有效的數據共享機制。子課題四基于上述研究的問題需求、理論與方法進行基于大數據的科教評價信息云平臺體系架構的設計與實現，主要從基礎云計算層構建、大數據平臺層構建以及云平臺服務層構建三個方面開展研究。首先，根據基于大數據的科教評價信息的具體要求動態地擴展和配置計算資源，構建包括IaaS、PaaS和SaaS的基礎云計算層。其次，在基礎云計算層上搭建大數據平臺層，由Hadoop框架和Spark框架組成，共同實現對海量數據集的快速分析和處理，從而為數據和知識挖掘提供高密度、高價值的數據[39];最后，在大數據平臺層上搭建云平臺服務層，它位于頂層，包括數據管理和知識管理，數據管理涵蓋數據的采集、預處理、分析和可視化等，知識管理包括知識庫的構建，知識的推理、導航和檢索，以及知識服務及其展現模式。基礎云平臺層和大數據平臺層組成了整個體系的技術架構，共同為云平臺服務層提供硬件和軟件支持（基于大數據的科教評價信息云平臺架構見圖2）。

（1）基礎云計算層。基礎云計算層位于科教評價信息云平臺架構的最底層，是整個云平臺的資源池（包括IaaS、PaaS和SaaS）。考慮到科教大數據的多源異構性和多維性，以及海量數據的長期儲存和靈活處理，技術上應采用虛擬化技術，過程上要求能智能化動態分配計算機和網絡資源，從而提高平臺運算、存儲和資源利用效益[40]。基礎云計算層是云平臺構建的基礎，通過有效地整合計算、存儲與網絡資源，為上層應用提供硬件和環境支持。

（2）大數據平臺層。科教評價信息具有數據體量大、數據類型多的特點，需要根據前期的需求分析，合理選擇數據源和高質量原始數據的采集方法，確定數據結構，從而實現對多元異構數據的實體識別和清洗集成，并實現對科教大數據的溯源管理。大數據平臺層位于基礎云計算層和云平臺服務層之間，起到對科教評價信息云平臺各層進行協調的作用。

（3）云平臺服務層。云平臺服務層位于大數據平臺層之上，是整個科教評價信息云平臺的頂層，它主要包括數據管理和知識管理。數據管理包括科教大數據的采集、清洗、集成、分析和可視化等，知識管理包括信息抽取、知識融合、科教評價知識庫的構建，知識的推理、導航、檢索以及知識服務及其展現模式等。基礎云平臺層和大數據平臺層共同為云平臺服務層提供硬件和軟件支撐，云平臺服務層為國家、組織和個人的科教決策提供支持。

3.5 ? ?基于大數據的科教評價智能服務子課題

大數據技術、云計算技術、深度學習技術、自然語言處理等技術為基于大數據的科教評價智能服務提供了基礎和保障。基于大數據的科教評價智能服務需要在前期子課題研究所形成的理論方法、模型框架、知識資源和基礎設施等成果的基礎上進行應用體系的研究，以實現智能化和個性化的科教評價知識服務。子課題五首先通過挖掘用戶特征和科教評價服務需求，構建用戶知識庫，實現用戶需求的精準畫像;其次，構建用戶需求-科教評價資源映射模型，實現用戶需求和科教評價資源的動態和精準匹配;最后，搭建基于大數據的科教評價智能服務系統，為用戶提供科教評價智能決策、智能咨詢、智能推薦、智能檢索等基于Web的智能化和個性化的知識服務。本子課題主要包含以下三個研究任務：

（1）用戶特征及需求挖掘研究。全面準確地獲取用戶特征和智能服務需求是實現智能化和個性化科教評價智能服務的重要前提和基礎。通過利用現有的數據挖掘等技術從用戶瀏覽記錄、用戶搜索記錄和用戶點擊記錄等數據中，分析挖掘出用戶背景、用戶需求等顯性和隱形的用戶知識，通過對用戶知識庫進行挖掘和推理，實現用戶的精準畫像和需求挖掘。

（2）用戶需求-科教評價資源映射研究。將用戶需求和科教評價資源進行精準匹配是實現科教評價智能服務的重要保證。在科教評價知識庫的基礎上，結合已有的科教評價用戶知識庫，構建用戶需求-科教評價資源映射模型，有效建立用戶需求和科教資源之間的映射和關聯，從而為科教評價智能服務提供依據。

（3）科教評價智能服務研究。將用戶所需的各種科教評價相關知識和評價結果以直觀的、友好的方式呈現給用戶是科教評價智能服務的必然要求。從信息系統技術接受度模型的角度出發，以智能推薦、智能檢索、智能咨詢等知識服務方式，為科教評價用戶提供基于Web的智能化和個性化科教評價智能服務。

3.6 ? ?各子課題間的內在邏輯聯系

本研究以大數據背景下科教評價服務需求為起點，圍繞基于大數據的科教評價理論與方法創新展開研究。前三個子課題為后兩個子課題提供了理論方法依據，后兩個子課題是本研究的主要任務。首先，確定本子課題的研究對象和研究起點，調研和總結傳統科教評價研究方法的不足，分析基于大數據的科教評價服務需求，由此設置子課題一;然后通過子課題二對基于大數據的科教評價理論進行研究，探索科教評價的有效性、可理解性和多維性理論，構建基于大數據的科教評價融合指標體系;在子課題二的基礎上，子課題三從四個方面對基于大數據的科教評價方法進行研究;理論與評價方法的實現依賴于大數據、云計算等關鍵技術的支撐，子課題四對云平臺構建進行探索，為科教評價服務提供基礎;最后，子課題五探索科教評價智能服務的實現，對所構建的框架體系和評價方法進行驗證和完善。五個子課題既突出重點和關鍵問題的解決，又強調對本研究內容的涵蓋。

各子課題之間也存在較強的邏輯關系。子課題一從需求調研出發，確定基于大數據的科教評價云平臺構建與智能服務研究的重點和方向，明確科教評價服務需求;子課題二在子課題一需求分析的基礎上，進行基于大數據的科教評價理論、評價框架和指標體系研究;子課題三以子課題二的理論研究成果為指導，重點研究具體的評價方法和模型;子課題四搭建基于大數據的科教評價信息云平臺的基礎框架與示范應用;子課題五以用戶需求為導向，在信息云平臺的基礎上，為用戶提供基于Web的智能化和個性化科教評價智能服務（各子課題間的邏輯關系見圖3）。

4 ? 結語

科教評價的發展關乎國家科技進步和教育繁榮，在科教信息資源檢索、科教信息資源推薦、科教績效評價等方面發揮著重要的作用。隨著大數據時代的到來，科教信息資源的組織和利用形式開始發生變革，充分利用大數據，從中發現新知識、創造新價值、提升新能力，助力經濟發展、完善社會治理、推動科學研究已成為發展趨勢。為了應對變革，彌補已有評價理論與方法的不足，需要在傳統評價范式的基礎上，將科教評價與大數據充分結合，進行科教評價理論與方法的創新研究。

在當前的大數據環境下，大數據成為推動科教評價發展的新助力。從大數據背景下的科教評價現實需求出發，構建基于大數據的科教評價信息云平臺構建和智能服務研究框架，滿足了國家從整體上把握科教發展現狀，制定合理的科教發展規劃的現實需求，對于信息服務業開展學術資源挖掘、學術資源檢索和學術資源推薦等應用實踐具有重要借鑒意義。構建基于大數據的科教評價信息云平臺構建和智能服務研究框架，不僅對評價學科的發展具有推動作用，還對國家科教戰略的規劃和政策的制定具有重要意義。

本研究針對大數據環境下科教評價的現實需求，在對基于大數據的科教評價理論框架和方法模型框架進行研究的基礎上，構建了基于大數據的科教評價信息云平臺構建和智能服務研究框架。針對大數據環境下的科教評價服務需求和傳統理論與方法下的科教評價體系的不足，綜合利用情報學、評價學、科學學、教育學、計算機科學、大數據、云計算和人工智能領域的相關理論、方法和技術，對大數據環境下的科教評價理論、方法進行完善和創新，并搭建基于大數據的科教評價信息云平臺和智能服務系統，是本研究的創新之處。

參考文獻：

[1] ?白如江，楊京，王效岳.單篇學術論文評價研究現狀與發展趨勢[J].情報理論與實踐，2015，38（11）：11-17.

[2] ?Garfield，E.Citation Indexes for Science：A New Dimension in Documentation through Association of Ideas[J].Science，1955，122（3159）：108-111.

[3] ?Garfield E.Citation Analysis as a Tool in Journal Evaluation[J].Science，1972，178（4060）：471-479.

[4] ?Hirsch J E.An index to quantify an individual's scientific research output.[J].Proceedings of the National Academy of Sciences of the United States of America，2005，102（46）：16569-16572.

[5] ?Priem J，Piwowar H A，Hemminger B M.Altmetrics in the wild：Using social media to explore scholarly impact[J].arXiv preprint arXiv，2012：1203.4745.

[6] ?Thelwall M.Interpreting correlations between citation counts and other indicators[J].Scientometrics，2016，108（1）：337-347.

[7] ?Repiso R，Castillo-Esparcia A，Torres-Salinas D.Altmetrics，alternative indicators for Web of Science Communication studies journals[J].Scientometrics，2019，119（2）：941-958.

[8] ?趙蓉英，郭鳳嬌，譚潔.基于Altmetrics的學術論文影響力評價研究——以漢語言文學學科為例[J].中國圖書館學報，2016，42（1）：96-108.

[9] ?王雯霞，劉春麗.不同學科間論文影響力評價指標模型的差異性研究[J].圖書情報工作，2017，61（13）：108-116.

[10] ?王艷波，汪雷，吳小蘭.基于Altmetrics與傳統文獻計量指標的國內學術論文影響力評價研究[J/OL][2020-04-20].http：//kns.cnki.net/kcms/detail/11.1762.G3.20191219.0845.002.html.

[11] ?朱明.我國大學學科水平評價問題研究[D].南京：南京航空航天大學，2015.

[12] ?Marginson S.University rankings and social science[J].European Journal of Education，2014，49（1）：45-59.

[13] ?Dobrota M，Bulajic M，Bornmann L，et al.A new approach to the QS university ranking using the composite I‐distance indicator：Uncertainty and sensitivity analyses[J].Journal of the Association for Information Science and Technology，2016，67（1）：200-211.

[14] ?邱均平，湯建民，劉寧.中國大學及學科專業的評價體系與結果分析[J].杭州電子科技大學學報（社會科學版），2019，15（5）：63-68.

[15] ?周光禮，武建鑫.什么是學術評價的全球標準——基于四個全球大學排行榜的實證分析[J].中國高教研究，2016（4）：51-56.

[16] ?周光禮，蔡三發，徐賢春，等.世界一流大學的建設與評價：國際經驗與中國探索[J].中國高教研究，2019（9）：22-28，34.

[17] ?李倩男，姚寧寧.我國地區高等教育發展水平的綜合評價[J].高教學刊，2016（22）：256-258.

[18] ?王穎，藍云飛，汪琳.基于TOPSIS方法的中部地區科技服務業發展水平評價[J].統計與決策，2019，35（21）：53-56.

[19] ?張鵬，梁詠琪，楊艷君.中國科技服務業發展水平評估及區域布局研究[J].科學學研究，2019，37（5）：833-844.

[20] ?夏靖波，韋澤鯤，付凱，等.云計算中Hadoop技術研究與應用綜述[J].計算機科學，2016，43（11）：6-11，48.

[21] ?Wang L，Von Laszewski G，Younge A，et al.Cloud computing：a perspective study[J].New Generation Computing，2010，28（2）：137-146.

[22] ?陳康，鄭緯民.云計算：系統實例與研究現狀[J].軟件學報，2009，20（5）：1337-1348.

[23] ?李喬，鄭嘯.云計算研究現狀綜述[J].計算機科學，2011，38（4）：32-37.

[24] ?Paton N，De Arag？觔o M A T，Lee K，et al.Optimizing utility in cloud computing through autonomic workload execution[J].Bulletin of the Technical Committee on Data Engineering，2009，32（1）：51-58.

[25] ?Ganon Z，Zilbershtein I E.Cloud-based performance testing of network management systems[C].2009 IEEE 14th International Workshop on Computer Aided Modeling and Design of Communication Links and Networks.IEEE，2009：1-6.

[26] ?張玉清，王曉菲，劉雪峰，等.云計算環境安全綜述[J].軟件學報，2016，27（6）：1328-1348.

[27] ?Elphinstone K，Shen Y.Increasing the trustworthiness of commodity hardware through software[C].2013 43rd Annual IEEE/IFIP International Conference on Dependable Systems and Networks（DSN）.IEEE，2013：1-6.

[28] ?高俊芳.云計算下的高校圖書館學科知識服務平臺研究[J].圖書館學研究，2015（2）：83-88，76.

[29] ?王茜，張黎.基于云平臺的智慧圖書館系統的設計與實現[J].圖書館，2019（2）：46-50.

[30] ?劉志亮，張金隆.基于教育云的教育信息資源整合框架研究[J].情報雜志，2013，32（10）：164-167.

[31] ?張惠敏.融入智慧城市的深圳教育云建設[J].現代教育技術，2019，29（5）：65-70.

[32] ?Carsten S，Monika J，J？觟rg N，et al.Smart Services[J].Procedia-Social and Behavioral Sciences，2018，238：192-198.

[33] ?Beverungen D，Müller O，Matzner M，et al.Conceptualizing smart service systems[J].Electronic Markets，2019，29（1）：7-18.

[34] ?Corrall S，Kennan M A，Afzal W.Bibliometrics and research data management services：Emerging trends in library support for research[J].Library trends，2013，61（3）：636-674.

[35] ?王颯.“985”高校圖書館科研評價服務實踐調研與分析[J].圖書情報工作，2016，60（1）：26-31.

[36] ?葉蘭.國外大學圖書館科研評價服務研究[J].大學圖書館學報，2019，37（1）：105-114.

[37] ?廖志江.知識發現及數字圖書館知識服務平臺建設研究[J].情報科學，2012，30（12）：1849-1853.

[38] ?王欣，張冬梅.大數據環境下基于高校讀者小數據的圖書館個性化智能服務研究[J].情報理論與實踐，2018，41（2）：132-137.

[39] ?王淼，經淵.智慧公共文化服務云平臺構建研究[J].數字圖書館論壇，2019（2）：43-50.

[40] ?唐曉波，鄭杜，翟夏普.基于大數據智能的競爭情報系統模型研究[J].情報理論與實踐，2018，41（11）：133-137，160.

作者簡介：唐曉波（1962-），男，武漢大學信息系統研究中心、武漢大學信息管理學院教授，博士生導師，研究方向：知識組織與情報研究、科教評價與智能服務;石文萱（1995-），女，武漢大學信息管理學院管理科學與工程專業博士研究生，研究方向：知識組織與文本分析、科教評價與智能服務;李詩軒（1993-），女，武漢大學信息管理學院管理科學與工程專業博士研究生，研究方向：語義分析與商務智能;譚明亮（1990-），男，武漢大學信息管理學院管理科學與工程專業博士研究生，研究方向：知識組織與商務智能;高和璇（1995-），女，武漢大學信息管理學院管理科學與工程專業碩士研究生，研究方向：文本挖掘與知識服務;劉志源（1994-），男，武漢大學信息管理學院信息資源管理專業碩士研究生，研究方向：知識組織與情報研究。