大數據視角下科技信息知識服務平臺研究應用
——以能源領域為例

楊 銳，陳 偉，3，張 敏，許靜玲，陳 俊，周艷麗

(1.中國科學院武漢文獻情報中心，湖北武漢 430071；2.科技大數據湖北省重點實驗室，湖北武漢 430071；3.中國科學院大學經濟與管理學院，北京 100190)

大數據時代隨著數據資源的爆炸式增長和信息技術的高速發展，以數字化轉型整體驅動生產方式、生活方式和治理方式變革已經上升到國家戰略層面。我國在《國民經濟和社會發展第十四個五年規劃和2035 年遠景目標綱要》中已經明確提出加快數字化發展［1］，充分發揮海量數據和豐富應用場景優勢，促進數字技術與各行各業的深度融合。在這個大背景下如何激活數據要素潛能，更好地推進科技信息知識服務平臺建設也是需要思考的問題。傳統的科技信息服務主要包含方案規劃、資源收集、信息處理、數據分析、產品編制以及支撐決策的成效評估與反饋等一系列工作［2］。這一系列工作如果看成是一個情報工程化的過程，這個過程又與數據科學的各個環節，包括多源異構數據獲取、ETL 預處理、融合計算、建模分析、數據可視化和數據產品服務等息息相關。由此在新環境下平臺建設更需要加強與人工智能、云計算、大數據等新興技術手段進行有效融合，以此來推動科技信息服務朝著信息化、數字化、智能化方向加速演進。

1 科技信息知識服務平臺建設現狀

2007 年圖靈獎獲得者James Gray 在美國加州召開的計算機科學與電信委員會會議上首次描繪了關于科學研究第四范式的愿景，指出針對數據密集型科學正在由傳統假設驅動向基于數據驅動的科學研究方法進行轉變［3］。由微軟副總裁Tong Hey 等［4］撰寫的《第四范式：數據密集型科學發現》一書中也探討了這種新范式的內涵和內容，包括多樣化工具不間斷采集科研數據、建立系統化工具和設施來管理整個數據生命周期、開發基于科學研究問題的數據分析及可視化工具與方法等，這些都為把握科研環境與科研方法的革命性變化以及做好科技信息知識服務提供了戰略視角［5-6］。

1.1 對于數據驅動的重要性缺乏充分認識

大數據的核心價值在于面對海量數據能夠有效利用技術手段來提供智能化決策服務，同時通過大數據技術進行數據挖掘分析并發現數據規律，能夠提高人們對問題的理解和處置能力［7］。因為數據本身不產生價值，所以在科技信息知識服務平臺中終端用戶關注點主要集中在通過各種挖掘分析工具所產生的知識、規律和經驗等科學依據的解讀，而技術研發人員更多關注的是如何用傳統的信息技術方法來快速實現科技信息數據資源的揭示，不同的角度導致科技信息知識服務平臺難以發揮較好的效果。圍繞數據驅動的思路則需要終端用戶和技術研發人員都充分認識到數據驅動的重要性，從實際應用場景和需求出發開展緊密合作，才能打通從科技數據資源獲取到數據產品服務全鏈條，從而充分體現出科技信息知識服務平臺的價值［8-9］。2020 年10 月，美國國防部發布《數據戰略》報告，見圖1，強調國防部將加速轉型為以數據為中心的機構，并從數據支撐決策、數據資產管理、大數據云技術架構、共享標準以及數據治理方法等多個方面明確了指導原則和目標，將數據提升到了國家戰略資產的高度［10］。強化數據驅動的重要性對于科研機構來說同樣具有較強的借鑒作用，高度重視數據驅動帶來的價值將會有效推動科技信息知識服務平臺的跨越式發展。

圖1 美國《數據戰略》報告主要內容

1.2 對于新興技術方法的優勢缺乏足夠體驗

對于技術研發人員來說，通常會利用各自獨特的專業工具、思路和方法去應對各種服務需求和具體任務，圍繞特定的信息源而設計分析場景，利用傳統的技術來收集信息并提供服務產品。同時，隨著新環境的快速演變和出現以及決策周期的加快，使得技術研發人員沒有時間去考慮如何將新興技術手段整合到全源科技信息分析過程中，對于新興技術產生及時準確的分析效果以及具備決策優勢的能力更加缺乏體驗。2020 年4 月美國戰略與國際問題研究中心發布了題為《情報優勢：新興技術給美國情報帶來的機遇與挑戰》的專項報告，圍繞新興技術如何影響情報分析這一特定領域的核心過程，系統闡述了美國利用人工智能、機器學習等新興技術為情報機構賦能的應用場景，包括云計算、人工智能和機器學習等新興技術針對海量數據在信息收集過程中進行精準識別和分類、在信息分析過程中進行智能搜索、數據融合和數據可視化，增強分析結果的可信度、在信息傳遞過程中精準推送定制的數據資源等。這些場景在數據驅動的大環境下更需要突破傳統思維方式，加強科技信息知識服務平臺各個環節與新興技術有機融合，才能切實感受到技術手段對于不同的知識服務需求的理解和處置能力的提升。

2 科技信息知識服務平臺建設思路

大數據環境下的科技信息知識服務平臺建設需要以數據驅動為導向，從實際情況出發，規劃好服務定位目標。在這個基礎上進一步明確具體需要解決的問題，不同的問題需要不同的數據資源體系進行支撐，同時選擇適合的大數據架構進行功能開發。科技信息知識服務平臺建設與構建符合大數據時代的，具有創新性、靈活性的“大中臺、小前臺”的思路可以保持一致，即需要大中臺集合數據治理能力、技術服務能力，對各種前臺服務形成強有力的支撐，同時作為小前臺的一線服務功能則需要更敏捷、更快速的適應瞬息萬變的需求。

2.1 科技信息知識服務數據大中臺

“數據中臺”的概念由阿里巴巴首次提出，它是一個承接技術、引領業務、構建規范的智慧數據處理生態圈。它的最終應用價值在于推動各個行業大數據應用向智能化發展，能夠保持并提升核心數據業務的服務效率和創新能力。近幾年繼阿里、騰訊、百度、網易、京東等互聯網公司先后調整組織架構、實施數據中臺戰略后，國內不少機構逐步開始建設自己的數據中臺［11］。其中福建省科學技術信息研究所在分析區域科技創新智庫對科技信息知識服務需求的基礎上，將服務中臺設計思想與面向區域科技創新智庫建設的科技信息服務平臺體系進行有效融合，建立了由科技大數據中臺、情報研究與服務中臺、產品服務體系中臺、開放研究與協同服務中臺組成的中臺體系架構［12］。

數據中臺思路應用于科技信息知識服務平臺建設，見圖2，從數據治理維度可以解決科研機構內部系統間的數據孤島問題，將不同系統的數據進行全面匯集，理清各類平臺數據間的脈絡及關系，制定統一數據標準規范，通過元數據管理、主數據管理、數據質量管理以及數據安全管理等形成全量數據資產并能夠有效支撐數據服務，解決科技大數據的“匯管用”的問題［13-14］。從數據處理維度看數據中臺是一種“開放+統一”的架構，這種架構能夠讓數據流動起來為不同的信息服務業務賦能，不斷沉淀與業務相關的各種數據處理能力。通過數據的共享融合、組織處理、建模分析、管理治理和服務應用，實現創新服務功能的快速上線與迭代更新，從而發揮數據資產的最大價值。

圖2 科技信息知識服務數據大中臺

2.2 科技信息知識服務應用“小前臺”

數據小前臺的本質是在大數據環境下的一種敏捷化應用模式。敏捷大數據是指在敏捷理念指導下的大數據應用全生命周期理論方法，包括數據科學的迭代性和高效組件化技術［15］。敏捷大數據避免復雜的集中式平臺管理，將傳統“一站式”服務拆分成獨立服務，來支撐更輕量和更靈活的大數據應用。全球IT 研究與顧問咨詢公司Gartner 發布的2021 年十大數據和分析趨勢報告中談到組裝式數據架構，利用組裝式數據架構可以將多個業務組件組合成新的應用來促進系統平臺的敏捷性和創新性，同時指出面對日益復雜的人工智能數據用例稀缺的挑戰，許多機構正在逐步通過組裝式數據架構來使用小而寬的數據，利用小而寬的數據協同效果來增強情境感知和決策［16］。作為敏捷大數據典型應用場景的微服務開發模式目前已經成為大數據應用的熱點方向之一，包括谷歌、亞馬遜、Facebook、百度以及京東等互聯網公司都在使用微服務理念進行平臺設計、研發和部署。敏捷開發創始人馬丁·福勒對微服務給出了明確描述，微服務是一種使用若干小服務來開發單個應用的方法，每個服務運行在自己的進程中，通過輕量級的通訊機制進行信息交互，每個服務粒度基于業務能力大小構建，最終服務能夠通過自動化方式獨立部署［17］。

將敏捷大數據思路應用于科技信息知識服務平臺建設主要考慮到兩個方面的因素。一方面現階段各類大數據開源技術和組件層出不窮，涉及的生態體系復雜，技術門檻也相對較高。從科技信息知識服務平臺建設的角度要完全適應這樣的技術變革還需要時間去沉淀，尤其需要學術研究和工程實踐的有機融合，同時需要考慮到時間和人財物等各方面的因素，因此在平臺建設方面更適合采用一種能夠持續性自適應迭代和優化的應用架構。另一方面由于科技信息知識服務中臺所處理的數據資源類型廣泛，包括熱點動態、政策規劃、項目經費、科研產出以及成果影響等各種類型，而且在知識服務功能需求方面靈活多樣，包括熱點信息監測、政策文本分析、成果統計分析、競爭力分析評估以及科研態勢感知數據大屏可視化和領域學術知識圖譜構建等，利用微服務的服務描述、注冊中心、服務架構、服務監控、服務跟蹤和服務治理等技術組件可以更好地對功能進行分解，快速靈活地進行業務組件化設計、模型標準化配置，達到去中心化、快速原型以及持續交付部署等效果［18-19］。基于以上分析，設計科技信息知識服務應用“小前臺”的基礎架構如圖3 所示。

圖3 科技信息知識服務應用小前臺

3 科技信息知識服務平臺建設實踐

將“大中臺、小前臺”的思路應用于能源科技知識服務平臺建設，構建面向國家和中國科學院宏觀戰略決策需求的能源領域科技大數據應用服務新模式。作為構建領域大數據基礎設施的重要內容，平臺以自主建設的能源領域科技態勢高質量大數據資源體系為基礎，支撐開展數據驅動型信息咨詢服務，發布系列化數據分析與研究報告等決策支持產品，為科技決策者、戰略科學家和科技管理人員提供高質量的知識服務產品。

3.1 總體架構

能源科技知識服務平臺建設總體架構設計以科技信息數據治理大中臺和知識服務小前臺為支撐提供敏捷化應用模式，能源科技知識服務平臺總體架構見圖4。

圖4 能源科技知識服務平臺總體架構

3.2 實施方案

目前大數據環境下不管是在存儲管理、挖掘分析、可視化展示以及安全保障等方面，各種技術框架工具已經趨于成熟，綜合各方面因素能源科技知識服務平臺建設采用能夠持續性自適應迭代和優化的敏捷大數據應用架構，同時借鑒數據中臺的設計思路對分散在不同系統上的多源異構數據資源進行有效治理，通過微服務技術快速構建各項支撐決策的知識服務功能。

3.2.1 能源科技大數據資源體系

能源領域數據資源體量大、涉及面廣，圍繞政策、經費、項目、機構、人才、設施平臺、論文、專利、標準、報告、成果、獎項、產業經濟等數據資源類型，各個環節信息龐雜、復雜度高，但同時公開可獲得性好，數據具備強烈的相互關聯性，具有構建大數據資源體系的基礎和可行性。前期通過對各種能源領域相關的異構權威網站和數據庫資源梳理分析以及開展文獻資料調研和專家咨詢等方式，發現、遴選和評價不同來源、不同類型的高質量數據源。在梳理數據資源的基礎上進一步構建標準規范體系，包括數據標準規范、質量管理規范、數據服務規范以及數據安全規范等，從而建立貫穿數據全生命周期的質量控制機制。見圖5，目前已經從科技投入和科技產出兩個維度構建能源科技態勢大數據資源體系，共十三個一級、數十個二級和上百個三級數據集。

圖5 能源科技大數據資源體系

3.2.2 能源科技大數據治理框架

能源科技知識服務平臺建設主要依托中國科學院科技云武漢區域中心大數據分布式環境，見圖6，在數據治理方面設計高可用流式計算框架作為數據交換、處理和服務的底層核心架構［20-21］。

圖6 能源科技知識服務大數據治理框架

（1）數據交換方面包括三種情況，一是自建的各類能源領域專業平臺的非結構化、半結構化和結構化數據集成，采用數據總線技術無侵入同步源端數據，以全量和實時增量數據抽取的方式進行數據遷移和交換；二是能源領域動態科技監測實時流數據的集成，監測實時數據流主要包括隨時間延續而無限增長的能源領域動態新聞數據集合；三是能源領域公共數據的集成，包括能源領域重點機構網站的開放數據、開放平臺的數據接口調用等。對以上獲取到的數據進行抽取、轉換、清洗和隱私脫敏等預處理工作以后，集成處理后的數據以UMS 的格式存儲到Kafka 中。數據交換環節在不影響原有系統的前提下，解決了數據的實時同步和更新問題。

（2）數據處理方面能源科技知識服務平臺通過Kafka 同步獲取數據資源以后，根據數據的特征和質量利用Spark Streaming 流式計算引擎來進行數據處理。Spark Streaming 是建立在Spark 之上的流式計算框架，通過API 和基于內存的高速計算引擎配置流式處理邏輯，通過這種方式可以對每個時間段內收集到的數據序列使用批處理模式進行micro-batch流式計算［22］。能源科技知識服務平臺采用Spark Streaming 流式計算引擎進行數據處理，更加精細靈活地利用了計算資源，可以提高多個計算任務并行處理效率，同時流式計算引擎在應對實時性以及時效性要求較高的服務模塊時優勢也較為明顯，能夠最大程度地發揮數據資源的價值，數據資源經過Spark Streaming 處理完之后再寫到不同的存儲中。

（3）數據服務方面主要是對流式計算引擎處理過的數據資源進行調用，根據能源科技知識服務平臺的不同業務需求實現多源異構數據資源的融合計算，計算完成的數據經過標準化治理以后通過接口提供給數據應用層。其中在中臺管理和數據治理方面相關的功能重點集中在這部分實現，包括中臺管理中涉及到的租戶、用戶、資產、安全等中臺核心數據管理功能以及數據治理中涉及到的元數據、主數據等中臺核心數據治理功能。例如元數據管理方面，在數據服務層面直接進行各類數據的元數據采集并進行血緣關系分析，包括源頭數據對應用數據的影響以及應用數據回溯到源頭數據的診斷，通過血緣關系分析提供數據融合過程中的高質量保障以及實現數據融合處理的可追溯性。

3.2.3 能源科技知識服務支撐決策的場景應用

能源科技知識服務平臺在定位方面主要面向國家和中國科學院科技決策與管理部門不同層級的典型需求，構建用戶情景導向的能源科技大數據知識服務產品體系［23］。通過科技信息數據中臺和微服務應用相結合的模式對內建立完善的能源科技數據資源與研究成果管理和共享機制；對外提供支撐決策的能源科技信息專項服務。目前能源科技知識服務平臺提供服務包括資源推薦、科技評價、政策分析、情報產品、專題服務、統計預測等，見圖7。

圖7 能源科技知識服務平臺功能服務

（1）資源推薦服務基于能源科技知識服務大數據資源體系對能源領域多源異構科技數據資源進行整編和匯聚，依托數據中臺形成以科技投入和科技產出類數據為核心特色的高質量能源科技態勢分布式大數據倉儲，涵蓋新聞動態等十余種資源類型并支持從技術領域、國家、機構、時間、類型等多維度進行揭示，支持智能檢索服務。其中結合人工智能技術利用融合主題信息的卷積神經網絡文本分類方法對新聞動態、政策法規、技術專利等資源類型按技術領域進行二次自動分類，提高了用戶檢索信息資源的效率［24］。

（2）科技評價服務構建了原創性的能源科技創新評價指標體系，從創新環境、創新投入、創新產出和創新成效四個維度揭示了世界主要國家的能源科技創新能力。

（3）政策分析服務以政策法規數據資源為基礎借助文本預處理、命名實體識別、主題詞抽取、聚類分析等數據挖掘技術從政策主體、政策目標與政策工具三個維度對政策文本進行分析。

（4）情報產品服務主要包括科技監測快報和智庫報告，發布能源科技領域系列化數據分析與情報研究報告等決策支持產品。

（5）能源專題服務以碳中和行動專題為示范，展示碳中和相關的新聞動態、政策法規、輿情快報和研究報告，并以數據大屏方式進行碳中和態勢環境可視化揭示。

（6）統計預測服務主要包括科研經費和產業經濟數據統計分析，科研經費分析，按年份、國家、技術領域對研發與示范經費投入總量、研發與示范經費投入強度等指標進行統計分析和可視化展示，可選擇多個國家進行對比分析。產業經濟分析，按年份或按國家從數據來源、統計指標、能源種類等維度對能源產經數據進行統計分析和可視化展示。

4 結語

能源科技知識服務平臺建設是大數據環境下變革科技信息知識服務模式的一次新的探索，初步形成了智能化數據驅動方法有效嵌入科技信息知識服務平臺的新服務機制，并得到認可。但是，能源科技信息知識服務平臺建設是一項長期而復雜的工作，其中要素涉及多個方面，包括數據治理功能的完善、人工智能技術的應用以及大數據應用架構的優化還有待進一步研究。