科技創新資源可視化系統設計與實現

摘 要：【目的】為了實現科技創新資源的數據分析和可視化展示功能，設計出一個科技創新資源可視化系統。【方法】采用大數據平臺來整合現有的科技創新資源，并構建數據倉庫，結合數據挖掘和可視化展示技術來對系統進行設計開發。【結果】該系統實現了對科技創新資源的數據管理、時空分布展示及其他統計分析功能。【結論】該系統對推進科技創新資源共享、優化科技創新資源配置、提高科技創新能力具有重要意義。

關鍵詞：科技創新；可視化；大數據

中圖分類號：TP391" " "文獻標志碼：A" " "文章編號：1003-5168（2024）02-0012-05

DOI：10.19968/j.cnki.hnkj.1003-5168.2024.02.002

Design and Implementation of the Visualization System for Scientific and Technological Innovation Resource

ZHANG Deyang XUE Lei

（Henan Provincial Institute of Scientific and Technical Information， Zhengzhou 450003， China）

Abstract： [Purposes] In order to implement the data analysis and visualization display function of scientific and technological innovation resources， a visualization system of scientific and technological innovation resources is designed. [Methods] Using the big data platform to integrate existing scientific and technological innovation resources， this paper builds the data warehouse， and combining with the data mining and visual display technology， this paper designs and develops the system. [Findings] The system has implemented data management， the display of spatiotemporal distribution， and other functions of statistical analysis for scientific and technological innovation resources. [Conclusions] The system is of great sign-ificance to promote the sharing of scientific and technological innovation resources， optimizing the allocation of scientific and technological innovation resources， and enhancing scientific and technological innovation capabilities.

Keywords： scientific and technological innovation; visualization; big data

0 引言

科技創新是推動社會進步和經濟發展的重要動力，也是提升國家競爭力的關鍵因素。科技創新資源包括科研人員、科研設施、研發投入、科技成果等的數據，是實現科技創新的基礎和保障。科技創新資源不僅數量龐大，且類型多樣，被存儲在各種文件及數據庫中，包括結構化數據、半結構化數據和非結構化數據等。如何有效管理和利用這些資源，為科技管理工作提供分析、決策和評估依據，對進一步提升科技創新能力具有重要意義。

隨著信息技術的飛速發展，運用大數據和可視化技術對不同類型的科技創新資源和信息進行整合、分析和挖掘，發現數據規律，提取數據價值，通過圖形、圖像、動畫等可視化技術，以直觀、形象的方式將科技創新資源的內在聯系和分布情況呈現出來，有助于科技管理部門更好地了解和掌握科技創新的現狀、動態變化和趨勢，從而發現當前科技創新中存在的問題和不足，為科技創新政策和發展戰略的制定提供科學依據。

本研究基于科技創新資源和大數據平臺，結合數據挖掘和可視化技術，以數據倉庫為基礎，以數據挖掘為手段，設計并實現了一個科技創新資源可視化系統。

1 需求分析

1.1 系統功能需求

1.1.1 數據倉庫的設計和構建。首先，根據科技管理部門的需求，對現有的科技創新資源進行主題設計，包括度量值、維度的分析與設計，從而構建出數據模型和數據倉庫。其次，根據現有數據的特點來編寫ETL工具，并進行數據的抽取、轉換和加載。分散在不同數據源中的、不一致的數據信息經過抽取、清洗，轉換為集成統一的、可隨時取用的標準數據格式，并加載到數據倉庫中，成為分析處理和數據挖掘的基礎，為可視化展示提供一個完整、準確、規范化的數據平臺。

1.1.2 數據的查詢檢索與統計分析。對數據倉庫中的數據進行查詢、讀取等操作，從而形成數據立方體，通過切塊、切片、上卷、下鉆、旋轉等操作，實現對數據的快速查詢及數據的多維度全方位展示。建立數據的智能關聯，允許用戶從一種類型的數據（如單位）出發，靈活地查看與之相關的其他類型的數據（如項目、人才等）［1］。同時，允許用戶從各個維度進行資源檢索，并返回查詢結果的詳細信息。結合屬性圖表與地圖，通過空間查詢來展示區域創新資源的分布情況，如高校、科研院所等創新機構在區域內的分布情況及時間序列上的變化情況。

1.1.3 科技創新資源的可視化展示。對科技創新資源數據進行查詢檢索和統計分析，可實現分析結果數據和可視化組件的映射關聯和視圖轉化。分析結果的數據類型有表格數據、關聯數據。表格數據可視化組件包括柱狀圖、折線圖、餅狀圖等，用來展示各類數據的組成類型和所占比例情況；關聯數據可視化組件包括關系圖、樹圖等，用來展示相互之間存在聯系的各類數據及其關聯關系。從科技創新資源數據中獲取地理位置信息（如所在的省、市、縣區域）等，并將各類科技創新資源信息與地理位置相關聯，實現對科技創新資源的地圖定位、區域檢索和統計。

1.1.4 可視化交互功能需求。交互操作包含可視化的動態點擊縮放、鼠標滑動縮放、鼠標懸浮提示、鼠標點擊提示、數據類型切換、圖表或地圖的圖片下載等，實現數據可視化視圖的動態多層次、多角度展示，建立用戶與系統之間的人機交互，提高系統的可用性。首先，由于科技創新資源數據種類眾多、數據量大，一個可視化界面難以加載和展示全部數據，可通過多個視圖界面相互切換的方式來展示不同種類或相互關聯的數據，實現多視圖的關聯操作，使用多視圖交互技術在多個視圖之間建立交互機制，從而解決復雜數據的展示問題；其次，同一個視圖中展示的數據量越大，用戶越難以分辨出所需要的信息，可采用視圖縮放或變換等交互技術，方便用戶查看視圖中的局部細節情況；最后，由于科技創新資源數據具有層次結構，可采用過濾交互技術對可視化數據進行篩選，通過設定不同的過濾規則來實現對科技創新資源多層次、多角度的可視化展示效果。

1.2 系統質量需求

為了實現科技創新資源的數據分析和可視化展示功能，需要建立一個穩定性高、擴展性強的安全系統，其主要的質量需求如下：系統界面要簡潔、實用、友好；能兼容不同類型的瀏覽器；數據可視化圖表能自適應瀏覽器的窗口變化；系統并發訪問時響應速度控制在秒級。

2 系統結構和功能設計

2.1 系統結構設計

科技創新資源可視化系統遵循系統設計的基本原理，重視系統的安全性、實用性、高效性和可擴展性，采用主流的MVC架構設計模式，實現數據層、服務層和應用層的分離，減少各個模塊之間的耦合度［2］，增加系統的擴展性，系統結構如圖1所示。

2.1.1 數據層。數據層采用大數據技術，按照主題設計來構建統一的數據倉庫，分散存儲于各個業務系統中的科技創新資源數據在經過分類、轉換、整合等預處理操作后，形成統一的數據格式進行存儲，為系統提供基礎的數據資源，對服務層提供多維度的數據支持。

2.1.2 服務層。服務層是整個系統的支撐平臺，主要為應用層提供對后臺數據的訪問管理，并為連接和訪問數據倉庫提供支持。由于該系統的前端采用輕量級開發方式，因此，服務層主要集中于數據服務和應用服務，主要模塊有多維統計分析、信息關聯、數據查詢、數據比較、報表服務、地圖展示、圖表展示等。

2.1.3 應用層。應用層是整個系統的核心，通過頁面布局、功能設置等，可全方位、多形式的查詢和展示各個主題科技創新資源，并在此基礎上響應用戶操作。

2.2 系統功能設計

系統的功能模塊主要包括基礎管理、數據處理、數據建模、統計查詢、可視化展示等模塊。

2.2.1 基礎功能模塊。該模塊包括用戶管理、數據管理等功能。用戶管理對不同的應用目的來設置相應的用戶管理權限，數據管理對底層數據進行基礎的數據操作，包括增、刪、改、查等。

2.2.2 數據處理模塊。建立統一的數據交換、存儲、共享、應用接口等標準體系，構建匯聚式一體化的科技數據倉庫［3］，包括數據采集、數據清洗、數據標準化等功能。

2.2.3 數據建模模塊。該模塊采用數據公式模型將處理過的數據轉化為所需要的分析結果，達到最終的分析目的，包括多維度分析模型、描述性分析模型、聚類分析模型等。

2.2.4 統計查詢模塊。該模塊提供多途徑統計查詢方式，包括自定義主題統計查詢、空間屬性統計查詢，具有多種形式展示查詢結果、自定義報表及導出等功能。

2.2.5 可視化展示模塊。該模塊將數據查詢結果通過配置數據組件、可視化組件和映射組件等，來實現數據可視化效果，可視化展示主要包括創新地圖、數據分析圖、分布熱力圖、數據關系圖等。①創新地圖。根據各個地域每一類科技創新資源數量的多少，在地圖上進行地域顏色渲染，從而生成各個主題數據的創新地圖，能直觀地顯示各個地域資源的分布情況，并提供各類用戶交互的功能，如省、市、區（縣）等相關數據的多級下鉆及地圖縮放和拖拽、鼠標懸浮提示等。②數據分析圖。對每一類科技創新資源按照數據屬性進行分析，并將分析結果進行可視化展示，生成柱狀圖、折線圖和餅狀圖。柱狀圖用來表示數據類別及數量，折線圖用來表示數據隨著時間呈現的變化趨勢，餅狀圖用來表示數據組成和各部分所占比例，并提供用戶交互、地圖切換、數據搜索等功能。③分布熱力圖。將城市地圖和熱力圖相結合，在城市地圖上以特殊高亮的形式來顯示每一類科技創新資源所在的地理范圍，對數據所在的地理位置進行標注，并以覆蓋物形式來描述科技創新資源的位置和密度分布情況，點擊地圖上的標注，出現的提示信息會顯示該標注所在位置的數據信息，如名稱、位置、數量等。④數據關系圖。對數據倉庫中的各類科技創新資源數據按照一定的規則建立起關聯關系，使用關系圖來展示數據的關聯關系，以節點和連線的方式來表示數據與數據之間的聯系，包括層次結構數據和網狀結構數據。關系圖包含數據項的所有關聯數據，節點包含關聯數據的詳細信息，并提供搜索等交互操作功能，用戶搜索一個指定數據時會生成這個數據的關系圖。

3 數據庫設計

本研究設計的系統是基于Hadoop生態系統的大數據架構來設計數據倉庫的，使用大數據處理系統進行科技創新資源數據集成與存儲，經過數據建模和分析，獲得可視化所需要的數據。大數據處理系統如圖2所示。

Hadoop生態系統包含標準的Hadoop組件，如HBase、Hive、Mesos、Mathout、ZooKeeper、Solr、Kerberos、Gangh等，并提供可視化部署與管理工具。大數據處理系統支持大數據運行環境，通過類似SQL或JSON的方式來訪問Hadoop生態系統中其他組件模塊（如Hive、HBase、HDFS）中的文件［4］。大數據處理系統構建過程如下：首先，搭建Hive數據倉庫。將現有的各類科技創新資源數據在經過數據預處理后集成到一起，對處理過的數據進行分類和分析，設計出可視化主題，形成原始的數據庫表及其相應的數據項，完成表結構設計，再根據設計的表結構來搭建Hive數據倉庫；其次，加載數據。根據已建立的數據空間，使用Sqoop技術從原始數據庫中抽取出相應的數據，并存入到Hadoop的HDFS文件系統中。數據導入時先連接數據源收集統計信息，再啟動一個MapReduce作業，執行真正的數據導入。將數據加載到已建立的Hive數據庫中，通過HQL語句對數據進行查詢和分析，并將查詢和分析結果存入到HBase數據庫中，HBase數據庫用于存儲和管理可視化的數據。

數據倉庫的邏輯模型一般有兩種，即星型模型和雪花模型。大數據處理系統采用星型模型進行設計，星型模型通過使用一個包括主題的事實表和多個包含事實的非正規化描述的維度表來執行決策、支持查詢，從而獲取比高度規范化設計結構更高的查詢性能［5］。以單位信息主題為例，共設計1個度量值（單位個數）、4個統計維度（主管部門、地理位置、單位性質、研發資質）。維度表和事實表之間通過外鍵進行關聯，同時對維度表進行進一步分析，如地理位置維度可進一步劃分為省、市、縣等層次，通過分層能進一步細化對數據的分析。

4 開發與實現

4.1 開發環境

科技創新資源可視化系統是基于B/S架構，使用Java語言在Eclipse環境中進行開發的，采用SpringMVC結構，以Tomcat為中間件，使用ECharts等可視化組件，并結合JavaScript前端開發語言來實現系統可視化功能。

4.2 主要功能

該系統需要處理的科技創新資源有十大主題類別，分別是科技人才（包括兩院院士、中原學者、科技創新領軍人才、科技創業領軍人才等）、創新平臺（包括省實驗室、省工程技術研究中心等）、科技企業（主要包含高新技術企業和科技型中小企業等）、創新園區、孵化載體、科研機構、科技成果、科技項目、科研設施、統計年鑒。其中，每個主題類別按照數據屬性的不同又可劃分為不同的屬性類別，如在科技項目主題類別中，可按照計劃類別屬性劃分為自然科學基金、重大科技專項、重點研發專項、人才專項、科技攻關等，每個屬性類別又具有子屬性，數據之間根據類別之間的屬性來實現關聯關系，數據類別中的屬性劃分得越詳細，數據間的關聯關系就越容易實現。

可視化展示模塊充分利用可視化工具，結合地理空間信息和科技創新資源信息，通過統計圖表和地圖分布進行展示與分析，同時，結合時間維度對每一個主題進行時間、空間、屬性等多維度綜合分析與展示。以下介紹6個主題類別展示所具有的主要功能。

4.2.1 科技計劃項目全生命周期主題可視化展示。該系統基于已有的數據基礎，進一步匯集各類計劃項目申報、立項、科技報告、年度報告、結題驗收等全過程數據，以項目數據為核心，通過技術手段來對各類數據進行關聯，面向各類用戶提供科技計劃項目全生命周期分析主題應用服務。

4.2.2 科研機構主題可視化展示。科研機構涵蓋科研項目庫中出現的項目承擔單位、合作單位和申報系統中的機構用戶等。科研機構以項目申報、承擔或參加單位為核心，形成基礎數據集，進而引入公開發表成果信息中的責任者（人員與機構），采用自我完善機制，通過展示、發現與評價等增值服務來吸引科研機構的加入，并形成一個相對穩定的群體，通過提供科研機構中項目、成果、人員等科技創新資源聚合及展示綜合服務功能，為科技管理者布局優化科研機構提供業務支撐。

4.2.3 科技人才主題可視化展示。展示各維度的科技人才分布和科研水平等情況。統計維度包括人才類型、專業領域、地區、職稱、學位、學歷、年齡、科研成果情況等，查詢條件包括地區、領域、職稱、學位、學歷等。科技人才統計功能的展示區域分為科技人才目錄、條件過濾操作、展現形式切換、圖形/列表展示等，通過柱狀圖、餅狀圖等方式來展示不同領域科研人員的數量和比例，通過熱力圖等方式來展示科研人員的地域分布情況，通過關系圖來展示科研合作情況等。根據統計分析數據，可清楚地了解各個領域的科技人才數量，從而為科技人才的流動和培養提供參考。

4.2.4 科研設施主題可視化展示。科研設施是進行科技創新的重要條件，包括實驗室、儀器設備、科研軟件等。通過對科研設施的相關數據進行深入分析，了解科研設施的投入、建設和使用情況，為設施的優化配置和提高使用效率提供依據。例如，可通過對實驗室、儀器設備等設施的使用數據進行分析，了解設施的空閑時間和使用效率等情況，為設施的優化配置提供參考。

4.2.5 科技成果主題可視化展示。科技成果是科技創新的直接產物，包括論文、專利、成果轉化等。通過對科技成果的相關數據進行深入分析，了解各領域的科技成果數量、類型、應用領域等，通過餅狀圖來展示不同領域的科技成果占比情況，通過氣泡圖來展示科技成果的數量和影響力情況，通過時間序列圖來展示科技成果的動態變化情況等。例如，通過對專利數據進行挖掘，了解專利的申請情況、授權情況、技術領域等情況，為科技成果的轉化和應用提供支持。

4.2.6 研發投入主題可視化展示。研發投入是實現科技創新的重要保障，包括政府投入、企業投入、社會投入等。通過對研發投入的相關數據進行深入分析，了解各領域的研發投入情況，包括投入金額、投入方向等，通過柱狀圖來展示不同領域研發投入的金額和比例，通過餅狀圖來展示投入方向的結構比例，通過時間序列圖來展示研發投入的動態變化情況等。例如，通過對歷史投入數據進行挖掘，發現投入金額和投入方向的變化趨勢和規律，為制定更加科學的投入策略提供依據，為提高投入效益提供參考。

5 結語

通過運用可視化技術對科技創新資源進行深度分析和挖掘，可提取出有價值的信息和知識，為科技創新提供更加精準的支持。未來，隨著大數據技術的不斷發展，科技創新資源可視化將更加注重智能化分析與應用，為科技創新提供更加科學和有效的決策支持，為推動社會進步和經濟發展發揮出更加重要的作用。

參考文獻：

［1］孟慶軒.基于J2EE的科技資源調查系統的設計與實現［J］.計算機時代，2013（6）：74-77.

［2］賈紅佳.科技創新類數據可視化系統的設計與實現［D］.石家莊：石家莊鐵道大學，2018.

［3］張靜遠.電子信息技術在科技統計管理中的應用［J］.長江信息通信，2022（3）：174-176.

［4］仇舒蕾，張宇浩.基于大數據的可視化科技圖譜系統設計［J］.計算機與網絡，2021（1）：45.

［5］王紅升.基于數據倉庫的科技資源可視化管理系統［D］.北京：北京航空航天大學，2014.