





摘 要:設(shè)計并研究一種基于可視化地圖的產(chǎn)業(yè)鏈知識圖譜系統(tǒng),以滿足當(dāng)今商業(yè)環(huán)境對產(chǎn)業(yè)鏈結(jié)構(gòu)和動態(tài)展示的需求。系統(tǒng)采用數(shù)據(jù)治理層、三大功能模塊和技術(shù)架構(gòu)設(shè)計,結(jié)合Echarts和D3.js庫實現(xiàn)地圖與知識圖譜的融合展示。數(shù)據(jù)源包括企業(yè)信息、行業(yè)資訊、政府公開數(shù)據(jù)等,通過任務(wù)調(diào)度、數(shù)據(jù)治理、圖數(shù)據(jù)庫注入實現(xiàn)數(shù)據(jù)處理。產(chǎn)業(yè)鏈圖譜系統(tǒng)以實體管理、關(guān)系管理、產(chǎn)業(yè)鏈管理為核心功能,支持用戶靈活管理和探索產(chǎn)業(yè)鏈關(guān)系。技術(shù)架構(gòu)采用分布式存儲、微服務(wù)框架,保障系統(tǒng)性能和可擴展性。整個系統(tǒng)的設(shè)計旨在為企業(yè)、決策者和研究人員提供直觀、高效的產(chǎn)業(yè)鏈分析工具,助力精準(zhǔn)決策。
關(guān)鍵詞:數(shù)字化轉(zhuǎn)型;知識圖譜;可視化地圖
中圖分類號:TP319 文獻標(biāo)識碼:A 文章編號:2096-4706(2024)14-0081-05
Design and Research of an Industry Chain Graph System Based on Visual Map
YAN Zengyong, CAO Yang, XIE Hongtao, HU Jian
(CETC Big Data Research Institute Co., Ltd., Guiyang 550081, China)
Abstract: It designs and researches an industry chain Knowledge Graph system based on visual maps to meet the demands of today's business environment for industy chain structure and dynamic display. The system adopts a data governance layer, three major functional modules, and technical architecture, combined with Echarts and D3.js libraries to achieve the fusion display of maps and Knowledge Graphs. The data source include enterprise information, industry information, government publicly available data, etc., and data processing is achieved through task scheduling, data governance, and graph database injection. The industry chain graph system takes entity management, relationship management, and industry chain management as its core functions, supporting users to flexibly manage and explore industry chain relationships. The technical architecture adopts a distributed storage and microservice framework to ensure system performance and scalability. The design of the entire system aims to provide enterprises, decision-makers, and researchers with intuitive and efficient industry chain analysis tools to assist in accurate decision-making.
Keywords: digital transformation; Knowledge Graph; visual map
DOI:10.19850/j.cnki.2096-4706.2024.14.016
收稿日期:2023-12-07
0 引 言
在當(dāng)今高度復(fù)雜且日新月異的商業(yè)環(huán)境中,了解產(chǎn)業(yè)鏈的結(jié)構(gòu)和動態(tài)變化對于企業(yè)和決策者至關(guān)重要。產(chǎn)業(yè)鏈知識圖譜的引入為這一需求提供了一種強大的工具,能夠以圖形化和直觀的方式展示不同實體之間的關(guān)系,從而幫助我們更好地理解產(chǎn)業(yè)生態(tài)系統(tǒng)的運作機制[1-2]。
本論文聚焦于基于可視化地圖的產(chǎn)業(yè)鏈圖譜系統(tǒng)設(shè)計與研究,致力于提供一種直觀而高效的方式,幫助用戶深入了解產(chǎn)業(yè)鏈的結(jié)構(gòu)、關(guān)系和發(fā)展趨勢。我們將詳細(xì)介紹系統(tǒng)的整體結(jié)構(gòu)設(shè)計和功能設(shè)計,特別強調(diào)了可視化地圖在系統(tǒng)中的核心地位[3-4]。
產(chǎn)業(yè)鏈圖譜系統(tǒng)的設(shè)計不僅僅是技術(shù)層面的挑戰(zhàn),還是對產(chǎn)業(yè)鏈理解和決策支持的深刻思考。通過本文,我們希望讀者能夠深入了解我們提出的系統(tǒng),理解其在實際應(yīng)用中的價值,同時也激發(fā)更多關(guān)于產(chǎn)業(yè)鏈知識圖譜的研究與創(chuàng)新[5-6]。
隨著全球產(chǎn)業(yè)不斷演進,本文所探討的產(chǎn)業(yè)鏈圖譜系統(tǒng)有望為企業(yè)、決策者和研究人員提供有力的支持,助力他們更加準(zhǔn)確地把握商業(yè)格局,做出明智的戰(zhàn)略決策。
1 系統(tǒng)設(shè)計
1.1 系統(tǒng)架構(gòu)設(shè)計
產(chǎn)業(yè)鏈知識圖譜構(gòu)建管理系統(tǒng)由數(shù)據(jù)治理及三大功能模塊組成,如圖1所示。
數(shù)據(jù)治理層包括數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)清洗與加工、數(shù)據(jù)注入、數(shù)據(jù)調(diào)度、數(shù)據(jù)服務(wù)以及日志管理構(gòu)成。
三大功能模塊包括:實體管理、關(guān)系管理、產(chǎn)業(yè)鏈知識圖譜。具體介紹如下:
1)實體管理。用戶可以通過該模塊進行實體類型的增刪改,包括類型名稱、表結(jié)構(gòu)設(shè)計以及實體類型顏色的定制。同時,用戶可以輕松地增加、刪除或編輯特定實體,包括實體類型、實體名稱以及表數(shù)據(jù)。
2)關(guān)系管理。用戶可以定義關(guān)系類型,包括關(guān)系類型名稱、表結(jié)構(gòu)設(shè)計以及關(guān)系類型描述。通過關(guān)系管理,用戶能夠建立、刪除或修改不同實體之間的關(guān)聯(lián)關(guān)系,并為這些關(guān)系添加具體的表數(shù)據(jù)。
3)產(chǎn)業(yè)鏈知識圖譜。負(fù)責(zé)產(chǎn)業(yè)鏈的創(chuàng)建和管理,用戶可以通過該模塊增刪改產(chǎn)業(yè)鏈,包括產(chǎn)業(yè)鏈名稱、描述以及產(chǎn)業(yè)鏈的關(guān)系創(chuàng)建。產(chǎn)業(yè)鏈可以被視為知識圖譜的根節(jié)點,用戶可在其下創(chuàng)建多級節(jié)點,形成層次分明的產(chǎn)業(yè)鏈結(jié)構(gòu)。
1.2 技術(shù)架構(gòu)設(shè)計
基于可視化地圖的產(chǎn)業(yè)鏈知識圖譜構(gòu)建管理系統(tǒng)技術(shù)架構(gòu)總體分為數(shù)據(jù)層、數(shù)據(jù)引擎、應(yīng)用層、展現(xiàn)層4個部分,如圖2所示。
具體介紹如下:
1)數(shù)據(jù)層。數(shù)據(jù)層承擔(dān)著關(guān)鍵的角色,主要提供分布式數(shù)據(jù)存儲服務(wù)。數(shù)據(jù)被劃分為多個類型,包括業(yè)務(wù)數(shù)據(jù)、應(yīng)用數(shù)據(jù)和文件數(shù)據(jù)等。為了更有效地處理這些數(shù)據(jù),我們采用了多種不同的存儲模式的組合。具體而言,結(jié)構(gòu)化的業(yè)務(wù)數(shù)據(jù)儲存在MySQL數(shù)據(jù)庫中,而文件數(shù)據(jù)則以HDFS和FastDFS的方式存儲,根據(jù)文件大小進行不同方式的存儲。海量數(shù)據(jù)則專門存放在Hbase中,而實體及關(guān)系數(shù)據(jù)則有著專屬的存儲場所,即NebulaGraph [7-8]。
2)數(shù)據(jù)引擎。我們選擇了XXL-Job作為任務(wù)調(diào)度架構(gòu),這是業(yè)內(nèi)廣泛應(yīng)用的一種選擇,有助于有效地進行調(diào)度管理。
3)應(yīng)用層。我們基于廣泛使用且功能齊全的Spring Cloud框架進行開發(fā),搭建了一個強大的微服務(wù)集群。這個集群不僅能夠根據(jù)需求進行水平擴展,而且構(gòu)建了豐富的服務(wù)接口以支持高并發(fā)訪問。在內(nèi)部接口層面,我們采用了Spring Cloud的RPC接口;而對外則提供了RESTful API接口和RESTful推送接口。
4)展現(xiàn)層。采用前端主流的Vue3框架,配合Element-plusUI庫構(gòu)建大部分Web前端界面,通過使用Echarts提供圖表及地圖工具實現(xiàn)數(shù)據(jù)的可視化展現(xiàn),利用pdf.js、sheet.js、docx-prebiew來實現(xiàn)文件的在線預(yù)覽,同時還引入swiper插件對資訊等列表進行輪播展現(xiàn),最終基于D3.js這個庫編寫知識圖譜渲染組件,對實體與關(guān)系進行連線渲染處理。
1.3 數(shù)據(jù)架構(gòu)設(shè)計
基于可視化地圖的產(chǎn)業(yè)鏈知識圖譜構(gòu)建管理系統(tǒng)數(shù)據(jù)架構(gòu)如圖3所示。
產(chǎn)業(yè)鏈相關(guān)的數(shù)據(jù)源主要來源有:企查查、天眼查等公開的企業(yè)信息網(wǎng)站;行業(yè)資訊網(wǎng)站,如巨潮資訊;行業(yè)咨詢網(wǎng)站,如艾瑞咨詢;以及政府公開數(shù)據(jù)網(wǎng)站,如中國統(tǒng)計局、中國產(chǎn)業(yè)信息網(wǎng)、中財網(wǎng)等。這些多源異構(gòu)數(shù)據(jù)有著數(shù)據(jù)可靠、數(shù)據(jù)海量的特點,足以支撐后續(xù)的圖譜產(chǎn)業(yè)鏈分析,但因數(shù)據(jù)的不一致性,我們需要通過數(shù)據(jù)治理的手段對采集來的數(shù)據(jù)進行規(guī)范化標(biāo)準(zhǔn)化,以便于后續(xù)對圖數(shù)據(jù)庫的注入。同時,我們加入了任務(wù)調(diào)度模塊使數(shù)據(jù)保持鮮活,總在不斷采集不斷清洗加工不斷注入圖數(shù)據(jù)庫[9-10]。
我們需要自行對圖數(shù)據(jù)庫創(chuàng)建實體類型、關(guān)系類型。例如,創(chuàng)建實體類型“公司”“法人”“行業(yè)”,創(chuàng)建關(guān)系類型“擁有”“屬于”;那在注入實體數(shù)據(jù)和關(guān)系數(shù)據(jù)后可以形成一個簡單的知識圖譜,例如,注入公司實體數(shù)據(jù)“xxx醫(yī)療器械公司”、注入法人實體數(shù)據(jù)“張某”、注入行業(yè)實體數(shù)據(jù)“醫(yī)療器械”,注入擁有關(guān)系:“張某”擁有“xxx醫(yī)療器械公司”、注入屬于關(guān)系:“xxx醫(yī)療器械公司”屬于“醫(yī)療器械”。因數(shù)據(jù)源的多樣性、可靠性、海量性,加之對數(shù)據(jù)的處理以及對圖數(shù)據(jù)庫的數(shù)據(jù)注入,這些足以支撐我們后續(xù)的數(shù)據(jù)應(yīng)用。
在數(shù)據(jù)應(yīng)用層面,我們可以根據(jù)實體類型為篩選條件,查看某實體下的相關(guān)實體數(shù)據(jù)以及實體與實體之間的關(guān)系。例如:以煙草行業(yè)作為篩選條件,我們就可以查看他相關(guān)的產(chǎn)品,例如香煙、雪茄等,同樣的我們還可以查看雪茄的相關(guān)產(chǎn)品,例如古巴雪茄、國產(chǎn)雪茄等。同樣的,相關(guān)企業(yè)、相關(guān)政策、相關(guān)產(chǎn)品都可以被我們根據(jù)關(guān)系查看。最重要的,地圖可視化的圖譜展示不僅能直觀看到產(chǎn)業(yè)鏈之間的關(guān)系,還能看到他們在地圖上的位置,使決策者能夠更好地分析產(chǎn)業(yè)的發(fā)展趨勢以及發(fā)現(xiàn)產(chǎn)業(yè)的優(yōu)化點。
1.4 可視化地圖與知識圖譜融合的設(shè)計實現(xiàn)
在可視化地圖這塊,我們選用Echarts來實現(xiàn),一是因為項目中有一些圖表可視化展示的情況,使用同一插件可以減輕客戶端的渲染壓力,二是Echarts地圖離線渲染友好,在一些有內(nèi)網(wǎng)要求的項目中有著極高的價值。
在知識圖譜實現(xiàn)上,我們選擇D3.js作為基礎(chǔ)庫來實現(xiàn),因為D3.js是一種強大的數(shù)據(jù)可視化庫,可以通過SVG和Canvas等技術(shù)創(chuàng)建豐富多彩的圖形;另外D3.js是強大的選擇器,可以靈活地操作DOM元素以及數(shù)據(jù);最后,D3.js基于Web標(biāo)準(zhǔn),可以在現(xiàn)代Web瀏覽器中運行,而且兼容性十分優(yōu)秀[4,6]。
具體實現(xiàn)流程如圖4所示。
Echarts部分:Echarts渲染地圖部分相對容易,代碼也主要以配置項為主,具體配置方法可參照官方的文檔(配置項手冊)。
D3部分:使用D3編寫圖譜渲染組件困難度相對高一些,但gitee等開源網(wǎng)站有不少demo,可作為參考。重要的是D3的高靈活性奠定了可視化地圖與圖譜融合的基礎(chǔ)。
融合部分:關(guān)于將前兩部分融合成一張圖,最重要的是位置的計算和盒模型的層級。我們獲取到公司位置一定是具體的經(jīng)緯度,為了圖譜節(jié)點能在地圖中正確渲染位置且不受頁面尺寸變化的影響,我們需要利用Echarts的實例方法convertToPixel來轉(zhuǎn)換坐標(biāo)位置。再將圖譜盒模型置于地圖盒模型之上即可實現(xiàn)融合,這里需要注意的是,D3應(yīng)該創(chuàng)建的是SVG。
1.5 系統(tǒng)功能設(shè)計
基于可視化地圖的產(chǎn)業(yè)鏈知識圖譜構(gòu)建管理系統(tǒng)以“整合資源、共享數(shù)據(jù)、可視化數(shù)據(jù)”為指導(dǎo)思想,構(gòu)建產(chǎn)業(yè)鏈領(lǐng)域知識圖譜支持上層應(yīng)用,其功能如表1所示。
2 系統(tǒng)實現(xiàn)
基于實體、關(guān)系的創(chuàng)建,以及采集數(shù)據(jù)的支撐。如5圖所示,對某具體產(chǎn)業(yè)鏈的相關(guān)關(guān)系數(shù)據(jù)進行了統(tǒng)計展示,如相關(guān)創(chuàng)新平臺、相關(guān)政策、相關(guān)企業(yè)、相關(guān)產(chǎn)品、相關(guān)專家等。
圖6是基于產(chǎn)業(yè)鏈相關(guān)企業(yè)的詳情查看,可以看到某具體實體的,如生物醫(yī)藥下相關(guān)的所有企業(yè),以及各企業(yè)的基本信息。
關(guān)于產(chǎn)業(yè)地圖的查看則是對產(chǎn)業(yè)鏈相關(guān)企業(yè)分布的可視化查看功能,相關(guān)企業(yè)會根據(jù)實際的經(jīng)緯度在地圖中以圓圈節(jié)點的形式展示,根據(jù)企業(yè)的實際關(guān)系對企業(yè)節(jié)點進行關(guān)系連線,連線上展示關(guān)系的名稱。該可視化功能可直觀清晰地看出企業(yè)分布情況以及企業(yè)關(guān)系情況,讓決策者能夠更好地理解和分析具體產(chǎn)業(yè)的情況。
3 結(jié) 論
本論文聚焦于基于可視化地圖的產(chǎn)業(yè)鏈知識圖譜系統(tǒng)設(shè)計與研究,旨在為企業(yè)和決策者提供一種直觀而高效的工具,以深入了解產(chǎn)業(yè)鏈的結(jié)構(gòu)、關(guān)系和發(fā)展趨勢。通過詳細(xì)介紹系統(tǒng)的整體結(jié)構(gòu)設(shè)計和功能設(shè)計,強調(diào)了可視化地圖在系統(tǒng)中的核心地位。
在系統(tǒng)架構(gòu)設(shè)計方面,我們提出了數(shù)據(jù)治理層、三大功能模塊和技術(shù)架構(gòu)設(shè)計。數(shù)據(jù)治理層涵蓋了數(shù)據(jù)采集、存儲、清洗、注入等關(guān)鍵環(huán)節(jié),確保了數(shù)據(jù)的質(zhì)量和實時性。三大功能模塊分別負(fù)責(zé)實體管理、關(guān)系管理和產(chǎn)業(yè)鏈知識圖譜的創(chuàng)建和管理,為用戶提供了豐富的操作和查詢功能。技術(shù)架構(gòu)設(shè)計采用了分布式數(shù)據(jù)存儲服務(wù)、任務(wù)調(diào)度架構(gòu)、微服務(wù)集群等先進技術(shù),保障了系統(tǒng)的性能和可擴展性。
在數(shù)據(jù)架構(gòu)設(shè)計方面,我們從多個來源獲取產(chǎn)業(yè)鏈相關(guān)的數(shù)據(jù),包括企業(yè)信息、行業(yè)資訊、政府公開數(shù)據(jù)等。通過數(shù)據(jù)治理手段對數(shù)據(jù)進行規(guī)范化標(biāo)準(zhǔn)化,確保了數(shù)據(jù)的一致性。在數(shù)據(jù)應(yīng)用層面,我們展示了如何根據(jù)實體類型和關(guān)系進行靈活的查詢,以及如何通過可視化地圖展現(xiàn)產(chǎn)業(yè)鏈的關(guān)系和地理位置。
在技術(shù)實現(xiàn)方面,我們選擇了Echarts作為可視化地圖的基礎(chǔ)庫,以其強大的數(shù)據(jù)可視化能力和地圖渲染優(yōu)勢。同時,使用D3.js作為知識圖譜的基礎(chǔ)庫,充分發(fā)揮其靈活性和可定制性。通過合理的整合,實現(xiàn)了地圖與知識圖譜的融合展示,為用戶提供了直觀而全面的信息。
參考文獻:
[1] 彭楚驕,李連營,郭邦祁,等.使用知識圖譜推薦專題地圖可視化方法 [J].測繪科學(xué),2022,47(6):188-194.
[2] 劉宏濤.基于地圖可視化的知識表達方法研究 [D].北京:北京建筑大學(xué),2020.
[3] 艾瑞咨詢產(chǎn)業(yè)數(shù)字化研究部人工智能研究組.一圖勝萬言,一目了然 中國知識圖譜行業(yè)研究報告 [C]//艾瑞咨詢系列研究報告(2022年第8期).[出版地不詳]:艾瑞咨詢,2022:323-400.
[4] 竇昊.基于產(chǎn)業(yè)鏈知識圖譜的服務(wù)組織技術(shù)的研究與實現(xiàn) [D].北京:北方工業(yè)大學(xué),2023.
[5] 郝文建,魏梅,張浩,等.標(biāo)準(zhǔn)知識圖譜的構(gòu)建與應(yīng)用 [J].信息技術(shù)與標(biāo)準(zhǔn)化,2021(8):44-47.
[6] 齊如煜,尹章才,顧江巖,等.高精地圖的知識圖譜表達 [J].武漢大學(xué)學(xué)報:信息科學(xué)版,2024,49(4):651-661.
[7] 李振軍,劉祖軍,王鵬,等.基于圖論的產(chǎn)業(yè)網(wǎng)絡(luò)知識圖譜挖掘與構(gòu)建 [J].大數(shù)據(jù),2023,9(6):174-183.
[8] 范存慶,余軍合,戰(zhàn)洪飛,等.產(chǎn)業(yè)集群知識圖譜構(gòu)建方法研究 [J].科技與經(jīng)濟,2022,35(3):56-60.
[9] 毛瑞彬,朱菁,李愛文,等.基于自然語言處理的產(chǎn)業(yè)鏈知識圖譜構(gòu)建 [J].情報學(xué)報,2022,41(3):287-299.
[10] 李連營,彭楚驕,郭邦祁,等.海洋地圖可視化方法的知識圖譜構(gòu)建 [J].測繪地理信息,2022,47(1):77-80.
作者簡介:嚴(yán)增勇(1994—),男,漢族,貴州貴陽人,工程師,本科,主要研究方向:數(shù)據(jù)治理、數(shù)據(jù)分析。