









摘要:面向新時期自然資源管理要求,踐行新發展理念,發揮時空大數據技術在處理特定空間的自然、經濟、社會、人文等動態數據上的優勢,提升基礎測繪對自然資源全方位支撐能力,自然資源部門提出了建設自然資源大數據分布式地學計算平臺。文章對該平臺的成果展示可視化系統的建設進行了研究,分析了系統建設的設計、架構和實現的技術路線。該系統實現了數據瀏覽、查詢、統計、分析等功能,用戶可根據業務需求自主選擇分析主題,其分析結果基于Echarts技術以地圖、圖表結合的方式展示。
關鍵詞:可視化系統;Echarts;自然資源大數據;數據鉆取
中圖分類號:TP311
文獻標志碼:A
0 引言
為了進一步加強江蘇省自然資源信息化基礎設施建設,整合原國土、規劃、海洋、林業、測繪等部門數據,須要采用新一代信息技術,建立統一的空間數據庫管理平臺和業務系統管理平臺,這不僅能快速、直觀地了解自然資源的各個領域數據,還能進一步提升自然資源政務服務能力、監測監管能力和決策支持能力。本文以自然資源大數據分布式地學計算平臺成果展示子系統的建設為例,探討了大數據可視化系統建設的技術路線、內容以及特色創新點。該系統采用Vue+ECharts技術,以Vue框架為基礎構建大屏系統的布局,引入ECharts圖表對數據進行可視化展示,實現數據瀏覽、查詢、統計、分析等功能,用戶可根據業務需求自主選擇分析主題,分析結果以地圖、圖表結合的方式展示。
1 大屏可視化系統分析與設計
1.1 數據可視化的概念
數據可視化這一領域專注于探索數據的視覺呈現效果,通過巧妙地運用圖形、圖像、計算機視覺技術及用戶界面設計等方式,高效地組織、詮釋及展示數據信息。其歷史淵源可追溯至18世紀,歷經數世紀的演進與精進,數據可視化在軍事戰略、航空航天探索、物理學研究、天文學觀測以及測繪行業等眾多關鍵領域均彰顯了其不可或缺的價值與影響力[1]。
人類在從外部環境汲取信息的過程中,超過80%的信息是通過視覺感知到的[2]。將數據信息以圖形或者圖表的方式加以呈現,其最為顯著的優勢在于能夠直觀且清晰地揭示數據之間的內在關聯與動態趨勢,從而極大地促進信息接收者對數據內容的閱讀與理解效率[3]。特別是自2011年互聯網邁入大數據時代以來,面對浩如煙海的數據海洋,人們迫切需要從中提取出有價值的信息。在此背景下,數據可視化技術憑借其強大的展示功能,有效助力人們剖析高維度、多源頭的海量數據,為即時決策提供了不可或缺的輔助支持。目前,市面上主流的數據可視化技術包括Excel、Tableau、Python等[4]。
本系統所采用的Echarts技術,是一款基于JavaScript構建的開源可視化圖表庫,它可以提供直觀形象和高度交互性的數據展示。Echarts最初由百度團隊開發,2018年捐贈給Apache基金會,2021年晉升為Apache的頂級項目。它提供了極為豐富的可視化圖表類型,除了常規的折線圖、柱狀圖、餅圖和散點圖,還涵蓋了更多用途的特殊圖表,如用于數據統計的盒形圖,用于地理數據可視化的地圖、熱力圖和線圖,用于關系數據可視化的關系圖、Treemap和旭日圖,商業智能(BI)領域常用的漏斗圖和儀表盤等。而且,Echarts還支持各類圖表之間的靈活搭配,能夠全方位滿足Web前端數據可視化的各類需求。
1.2 可視化系統設計及架構
1.2.1 數據采集與預處理
由于采集到的數據來自自然資源的各個領域,數據之間缺乏統一的標準體系,導致采集到的數據大相徑庭,這一現象嚴重阻礙了自然資源數據的有效整合與高效利用,為數據融合工作帶來了極大的挑戰與不便[5]。因此,數據預處理采用“批量轉換+批量檢查”相結合的思路,如圖1所示,開發工具套件對原始數據進行抽取,自動糾正存在的問題,批量導出為適應大數據分析要求的數據集,在提升數據預處理效率的同時,為數據入庫奠定良好基礎。
數據預處理分為2個階段,一是數據檢測與理解,包括開展空幾何檢測、多邊形節點次序拓撲檢測以及多孔洞標識操作;二是數據清洗,根據實際需求過濾字段、按條件過濾記錄、空間參考轉換,以確保數據遵循統一的標準。
數據檢測與理解是數據清洗的準備工作,為數據入庫與分析奠定良好的基礎,目的在于加深對大數據的掌握程度,排除清理不符合入庫條件的數據,提升后期大數據處理的效率。數據清洗為數據質檢奠定基礎,主要包含字段過濾、按照查詢條件的記錄過濾、空間參考轉換等。針對待處理圖層集合,按照指定的wkid進行批量的空間參考轉換。
1.2.2 系統架構
大數據可視化系統立足已有分布式地學計算環境,基于自然資源大數據庫,實現基礎測繪、自然資源等各類基礎數據的互聯互通與綜合分析應用,結合自然資源管理需要,引入多樣化大數據可視化技術實現對分析結果的展示,開發相關應用分析功能,提高數據對管理決策的支撐服務能力[6]。如圖2所示,系統具備大數據計算、自然資源相關分析、專題地圖等功能,分別從結構、分布、變化、潛力等角度進行全方位多場景分析,實現對地理國情數據、自然資源調查數據、工業用地調查數據、自然資源管理數據的高效分析與利用,形成相關數據分析指標,展示專題分析成果,進一步提升大數據分布式計算與分析能力,為自然資源管理提供業務支撐,輔助領導決策,支撐區域內自然資源保護利用的統籌協調[7]。
2 大屏可視化系統實現
2.1 建設要求
大屏可視化系統不僅要實現對自然資源相關數據的分析,更要提供分析結果的直觀展示。按照“專業化處理、專題化匯集、專題化分析”的思路,立足已有分布式地學計算環境,面向多層次需求,利用分布式計算技術,結合基礎測繪等其他相關數據,以基礎測繪DLG矢量數據和地理國情數據為基礎,以自然資源調查、工業用地績效評價為應用,形成相關數據分析指標,打造以自然資源大數據分布式地學計算平臺為支撐,專題數據業務模型為服務的“1+N”模式,提升數據分析的效率、頻率和時效性,推動數據深度分析與綜合分析,實現自然資源數據要素賦能,提升自然資源數據面向自然資源管理和社會全域的整體服務水平,為“支撐自然資源管理,服務生態文明建設”“支撐各行業需求,服務經濟社會發展”以及江蘇省自然資源治理體系和治理能力現代化水平提升提供有力技術支撐。
2.2 建設模式
按照《自然資源部信息化建設總體方案》要求,對自然資源大數據分布式地學計算平臺建設工作進行統籌規劃,統一設計系統,尤其是平臺相關的架構、數據模型、業務模型、數據存儲結構以及系統擴展規劃等方面,均須按照自然資源信息化建設要求從全局出發,從長遠的角度出發。本項目采用主流大數據分布式框架,涉及的數據、軟件服務的數據、軟件服務成果工程化后將與智慧城市時空大數據平臺以及其他應用集成。
2.3 建設內容
大屏可視化系統按照地理國情、自然資源調查、工業用地調查和自然資源管理4個專題進行各相關指標的統計分析,以Echarts圖表的形式展示分析結果。
2.3.1 地理國情專題分析
按照地理國情普查與監測數據成果進行系統分析,包括地表資源分布與利用專題分析、地表生態格局專題分析、基本公共服務均等化專題分析、城鎮發展空間格局專題分析、交通設施覆蓋與服務能力專題分析,綜合反映全省地理國情的空間格局、分布特征和區域差異。
2.3.2 自然資源調查專題分析
對全省國土調查成果概況進行系統分析,包括土地利用現狀分析、耕地專題分析、建設用地專題分析等,分別展現土地利用整體概況及自然資源管理中重點關心的重點地類、專項調查的相關情況。
2.3.3 工業用地調查專題分析
按照全省工業用地調查狀況開展專題分析,分為概況專題分析、重點區域專題分析、產業用地專題分析3個方面。
2.3.4 自然資源管理專題分析
增減掛鉤專題分析包含全省可用新增農用地面積分析、區縣可用新增農用地面積分析、全省可用新增耕地面積分析、區縣可用新增耕地面積分析等。以多樣化的圖表展示增減掛鉤指標的主要信息,便于掌握增減掛鉤工作整體實施情況。
3 特色與創新
3.1 多角度增強分解樹
3.1.1 面臨問題
傳統大屏展示系統多以靜態圖表形式呈現數據,展示內容浮于表面,缺乏對數據內在關系的深入挖掘與分析,且無法實時更新數據,導致分析結果存在延遲。
為了解決地理國情、自然資源調查、工業用地調查、自然資源管理數據維度和層次過多、數據結構復雜的問題,本文利用數據鉆取技術——多角度增強分解樹,從2個角度進行層次鉆取,把重要數據展示出來,直觀發現問題,更加深入地展示給用戶數據之間的關聯。
多角度增強分解樹從2個方面對數據進行鉆取,一方面是傳統的鉆取方式,可以通過對關注的內容進行鉆取分解,獲得更詳細的內容,這是對某一度量的維度聚合進行分解查看的過程;另一方面是多角度鉆取,這種方式的出發點是通過不同的角度來對比觀察數據,以便于模式的發現,這是一個針對某一度量的維度聚集過程。通過維度聚集,用戶可以從不同的角度觀察度量,在對比中更容易發現隱藏在其中的數據模型。
多角度增強分解樹技術是通過將維度聚集上的鉆取和有意識的維度聚集2種技術進行融合,讓用戶在觀察數據的過程中做到線面結合,提高數據的利用效率。
3.1.2 數據下鉆
數據鉆取是按照某個特定層次結構或條件進行數據細分呈現,讓用戶關注的數據范圍從一個比較大的面,逐步下鉆并聚焦到一個小的點上。鉆取是改變維的層次,變換分析的粒度,包括向上鉆取(roll up)和向下鉆取(drill down)。用戶每次執行上卷或下鉆操作,實際上是對數據統計范圍的縮小或擴大。
用戶對數據的鉆取操作,都將產生新的查詢標準和統計條件。系統將這些標準和條件存儲在相應的維表記錄中的備注字段,形成分析歷程。它的作用是讓用戶能從當前的統計層次退回到上一層的統計或者作為進一步下鉆的前提條件。
維是關于一個組織想要記錄的透視或實體,比如用地規模;維還涉及概念分層,比如土地按照權屬劃分;事實是數值度量的,比如開票銷售收入、從業人員等。本項目主要聚焦數據下鉆方式。
下鉆是從當前數據往下展開下一層數據,通過增加圖層從匯總數據深入到細節數據進行觀察。通過逐層下鉆,數據更加一目了然,更能充分挖掘數據背后的價值,及時做出更加正確的決策。當用戶點擊圖表的某一部分時,可以打開一個新的圖表或超鏈接,進而查看與圖表此部分相關的詳細信息。每種圖表觸發下鉆的方式不同,例如:折線圖的觸發方式是點擊折線上的某一點,地圖是點擊某個區域,表格是點擊某行或某列。結合排序、過濾等功能,有助于更好地展示數據的內在規律。
(1)下鉆維度。
數據可視化擁有“可視、可交流、可互動”的特點,使用戶更容易對監測數據及時分析預警。用戶點擊不同分析模塊中的某一個圖形區域,下鉆顯示不同統計維度的數據情況,圖形起到了顯示結果和分析“導航”的作用。地理國情綜合分析按照“省級(江蘇省)→地區(蘇南、蘇中、蘇北)→地級市(南京市、無錫市等)”的層級進行下鉆維度設置,自然資源調查綜合分析按照“三大類→一級類→二級類”的層級進行下鉆維度設置,工業用地調查綜合分析按照“省級(江蘇省)→地區(蘇南、蘇中、蘇北)→設區市(南京市、無錫市等)”的層級進行下鉆維度設置,結合餅圖、柱狀圖、折線圖等組合,打造豐富的可視化效果。
以工業用地調查為例,如圖3所示,點擊“用地規模”模塊中的“蘇南”餅圖,下方跳轉顯示13個設區市用地規模情況(按照從大到小順序排列),蘇南5市用高亮顯示并且地圖聯動顯示蘇南地區概況。如圖4所示,再點擊“蘇州市”柱子,下鉆顯示蘇州市用地規模結構,即工業用地、采礦用地、倉儲用地、科研用地的情況,點擊“返回”鍵可以返回上一維度繼續選擇想要查看數據的情況。
(2)下鉆類型。
自由下鉆總體來說,可以分為2大類。
①單一種類下鉆:這種類型的圖表只能觸發一種類型的下鉆,比如餅圖,點擊餅圖和每個區域下鉆彈出一個柱狀圖,根據點擊區域的不同,讓柱狀圖顯示不同的數據,觸發下鉆時,餅圖傳遞給下鉆柱狀圖的下鉆參數會自動根據點擊位置的不同而變化。
②多種類下鉆:這種類型的圖表可以觸發多個下鉆操作,比如表格,可以設置點擊每行觸發下鉆,點擊某行中的某一列觸發下鉆,這樣對表格就設置了2個下鉆,當用戶點擊表格的不同區域時觸發不同的下鉆行為。
(3)數據鉆取與地圖聯動。
如圖5所示,當用戶點擊左右兩側模塊中全省開票銷售收入柱狀圖時,下鉆顯示下一個層級數據情況,上方地圖聯動變換,以熱力圖形式展示數據分布情況。該方法既能直觀地展示數據的數值情況,又能從地圖上直觀地反映整體的情況。
3.2 多專題時空數據可視化表達技術
數據可視化是通過可視的方式將相對復雜、抽象的數據讓人們更易理解,能更形象地表達數據內在的信息和規律,從而促進數據信息的傳播和應用。本項目涉及的數據復雜多樣,空間上可以分為地圖數據和屬性數據,時間上可分為靜態數據和動態數據,類型上可分為層次數據、關系數據、文本數據、空間數據等,格式上可分為結構化數據和非結構化數據,可視化方式上包含多維、交互、時空、動態等。
本文借助基于JavaScript實現的開源數據可視化圖表庫Echarts,針對不同數據分析的需求及特點,制作直觀、生動、可交互的圖表[6]。
3.2.1 豐富的可視化類型
ECharts提供了常規的折線圖、柱狀圖、散點圖、餅圖、K線圖,還提供了用于統計的盒形圖,用于地理數據可視化的地圖、熱力圖、線圖,用于關系數據可視化的關系圖、treemap、旭日圖,多維數據可視化的平行坐標,用于BI的漏斗圖,儀表盤,且支持圖與圖之間的混搭。
例如,工業用地調查數據往往按照“省級-區域-市級”維度進行統計,根據頁面布局設計,柱狀圖展示受到限制,如圖6所示,可以采用條形圖方式進行展示,既解決了布局問題,又增加了圖表可視化的豐富性。
ECharts 中的“得分環”通常指的是一個用于顯示分數或者分布情況的圖表,通常是通過餅圖或環形圖來實現。這種圖表可以清晰地表示各個部分或類別所占的比例。不同區域容積率由于數值只有3個,使用柱狀圖或者餅圖展示過于單薄,如圖7所示,采用得分環的形式,能更生動形象地展示出蘇南、蘇中、蘇北區域之間的差異。
ECharts 玫瑰圖(又稱南丁格爾圖或極區圖)是一種特殊類型的餅圖,它通過調整扇形的半徑大小來表示數據的大小,而不是僅通過扇形的角度來展示。這種圖表能夠更直觀地展現不同分類數據之間的比例關系,尤其是當數據差異較大時,能夠避免小數據項在餅圖中被忽略的問題。為了更加突出不同地級市之間用地面積的差異,如圖8所示,可以采用玫瑰圖的形式展示數據,比傳統的餅圖更加直觀。
此外,根據數據特點及可視化需求,還可以對圖表進行圖例、線條、圖表、背景顏色、網格線等配置項的設置。當想要對多個維度數據同步進行展示時,可采用多種可視化圖表疊加的方式,如圖9所示,折柱混合圖中的2個Y軸反映不同數值的變化情況。
3.2.2 千萬數據的前端展現
通過增量渲染技術(4.0+),配合各種細致的優化,ECharts能夠展現千萬級的數據量,而且在這個數據量級上依然能夠流暢地進行縮放平移等交互。如果數據量太大,可以考慮將數據分割成更小的片段傳輸到前端并異步加載到圖表中,這樣可以避免一次性加載和處理所有數據,從而提高處理性能。對于網絡傳輸的數據,可以使用壓縮算法來減小數據大小。此外,可以實現懶加載,即只在用戶查看某個區域的數據時才加載該區域的數據。
3.2.3 多種數據格式直接使用
ECharts內置的dataset屬性(4.0+)支持直接傳入包括二維表、key-value等多種格式的數據源,如圖10所示,通過設置source屬性可以完成從數據到圖形的映射,省去了大部分場景下數據轉換的步驟。在dataset.source中設置數據,數據可以設置為3種形式:第一種是二維數組,其中第一行/列可以給出維度名,也可以不給出,直接就是數據;第二種是按行的key-value形式(對象數組),其中鍵(key)表明了維度名;第三種是按列的key-value形式,每一項表示二維表的“一列”。這樣就不用再去進行復雜的數據處理,數據可以直接放到數據集中使用。
3.2.4 數據動態展示
利用數據的改變驅動圖表展現的改變,從而實現動態數據的變化展示。配合timeline組件,提供了在多個 ECharts option間進行切換、播放等操作的功能,整個圖表會有動態切換的效果,能夠在更高的時間維度上去表現數據的信息,幫助用戶更好地展示和分析不同時間段的數據。
4 結語
隨著覆蓋國家、省、市、縣4級的云計算中心和電子政務網絡環境的逐步建設完成,自然資源數據管理與應用正在由小規模集中式管理,向大規模分布式管理邁進。隨著云GIS技術的成熟,分布式空間數據庫逐步成為主流,為統一管理和應用自然資源空間大數據奠定了基礎。大數據可視化旨在將大數據轉化為易于理解和分析的視覺形式,幫助人們從復雜的數據中發現規律、趨勢和模式,從而更好地支持決策制定。它提高了數據的理解和洞察力,加強了數據分析和結果的溝通和共享,進一步完善了自然資源政務服務體系、監測監管體系和決策支持體系。
參考文獻
[1]左圓圓,王媛媛,蔣珊珊,等.數據可視化分析綜述[J].科技與創新,2019(11):82-83.
[2]任磊,杜一,馬帥,等.大數據可視分析綜述[J].軟件學報,2014(9):1909-1936.
[3]劉濱,劉增杰,劉宇,等.數據可視化研究綜述[J].河北科技大學學報,2021(6):643-654.
[4]楊凱利,山美娟.基于Python的數據可視化[J].現代信息科技,2019(5):30-31,34.
[5]劉玉珠,葉茂,董萬虎,等.大數據在自然資源中的應用[J].地理空間信息,2021(10):114-116.
[6]郭文華,曾建鷹,肖飛,等.自然資源大數據決策支持系統建設與應用[J].自然資源信息化,2022(5):92-98.
[7]石永閣,余磊,雷揚.自然資源基礎大數據服務平臺研究[J].地理空間信息,2019(7):1-5.
(編輯 沈 強)
Design and implementation of natural resources big data visualization system based on Echarts
JI Yujie, LI Guanshi, TANG Tianqi
(Jiangsu Provincial Research Institute of Surveying and Mapping, Nanjing 210013, China)
Abstract:Facing the requirements of natural resource management in the new era, practicing the new development concepts, developing the advantages of spatial-temporal big data technology in processing dynamic data such as natural, economic, social and cultural data in specific spaces, enhancing the comprehensive support ability of basic surveying and mapping for natural resources, the natural resources department proposed to build a distributed geological computing platform for natural resource big data. The article studied the construction of the achievement display visualization system belongs to this platform, and analyzed the design, architecture, and technical roadmap of the system construction. The system implements functions such as data browsing, querying, statistics, and analysis. Users can choose their own analysis topics according to business requirements, and the analysis results can display through a combination of maps and charts based on Echarts technology.
Key words:visualization system; Echarts; natural resource big data; data drilling