







摘 要:為了提升GIS時空大數據融合處理效果和大數據融合效率,本文提出基于可視化數據挖掘技術的GIS時空大數據融合處理方法。首先,采集GIS時空大數據,分析可視化數據挖掘技術;其次,構建地理時空數據可視化挖掘模型,將地理軌跡數據由CSV格式轉換為Shapefile向量數據格式;最后,計算轉換后的地理坐標,對GIS時空大數據進行融合處理。試驗結果表明,基于可視化數據挖掘技術的GIS時空大數據融合處理方法能夠快速處理時空數據,在不同測試時空內,使用本文方法融合處理的數據量比其他方法更多,本文方法效果更好。
關鍵詞:數據融合;GIS時空大數據;信息處理技術;融合處理;可視化數據挖掘技術
中圖分類號:D 26 " " " " 文獻標志碼:A
地理信息系統(Geographic Information System,GIS)集成地理空間數據和屬性數據,為各種領域提供了強大的空間分析和決策能力。GIS領域亟需解決的問題是高效地融合和處理GIS時空大數據。在文獻[1]中,研究人員將預處理后的數據整合到一個集中的數據管理平臺中,保證數據能夠在該平臺中進行共享和交互。平臺的存儲和計算能力強,能夠高效處理并分析龐大的數據集。采用這種整合與集中管理的方式可以更有效地管理和利用巡護時空大數據。在文獻[2]中,研究人員利用關聯規則和挖掘技術深入研究無線傳感網中的節點數據。對這些節點數據特性進行需求分析,構建1個數據融合模型,該模型能夠在時間和空間方面對數據進行融合,提升GIS時空大數據融合處理的準確性。
本文方法將數據挖掘技術與可視化技術相結合,將復雜的數據以圖形、圖像等直觀、清晰的方式展現,使用戶能夠更快速、準確地理解數據,發現數據中的規律。
1 可視化數據挖掘技術
可視化數據挖掘技術是一種結合可視化技術和數據挖掘技術的先進技術。這種技術利用圖形、圖像等直觀形式展現大量數據中的信息和知識,幫助用戶更快速、準確地理解數據,發現數據中的規律和趨勢。可視化數據挖掘技術包括數據預處理、數據挖掘和可視化等步驟,數據挖掘是可視化數據挖掘技術的核心步驟,其利用各種算法對數據進行挖掘,獲得有價值的信息和知識。
2 采集GIS時空大數據
GIS時空大數據的可視化過程以地圖作為核心框架,進一步將時間數據進行空間化處理,將兩者有效融合,創造一種新穎的數據展現形態。充分利用地理信息技術的空間可視化優勢將時空數據以地圖形式進行直觀展示,不僅方便從多個視角進行深入觀察,還從空間層面對大數據進行高效分析。本文設計的GIS時空大數據采集步驟包括以下3個。
2.1 交點定義
在實際操作中,采集的道路數據通常為連續的多段線形式。為了定位,需要遍歷所有涉及的道路折線段,確定這些折線段之間的交點[3],即道路節點。
2.2 道路數據切割
在進行道路數據處理的過程中,使用本文方法確定并計算1條測得的道路的交叉區域,得到道路交叉層。然后利用這個交點圖層對原有的道路數據進行切割。當采集地理軌跡數據時,采用CSV格式導出這些數據,呈現為一系列點集,需要將其轉換為在GIS中廣泛使用的Shapefile向量數據格式[4-5]。在完成轉換后,自動構建向量數據的拓撲關系,在弧段與節點之間建立準確的連接?;《闻c節點之間的具體關系見表1。
設鄰接向量P,弧段q1~q7的鄰接關系如公式(1)所示。
(1)
節點N1~N5設定的連通向量N如公式(2)所示。
(2)
2.3 冗余數據處理
在數據收集的過程中,為保證道路數據的完整性與準確性,某些路段的長度會超過實際道路長度。因此,在后續處理中需要識別并移除這些多余的部分。
3 單波段與單極化數據的像元差值提取
Sentinel-1數據:Sentinel-1是一個全天時、全天候的合成孔徑雷達成像系統,其是歐盟委員會(European Commission,EC)和歐洲航天局(European Space Agency,ESA)針對哥白尼全球對地觀測項目研制的首顆衛星。為了將大氣上層表觀反射率轉換為大氣下層地表反射率,本研究采用歐州航天局官方提供的Sen2Cor大氣校正模塊對Sentinel-2數據進行大氣校正。除了對Sentinel-2的單波段數據與Sentinel-1的單極化數據的像元差值進行分析外,還利用紅光(Red)和近紅外(Near Infrared,NIR)波段獲取歸一化植被指數(Normalize Difference Vegetation Index,NDVI),并提取NDVI與垂直極化數據(Vertical Polarization,VV)以及垂直水平數據(Vertical-Horizontal Polarization,VH)的像元差值。
本文根據NDVI模型生成對應的NDVI產品,裁剪影像。NDVI的計算過程如公式(3)所示。
(3)
式中:PRed,PNIR分別為Sentinel-2數據對應的紅光和近紅外波段的地面反射率值。
利用歸一化后的單波段數據(藍光、綠光、紅光和近紅外光)與歸一化后的單極化數據逐一進行波段運算,獲取2種傳感器數據的像元差值,計算過程如公式(4)所示。
T(x,y,t)=S2(x,y,n,t)-S1(x,y,m,t)
(n=Bule,Green,Red,NIR;m=VV,VH) " " "(4)
式中:T(x,y,t)為Sentinel-2 與 Sentinel-1 數據的像元值之差;S2、S1分別為Sentinel-1和Sentinel-2數據的像元值;n為Sentinel-2的波段數據,包括藍光(Blue)、綠光(Green)、紅光和近紅外光;m為Sentinel-1的雙極化數據,包括VV和VH;t為獲取像元值所需的時間。
利用樣本點的位置信息從計算結果中提取樣本點位置所有像元的值,取地類內所有樣本點的均值作為該地類像元差值,最終獲取不同時相的像元差值序列特征。
4 構建地理時空數據可視化挖掘模型
根據上文提取的GIS時空大數據像元差值,本章利用可視化數據挖掘技術的柵格瓦片可視化算法,將該技術應用于時空數據中,對地理時空數據進行可視化挖掘[6]。柵格瓦片可視化算法流程如圖1所示。
由圖1可知,柵格瓦片可視化算法流程如下。首先,設計地圖的中心點,確定時空數據對應的地理范圍。其次,設定柵格瓦片的起始行列序號,確定X軸、Y軸的瓦片數量,將柵格瓦片鋪滿地圖,計算單張瓦片的像素分辨率,確定瓦片對應的時空面積,獲取對應的地理坐標,最終得到地理時空坐標的位置,使柵格瓦片可視化[7-8]。本文構建數據集成挖掘模型,將其應用于時空數據的可視化挖掘中,本文設計的數據集成挖掘模型的結構如圖2所示。
由圖2可知,利用可擴展標記語言(Extensible Markup Language,XML)文件配置數據庫連接信息,設置用戶界面,構建數據集成模型對數據進行集成,并利用元數據倉庫進行處理,設計數據集成引擎與數據中心進行交互。時空數據通常是指融合了地理經緯度信息的數據集,瀏覽器頁面基于一個二維的平面坐標系統來展示內容。因此,在GIS中對坐標軸進行設定:X軸代表經度,數值沿此軸向右逐漸增加;Y軸代表緯度,數值沿此軸向上逐漸增加[9]。模型構建的具體步驟如下。
第一步,設定瓦片像素為tS,分辨率為R。
第二步,單張瓦片對應的地理時空面積為GS,計算過程如公式(5)所示。
GS=tS×R " " " " (5)
第三步,得到對應的地理坐標(Gleft,Gtop),計算過程如公式(6)所示。
(6)
式中:GX、GY分別為屏幕的X軸和Y軸;W、H分別為屏幕的寬度和高度。
該地理坐標(Gleft,Gtop)對應的地理位置(Xs,Ys)如公式(7)所示。
(7)
式中:Gs為單張瓦片對應的地理時空面積。
基于上述分析,地理時空數據可視化挖掘模型的計算過程如公式(8)所示。
(8)
經過上述研究,設計面向空間信息的可視化挖掘方法,為空間信息融合處理奠定堅實的基礎。
5 GIS時空大數據的融合處理
根據采集的GIS時空大數據獲取歷史數據,分析地理現象的時空變化規律。為了優化資源配置,提高資源使用效率,減少浪費,將采集得到的GIS時空大數據輸入時空數據可視化挖掘模型中,創建共享數據類別,采用語義融合技術整合不同來源和類型的數據,確定其是否對應于同一個類別中的同一個概念,采用時空數據分析方法對融合后的數據進行分析,提取有用信息,具體融合處理過程如下。
以p1=(x1,y1)=(Xs,Ys)為圓心,將半徑r設定為20 m進行搜索,p2(x2,y2)為該空間中的任意節點,p1為搜索圓形的圓心,p2為搜索圓形內的任意點。p1與p2之間的距離d的計算過程如公式(9)所示。
(9)
如果d≤r,那么p1與p2 這2個點為同名點;如果dgt;r,那么p1與p2 這2個點不是同名點。
在數據融合處理過程中使用統一的設備,所有數據的定位模式均設定為單點定位,基于這種一致性可以合理推斷同一個對象采集的不同數據在權重方面是相等的。這種設置保證了數據采集標準,降低了由于設備差異或定位方法不同導致的誤差。在GIS時空大數據融合處理過程中,這種統一性能夠保證數據的可比性和融合的準確性,因此十分重要。
將這些數據的空間位置信息進行融合,計算x、y坐標的平均值,如公式(10)所示。
(10)
式中:xi、yi分別為第i次采集的點位坐標x、y的值。
利用公式(8)可以得到每個節點融合后的時空數據地理坐標位置。
6 試驗測試與結果
6.1 試驗準備
為驗證本文方法的有效性,筆者進行試驗,以MATLAB軟件為基礎搭建一個模擬測試平臺,檢測本文方法的數據融合處理性能。在測試過程中將文獻[1]方法、文獻[2]方法與本文方法進行對比,以3種方法的數據融合處理效率作為測試結果。
6.2 試驗結果
基于上述試驗準備,3種方法的對比測試結果見表2。
由測試結果可知,本文提出的基于可視化數據挖掘技術的GIS時空大數據融合處理方法能夠快速處理數據,因此,在不同測試時間內,與文獻 [1] 方法、文獻 [2] 方法相比,本文方法融合處理的數據量更多,證明了本文方法的有效性。
綜上所述,利用可視化數據挖掘技術能夠自動或半自動地識別數據中的關鍵信息,減少人工分析和處理的工作量,提高 GIS 時空大數據融合處理的效率和準確性。
7 結語
基于可視化數據挖掘技術的GIS時空大數據融合處理方法不僅推動了GIS技術快速發展,還影響了社會經濟發展、城市規劃以及環境監測等領域。在這個過程中,數據安全和隱私保護十分重要。在利用大數據進行空間分析的過程中,必須嚴格遵守相關法律法規,保障用戶數據的安全性和隱私性。未來基于可視化數據挖掘技術的GIS時空大數據融合處理方法將繼續發揮其獨特優勢。
參考文獻
[1]張新宇,林澤攀,武紅敢,等.巡護時空大數據助推林草業務的協同融合[J].林業科技通訊,2022(6):31-33.
[2]秦麗娜.基于關聯規則挖掘的無線傳感網時空數據融合方法探究[J].北部灣大學學報,2023,38(4):68-71.
[3]杜家寬,李雁飛,孫嗣文,等.多源數據融合的泛時空特征水稻深度學習提取[J].農業大數據學報,2024,6(1):56-67.
[4]丁夢蘇,楊慕喬,陳世敏.大規模時空圖數據存儲和分析的優化方法[J].高技術通訊,2023,33(2):124-134.
[5]黃慧萍,陳芳淼.城市群建設與管理的時空大數據體系框架構建研究[J].遙感技術與應用,2023,38(2):443-453.
[6]周揚,韓崔燕,田楠,等.基于多源時空大數據的市政管線安全管控關鍵技術研究[J].工業建筑,2023,53(增刊2):62-66.
[7]徐鵬飛,麥均碩,王嘉銘,等.基于時空大數據分析的出租車智慧調度系統[J].信息與電腦(理論版),2024,36(2):103-105.
[8]劉宏志,張燦,李秋爽,等.智慧基建背景下電網工程造價資源庫建設研究[J].建筑經濟,2022,43(3):59-66.
[9]柯霖.基于多源數據融合與模糊聚類的電力工程數據處理方法研究[J].電子設計工程,2023,31(24):163-167.