數字化地質檔案海量時空數據關聯性自動搜索方法

中圖分類號：P208 文獻標志碼：A

0 引言

網絡技術的發展，尤其是以博客、社交網絡、微博等Web2.0技術為代表的網絡技術的發展，互聯網的用戶作用正在發生變化。網絡用戶已由單一的使用者逐漸轉變為生產者，不再是單純地接受由網絡編輯所提供的資訊，而是呈現顯著的“共享”的趨勢[1]如何有效地利用網絡中的海量數據，為人類的日常生活提供有效的服務，成了當前有關單位的研究重點。

隨著我國信息化水平的不斷提升，地質勘查工作向縱深發展，地學數據庫中的數據量常常達到幾百GB，甚至以TB計量。用戶要從海量、繁雜的數據中獲取最豐富的信息，須采用相關的技術簡化數據的存儲、組織和檢索工作，從而快速訪問、方便更新和高效使用存儲空間[2]。在地理信息系統中，查詢處理是地理信息處理的重要組成部分，而查詢效率又是用戶最為關心的問題，如何對其進行優化是提高地理信息服務質量的重要途徑。

在早期的研究中，基于國內外普遍采用的索引、存儲、精簡表關聯、有意冗余等方法，雖然取得了較大的進展，但仍然未能從本質上解決數據的存儲與檢索問題。檢索數據的關聯性較差、冗余度較高等現象仍較為顯著，為解決此方面問題，規范檔案管理等相關工作，提高檢索效率與檢索信息的針對性，文章將以數字化地質檔案為例，開展海量時空數據關聯性自動搜索方法的設計。

1數字化地質檔案海量時空數據時間修正

為滿足數字化地質檔案海量時空數據關聯性自動搜索需求，文章采集時空數據，進行數據的時間修正。在采樣頻率較高的情況下，在時間域內，環境參量等的物理信息表現為連續的光滑曲線，為實現在較短時間內將時空數據變化近似為連續曲線，文章引進最小二乘多項式擬合方法，獲得數據對應時刻的參數估算值并對其進行修正[3]。數據擬合的過程如公式（1）所示。

公式中： K 表示擬合后的數據； i 表示第 i 個數據;Y表示數據的誤差平方和； P 表示多元函數； m 表示時空數據中的多項式階數； x 表示原始采樣數據。完成數據的擬合后，文章利用主元素法，得到設定時間參量下的空間參數，通過系統回代計算，得到參數估計值。在此基礎上，文章引進時間修正系數，按照公式（2），進行海量時空數據的時間修正4]

公式中： X 表示修正后的時空數據； χ_t 表示修正時間點； d 表示當前時間點下的參數采樣值； 表示當前時間點下的參數估計值; δ 表示修正閾值; d_max 、d_min 表示 d 的最大值與最小值。參照上述方式，文章設定時間修正閾值，根據閾值標準，實現數字化地質檔案海量時空數據的時間修正。

2基于空間支持度的時空數據關聯性融合

完成時空數據的時間修正后，考慮到隨著時空數據量的增加，數據之間的分布密度越來越大，為滿足自動檢索中的數據高度關聯需求，文章設定數據所處的環境參量（即物理量）必須是一個連續的、平滑的曲面。如存在傳感節點讀入錯誤數據，則此數據的點位會被其他節點數據占據。因此，文章根據方向參量的變化速率判定數據是否存在異常[5]。文章在排除數據異常的前提下，進行數據的空間支持度計算，以此為依據，進行時空數據的關聯性融合。時空數據的空間支持度計算公式如下：

公式（3）中： G 表示時空數據的空間支持度； E 表示調整系數； N₁，N₂ 表示參數變化率差值小于閾值的節點數量、檢索到的時空節點數量； s 表示 E 的敏感度系數。根據上述公式的計算結果，文章明確時空數據的豐富度與檔案數據存儲終端網絡子節點數量具有直觀關聯，子節點的數量越多，表示對應區域的融合數據占比越大[6。根據子節點的空間密度，文章按照公式（4），進行時空數據的關聯性融合處理。

公式（4）中： R 表示時空數據關聯性融合；表示時空修正系數的權重、時空支持度的權重；Ndata，i表示子節點的數據豐富度。

3數據自動檢索

在上述設計內容的基礎上，文章引進“時空 + ”的多維索引結構，設計數據的自動檢索。為滿足檢索過程的自動化需求，文章運行HBase機制，在建立HBase數據庫的基礎上，將數據庫中的查詢條件加入數據庫中，包含空間、時間等多個維度的查詢要求[7]。基于輸人條件，文章建立數字化地質檔案海量時空數據的三維網格，對網格進行編碼，與其他維條件一起確定自動化檢索中的行關鍵集。

考慮到行關鍵字是按照詞典順序劃分的，可能存在不唯一性與不連續性。因此，文章在獲取數據時，須將行關鍵字進行分組，通過此種方式，決定檢索中的每個起始和結束行的關鍵字集合。將空間坐標（x，y） 與時間戳 χ_t 映射為HBase行鍵（RowKey），確保時空連續性。計算公式如下：

k_r=H_ash（x）°ledastH_ash（y）°ledastT（t）°ledastS_q

公式中： k_r 表示唯一行鍵； H_ash（x） ， H_ash（y） 表示空間坐標的哈希值； T（t） 表示時間戳的離散化處理；S_q 表示序列號，解決同一網格內數據沖突； 表示字

符串拼接。其中，時間戳的離散化處理 T（t） 計算過程如下：

公式中： t₀ 表示基準時間； Δt 表示時間分片間隔。

在數據檢索流程中，文章基于HBase的行鍵群順序執行高效數據掃描。具體步驟如下：首先，依據輸入的時空查詢條件，確定待掃描的行鍵群集合，按詞典序依次遍歷。在掃描過程中，利用HBase的外過濾器機制，對行鍵匹配的數據進行初步篩選，僅保留符合索引條件的記錄，暫存至結果集。隨后，系統判定當前行鍵群是否已遍歷完畢。若未完成，則自動進入下一行鍵群，重復上述掃描與過濾步驟，直至所有行鍵群處理完畢。

為進一步提升數據質量，文章對檢索結果實施二次篩選。首先，通過時間相關性分析，剔除瞬時異常數據。其次，利用空間相關性分析，識別并過濾永久性錯誤數據[8]。通過兩級篩選，確保終端展示的數據既滿足時空連續性要求，又具備高精度與低冗余特性，顯著提升地質檔案等時空數據的檢索與應用價值。

在篩選中，文章需要先在特定的抽樣頻率下進行檢索數據收集，對抽樣的數據進行時序判定，針對普通數據，文章可直接傳送到終端。針對存疑或異常數據，文章將其劃分為瞬時誤差與永久誤差2種類型。對于瞬時誤差，文章應將其剔除，若不考慮，則進行數據的二次篩選，根據生成異常數據的結點在聚類中的百分比判定，篩選出永久錯誤數據。按照上述步驟，文章完成數據自動檢索與冗余處理。

4實例應用分析

4.1實驗準備

為實現對設計方法在實際應用中效果的檢驗，文章選擇某數字化地質檔案管理單位作為本次實驗的研究試點，采集部分經過脫敏處理后的時空數據作為實驗中的樣本數據。樣本數據規模與格式如表1所示。

表1樣本數據規模與格式

為確保自動檢索過程中數據的規范性，避免相關因素對實驗結果造成影響，可在上述內容的基礎上，按照表2所示的內容，進行自動檢索終端技術參數的設計。

表2自動檢索終端技術參數

完成測試環境的構建后，將樣本數據錄人測試機，按照下述提出的指標，對數字化地質檔案海量時空數據關聯性自動搜索方法展開測試。

4.2自動檢索時空數據關聯性檢驗

數字化地質檔案海量時空數據自動檢索關聯性檢驗是對地理文件時空關聯價值進行系統性分析和評價的一項關鍵技術，地質記錄中含有大量的時間和空間信息，例如：地層的形成時代和空間分布。以不同形式、來源的數字化地質記錄數據為研究對象，研究設計的方法是否能夠自動準確地識別出時空相關性。

為滿足實驗結果的對比性，在該指標的測試中，引進高子軼等[1]、范曉亮等[2]提出的方法，將其作為對照，對3種方法的測試結果進行綜合分析，如圖1所示。

從圖1自動檢索時空數據關聯性檢驗結果來看，本文方法在數字化地質檔案海量時空數據自動檢索關聯性檢驗中展現出顯著優勢。在對比實驗里，本文方法檢索數據間的關聯度始終維持在較高水準，平均高達 92% ，這充分表明其具備強大的時空相關性識別能力。反觀高子軼等[1]、范曉亮等[2]提出的方法，檢索數據關聯性明顯較低。這一差距反映出本文方法在設計與算法優化上的獨特之處。本文方法通過更為精細的特征提取算法，精準捕捉地質記錄中時間和空間信息的關鍵特征，無論是地層形成時代這類時間線索，還是空間分布等空間要素，都能被有效識別并關聯。同時，在數據匹配與關聯分析環節，依據海量數據訓練出高度精準的關聯判斷機制，從而確保檢索結果的高關聯度。實驗結果有力證明了本文方法在自動檢索關聯性檢驗方面的可靠性與高效性，為后續數字化地質檔案時空數據的深度挖掘與利用提供了堅實的技術支撐。

4.3檢索數據中冗余數據統計

冗余性用于衡量檢索后數據集中冗余信息的比例。在數據提取中，由于數據的重復輸入和跨源數據的交叉，會產生大量的冗余數據。如檢索后數據集合中含有大量的冗余數據，則表明該方法的效率和質量均相對較差，從而影響后續的數據分析精度和效率。反之，如檢索數據中的冗余數據量較少，說明設計的方法應用效果良好，可以在檢索中保留價值信息，刪除無用信息。對該指標的檢驗結果進行分析，如圖2所示。

圖2檢索數據中冗余數據統計結果

從圖2檢索數據中冗余數據統計結果來看，本文方法在處理數字化地質檔案海量時空數據關聯性自動搜索時，展現出對冗余數據出色的控制能力。檢索數據中冗余數據量極少，這一表現凸顯了本文方法的高效性與高質量，本文方法能夠有效減少冗余數據，說明其在數據檢索環節具備精準篩選的能力。高子軼等[1、范曉亮等方法檢索出的數據中攜帶了較多冗余信息與無用信息。這表明2種方法在數據檢索和篩選過程中，未能有效過濾不必要的數據，導致檢索結果質量欠佳。這一結果有力地證明了本文方法在減少冗余數據方面的優越性，不僅能夠提高數據檢索的效率，還能為后續的數據分析提供更純凈、更有價值的數據集，有助于提升整個數字化地質檔案數據處理的準確性和可靠性。

5結語

數字化地質檔案作為地質科技檔案室的主要組成部分，是我國地質工作的核心構成。隨著電子計算機科技的發展，人類社會的信息化進程也隨之來臨。在地礦行業以及企業中，傳統的紙質檔案數據管理已經不能滿足當前信息時代飛速發展的需求，而現有的服務模式已經越來越不能滿足現在的用戶要求。在全新的歷史條件下，如何更好地適應新的形勢，已成為我國地質檔案工作人員面臨的一個重大而迫切的課題。因此，要跟上時代的腳步，構建和逐步健全地質檔案數據的數字化管理方式，助力我國地礦產業和整個部門的地質檔案數據管理等相關工作。本文通過數字化地質檔案海量時空數據時間修正、基于空間支持度的時空數據關聯性融合、數據自動檢索，完成了此次設計，通過對數字化地質檔案海量時空數據關聯性自動搜索，為技術人員的檔案管理與相關工作的規范化實施予以技術支持，從而提高檔案錄入、檢索的效率。

參考文獻

[1]高子軼，宋智淵，張海平，等.西寧市旅游基礎設施時空格局演變及關聯性研究［J].干旱區資源與環境，2023（3）：195-202.

[2]范曉亮，彭朝鵬，鄭傳潘，等.面向大規模交通網

絡的時空關聯挖掘方法[J].清華大學學報（自然科學版），2023（9）：1317-1325.

[3]王紅霞，王波，張嘉鑫，等.基于聲陣列時空關聯特征融合的不平衡局部放電類型識別方法[J].高電壓技術，2024（5）：1913-1922.

[4]唐云，王義鳳，桂舟.基于長時序夜間燈光數據的南京市城區范圍時空分異研究［J].江蘇科技信息，2023（13）：75-80.

[5]王亭，李龍，馬靖皓，等.不同來風方向對風電機組發電性能的數據分析研究[J].新能源科技，2024（3）：25-32.

[6趙星越，林艷，丁正焱.基于自動車牌識別數據的團伙犯罪時空關聯車輛發現方法[J].地球信息科學學報，2024（12）：2701-2711.

[7]周啟帆，劉海旭，董志鵬，等.基于軌跡數據的大規模路網交通擁擠時空關聯規則挖掘[J].系統仿真學報，2024（1） ：260-271.

[8]姚宏.基于深度學習的課堂交互行為數據搜索方法[J].無線互聯科技，2024（21）：123-125.

（編輯 王永超）

Automatic search method for correlation of massive spatio-temporal data in digital geological archives

E Qinlian （Qinghai Provincial Natural Resources Museum， Xining 81Oooo，China）

Abstract：To improvethecorelationofretrieveddataandreducedataredundancy，thisarticletakes digital geological archives as an example todesign anautomaticsearch method for masive spatiotemporaldatacorrelation.The article introduces the least squares polynomialfting method to obtain parameter estimates atthe corresponding time of data， and performs timecorrectionon massive spatiotemporal data of digital geological archives.Onthe premise of excluding data anomalies，thearticle calculates the spatial supportof thedataand performs spatiotemporaldata corelation fusion based on the calculationresults.The article introduces a multidimensional indexing structure of“spatiotemporal + ” and designs automatic data retrieval.The comparative experimental results showthat the designed method notonly ensures high correlation betweenautomaticallyretrieved spatiotemporal data，but alsoreduces the redundancyof retrieved data and optimizes data quality.

Key words：digital geological archives；spatial support degree；time corection;automatic search method;correlation fusion;massive spatio-temporal data