基于B/S架構的海量空間數據并行上傳方法研究

摘要：傳統海量空間數據并行上傳方法直接對空間數據上傳系數指標進行計算，未對空間數據進行劃分，造成上傳效率低。文章提出基于B/S架構的海量空間數據并行上傳方法。對空間數據進行劃分，根據劃分結果計算空間數據上傳系數指標，從而進行空間數據預處理，基于B/S架構空間數據上傳流程實現海量空間數據并行上傳，并設計對比實驗。實驗結果表明，該研究方法具有更高的上傳效率，更具有應用價值。

關鍵詞：B/S架構；海量空間數據；方法研究；并行上傳方法

doi：10.3969/J.ISSN.1672-7274.2024.01.001

中圖分類號：G 642，TP 3? ? ? ? ? ? 文獻標志碼：A? ? ? ? ? ? 文章編碼：1672-7274（2024）01-000-04

Research on Parallel Uploading Method of Massive Spatial Data Based on BS Architecture

LIU Chunwei

（National Supercomputing Tianjin Center， Tianjin 300457， China）

Abstract： The traditional parallel upload method for massive spatial data directly calculates the spatial data upload coefficient index without partitioning the spatial data， resulting in low upload efficiency in traditional methods. Propose a parallel upload method for massive spatial data based on BS architecture. Divide spatial data， calculate spatial data upload coefficient indicators based on the partition results， and preprocess spatial data. Based on the B/S architecture spatial data upload process， achieve parallel upload of massive spatial data. Design comparative experiments， and the experimental results show that this research method has higher upload efficiency and practical application value.

Key words： BS architecture; massive spatial data; method research; parallel upload method

移動互聯網發展的趨勢和特點要求其能夠為人們提供更及時、更多樣的服務^[1]。只有當服務能夠快速響應時，才能獲得良好的客戶感知。中國電信的數據目前分布在不同省份的IT系統中^[2]，為了提供統一的外部服務，應首先使用單一平臺和省級接口收集數據，然后提供外部服務^[3]。由于這一選擇過程長、時間短，因此將各省的大數據集中到單一的國家數據平臺，然后通過單一平臺提供外部服務^[4]。這是一種有效而快速的方法，為了集中保存數據，每個省份都需要將數據上傳到集成平臺上^[5]。大多數數據都有一個非常重要的加載過程和方法選擇。為了上傳數據，應該快速刪除舊數據，并寫入新數據^[6]。由于連接的時間限制，應避免數據庫操作耗時。可以使用開發周期短、獨立于用戶平臺的基于B/S架構的管理系統，其具有易于實現交互式應用程序的優點。這種類型的管理系統主要用于信息交換、各種數據報告等。這些數據的存儲和更新頻率在實際工作中相對較高，一些周期較長的部門需要更改一些重要數據。在創建系統時，便制定了在線數據維護程序，如今，Excel電子表格軟件已被納入所有現代辦公室中，我們希望在正確提供Excel數據的基礎上，能有一個直接將Excel數據導入數據庫的中間橋梁^[7]。本文提出基于B/S架構的海量空間數據并行上傳方法，可以將空間數據上傳到數據庫中。B/S體系結構具有靈活性和可變特性，在實際項目開發中，B/S體系架構可用于數據處理。為確保在數據處理過程中數據的準確性，保證在一些相對復雜的指令分析后數據的系統性和完整性，更好地實現日常業務監控和輔助的影響，應分析和審查加載和存儲大型空間數據所產生的各種問題，在B/S架構的基礎上，建立一個大型數據服務系統，并對系統進行運行性能驗證，保證獲取的處理結果可靠和穩定，從而實現智能化運行。

1? ?基于B/S架構的海量空間數據并行上傳方法設計

1.1 空間數據劃分

空間數據劃分應注意兩點：首先在空間數據劃分過程中保持鄰域特征；其次在劃分過程中反映存儲單元之間的活動差異，以平衡數據的負擔。近似地將空間數據分布的代表性方法用于空間數據的分布，用于在相同大小的網絡中的數據分布。根據某些規則對每條網絡數據進行編碼，用于在一定程度上保持空間接近性以及用于將空間數據大小減小為一維空間的表示。由于希爾伯特曲線是按空間的線性階填充的，并且符合不同階希爾伯特網絡之間的平方分離規則，因此可以基于平方根的子網格進行分層分離編碼，以獲得下一個希爾伯特子網絡編碼級別，這種方式可以解決劃分整個空間的需要，從而獲得良好的劃分效果。在分析上述B/S架構并行規劃模型和空間數據劃分思想的基礎上，在B/S架構平行規劃模型的基礎上采用希爾伯特曲線層次劃分方法和臨界值極限，確保劃分后空間數據的鄰近性以及在多個存儲設備上的均衡劃分，空間數據劃分算法流程如圖1所示。

在本研究中，針對空間數據的數據調整的通信采取強度調制/直接檢測（IM/DD）方式。該等效模型的信道基帶如下：

式中，時間離散為t；接收成像數據入射角為n（t）；數據上傳速率為y（t）；收端數據接的視場角為τ；信道的脈沖響應函數為h（t）；直流增益信道為x（t）；數據接收端的響應速率為R。基于圖1中的空間數據上傳流程，通過獲得多邊傳播效應和DC提取參數調整數據上傳方法。根據式（1）所示等效模型以及脈沖響應函數，式（1）還可以表示無線信道的多路分布影響，假定信道的最小延遲時間為t₀，如式（2）所示：

式中，視場角為F。信道DC的增加與數據捕獲功能、傳輸、數據傳輸距離等有關，假設參數直流增益為Ψ，最大時數據傳輸速率的輻射角為Φ，信號截取時間為d²，有效數據傳輸面積為A，則基帶信號H（0）表示為

式中，玻耳茲曼常數為d；通信信道數據上傳增益函數為cos^m（Φ）；輸出功率為T（Ψ）；朗伯體階數為m。從公式（1）至式（3），獲取到空間數據的頂部通信的信道參數。由于通道具有固定特性，因此通道通常被認為屬于準靜態。

基于希爾伯特曲線的分布層次所提出的空間數據分布思想：根據空間數據對象的數量n確定Hilberth（希爾百特）曲線的初始順序m和子網絡層次結構的中斷階數M，并將整個空間范圍除以2×2。Hilberth編碼由空間對象組成，累積每個空間對象原始編碼的數據量K。如果數據總量超過存儲單元的平均存儲量V，則以相同方式劃分第四個子網。計算下一級網絡希爾伯特編碼，直到給定相應數量的空間對象存儲節點或子網絡層次結構的層次分解數量，隨即停止子網絡的層次劃分。這不僅確保了空間數據的接近性，而且大致平衡了劃分后的數據量。使用的公式如下：

在使用平衡的數據劃分方法的前提下，節點之間的負載應該是平衡的，以反映節點之間活動的差異。在空間數據劃分過程中，使用單位容量檢測方法來確定每個存儲單位容量的臨界值p_low和p_high，計算兩個值的公式為

式中，S_i為第i個單元的物理地址范圍，通過確定每個單元的資源（例如100GB單元，300GB單元）的標準權重W_i來確定，并且該值的確定與物理單元的量k有關，k∈[0，1]。

1.2 計算空間數據上傳系數指標

根據上述公式計算空間數據上傳系數指標。在數據收集過程中，由于存在能量場干擾信號傳輸，影響數據接收的效果，所以必須計算其系數。能量場產生的干擾信號通過傳輸數據被限制在系統帶寬內。帶寬為B，假設系統熱力學溫度（K）為T，則功率計算公式為

式中，數據接收端和數據輸出端之間的距離為k，即k=1.38×10^-23J/K。由于輸出和輸入之間存在不連接的信號和噪聲關系，系統需要根據系統加載的文件來計算系數。假設光學透鏡接收機的透過率用Nout來表示；輸出信號功率用Sout來表示，用Nin來表示輸入功率，用Sin為系統輸入信號功率，則系統上傳文件產生的系數N為

式中，輸入端的信噪比為Sin/Nin，輸出端的信噪比為Sout/Nout。加載過程包括數據傳輸、空間區域異常反應監測。可以使用十進制顯示，即：

從式（10）可以看出，內部和外部系數越低，影響因素也越低，對數據加載的影響越小。上傳數據時，內部和外部系數越大，數據發布時產生的系數指標越小，數據管理時產生的系數指標越大。

1.3 基于B/S架構實現海量空間數據并行上傳

在分析B/S架構海量空間數據并行上傳時，基于B/S架構的并行空間數據劃分算法主要分為以下幾個階段：數據集共享，數據預處理，空間數據劃分。

圖2顯示了基于B/S架構空間數據上傳流程。在上述計算空間數據上傳系數指標的基礎上，進行空間數據預處理，從而實現基于B/S架構的空間數據的并行上傳。

2? ?實驗論證

系統測試主要分析和檢驗B/S架構下海量空間數據并行上傳方法實際應用效果。為了比較最終測試結果的穩定性和可靠性，本文將傳統方法1和傳統方法2作為測試對照組，在同一環境下上傳海量空間數據，并對最終結果進行分析。

2.1 實驗準備

平臺電壓范圍為3 V至5 V，ADC核心方案為連接到PCIExpress連接器并連接到電源的5 V USB接口芯片。在確認芯片是否穩定時，使用示波器進行處理。應進行通道信號調整、ADC采集調整和FPGA緩沖區測量平臺。根據其在B/S架構框架內的可信度要求和標準，制定數據服務計劃，規定針對單實施指令的響應反饋時間在0.2秒至0.5秒。指定服務的基本性能參數，如表1所示。

通過表1可以完成對指令指標數值的設定與分析。對指令數據調整后，建立起穩定的測試環境。檢查測試設備和平臺運行是否穩定，并確保沒有外部因素影響最終測試結果。確認無誤后，開始測試系統。準備300個空間數據信息，并在其中配置多個監控單元。每個監測單元是獨立的，在實際應用中應引入指令關聯。此外還需要計算單元之間的差異，具體如式（11）所示。

式中，執行誤差為a²；核心執行距離為u；監測節點數量為a；執行比為θ₁；單元處理差值為Y。通過上述計算結果，可以獲得單元處理差異。進一步分析和驗證數據上傳響應時間和測試結果，如表2所示。

2.2 對比實驗

根據表2所示測試結果可知，本文方法服務響應時間相對較短，與傳統方法1和傳統方法2相對比，分別平均減少1.23 s和2.39 s，這表明本文所述方法具有更高的上傳效率，更具有應用價值。

3? ?結束語

在大數據信息技術的發展過程中，海量數據的收集和應用是一種發展趨勢。本文提出了一種基于B/S架構的空間數據上傳方法，使數據和空間信息更精細完整，對海量數據的上傳、數據加載過程以及讀寫過程的提出了合理的技術建議。

參考文獻

[1] 葉志堅，江志鋼，胡發國，等．基于BS架構的電液定位絞車遠程監控系統的設計與實現[J]．黑龍江科學，2023，14（6）：76-78.

[2] 鄭斌，李小勇，閆迷軍，等．一種基于BS架構的車載嵌入式系統維護軟件的設計與實現[J]．鐵道機車車輛，2020，40（5）：40-43.

[3] 高國慶，李光亞，張超，等．文物信息系統數據管理方法研究[J]．工業控制計算機，2023，36（3）：110-112.

[4] 林躍茂，鄒超，張偉仁，等．基于BS架構的大數據服務平臺設計[J]．無線互聯科技，2022，19（24）：95-97.

[5] 苑曉晴，劉春波，陳俊豪，等．高速旋轉機械運行監測數據上傳方法研究[J]．機電工程，2023，40（3）：377-383.

[6] 李涵秋，魏達，朱建啟，等．一種“北斗”導航星座數據上注的動態鏈路樹路由方法[J]．電訊技術，2021，61（12）：1521-1525.

[7] 辛鳳陽，王忠鑫，田鳳亮，等．基于BS架構的露天礦連續工藝一體化管控平臺設計與實現[J]．金屬礦山，2021（12）：177-182.

作者簡介：劉春偉（1987-），男，漢族，河北唐山人，工程師，碩士研究生，研究方向為B/S架構應用開發，并行計算。