基于實時數(shù)據(jù)庫的“點位倉庫”技術研究

引言

隨著工業(yè)互聯(lián)網、智能制造和數(shù)字化轉型進程的不斷推進，各行業(yè)對現(xiàn)場生產數(shù)據(jù)的實時采集、集中管理和智能應用提出了更高要求。現(xiàn)場環(huán)境中產生的數(shù)據(jù)類型日益豐富，包括傳感器監(jiān)測數(shù)據(jù)、設備運行狀態(tài)數(shù)據(jù)、報警信息數(shù)據(jù)、生產過程參數(shù)等，且數(shù)據(jù)規(guī)模持續(xù)擴大，變化頻率高、更新周期短，傳統(tǒng)的數(shù)據(jù)管理體系難以有效應對海量實時數(shù)據(jù)的采集、存儲和應用挑戰(zhàn)1]。同時，現(xiàn)有的數(shù)據(jù)存儲方式多以孤島式分散管理為主，不同系統(tǒng)、不同來源的數(shù)據(jù)標準不一、命名混亂、數(shù)據(jù)質量參差不齊，導致數(shù)據(jù)整合困難，系統(tǒng)間難以協(xié)同，數(shù)據(jù)應用效率低下。此外，隨著工業(yè)互聯(lián)網場景下業(yè)務系統(tǒng)數(shù)量的持續(xù)增長，數(shù)據(jù)接口管理混亂、標準不統(tǒng)一、內容不透明等問題日益突出，用戶無法根據(jù)自身需求靈活、自主地定制所需數(shù)據(jù)，接口開發(fā)與維護成本高昂，數(shù)據(jù)變更響應周期長，嚴重制約了數(shù)據(jù)價值的深度挖掘與創(chuàng)新應用2]。

在此背景下，基于實時數(shù)據(jù)庫的“點位倉庫”技術應運而生，通過建設集實時數(shù)據(jù)與業(yè)務數(shù)據(jù)于一體的中心化存儲平臺，規(guī)范點位數(shù)據(jù)的結構、分類與屬性標準，細化管理點位名稱、編號、單位、分類、閾值等元信息，打破數(shù)據(jù)孤島，實現(xiàn)跨系統(tǒng)、跨場景的數(shù)據(jù)資源統(tǒng)一管理3；圍繞點位倉庫建設，同步搭建統(tǒng)一接口管理平臺，將各類數(shù)據(jù)接口進行標準化、規(guī)范化、輕量化管理，建立透明的數(shù)據(jù)內容總覽體系，賦能用戶按需自主定制數(shù)據(jù)接口，提升數(shù)據(jù)服務的靈活性與敏捷性，顯著降低接口開發(fā)和維護成本[4，為推動企業(yè)數(shù)字化轉型和智能化升級提供重要底層技術支撐。

1.點位數(shù)據(jù)管理規(guī)范設計思路

點位數(shù)據(jù)作為現(xiàn)場各類生產、監(jiān)測、控制等系統(tǒng)的基礎信息單元，其標準化管理直接影響數(shù)據(jù)的整合效率、數(shù)據(jù)利用效果，以及后續(xù)智能應用系統(tǒng)的開發(fā)與運維水平5。點位數(shù)據(jù)管理規(guī)范設計思路包括以下四個方面。

首先，確立點位數(shù)據(jù)標準建模體系，從點位的基本信息、擴展屬性、業(yè)務特性、關聯(lián)關系等多個維度，定義統(tǒng)一的數(shù)據(jù)字段、命名規(guī)范和分類體系，做到信息要素全面、層級關系清晰、命名唯一可識別。

其次，推行垂直細分類存儲機制，將所有點位按照功能模塊、應用場景進行多層級、細粒度的分類管理，如火氣監(jiān)測、工藝流程、關鍵設備、報警系統(tǒng)、透平發(fā)電、全名為數(shù)據(jù)采集與監(jiān)視控制（SCADA）系統(tǒng)等，從而提升檢索效率和應用靈活性。

再次，強化元數(shù)據(jù)與業(yè)務數(shù)據(jù)融合管理，不僅管理點位的靜態(tài)屬性，還須覆蓋報警閾值、狀態(tài)規(guī)則、采集頻率、數(shù)據(jù)重要度等動態(tài)業(yè)務屬性，使點位數(shù)據(jù)具備更強的業(yè)務支持能力。

最后，配合接口超市建設，確保所有點位數(shù)據(jù)通過標準接口統(tǒng)一發(fā)布，實現(xiàn)數(shù)據(jù)內容透明化[8、接口調用標準化，提升數(shù)據(jù)開放利用的便捷性和安全性。

通過上述標準化設計，可以確保點位數(shù)據(jù)從建模、采集、存儲、發(fā)布到應用全過程具備統(tǒng)一、規(guī)范、透明的特點，為后續(xù)系統(tǒng)建設、數(shù)據(jù)分析、智能應用提供堅實的數(shù)據(jù)基礎支撐。同時，通過標準體系的不斷迭代優(yōu)化，也能夠持續(xù)支撐業(yè)務擴展與工業(yè)互聯(lián)網應用環(huán)境下日益增長的多樣化數(shù)據(jù)管理需求。

2.“點位倉庫”建設方案

在工業(yè)互聯(lián)網及智能化油氣生產體系快速發(fā)展的背景下，為有效應對現(xiàn)場數(shù)據(jù)高頻采集、異構類型、多系統(tǒng)協(xié)同應用等復雜場景需求，“點位倉庫”采用了“國產化實時數(shù)據(jù)庫 ^°+ 國產化業(yè)務數(shù)據(jù)庫”的雙庫協(xié)同建設模式。其中，國產化實時數(shù)據(jù)庫（如SUPCONiSYS）主要負責承載現(xiàn)場各類生產實時數(shù)據(jù)，包括溫度、壓力、流量、電參量等來自傳感器與設備的高頻采集數(shù)據(jù)，具備高速寫入、毫秒級查詢、壓縮存儲和實時推送等特性，適用于各類工藝過程的動態(tài)監(jiān)測、報警聯(lián)動及曲線分析。而國產化業(yè)務數(shù)據(jù)庫（如KingbaseES）則用于存儲點位的主數(shù)據(jù)、元數(shù)據(jù)及業(yè)務邏輯信息，如點位名稱、編號、單位、分類、報警上下限、采集周期等，支持復雜結構建模、關系查詢、事務一致性管理，便于支撐信息系統(tǒng)的配置管理、數(shù)據(jù)權限控制與邏輯判斷等高層業(yè)務需求[10]。雙庫通過統(tǒng)一的點位ID建立數(shù)據(jù)關聯(lián)，并構建聯(lián)動機制，實現(xiàn)點位元數(shù)據(jù)變更與實時采集策略的同步更新，確保數(shù)據(jù)一致性與響應敏捷性。對外則通過接口服務平臺進行統(tǒng)一封裝，將兩類數(shù)據(jù)通過標準化接口進行集中發(fā)布，支持多系統(tǒng)調用和自助訂閱。

3.“點位倉庫”系統(tǒng)整體架構

“點位倉庫”系統(tǒng)整體架構如圖1所示。

如圖1所示，“點位倉庫”整體架構采用“數(shù)據(jù)層一數(shù)據(jù)接口層一應用層”的三級分層設計理念，構建了以微服務平臺為核心的數(shù)據(jù)服務中樞，實現(xiàn)了數(shù)據(jù)的集中管理、靈活調用和高效服務支撐。

底層為數(shù)據(jù)層，整合了多個數(shù)據(jù)資源中心，涵蓋點位基礎數(shù)據(jù)信息、點位歷史數(shù)據(jù)信息、點位實時數(shù)據(jù)信息、生產類業(yè)務數(shù)據(jù)和安全類業(yè)務數(shù)據(jù)，為上層應用提供多源異構的統(tǒng)一數(shù)據(jù)支撐。

中間層為數(shù)據(jù)接口層，基于SpringBoot框架構建微服務架構體系，集成JVM、AOP、DI、JDBC、REST、ORM等組件，具備良好的模塊化和擴展能力，并結合Docker容器技術，實現(xiàn)服務部署的彈性管理和可移植性。在微服務框架基礎上，系統(tǒng)通過服務注冊、網關路由、認證鑒權、服務發(fā)布、服務監(jiān)控、負載均衡、日志記錄等機制，保障各項接口服務的可靠性與安全性。同時，接口層還構建了完善的接口生命周期管理體系，包括從接口分類到接口生成的各項模塊。

上層為應用用戶層，涵蓋多個核心業(yè)務系統(tǒng)，包括指揮中心、安全風險預警平臺、操控中心、生產應用平臺、數(shù)字孿生應用、人工智能應用和其他業(yè)務應用。各業(yè)務系統(tǒng)可通過微服務平臺提供的RESTfulAPI和JSON格式數(shù)據(jù)進行靈活接入與調用，實現(xiàn)統(tǒng)一數(shù)據(jù)視圖和統(tǒng)一服務輸出。

4．“點位倉庫”系統(tǒng)的實現(xiàn)

在“點位倉庫”系統(tǒng)上線前后，為全面驗證其在實際生產環(huán)境下的性能表現(xiàn)、數(shù)據(jù)支持能力和業(yè)務適配性，筆者開展了一系列系統(tǒng)測試工作，涵蓋數(shù)據(jù)接入效率、存儲穩(wěn)定性、接口響應性

應用層 指揮中心 安全風險 預警平臺 操控中心 生產應用 平臺 數(shù)宇孿生 應用 人工智能 應用 其他業(yè)務 應用----- 接口分類 接口鑒權 接口申請 接口調用 數(shù)據(jù)項總覽 數(shù)據(jù)項定制 接口生成HTML 數(shù)據(jù)集成 日志記錄

數(shù)據(jù)接口層 組件庫 JavaScript 數(shù)據(jù)連 接管理 數(shù)據(jù)發(fā)布 1 數(shù)據(jù) JSON微服務 C5S 數(shù)據(jù)鏈接管理 RESTful API平臺 EEEEEEES5858服務注冊 網關路由 認證鑒權 服務發(fā)布 服務監(jiān)控 負載均衡 日志記錄AOP DI JDBC REST ORM 1=SpringBoot JVM容器管理 Docker 國 國 國 國 √二

數(shù)據(jù) 點位基礎數(shù)據(jù)信息 點位歷史數(shù)據(jù)信息 點位實時數(shù)據(jù)信息 生產類業(yè)務數(shù)據(jù) 安全類業(yè)務數(shù)據(jù)

層

能、并發(fā)訪問能力、數(shù)據(jù)一致性保障等關鍵指標。測試環(huán)境模擬真實油氣生產現(xiàn)場，接入包括壓力、溫度、流量、電參量等典型點位共計25000個，采集周期最小為1秒，測試周期持續(xù)30天，全面覆蓋了系統(tǒng)高峰負載與穩(wěn)定運行階段，測試維度及結果如表1所示。

表1測試結果表明，“點位倉庫”系統(tǒng)在多個關鍵性能指標上均表現(xiàn)優(yōu)異，充分驗證了其在復雜工業(yè)場景下的實用性與穩(wěn)定性。在實時數(shù)據(jù)接入能力方面，系統(tǒng)在接入25000個點位、1秒采集周期的高并發(fā)條件下，平均寫入延遲控制在35毫秒以內，接入數(shù)據(jù)零丟包，顯示出良好的高頻采集能力。在業(yè)務數(shù)據(jù)同步效率方面，點位屬性和報警規(guī)則等元數(shù)據(jù)更新后可在1.2秒內完成同步，保障了實時數(shù)據(jù)與業(yè)務邏輯之間的一致性。接口調用響應性能測試中，在模擬10個業(yè)務系統(tǒng)同時調用、峰值達到1500QPS的壓力下，系統(tǒng)接口平均響應時間保持在100毫秒以內，接口可用性超過99.99% ，滿足高并發(fā)訪問需求。

同時，系統(tǒng)在數(shù)據(jù)一致性與容錯能力方面表現(xiàn)優(yōu)異，在斷連、異常、恢復測試中實現(xiàn)了 99.98% 的數(shù)據(jù)一致性，歷史數(shù)據(jù)完整可追溯。在用戶自定義接口構建能力方面，業(yè)務系統(tǒng)使用接口生成模塊進行字段定制與組合接口開發(fā)，接口生成成功率為 100% ，接口上線周期由原來的2周縮短至1天。在系統(tǒng)資源利用與可擴展性方面，通過監(jiān)測測試全過程中的系統(tǒng)資源占用情況得知，系統(tǒng)平均資源利用率約 65% ，無性能瓶頸。

此外，在歷史數(shù)據(jù)查詢與調用能力方面，系統(tǒng)支持多時間尺度的歷史數(shù)據(jù)快速查詢（如日、周、月），日級數(shù)據(jù)響應時間在1秒以內，支持高效歷史曲線加載，能夠滿足趨勢分析和運維回溯等多樣化應用需求。在異常處理與審計能力方面，筆者模擬非法變更、斷電、配置沖突等異常觸發(fā)場景，系統(tǒng)具備詳細日志記錄、權限溯源、版本快照機制。

結語

本文圍繞“點位倉庫”建設展開，系統(tǒng)提出并實踐了基于國產實時數(shù)據(jù)庫與業(yè)務數(shù)據(jù)庫的“雙庫協(xié)同”模式，構建了具備實時性強、結構清晰、接口規(guī)范、擴展靈活等特征的中心化數(shù)據(jù)管理體系。該研究不僅為多系統(tǒng)、多場景的數(shù)據(jù)融合應用提供了強有力的支撐，具有良好的推廣價值和現(xiàn)實意義。

參考文獻：

[1]郭家鼎，王鵬.基于數(shù)據(jù)倉庫的典型圖查詢處理技術[J].計算機工程，2023，49（9）：32-42.

[2]李雪.維數(shù)據(jù)倉庫建模技術及其在數(shù)據(jù)建模中的應用[J].工業(yè)A，2023，1（4）：4-10.

[3]仇巍巍，齊書花，高宇.測繪地理信息統(tǒng)計準實時數(shù)據(jù)倉庫架構的設計及應用[J].科技管理研究，2023，43（20）：232-238.

[4]孫洪亮.基于人工智能的智能可視化倉庫及智能倉庫技術研究].工程技術，2024，1（3）：101-111.

[5]張峰，閻朝東，王春燕.數(shù)據(jù)湖與數(shù)據(jù)倉庫融合的策略與實踐[J].計算機應用文摘，2024，40（14）：159-161.

[6]羅世剛，梁琛，李亞昕.基于PI實時數(shù)據(jù)庫的低壓配電網降損輔助決策方法[J].科學技術與工程，2023，23（28）：12122-12127.

[7]徐堯強，舒喬曄，周瑾.面向異常檢測的時序數(shù)據(jù)庫的查詢執(zhí)行方法[J].華東師范大學學報：自然科學版，2023，1（2）：13-19.

[8]鮑先強，商承亞，石國良.電磁能系統(tǒng)智能運維實時數(shù)據(jù)處理關鍵技術及應用[J].海軍工程大學學報，2024，36（4）：28-35.

[9]楊毅，熊鷹.基于云計算平臺的多數(shù)據(jù)庫并行調度算法仿真[J].計算機仿真，2023，40（6）：459-462.

[10]李群，鄧先永，吳海莉.實時數(shù)據(jù)庫數(shù)據(jù)的批量寫入及性能測試研究[I].軟件，2024，45（1）：75-78.

作者簡介：謝雅倫，本科，工程師，826659223@qq.com，研究方向：信息系統(tǒng)開發(fā)。