基于云邊協同的實時數據采集架構設計和關鍵技術的研究

李夏光 張美然 朱旻

摘要：隨著云計算和大數據技術的快速發展，實時數據采集、存儲、處理及應用已經成為能源企業信息化建設的重要組成部分。本文針對云邊協同的實時數據的采集和應用提出了一種架構設計及關鍵技術研究方案。首先，設計了一套基于云邊結合的數據采集系統，邊緣側進行實時采集和處理，傳輸到云端進行集中存儲和管理。其次，對實時數據的數據采集、數據傳輸、數據存儲以及數據處理和分析等關鍵技術進行深入研究。最后，通過實際案例，說明所提出的架構設計和關鍵技術能夠有效解決實時數據采集問題，具有較高的實用性和可行性。本研究提供了一種有效的云邊協同的實時數據采集架構設計方法。

關鍵詞：實時數據；云邊協同；數據采集；數據傳輸；數據存儲

引言

隨著“云大物移智鏈”等新興技術的蓬勃發展，大型能源企業在物聯網技術的基礎上，融合人工智能、云邊協同技術等，構建云、邊、端協同的一體化平臺，實現邊緣側實時數據的統一采集、云端匯聚、加工、計算和分析，支撐各類智能化應用的建設，如組態監測畫面、熱點數據即時發布、基于模型和算法等的預測分析、故障預警、數字孿生應用等[1]。當前常見的實時數據采集架構主要關注采集、傳輸和匯聚，缺少可以提供實時數據“采存算管用”全過程的完整架構設計，存在的問題如下。

（1）前期投入較高。前期包含采集設備、采集終端、數據匯聚機、數據傳輸鏈路、數據采集傳輸軟件等的建設成本較高。這些成本既包含軟硬件成本，也包含邊緣側實施的成本，如采集設備的調試、測點的校對和核驗對點、采集鏈路和軟件的調試和本地化集成等。

（2）數據治理難度大。要確保實時數據的準確有效，需要專業人員定期或及時地對測點或設備信息進行更新維護，并且確保測點及設備信息與采集匯聚端的信息一致。此外，對于設備故障、網絡中斷、軟件程序出問題等情況，需要采用數據校驗、數據斷點續傳以及鏈路監控等技術手段，確保數據完整、準確地采集、傳輸和存儲。

（3）數據存儲和處理要求高。對于數據匯聚端，由于可能需要同時對接并匯聚幾十、上百個邊緣側數據采集節點的數據，每個邊緣側數據采集節點，如火電廠可能具有十幾萬測點，這些節點均集中傳輸并匯聚在中心節點，這就需要數據匯聚端具有海量數據的傳輸、處理、存儲和加工計算能力，對計算機性能、存儲容量、架構的合理性提出了更高的要求。

開展實時數據采集架構的研究，對于實時數據的及時性、準確性、完整性、預見性和可追溯性等方面都具有重要的意義。

1. 總體架構

1.1 架構設計的要點

實時數據采集架構的設計要點為：總體技術架構向邊緣智能、云邊協同發展。通過技術標準化，管理規范化，硬件通用化實現統一、規范、降低成本。通過軟件定義邊緣設備實現軟硬件解耦，提供更靈活、更強的服務能力。通過對實時數據測點元數據的管理和治理，確保數據的準確性、有效性[2]。包括以下幾個方面。

（1）邊緣智能和云邊協同。邊緣計算既靠近執行單元，也是云端所需高價值數據的采集和初步處理單元，可以更好地支撐云端應用；反之，云端可以通過大數據分析優化輸出的業務規則或模型可以下發到邊緣側，邊緣計算基于新的業務規則或模型運行。基于云邊協同的實時數據采集，可以將實時數據的測點元數據統一到云端進行標準化規范化管理和維護，通過云邊協同，將測點元數據信息按照邊緣節點下發到對應的邊緣節點的采集程序中，由其完成采集和與元數據的綁定。

（2）軟件定義邊緣設備。邊緣節點的實時數據采集，一般均需要在邊緣節點部署硬件服務器，在服務器上安裝部署采集程序、數據處理程序和數據匯聚上傳程序。一個大型能源企業可能有幾十至幾百家這樣的邊緣節點，綜合起來，硬件等設備的投入是一筆很大的支出。因此，可以采用軟件定義邊緣設備的方法，一方面可以充分利用舊邊緣側已有的服務器資源；另一方面，可以更靈活地提供邊緣節點的采集服務器，通過軟件定義的方式，采集服務器不僅承擔數據采集匯聚等功能，還可以為邊緣計算等各類應用提供服務。相比傳統的虛擬化和單獨的程序設計，軟件定義的方式更加注重模塊化的應用程序開發方法。同時，軟件定義的邊緣設備可以根據應用程序的需求自動調整資源，提供更好的性能和可靠性。

（3）基于云邊協同的測點元數據管理和治理?？梢圆捎弥贫ńy一邏輯測點元數據標準，邊緣側對點的方法。邏輯測點可以消除實際機組、設備等的個性化差異。通過數據治理工具平臺進行邏輯測點的對點實施工作，各個邊緣節點由設備測點管理人員將實際測點信息關聯到邏輯測點。

1.2 實時數據采集架構

實時數據采集架構如圖1所示，整體的實時數據采集架構由云端和邊緣側組成。云和邊之間通過應用協同、數據協同和資源協同進行連接。邊緣側分散建設，節點位置靠近用戶，就近計算，可用于處理局部性、高實時、短周期、安全敏感性高的數據[3]。云端集約建設，計算節點能力較強，集中計算，承載通用業務，實現全局性、非實時、長周期的大數據處理與分析。

對于大型能源企業的生產單位，如火電業務的電廠、化工業務的化工廠、煤炭業務的煤礦、新能源的區域集控中心等單位均定位為邊緣側；云端主要是企業的云數據中心。

（1）數據采集：在邊緣側實現設備運行數據的采集、集成和設備的自動化控制，控制的指令來源于邊緣計算，在靠近設備和數據源端，以毫秒甚至納秒級的數據采集、計算，智能地發出控制指令。邊緣層整體上需要滿足實時數據源數據接入、協議轉換、數據按照時延的上傳、邊緣數據處理等要求。邊緣側采集數據，根據云端上行接口規范將邊緣側數據經過壓縮、加密、序列化后，上傳至云端匯集。

（2）云邊協同：在邊緣側與云端之間通過云邊協同合理分配中心云計算與邊緣云計算任務，處理協同工作和數據交互。邊緣設備可以處理實時數據，減少數據傳輸延遲和帶寬占用。邊緣設備也可以支持更復雜的計算任務和大規模的數據處理，即將處理后的數據發送到云端進行進一步的分析和存儲。云邊協同過程中，從不同邊緣感知終端向前接入邊緣云節點，在本地算力基礎上實現業務處理和輸出，對于本地無法處理的數據和業務，則通過邊云協同匯入中心云節點，實現業務協同。

（3）數據接入：邊緣側將采集的實時數據進行匯聚、序列化、壓縮、加密，然后發送給云端。云端匯集機接收到邊緣側傳輸的實時數據后，對數據進行解密、解壓縮、反序列化，然后寫入分布式消息隊列。

（4）數據處理及存儲：云端的消息隊列獲取邊緣側上報的實時數據后，可將數據保存在云端實時數據的歷史數據存儲模塊和熱點數據存儲模塊。

（5）數據加工計算：可根據數據治理對于實時數據處理規則對實時數據進行加工計算。

（6）數據管理：提供實時數據測點管理、測點數據查詢等查詢服務；實時數據的測點元數據統一在云端的數據治理平臺中管理維護；通過云邊協同下發給邊緣側采集匯聚程序以及云端實時數據匯聚程序。

（7）數據服務：云端提供統一的數據接口服務，支持跨平臺、多語言、多協議、多種序列化等服務方式；滿足海量實時數據訪問要求，提供海量實時數據流處理、交互式查詢和批處理數據服務。

2. 關鍵技術

2.1 數據采集技術

數據采集主要包括數據格式制定、采集集群搭建、數據緩沖和數據處理等。數據采集的部署，根據測點數量以及網絡限制等，可以采用單機或集群化部署。數據采集應基于高效、穩定、高可用性、可擴展性的原則，保證采集服務7×24小時可用，實現數據采集過程中數據堆積量可控，單臺服務宕機不影響數據正常傳輸，整個傳輸過程無單點故障；同時將當前時刻最新的實時數據存儲在內存數據庫中，滿足監控類應用的快速響應需求；數據通信采用TCP協議，斷點重連機制依靠心跳和接收端的負載均衡策略，保證整個采集架構的高可用；采用流數據處理技術，實時監測數據質量，具體架構如圖2所示。

數據采集應滿足多業務源異構數據采集：支持數據庫API接口、OPC協議、IEC/TCP/UDP/RTU/FTP等通信規約、WEBAPI、定制接口開發等多種數據源的采集；實現普通維護人員易用配置便利采集；提供對采集的數據進行過濾、加密、壓縮、緩存、斷點續傳、統計計算、異常數據分析判斷等優化處理。

2.2 數據傳輸技術

實時數據的傳輸一般要求在網絡帶寬有限的情況下，更高效、更快速、更靈活地處理數據流。因此，可以采用PROTOBUF序列化的方法，將數據進行序列化處理，在云端接收后，再進行反序列化處理，具體流程圖如圖3所示。

傳輸數據的壓縮，為了使傳輸的數據量盡可能地小，可以采用數據壓縮的方式對實時數據進行處理，壓縮算法可以采用DEFLATE算法，減少傳輸的數據量。

傳輸數據的加解密，為了保證傳輸數據的安全性，可以采用3DES加解密算法對數據進行加解密處理。

數據在云端接收后，存儲到時序數據庫或者列式存儲數據庫之前，為了進一步降低占用的存儲容量，可以再次進行壓縮，可以采用旋轉門壓縮（SDT）的方式壓縮數據。因為實時數據的特點是數據量大，數據臨近度高，采用旋轉門壓縮，利用其線性擬合算法，具有效率高、壓縮比高、實現簡單、誤差可控制的優點。

數據的斷點續傳，邊緣側和云端的數據通信采用TCP協議，斷點重連機制依靠心跳和接收端的負載均衡策略，保證整個采集架構的高可用。主要通過心跳機制、斷點重連機制和負載均衡策略這三方面保證數據傳輸沒有單點故障，單點故障后數據不丟失。數據中斷后，邊緣側會有緩存中未發送成功的數據，待網絡連接成功后會繼續發送當前的數據，并在發現連接成功后啟動新的數據發送線程，向特定的歷史數據處理服務器端口發送數據，保證歷史數據不丟失，且當前數據能保證穩定發送。

2.3 數據存儲技術

實時數據的存儲，主要解決海量實時和歷史數據高吞吐量及高容錯的集中存儲的需求，實時數據的存儲一般采用的是混合架構，以傳統關系型數據庫、鍵值數據庫、列式數據庫、時序數據庫及分布式文件系統為主。實時數據的存儲需要具備數據分級存儲的能力，可以將一定期限內的數據看作熱數據，保存在高性能存儲介質上，以支持即時、高效分析查詢的需要；而將訪問相對不太頻繁且時效性要求不高的數據，存放至相對低成本的如對象存儲等介質上；將幾乎不會訪問的數據以歸檔存儲的形式存放到最低成本的歸檔存儲介質上，在保證盡可能低成本的前提下，滿足數據的存儲時長要求，具體架構如圖4所示。

2.4 數據處理和分析技術

數據處理和分析主要包括實時數據處理、數據分析計算等，如圖5所示。

（1）實時數據處理：采用實時計算技術，依據數據范圍、數據閾值、數據變化區間等設計的數據質量校驗模型，實時監測數據質量。對于沒有通過校驗的數據，記錄為異常數據；已預設處理邏輯的，按照處理邏輯流程進行處理；沒有預設處理邏輯的，由人工核查處理。為了更高效地對海量實時數據進行處理，通過數據特征預處理模型，在接收實時數據時，進行數據質量校驗后，為數據打上時間、空間、物理維度等特征標記，便于后續數據分析時，依據這些特征標記進行分類。

（2）數據分析計算：根據業務需要，基于典型業務應用場景進行如優化運行、異常預警、故障診斷、安全、環保等基于模型的數據分析計算處理，為主題分析、要素畫像等提供數據支撐。在進行數據分析計算之前，還可以通過大數據倉庫或者分析型數據庫，如Hive或者ClickHouse等，對存儲的數據進行數據匯聚，形成更便于分析計算使用的主題數據。

結語

云邊協同的實時數據采集架構和關鍵技術研究，建立了一套完整的實時數據的“采存算管用”技術架構，實現實時數據的及時、準確和有效采集、匯聚及應用，在大型能源企業中進行了實踐應用，在3個月時間內，實現了20多家省級公司、近150家電廠的將近400臺機組約15萬個測點的火電實時數據采集工作。實現了全集團火電實時數據的統一、標準、規范地采集和存儲，為各類火電智能化應用和設備診斷分析等提供實時數據支撐服務。未來的云邊協同的實時數據采集架構，可以在以下幾個方面進一步開展研究和深化應用。

（1）加強研究軟件定義機器、虛擬化、容器、分布式計算等邊緣計算關鍵技術；研發設計適合于邊緣節點，占用少量計算資源和存儲資源的輕量級算法、程序庫、并行編程模型、開發框架和工具包。

（2）研究制定邊緣側節點的架構模型、部署方式、南北向數據接口（用于云端協同）東西向數據接口（用于節點間協同）等相關技術標準。

（3）研究實時數據治理方式，針對測點和設備損壞、更換、維修等情況，通過實時數據治理及時、動態、準確地更新元數據、數據質量校驗規則等，確保傳輸的實時數據的準確性和有效性。

參考文獻：

[1]柳美，李夏光，高偉.基于數據底座的生產運營協同調度統計分析系統架構設計[J].電子技術與軟件工程，2022（12）：226-229.

[2]孔令娜，郭會明，焦函.一種面向數據采集任務的云邊協同計算框架[J].數字技術與應用，2021，39（2）：165-167.

[3]招景明，張捷，宋鵬，等.一種高效的基于云邊端協同的電力數據采集系統[J].電網與清潔能源，2022，38（5）：49-55.

作者簡介：李夏光，本科，研究方向：系統架構。