基于云存儲的電力全量業務數據歸集體系研究

張建松 周升 沈思琪

摘 要 目前，國家電網公司擁有大量的歷史庫存數據和種類日益豐富的實時業務信息資源，電力公司的數據圍繞使用關系數據庫進行集中存儲，難以實現高效的數據計算、挖掘。在此基礎上實現了業務操作的整個數據采集，數據存儲是數據處理系統的關鍵環節。基于云計算技術的研究框架，減少云基于存儲數據收集框架，提出了可以解決數據存儲的問題在整個過程中業務數據還原過程穩定和有效的，并且可以依賴，保證供應的整個業務數據。

關鍵詞 云存儲;數據還原;運行數據

引言

建設全業務、全時間維度、全類型的數據中心是國家電力公司運行監控中心數據采集工作的基礎。其目的是在此基礎上為電力公司的各種決策提供全面的信息支持和高效的分析計算。為了改變冗余數據，對提取的數據進行局部返工，采用了全方位配套電力公司的大數據分析與應用。然而，由于國家電網電力公司參與了許多應用程序系統，包括E RP、營銷、生產、調度和其他業務系統，這些系統積累了大量的股票數據，同時需要考慮的各種實時數據采集設備和復雜的外部環境數據，數據量是非常大的。在此基礎上，海洋數據的清查是一個必須解決的問題，才能完成作業數據的完整清查。考慮到模塊的存儲容量存儲在集合存儲在瓶頸問題，打開大尺寸，模塊的存儲容量存儲在云，因此被認為是存儲數據的體積進入模塊存儲在云端。

1基于云存儲的約簡系統介紹

基于匯聚的云存儲是源于云計算框架的一個新概念，它源于海洋數據存儲問題，專注于大數據存儲的解決方案。它主要通過集群技術和新開發的網絡技術，將大量的數據存儲和準備工作結合在一起，能夠存儲和訪問提交給單個系統的數據。云存儲是一種低成本、可伸縮的網絡類型，適用于實際使用的服務[1]。

目前，國家電網公司交通監管中心的數據中心不僅有大量的結構化和非結構化庫存數據，而且有來自各個業務系統的實時數據采集。還有國家電網數據的增長率、數據的保密性等問題。出于這個原因，有必要綜合考慮大數據存儲的特點問題國家電力網絡基于云存儲和存儲，并制定一套全面的數據存儲系統基于云存儲的電能存儲科學和理性，提供和支持業務操作的全面的數據收集。

2基于云存儲的電力全業務數據采集系統

根據國家電網公司交通監管中心對全業務數據采集的整體架構和技術路線的統一要求，電力公司的數據首先要連接到緩沖區。逐步建立熱點數據庫、實時數據庫、數據集市場和數據倉庫。因此，基于云存儲的數據約簡收集系統的框架主要由以下幾層構成。

2.1 存儲與存儲層

存儲層是云存儲與存儲數據約簡系統中基群的一部分。它位于系統的底層，由多個存儲和備用設備組合使用，包括用作緩沖區的MyS QL數據庫和適用于分布式幀的Mon goD B。它能夠支持高并發、低延時的吞吐量操作和海量數據的部署，能夠支持多種復雜的數據格式，非常適合國家電網電力大數據的分布式存儲和高速讀寫。

2.2 存儲誘導引擎

主要是對數據庫的管理，但它是云存儲誘導系統的核心層。由于云存儲是基于網絡技術的模塊，需要通過集群協作來完成，因此需要強調數據的安全性、一致性和容錯性。領導機構的主要技術有DHT數據分布、強單值數據復制、數據壓縮、聚類狀態管理、同時進行數據重構和自愈等，以保證數據的一致性、安全性和災后恢復能力。

2.3 存儲服務層

服務層主要用于提供數據訪問和數據備份服務。基于云存儲的數據采集系統要求授權用戶使用標準服務接口登錄，使用內部的數據資源。同時，為了保證大量用戶登錄時的訪問速度，需要緩存技術M。該層主要由分布式快照、本地化緩存、精簡配置、分層存儲和數據備份模塊組成。

2.4 存儲接口層

基于云存儲的電力全業務數據采集系統主要基于iSCSI/RBD接口協議。其中，iSCSI是指IP協議中的SCSI指令集，是一種開放的標準。它主要采用TCP/IP協議進行指令封裝。因此，基于該協議，它可以在任何基于IP的網絡中傳播。采用SCSI/RBD接口協議標準，用戶可以方便地存儲和訪問數據。

3基于云存儲的電力全量業務數據歸集體系關鍵技術

3.1 虛擬分布存儲技術

虛擬分布存儲技術是指虛擬存儲技術，通過虛擬仿真方法，從不同的廠家，不同的業務系統，不同的類型，不同的信息和協調的存儲和存儲鏈接，每個組的身體系統映射到一個統一的資源池，并通過虛擬正交線數據系統管理，它可以用作數據的物理配置及其變構屬性的屏幕，從而降低了數據管理和維護的成本。sub-distribution方法是基于虛擬simulacrity技術建立虛擬simulacrity分散信息源，進行存儲和存儲的部分負荷負載通過多個相互關聯的存儲和存儲服務器、存儲和執行定位和信息通過位置服務器在同一時間，所以這項技術可以用來提高系統的可擴展性和效率[2]。實現了不同的數據采集系統、不同的存儲設施、不同的服務在云存儲中的高效協作。

3.2 基于重復數據擦除的數據準備

隨著全國電網電氣數據量的增加，數據的冗余部分不斷增加，導致更多的存儲空間被占用，同時也給數據儲備帶來了巨大的壓力。因此，擦除復雜數據是一種不常見的數據壓縮技術，它基于擦除操作邏輯來消除數據中的冗余位、數據塊或文檔。在保證的系統中只存儲單個數據。增加的數字被傳輸到進程中的有效數字。同時考慮了原始數據出錯、假刪除等情況下的數據恢復問題，數據儲備技術也是系統不可缺少的一部分。因此，在數據擦除技術的過程中，也減少了數據存儲工作的數據存儲容量，解決了不必要的存儲空間問題。

3.3 數據安全技術

家庭數據的安全一直是人們關注的問題。數據安全主要是指數據泄漏、數據丟失和數據修正。在存儲和存儲框架中，數據離用戶越近，就越安全。然而，在云存儲的框架下，數據離用戶越近，越安全。基于云存儲的數據采集系統通過大量的類網客戶端對系統的運行進行異常監控和測量。當它可以到達網絡時，獲取疾病病毒和木馬進程的信息并推送到服務器端進行處理。之后，將木馬病毒和解決方法發送給所有客戶端。通過將整個身體捆綁成一個防御系統，海洋數據的安全性得到了保證。

4基于云存儲的數據約簡系統的優點

4.1 提高存儲和存儲資源利用率

虛擬仿真是基于云存儲的數據采集系統的特點之一。通過該技術，可以提取并呈現出全國電網利用率較低的信息源。從源更高的利率，所以這些資源不受現有的框架與傳遞限制的配置系統，通過使用低的組件重組，可以最大化物理硬件的使用，最終目標來改善整個身體的使用。

4.2 基于云存儲的數據約簡采集系統

為了提高系統的運行效率，也實現了數據存儲與海量數據存儲同時使用。也就是說，在存儲數據的同時，也實現了應該使用的存儲能量。系統的能量存儲設備和服務器同時，可以大大減少數據的存儲設備和減少能源瓶頸和單點故障問題由服務器的存儲系統，從而降低系統的成本。通過減少數據傳輸的環數，實現了整個存儲系統的高效運行。

4.3 加強了系統的安全性

基于云存儲的數據聚合系統所采用的安全技術在防病毒功能上比傳統的防病毒策略具有更多的優勢。由于大量的客戶端被用來監測網絡系統的異常運行，系統往往在防病毒技術的競爭中處于領先地位，同時，由于并行處理與網格計算等新技術的融合，可以實現快速的自動異常分析和處理，并將解決方案應用于每個客戶。原則上，只要有足夠的客戶端，就可以意識到只要有新的木馬或病毒，就會立即被獲取和處理，從而大大提高整個存儲系統的安全性能

4.4 系統的可擴展性

開放階段使傳輸系統的存儲系統各節點的運行信息通過一定策略的執行得以實現。基于云存儲的數據采集系統，采用松耦合和非配對幀，便于對數據路徑外元素的數據服務器進行控制。這種集中控制的方法支持新層的擴展，具有以下優點：

（1）存儲節點不需要從網絡節點接收驗證信息，更多的資源用于提供對讀寫服務的訪問。

（2）客戶可以通過虛擬仿真、實例或快速klyo的硬件部分來實現云存儲。

（3）消除了節點間共享大量狀態所產生的開針和家庭網絡互聯的需要，進一步降低了存儲系統的成本。

（4）利用采集中控制功率和能量的數據，利用存儲節點實現深層分類，實現對現有資源的精細化管理。

5結束語

針對電力公司運行監控中心全業務數據采集過程中存在的數據量大、數據類型復雜、數據更新速度快等問題，提出了一種適用于全業務數據采集工作的存儲系統克服了數據采集問題，存儲系統具有成本高、處理速度慢、擴展性能差等優點，解決了大規模業務海量數據的存儲問題。同時，該系統具有設備虛擬化、數據安全、訪問速度快、運行效率高等優點，能夠很好地滿足當前全業務對業務數據采集工作的需要，對于后期可能出現的新問題，以系統的高可擴展性為保證，最后針對整個業務數據采集工作過程中的數據采集問題提供了完整的解決方案。

參考文獻

[1] 嚴霄鳳，張德馨.大數據研究[J].計算機技術與發展，2013，23（4）： 168-172.

[2] 喬琳，許暉.復雜企業決策支持環境下的數據倉庫體系結構的演化[J].計算機工程與應用，2000，36（7）：98-100.