基于云平臺的岸電工程電力數據處理方法研究

摘要：針對岸電模式下區域高度互聯海上油氣田電網數據計算效率低、計算時間長、存儲規模大等缺點，文章以提升岸電數據處理工作的效能為目標，基于云平臺實現多個機構間海量數據的信息協同與共享處理。根據所得的信息規模，文章采用合理邏輯回歸方法，選擇不同的用電數據特性進行回歸特性預測。該方法不僅可以保證整個系統數據處理的正確率，還可以降低分類算法的復雜性。實驗證明，基于云平臺的岸電工程電力數據處理系統方法具有較高的可靠性和穩定性，可以滿足日益增長的岸電工程電力數據需求，為岸電電力系統的實際應用提供技術支撐。

關鍵詞：云平臺；岸電；數據處理；分類算法

中圖分類號：TP212.3" 文獻標志碼：A

作者簡介：張昊（1990— ），男，高級工程師，學士；研究方向：電力系統設計。

0" 引言

為進一步貫徹落實國家生態環境保護的內核與實質，響應科學合理開發利用海洋資源的號召，未來海上油氣田的電力供應將主要來源于岸電工程。在岸電模式下，海上油氣田電網區域高度互聯，相互影響，運營條件更加復雜，對岸電運行自動化的需求不斷提高；電力調度、繼電保護高壓海底電纜防護、關鍵配變電設備狀態監測等工作高度依賴于岸電數據的采集與分析［1-2］。大量的岸電設備在長時間的運營過程中將生成海量的數據，而現有的數據分析方法具有計算效率低下、計算耗時長、存儲量大等問題，很難適應當前的發展要求，已成為制約岸電模式下海上油氣田互聯電網經濟、高效發展的瓶頸。

1" 云平臺關鍵技術及建立

1.1" 云平臺關鍵技術

云平臺計算主要使用數據虛擬化技術、Hadoop數據技術、高速率數據采集技術處理海量電力數據［3-4］。云平臺首先將需要處理的數據任務分配成多個子模塊，然后依據不同數據類型進行分類處理，最后將數據進行計算、歸類、存儲。下面對云平臺計算的3個關鍵技術進行簡單介紹。

1.1.1" 數據虛擬化技術

數據虛擬化技術采用虛擬化的計算平臺對數據進行運算，并非真實平臺。采用虛擬化計算平臺的主要目的是提升數據計算的效率，簡化計算系統的硬件配置，降低系統計算處理數據的時間。

1.1.2" Hadoop數據處理技術

Hadoop數據處理技術主要是對數據進行一系列計算處理，具體包括采集初始數據信號［5］。首先，該方法對所采集的數據進行初步處理；然后將處理后的數據進行保存；最后對保存后的數據進行深度挖掘處理分析，以得到關鍵的數據信息。簡而言之，該數據處理技術主要是對各種類型數據進行采集、分類、處理，經過深度分析后得到關鍵有價值的數據信息。該技術的主要構成模塊包括數據采集、數據處理、數據保存、數據深度分析、分析結果輸出，如圖1所示。

1.1.3" 高速率數據采集技術

與Hadoop數據處理技術有所不同，高速率數據采集技術更多側重于數據計算流程的處理，保證數據在不同類型的計算模塊中流轉，最終將各個模塊中的數據輸送至控制中心單元，確保數據能夠連續計算，提高效率。

1.2" 云平臺建立步驟

本文建立云平臺的具體關鍵步驟如下。

（1）Hadoop集群的部署。該過程先設置JDK和SSH，再更改Hadoop的配置；成功拷貝文件并將其格式轉換為另一個格式。當用戶能夠通過數據節點看到節點和管理員時，該過程完成。

（2）ZooKeeper集群的配置。ZooKeeper可以支持Hbase、Kafka和Spark等多種簇的協同管理。系統更改zoo.cf g的檔案，在檔案被成功拷貝后即可開始該服務。

為提高Hive的元數據的安全性能，本文使用國產數據庫進行岸電模式下海上油氣田互聯電網海量數據的存儲。

（4）Hbase簇的配置。在ZooKeeper集群安裝完畢后，用戶可以在注冊服務器hbase-env.sh中進行下載，將其作為一個完整的版本來運行。

（5）Spark群集的配置。在該過程中優先對SCALA進行設置，修改其內部參數，在檔案被成功拷貝后即可開始該服務。

（6）Kafka群集的配置。在ZooKeeper集群安裝完畢后，用戶可以對相關概要進行更改，在檔案被成功拷貝后即可開始該服務。

本項目擬構建的云計算平臺能夠實現如下功能：對系統中海量數據進行處理；對數據進行即時詢問；對所述的數據執行加工分配；對所得資料進行統計和有效挖掘。

2" 岸電工程電力數據處理方法

2.1" 岸電工程電力數據特點

在數據采集方面，將數據處理技術運用到岸電工程的數據采集中，可以有效提升數據的時效性和準確性，這是構建智慧電網的一個重要基礎。服務器對數據進行聚合和加工，將數據寫入數據庫，即可完成對數據的持久存儲。就電量的計算服務而言，在岸電工程的操作過程中（特別是電量計算和線損計算），差別化抄表可以在不同工況下順利收集各種操作數據；該方法盡管采用了差別化的數據處理方式，但最終還是可以獲得一個相同的數據形式。在查詢業務方面，由于操作人員通常不了解計算機信息技術，無法通過該計算系統獲得計算結果。因此，若要完成數據查詢工作，應對原始數據、單用戶電量、單用戶歷史損耗等進行查詢。

2.2" 岸電工程電力數據處理方法設計

云計算平臺可以對海量數據構件進行高效集成，使橫向數據處理平臺可擴展性得到提升，從而提高了系統的運算存儲容量。該系統采用模塊化的設計思想，包含數據分類傳送、實時在線處理、線下處理、數據計算結果存儲以及后臺網頁展示5個部分，流程如圖2所示。該系統具有對岸電相關信息進行收集和發布的功能；數據分類傳送模塊能夠對該裝置的操作進行監測并生成相應的數據；線下處理模塊可以對用戶的電量、線損進行統計，以滿足特定的用戶需求；儲存與查詢模塊能夠儲存與檢索與之對應的詳盡資料數據；網頁顯示模塊可將數據參數輸入、查詢結果顯示給系統使用者。

2.3" 基于云平臺的岸電數據分類計算

岸電數據分類計算數學邏輯回歸計算公式如式（1）所示。

Q（F=1|x）=C（x）=11+2-d（x）（1）

其中，Q為回歸計算計算結果，x表示初始數據。

根據式（1）構建具有最大似然函數表達式的邏輯回歸運算模型如式（2）所示，利用該模型對數據進行分類處理計算。

L（a）=∑mi=1（filn（C（xi））+（1-fi）·ln（1-C（xi）））（2）

其中，L（a）表示數據的不同類型。

在岸電消費數據的分析中出現的異常數據通常會有很大起伏，這說明使用的測量裝置已經出現問題，須要進行相關的技術檢查。當對岸電消費進行分析時，很容易看出大部分客戶能夠得到可靠的電力消費資料，因此，在岸電消費總量中，出現異常現象的比例相對較低。因此，在岸電消費數據的處理過程中，必須注意對其進行合理分類。當對工業領域的信息進行統計和選擇時，可以利用高維度的用電數據來劃分，然后按照特定的特性將其輸入一個分類模型，在這個模型中判斷分類是否正確。若主測試集中包含正常和異常2種類型的數據，則表明這類數據無法直觀地反映出類特性。因此，當進行數據特征錄入時，系統必須盡量避免出現異常的情況；當選擇數據特征時，系統須要對每個異常特性進行相關的信息處理，通過合適的選擇準則來減少運算的復雜性。分類數據特征值的選擇流程如圖3所示。

3" 實驗測試

3.1" 實驗環境

本次實驗采用電腦服務器3套，千兆以太網交換機3套，云計算平臺6套，Web服務器6套，網絡服務器6套。

3.2" 數據處理性能測試

本次實驗采用Hdfs作為云平臺的基礎，通過Kafka對數據進行高效分布，從而提高了云計算環境下數據讀取和寫入能力的效率，將其導入Hdfs。Hadoop可以通過應用程序編程接口（Application Programming Interface， API）獲取Put并將Hdfs中的數據復制到Hdfs中，即可將處理過的數據保存起來。為了進一步對比該方法與常規方法的數據處理能力，本文采用常規數據計算方法對統一數據進行處理計算。對2種方法同時進行6次測試，測試結果如圖4所示。由圖可知，所提方法一天內所處理的數據容量最高可達10 TB，遠高于常規數據處理方法。這表明本文所提基于云平臺的岸電數據處理方法可以顯著提高數據讀取和寫入速率，提升岸電數據的高效讀取、寫入能力，降低數據運算的復雜性。

4" 結語

岸電模式下海上油氣田電網區域高度互聯，運營條件更加復雜，電網及其設備在長時間的運營過程中所生成的海量數據使得現有的數據分析方法面臨計算效率低下、計算耗時長、存儲量大等問題。基于此，本文提出采用云平臺處理海量數據，對Hbase、Kafka等大數據處理技術進行整合，采用邏輯回歸算法對數據分類。為了驗證所提處理數據方法的性能，采用實驗進行驗證，結果表明基于云平臺的岸電工程電力數據處理系統具有較高的可靠性和穩定性。

參考文獻

［1］張群峰，葉小松，吳振飛，等.基于云平臺的岸電智慧在線監管系統［J］.港口科技，2021（10）：10-14.

［2］許鎮杰.船舶岸電系統設計方案［J］.港口裝卸，2022（2）：47-50.

［3］李建程，洪火發，向亞卿.船舶岸電系統變頻設備建模與仿真研究［J］.電子技術與軟件工程，2023（4）：100-103.

［4］盧恒宇.港口岸電監控系統研究與應用［D］.南寧：廣西大學，2019.

［5］樊忠洋，高正曉.面向智能電網的電力大數據關鍵技術應用［J］.電氣技術與經濟，2023（5）：107-110.

（編輯" 王永超）

Research on power data processing method for shore power engineering

based on cloud platform

ZHANG" Hao， YU" Lu， WANG" Kaiteng

（CNOOC Research Institute Co.， Ltd.，Beijing 100028， China）

Abstract： In response to the shortcomings of low calculation efficiency， long calculation time， and large storage scale of power grid data in the regional highly interconnected offshore oil and gas field under shore power mode， this article aims to improve the efficiency of shore power data processing work， achieves data information collaboration and sharing among multiple institutions based on cloud platform. A reasonable logistic regression is used to predict the regression characteristics of the electricity consumption data based on the scale of the obtained information. This method not only ensures the accuracy of data processing in the entire system， but also reduces the complexity of the classification algorithm. The experiments show that the power data processing method for shore power engineering based on cloud platform has high reliability and stability， which can meet the growing demand for power data in shore power projects and provide technical support for the practical application of shore power systems.

Key words： cloud platform; shore power; data processing; classification algorithm