









摘要:為解決電量計量數據和電力營銷水平的評估能力差的問題,結合了邊緣計算技術在數據源附件部署邊緣節點,利用改進型Rsync算法對系統中的各應用模塊和邊緣節點進行數據同步,對評估完成的電力數據進行預測和修正。設計出電量計量誤差評估優化裝置進行計量優化,對電能表的環境溫度進行感知,根據全同態加密方案,提高數據的安全性。通過對經典的Rsync算法進行改進優化,采用輕量級差量的內容分塊代替固定長度分塊,采用滑動窗口獲取同步數據的弱指紋,提高差分同步效率。實驗結果顯示,該系統的數據同步時間最短為438 ms,CPU利用率低于40%,提高了電量計量數據和電力營銷水平的評估能力。
關鍵詞:電量計量;電力營銷評估;邊緣計算;誤差評估優化;內容分塊
中圖分類號:TP39文獻標志碼:A文章編號:1001-5922(2024)10-0173-04
Improved evaluation method of energy metering parameter"optimization based on Rsync technology
LAI Weiping
(State Grid Info-Telecom Great PowerScience and Technology Co.,Ltd.,Fuzhou 350001,China)
Abstract:In order to solve the problem of poor evaluation ability of electricity metering data and power marketinglevel,the edge computing technology was combined to deploy the edge node in the data source attachment,and theimproved Rsync algorithm was used to synchronize the data of each application module and the edge node in the sys?tem,and the power data after evaluation was predicted and corrected. The metering error evaluation and optimiza?tion device was designed to optimize the metering,perceive the ambient temperature of the electric energy meter,and improve the security of the data according to the fully homomorphic encryption scheme. By improving and opti?mizing the classical RSYNC algorithm,lightweight difference content segmentation was used instead of fixed lengthsegmentation,and weak fingerprint of synchronization data was obtained by sliding window to improve the efficiencyof differential synchronization. The experimental results showed that the shortest data synchronization time of the re?search system was 438 ms,and the CPU utilization was less than 40%,which greatly improves the evaluation abilityof power metering data and power marketing level.
Key words:electricity metering;electric power marketing evaluation;edge calculation;error evaluation optimiza?tion;content segmentation
當前不同地區的電力市場對電力資源的需求存在很大的差異性,并且對電價的承受能力和電能水平要求不同[1]。電力企業要想良好地長期發展下去,需要降低偏差考核風險,降低計量誤差并提高對用戶用電需求的感知能力,進一步優化電力營銷策略[2]。在回歸分析法的基礎上,利用粗糙集理論進行電力大數據分析和電量預測[3]。使用基于協同過濾算法的電力推薦方法,完成電力缺失特征的估計和用于售電方案的評級估計[4]。采用深度神經網絡的方法對電力系統的計量誤差進行優化,進一步提高了電力計量的準確性[5]。基于此,研究設計出電量計量與電力營銷評估優化系統。
1電量計量與電力營銷評估優化系統設計
電力營銷的多源日志安全數據的數據挖掘與分析系統整體架構如圖1所示。
在本研究的設計中,電力營銷的多源日志安全數據的數據挖掘與分析系統應用了用來管理事件與日志的分布式工具LOGSTASH,能夠支持電力營銷業務中Native Socket、File tailing和Message bus等數據源[6],通過INPUT插件完成日志的收集聚合功能,修改和注解日志安全數據使用filter插件進行處理。在多源日志數據的搜索中,還使用了基于Apache Lu?cene的Elasticsearch分布式搜索引擎[7]。在實時搜索的基礎上加入了可拓展性和高可靠性等功能,通過統一的RESTful API接口與系統進行融合,提高了數據融合和處理能力,在具體應用中不需要定于數據結構就能夠完成動態地對日志數據進行索引。在該研究設計中,還應用實時計算框架SPARK,分布式流式日志處理中采用了KAFKA通用消息隊列,消息隊列能夠將日志消息持久化到磁盤中,有效降低了日志數據丟失的風險[8]。
2電量計量誤差評估優化裝置設計
電量計量誤差評估優化裝置采用Xilinx AR?TIX-7系列的FPGA芯片XC7A100T-2FGG4841作為處理器[9]。主控單元具有3個串行接口,方便數據傳輸和程序的調試,同時還擁有2個IIC接口,主控單元內部集成振蕩電路,以及實時時鐘等外設電路。電量計量誤差評估優化裝置硬件結構如圖2所示。
如圖2所示,其中溫度感知模塊中使用了IRTP-300LS非接觸紅外溫度探頭傳感器。計量模塊中使用了SSP1852芯片。中央處理器采用STM32F407ZGT6微控制芯片。LoRa模塊采用E32-TTL-100(433T20DC)無線串口模塊。E32系列是基于SEMTECH的SX1276/SX1278射頻芯片的[10]無線串行端口模塊(UART)。信號交互部分用于連接主板和通道板,人機交互部分用于終端設置和硬件系統信息顯示。硬件電路由LED燈和撥號開關實現。電源模塊為整個系統提供穩定可靠的電壓。輸入端連接到行業常用的24 V輸入電壓,3個輸出端分別提供24、5和3 V電源電壓[11]。
為了提高信息計算精度,采用了加急技術。全同態加密方案由4個算法組成,密鑰生成算法、加密算法、解密算法和求值算法。本文的實數的運算法則是將非整數的小數部分進行轉化成整數,然后按照整數的運算方法進行相應的運算,提出一種實數取模運算來進行轉化[12]。假設一個任意的正整數p和一個任意的實數n滿足:
式中:k為整數,r為實數,并且0rlt;p;對于實數n和正整數p,n除以p的商為k;余數為r。
實數取模的運算公式為:
通過式(2)的取模運算可以將全同態的數據加密方案擴展到實數范圍,運用到工業控制系統中數據的加密中,提高數據的安全性。
3基于內容分塊的改進RSYNC算法的差量同步
該研究采用輕量級差量同步的基于內容分塊(CDC)方法融入到RSYNC算法中,利用CDC代替固定長度分塊,采用一個滑動窗口機制,滿足條件則表示找到分塊點,再通過對不相同的塊再分更小的塊來提高去重率[13],有效減少了數據同步時的分塊時間,并且取得更好的差量同步效果。改進后的RSYNC算法的差量同步流程如圖3所示。
輸入的待同步電力數據串為S= (b1b2bm),在有限域的多項式可表示為:
式中:b表示系統中的電力數據串;tm表示有限域長度;m表示數據串序號。通過式(3)完成了電力數據在有限域的映射,多項式的加減可以通過異或實現,數據串的級聯可表示為:
R(con(S1S2)) =S1(t)′tl+S2t(mod(P(t)))
(4)式中:R表示同步數據的弱指紋;con(S1S2)表示數據串級聯操作;tl表示數據串擴展位數;l表示擴展序號;P(t)表示自定義域上的不可約多項式。通過式(4)完成電力數據串的級聯操作。CDC計算中利用了滑動窗口,電力數據的字節流為T= (B1B2BN),得到滑動窗口中同步數據的弱
指紋為:
式中:c表示內容分塊的滑動窗口;1b(n)表示了字節流的位排列;n表示位排列序號。式(5)表示了內容分塊利用滑動窗口得到電力數據的弱指紋[14]。改進后的RSYNC算法通過限制數據塊的大小減少數據塊長度的浮動,數據塊的概率分布可表示為:
式中:X表示數據塊長度;F(x)表示內容分塊的限制點;m表示數據塊的最大長度。通過式(6)固定數據塊的尺寸范圍的極值作為分塊點來減少塊長浮動,彌補期望塊長小而導致的元數據開銷。數據塊合并時發生碰撞將延長單次的同步時間,發生碰撞的概率可表示為:
式中:表示合并塊碰撞的條件概率;u表示被修改數據塊的個數;cm表示不同數目的塊發生碰撞的概率;n表示合并塊的總數。通過式(7)計算出合并塊發生碰撞的概率。在數據同步過程中,檢查列表中部分數據塊并不是必須傳輸的,為了降低碰撞率可以不傳輸塊長,每塊的元數據平均長度可表示為:
Mdsy=4p+ (n+m+16)pq+ (4n+5)(Γp)(8)
式中:pq表示檢查列表中弱指紋的長度;Γp表示電力元數據的開銷;p表示差量塊的開銷。通過式(8)降低了數據同步過程元數據的開銷。
綜上所述,內容分塊方法通過限制最小塊長可以減少分塊時間,跳過最小塊長的內容哈希計算[15-16],并限制限制最大塊長可以提高去重率,盡可能保證塊長與期望塊長相近,才取得更好的差量同步效果,基于內容分塊代替RSYNC算法中的固定長度分塊,避免了塊偏移的現象。
4實驗測試
為驗證該研究系統的性能和功能模塊的可用性,搭建實驗環境進行應用測試,實驗計算機部署在邊緣計算環境下,用來完成邊緣節點的身份認證和數據同步,操作系統為Window 10。
實驗過程中本地文件系統發生數據變更需要向邊緣節點進行數據同步,數據同步管理平臺中各組織節點的相關信息如表1所示。
實驗中使用的數據為公共數據集SILE,包括了電力文件、可執行文件、圖像數據、電力計量數據和HTML類型的文件,從數據集中取出100 MB數據作為基準數據集,經過刪除、插入和修改的方式對元數據集進行處理得到新的實驗數據集。實驗數據集中電力計量信息如表2所示。
進行數據差量同步實驗時,設定數據集的修改粒度范圍為500~1 000,使用WEBR算法和DSYNC算法作為對比測試,分別稱為方法1和方法2;數據同步時間包括了預處理、匹配和重構文件時間,實驗時間最大設定為30 min,最終的數據同步時間為5次測試的平均值。各方法完成實驗數據同步使用的時間如表3所示。
由表3可知,該研究方法的數據同步效率更高。數據同步時間不超過1000ms。當修改粒度達到600時,方法1的數據同步時間就超過了900 ms;方法2的同步時間達到672 ms;修改粒度最大時方法1的同步時間達到1 612 ms,方法2的同步時間超過1 900 ms。
該研究方法在修改粒度較小時,數據同步時間不超過500 ms,最短為438 ms,能夠根據局部直接計算連續匹配塊減少了弱指紋的計算時間,該研究方法的同步算法在不發生碰撞的情況下只進行一次查找弱指紋,修改粒度最大時,數據同步時間為918 ms。修改粒度增加到800之后,方法1和方法2的數據同步時間出現明顯的增加,由于固定長度分塊的方法較難找到匹配塊,增加了數據同步時間。
為對比3種同步方法的服務端并發性能,使用多個客戶端進行同步文件,在0~500中隨機選擇一種修改粒度,開始發生同步請求,隨著客戶端數量的增加,記錄到CPU利用率如圖4所示。
圖4中該研究方法的CPU利用率始終低于方法1和方法2,說明該研究方法在同步文件時需要更少的計算資源,有著更高的并發性。客戶端數量達到300時,該研究方法的CPU利用率接近40%,方法1的CPU利用率為48.5%,方法2的CPU利用率超過60%。方法1和方法2在同步文件時占用較多的計算資源,同步過程中計算量較大。
5結語
該研究系統在邊緣計算環境下對電力系統中的計量數據和營銷業務進行評估,基于歷史行為數據進行電量預測,并結合評估優化裝置對電力計量數據的誤差進行修正,通過電力營銷評估進一步獲取電力用戶的用電習慣,為電力優化提供了創新性的數據支持。系統中對數據同步算法進行了改進,利用內容分塊代替算法中的固定長度分塊,通過滑動窗口計算待同步數據的哈希值,并判斷是否滿足預設條件,通過限制數據塊的大小減少數據塊浮動和元數據的開銷,在尋找分塊點之前可以直接跳過前半塊加速分塊過程。
該研究系統中仍存在一些不足需要改進和優化,在以后研究中需要實現算法的并行計算,并進一步降低每個邊緣節點的計算壓力。
【參考文獻】
[1]史普鑫,史沛然,王佩雯,等.華北區域電力調峰輔助服務市場分析與運行評估[J].電力系統自動化,2021,45(20):1-10.
[2]譚本東,楊軍,劉源,等.考慮數據缺失的電力系統暫態穩定自適應集成評估方法[J].電力系統自動化,2021,45(23):8-15.
[3]周書宇,蔡國偉,楊德友,等.隨機數據驅動的電力系統小干擾穩定在線評估方法[J].電力系統自動化,2022,46(1):7-8.
[4]蔡霽霖,郝麗麗,張柯琪.含可再生能源電力系統可靠性評估的非參數重要性分層抽樣法[J].電力系統自動化,2022,46(7):12-25.
[5]SHI H,LI Y,JIANG Z,et al. Comprehensive power quali?ty evaluation method of microgrid with dynamic weight?ing based on CRITIC:[J]. Measurement and Control,2021,54(5-6):1097-1104.
[6]孫黎霞,彭嘉杰,白景濤,等.結合圖嵌入算法的電力系統多任務暫態穩定評估[J].電力系統自動化,2022,46(2):9-21.
[7]杜一星,胡志堅,李犇,等.基于雙向門控循環單元的電力系統暫態穩定評估[J].電力系統自動化,2021,45(20):10-17.
[8]李寶琴,吳俊勇,強子玥,等.基于改進DCGAN的電力系統暫態穩定增強型自適應評估[J].電力系統自動化,2022,46(2):10-36.
[9]杜一星,胡志堅,陳緯楠,等.基于改進CatBoost的電力系統暫態穩定評估方法[J].電力自動化設備,2021,41(12):8-9.
[10]盧錦玲,郭魯豫.基于改進深度殘差收縮網絡的電力系統暫態穩定評估[J].電工技術學報,2021,36(11):12-20.
[11]樊永強,馮宏偉.基于RT-Thread的便攜式學生健康監測儀設計[J].粘接,2020,41(1):52-55.
[12]俞曉峰,袁嶺,崔藝林,等.分布式光伏電源的配電網故障特征計算模型分析[J].粘接,2023,50(1):140-143.
[13]杜濤,王朝龍,朱靖,等.基于聚類算法的變壓設備運行數據監測與異常檢測技術[J].粘接,2022,49(12):137-140.
[14]嚴超,陳儒軍,申瑞杰,等.分布式多通道電法電磁法數據同步采集系統[J].地球物理學進展,2021,36(4):8-10.
[15]劉子杰,王凱,王亞剛,等.工業互聯網端邊云協同數據同步方案設計與實現[J].計算機應用研究,2022,39(3):5-13.
[16]伍巧鳳,王琳,張雋祺,等.數字化儀控平臺冗余控制器數據同步方法研究[J].自動化儀表,2021,42(S01):4-9.