電力大數據全景實時分析關鍵技術的研究

龐寧

（深圳供電局有限公司，廣東深圳 518048）

0.引言

電力大數據全景設施分析是智能電網的重要內容，為了讓系統更加可靠，需要對大量的數據進行處理和分析，對電力系統設備進行全面監測和實時監測，為了保證數據處理的時效性和準確性，需要在電力大數據處理中引入先進的技術，根據全景實時數據的分析結果進行調度。

1.電網可靠性分析技術

在電力需求不斷加大的情況下，電網的規模也越來越大，電力系統中引入了大規模可再生間歇性能源。現階段，最重要的工作就是保證電力系統的穩定和安全，雖然安全可靠性分析技術早就被運用在電網中，但是該技術有著較大的運算量，只在一部分區域設置了采集點，無法實現全面分析。如今，信息采集系統更加完善，覆蓋了整個電網，解決了數據采集點較少的問題，電網對智能技術進行運用后，形成了智能電網，能夠得到電網的全景實時數據。全景實時數據的數據量非常大，在采集和計算的過程中會形成幾千階的微分方程，計算起來要耗費大量的時間，不能保證全景數據分析的時效性。另外，大規模分布式間歇能源有很強的變化性，很難對其進行精準預估，往往會形成較大的沖擊，嚴重影響電網的穩定性。所以，用實時動態的方式對電網數據進行分析是當前電力大數據分析工作的重點。

分析電網可靠性的常用方法是潮流計算法，受到采集點較少和數據較少的影響，過去的潮流計算無法保證計算結果的精確性。使用了分布式能源之后，要想對全景實時數據進行計算和分析，就必須要改變過去低效和局限性較大的計算方式，利用大數據技術優化潮流計算技術，使潮流計算具有更高的精確程度和更快的計算速度，確保全景實時數據計算分析的準確性和時效性，為電網的可靠性提供保障。

分析電網可靠性一般會使用N-1安全準則，當電力系統中的設備發生故障后，往往會用這一準則評價電網的安全。N-1安全準則具有一定的局限性，該準則沒有關注電網中的多重事件，只能考慮了個別設備的故障問題，但是電力系統出現問題時，故障的設備往往會對其他部位產生影響，形成連鎖反應。為了彌補N-1安全準則的不足，需要從多重事件的角度研究電網可靠性分析的方法，在N-m的基礎上進行研究，計算量的增長速度會變得越來越快，需要解決計算速度的問題，保證多重事件下的數據計算能夠在一定時間內完成。目前，解決這個問題最有效的方法就是快速高維稀疏矩陣，可以利用迭代法對非線性方程進行運算和求解。

2.輸變電設備全壽命周期管理

電網的運行過程是一個動態變化的過程，電網不會一直保持穩定安全的狀態，所以要在電網中加入實施監測系統，對電網的運行情況進行實時監控，盡量在最短的時間內發現系統的異常情況，找出故障部位并對該部位進行維修處理，確保電網能夠盡快恢復正常的運行狀態。電力系統中存在各種類型的設備，對電網故障問題進行分析，發現很多情況都與設備有關，要重視設備的監控和管理，尤其要重視輸變電設備，對該設備的運行數據進行采集和分析，根據全壽命周期數據進行分析和評估，利用這些數據建立相應的模型，使評估過程更加直觀、評價結果更加準確，以這種方式降低設備故障和電力系統故障的幾率。

電力系統中的設備數據基本都是臺賬信息，這些數據信息都存儲在設備管理系統中，但是全壽命數據存在較長的間隔時間，在電網的分布上也比較廣泛，數據的收集和整理將會變得異常困難。而大數據中心能夠對全部設備的數據進行整合，為全壽命周期管理提供了必要的支持，根據全壽命周期數據建立性的評價模型，對不夠準確的數據進行調整，讓模型更加精準，解決等級劃分較少的問題。等級劃分可以采用聚類劃分的方法，對設備的異常部位進行檢測，同時還可以運用深度學習技術，綜合多種技術，對輸變電設備進行自動分類，準確預測輸變電設備的故障情況。

對設備運行情況進行評價和預估，大都是在實驗室環境下的評估，其中的數據也是模擬過程中形成的數據，可以對人工智能技術進行運用，在該技術的基礎上劃分風險的級別。實驗室模擬的缺陷在于數據量較少，實驗環境和真實的電力設備運行環境有很大的差異，無法保證該算法對大規模設備數據進行運算評估的高效性和準確性。可以對數據分析技術進行運用，找出電力設備運行情況和設備所處環境的聯系，分析兩者的規律和關聯特征，在真實環境中更好對設備進行監測、運算和評估。所以，對輸變電設備全壽命周期數據進行運算和分析的過程中，可以運用數據挖掘分析算法[1]。

3.全景實時能源動態平衡調度技術

發電量、用電量和輸電量并不是一成不變的，電力系統的能源一直處于變化的狀態，如果各個方面的數值差異過大，就有可能使電力系統出現問題，所以要讓各部分保持平衡，按照瞬時平衡規律進行調整，由于電力系統無法存儲大量的電能，所以要根據用電情況對發電量和輸電量進行控制，保證電力系統整體的平衡性。目前在整體的調度和控制上，最常用的系統就是SCADA系統，該系統能夠對電網設備的運行數據和環境數據進行監測和采集，發現電力設備出現異常情況時，及時進行報警，SCADA系統還能調整系統設備的參數，以達到控制設備和調節系統的目的。

調度系統是最初是根據系統的需求和實際情況進行設計和構建的，隨著電力系統不斷發展和變化，電力系統的數據規模越來越大，傳統的處理方法已經無法滿足當前電力系統的實際需求，各方面數據的處理速度非常慢，而且數據的處理范圍十分有限，基本上只能對主參數進行處理，忽略了很多細節數據。如今的電力系統中加入了大量的間歇性能源，系統的不確定性和復雜性更加明顯，大量分散的數據和異構的信息會在同一時間傳輸到數據中心，如果數據中心繼續使用過去的調度系統，調度系統的功能和效果就會受到很大影響，無法保證數據處理的時效性和精確性，也無法根據數據處理的結果進行科學調度。

電力大數據中心可以利用大數據技術對大規模的數據信息進行處理，把控全局，合理調度，整合系統各個部分的資源，平衡供電量和用電量。電力大數據中心能夠準確統計能源的用量，對能源的需求進行預估，還能夠統計電能的生產量，根據各部分的數據參數進行自動調配，發揮自動調配技術的作用。能源動態平衡調度技術以大數據技術為基礎，能夠對大量的多元細節數據進行運算和處理，根據實時數據和數據模型進行調度，使電力系統的調度更加精確和高效[2]。

4.內存計算技術

電力大數據全景實時分析對計算機內存和計算技術有較高的要求，在目前的計算機體系和計算技術中，對于64bit計算機來說，最大的內存容量為232×4GB，內存計算技術滿足了電力系統大量數據的存儲需求，不必再使用磁盤進行存儲和計算，極大提高了系統的性能、加快了數據處理的速度。當電力系統出現海量的數據，同時又要對這些數據進行實時處理時，就可以對內存計算技術進行應用，該技術在實時處理大量數據和密集型計算方面有很大的優勢。電力大數據可以根據使用頻率的不同進行劃分，將其劃分成2種數據，一種為冷數據，主要在磁盤中存儲，另一種為熱數據，可以直接存儲到計算機內存中。

內存計算技術需要依托于具體的平臺，當前常使用的平臺為Spark平臺。Spark屬于開源集群計算系統，該系統以內存計算技術為基礎，即使是在大數據電力全景實時分析對數據分析算法的運算速度有較高要求的情況下也可使用，未以達到系統穩定運行的效果。Spark系統能夠在并行操作的過程中對工作數據集進行運用，使運算的速度更快。在Spark系統的作用下，電力系統將會更加高效，例如，在監測設備的過程中會形成不同類型的數據，Spark能夠快速劃分數據的類型，利用k-means聚類劃分算法對數據進行分類處理[3]。聚類算法實現過程如下：（1）讀取存儲于HDFS中的文件塊到內存中，并將每個塊轉化為一個RDD，其內部為監測數據特征量集合；（2）映射RDD，計算不同vector對應聚類編號，并完成鍵值的輸出，最終生成新的RDD；（3）在歸納操作中混合各RDD，并將相同的聚類數據一起存放；（4）將輸出結果寫于HDFS中。

5.流式大數據分析技術

電力流式大數據有較多的特點，如無限性和突發性，在監測和處理時很容易遺漏部分數據，必須要保證數據的完整性和數據處理的實時性。目前的流式數據分析平臺無法保證實時性和可靠性，電力大數據全景實時分析在流式數據的分析中，可以對Storm進行運用，Storm系統不會出現遺漏數據的問題，而且計算過程相對簡單，整體的分析更加高效。但是該系統在資源分配方面有一定不足，由于系統沒有運用拓撲結構，導致該系統無法滿足調度的需求。對Storm進行優化時，要先設計完整的拓撲結構，明確數據處理的前后順序，根據一定的邏輯進行處理。以電力設備的監測為例，對流數據進行處理時，要先對數據進行去噪處理，接下來要對流數據的特征量進行計算，最后根據計算結果評價電力設備的運行狀態[4]。使用Storm系統時，應注意系統的2種節點，系統包含一個主節點，即nimbus，另一種節點是從節點，即supervisor，這種節點的數量較多。系統會在3種環境下運行，一是slave，二是master，三是cluster。處理流數據的過程中，還要對拓撲結構進行設計，明確處理的順序，要掌握數據源和不同的處理節點，根據一定的邏輯關系處理流數據，以設備運行狀態監測流數據為例，第一，先獲取流數據；第二，采用不同的方法進行去噪處理；第三，采用不同的運算方法計算流數據的特征量；第四，對流狀態進行評價。

6.多核并行計算技術

電力系統還可以對多核并行計算技術進行運用，在多核并行計算技術的應用中，可以形成多核CPU，將系統中的算法并行，提高電力系統中密集數據的處理效率和分析效率。當前，電力系統需要處理海量的數據，還要執行非常復雜的計算任務，這種情況增加了處理和計算的時間，多核并行計算技術能夠讓數據處理和運算更加快速，在使用多核處理器和眾核處理器的情況下，可以利用并行計算技術實現多線并行，更有效地利用數據集群節點。圖形處理器存在著數以千計的計算核心，只有運用并行計算技術，才能更快更好地完成數據處理工作。CPU實現了大規模線程并行，即使有幾百萬線程，也可以順利運行，切換的過程非常快速。在并行計算中，主要使用SIMD，即單指令多數據的并行方式，只要下達一個命令，就可以同時控制非常多的數據。

7.列存儲技術

在列存儲技術的應用中，電力大數據全景實時數據中各種類型的數據都能被有效存儲，在電力系統的數據類型中，大部分都為結構化數據，具體來說，包含用戶的用電數據和電力系統中各個設備運行時的數據，還包括PMU數據，這些數據都可以對列存儲技術加以利用，使全景實時分析的數據分析更加高效。使用列存儲技術時，單獨存儲每列數據，查找相關數據時，只要找到對應的列即可，不用讀取其他列的數據，該技術大大減少了磁盤I/O，加快了數據查詢的速度。將每列數據單獨存儲，往往會使同列中的數據具有很強的相似性，可以將列存儲技術與壓縮技術結合起來，如位向量壓縮技術或數據字典壓縮技術，通過壓縮技術提高每列數據的壓縮率。

例如，在監測電力系統中的電能質量時，往往會產生非常多的時序監測數據，而且數據的監測包含多種類型，形成參數數據和諧波數據等類型的數據，可以將監測類型細分成具體的列簇，對單獨通道里的數據進行存儲，使其處于相鄰的節點中，使后期的檢索更加方便。列簇的劃分如下：（1）設備運行時的監測數據單獨成為一個列簇；（2）閃變數據單獨成為一個列簇；（3）電力系統中的電壓電流波形數據單獨成為一個列簇；（4）將頻譜數據與諧波和簡諧波融合到一起，共同組成一個列簇，對這些數據進行存儲時，可以采用組合壓縮的存儲方式，不用按照次數單獨進行存儲。對電力系統的數據進行劃分之后，可以根據數據的相關性進行存儲和查詢，使數據的查找和讀取更加快速。

8.結語

大數據全景實時分析會用到多種先進的技術，需要對這些技術進行研究和應用，將各種技術綜合運用到電力大數據全景實時分析中，結合電力系統的現狀問題、電能的需求、關鍵技術的難點進行創新，發揮各種關鍵技術的作用，構建一個更加高效和精準的電力大數據分析平臺。