電能質量數據壓縮算法研究

楊超穎

(山西電力科學研究院，山西太原 030001)

0 引言

隨著電能質量監測系統規模的發展，監測點的設置越來越多，監測裝置記錄與分析的數據存儲和有效傳輸已成為監測系統高效運行的瓶頸之一。為此，應采取措施對數據進行壓縮，以減少數據存儲的空間與傳輸量，保證傳輸速度，使電能質量監測系統高效運行。

數據壓縮按照壓縮的失真度分為有損壓縮和無損壓縮，有損壓縮算法主要有脈沖編碼、預測編碼以及變換域編碼算法等。考慮到數據的特殊性，在電力系統相關數據壓縮中主要采用無損壓縮算法，包括自適應霍夫曼編碼(Huffman編碼)、LZ系列編碼、算術編碼、游程編碼、RAY-Period壓縮編碼等算法。對于電能質量數據壓縮問題的研究是近年來的一個熱點。文獻［1-2］基于小波變換，采取閾值方法處理小波系數，取得了一定的壓縮效果。文獻［3-4］基于小波包變換并結合最優小波基的選擇來實現電能質量數據壓縮。但上述方法得到的壓縮比仍較低，維持在幾倍至十幾倍，且無法控制壓縮性能。文獻［5-6］提出了基于提升格式的電能質量數據壓縮和重構算法，提高了運算速度，適合于實時壓縮。針對電力系統信號的周期性特點，文獻［7-9］進一步挖掘了此類信號的循環間冗余性，按整數倍周期將一維電能質量數據轉換為二維矩陣，利用二維小波變換進行數據的壓縮，取得了較好的壓縮性能。文獻［10］采用了圖像壓縮領域的多級樹集合分裂(SPIHT)編碼來實現一維數據的壓縮，但沒有討論壓縮碼率與壓縮性能的關系，且壓縮性能不佳，信噪比在30 dB以上時，壓縮比只有30以下。此外，PQzip與Zlib算法等在電能質量數據壓縮中也得到廣泛應用。

將首先介紹數據壓縮的4種基本算法，然后對目前電能質量數據壓縮的綜合算法進行分析，進而提出電能質量數據壓縮算法選用的建議。

1 電能質量數據壓縮基本方法

1.1 Huffman 編碼

Huffman編碼是一種常用的壓縮編碼方法。它的基本原理是頻繁與較少使用的數據分別用較短與較長的代碼代替，每個數據的代碼各不相同。

Huffman壓縮編碼作為一種高效的變長編碼方式，碼長取決于字符的概率，在源數據中出現概率越高的符號，相應的碼長越短;反之，相應的碼長越長，從而在整體上縮短了源數據包含信息的比特數，達到用盡可能少的碼字表示源數據。Huffman壓縮編碼是接近壓縮比上限的一種較好的編碼方法。

1.2 算術編碼

算術編碼是一種無失真的編碼方法，能有效地壓縮信息冗余度，屬于熵編碼的一種。其基本原理是:根據信息可能發現的不同符號序列的概率，把［0，1］區間劃分為互不重疊可反映各符號序列概率的子區間，使每個子區間內的任意一個實數都可以用來表示對應的符號序列，這個數就是該符號序列所對應的碼字。對信息進行算術編碼時首先需建立信息概率表，然后需對信息發出的符號序列進行掃描編碼。通過這兩個過程即可實現對信息的編碼壓縮。

1.3 LZ 系列編碼

LZ系列算法包括LZ77、LZ78以及LZW算法等，其中LZ77和LZ78是LZ系列的基礎算法，這兩個算法在字典的構造和實現上代表了兩種完全不同的思想［11］。

LZW的壓縮基本原理是，通過分析源數據流，在編碼的同時不斷更新，自適應地生成一個串表，后續的數據就可以同串表中的數據相匹配。由于這個生成的串表不需要隨著壓縮的數據一同傳輸，而是能夠根據壓縮的數據在解壓縮的時候重新動態地生成一模一樣的串表，從而進一步提高了壓縮的效率。

1.4 基于小波分析的數據壓縮法

基于小波的數據壓縮方法包括有多分辨率分析方法、Mallat算法、小波變換、小波包變換和多級樹集合分割編碼相結合的方法等。這些數據壓縮方法在電力系統中也得到了廣泛的應用。

其中，小波包變換能夠為信號提供一種更加精細的分析方法，它將頻帶進行多層次劃分，對多分辨分析沒有細分的高頻部分進一步分解，并且能夠根據被分析信號的特征，自適應地選擇相應的頻帶，使之與信號頻譜相匹配，從而提高了時-頻分辨率。文獻［12］詳細分析了小波包變換和多級樹集合分割編碼相結合的方法。

2 電能質量數據壓縮綜合算法

2.1 基于離散小波變換、SPIHT與算術編碼相結合的數據壓縮方法

為滿足電能質量監測網存儲與傳輸海量錄波數據的需要，文獻［13］提出了提升格式的二維離散小波變換、SPIHT編碼與算術編碼相結合的數據壓縮方法。該算法的實現原理如下圖1所示。

圖1 電能質量數據壓縮與重構方法

首先，將采集的一維電能質量數據按整數倍周期排列為二維矩陣，利用圖像壓縮的方法對電能質量錄波數據進行壓縮。在SPIHT編碼中，小波系數按重要性從大到小的順序被編碼，達到目標壓縮碼率便立即結束編碼，因此可以根據電能質量監測網的通信狀況來控制壓縮碼率，實現對壓縮性能的控制;且SPIHT編碼對不重要的小波系數及其不重要的后代節點都不進行編碼，提高了編碼效率。最后，對SPIHT編碼輸出的數據進行算術編碼，可進一步提高壓縮比。重構是壓縮的逆向過程。

對常見的電能質量擾動信號(諧波、凹陷、中斷、震蕩、脈沖)進行的壓縮研究表明，在壓縮碼率R=0.5 bit/pel時，各類電能質量信號的壓縮比都達到了115倍以上。在如此高的壓縮比且含有10 dB強度的高斯白噪聲的情況下，重構信號的信噪比也達到了32 dB以上。

另外，此數據壓縮方法能靈活地調節壓縮性。壓縮碼率越高，壓縮比越低，信噪比越高，均方誤差也越小。因此，可以根據電能質量監測網的通信狀況，通過控制壓縮碼率來調節壓縮比。當通信狀況較好時，可提高壓縮碼率，傳輸較多的數據量，此時重構信號的信噪比較高，能較準確地記錄原始信號的特征;當通信狀況較差時，可降低壓縮碼率，傳輸較少的數據量，此時重構信號的信噪比較低，但仍能記錄原始信號的大概特征。

2.2 基于PQzip技術的數據壓縮算法

PQzip是一種先進的電能質量數據壓縮技術，主要應用于以色列Elspec公司開發的G4400電能質量監測裝置中。PQzip技術中所采用的基于FFT變換的有損壓縮算法是當今應用廣泛的一種方法，該方法精度較高，功能較多，使用方便，特別適用于正弦波的情況。但FFT是在整個時域內的積分，只能適用于確定性的平穩信號(如諧波)，對時變非平穩信號卻難以充分描述。

基于PQzip技術，文獻［14］采用FFT和小波包變換兩種方法相結合實現了數據壓縮。對于染噪信號，為有效提取信號的特征量，首先利用小波閾值法去噪，再對其進行二進小波變換檢測信號:如果檢測到的信號為穩態或穩態擾動，采用FFT變換對信號進行壓縮，得到相應的頻譜，記錄原始信號中不同的頻率分量;如果檢測到的信號為暫態擾動，則采用小波包變換進行壓縮，對小波包各層分解系數進行閾值處理，保留與信號奇異性相關的點，忽略一部分與信號奇異性無關的點。最后利用LZW編碼對經過有損壓縮后存儲的數據進一步無損壓縮，實現更有效的壓縮效果。

對5種常見的暫態擾動信號以及4種穩態擾動信號的仿真分析表明［14］，對于同一穩態擾動信號，PQzip的壓縮率(CR)最小，壓縮效果最好，而小波變換算法CR明顯大于PQzip和所提算法，說明了FFT算法在穩態以及穩態擾動信號壓縮方面具有無可比擬的優越性;對于同一暫態擾動信號，小波算法的CR最大，壓縮效果最差，PQzip所采用的FFT算法和所提算法的CR較為接近，這是由于小波包變換對擾動數據進行壓縮時，不僅對小波包低頻系數進行閾值處理，而且對高頻系數同樣進行閾值處理，是一種比小波變換更為精細的變換方法，其壓縮效果優于小波變換的壓縮方法。

電能質量信號在不同方法下的均方根誤差(RMSE)結果分析表明，PQzip所采用的FFT算法在穩態信號壓縮時，RMSE很小，保持在10-4數量級以上，但在處理暫態信號時，壓縮率只有10-3數量級;小波變換算法在進行壓縮時RMSE基本都保持在10-3數量級;而所提算法的RMSE在處理無論是穩態還是暫態信號時，RMSE都保持在10-4數量級上，壓縮后的重構信號可以較好地保留原始信號的特性。綜上分析可得，電能質量信號不管是穩態、穩態擾動還是暫態擾動，采用所提算法，即基于FFT和小波包變換壓縮法，在保證原始信號局部特性的基礎上，能有效地壓縮數據，并且取得令人滿意的壓縮效果。

2.3 Zlib數據壓縮算法

Zlib壓縮算法是一種基于字典的無損壓縮算法，應用于PQDIF壓縮數據。該算法采用了統計模型和字典模型，有機地結合了Huffman樹編碼法和LZ77編碼法的優點，使壓縮效果更好。

Zlib算法繼承了字典壓縮算法的思想，將此思想與滑動窗口(在內存中開辟的一個固定長度的緩沖區)相結合，把滑動窗口看成是字符的字典，找出超前察看緩沖區(與滑動窗口的緩沖區相鄰)中能與滑動窗口的字符串相匹配的最長的字符串，并將此串按照LZ77編碼法進行編碼。當兩個緩沖區中沒有相匹配的字符時，便采用自適應的Huffman編碼法進行編碼，在編碼的過程中將已編好的壓縮碼實時地寫入壓縮文件中。也就是說，Zlib算法將長度不同的符號串編碼成一個個新單詞，形成一本短語詞典的索引，然后用索引來檢索數據，并用字典的編碼代替符號串以達到壓縮目的。解碼過程是編碼的逆過程，同樣用到了Huffman算法和LZ77算法的編碼算法，解碼過程與編碼過程相似。

根據某省級數據中心建設規劃，為了最大限度地保護現有投資，該省將PQView數據庫作為基礎數據庫，PQView軟件本身提供了數據采集功能、數據管理功能及數據分析功能。PQView數據庫中數據存儲采用PQDIF格式，對穩態數據及事件的錄波數據進行壓縮的算法采用ZLib，此算法的壓縮效率非常高。對于純數據文件2.04 MB，壓縮后13.5 kb，壓縮率為99.4%;純數據文件 1.00 MB，壓縮后 7.23 kb，壓縮率為 99.3%;純數據文件 454 kb，壓縮后 3.81 kb，壓縮率為99.2%;純數據文件221 kb，壓縮后為99%;對于文本+數據文件，原文件大小為228 kb，壓縮后2.62 kb，壓縮率為 99%;原文件大小為 3.14 MB，壓縮后為21.4 kb，壓縮率為99.4%。文件的容量越大，ZLib算法的效率就越高。

2.4 電能質量數據壓縮其他綜合算法

目前，對電能質量數據壓縮方法的研究有很多，文獻［15］基于二維DCT的電能質量監測數據壓縮方法，該方法仿真結果表明，當均方誤差為3.89%時，壓縮比可以達到82.8%。文獻［16］基于混合小波包的電能質量數據壓縮算法，對于電能質量事件數據的壓縮性能優于傳統小波/小波包變換。文獻［10］基于整數小波變換和 SPIHT編碼的錄波數據壓縮算法，其整數小波變換運算速度快，節約內存，易于DSP實現;SPIHT編碼方法形成的碼流易于實現可變碼率，也能達到一定的壓縮性能。文獻［17］基于PQDIF格式壓縮的電能質量數據模型，是基于Zlib的數據壓縮技術，采用此數據模型基于Web技術的電能質量監測和分析系統已投入運行。這些數據壓縮法都具有自己的優缺點和使用條件。第三節著重分析比較目前被投入實際使用和研究廣泛的3種數據壓縮方法。

3 電能質量數據壓縮3種方法的分析比較

基于二維離散小波變換、SPIHT并結合算術編碼方法的數據壓縮方法對電能質量數據進行壓縮。在較高的壓縮比時仍能保證較高的信噪比，信號的特征基本得到了保留;壓縮性能可以根據電能質量監測網的通信狀況靈活調節，避免了因為通信線路上傳輸的數據量過大而造成的數據丟失或嚴重滯后，監測中心能及時地監測、分析電能質量狀況。提出的方法能較好地解決電能質量監測網對海量錄波數據進行存儲與傳輸的問題。

基于PQzip技術的數據壓縮算法結合了FFT和小波包變換壓縮的優點，即FFT具有良好的頻域特性和小波變換具有更高的時頻分辨率，并有很好的抗噪性，可以自動檢測擾動信號并進行分類:對穩態以及穩態擾動信號采用FFT，對暫態信號采用小波包變換進行壓縮。與PQzip以及小波變換算法相比較，抗噪性能好，還可以在保證原始信號局部特性的基礎上，獲得更好的壓縮效果，CR較小，并且其RMSE也保持在10-4級別以上，取較滿意的壓縮結果。該算法在實際應用中，若忽略擾動、畸變和直流分量的影響，在工程運用中，可以廣泛采用。

基于Zlib的數據壓縮法是一項成熟的壓縮算法，Zlib是一個免費、通用、不受任何法律阻礙的、無損的數據壓縮開發庫，而且還是跨平臺的。與其他無損壓縮算法相比，Zlib壓縮算法能夠壓縮更多形式的數據，并且具有同winzip和winrar等商業軟件相比毫不遜色的壓縮率，并且使用了很少的系統資源，對各種數據提供很好的壓縮效果。如果經常使用Zlib庫壓縮特定類型的數據，可以使用有針對性的策略，提高壓縮效率和性能。盡管Zlib只支持deflate壓縮算法，壓縮倍數比所提到的其他算法大，但在實際運用中還是很廣泛，運用方便簡單。

4 結 語

在簡要總結幾種典型的電能質量數據壓縮基本方法的基礎上，著重分析了目前研究和使用較為廣泛的數據壓縮法，并比較了各個方法的適用條件及優缺點。若以較少的數據質量損失存儲大量的數據，從而獲得很高的壓縮率，若考慮使用有損壓縮，忽略壓縮過程中損耗的數據，建議考慮使用PQzip數據壓縮法，該方法能提供過去的所有與電能質量相關的數據，不論其重要程度怎樣，任何時間的數據都被存儲;若考慮使用無損壓縮算法，根據以上的分析，建議使用Zlib庫，對數據進行壓縮，這是目前使用比較廣泛成熟的壓縮方法;若考慮壓縮性能中的壓縮比，以及誤差精度，所提的基于離散小波變換、SPIHT編碼、算術編碼相結合數據壓縮法是目前數據壓縮研究領域取得較好效果的方法。

這3種數據壓縮法都有各自的特點，根據不同的實際需求，選擇適合的電能質量數據壓縮法，達到預期的數據壓縮效果。但它們都有各自的影響因素，如PQzip數據壓縮法，實際電力系統中，電能質量信號會存在各種擾動和畸變，有時還會受到直流分量的影響，而且這些擾動和畸變很多時候會同時出現。在實際應用時，影響數據壓縮的因素有數據量、采樣率、電能質量問題和AD性能等，都應當在算法中將這些因素都考慮進去，使得算法更加合理實用［18］。因此在對各種數據壓縮算法進行改進研究時要綜合考慮各方面的影響因素從而達到提高壓縮儀器精確度的目的。

［1］P.K.Dash，B.K.Panigrahi，D.K.Sahoo，et al.Power Quality Disturbance Data Compression，Detection，and Classification Using Integrated Spline Wavelet and STransform［J］.IEEE Trans.on Power Delivery，2003，18(2):595-600.

［2］劉應梅，白曉民，易俗，等.基于最小極大法的電力擾動信號壓縮［J］.電網技術，2004，28(3):33-37.

［3］成敬周，張舉勇.基于小波包分析的錄波數據壓縮原理［J］.電力自動化設備，2004，24(7):53-56.

［4］潘文霞，李春林，史林軍.基于最佳小波包基的電能質量暫態數據壓縮［J］.電力系統及其自動化學報，2005，17(3):50-54.

［5］閆常友，楊奇遜，劉萬順.基于提升格式的實時數據壓縮和重構算法［J］.中國電機工程學報，2005，25(9):6-10.

［6］王學偉，孫金鳳，王琳.基于整數小波變換的Ray-Period 壓縮算法［J］.電網技術，2008，32(7):46-50.

［7］mer Nezih Gerek，Dogan G?khan Ece.2-D Analysis and Compression of Power Quality Event Data［J］.IEEE Trans.on Power Delivery，2004，19(2):791-798.

［8］mer Nezih Gerek，Dogan G?khan Ece.Compression of Power Quality Event Data Using 2D Representation［J］.Electric Power Systems Research，2008，78(6):1047-1052.

［9］鮑文，周瑞，劉金福.基于二維提升小波的火電廠周期性數據壓縮算法［J］.中國電機工程學報，2007，27(29):96-101.

［10］王永玉，孫衢，袁超偉.基于整數小波變換和SPIHT編碼的錄波數據壓縮算法［J］.繼電器，2008，36(11):50-54.

［11］郝蔓釗.電能質量監測數據的數據壓縮［D］.上海:上海交通大學，2009.

［12］高山.基于小波包變換的多級樹集合分裂編碼算法研究［D］.西安:西安科技大學，2009.

［13］劉毅，周雒維，馮浩.電能質量監測網錄波數據壓縮方法［J］.電網技術，2010，34(4):199-203.

［14］柯慧.電能質量數據壓縮算法研究［D］.上海:上海交通大學，2009.

［15］胡志坤，何志敏，安慶，等.基于二維DCT的電能質量監測數據壓縮方法［J］.中南大學學報，2011，42(4):1021-1027.

［16］鄭偉彥，吳為麟.基于混合小波包的電能質量數據壓縮算法［J］.電工電能新技術，2010，29(3):8-11.

［17］丁屹峰，程浩忠，占勇，等.基于PQDIF格式壓縮的電能質量數據模型［J］.繼電器，2005，33(7):55-58.

［18］朱宏濤.電網數據采集系統建模與數據壓縮品質影響的研究［D］.哈爾濱:哈爾濱工業大學，2010.