嵌入式系統(tǒng)下電網(wǎng)錄波數(shù)據(jù)的壓縮解壓算法

張浩 孫成富 張志鵬 郇小城

摘 要：隨著電網(wǎng)錄波數(shù)據(jù)的應(yīng)用越來越廣泛，電網(wǎng)錄波數(shù)據(jù)的數(shù)據(jù)量日益增加，這對(duì)基于嵌入式平臺(tái)的電網(wǎng)錄波數(shù)據(jù)保存和傳輸提出了更高的要求。為了緩解硬件的資源壓力，節(jié)省新設(shè)備投資成本，需要對(duì)COMTRADE文件格式的電網(wǎng)錄波數(shù)據(jù)進(jìn)行無損壓縮。針對(duì)COMTRADE文件格式的特點(diǎn)，提出了用游程編碼壓縮數(shù)字量通道，以及基于BWT變換預(yù)處理的miniLZO壓縮算法壓縮模擬量通道。試驗(yàn)表明，此算法通道壓縮效果良好，能獲得理想的壓縮率。

關(guān)鍵詞：COMTRADE;無損壓縮;游程編碼;BWT變換;miniLZO壓縮算法;錄波數(shù)據(jù)

中圖分類號(hào)：TP393文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2095-1302（2020）01-00-03

0 引 言

電網(wǎng)錄波數(shù)據(jù)可以提供豐富的電力信息，現(xiàn)代電力系統(tǒng)的穩(wěn)定離不開對(duì)暫態(tài)數(shù)據(jù)的監(jiān)控、記錄和分析。但是在某些領(lǐng)域，如油田、大型石化企業(yè)等，由于現(xiàn)場環(huán)境的限制，直接使用PC對(duì)電力數(shù)據(jù)進(jìn)行快速的采集并且對(duì)大量數(shù)據(jù)進(jìn)行傳輸是不容易實(shí)現(xiàn)的，所以大多采用嵌入式系統(tǒng)來滿足需求，然而嵌入式系統(tǒng)資源相對(duì)較小，如何提升保存、傳輸電網(wǎng)錄波數(shù)據(jù)的能力，這就對(duì)錄波數(shù)據(jù)的壓縮提出了要求[1]。

1 COMTRADE文件格式

COMTRADE是IEEE于1991年提出，并在1999年進(jìn)行修訂完善的一種標(biāo)準(zhǔn)電力系統(tǒng)暫態(tài)數(shù)據(jù)交換通用格式。該標(biāo)準(zhǔn)為電力系統(tǒng)或電力系統(tǒng)模型采集到的暫態(tài)波形和故障數(shù)據(jù)的文件定義了一種格式[2]。

IEEE COMTRADE規(guī)定和記錄信息有關(guān)的文件有4個(gè)：頭標(biāo)文件（.HDR）、配置文件（.CFG）、數(shù)據(jù)文件（.DAT）以及可選的信息文件（.INF）。其中對(duì)于故障數(shù)據(jù)分析和處理而言最重要的是配置文件和數(shù)據(jù)文件，其他文件是非必需的[3]。對(duì)于COMTRADE文件壓縮和解壓來說，除了數(shù)據(jù)文件外，其他文件都可視為純文本文件來進(jìn)行處理，所以在下面的壓縮解壓算法中，主要針對(duì)數(shù)據(jù)文件[4]。

1.1 配置文件

配置文件是用于說明數(shù)據(jù)文件（.DAT）的一種文本文件，它有著固定的具體格式，通過讀取配置文件中的相關(guān)參數(shù)，就可以正確打開數(shù)據(jù)文件。配置文件按行順序主要有如下信息：場站名、記錄裝置的特征、使用標(biāo)準(zhǔn)的年份;模擬量通道總數(shù)、數(shù)字量通道總數(shù);模擬量通道的索引號(hào)、名稱、單位、通道倍率、偏移地址、轉(zhuǎn)換因子等信息;數(shù)字量通道的索引號(hào)，名稱等信息;采樣線路的線路頻率;采樣速率數(shù);采樣的速率以及該采樣速率下的采樣數(shù);第一個(gè)數(shù)值的日期和時(shí)間;觸發(fā)點(diǎn)的日期和時(shí)間;規(guī)定文件類型（是文本文件還是二進(jìn)制文件）;時(shí)間差域的倍率因子。

1.2 數(shù)據(jù)文件

數(shù)據(jù)文件包含記錄中每個(gè)采樣所有輸入通道的值[5]。數(shù)據(jù)文件中數(shù)據(jù)主要由四部分組成：第一組列數(shù)據(jù)為采樣的序號(hào);第二組列為采樣數(shù)據(jù)的時(shí)間標(biāo)記;第三組列數(shù)據(jù)為模擬量通道的采樣信息值;第四組列數(shù)據(jù)為數(shù)字量通道的采樣信息值。具體格式例子見表1所列。

2 數(shù)據(jù)文件壓縮解壓

由表1可知，數(shù)據(jù)文件分為四部分：采樣序號(hào)、時(shí)間標(biāo)記、模擬量通道數(shù)據(jù)、數(shù)字量通道數(shù)據(jù)。采樣序號(hào)在壓縮時(shí)是可以忽略的。由于本文考慮的是在嵌入式系統(tǒng)前提下對(duì)電網(wǎng)錄波數(shù)據(jù)進(jìn)行壓縮，所以壓縮方法必須要有占用資源少，速度快且易于處理的特點(diǎn)，下面就在此基礎(chǔ)上分別討論其他三個(gè)部分的壓縮。

2.1 采樣數(shù)據(jù)時(shí)間標(biāo)記

采樣時(shí)間是固定間隔的，這個(gè)時(shí)間的間隔是由采樣的頻率決定的，而在配置文件中采樣的速率已經(jīng)給出，因此要壓縮這個(gè)數(shù)據(jù)的話，只要保留第一個(gè)數(shù)據(jù)就可以了。在解壓時(shí)，因?yàn)榈谝粋€(gè)時(shí)間標(biāo)記數(shù)據(jù)是已知的，另外采樣率個(gè)數(shù)、實(shí)際采樣頻率、時(shí)間標(biāo)記乘數(shù)這三種信息都是可以從配置文件中得到，所以在解壓時(shí)可以進(jìn)行無損恢復(fù)。

式中：ts為間隔時(shí)間;f為實(shí)際采樣頻率;ta為時(shí)間標(biāo)記乘數(shù);tn為第n個(gè)采樣數(shù)的相對(duì)記錄時(shí)間;t1為第一個(gè)采樣時(shí)間。

2.2 數(shù)字量通道數(shù)據(jù)壓縮

通過表1可以看到，數(shù)字量通道變化只有1或者0，數(shù)字量通道只有兩種變化且數(shù)字量通道數(shù)據(jù)記錄的開關(guān)等信息很少發(fā)生變化，但是數(shù)字量通道數(shù)量在故障錄波數(shù)據(jù)中依然占據(jù)很大。面對(duì)數(shù)字量通道數(shù)據(jù)的這種特性，采用游程編碼RLE（Run Length Encoding）就可以達(dá)到很好的壓縮效果[6]。例如對(duì)表1中數(shù)字量通道的值000111，用正數(shù)表示1，用負(fù)數(shù)表示表示0，游程長度表示連續(xù)的相同字符，那么000111既可以壓縮為（-3，+3），當(dāng)數(shù)字量通道占比非常大時(shí)，能很好地提高壓縮率，且可以保證壓縮解壓縮速度，并且占用資源很少，非常適合嵌入式系統(tǒng)使用。

2.3 模擬量通道數(shù)據(jù)壓縮

2.3.1 LZO壓縮算法原理

LZO是Lempel-Ziv-Oberhumer的縮寫，該算法是無損壓縮算法，它的輕量化版本miniLZO具有壓縮解壓速度快，占用內(nèi)存小的特點(diǎn)[7]，它壓縮只需要64 Kb的內(nèi)存，另外還有一個(gè)只需要8 Kb內(nèi)存的壓縮級(jí)別，解壓不需要內(nèi)存。miniLZO算法速度快，占用RAM小的這些特點(diǎn)非常適合在嵌入式系統(tǒng)中使用。經(jīng)實(shí)際測試，在LPC1788單片機(jī)中miniLZO依然可以順利運(yùn)行。

miniLZO是一種字典壓縮算法，它的算法基本思想來源于LZ77算法（由Lempel和Ziv于1977年提出的一種字典壓縮算法）。miniLZO的核心思想是在壓縮的進(jìn)程中將已處理過的字符作為字典，不斷將還未處理的數(shù)據(jù)與字典進(jìn)行比對(duì)，看是否在字典中出現(xiàn)過，若出現(xiàn)過，就記重復(fù)的長度還有偏移的距離，并用這兩組數(shù)據(jù)來代替重復(fù)的數(shù)據(jù);如果沒有出現(xiàn)過，則作為全新的字符輸出[8]。例如123456123456789這樣一串?dāng)?shù)字，在miniLZO算法處理時(shí)，當(dāng)逐個(gè)處理，處理完123456沒有發(fā)現(xiàn)重復(fù)的部分，在繼續(xù)處理到123456789中的123456部分時(shí)，發(fā)現(xiàn)這是重復(fù)出現(xiàn)的，就可以將這里的123456壓縮為重復(fù)長度6，偏移距離6，用（6，6）代替123456，而下面的789沒有重復(fù)，則作為全新的字符輸出，整串?dāng)?shù)字123456123456789壓縮為123456（6，6）789。

miniLZO優(yōu)于LZ77的地方是它使用了哈希表來記錄字典數(shù)據(jù)，即通過哈希表來判斷字符是否重復(fù)和待處理的字符與索引的關(guān)系。采用哈希表的方法，只需要掃描一遍數(shù)據(jù)就能完成整個(gè)壓縮過程，這極大地減少了搜索重復(fù)字符的時(shí)間，由此極大地提高了壓縮速度[9]。miniLZO壓縮流程如圖1所示。

但是miniLZO算法有其局限性，當(dāng)要壓縮的數(shù)據(jù)關(guān)聯(lián)性不大時(shí)，它的壓縮率會(huì)降低。在模擬量通道中的數(shù)據(jù)，有時(shí)數(shù)據(jù)之間的聯(lián)系性會(huì)較低，這就需要對(duì)miniLZO算法進(jìn)行進(jìn)一步的改進(jìn)。

2.3.2 BWT變換預(yù)處理

BWT變換本身不會(huì)對(duì)數(shù)據(jù)進(jìn)行壓縮，它主要的工作是將原數(shù)據(jù)轉(zhuǎn)換為相同字符位置連續(xù)或者相鄰的一種變換方法，在經(jīng)過BWT變換后，再采用一些數(shù)據(jù)壓縮算法就可以取得更好的壓縮率[10]。

（1）BWT編碼

現(xiàn)有一個(gè)長度N=7的字符串“HJHHJM$”（其中$作為標(biāo)識(shí)符，不在字符串中，并且定義$小于字符串中的任意字符），先將其不斷平移N次，得到一個(gè)初始矩陣A，將矩陣A按照字典排序，由小到大排列得到一個(gè)新的變換矩陣B。記錄變換矩陣B的最后一列，作為L列，第一列作為F列。因?yàn)镕列可由L列推得，所以只需要保存L列即可。表2為字符串的轉(zhuǎn)換過程和A，B矩陣關(guān)系。

（2）BWT解碼

因?yàn)樽儞Q矩陣B每一行第一個(gè)字符都是最后一個(gè)字符的下一個(gè)字符，所以同一行中F列中的字符都是L列的下一個(gè)字符，L列是F列的前一個(gè)字符。因此在已知L列的情況下，就可以推出F列。假設(shè)F，L列的轉(zhuǎn)換關(guān)系是LF，i為字符在L中的位置，j是字符在F中的位置，滿足轉(zhuǎn)換關(guān)系LF（j）=i。轉(zhuǎn)換關(guān)系見表3所列。

已知L列和LF={6，4，0，1，2，3，5}這一轉(zhuǎn)換關(guān)系，就可以還原出初始的字符串。

BWT變換雖然不能壓縮模擬量通道中的數(shù)據(jù)，但是可以讓相同字符集中到一起，增加了聚合度，miniLZO算法對(duì)于有較強(qiáng)關(guān)聯(lián)性的數(shù)據(jù)有著更好的壓縮效果，能獲得更好的壓縮率。

改進(jìn)的算法如圖2所示。

3 實(shí)驗(yàn)仿真

功能測試在Windows 10環(huán)境下，開發(fā)軟件為VS 2010，CPU為Intel core i5-8500 3.00 GHz，內(nèi)存大小8 GB，嵌入式環(huán)境采用LPC17887處理器，主頻120 MHz，96 KB的片上SRAM。嵌入式環(huán)境平臺(tái)如圖3所示。

選擇8個(gè)電廠、電站電網(wǎng)錄波數(shù)據(jù)文件進(jìn)行壓縮測試，各文件壓縮結(jié)果見表4所列。

4 結(jié) 語

文件1到文件5中的電網(wǎng)錄波數(shù)據(jù)文件都包含了較多的數(shù)字量通道，文件的聚合度非常好，能達(dá)到23%左右的壓縮效果。文件6到文件9中的電網(wǎng)錄波數(shù)據(jù)文件不包含數(shù)字量通道數(shù)據(jù)，在嵌入式系統(tǒng)要求占用內(nèi)存小的條件下也有46%左右的壓縮率。測試結(jié)果表明，該算法在電網(wǎng)錄波數(shù)據(jù)文件的壓縮中具有一定的實(shí)際工程價(jià)值。

參 考 文 獻(xiàn)

[1]徐欣鋒.一種適應(yīng)大數(shù)據(jù)量遙感圖像的星上實(shí)時(shí)壓縮方法[D].長春：中國科學(xué)院研究生院 （長春光學(xué)精密機(jī)械與物理研究所），2006.

[2]陳永艷，束洪春，董俊，等.基于Lustre文件系統(tǒng)的海量暫存COMTRADE 數(shù)據(jù)分布存儲(chǔ)模式[J].電力系統(tǒng)自動(dòng)化，2015（18）：75-80.

[3]丁建光.智能電網(wǎng)海量信息處理關(guān)鍵問題的研究[D].上海：上海交通大學(xué)，2014.

[4]謝紅福.基于實(shí)時(shí)監(jiān)測與分析平臺(tái)的故障信息系統(tǒng)的研究[D].合肥：安徽大學(xué)，2006.

[5]王玲.計(jì)算機(jī)仿真技術(shù)在繼電保護(hù)開發(fā)中的應(yīng)用研究[D].濟(jì)南：山東大學(xué)，2009.

[6]籍俊偉，林小竹.圖像編碼中的RLE方法研究[J].石油化工高等學(xué)校學(xué)報(bào)，2004（1）：83-87.

[7]李玉爽，劉東明，朱愛玲.基于LZO算法的嵌入式高速無線數(shù)據(jù)采集系統(tǒng)[J].電子測量技術(shù)，2011，34（7）：67-70.

[8]何丹，李志蜀.一種基于LZSS的文本文件壓縮算法[J].計(jì)算機(jī)應(yīng)用，2008（9）：2335-2337.

[9]王松.面向快速解壓應(yīng)用的無損壓縮算法研究與實(shí)現(xiàn)[D].成都：電子科技大學(xué)，2017.

[10]倪桂強(qiáng)，李彬，羅健欣，等.BWT與經(jīng)典壓縮算法研究[J].計(jì)算機(jī)與數(shù)字工程，2010，38（11）：26-29.