時序數據并行壓縮速率改進技術研究

駱金維，曾德生，郭雅，黃富平

（廣東創新科技職業學院信息工程學院，廣東東莞523960）

數據壓縮技術可以提高數據運行性能，隨著數據壓縮技術與其他信息技術不斷發展，可對時序數據進行無損壓縮，并已有并行壓縮技術，實現時序數據的高效壓縮[1]。時序數據壓縮可有效將原有時序數據轉換為多種表現形式，用盡可能少的數據對時序數據信號進行表示[2]。相關專家學者對時序數據壓縮技術展開深入研究，并取得一定有效成果。已有通過諧波濾波器對時序數據進行壓縮的方法。先將原始時序數據信號內穩態分量和暫態分量分離，利用傅里葉變換法對諧波分量參數進行估計，通過參數量化實現壓縮。該方法壓縮速度快，但穩定性較差[3-5]。傳統時序數據并行壓縮技術在對大規模時序數據進行壓縮的過程中，存在大量原始數據和經過應用程序處理后產生的數據，這些數據經過積累占用大量存儲空間，導致壓縮速度慢[6]。為解決以上問題，提出混合熵編碼時序數據并行壓縮速率改進技術研究。實驗證明，該技術將時序數據小波分解，有效減小數據占用的存儲空間，具有較高的壓縮速率。

1 研究背景與目的

上個世紀70年代，由于計算機中的各項硬件設備限制，眾人在設計及實現數據庫時就考慮了怎樣通過有限硬盤空間對時序數據進行高效存儲，這是數據壓縮的初始階段。在上個世紀的80年代至90年代中期，是數據壓縮的第二個發展階段，該階段中隨著科學和統計數據的興起，要用數據庫進行存儲管理的數據逐漸增多[7-8]，研究旨在將海量動態時序數據進行并行壓縮，通過減小數據占用的存儲空間，有效提高數據的壓縮效率。

2 時序數據預處理

針對傳統時序數據并行壓縮技術壓縮速率慢的問題，在進行時序數據并行壓縮之前，先對時序數據進行預處理，即對大量累積的時序數據占用存儲空間的問題進行解決。根據雙正交濾波器組完成時序數據的小波分解，將時序數據的小波系數進行閾值量化處理，減小大量原始數據和經過應用程序處理后產生的數據占用大量存儲空間，從而提高后續時序數據并行壓縮的速率。

2.1 時序數據小波分解

小波分解的過程中，數據采樣造成的時序數據損失，并不能依靠對采樣的控制而彌補。5-3雙正交濾波器具有系數簡單的特點，其整數變換能夠完成時序數據的無損壓縮，應用性比較強[9-10]。

2.2 時序數據閾值的選取

根據小波變換對時序數據進行壓縮時，對待壓縮的時序數據進行小波分解，并設置閾值，只保留模值比設置的閾值大的變換系數，進而達到時序數據快速壓縮的目的[11-12]。其中閾值的選取是時序數據并行壓縮的核心，這里采用提升法對閾值進行選擇，該法在進行閾值選擇時，考慮了噪聲小波變換系數于小波系數空間傳播的特性，可以更好地抑制噪聲對時序數據并行壓縮產生的影響，提高時序數據并行壓縮速率。為了得到比較高的壓縮比，選取硬閾值法當作閾值處理的方式。

這里從能量保持角度確定小波分解的層數，且定義了下列能量保持率TC衡量能量的保持程度：

其中，La和Ld分別代表尺度系數于小波系數長度。綜上能夠得知，隨著小波分解的層數不斷增加，TC越來越小，由此，假設時序數據在壓縮時限制TC取值，則小波分解最大的層數就確定了，也就是假設第l層小波分解之后的TC計算結果大于設定閾值，第l+1層小波分解之后的TC計算結果小于設定閾值，則l就是最大的分解層數，選取上述中最大的分解層數l當作時序數據壓縮中小波分解的層數。計算過程中，出于對信號幅值對TC影響的考慮，在小波分解之前對時序數據原始信號s()m做出如下處理：

其中，N代表時序數據原始的信號長度。綜上根據小波變換對海量時序數據進行分解后的閾值選取，大幅度縮減時序數據占用存儲空間，提高壓縮的速度。

根據以上步驟，選用雙正交濾波器對時序數據進行小波分解，并對分解后時序數據的小波系數進行與之量化處理，有效抑制噪聲干擾的同時對閾值進行選擇，處理時序數據的原始信號，完成時序數據的預處理。該過程大幅度減小了占用的存儲空間，為時序數據并行高效壓縮的實現奠定良好的基礎。

3 時序數據并行壓縮的實現

經過小波分解之后的時序數據對存儲空間占用較小，這就大幅度的提升了壓縮效率。采用混合熵編碼對時序數據[13-14]進行并行壓縮，完成時序數據并行壓縮速率的改進。具體壓縮過程描述如下；

在小波分解系數中，包含著尺度系數以及小波系數，尺度系數體現了時序數據信號主要特征，在此給予保留，小波系數歷經閾值量化之后，形成系數矩陣為一個稀疏矩陣，這個時候根據零行程實現其編碼比較有效。行程編碼之后的幅值V在實際上保留小波系數，這里將其與尺度系數共同進行字典編碼[15-16]，而對于行程L則單獨完成字典編碼。

綜上所述，依據數據壓縮背景和技術起源，充分分析時序數據特征，利用雙正交濾波器[17]對占用較大存儲空間的累積時序數據進行小波分解，量化處理時序數據的小波系數，選取最優閾值，完成時序數據的預處理。引入混合熵編碼對時序數據進行并行壓縮，完成基于混合熵編碼時序數據并行壓縮速率改進技術的研究。

4 實驗結果與分析

為了驗證所研究的基于混合熵編碼時序數據并行壓縮速率改進技術的有效性和合理性，進行了仿真實驗。實驗主要對改進技術的壓縮速率進行測試。實驗平臺搭建在MATLAB上，實驗數據取自于巨杉數據庫，每個測點都以15 s為間隔進行數據采樣，等待壓縮的數據每幀長度是4135B，且能量的保持率為92%。

實驗分別對一下幾個指標進行測試，來驗證基于混合熵編碼時序數據并行壓縮技術的壓縮速率，分別為：

分別采用傳統技術和改進技術對時序數據進行并行壓縮，測試兩種不同技術的信噪比（dB）；

分別采用傳統技術和改進技術對時序數據進行并行壓縮，測試兩種不同技術的壓縮比（%）；

分別采用傳統技術和改進技術對時序數據進行并行壓縮，測試兩種不同技術的壓縮時間（s）。

實驗評價指標：

為對最終獲得的壓縮效果進行評估，其中相應衡量指標為：

B.信噪比：

C.壓縮比：

其中，Bo與Bc分別代表原始時序數據，和壓縮之后的數據占據的字節數量。時序數據處理過程中，常出現噪聲干擾，這會對時序數據的壓縮速率有較大的影響，即信噪比越小，壓縮抗干擾性越好，則壓縮速率越高。因此分別采用傳統技術和改進技術對時序數據進行并行壓縮，測得兩種不同技術的信噪比（dB）對比結果如圖1所示。

觀察圖1（a）、圖 1（b）可知，圖 1（a）為傳統壓縮技術的信噪比，其信噪比數值較大，且信噪比隨壓縮數據量的增加變化幅度較大，當壓縮數據量達到500萬個時，出現最大信噪比為110 dB，平均信噪比約為90 dB；圖1（b）為改進壓縮技術的信噪比，其信噪比數值較小，且信噪比隨壓縮數據量的增加保持平穩變化，當壓縮數據量達到600萬個時，出現最大信噪比為75 dB，平均信噪比約為68 dB。對比改進壓縮技術和傳統壓縮技術的信噪比結果可得，改進系統信噪比的強度相較于傳統壓縮系統的信噪比強度弱很多，在信噪比數值上，改進壓縮技術的信噪比遠遠小于傳統壓縮技術的信噪比，充分說明改進壓縮技術的噪聲抑制效果更好，壓縮速率更高，驗證了改進壓縮技術的有效性。

圖1 兩種不同數據壓縮技術信噪比對比結果

為了進一步對改進壓縮技術的合理性和有效性進行驗證，需要對改進壓縮技術的數據壓縮時間和解壓時間進行測試，通過與傳統壓縮技術的壓縮時間和解壓時間進行對比[18]，完成實驗測試。在實驗中對數據壓縮與解壓的部分進行150次迭代，可得到壓縮與解壓連續進行150次所需要的時間，然后用該時間除150，獲得時序數據壓縮以及解壓的時間。測得兩種不同技術的壓縮時間（ms）對比結果如表1和表2所示。

表1 傳統壓縮技術壓縮及解壓時間

表2 改進壓縮技術壓縮及解壓時間

分析表1和表2可得，在原始數據大小和壓縮數據大小均相同的情況下，傳統壓縮技術的質量碼壓縮時間為0.57 ms，隨機百分量壓縮時間為7.6 ms，開關量壓縮時間為0.38 ms，總壓縮時間為6.7 ms；改進壓縮技術的質量碼壓縮時間為0.17 ms，隨機百分量壓縮時間為4.3 ms，開關量壓縮時間為0.1ms，總壓縮時間為3.7 ms。實驗結果充分說明，改進壓縮技術的壓縮時間更短，壓縮速率更高。這是因為改進壓縮系統采用混合熵編碼對時序數據進行壓縮，將有損壓縮技術和無損壓縮技術結合，使得總體數據壓縮時間和解壓時間較少。驗證了改進壓縮技術的可行性。

綜合以上實驗結果可得，所研究的混合熵編碼時序數據并行壓縮速率改進技術的信噪比低、壓縮比高、質量碼壓縮時間、隨機百分比壓縮時間、開關量壓縮時間以及總壓縮時間少，具有較高的壓縮效率，技術合理有效，且可行性高。

5 結束語

動態海量時序數據庫在社會各方面均得到了比較廣泛的應用，目前時序數據的壓縮大部分是有損的，且壓縮速率慢。提出混合熵編碼時序數據并行壓縮速率改進技術，通過以下步驟對時序數據并行壓縮速率進行改進：

選取時序數據的小波系數閾值，減小時序數據占用存儲空間的大小，提高壓縮速率；

采用混合編碼熵將字典編碼與零行程編碼進行有機結合，實現時序數據的并行壓縮。

通過以上步驟，完成了混合熵編碼時序數據并行壓縮速率改進技術的研究。實驗證明，該技術有效減小了數據占用存儲空間的大小，信噪比低，壓縮比高，壓縮時間短，具有較高的壓縮效率。但該技術在時序數據完整性方面仍存在不足，未來將針對該方向進行深入研究。