基于分層聚合的通信信息冗余數據檢測方法

張玉良, 王艷兵

(徽商職業學院 電子信息系, 安徽 合肥 231201)

文獻[1]設計了一種基于長短期記憶網絡-自編碼器的流數據異常檢測算法。該算法可以保證數據演化的有效性,提高了檢測結果的準確性。文獻[2]刪除了不利于處理的數據記錄,選取了依賴于關鍵詞體系的鄰近排序算法,優化了算法中的時間復雜度體系,在冗余數據處理效果不佳時計算關鍵詞對應權重,并選擇容易計算的灰狼算法作為冗余數據的檢測方法。該方法提高了檢測結果的準確率、召回率以及F度量值,但是其參數并未得到最大優化。文獻[3]基于單機系統計算了海量數據中的冗余體系,在待測數據與指紋映射間進行了二進制的串符設計,并提出了基于計算引擎(Spark)的通信信息海量冗余數據檢測方法,該方法局限于Spark體系與海量的冗余數據,對不同數據集中的適應性較差。

為了解決上述問題,基于分層聚合設計了通信信息冗余數據檢測方法。分層聚合[4]運用數據的特征量進行時間窗口的感知,通過設計數據流去重過濾器,可以得到冗余數據流檢測算法的基本構造,具有檢測精度較高的優勢,因此,本文利用分層聚合方法以進一步提高通信穩定性。

1 通信信息冗余數據檢測方法

1.1 提取通信信息冗余數據樣本特征

根據冗余信息位置的不同,將數據的冗余檢測分為原端檢測與目的端檢測,只有被檢測數據只含有單一的樣本時,數據源中才能避免冗余數據的傳輸,從而降低檢測的傳輸量,提高檢測效率。而信息網絡傳輸過程中,需提前分辨冗余數據的樣本特征,避免原端節點占用計算資源,影響網絡的傳輸效率。檢測通信信息中的冗余數據,首先提取冗余數據的通用樣本特征,在通信網絡中由于采集對象的不同,傳感器節點會被劃分為不同的信道[5],此時傳感器的節點結構如圖1所示。圖中,A～D為通信信道；a～d為通信子信道。

圖1 信道對應傳感器節點

在圖1所示的節點結構中,使用單片機提取不同的數據樣本特征,在靜態通信網絡中,傳感器節點中樣本提取層中函數的采集概率為

式中:Ei為發送數據所需要的能耗；Ec為傳輸單位能量的信息所需要的能耗；Tp為傳輸數據的總時間[8]。

在保證通信冗余的條件下,需要將其進行最小化處理,最小化的通信冗余數據能耗為

式中:Tk為發送最少的通信數據所需要的時間；Pic為采集冗余數據的功率能耗；Pu為傳輸冗余數據的功率能耗[9-10]。

通過以上公式可以標注冗余數據的作用目標,識別冗余數據中的重復性樣本,為冗余數據的識別奠定基礎。

湯翠得到小道消息，說是火車站太小，不適應當下城市的發展，得擴大，移出城外，移到南菜這邊。這消息太好，湯翠簡直不敢相信。如果消息屬實，南菜這片兒，搬遷補償不說，發展的步伐將會更大。湯翠自己先做了分析，結論是消息雖然是從小道來的，可能性還是很大的。北有新市委市政府，西面是生活小區，東面是沙河，火車站真要是移出來，南菜是科學的選擇。

1.2 基于分層聚合更新過期未刪除數據位置結構

根據分層聚合原理,在第一存儲序列的閱讀器中設計單元值的初始化函數[11-12]。設過濾器中滑動窗口[13]的哈希函數取值范圍為

依據值域式(4)可以在新數據到達以后,判定哈希函數標簽的時間信息,如果存在冗余數據的窗口,可以適當更新時間節點的信息,得到如圖2所示的位置結構。將不同存儲單元分層統計,其中顯示為0的部分為不存在冗余數據的存儲單元,而TUB表示數據的格式,RID表示數據的位置信息,TIME表示數據的事件信息,上述信息都是存儲單元中未刪除的冗余數據[14]。

圖2 存儲單元位置結構

當對象位置變化時,可將其中已更新的監控區域全部設定為存儲單元的目標節點,若存在過期未刪除的冗余數據,則需要將其全部刪除。在建立副本信息時,可以通過拓展系統節點的方式,將指紋查詢請求與定向存儲過程中的服務器集群全部應用于通信開銷中,以保證在線數據的冗余檢測精度。通過上述操作,冗余數據在更新了存儲單元的位置信息后被直接丟棄。

1.3 設計冗余數據流檢測算法

結合過期數據的刪除,可以將隨時間變化的存儲單元信息逐漸變成滿值空間,以保證過濾算法中能夠擁有足夠的空間存儲冗余數據流,設計如圖3所示的冗余數據檢測算法。

圖3 冗余數據檢測算法

在插入新數據后,需要通過標注位置節點和哈希操作[15]等方式,建立通信信息冗余數據的節點位置判定模型。隨機抽取存儲單元,將過期數據的位置結構全部更新,并判斷節點位置是否為零,此時通過計算存儲系統的吞吐率,判斷節點位置。存儲位置中各節點位置的吞吐率為

式中:Tα、Tβ與Tw分別為數據流在優化前、優化中與優化后需要的導引時間；Tχ為優化提高需要的時間；Ci為數據塊的數量；Dκ為存儲系統的寫入吞吐率。

通過上述算法優化通信信息冗余數據的檢測效果。

2 實驗研究

為了分析本文提出的基于分層聚合的通信信息冗余數據檢測方法的有效性與優越性,測試本文方法對不同數據集中冗余數據的檢測性能。

2.1 建立通信信息數據集

采用Windows 10操作系統,收集不同的通信信息建立數據集,其中包括兩個公開的數據集與一個實驗室服務器自行建立的數據集,將所有數據備份以便隨時查詢。在上述數據庫中,需要經過兩個階段性的檢測,以降低網絡傳輸負載與錯誤率,因此,建立如圖4所示的冗余數據檢測模型。圖中,H1～H4為4個閱讀器,在降低網絡傳輸負載時,可通過移動Ta～Th的模擬標簽,其中a～h表示標簽序號,驗證算法性能。

圖4 冗余數據檢測模型

設置冗余數據檢測模型的信息檢測參數,將合并基數限制在1 024 MB之內,并制定相應的分段基數。其中布隆過濾器中通常包含64個組,每組的假陽性率均不超過0.001%。建立特征向量的標準數據集,根據特征向量引入{0.4,0.5,0.6}作為均勻分布的噪聲,并將每個節點中的數據平均分配到5個異常數據中。根據特征向量的不同,將其分別設置為數據集A、數據集B、數據集C。

在該算法中,哈希函數的數量、過濾器的大小、數據流大小、滑動窗口大小的變化,均會對檢測結果造成影響,因此,通過該算法分析不同因素對通信信息冗余數據檢測結果的影響。在此過程中,利用假陽性率PFPR與假陰性率PFNR對檢測結果進行評價,兩個指標的計算公式分別為

式中:mp為過濾器中隨機數的單元數據量,p為隨機數的單元數量；ε為過濾次數；Cph為過濾器中隨機數的存入數據量；mi為過濾器的整體數據量；ti為過濾器中的間隔長短；Gi為一次冗余數據檢測中被減少的間隔；aε為被過濾器減少的次數。

2.2 不同參數對冗余數據檢測結果的影響

在滑動窗口中,當過濾器的大小為10 000位,數據的總量為100 000時,分別設置哈希函數的數量為1～9,過濾器的大小為1～9,數據元的數量為10～50,滑動窗口的大小為10～50,并以此測試3個數據集的假陽性率與假陰性率,得到如圖5和圖6所示的參數分析結果。

圖5 冗余數據檢測假陽性率

圖6 冗余數據檢測假陰性率

由圖5、圖6可見,當哈希函數為5時,其冗余數據的假陽性率和假陰性率均可以達到實驗測試中的最低值；當過濾器大小為1時,其假陽性率為最小值,而在假陰性率的測試中,過濾器的大小對其影響效果不大；當數據流為10時,3個數據集均可以得到最小的假陽性率與假陰性率；當滑動窗口大于30時,假陽性率達到最小值,在假陰性率中,其最小值在滑動窗口為30～40之間。由以上實驗結果可知,當哈希函數為5,過濾器大小為1,數據流為10,滑動窗口為35時,可以得到該算法下通信信息冗余數據檢測的最優結果。

3 結 語

大規模的數據應用產生了海量的通信數據,為了避免冗余數據對通信穩定性造成的影響,本文設計了一種基于分層聚合的通信信息冗余數據檢測方法。該方法可以基于提取的信息特征,實時更新冗余數據的位置節點,并建立一個相關的冗余數據檢測算法。在實驗中,哈希函數為5,過濾器大小為1,數據流為10,滑動窗口為35時,可以得到通信信息冗余數據檢測過程中最優參數的結論。