面向高效邊緣計算的可分類數據壓縮傳輸機制

劉曉燕，許志偉，李文越，翟 娜，劉利民

（內蒙古工業大學數據科學與應用學院，內蒙古呼和浩特 010080）

0 引言

新型互聯網應用形式的出現使網絡終端節點逐漸從數據使用者轉變為兼具數據發表者的角色。網絡產生的數據量日益增加，且對數據的分析需求更加多樣。現有的以云平臺為代表的集中式數據平臺無法保證在正常響應時延的基礎上完成對全網數據的收集、處理和分析，邊緣計算應運而生［1］。邊緣計算作為5G 網絡等新型通信技術的重要支撐，是通過接近用戶邊緣提供數據存儲和計算服務的一種新型計算體系，在物聯網中得到了廣泛的應用。相關研究證明，將所有計算任務放在云上是一種有效的數據處理方式，但網絡帶寬往往無法滿足快速發展的數據處理要求［2］。同時，隨著邊緣數據量的爆炸式增長，數據傳輸速度逐漸成為云計算的瓶頸，在這種岌岌可危的狀態下，人們進入了邊緣計算時代［3］。

邊緣計算要求計算應盡可能靠近數據源并在邊緣處理請求，這解決了網絡邊緣產生的海量數據無法及時處理的問題。在早期無線網絡中，受部署傳感器節點能量、處理能力、存儲容量以及通信帶寬等若干方面的資源限制，邊緣計算發展受限。數據融合技術是解決資源限制的有效方法，其思想是融合來自不同數據源的信息［4］。它通過去除冗余信息來減少傳輸數據量，從而達到優化資源消耗、縮短網絡傳輸時延的目的。但與此同時存在以犧牲準確度和魯棒性為代價換取數據傳輸效率的弊端，且不夠靈活也不能融合先驗知識。目前已有相當關于邊緣網絡中基于離散小波的數據壓縮技術研究［5］，但現有數據壓縮技術雖易行、簡單，但卻缺乏兼容性。數據壓縮完成后傳輸編碼到相關節點無法實時地完成相關數據處理操作。另一方面，引入以精度換取效率的數據壓縮機制后，仍需在此基礎上進一步改善。

本文主要為如何對邊緣網絡中傳輸的大量數據進行壓縮處理，從而降低節點的功耗，提高數據傳輸效率。針對現狀，本文提出一種面向高效邊緣計算的可分類數據壓縮機制。首先，在傳感器的接收端分別進行數據收集，構建基于數據特征重構的壓縮編碼摘要機制，通過優化組合各輸入數據的特征，重構數據特征。其次，應用目前的數據壓縮表示技術CAE 算法搭建基于輸入數據的壓縮編碼機制，通過編碼對重構后的特征進行壓縮，減少移動邊緣網絡節點的資源消耗，最終達到可分類的目的。

1 相關工作

1.1 現有互聯網數據壓縮傳輸機制

數據壓縮主要指在信息存儲過程中，去除掉那些占用額外比特位編碼的冗余數據，以此達到縮減數據量的目的。現有互聯網數據壓縮傳輸機制多以數據融合方式實現［6］。融合信息系統為用戶提供一個能夠統一多源、異構信息的渠道，集成系統負責執行查詢底層異構數據源、組合結果并將結果顯示給用戶等任務。許多數學理論也可用來融合數據，如Khaleghi 等［7］所述，數據融合方法可以分為基于概率的方法、證據推理方法和基于知識的方法。數據融合利用數據間的相關性按需融合數據，以此減少數據的表示量。例如，用于對海量數據特征估計的概要數據結構［8-12］和用于海量數據中關系查詢的布魯姆過濾器［13-14］是常用的數據壓縮融合模型。雷萌等［15］提出的基于hash表的壓縮算法則通過哈希映射將大量的數據壓縮到一個緊湊且大小恒定的空間中，同時利用位置關系來融合不同的數據信息。但是，由于壓縮融合模型是利用哈希運算來存儲數據的，無法保存原始數據的任何信息，所以無法對數據進行分類處理。Ziv 等［16］提出了LZ77 數據壓縮方法，LZ77方法通過利用數據的重復結構性質，達到數據壓縮的目的，但存在耗時長的問題［17］。Burrows 等［18］提出了一種對矩陣進行排序和變換的數據壓縮算法，但該方法的壓縮性能較差。Bartus 等［19］提出了重復刪除技術來實現數據壓縮的目的，主要應用于重復性較高的共享資源壓縮，例如音視頻數據方面的壓縮。但該技術需要建立繁瑣的索引項進而導致消耗大量的計算時間。這些方法均存在兼容性較差、精度偏低的問題［20］。

1.2 邊緣計算下的數據壓縮傳輸機制

目前關于邊緣網絡中基于小波的數據壓縮研究已有一些基礎性的工作。針對單個傳感器節點產生的時間序列信號RACE 給出了一種壓縮位率自適應的Haar 小波壓縮算法，通過閾值來選擇重要的小波系數從而調整壓縮位率［22］。該算法在單個節點內運行，通過挖掘時間相關性減少冗余數據的傳輸，但未考慮鄰近節點間數據的空間相關性和冗余數據問題。Acimovic 等［21］給出了基于5/3 小波提升方案和Haar 小波的分布式壓縮算法。這些算法在鄰近節點間交換信息，在數據傳送到匯聚節點前分布式挖掘網絡中數據的空間相關性，極大地減少了冗余數據的傳輸。受限制的小波算法實現過程較容易，但不具實時性，且受限于固定的系數值，從而導致數據的縮減率相對不高。無限制的方法不受限于固定的系數值，能夠實現更高的數據壓縮率［23］，同時部分算法具有實時性。這些工作采用的都是結構較為簡單的小波算法，在邊緣傳輸過程中，數據壓縮完成后傳輸到相關節點。基于小波算法的壓縮傳輸數據無法在傳輸路徑上直接進行數據處理，因而難以滿足邊緣計算下不同應用系統對數據壓縮后直接進行數據處理的要求。

現有的數據壓縮技術，不能在傳輸過程中直接處理，且壓縮后的數據難以達到能夠分類處理的目的。因此本文引入編碼解碼器，保留壓縮數據的特性，處理后的壓縮數據可以直接在傳輸過程中進行分類等分析工作，為構建面向邊緣計算的、更為高效的數據傳輸機制提供基礎。

2 面向高效邊緣計算的可分類數據壓縮機制構建

2.1 數據壓縮編碼模型

針對邊緣網絡節點間傳輸的海量數據導致的節點負荷超載、傳輸時延和能源消耗增大等問題，本文提出一種高效邊緣網絡數據壓縮分類模型。該模型分別在傳感器的接收端收集數據，應用壓縮編碼算法搭建基于輸入數據的壓縮編碼機制，通過編碼對數據進行壓縮進而提升數據傳輸效率。

壓縮編碼方法最早是由Rumelhart 在1986 年提出的一種神經網絡結構，其包括輸入層、隱藏層和輸出層三個部分［24］，自適應編碼器結構圖如圖1所示。

其中，從L1層到L2層是編碼過程，從L2層到L3層是解碼過程。設?表示L1層到L2層的編碼函數，g表示L1層到L2層的編碼函數和L2層到L3層的解碼函數，可得如下表達式。

Fig.1 Structure diagram of adaptive encoder圖1 自適應編碼器結構圖

式（1）中，h為隱藏層表示；式（2）中，y為輸出層的表示。L1 層到L2 層的映射權值矩陣為A，L2 層到L3 層的映射權值矩陣為?，? 為A 的轉置矩陣，壓縮編碼器通過深度神經網絡DNN 進行預訓練，從而確定神經網絡中權值矩陣A 的初始值。Sf(x)為編碼器的激活函數，通常取Sigmod函數，即為解碼器的激活函數，通常取Sigmod 函數或者恒等函數。自動編碼器的參數有θ={A，b，b'}，其中b和b'為偏置項，壓縮自動編碼器模型通過計算輸出層輸出數據y 和輸入層輸入數據x 的誤差來訓練這些參數，當輸出數據和輸入的相似程度大于閾值的時候則認為該編碼器能保留輸入數據的大部分特征信息。當激活函數Sg采用Sigmod 函數時，其重構誤差如式（3）所示：

之后，設數據集為S={Xi}(i=1，2，3...n)，根據式（4）計算訓練樣本的整體損失：

最后利用深度神經網絡DNN 算法進行迭代訓練，可得到使得損失函數J(θ) 最小的壓縮自動編碼器參數θ={w，b，b'}，至此完成模型的訓練。

2.2 基于數據特征重構的壓縮編碼機制

由于引入壓縮機制后將導致精確率下降的問題，所以本文提出了一種基于特征重構的數據壓縮編碼機制。壓縮編碼算法的輸入要求為實數矩陣，特征重構指將原始數據轉換成實數矩陣。特征重構是一種特征工程技術，它的目標為將原始數據轉化成特征向量。首先在傳感器的接收端分別進行數據收集；其次對輸入數據進行特征重構；最后應用2.1 節中的壓縮編碼表示算法通過編碼對特征進行壓縮，降低資源消耗。基于特征重構的數據壓縮編碼結構如圖2所示，具體步驟如下。

（1）收集傳感器中原始數據。將原始輸入數據依次記錄在圖2 的Array1中，定義h 個大小為4 的數組，每個數組中的比特位初始化為0。

（2）通過MOD 函數后將函數值依次存放于圖2 中Array2數組中。構造MOD 函數并依次利用MOD 函數分別對記錄在步驟（1）中的h 個數組中的每位數據逐個進行運算，依次將函數計算結果存放于比特數組中。

（3）組合步驟（2）中的比特數組表示結果作為新的特征向量，如圖2 所示Vector。將新的特征向量作為壓縮編碼機制的輸入數據。

（4）特征重構后采用壓縮編碼機制進行數據特征壓縮。壓縮編碼機制中自編碼器將輸入的空間數據通過非線性變換映射到特征空間，在圖2 中用Encoder 過程表示。解碼器將特征空間的特征同樣通過非線性變換還原到原始輸入空間中。在還原過程中，利用最少的比特數來高度表達原來輸入數據特征，其優化目標函數為最小化重建誤差，在圖2 中用Decoder 過程表示。壓縮編碼可以很好地捕捉能夠代表輸入數據的最重要因素，尋找到代表原數據的主要成分，進行特征壓縮提取操作。

3 實驗與結果分析

3.1 數據集

本文共進行了兩組實驗，其中每組實驗中選用5 個數據集，每次實驗數據集大小如表1所示。

實驗1 數據集來源于科羅拉多州北部的羅斯福國家森林，這些地區是人類干擾程度最小的森林，包含四大荒野地區，共有12 個數據特征和7 種森林覆蓋類型。四大荒野地區的背景信息如表2所示。

其中，Neota 在四個荒野地區中具有最高的平均海拔值，Rawah 和Comanche Peak 會有一個較低的平均高程值，而Cache la Poudre 的平均高程值最低。12 個數據特征包含Elevation、Aspect、Slope等因素。

Fig.2 Schematic diagram of data compression coding based on feature reconstruction圖2 基于特征重構的數據壓縮編碼示意圖

Table 1 Information of datasets表1 實驗數據集信息

Table 2 Information of four wilderness areas表2 四大荒野區域信息

實驗2 數據集來源于4 名年齡在66-86 歲之間的健康老年人的運動數據。在他們穿戴的外衣上安裝傳感器記錄日常活動的數據變化內容。數據集包含接收信號強度指示器（RSSI）、相和頻率等8個屬性。

根據采集部署在傳感器上的數據信息，利用基于特征重構的壓縮編碼機制對數據特征進行壓縮歸類。然后搭建預測模型，比較數據分類精度以及模型運行效率。

3.2 實驗方法

對于兩個數據集，分別進行以下操作：首先收集邊緣網絡傳輸路徑節點中數據，對輸入數據的不同屬性進行特征重構；然后通過編碼對這些特征進行壓縮；最后利用基于支持向量機算法搭建數據分類模型。

首先，定義4 個存儲容量大小為4bit 的數組，選用的MOD 函數為H（2），對輸入的數據集中的數據進行特征重構。通過函數運算，最后組合4 個數組中存儲的16 個bit值，作為數據特征向量。其次，對于數據集一，傳感器接收的原始數據總共12 個特性，重構特征后輸入大小為16*12，將重構特征作為壓縮編碼算法的輸入，對特征進行編碼壓縮后輸出大小為1*6。對于數據集二，傳感器接收的原始數據總共8 個特性，重構特征后輸入大小為16*8，將重構特征作為壓縮編碼算法的輸入，對特征進行編碼壓縮后輸出大小為1*6。最后，將壓縮編碼通過相關節點傳輸到邊緣設備，在微型設備上搭建SVM 分類模型。

本文采用常用的準確率作為分類評估指標，其計算公式如下。

其中，TP表示正確分類數據個數，FP表示錯誤分類的數據個數，FN表示屬于該數據類型但被錯分的數據個數，TN表示屬于其他數據類型被分到其他類別的數據個數。

3.3 實驗結果分析

對傳感器收集到的數據不做任何處理，直接使用SVM算法構建分類模型，用SbaVM 標識。對數據進行壓縮編碼后構建分類模型，用Saboc 標識。對傳感器接收的數據首先進行特征重構，然后進行壓縮編碼后再構建分類模型，用DccAbofe 標識。實驗1 運行準確率如圖3 所示，運行時間如圖4 所示。實驗1 準確率和運行時間比較如表3 所示。實驗2準確率和運行時間比較如表4所示。

Fig.3 Comparison of the accuracy of different mechanisms under different data sets圖3 不同數據集下運行準確率比較

Fig.4 Comparison of running time under different data sets圖4 不同數據集下運行時間比較

Table 3 Comparison of accuracy and running time in experiment 1表3 實驗1準確率和運行時間比較

通過觀察圖3-4、表1 和表2，在選取的兩組實驗中，壓縮編碼分類機制（Saboc）比傳統支持向量機模型（SbaVM）的運行時間至少降低6 070ms，當數據量達到35 000 時，準確率降低了15.12%；基于特征重構的壓縮編碼分類模型（DccAbofe）比傳統支持向量機模型（SbaVM）運行時間至少降低6 240ms，與此同時當數據量達到16 000 時，準確率提升了3%。

壓縮編碼算法在編碼過程中進行數據壓縮后會損失一定的準確率，出現比傳統的SVM 算法偏低的準確率；采用了基于特征重構的壓縮編碼分類處理后，準確率比傳統SVM 算法有所提升，且運行時間大幅度下降。

Table 4 Comparison of accuracy and running time in experiment 2表4 實驗2準確率和運行時間比較

4 結語

在邊緣網絡節點收集和傳輸數據的過程中，為減小數據傳輸的開銷并優化傳輸效率，同時針對引入壓縮機制后導致精確率下降的問題，提出了基于特征重構的數據壓縮分類機制。通過傳感器接收數據，構建感知數據特征壓縮機制，最后應用基于支撐向量機的數據處理模型對傳感器采集數據進行歸類整理。實驗證明，通過對數據進行以上處理，減小了數據傳輸時延，同時精確率得到提升，使得邊緣網絡設備的性能利用率提高。

由于時間、精力和實驗條件的限制，本研究尚有許多問題和不足，后期可以從以下幾個方面展開更深入的研究：

（1）在驗證數據壓縮分類時，采用的方法不夠前沿，未來需要進一步優化算法和程序代碼。

（2）數據重構過程中，采用的哈希方法，可逆計算效率低，需進一步優化。