基于大數據的多媒體弱關聯數據智能壓縮方法研究

龍虎 張小梅

摘? 要： 多媒體原始數據總量巨大，給信號的存儲及傳輸帶來很大困難，致使數據弱關聯能力不斷降低，為解決此問題，提出基于大數據的多媒體弱關聯數據智能壓縮方法。利用弱關聯數據挖掘結果構建大數據查詢集合，并對相關多媒體數據進行修補，完成基于大數據的多媒體弱關聯數據查詢。在此基礎上，量化處理智能數據塊，根據弱關聯數據集的映射結果，確定壓縮序列，實現基于大數據多媒體弱關聯數據智能壓縮方法的建立。對比實驗結果表明，與一般性壓縮方法相比，應用智能壓縮方法后，信號數據的存儲總量得到提升，單位傳輸速率也得到適當促進，為維護多媒體原始數據的弱關聯能力提供了保障。

關鍵詞： 數據智能壓縮; 弱關聯數據查詢; 大數據; 數據挖掘; 數據修補; 量化處理; 壓縮序列確定

中圖分類號： TN919.5?34; TP397? ? ? ? ? ? ? ? ? ?文獻標識碼： A? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）19?0102?04

Abstract： In order to solve the problem that the huge amount of multimedia original data has brought great difficulties to the storage and transmission of signals， resulting in the continuous decline of weak correlation ability of data， a multimedia weakly?associated data intelligent compression method based on big data is proposed. The results of weakly?associated data mining is adopted to build the big data query set， repair the related multimedia data， and complete the multimedia weakly?associated data query based on big data. On this basis， the intelligent data blocks are processed quantitatively， and the compression sequences are determined according to the mapping results of weakly?associated data sets， so as to realize the establishment of the multimedia weakly?associated data intelligent compression method based on big data. The results of contrast experiment show that， in comparison with the general compression methods， the intelligent compression method can increase the total storage amount of signal data， promote the unit transmission rate appropriately， and provide a guarantee for the weak correlation ability of multimedia original data.

Keywords： data intelligent compression; weakly?associated data query; big data; data mining; data patching; quantitative processing; compressed sequence determination

0? 引? 言

數據壓縮是一種新型的數據重組方法，在確保不出現有用信息丟失的前提下，縮減原始數據總量，并以此達到控制數據存儲空間的目的，在提高數據信號傳輸效率、數據信號處理效率等方面具有極強的促進作用。常見的數據壓縮包括無損壓縮、有損壓縮兩大基本類型。在計算機云計算領域，數據壓縮、源編碼等操作都是利用數據位元表示關聯信息的物理過程，且在整個操作過程中，數據位元結構始終作為其他信息的相關表示單位。無論何種形式的網絡通信，只有在信息發送方和接收方同時理解關聯編碼機制的情況下，數據壓縮手段才能保持良好的工作狀態[1?2]。數據壓縮操作的實質其實是文件壓縮，所謂數據只是泛指任何具有數字化能力的信息，包含計算機網絡中涉及的所有文件類型。但在特殊情況下，數據則專指具有時間特性的文字信息。這類待壓縮信息常被用以進行即時采集或傳輸。在過去很長的一段時間內，我國相關研究領域依靠SAR技術對多媒體數據進行矢量化處理，再利用BAQ算法獲取其中的主要節點信息，并根據均勻量化法則對其進行深入的壓縮處理。但隨著多媒體原始數據總量的不斷增加，這種方法影響下的信號傳輸及存儲行為始終不能達到預期水平，進而造成數據間的弱關聯能力不斷降低。為避免上述情況的發生，在大數據理念的支持下，借助量化處理等手段，建立一種新型的多媒體弱關聯數據智能壓縮方法，并設計針對性實驗，突出說明該壓縮方法的實際應用價值。

1? 基于大數據的多媒體弱關聯數據查詢

基于大數據的多媒體弱關聯數據查詢是新型智能壓縮方法建立的基礎環節，在弱關聯數據挖掘、查詢集合構建等步驟的支持下，其具體操作方法可按如下流程進行。

1.1? 弱關聯數據挖掘

弱關聯數據挖掘是查詢算法實現的基礎操作步驟，在面對總量龐大的多媒體原始數據時，可根據相鄰數據組織間的聯系緊密程度，確定精準的信息特征維度條件，并根據其中的約束條件，對待處理的多媒體數據進行重排處理。簡單來說，弱關聯數據挖掘是一項促使信息連接打破再重新排列的應用處理手段。在所有多媒體數據的信息聯系能力都不發生改變時，弱關聯屬性成為影響數據排列的唯一物理條件[3?4]。所謂挖掘也叫適度連接，是將現存于大數據網絡中的所有多媒體數據，按照一定關聯影響進行對應連接，再整合所有完成連接的物理結構，將其進行打包關聯，并設置專門的獨立組織用以存儲這類弱關聯數據，等待下一次執行處理指令的連接申請。完整的弱關聯數據挖掘處理原則如圖1所示。

1.2? 大數據查詢集合構建

大數據查詢集合是關于弱關聯數據的挖掘存儲空間，具備較強的物理承載能力，且不對其中所包含的數據信息數量進行嚴格限制。雖無明確限制集合內多媒體弱關聯數據的具體數量情況，但常規情況下，滿足壓縮需求的集合結構中必須包含挖掘頭信息、挖掘實體信息、挖掘尾信息三類基本數據類型[5?6]。所謂挖掘頭信息是指直接接觸弱關聯數據挖掘結果的大數據節點，常表示為[ya];挖掘實體信息是對弱關聯法則的深入解釋說明，是大數據查詢集合中不可或缺的重要組成條件，常表示為[yb];挖掘尾信息是壓縮方法指定的主要物理依據，與多媒體數據總量、弱關聯系數等物理條件均不產生直接關聯影響，常表示為[yc]，聯立[ya]，[yb]，[yc]，可將大數據查詢集合表示為：

式中：[t]代表大數據查詢集合中的任意多媒體弱關聯數據;[μ]，[λ]分別代表兩個不相關的大數據智能壓縮指標向量，在特定情況下，[μ=λ]與[μ≠λ]同時成立;[e]代表與挖掘實體信息相關的冪次項系數。

1.3? 多媒體數據修補

多媒體數據修補是在大數據查詢集合的基礎上，對最終智能化數據壓縮結果提出的一項精確化限制要求，與弱關聯數據挖掘相比，多媒體數據修補可直接針對大數據環境中的薄弱部分，并對其進行具有指向性的整合促進。在對多媒體弱關聯數據進行修補的過程中，首先應該對大數據查詢集合進行初步搜索，并篩選出其中的關鍵信息成分，再根據弱關聯規則中對于壓縮結果的限制情況，選擇性地生成一個或多個修補備選數據包，其中不僅包含所有從大數據查詢集合中選取的所有信息結構，也必須包含具有壓縮索引功能的關聯表單結構[7?8]。然后再將所有信息結構按照弱關聯數據挖掘規則進行排列，以保證后續壓縮處理過程中不出現明顯的數據混亂行為。最后，再利用大數據媒體環境，對已經存在明顯弱關聯影響的數據結構進行壓縮修補處理，進而提升信號結構的存儲及傳輸能力水平。完整的多媒體數據修補流程圖如圖2所示。

2? 數據智能壓縮方法的實現

在大數據多媒體弱關聯數據查詢的基礎上，按照智能數據塊量化處理、弱關聯數據集合映射建立、壓縮序列確定的操作流程，實現基于大數據多媒體弱關聯數據智能壓縮方法的順利應用。

2.1? 智能數據塊量化處理

智能數據塊量化處理按照關聯性程度對待壓縮多媒體數據進行層次結構上的劃分，通常情況下，弱關聯程度相對較高的多媒體數據集合排列在前，弱關聯程度相對較低的多媒體數據集合排列在后。所謂量化是在結構層次上對多媒體數據進行的關聯性整合處理，既包含對大數據集合的初步壓縮，也包含在剩余多媒體數據中篩選全新的弱關聯結構，用以填補已被智能壓縮操作消耗的大數據分子[9?10]。假設在不進行外界干擾的情況下，多媒體弱關聯數據始終保持原有的存在狀態，相連大數據結構間也不會出現明顯的制約行為。但隨著智能數據塊量化處理手段的深入，多媒體數據間開始出現明顯的弱關聯影響關系，且隨著整體大數據環境的不斷變化，越來越多的多媒體數據開始離開原始位置，不斷靠近與之保持弱關聯影響的對應數據結構，進而形成多個明顯的智能量化數據塊組織[11]。詳細的智能數據塊量化執行原理如圖3所示。

2.2? 弱關聯數據集映射

弱關聯數據集映射是由多媒體大數據指向智能壓縮數據體的定向關聯行為，與數據塊量化處理結果、數據修補結果等多項物理條件產生直接影響關系。簡單來說，弱關聯數據集映射可以理解為一種邏輯連接關系，在一般性關聯法則的影響下，把散亂分布的多媒體大數據結構轉換成可壓縮的數據包形式，并將其與大數據查詢集合中的數據參量進行對比，進而確定其中弱關聯法則的影響程度，再根據判斷結果，對所有多媒體大數據體進行分類整合轉存，進而縮短信號數據傳輸存儲所需的消耗時間[12?13]。從數值結構的角度來看，弱關聯數據集映射中，必須包含與多媒體大數據結構類型相關的限制向量[k]，并利用該指標向量規劃后續壓縮操作的實際數據步長值[h]，聯立式（1）可將弱關聯數據集的映射結果表示為：

式中：[g]表示弱關聯數據集中的任意映射數值;[f]表示弱關聯系數條件;[ω]表示弱關聯映射的冪次項執行系數。

2.3? 壓縮序列確定

壓縮序列是輔助多媒體弱關聯數據進行智能壓縮的核心影響條件，與數據集映射、大數據鏈模型等多項物理數值產生關聯性影響。根據上文可知，數據集映射限定了多媒體大數據體間的弱關聯影響水平，并以此為條件，限定后續壓縮操作所需的數據性關聯結果。大數據鏈模型是一種具備弱關聯能力的物理向量條件，能夠在限定大數據偏移情況的基礎上，根據智能壓縮法則的具體要求，選擇性地執行這種數據層面的物理指令[14?15]。對于壓縮序列結構來說，多媒體弱關聯數據的存在與普通大數據結構并無本質性區別，只不過在關聯性法則的作用下，原始數據能夠在更短時間內趨向于與其自身相關的定向數據結構，進而縮短后續壓縮處理所需的物理應用時間，達到促進快速傳輸的目的。設[s1]，[s2]代表兩個不同的多媒體數據弱關聯系數，聯立式（2）可將智能壓縮方法的壓縮序列表示為：

式中：[c]表示智能壓縮積分操作的下限數值;[R]表示與多媒體大數據結構相關的關聯性條件;[v]表示一階壓縮導數;[?]表示二階壓縮導數。至此，完成所有數值準備工作，在上述理論依據的支持下，實現基于大數據多媒體弱關聯數據智能壓縮方法的順利應用。

3? 實驗與討論

為驗證基于大數據多媒體弱關聯數據智能壓縮方法的實用性能力，設計如下對比實驗。在確保外界影響因素不發生改變的前提下，以2臺配置相同的計算機作為實驗儀器，其中實驗組計算機搭載智能壓縮方法，對照組計算機搭載一般性壓縮方法，在相同實驗時間內，記錄應用實驗組、對照組壓縮方法后，相關實驗數據的變化情況。

3.1? 實驗準備

實驗環境及相關實驗參數配置情況見表1。

出于公平性考慮，除所采用壓縮方法不同外，實驗組、對照組實驗參數始終保持一致。

3.2? 信號數據存儲總量對比

在弱關聯傳導系數等于0.32的條件下，以50 min作為實驗時間，分別記錄在該段時間內，應用實驗組、對照組壓縮方法后，信號數據存儲總量的變化情況，如表2所示。

對比表1，表2可知，實驗組信號數據存儲總量呈現階梯狀上升的變化趨勢，整個實驗過程中的最大值達到8.1×1013 GB，與理想上限極值7.9×1013 GB相比，上升了0.2×1013 GB;對照組信號數據存儲總量呈現上升、穩定、下降的變化趨勢，整個實驗過程中的最大值達到5.1×1013 GB，與理想極值7.9×1013 GB相比，下降了2.8×1013 GB，更遠低于實驗組數值。綜上可知，在弱關聯傳導系數等于0.32的條件下，應用基于大數據多媒體弱關聯數據智能壓縮方法，可使信號數據存儲總量不斷提升，進而達到加強數據間弱關聯能力水平的目的。

3.3? 數據單位傳輸速率對比

在大數據壓縮系數等于0.51，以50 min作為實驗時間，分別記錄在該段時間內，應用實驗組、對照組壓縮方法后，數據單位傳輸速率的變化情況，實驗詳情如圖4所示。

分析圖4可知，隨著實驗時間的增加，實驗組、對照組數據單位傳輸速率都呈現來回波動的變化趨勢，在整個實驗過程中，實驗組數據單位傳輸速率的最大值達到4.3×109 GB/min，與理想極值3.0×109 GB/min相比，上升了1.3×109 GB/min;對照組數據單位傳輸速率的最大值僅為1.7×109 GB/min，與理想極值3.0×109 GB/min相比，下降了1.3×109 GB/min，更遠低于實驗組數值。

綜上可知，在大數據壓縮系數等于0.51，應用基于大數據多媒體弱關聯數據智能壓縮方法，可使數據單位傳輸速率在整個實驗過程中呈現均勻上升的變化趨勢，為促進數據間弱關聯能力水平提供保障。

4? 結? 語

在一般性壓縮方法的基礎上，基于大數據多媒體弱關聯數據智能壓縮方法，利用弱關聯數據挖掘法則建立大數據查詢集合，并對現有多媒體數據進行修補。從執行穩定性角度來看，隨著這種新型壓縮方法的應用，數據信號的壓縮與傳輸能力均得到適度提升，由多媒體原始數據總量過大引起的信息弱關聯能力降低等問題也得到有效解決。

參考文獻

[1] 楊維，張弦，王樂之，等.基于小波變換特征提取技術實現用電負荷數據壓縮與脫敏存儲[J].電子設計工程，2019，27（8）：104?109.

[2] 孫豐杰，王承民，謝寧.面向智能電網大數據關聯規則挖掘的頻繁模式網絡模型[J].電力自動化設備，2018，38（5）：110?116.

[3] 李慧靜，金曉民，井雅，等.智能型紅外遙控器中信號接收與壓縮方法[J].計算機工程與設計，2018，39（4）：1006?1010.

[4] 鄒月嫻，余嘉勝，陳澤晗，等.圖像分類卷積神經網絡的特征選擇模型壓縮方法[J].控制理論與應用，2017，34（6）：746?752.

[5] 朝魯，彭曉暉，徐志偉.變熵畫像：一種數量級壓縮物端數據的多粒度信息模型[J].計算機研究與發展，2018，55（8）：1653?1666.

[6] 陳曉，黃傳金.n?FFT壓縮感知降維智能方法及其在齒輪系統故障特征提取與分類中應用研究[J].機械強度，2019，41（1）：26?32.

[7] 張學顯，劉偉，余彪，等.數據驅動的智能車輛目標檢測能力測試評價方法[J].計算機系統應用，2017，26（11）：249?253.

[8] 閻博，張昊，郭子明，等.基于多源數據融合的電網故障綜合分析與智能告警技術研究與應用[J].中國電力，2018，51（2）：39?46.

[9] 袁建虎，韓濤，唐建，等.基于小波時頻圖和CNN的滾動軸承智能故障診斷方法[J].機械設計與研究，2017，33（2）：93?97.

[10] 許學添，鄒同浩.基于弱關聯挖掘的網絡取證數據采集系統設計與實現[J].計算機測量與控制，2017，25（1）：123?126.

[11] 李鵬飛，劉春宇，海軍.云計算環境下關聯性大數據實時流式可控聚類算法[J].科學技術與工程，2018，18（7）：185?190.

[12] LUO Wenchang， GU Boyuan， LIN Guohui. Communication scheduling in data gathering networks of heterogeneous sensors with data compression： algorithms and empirical experiments [J]. European journal of operational research， 2018， 271（2）： 462?473.

[13] ATEMKENG M T， SMIRNOV O M， TASSE C， et al. Using baseline?dependent window functions for data compression and field?of?interest shaping in radio interferometry [J]. Monthly notices of the royal astronomical society， 2016， 462（3）： 2542?2558.

[14] KUMAR A， KUMAR M， KOMARAGIRI R. Design of a biorthogonal wavelet transform based R?peak detection and data compression scheme for implantable cardiac pacemaker systems [J]. Journal of medical systems， 2018， 42（6）： 102?105.

[15] 樊慶富，張磊，劉磊軍，等.基于偏移量計算的在線GPS軌跡數據壓縮[J].計算機工程與應用，2017，53（8）：254?259.