基于粒矩陣的動態大數據多維關聯性分析技術

李雙琴 張濤 連江橋 曹文琛 白清霞

摘? 要： 針對當前動態大數據多維關聯性分析過程中數據處理時間過長的問題，提出基于粒矩陣設計動態大數據多維關聯性分析技術。采用模糊粗糙集粒化動態大數據，以此為基礎，采用粒計算理論構建動態大數據粒矩陣，利用PSO算法優化粒矩陣，通過邏輯約簡運算，得到動態大數據關聯信息粒，實現基于粒矩陣的動態大數據多維關聯性分析。通過實驗結果顯示，與現有的動態大數據多維關聯性分析技術相比較，提出的動態大數據多維關聯性分析技術極大地降低了數據處理時間，充分說明提出的動態大數據多維關聯性分析技術具備更好的性能。

關鍵詞： 動態大數據; 多維關聯性; 粒矩陣; PSO算法; 大數據粒化; 數據處理

中圖分類號： TN911.1?34; TP311.1? ? ? ? ? ? ? ? ? ?文獻標識碼： A? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）19?0111?04

Abstract： Since it takes a long time for the data processing in the process of current dynamic big data multi?dimensional association analysis， a dynamic big data multi?dimensional association analysis technology based on granular matrix is proposed. The fuzzy rough set is adopted to granulate dynamic big data. On this basis， the granular computing theory is used to construct a dynamic big data granular matrix， which is then optimized by the PSO （particle swarm optimization） algorithm. The dynamic big data association information granules are obtained by logical reduction operation， so as to achieve the dynamic big data multi?dimensional association analysis based on granular matrix. The experimental results show that， in comparison with the existing dynamic big data multi?dimensional association analysis technology， the proposed dynamic big data multi?dimensional association analysis technology greatly reduces the data processing duration， which fully demonstrates that it has a better performance.

Keywords： dynamic big data; multi?dimensional association; granular matrix; PSO algorithm; big data granulation; data processing

0? 引? 言

動態大數據是指無法在一定時間范圍內使用常規軟件工具進行管理與處理的數據集合，需要采用新的處理模式才能處理具有更強的洞察發現力、決策力以及流程優化能力的海量、高增長率以及多樣化的信息資產[1]。動態大數據具有容量大、種類多、獲取速度快、可變性高、真實性差、復雜性高等特點，動態大數據的數量日益增長，卻因難以管理和處理逐漸進入了大數據發展的停滯期，動態大數據有價值的信息難以提取[2]。

現如今動態大數據已經成為世界的研究重點。數據之間具有關聯性，動態大數據更是具有多維關聯性的特點，通過分析動態大數據多維關聯性，可以更容易、更快捷、更清楚地分析數據，為用戶提供更加智能的服務與密切的互動[3]。

就現有的研究成果來看，動態大數據多維關聯性分析技術存在著數據處理時間過長的缺陷，為了解決上述問題，本文提出基于粒矩陣設計的動態大數據多維關聯性分析技術。粒矩陣是以粒計算為基礎，通過構建粒矩陣實現規范管理動態大數據的目的。粒矩陣實質上是基于粒計算理論的數學模型，采用二進制表示法對動態大數據進行粒表示，從而構建粒矩陣。通過粒矩陣的應用，極大地提升了動態大數據多維關聯性分析技術的性能，并設計仿真對比實驗驗證提出技術的性能[4]。

1? 動態大數據多維關聯性分析技術設計

1.1? 基于模糊粗糙集的動態大數據?；夹g

為分析動態大數據的多維關聯性，首要任務就是采用模糊粗糙集?；瘎討B大數據。對于動態大數據來說，一個多維關聯性對應一個?？臻g，粗的?？臻g每個粒包含的對象較多，細的?？臻g每個粒包含的對象較少，粒化過程主要分為兩種：由粗變細、由細變粗。將動態大數據粒化后可以獲得更多的信息[5]。

基于模糊粗糙集動態大數據的粒化往往是在一致粒度下，依據需求提取動態粒層的過程。在動態大數據?；^程中，粒度主要體現為大數據的條件屬性與決策屬性的層次關系[6]。

動態大數據?；牟襟E如下：

1） 輸入?；瘺Q策表[S=U，C?D]。

2） 將粒度決策表模糊化。

8） 結束。

上述過程輸出的所有[Wi]即為動態大數據?；Y果。

1.2? 基于粒計算理論的粒矩陣構建

以上述粒化的動態大數據為基礎，基于粒計算理論構建動態大數據粒矩陣，為最終動態大數據多維關聯性分析做準備[7]。

粒計算是一種數據處理的典型方法，在實際復雜問題的解決過程中，隨著求解問題需求的不同，計算方法也存在著變化[8]。

通過?；幚韺討B大數據劃分為多種形式的塊，為了更加精確地分析大數據之間的多維關聯性，計算動態大數據粒度。粒度實質上是一個物理學概念，指的是數據的平均度量，表示為[Gi]。

而動態大數據粒矩陣指的是采用二進制表示法表示動態大數據，以此為基礎構建粒矩陣[9]。

假設動態大數據為[U]，依據屬性[R]將其劃分為[UIndR=X1，X2，…，Xm]，則[Xi]用二進制表示為：

上述過程完成了動態大數據粒矩陣的構建，但是存在著弊端，需要進行優化。

1.3? 基于PSO的粒矩陣優化

為降低數據處理時間，以上述構建的動態大數據粒矩陣為基礎，采用PSO算法優化粒矩陣，具體過程如下所示。

粒矩陣中每一個個體粒子均表示著實際問題中的一個可行解。粒矩陣初始分布屬于隨機化，經過PSO算法的處理，可以使問題得到最優解[10]。PSO算法流程圖如圖1所示。

如圖1所示，個體粒子的可行極值點計算公式為：

式中：[ya，jt]表示時刻[t]粒子[a]在第[j]維的個體極值點元素;[xa，jt]表示時刻[t]粒子[a]在第[j]維的位置元素;[f（? ）]表示需要優化的適應度函數。

全局最優粒子位置計算公式為：

式中[ygbestt]表示全局最優粒子位置。

PSO算法位置更新表達式為：

式中：[va，jt+1]表示粒子的速度元素;[ωt]表示慣性權重參數;[c]表示加速度常量;[ri，j]表示上一次迭代過程中速度的貢獻值。

通過上述步驟得到優化后的動態大數據粒矩陣表示為：

式中[ψ3]表示粒矩陣優化參數值。

通過上述過程完成了動態大數據粒矩陣的優化，為下述動態大數據多維關聯性分析做準備[11]。

1.4? 動態大數據多維關聯性分析

以上述優化的粒矩陣為依據，采用邏輯約簡運算，計算動態大數據關聯信息粒，實現了基于粒矩陣的動態大數據多維關聯性的分析[12]。

基于粒矩陣的動態大數據多維關聯性分析技術具體步驟如下：

1） 動態大數據粒矩陣中包含著若干個屬性集合，采用[A，B]表示，并且[A，B?R且A≠B]。

2） 通過粒矩陣相與∧運算，并設定約簡運算后的粒矩陣為[MinAm×nBm×n]。

3） 采用屬性[A，B]對上述得到的粒矩陣進行處理，得到最簡化粒矩陣[13]。

為了進一步研究基于粒矩陣的動態大數據多維關聯性分析技術，提取動態大數據的關聯信息粒，采用CPU為i5，內存為4 GB的高性能PC機，在操作系統Eclipse 3.2的基礎上提取動態大數據的關聯信息粒[14]。

動態大數據關聯信息粒提取流程如圖2所示。

通過上述過程實現了基于粒矩陣的動態大數據多維關聯性的分析，為用戶提供更加智能的服務與密切的互動[15]。

2? 對比實驗分析

上述過程實現了基于粒矩陣的動態大數據多維關聯性分析技術的設計，但是對其是否能夠解決現有技術的問題，還無法確定，為此設計仿真對比實驗。

2.1? 實驗準備

為了保障實驗數據的精準性，采用Matlab軟件進行仿真實驗分析，選取2 GB多維動態大數據作為實驗對象，平均分布在1.6 mm×1.8 mm。原始的動態大數據受到大量干擾信息的影響，無法分析其多維關聯性，為此對動態大數據進行相空間重構，得到動態大數據相空間重構圖譜如圖3所示，動態大數據類別分布如圖4所示。

2.2? 實驗結果分析

在實驗過程中，主要采用提出技術與現有技術進行對比實驗，利用數據處理時間體現技術性能。通過實驗得到數據處理時間對比情況如表1所示。

如表1數據顯示，本文提出技術的數據處理時間遠遠少于現有技術，且提出技術平均數據處理時間比現有技術平均數據處理時間低了23.3 s。

通過實驗結果顯示：與現有的動態大數據多維關聯性分析技術相比，本文提出的動態大數據多維關聯性分析技術極大地降低了數據處理時間，充分說明提出的動態大數據多維關聯性分析技術具備更好的性能。

3? 結? 語

本文提出的動態大數據多維關聯性分析技術極大地降低了數據處理時間，具備更好的性能，應用該技術能夠為用戶提供更加智能的服務與密切的互動。

但是提出的動態大數據多維關聯性分析技術仍存在一些缺點，比如動態大數據中存在干擾信息，影響最終數據處理的準確性。未來將會以干擾信息的處理為重點研究方向，進一步完善基于粒矩陣的動態大數據多維關聯性分析技術。

參考文獻

[1] 吳珺，王春枝.面向大數據的多維粒矩陣關聯分析及應用[J].計算機科學，2017，44（z2）：407?410.

[2] 連芷萱，蘭月新，夏一雪，等.面向大數據的網絡輿情多維動態分類與預測模型研究[J].情報雜志，2018，37（5）：123?133.

[3] 王雪蓉，萬年紅.基于跨境電商可控關聯性大數據的出口產品銷量動態預測模型[J].計算機應用，2017，37（4）：1038?1043.

[4] 郝然，艾芊，肖斐，等.基于多元大數據平臺的用電行為分析構架研究[J].電力自動化設備，2017，37（8）：20?27.

[5] 安小米，宋懿，郭明軍，等.政府大數據治理規則體系構建研究構想[J].圖書情報工作，2018，62（9）：14?20.

[6] 張嘉祺，郝旭光.中國證券監管者非理性行為的整體關聯性：基于多維尺度方法的分析[J].財貿經濟，2018，39（6）：88?100.

[7] 張怡，熊朝陽，張加萬.多維數據的不確定性可視相關分析[J].計算機輔助設計與圖形學學報，2018，30（6）：1089?1099.

[8] 李國祥，夏國恩，王繼軍.多維數據特征相似性測量的目標預測方法[J].統計與決策，2018，34（9）：15?19.

[9] 周志光，余佳珺，郭智勇，等.平行坐標軸動態排列的地理空間多維數據可視分析[J].中國圖象圖形學報，2019，24（6）：956?968.

[10] 呂麗平，白鑫，張玉宏.基于KL距離的異類傳感器動態數據關聯算法[J].電光與控制，2017，24（11）：43?48.

[11] 丁男，聶率航，許力，等.面向車聯網應用的數據關聯性任務調度算法[J].計算機學報，2017，40（7）：1614?1625.

[12] 劉錚，毛宏霞，戴聰明，等.基于多源數據多特征融合的弱小目標關聯研究[J].紅外與激光工程，2019，48（5）：303?308.

[13] 牛艷芳，薛巖，鄧雪梅，等.審計大數據關聯的網絡分析平臺構建及應用研究[J].審計研究，2018（5）：35?42.

[14] 都平平，李雨珂，孟勇，等.新一代機構知識庫中研究數據的關聯組織研究[J].現代情報，2018，38（12）：86?90.

[15] 王高杰，黃進良，肖飛，等.基于關聯性及趨勢性分析的AVHRR NDVI及MODIS NDVI數據產品比較[J].長江流域資源與環境，2018，27（5）：1143?1151.