大數據環境中多維數據去重的聚類算法研究

（廈門市美亞柏科信息股份有限公司 福建 361008）

1 引言

社交網絡、物聯網等的出現帶領人們進入到全新的世界，同時也給人們的生活注入了新鮮的血液，滿足了人們對高品質生活的追求，讓人們的生活上升到了新的高度。但大量信息出現的同時也讓數據不斷地增加，如何有效地得到更加精確的數據呢？這是一個值得我們去認真思考的問題。

2 分析大數據的聚類劃分與多維聚類算法的應用

2.1 大數據的聚類劃分與多維聚類的目的

大數據中所具有的數據是復雜多變的，面對這種情況就需要采用合理的方式將數據進行有效區分，讓收集到的數據能夠快速地被辨別。在實踐證明下發現傳統的方式不能夠將數據進行有效區分，還會讓所收集到的數據出現不完整的情況，這是由于傳統方式主要以數據采樣為切入口，從而以縮小數據范圍的形式對數據庫進行高效地管理，雖然這種方式在一定程度上減少了對數據進行分析的時間，但會導致所掌握的數據有誤差并出現無用的數據，不能夠讓數據發揮最大的價值，還會讓數據在被收集后不能夠進行二次使用。傳統方式還會將數據進行強制性的聚類，但這種方式會對數據的多維結構造成影響，讓數據的多維結構出現不完整的情況，使得計算的結果出現誤差。

而數據聚類分析在對數據進行處理的過程中將數據原有的特征與數據具有的多維關系進行保留，根據不同數據所具有的不同特征采取相應的方式對數據進行分析，能夠讓同類數據與異類數據被有效地分析。

2.2 多維聚類分析算法的應用

采用多維分析是推動聚類區分的重要內容，要想開啟多維分析的按鈕，就需要采取相應的方式讓維度能夠被改變，充分借助數據非結構的特征能夠對數據維度的改變產生一定的效果，在事實表中將所收集到的數據維度融合到其中，能夠有效地應對復雜多變的問題，讓數據維度有所變化，這也說明了數據中的維度無論上升多少，都不會讓數據分析的性能產生改變。

多維聚類分析算法主要是一個決策樹的模式，在整個過程中能夠通過命令將內容環環執行并得出最終的結果。這種算法能夠通過分析數據項的形式，在所有檢測規則產生的結果分布中，對數據項打上各種維度的標簽，依據標簽動態地對該類數據類型的質量檢測流程進行調整，讓檢測的數據質量能夠得到保證。

3 非結構化數據的類型、多維聚類分析的函數模型的搭建

3.1 非結構化數據的類型

所謂非結構化數據就是沒有完整結構的數據，它能夠對數字、符號等具有明顯結構的數據進行處理，還能夠對聲音、圖像文本等非結構性數據進行處理。全部字段的記錄對字段并未做過多的要求。但不能夠利用數據庫二維邏輯表對數據進行表示。多維去重聚類分析算法主要是借助貝葉斯網絡的特殊模型結構對隱形結構進行分析，并讓顯變量能夠與隱變量具有關聯性，所有的隱變量能夠與數據聚類相互對應，能夠接納多個隱變量的存在。

多維去重聚類算法在對非結構數據進行有效分析的過程中會采用相應的方式進行，在很大程度上能夠提升去重效果，讓去重的效果能夠上升到新的高度，以下是對數據去重的具體步驟：①為了讓數據能夠有效地被清理，可以以數據預處理為突破口找到打開去重數據的鑰匙，有效地對數據進行保護，在對數據進行處理的過程中對數據進行轉換主要是通過屬性內連續值來區分。②使用統計學中的概率模式能夠讓數據預處理的效果更高，可以將數據集劃分成清晰易懂的形式，能夠在一定程度上使得結果準確率更高。在借助分類器進行評估的過程中，若能夠讓分類器正常使用，就說明評估的結果準確率高；若分類器不能夠被使用，就應該采取相應的措施讓分類器能夠達到理想中的狀態。③為了讓文本通過計算機的識別環節，就需要借助向量空間模型，在將文本進行轉換的過程中應該利用文本中詞的表現形式進行量化處理。④為了對維數進行有效控制，使得結果更加精確，就需要采取合理且有效的方式進行，使得分類的速度有所提升并讓分類的結果更加精確。

3.2 多維數據聚類分析函數模型的概念

依據非結構化數據的特征能夠對多維數據聚類分析函數模型的概念有所了解。以下是多維數據聚類分析函數模型的含義：①利用數據集的形式對數據進行分析，例如給定數據集E=｛E1，E2，E3，…，En｝，類別集合F=｛F1，F2，F3，…，Fn｝，主要是為了讓集合D 中的D1、D2等能夠與其中的類別進行對應并得到反映。②若給定大數據變量集合為O=｛O1，O2，O3，…On｝，變量Oi主要依賴于節點集合O，那么每一個變量都可以表示一個節點，每個節點都能夠從集合O 中的所有向節點引導一條有向邊到達Oi。③若W 與N 是貝葉斯網S 中的兩個變量，P 是O 中與W 與N 集合無關的節點集合。若Pd對W、N 進行分割，就會讓W、N 在條件P 出現時獨立，進一步說明了貝葉斯網絡圖論側面與概率論側面所具有的聯系。④為了對樣本空間進行區分，將貝葉斯公式設定為｛l1，l2，l3，…，ln｝，若Q（Ii）能夠反映Ii所出現的概率，同時Q（Ii）＞0，且i 是自然數。任意時間出現時都會使得Q（x）＞0。⑤如果依據特征矢量x 提供的證據對某個物體進行分類，，p（wj/x）>p（wi/x）（i≠j）。應用貝葉斯公式展開后可以得到：p（x/wj）p（wj）>p（x/wi）p（wi），決策規則具有一定的似然率測試規則。⑥借助概率的形式讓推理的過程難度得到快速地降低，以消元過程為突破口，能夠找到數據被有效處理的過程，從而計算出概率很小的樣本。

4 多維數據去重的聚類算法優勢

4.1 按下加速優化數據去重算法的按鈕

在對數據進行篩選的過程中傳統的數據去重算法已經不能夠滿足去重的要求了，會使得去重的結果產生誤差并將有用的數據篩選出去，讓結果達不到預期的效果。所以對數據去重算法進行大力的升級是十分重要的內容。在通過多種算法對數據去重后發現聚類算法具有明顯的篩選優勢，數據去重的精確率比其他同類算法的精確率提高了30%，同時對數據檢測的速度十分快速且準確率很高，能夠推動多維數據去重。

4.2 多維數據檢測的準確性很高

多維數據在對所收集到的數據進行檢測的過程中能夠提升數據檢測的準確率，傳統的檢測數據的方式已經不能夠滿足數據準確率高的要求了，主要是由于傳統算法在面對突發情況的時候，會出現對數據進行檢測的誤差，讓數據的質量下降到最低點，使得檢測的結果達不到理想中的狀態，同時對數據進行去重需要很長的時間來進行，加大了數據去重的時間成本，讓數據去重的整個過程變得十分復雜，不利于提升數據去重的效率。而多維數據去重能夠對數據進行及時且有效地分析，大力提升了數據去重的速度。在對數據進行有效分析后能夠主動地對檢測的結果反饋，讓所收集到的數據質量能夠提升，從而使得整個數據庫是有用的且重復率很低，切實地幫助了使用者。

4.3 多維數據檢測具有很強的及時性

充分借助多維數據對數據庫進行篩選，能夠及時地將所要的數據進行精確定位，同時保留了價值很高的數據。充分利用規則相似性評估算法與多維標簽，能夠及時地將類型不明確的數據項的質量直觀地展現出來，使得不明確類型的數據項能夠主動地對檢測相關的規定進行有效反映，對數據的準確性及時地進行了篩選，能夠在一定程度上推動多維數據檢測的速率，使得數據檢測的工作壓力得到了緩解。

4.4 多維數據檢測具有簡便性

多維數據檢測能夠使得檢測的整個過程逐漸簡單化，在對傳統算法進行優化的過程中，運用這種算法對數據進行去重能夠縮減去重的時間，在很大程度上使得時間成本得到了降低，在執行某個命令的過程中，能夠按照命令的要求執行，透過每一環的執行最終將結果快速地得出，相比于傳統的方式，能夠讓整個過程具有簡便性特征。

4.5 不同算法的運用應該結合不同領域

在大數據環境中對多維數據去重具有多種方式，但在實際去重的過程中能夠知道聚類算法的效果更佳，并且聚類算法所花費的成本更低。例如，模糊信息粒化方式對數據分析的效果很差，并且不能夠有效地分析數據與數據之間的明顯區別，這使得最終篩選的數據并不是理想中的狀態；粗糙集近似法在對多維數據去重的過程中不僅擁有較強的表達方式，而且對數據分析的能力要求很高。在對不同去重方式進行對比后能夠知道不同算法擁有自己獨特的優勢，在大數據環境下應該依據不同領域進行有效運用，才能夠讓不同算法發揮最大的價值。

5 結束語

隨著信息化時代的不斷推進，在大數據環境中多維數據去重成了十分艱巨且重大的內容，人們開始大力注重對多維數據的去重，讓所收集到的數據能夠降低重復率并且讓所得到的數據能夠更加精確化。而聚類算法的運用能夠在很大程度上提升對多維數據去重的效率，在與其他算法進行對比后能夠明顯看到聚類算法比同類算法的精確度更高，按動了去重質量優化的加速鍵。