淺談大數據下的機器學習算法

趙偉杰 陳海軍 張毅

摘 ? 要：在大數據時代悄然來臨之際，如何從海量數據中提取有價值信息，為生產生活的高效運轉提供幫助，成了當前科研領域的關鍵問題。尤其是在社會轉型的關鍵時期，充分借助于大數據優勢以促進新時期經濟快速發展，是現代化建設中的重要途徑。機器學習是機器對人類行為的模仿，并在知識體系的持續更新中獲得性能提升，是人工智能發展中不可或缺的一項功能。機器學習算法的復雜程度較高，而且也會涉及多個學科。本文將通過分析大數據的相關內容，研究大數據下的機器學習算法，以拓展其應用領域。

關鍵詞：大數據 ?機器學習 ?算法

中圖分類號：TP311.13;TP181 ? ? ? ? ? ? ? ? ? 文獻標識碼：A ? ? ? ? ? ? ? ? ? ? ? ?文章編號：1674-098X（2019）08（c）-0250-02

在社會的各個領域當中，大數據的概念已經被人們所熟知，正在成為改變社會生產生活方式的關鍵因素。數據的海量性與變化性，是大數據的基本特點，為了實現對數據信息的有效應用，必須對傳統機器學習算法加以優化與改進，使其適應大數據的變化特點，以更好地被人們所應用。大數據下機器學習算法的研究，不僅是學術界的關鍵工作，也受到了產業界的廣泛關注，這是促進社會產業結構轉型升級的關鍵途徑。機器學習涉及了多類學科，包括了統計學、概率論和逼近論等，因此其算法的復雜性也就相對較高。在數據挖掘、搜索引擎、語音與手寫識別、計算機視覺和機器人當中，機器學習算法得到廣泛應用。隨著大數據時代的進一步發展，還應該對機器學習算法中存在的問題進行逐步改進。

1 ?大數據的基本概念與機器學習理論

大數據在發展歷程中經歷了多個階段，速度、體積和多樣，是3V模型的主要內容，而在4V模型當中，則增加了虛擬化、變化性和價值等。在計算機與人類的交互當中，需要以智能分析接口為媒介，實現對大數據的充分利用。在大數據時代來臨之際，傳統機器學習算法面臨著較大的挑戰，包括了自動規劃問題、可發現新事物和自然語言接口研究等[1]。

2 ?大數據下的機器學習算法類型概述

目前，在大數據背景下機器學習主要的算法分為五種，分別是大數據分治策略與抽樣算法、大數據特征選擇算法、大數據分類算法、大數據聚類算法和大數據關聯分析。下面對這五種類型作簡要分析。

2.1 大數據分治策略與抽樣

在龐大的樣本之中根據一定的性能標準選擇代表性樣本構成一個子集，在此同時要保證樣本的分布、拓撲結構以及保持分類精度等確保子集樣本的數據的準確性。然后在這個子集上進行數據的分析統計和計算，即大數據分治策略與抽樣算法。在大數據相關問題的處理中，分治策略的應用較為常見，為分布式與并行計算奠定了保障[2]。

2.2 大數據特征維度提取

大數據集被廣泛應用于文檔分類、數據挖掘和多媒體索引當中，由于數據量的持續增加，使得處理算法的執行效率面臨較大挑戰，為了促進運行時間的縮短，應對特征維度進行提取。維度上通常有一類維度、二類維度和多類維度之分，一類維度為初級分類，只需要設定一個閾值把數據分為AB兩類即可完成。二維以及二維以上的維度，一般采用歐氏距離進行度量。二維的計算公式為：

2.3 大數據分類

在對決策樹分類學習算法進行創新時，可以采用在大數據中構造決策樹的方法，以促進計算速度的提升[4]。在神經網絡與極端學習機的權值參數調整中，通常是采用梯度下降算法，但是其泛化性能不佳，而且也會對學習速度產生較大的限制。迭代調整策略的運用，是解決此類問題的關鍵方法，在對網絡權值進行確定時需要經過多次迭代調整。

2.4 大數據聚類

在模式識別和數據挖掘當中，聚類學習的應用較為廣泛，非迭代擴展、增量技術和核模糊c均值算法，是聚類算法的基礎。在并行處理大數據的過程中，MapReduce模型的應用較為廣泛，其執行引擎雖然結構簡單，但是性能優越，是解決大數據分析難題的關鍵方法[5]。降維聚類、基于圖的聚類和子空間聚類等，是高維數據的常用聚類方法，在此過程中應該重視對聚類性能的有效維持。

2.5 大數據關聯分析

并行與增量是解決大數據關聯分析的主要方法，其中Apriori算法是一種較為先進的并行算法，其伸縮性與加速比較好，是促進運行效率提升的有效算法。頻繁序列挖掘算法、增量挖掘算法和增量序列挖掘算法等，能夠實現約束的有效修改[6]。在更新序列模式的時間確定中，可以采用性能與差異均衡算法，促進大數據實際運行效果的增強。

3 ?結語

基于內存的大數據機器學習是一種常見的機器學習算法類型，在計算機內存中無法實現大數據的裝載，只有加強對現有算法的優化，才能滿足當前社會發展對大數據的應用需求。大數據分治策略與抽樣能夠實現樣本的分類處理，是提升運算速度的基礎;大數據特征選擇，能夠以不同特征屬性為依據，實現數據的挖掘與文檔的分類;而在泛化性能的提升當中，則需要依靠大數據分類算法，如支持向量機分類和決策樹分類等等;在多種應用中的大數據模式識別中，則需要采用大數據聚類算法;在交易數據庫中不同項間聯系的分析中，則需要借助于關聯分析算法。在實際應用中要根據情況靈活使用不同算法進行處理，促進大數據處理運算速度的提升。

參考文獻

[1] 姜娜，顧慶傳，楊海燕，等.大數據下的機器學習算法[J].電腦與信息技術，2019，27（3）：30-33.

[2] 顧潤龍.大數據下的機器學習算法探討[J].通訊世界，2019，26（5）：279-280.

[3] 趙詣.大數據下的機器學習算法綜述——以AlphaGO為例[J].信息記錄材料，2019，20（1）：10-12.

[4] 劉志強.大數據下的機器學習算法探討[J].中國新通信，2018，20（21）：183.

[5] 朱熙文.大數據下的在線機器學習算法研究與應用[D].西南交通大學，2017.

[6] 肖紅.大數據下的機器學習算法探討[J].通訊世界，2017（6）：265-266.