大數據下的機器學習算法分析及研究

彭艷林

成都理工大學管理科學學院，四川 成都 610000

大數據下的機器學習算法分析及研究

彭艷林

成都理工大學管理科學學院，四川 成都 610000

隨著我國社會經濟的不斷發展，電子商務、網絡社交、衛星導航等各類領域都獲得了長足發展，并產生了大量的數據信息，大數據也在長期的數據積累中形成，受到各個企業的關注。大數據機器學習算法已經逐漸取代了小數據機器學習算法，能夠有效提高數據查找、計算、處理的效率。基于此，重點探究了大數據機器學習算法分類，提出了大數據背景下的機器學習算法模型。

大數據；機器學習算法；效率；計算

引言

現如今，人類已經進入到了信息時代。我國信息產業飛速發展，數據量也在突飛猛進，大數據也應運而生。大數據資源中含有很多重要信息，有著極大的價值，給企業帶來了豐厚收入，讓各行各業都認識到了大數據的重要性。大數據不僅能夠作為信息搜集器，同時還能夠利用IT技術對數據進行感知、捕獲、處理、存儲等。在整個機器學習領域中，就好比分類器，能夠擴大分類面積和樣本間的距離，這樣就能夠減少判斷失誤的問題，將數據風險降到最低。其中的支持向量是將一個數據空間變成另一個高維度空間，通過分類得到更加精準的數據。

1 大數據的特征和分類

大數據在長期的發展中，從最初的3 V發展到了4 V，其中，3 V更多表現出多樣性、速度性、容量大等特點；4 V更多展現了不同意義上的含義，例如價值性、虛擬性、時效性、變化性等特點[1]。對于大數據的理解和分析，學者們認為需要將智能化技術和計算機技術相互融合，保障整個數據流的順暢性。在大數據的分析和研究中，人類智慧和機器智能在其中發揮著巨大的作用。隨著人們對數據信息的需求量的不斷增加，大數據在整個收集、傳遞、處理、應用中不斷改進，讓一些結構化、半結構化、非結構化的數據發揮自身的價值。大數據可以從以下幾點進行分類：

第一，支持向量機分類。大數據如果采用傳統機器學習形式進行分類，可以發現兩點問題：計算機非常密集，不利于信息的收集和大規模處理；存在著隨機性問題，主要是非參數空間的模擬形式。這就有了在線學習的方法。根據順序原理進行數據處理，該方法的計算速度更快，并且具備更加廣泛的收集能力，但是支持數據的處理數量會減少。面對大規模分類問題，通常采用最小乘二支持向量算法和增量算法為主，通過大數據的分類算法進行數據提取。這樣的方法不僅所占內存較小，而且能夠更好地解決大數據分類問題。

第二，決策樹分類。傳統決策樹處理方法存在著占用空間大等問題，這就提出了一種新型的方式，也就是通過大數據構造決策樹的思想，解決機器學習算法中的限制性條件，并且計算速度要比之前快很多。同時也能夠采用增量優化的形式，提高決策樹算法效率。該類算法形式具有實時性特點，挖掘能力也非常強，具備非常高的預測精度，保證了數據的精準性。

第三，神經網絡和極端學習機。傳統神經網絡采用梯度下降算法對權值參數進行調整，存在著計算速度慢、泛化性差、效率低等問題。為了解決此類問題，可以采用ELM算法。該方法主要通過隨機賦值神經網絡中的偏差項輸入權值，這就在很大程度上計算出了網絡輸出權值。相比傳統的算法，該類算法形式的計算效率更加明顯。

第四，應用領域分類。現如今，應用領域層面對分類算法的研究非常廣泛，例如醫學專家采用機器學習獲得先進的診斷知識，通過計算機輔助診斷，但是樣本獲取相對較難。因此，可以利用半監督的學習方法，對診斷樣本進行估算，提高估算內容的精準度，從而獲得相關的知識。該類方法在基礎數據集中能夠更好地結合基礎數據，所獲得的新數據也更加貼近實際。

第五，監督和非監督學習分類。其中，監督學習是分類和學習；非監督學習是聚類。監督學習是我們對輸入樣本經過模型訓練后有明確的預期輸出，非監督學習是我們對輸入樣本經過模型訓練后得到什么輸出完全沒有預期。

2 大數據下的機器學習算法分析

通過不同的模型形式和定量標準合理選擇算法。評價函數可以采用不同的數據模型，應用相關性的多項指標，用來測量某個特征和類別之間的關聯性。在選取數據模型的過程中，不需要限制各類參數，同時要保障不同參數之間的獨立性，避免在數據獲取過程中出現偏差。采用特征分布形式進行有效選擇，這樣就能夠在選擇過程中減少噪聲帶來的負面影響。常見的算法有以下幾種：

第一，共享存儲模型。可以簡稱為共享內存模型，在某個進程對共享內存數據進行改動時，會影響訪問共享系統中的其他進程。數據共享不需要經過進程之間的數據傳遞，而是通過直接訪問的形式，這樣就大大提高了效率。共享存儲模型根據線程鎖機制劃分為同步形式和異步形式。同步形式就是各線程更新相關參數，并對參數信息進行計算，計算完畢后分享到內存中進行聚合操作，之后讀取全局參數實現劃分；異步形式主要更新部分參數，更新完畢后即可共享到內存參數值當中，在其他線程讀取模型參數過程中，可以直接獲取更新完畢的參數。由于當今計算機都是采用4核、8核的CPU，因此大多數分布系統的單一節點就是采用異步計算機模型。該模型在校園機房中的應用非常廣泛，也就是教師操作終端進行子計算機的控制，通過同步、異步共享信息對子計算機進行數據更新，之后開展教學工作[2]。

第二，整體同步計算。該模式是通過局部內存部分形式和不同處理單元同步路障組成，其更新流程為多個處理單元逐漸對系統模型進行更新，根據路障機制節點處理要求進行同步等待，之后主節點會對各個線程信息進行統一更新，將所更新信息傳遞到各類處理單元當中，從而進行新一輪的數據迭代。結合數據劃分原理可以解釋成：各個節點通過本地數據對數據模型數據進行更新，待到計算機各個節點信息獲取完畢后，主節點要對各類信息進行匯總，并發生新一輪的全局模型參數更新。該模型通常應用于企業財務管理系統當中，通過對各個部門的財務信息進行匯總和整合，進行統一核算處理。

第三，異步并行計算。該模型主要是通過處理器和全局參數總結點構成。異步更新通過不同節點采用不同步調對主節點模型參數進行更新，并結合數據劃分進行數據更新處理。從數據劃分可以解釋為：各個節點采用本地數據對整個模型參數進行單獨計算，待到完成一輪之后對模型參數進行更新，并在主節點獲取新一輪的參數信息進行二次計算和二次更新。各個節點在進行更新過程中會造成最終結果缺乏收斂性。為了解決ASP模型計算不穩定問題，可以融入延遲同步計算模型，也就是從不規則迭代轉換為根據快慢速度迭代的方法[3]。該模型在氣象系統（類似需要不斷更新信息的系統）當中應用比較頻繁，主要是為了能夠進行實時更新和替換，并保證系統更新的穩定性。

3 結束語

綜上所述，大數據的到來給機器學習算法帶來了很大的改變。通過研究機器學習算法理論和相關技術，可以針對性地提出不同分類方法和數據模型。根據不同數據模型的優缺點進行分析和改良，提高數據獲取和更新的效率。

[1]黃一鳴，雷航，李曉瑜.量子機器學習算法綜述[J].計算機學報，2017（40）：20-21.

[2]亢良伊，王建飛，劉杰，葉丹.可擴展機器學習的并行與分布式優化算法綜述[J].軟件學報，2015（2）：21-23.

[3]肖紅.大數據下的機器學習算法探討[J].通訊世界，2017（6）：265-266.

Analysis and Research of Machine Learning Algorithm under Big Data

Peng Yanlin
School of Management Science, Chengdu University of Technology, Sichuan Chengdu 610000

With China’s social and economic development, e-commerce, social networking, satellite navigation and other fields have achieved great progress, and produced a large amount of data information, the formation of large data in the long-term accumulation of data, wide attention of various enterprises. The large data machine learning algorithm has gradually replaced the small data machine learning algorithm, which can effectively improve the efficiency of data search,calculation and processing. Based on this, this paper focuses on the classification of big data machine learning algorithms,and then proposes a machine learning algorithm model in the context of big data.

big data; machine learning algorithm; efficiency; calculation

TP181

A

1009-6434（2017）7-0115-02

彭艷林（1996—），男，四川崇州人，漢族，本科在讀。