大數據背景下的機器學習算法應用研究

童蓮

（江蘇海事職業技術學院，江蘇 南京 211199）

1 引言

大數據（Big Data）又稱為巨量資料，指需要新的處理模式才能具有更強的決策力、洞察力和流程化能力的海量、高增長率和多樣化的信息資產。大數據概念最早由維克托·邁爾·舍恩伯格和肯尼斯·庫克耶在編寫《大數據時代》中提出，指不用隨機分析法（抽樣調查）的捷徑，而是采用所有數據進行分析處理。大數據有4V特點，即Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）。小數據時代的樣本為隨機取樣，用最少的數據獲得最多的信息，而大數據時代的樣本為總體數據。比如谷歌公司曾經通過分析整個美國幾十億條互聯網檢索記錄預測流感趨勢。對于小數據而言，最基本、最重要的要求就是減少錯誤，保證質量。比如追求更高精度的對時間、空間的測量。大數據允許不精確，放松了容錯的標準，人們可以掌握更多的數據，利用這些數據做更多新的事情。如今采集和存儲數據的數量和規模已經爆發式地增長，如何分析并利用這些數據是擺在眾人面前的一道難題。

機器學習和數據分析是將大數據轉換成有用知識的關鍵技術[1],并且有研究表明,在很多情況下,處理的數據規模越大,機器學習模型的效果會越好。因此，機器學習是大數據智能化分析處理應用中的重要手段。本文通過闡述機器學習算法的實際應用，探索如何利用海量數據。

2 機器學習算法背景知識

機器學習的定義可以理解為：如果一個“程序”可以在“任務T”上，隨著“經驗E”的增加，“效果P”也可以隨之增加，則稱這個程序可以從經驗中學習。

機器學習的經典算法主要有五種類型，分別為：聚類算法、分類算法、回歸算法、關聯規則算法、降維算法[2]。機器學習又可以分為三類：監督式學習，非監督式學習，強化學習[3]。監督式學習需要提前進行數據分類，非監督式學習著重于挖掘規律，強化學習需要通過試錯去找到解決方案。

以垃圾郵件分類為例闡述機器學習的定義：

一個程序：機器學習算法，比如回歸算法；

任務T：區分垃圾郵件的任務；

經驗E：已經區分過是否為垃圾郵件的歷史郵件，在監督式機器學習問題中，這也被稱之為訓練數據；

效果P：機器學習算法在區分是否為垃圾郵件任務上的正確率。

3 機器學習算法的應用

經典的機器學習算法在應用時，可以分為三個步驟：特征維度提取[4]、特征模型建立、模型融合。特定領域的模型融合完成后，即可用來分析該領域的大數據，獲取有用信息。

3.1 特征維度提取

所謂特征，通俗地講，就是從這些“以前的數據”中提取出來的對于分類預測有價值的變量。比如電影、電視劇分類，書籍分類，垃圾郵件分類，動植物分類等。從維度上可以分為一維分類、二維分類、多維分類。

一維分類如圖1所示，只需設定一個閾值，即可將數據分為A類和B類。

圖1 一維分類

二維及以上的分類，通常采用歐幾里得度量（euclidean metric）（也稱歐氏距離）。這是一個通常采用的距離定義，指在m維空間中兩個點之間的真實距離，或者向量的自然長度（即該點到原點的距離）。在二維和三維及以上空間中的歐氏距離就是兩點之間的實際距離。

二維空間的公式如式（1）所示：

三維空間的公式如式（2）所示：

二維分類最終結果如圖2所示：

圖2 二維分類

維度越多意味著特征越多，需要處理的數據量級越大。在特征抽取的過程中，可適當去掉相關度不大的特征，將更少的特征應用于機器學習流程，即所謂的降維[5]。

3.2 模型建立

有了特征之后，我們要通過各種模型建立從特征到目標之間的關系。一個性能優良的模型，依賴于相關度大的特征的集合。如果我們針對的是一個預測問題，例如成績排名的預測，我們通常把單個模型叫作一個預測器；如果我們針對的是一個分類問題，例如把在銀行貸款的中小企業分為低違約風險和高違約風險兩類，我們通常把單個模型叫作一個分類器。這樣的模型可以是來自某種專家系統，或者把專家的知識翻譯成模型，比如銀行的風險控制專家的很多知識，都可以直接轉變為模型。

模型在使用之前必須經過訓練，模型訓練過程中可能出現過擬合[6]、欠擬合兩種情況，通過調整模型的特征維度個數，最終達到模型適中的目標。所謂過擬合（over-fitting）其實就是所建的機器學習模型在訓練樣本中表現得過于優越，導致在驗證數據集以及測試數據集中表現不佳。而欠擬合（under-fitting），則是在訓練集上的判斷準確率效果不佳。過擬合即特征維度過多，訓練過程中需要減少特征維度；而欠擬合則是因為特征維度過少，需要增加特征維度。

過擬合、欠擬合、模型適中三種情況如圖3所示：

圖3 模型訓練三種情況

3.3 模型融合

單一模型的預測和分類結果往往不盡如人意，因此把每一個模型都叫作一個弱預測器或者弱分類器。當我們有了成千上萬個模型后，我們就可以通過把這些模型融合起來，獲得更好的預測或者分類效果，例如分類模型；針對每一個待分類樣本，把每一個模型得到的結果都看成對這個樣本分類結果的一次投票，最后根據得票高低確定最終分類結果，投票結果經常勝出的模型會被賦予更大的權重。

比如有兩個模型：客戶信用度評估模型1、客戶信用度評估模型2，在模型融合時占有的權重，依據它們將客戶特征維度進行的每一次分類結果所得的投票數。成千上萬個模型融合時，各自所占的權重也是依據每一次分類所得的投票數。

表1 模型融合

因為融合的方案較為固定，所以我們只需要維護特征庫和模型庫，而所有新的數據以及新的專家知識和專家系統，基本上都可以映射為對特征庫和模型庫的更新，包括對特征權重的修正。盡管專家知識和專家系統對于特征的選擇和賦權，以及模型的建立都有作用，但實際上，即便沒有任何專家知識和專家系統，僅僅通過一般化的特征學習和常用的機器學習模型，也能得到很不錯的結果。這就使大規模數據下的機器學習，可以看作具有一般意義的解決方案。

4 結論與展望

目前，大數據技術已經在多個領域得到廣泛應用，大數據技術的發展依賴于機器學習的進步。本文闡述了機器學習算法在一般領域應用的三個步驟，也為商業解決方案提供了參考依據。

未來機器學習的研究離不開軟件和硬件的共同發展，提升機器學習算法并行性、降低算法復雜度是軟件亟待解決的問題,而CPU+GPU混合計算則是硬件研究的方向。云計算、大數據、人工智能等關聯學科的融合發展，更能為機器學習的研究增加助力。