一種基于大數據的極限學習機在茶葉產量預測中的研究與應用

鄭志學

（河南工業和信息化職業學院信息工程系，河南焦作454000）

面向企業供應的茶葉生產基地的茶葉產量一直以來都是茶葉生產企業關注的重點，茶葉基地的產茶量影響著茶葉企業當年的許多生產與銷售策略，如茶葉相關產品的定價、茶葉運輸的方式、茶葉產品儲存的時間、茶葉產品定位以及茶葉從業人員的工資定位等方面[1]。因此通過一定的技術手段較為精確的預測當年產茶基地的茶葉總產量，一方面能夠夠幫助企業合理進行茶葉生產資源的準確調度，另一方面能夠使企業為相關茶葉產品擬定合適的銷售價格，讓企業能夠實現生產資料的運用最優化和銷售利潤的最大化，故茶葉產量的精確預測一直是茶業生產企業關注的重點[2]。較為經典的預測算法有2014 年Gupta 提出一種基于時間序列向量回歸模型與數據挖掘技術相結合的預測方式也能較為準確的預測產量結果。2017年Martin等使用兩步機器學習的方式通過對數據進行自動化的驅動來對產量進行預測[3]。2019 年Noshi 等人對基于向量回歸、梯度增強樹的機器學習算法在生產資料產量預測等方面的可適用性進行了研究。

然而茶葉生產基地的產茶時間較長，與茶葉生產相關的氣候數據較為復雜并且不同的生產基地在不同時刻的環境也不盡相同，因此建立對復雜茶葉生長環境的精準預測方式稱為當前研究的重點[4]。本文提出一種基于大數據的極限學習機預測方式，通過大數據MapReduce 框架對采集的巨量數據進行高效處理之后在通過極限學習機算法進行產量的預測。最后通過搭建Hadoop 大數據平臺進行相關的數據模擬與測試，最終驗證該方式的可行性。

1 大數據

1.1 大數據定義

大數據是一種數據量巨大，對速度增長極快以及數據資源非常豐富的信息資源，通過對采集的大數據進行合理與創新的處理從而獲得數據表面所無法獲得的預測資源。因此從這些表述來看，我們很明顯會發現大數據具備以下幾個特征：

（1）數據量非常巨大。雖然有人認為數據量的大小并不是大數據技術的本質特征，但是只要提到大數據那么這些數據的總和基本能夠達PetaBytes 或者ExaBytes 的級別，因此但從數據的存儲空間來看，大數據所占據的空間就即為龐大。

（2）速度增長極快。從目前統計的數據來看，每天都會有大概3EB 的信息數據產生，當前世界上90%的信息都是過去三年產生的。因此數據量的極速增長也成為了大數據的一個重要特征。

（3）數據資源具有多樣性。在采集的數據資源中其類型與結構都是非常多樣的如視頻、音樂、文本等數據流信息。

1.2 云計算

云計算也是基于大數據技術發展而來的一種新型技術，而從阿帕奇（Apache）基金會發布出的基于Hadoop 云計算平臺開源起，越來越多的公司開始關注該技術，該平臺在軟件方面使用的是基于MapReduce框架而硬件方面采用的是分布式計算機系統作為硬件支持。通過MapReduce框架在集群中構建海量數據的通用處理模型來解決大數據的存儲和計算問題。MapReduce框架在技術層面上面向開發者，通過屏蔽了底層硬件的具體實現方式，讓開發人員更多關注數據的處理來降低開發的難度，使用Map函數和Reduce函數實現數據的并行計算，其工作流程為：

（1）Input。將分布式的文件讀入到系統中，進而切割數據形成不同的數據片，通過框架為每個Map 函數分配相應的指定數據片。

（2）Map。框架將數據片分為一組鍵值對，用戶通過自定義實現Map函數來實現對數據的處理，最終形成新的鍵值對。

（3）Shuffle。該階段將Map 產生的中間鍵值對轉義到Reduce接點之中，但是由于受到當前硬件的限制如網絡帶寬，處理器性能等因素，該階段所花費的時間要遠遠長于Map 與Reduce函數處理數據的運行時間，同時該階段也會將處理過后的中間值進行相應的合并，最終形成有序的鍵值序列。

（4）Reduce。該階段執行用戶自定義的Reduce函數，通過迭代器不斷地遍歷從Map中轉移的各種中間值以及有序中間值序列，最終獲得用戶所編寫函數處理的結果。

（5）OutPut。該階段系統將最終的計算鍵值對序列輸出到特定的分布式計算機集群文件系統之中。

2 極限學習機算法

2.1 定義

極限學習機（Extreme Learning Machine, ELM）又被稱為超限學習機算法，該算法是一種基于前饋神經網絡來構建的一種智能機器學習的算法或者系統，該算法主要使用在解決非監督學習或者監督學習的問題上。

極限學習機（ELM）的研究可被視為一種特殊的前饋圣經網絡，也或者被稱為對前饋神經網絡及其反向傳播算法的一種改進型算法，該算法的特點是針對隱含的網絡層節點進行構建，不需要持續更新，而且整個學習的過程僅僅是通過計算相應的輸出權重來進行處理的。

傳統的極限學習機（ELM）具有單獨的隱層信息，該算法同其他較為淺層的學習系統比如單層感知機和支持向量機進行深度比較而言，該算法在學習的效率和可泛化的感知能力上都具備了較高的優越性，極限學習機（ELM）可以進行較高程度的表征學習，通過相關的改進型的版本，引入一定的自編器構建或者堆筑起隱含層來獲取相應的結構信息。

極限學習機（ELM）的使用場景一般在計算機圖像識別處理與生物信息識別上，同時也被運用到一些環境科學與地質探索的回歸性問題之上。

2.2 極限學習機算法流程

極限學習機算法（ELM）僅僅只需要求解相關信息的輸出權重信息，因此該算法是一種基于線性參數（linear-in-the-parameter）的模式。

該算法的自我學習過程關鍵點在于全局層面上的極小值手鏈的問題。當N 組需要機器進行自我學習的數據采集完成之后，針對其中還隱含的層級節點個數為L 和輸出層級節點個數為M的學習流程為：

（1）系統隨機進行參數節點的分配工作：在系統進行計算的初始階段，SLFN 的相關節點參數需要隨機生成，即輸入系統的相關數據和隨機生成的節點的參數要相互獨立。當然這里所說的隨機生成需要盡可能的服從連續概率分布（continuous probability distribution）。

（2）系統根據輸入的節點數據進行隱含層的矩陣輸出：系統隱含的矩陣輸出，該矩陣的大小為N 行和L 列，該矩陣行數是根據輸入的所需要訓練的數據個數統計出來，該列數是根據隱含的層級節點計算出來，因此該系統輸出的矩陣從本質的特征上來說就是將用戶所需要的訓練個數N 通過特定的方式映射到L個層級節點之上，最終獲取相應的結果。

（3）系統通過矩陣來計算求解相應的權重輸出：由于隱含層輸出的相關權重矩陣的大小為L行M列,即相關的行數為隱藏的層節點的個數，矩陣的列為輸出的層級節點的借點數，該算法同其他預測算法的不同之處在于，該算法中的輸出層級節點是可以不存在誤差節點的信息，因此該算法的核心就是通過對輸出權重的計算獲取誤差函數最小的節點信息。

總之極限學習機算法（ELM）中要求解的輸出權重矩陣的過程必須有矩陣求逆序的步驟。因為通過系統映射的相關函數的初始化工作是隨機產生的，故而在實際的計算應用過程中使用徑向基函數來進行矩陣的求逆工作，在基本的理論上，系統只要設定非常大的正則化相關數據，那么需要進行求逆運算的矩陣的最終結果一定是正定矩陣，但是實際場景下，過大的正則化操作會使得最終的計算效果影響極限學習機算法（ELM）的泛泛的能力，因此在計算求逆的過程中一般采用Sigmoid函數來進行相關操作。

3 基于大數據的極限學習機在茶葉產量預測中的實現

3.1 極限學習機算法數據處理的實現

（1）初始階段訓練數據的處理。首先確定采集的茶葉生產環境的溫度、濕度、品種信息、生長階段等數據作為初始的訓練集，同時認為的設定系統隱層的節點個數為N。接著設k=0，進而隨機的產生第j 個隱層的節點同相應的輸入的節點的權值的向量表達式為wi=[w1,w2,...,wn]T同時設置系統的激勵節點的參數，通過計算初始隱層的輸出矩陣H0最后計算出初始權值的向量β0。

（2）系統學習階段。當系統通過訓練獲取到一個新的訓練數據到來時候，先通過假設獲得所有訓練集的第k+1 個樣本的數據。

（3）通過系統計算出輸出的權重向量即βk+1。

（4）最后設定k=k+1，進而將該結果重新返回到步驟（1）中，繼續循環地訓練下一個數據，最終將所有采集的數據訓練完成之后，作為云計算的輸入，進行下一步的處理。

3.2 基于大數據MapReduce數據處理的實現

MapReduce 框架編程的核心就是對數據的并行處理。即用戶用過自定義的Map函數和Reduce函數分別對傳入的鍵值對序列進行并行化的處理工作，因此將上層經過極限學習機算法處理的訓練集所產生的鍵值對序列數據作為輸入，傳輸到MapReduce 系統中其中間的結果保存到HBase 分布式系統的文件系統和分布式緩存中。

4 實驗

本文的實驗環境采用配置是以i5-460m 的處理器，8G RAM，硬盤大小為500G 的16 臺計算機為硬件節點，通過200Mbit/s 的網絡作為連接進行Hadoop 平臺進行搭建，其中Hadoop框架的為3.0版本。

4.1 實驗方法和結果

實驗的實驗數據主要是通過網絡采集的2015-2019 年海南省海墾茶業集團所公布的產業生產相關的數據。通過將當年茶葉生長環境的相關信息輸入到系統之中，并對實驗所得出的預測結果與實際公布的產量進行對比，從實驗結果可以看出，本文提出的基于大數據的極限學習機算法能夠對茶葉產量進行有效的預測。

5 結語

本文提出的一種基于大數據的極限學習機算法在茶葉產量預測的方法能夠通過對采集的茶葉生長信息進行高效處理之后較為準確的預測當年的茶葉產量，并且通過實驗證明可該方法的正確性。