分布式計(jì)算框架下的大數(shù)據(jù)機(jī)器學(xué)習(xí)

文/田彬

1 引言

大數(shù)據(jù)機(jī)器學(xué)習(xí)并不是簡(jiǎn)單機(jī)器學(xué)習(xí)，而不是大數(shù)據(jù)處理的問(wèn)題，是機(jī)器學(xué)習(xí)、大數(shù)據(jù)處理等技術(shù)難題相互結(jié)合和攻克的問(wèn)題。在此過(guò)程中，研究人員要重視機(jī)器學(xué)習(xí)函數(shù)算法與方法，并且研究全新且高效化算法，保證實(shí)際運(yùn)行過(guò)程中結(jié)果精準(zhǔn)性得到提高。在大數(shù)據(jù)機(jī)器學(xué)習(xí)系統(tǒng)和研究過(guò)程中，要與并行化和分布式大數(shù)據(jù)處理技術(shù)相互結(jié)合，基于可接收時(shí)間范圍中計(jì)算。

2 Spark方法特點(diǎn)

Spark的主要特點(diǎn)就是：

（1）計(jì)算效率比較高。利用有向無(wú)環(huán)圖支持循環(huán)數(shù)據(jù)流，將中間數(shù)據(jù)存儲(chǔ)到內(nèi)存中，迭代運(yùn)算效率較高；

（2）使用方便，對(duì)多開(kāi)發(fā)語(yǔ)言兼容；

（3）具有較強(qiáng)通用性，組件較為豐富。Spark能夠提供給開(kāi)發(fā)人員強(qiáng)大且完整組件庫(kù)，比如流失計(jì)算、sql查詢、機(jī)器學(xué)習(xí)等組件。

Spark中的計(jì)算建模中的有向無(wú)環(huán)圖的所有頂點(diǎn)為彈性分布式數(shù)據(jù)集RDD，所有邊RDD為RDD實(shí)際的操作。Spark用戶為有向無(wú)環(huán)圖建模的計(jì)算，從而對(duì)RDD中運(yùn)行的動(dòng)作進(jìn)行轉(zhuǎn)換。有向無(wú)環(huán)圖DAG能夠分布式的執(zhí)行操作，通過(guò)機(jī)器有向無(wú)環(huán)圖分塊，在Driver中設(shè)置兩個(gè)調(diào)度組件，有向無(wú)環(huán)圖與任務(wù)的調(diào)度器能夠?qū)崿F(xiàn)Workews分配的任務(wù)與協(xié)調(diào)。

3 分布式計(jì)算框架下的機(jī)器學(xué)習(xí)算法

表1：迭代過(guò)程中樣本對(duì)于模型更新貢獻(xiàn)量

3.1 機(jī)器學(xué)習(xí)算法的迭代計(jì)算

分布式計(jì)算框框架為多次迭代計(jì)算結(jié)構(gòu)，每次迭代需要對(duì)模型參數(shù)向量實(shí)施更新，圖1為模型參數(shù)向量的改變。

通過(guò)圖1可以看出來(lái)，不同迭代在迭代后會(huì)縮小模型參數(shù)向量。以此，設(shè)置閾值參數(shù)a。這個(gè)時(shí)候最優(yōu)質(zhì)逐漸的接近迭代，迭代會(huì)縮小模型參數(shù)的該變量。

3.2 迭代計(jì)算的樣本差異性

計(jì)算本地訓(xùn)練樣本xi之后得出梯度向量gi，在本地全部梯度向量下將服務(wù)器節(jié)點(diǎn)發(fā)送出去。結(jié)合服務(wù)器節(jié)點(diǎn)和所有節(jié)點(diǎn)梯度向量，從而得出總體度g，圖2為樣本梯度向量的合成。之后通過(guò)此梯度對(duì)模型參數(shù)向量進(jìn)行更新，將其在下次迭代計(jì)算中使用。

在計(jì)算迭代過(guò)程中，將訓(xùn)練樣本xi作為基礎(chǔ)計(jì)算梯度向量，全部梯度向量合成得出總體度g。通過(guò)樣本相應(yīng)梯度向量gi長(zhǎng)度||gi||指的是總梯度g貢獻(xiàn)，此值越大，對(duì)于總體度g貢獻(xiàn)也就會(huì)越大，也就是樣本對(duì)于模型參數(shù)也具有更大的改變。表1指的是迭代過(guò)程中樣本對(duì)于模型更新貢獻(xiàn)量。

通過(guò)表1可以看出來(lái)，在迭代逐漸開(kāi)展過(guò)程中，大部分樣本對(duì)于總體度貢獻(xiàn)比較小，只有小部分樣本影響總體度。另外，在各迭代過(guò)程中對(duì)于模型參數(shù)更新貢獻(xiàn)比較小樣本的集合交際超過(guò)99%，以此表示在樣本某次迭代過(guò)程中對(duì)于總體度貢獻(xiàn)比較小的時(shí)候，在后續(xù)迭代過(guò)程中對(duì)于總體度貢獻(xiàn)比較小。所以，整體迭代計(jì)算中，大部分的樣本的模型收斂與貢獻(xiàn)比較小，只有少部分樣本對(duì)于模型收斂與更新具有更大的影響。

圖1：模型參數(shù)向量的改變

圖2：樣本梯度向量的合成

3.3 算法的優(yōu)化

將目前分布式機(jī)器學(xué)習(xí)系統(tǒng)中樣本差異性導(dǎo)致分配計(jì)算機(jī)不均衡性，本文的算法為：

輸出：α、β、flag←false

輸出：模型參數(shù)向量w

方法：對(duì)結(jié)點(diǎn)r第t次迭代計(jì)算過(guò)程進(jìn)行計(jì)。

通過(guò)此算法表示，在樣本對(duì)于模型具有較大貢獻(xiàn)的時(shí)候，在每次迭代過(guò)程中都要對(duì)此樣本精準(zhǔn)梯度進(jìn)行計(jì)算，要不然在微調(diào)過(guò)程中不對(duì)此樣本梯度計(jì)算，使用梯度向量，以此得出梯度向量雖然存在誤差，但是因?yàn)榇颂荻认蛄繉?duì)于模型更新貢獻(xiàn)比較小。在梯度向量重用出現(xiàn)大誤差的時(shí)候，迭代就會(huì)到粗調(diào)的階段中，這個(gè)時(shí)候要對(duì)全部樣本精準(zhǔn)梯度進(jìn)行計(jì)算，對(duì)計(jì)算結(jié)果正確性進(jìn)行保證。

4 實(shí)驗(yàn)驗(yàn)證

本文在實(shí)驗(yàn)過(guò)程中，使用兩種具備代表性數(shù)據(jù)集實(shí)現(xiàn)算法訓(xùn)練與實(shí)驗(yàn)，數(shù)據(jù)集具體信息為：

（1）動(dòng)態(tài)氣體混合中氣體傳感器數(shù)據(jù)集（Gas sensot數(shù)據(jù)集），包括18個(gè)特征值與1個(gè)lable值；

（2）美國(guó)航天局地球交換降尺度氣候預(yù)測(cè)數(shù)據(jù)集（NEX-DCP30），每行數(shù)據(jù)包括360個(gè)特征值與1個(gè)label值。

本文利用多層神經(jīng)網(wǎng)絡(luò)使用單層神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)數(shù)據(jù)集訓(xùn)練，對(duì)均方誤差和改變迭代時(shí)間進(jìn)行對(duì)比。通過(guò)試驗(yàn)結(jié)果表示，低于最高的均方誤差，提高收斂速度。簡(jiǎn)單來(lái)說(shuō)，所實(shí)現(xiàn)多層神經(jīng)網(wǎng)絡(luò)能夠精準(zhǔn)預(yù)測(cè)數(shù)據(jù)集。

5 結(jié)語(yǔ)

基于大數(shù)據(jù)機(jī)器學(xué)習(xí)算法研發(fā)能夠有效解決大規(guī)模系統(tǒng)協(xié)同和關(guān)聯(lián)的問(wèn)題，對(duì)比傳統(tǒng)的機(jī)器學(xué)習(xí)，基于大數(shù)據(jù)機(jī)器學(xué)習(xí)系統(tǒng)擴(kuò)大機(jī)器訓(xùn)練的樣本數(shù)量，使學(xué)習(xí)訓(xùn)練結(jié)構(gòu)和過(guò)程多樣化得到提高，對(duì)隱藏信息進(jìn)行挖掘。以上通過(guò)實(shí)驗(yàn)結(jié)果表示，算法基于分布式集群環(huán)境中能夠降低模型訓(xùn)練計(jì)算量，并且提高訓(xùn)練模型精準(zhǔn)度，使大數(shù)據(jù)挖掘?qū)崟r(shí)性得到提高。