大數(shù)據(jù)分析視域下分布式MOLAP技術(shù)運(yùn)用

李正偉

（西南林業(yè)大學(xué) 云南省昆明市 650224）

進(jìn)入到新世紀(jì)以來，各個(gè)國家的科學(xué)技術(shù)水平得到了快速發(fā)展，同時(shí)隨著大數(shù)據(jù)時(shí)代的到來，許多國家的互聯(lián)網(wǎng)計(jì)算機(jī)技術(shù)、傳感器技術(shù)與數(shù)據(jù)分析技術(shù)等都得到了很好的發(fā)展，一方面有效強(qiáng)化了信息數(shù)據(jù)接收與傳輸?shù)乃俣龋硪环矫嬉矠橛?jì)算機(jī)科學(xué)的進(jìn)一步發(fā)展奠定了基礎(chǔ)。由于各個(gè)行業(yè)領(lǐng)域發(fā)展速度過快，導(dǎo)致了數(shù)據(jù)信息增長速度非常快，極易產(chǎn)生信息爆棚的問題，對(duì)各個(gè)行業(yè)領(lǐng)域的計(jì)算機(jī)處理能力產(chǎn)生了巨大的挑戰(zhàn)。為了避免這種問題的產(chǎn)生，確保龐大的數(shù)據(jù)信息都能夠得到妥善的處置，分布式MOLAP技術(shù)逐漸獲得了更為廣泛的應(yīng)用。MOLAP技術(shù)能夠依托于大數(shù)據(jù)處理，通過多元化的數(shù)據(jù)結(jié)構(gòu)實(shí)現(xiàn)對(duì)海量數(shù)據(jù)信息的存儲(chǔ)，從而達(dá)到分級(jí)處理的效果。本文重點(diǎn)分析了基于大數(shù)據(jù)分析的分布式MOLAP技術(shù)內(nèi)涵，探究了大數(shù)據(jù)分析視域下的分布式MOLAP技術(shù)模型及其應(yīng)用，為加強(qiáng)對(duì)分布式MOLAP技術(shù)的進(jìn)一步研究提供幫助。

1 基于大數(shù)據(jù)分析的分布式MOLAP技術(shù)內(nèi)涵

基于大數(shù)據(jù)分析的分布式MOLAP技術(shù)通常需要依托于Map Reduce程序編輯模型來實(shí)現(xiàn)，又稱之為分布式聯(lián)機(jī)分析處理（DOLAP）[1]。在實(shí)際開展操作時(shí)，一般會(huì)通過多樣化的手段來實(shí)現(xiàn)系統(tǒng)的工作與操作，比如說為了達(dá)到對(duì)數(shù)據(jù)維度與度量的映射，需要構(gòu)建多維數(shù)據(jù)模型；為了確保數(shù)據(jù)維層次的上卷下鉆工作能夠順利開展，需要借助于遍歷算法與維編碼；在開展聯(lián)機(jī)分析處理（OLAP）性能改進(jìn)工作時(shí)所使用的數(shù)據(jù)模塊[2-3]。在開展數(shù)據(jù)處理工作時(shí)，分布式MOLAP技術(shù)可以通過數(shù)據(jù)的維度完成數(shù)據(jù)建模工作，進(jìn)一步提高對(duì)維編碼算法的應(yīng)用，進(jìn)而有序、高效完成對(duì)各種數(shù)據(jù)的分析與處理，表現(xiàn)出較高的數(shù)據(jù)處理水平，可以完成對(duì)數(shù)據(jù)度量的真實(shí)映射。

2 數(shù)據(jù)建模

分布式MOLAP技術(shù)依托于構(gòu)建多維數(shù)據(jù)模型，可以進(jìn)一步促進(jìn)對(duì)維與事實(shí)兩者間映射關(guān)系的研究。在傳統(tǒng)數(shù)據(jù)處理工作開展中，分布式MOLAP技術(shù)依托于創(chuàng)設(shè)星型模型以及關(guān)系數(shù)據(jù)庫，能夠?qū)崿F(xiàn)對(duì)維數(shù)據(jù)資源以及事實(shí)數(shù)據(jù)資源的獨(dú)立存儲(chǔ)，并通過外鍵的有效利用能夠建立維數(shù)據(jù)資源與事實(shí)數(shù)據(jù)資源的穩(wěn)定映射關(guān)系，然而這種方式也存在一定的弊端，因?yàn)樵陂_展數(shù)據(jù)處理工作時(shí)要同步實(shí)施外鍵操作，這會(huì)極大降低數(shù)據(jù)處理工作的速度[4-5]。在依托于維編碼開展數(shù)據(jù)處理工作時(shí)，通常包含下列幾部分內(nèi)容。

（1）“維”：在創(chuàng)設(shè)多維數(shù)據(jù)模型時(shí)，第一步要對(duì)所有數(shù)據(jù)信息進(jìn)行科學(xué)有效的分類，保證任意兩個(gè)數(shù)據(jù)均不會(huì)產(chǎn)生雷同，于此同時(shí)根據(jù)各種數(shù)據(jù)信息的特征，合理選取數(shù)據(jù)篩選模式。在本文的研究中，為了確保數(shù)據(jù)建模的順利進(jìn)行，對(duì)維內(nèi)涵進(jìn)行了一定的簡化，并且要求簡化后的模型要達(dá)到下列標(biāo)準(zhǔn)要求[6]：設(shè)定a表示維，同時(shí)擁有維層次，a=1，當(dāng)a表示為涵蓋了n個(gè)各種層次的維構(gòu)成和，那么a∈（1，n），當(dāng)a是通過各種級(jí)別的維屬性與值形成的，則相同級(jí)別的維所擁有的子節(jié)點(diǎn)數(shù)需要統(tǒng)一。

圖1：塊選取算法示意圖

（2）度量：在依托于MOLAP技術(shù)開展數(shù)據(jù)分析工作時(shí)，需要將度量當(dāng)成參考標(biāo)準(zhǔn)，級(jí)別越低的維值需要采用越細(xì)粒度的度量為參考標(biāo)準(zhǔn)[7]。

（3）單元格：單元格是由各種粒度的度量組合而成的，同時(shí)賦予了分度量特定的維值。

（4）數(shù)據(jù)立方：數(shù)據(jù)立方是由各種規(guī)格的單元格組合而成的，是一個(gè)較為常見的多維結(jié)構(gòu)[8]。

（5）以數(shù)據(jù)立方為參考標(biāo)準(zhǔn)，并讓數(shù)據(jù)立方擁有各自的維值，從而構(gòu)建出全新的邏輯圖。

3 大數(shù)據(jù)分析視域下分布式MOLAP技術(shù)運(yùn)用

大數(shù)據(jù)分析視域下分布式MOLAP技術(shù)在面向聯(lián)機(jī)分析處理時(shí)，能夠采用的操作方式有上卷、下鉆、切塊、切片與旋轉(zhuǎn)[9]。相應(yīng)的在利用分布式MOLAP技術(shù)進(jìn)行算法運(yùn)行時(shí)，主要涵蓋了Target、Range、Aggregation以及Result四方面，這其中Target表示為待分析數(shù)據(jù)立方；Range表示為待分析數(shù)據(jù)立方范圍；Aggregation表示為數(shù)據(jù)分析聚集函數(shù)；Result表示為數(shù)據(jù)立方最終結(jié)果[10]。

圖2：上卷操作詳細(xì)示意圖

大數(shù)據(jù)分析視域下分布式MOLAP技術(shù)在面向聯(lián)機(jī)分析處理操作時(shí)，一般會(huì)使用到四種應(yīng)用較為廣泛的推算方法，分別是數(shù)據(jù)檢索、塊選取、調(diào)整維級(jí)別與信息數(shù)據(jù)整合。這四種方法中，快選取是最重要的一個(gè)，能夠有效降低聯(lián)機(jī)分析處理工作要輸入的個(gè)數(shù)。換言之，塊選取方法能夠利用降低查詢范圍大小來極大改善聯(lián)機(jī)分析工作的效率[11]。具體來說，大數(shù)據(jù)分析視域下分布式MOLAP在開展聯(lián)機(jī)分析處理工作時(shí)，假設(shè)Range為｛α1，α2，…，αn｝，｛β1，β2，…，βn｝，Range的塊坐標(biāo)為｛c1，c2，…，cn｝，從而得到如下公式：

由此可以得出，符合公式（1）的塊必須要輸入完整的數(shù)據(jù)信息塊，只要MOLAP技術(shù)在聯(lián)機(jī)分析處理操作時(shí)輸入即可，有效降低了聯(lián)機(jī)分析處理工作的檢索范疇，只要依托于基礎(chǔ)的編碼就能夠達(dá)到計(jì)算要求。如圖1所示為塊選取算法示意圖。

選取大數(shù)據(jù)分析視域下分布式MOLAP技術(shù)中關(guān)于聯(lián)機(jī)分析處理的上卷操作為代表進(jìn)行進(jìn)一步探究，該算法主要涵蓋了四個(gè)方面，分別是信息檢索（Information Retrieval）、調(diào)整維級(jí)別（Mapper）、聚集（Reducer）以及結(jié)果導(dǎo)出（Result Export）[12]，如圖2所示為上卷操作詳細(xì)示意圖。

在MapReduce程序編輯模型還沒有正式開展工作時(shí)，依托于大數(shù)據(jù)分析視域下的分布式MALAP技術(shù)中關(guān)聯(lián)的聯(lián)機(jī)分析處理（OLAP）上卷操作中的多個(gè)地方的信息將會(huì)被傳輸?shù)较到y(tǒng)中，系統(tǒng)終端在獲得這部分?jǐn)?shù)據(jù)信息之后，先會(huì)對(duì)這部分信息進(jìn)行真實(shí)性評(píng)估，通過這樣的做法能夠很好的避免程序由于查詢?nèi)蝿?wù)不能夠獲得反饋而失效。在該操作完成以后，接下來會(huì)借助于快算法來得到相應(yīng)的輸入列表。

4 分析數(shù)據(jù)的存儲(chǔ)

在對(duì)傳統(tǒng)的DOLAO技術(shù)開展分析過程中，假如使用數(shù)據(jù)立方的途徑進(jìn)行數(shù)據(jù)的存儲(chǔ)工作，一方面會(huì)導(dǎo)致前期投資成本非常高，另一方面也會(huì)導(dǎo)致運(yùn)行過程十分的繁瑣，尤其是在運(yùn)行高維數(shù)據(jù)時(shí)，往往會(huì)在系統(tǒng)給內(nèi)部出現(xiàn)龐大的維值，從而占據(jù)大量的存儲(chǔ)空間，也間接提高了存儲(chǔ)成本。在以往技術(shù)手段的支持下，一般會(huì)借助訪問過程中的多維數(shù)據(jù)組，以此來改善后期的OLAP運(yùn)行環(huán)境，然而這種方法難以滿足大數(shù)據(jù)時(shí)代使用需求，不具備良好的可操作性。在多維運(yùn)行過程中通常是基于計(jì)算機(jī)系統(tǒng)來完成的，能夠不借助存儲(chǔ)的形式，從而有效降低在立法數(shù)據(jù)存儲(chǔ)中的代價(jià)。DOLAP技術(shù)能夠?qū)崿F(xiàn)對(duì)維方式的精簡，使得其在相同級(jí)別上完成對(duì)上維編碼的十進(jìn)制數(shù)。

5 結(jié)語

伴隨著現(xiàn)代社會(huì)快速發(fā)展，大數(shù)據(jù)時(shí)代已經(jīng)滲透到人們?nèi)粘Ｉa(chǎn)和生活中，有效提高了人們工作中數(shù)據(jù)處理速度與質(zhì)量。但是，由于各方面生產(chǎn)活動(dòng)的逐步健全，涵蓋的信息數(shù)據(jù)越來越多，以往的數(shù)據(jù)統(tǒng)計(jì)與處理手段已經(jīng)不能夠達(dá)到當(dāng)下的工作要求。分布式MOLAP技術(shù)是大數(shù)據(jù)時(shí)代的重要技術(shù)之一，可以很好的提高數(shù)據(jù)處理的效率，保證計(jì)算機(jī)系統(tǒng)高質(zhì)量運(yùn)行，促進(jìn)現(xiàn)代社會(huì)不斷進(jìn)步。