大數(shù)據(jù)技術中計算與數(shù)據(jù)的協(xié)作機制

摘 要：我們現(xiàn)今正處于大數(shù)據(jù)時代當中，同高性能計算系統(tǒng)相似，大數(shù)據(jù)系統(tǒng)在數(shù)據(jù)儲存以及計算方面一般為基于機群實現(xiàn)的。為了能夠在大數(shù)據(jù)環(huán)境中使數(shù)據(jù)能夠同計算間獲得更好的協(xié)調，在文章中，將就大數(shù)據(jù)技術中計算與數(shù)據(jù)的協(xié)作機制進行一定的研究。

關鍵詞：大數(shù)據(jù)技術；計算與數(shù)據(jù)；協(xié)作機制

引言

在現(xiàn)今信息技術發(fā)展中，數(shù)據(jù)同計算可以說是信息技術發(fā)展過程中的兩個重要主題，在這兩個主題的基礎上，信息技術也逐漸出現(xiàn)了大數(shù)據(jù)技術概念。從嚴格意義來說，所謂大數(shù)據(jù)技術，即是針對于海量數(shù)據(jù)的分析、存儲以及發(fā)布技術。對于這部分海量數(shù)據(jù)來說，我們很難直接對其進行應用，在獲得數(shù)據(jù)之后，需要在經(jīng)過一定處理后才能夠獲得有用的數(shù)據(jù)，如何能夠實現(xiàn)大數(shù)據(jù)時代下數(shù)據(jù)同計算的科學協(xié)作、并能夠將其形成一種機制，則成為了目前非常重要的一項問題。

1 計算同數(shù)據(jù)協(xié)作機制對比

對于面對數(shù)據(jù)系統(tǒng)來說，其一般為分布式系統(tǒng)類型，即通過將計算向數(shù)據(jù)進行遷移對系統(tǒng)中數(shù)據(jù)傳遞代價進行降低，可以說是一種通過計算對數(shù)據(jù)進行尋找的方式。要想對數(shù)據(jù)進行計算，實現(xiàn)數(shù)據(jù)的定位可以說是一項重要的前提，而數(shù)據(jù)切分以及存儲方式情況也將對計算的模式以及處理效率產(chǎn)生影響。對此，要想對數(shù)據(jù)同計算間的科學協(xié)作進行實現(xiàn)，就需要對數(shù)據(jù)在分布式文件系統(tǒng)中的存儲方式進行研究。而由于在分布式系統(tǒng)當中，需要對數(shù)據(jù)冗余、節(jié)點失效以及備份等問題進行解決，就對數(shù)據(jù)同計算協(xié)作價值的研究帶來了較大的挑戰(zhàn)。在兩者協(xié)作機制研究中，數(shù)據(jù)同計算的一致性可以說是研究重點，需要首先從該方面進行討論與解決。

1.1 位置一致性映射模型

對于分布式系統(tǒng)中數(shù)據(jù)同計算的一致性問題，我們可以將其理解為將兩者在同一節(jié)點位置映射，即在數(shù)據(jù)存儲區(qū)域發(fā)起計算。以網(wǎng)格計算系統(tǒng)為例，其到達客戶節(jié)點的數(shù)據(jù)是計算先于數(shù)據(jù)，并根據(jù)客戶端請求將數(shù)據(jù)映射到客戶端中進行處理。對于Hadoop系統(tǒng)來說，就是先將數(shù)據(jù)存儲到系統(tǒng)的一個節(jié)點當中，當系統(tǒng)發(fā)起計算時，再對元數(shù)據(jù)進行查詢后對數(shù)據(jù)存儲位置進行獲得，并將計算任務映射到節(jié)點當中進行處理。根據(jù)此種情況，我們可以將計算同數(shù)據(jù)間的映射比作是數(shù)據(jù)到節(jié)點的映射過程，在該過程中，數(shù)據(jù)片同計算程序在按照一定規(guī)則到節(jié)點進行定位之后將兩者注入到節(jié)點當中，而到該節(jié)點失效時，數(shù)據(jù)片則會按照相應的規(guī)則進行數(shù)據(jù)備份以及遷移，并重新按照規(guī)則實現(xiàn)到節(jié)點的對應。

在上述模型中，我們可以將計算視作是一種具有特殊特征的數(shù)據(jù)類型，這是因為對于計算而言，其自身就是程序語言設計的可執(zhí)行程序片，在系統(tǒng)映射過程中，可以將其同數(shù)據(jù)進行同等的看待，且在程序中一般也將包括相關數(shù)據(jù)的邏輯位置信息。在分布式文件中，其中的定位算法也正是數(shù)據(jù)同節(jié)點間的映射功能，即要想對兩者的一致性位置進行實現(xiàn)，就離不開分布式文件系統(tǒng)的支持。同時，由于在分布式系統(tǒng)中計算遷移、存儲遷移以及數(shù)據(jù)冗余問題的存在，在具體功能實現(xiàn)時，也將對存儲冗余以及均衡調度等技術進行結合性的應用，以此對兩者科學協(xié)作、且具有穩(wěn)定健壯特征的系統(tǒng)進行實現(xiàn)。映射方式方面，則有哈希映射以及元數(shù)據(jù)映射等。

1.2 元數(shù)據(jù)映射算法

對于該類算法來說，其可以說是最為基礎的對存儲位置同計算一致性進行實現(xiàn)的方法，在實際應用中，該方式通過數(shù)據(jù)塊存儲位置的查找使該位置能夠同指定的存儲節(jié)點進行映射，在其對計算同數(shù)據(jù)的定位實現(xiàn)中，同網(wǎng)絡路由表原理較為類似，即兩者通過對有路由的查詢保證數(shù)據(jù)能夠同計算被分配到同一個節(jié)點當中。對于應用該方式的系統(tǒng)來說，其一般為主從結構類型，如果其中出現(xiàn)單點失效情況，則將對整個系統(tǒng)產(chǎn)生較大的影響。對于HDFS以及GFS結構來說，就是以該數(shù)據(jù)方式構建的。在實際對數(shù)據(jù)進行存儲時，其一般會根據(jù)節(jié)點目前存儲負載情況進行判斷，而為了避免結構對失效情況具有過高的敏感性，也有學者通過對元數(shù)據(jù)進行復制的方式提升系統(tǒng)可用性。

通過該方式的應用，則能夠以較為便利的方式對機群系統(tǒng)目前狀態(tài)進行利用，在以其為依據(jù)的基礎上對系統(tǒng)的負載均衡進行實現(xiàn)。此時，系統(tǒng)主節(jié)點則會通過一定調度算法的應用對數(shù)據(jù)計算以及存儲進行分配，在對系統(tǒng)負載均衡進行實現(xiàn)的同將分配信息作為元數(shù)據(jù)進行保存。目前，很多針對集群負載均衡算法都能夠在元數(shù)據(jù)方法中進行應用、并將其作為對柱節(jié)點資源進行分配的依據(jù)。在實際應用中，雖然該方式在網(wǎng)絡信息搜索以及大量復雜均衡算法的應用方面具有較好的表現(xiàn)，但當系統(tǒng)具有較多數(shù)量小文件時，則需要對路由數(shù)據(jù)進行大量的維護，并因此對數(shù)據(jù)的查詢效果產(chǎn)生影響。

1.3 哈希映射算法

哈希算法是一種從稀疏到緊密值的映射方式，在計算以及存儲定位時，可以將其視作路由算法的一種，通過該方式的應用，則能夠將目標定位到節(jié)點位置。對于傳統(tǒng)的哈希算法，其在擴展性以及容錯性方面的表現(xiàn)都一般，并不能夠較為有效的對面向數(shù)據(jù)系統(tǒng)節(jié)點的動態(tài)變化相適應，1997年，學者David Karger提出了使用一致性哈希算法對數(shù)據(jù)進行定位，并在后續(xù)的改進中逐漸使其成為了分布式存儲中的標準技術類型。當系統(tǒng)對該方式進行應用之后，則不需要對中心節(jié)點元數(shù)據(jù)進行維護，可以說對普通元數(shù)據(jù)服務器性能瓶頸以及單點失效問題進行了較好的解決，其實現(xiàn)過程為：首先通過Key值的應用將MD5算法變換成一個32位長度的16進制數(shù)值，在以該數(shù)值進行232取模后將其映射到環(huán)狀哈希空間，并以相同的方式將節(jié)點映射到環(huán)狀哈希空間當中，此時Key則會在哈希空間中尋找到節(jié)點值作為路由值。

2 計算同數(shù)據(jù)的流式拓樸協(xié)作機制

2.1 Storm系統(tǒng)

流水線技術是對高性能數(shù)據(jù)進行處理的重要技術類型，其主要技術思想即將一個任務分解成多個具有前后關系的子任務，在流水線模式中，各個子任務的啟動同之前順序任務的完成情況具有依賴，對具有先后相關性數(shù)據(jù)分析方面具有較好的實用性特征。目前，以分布式系統(tǒng)以及流式技術為協(xié)作的框架機制已經(jīng)在應用中表現(xiàn)出了較好的生命力以及靈活性，在本研究中，將以Storm系統(tǒng)為例進行簡單的介紹。

Storm是由Twitter所推出的一種流式分布式系統(tǒng)，在該集群中，由多個工作節(jié)點以及一個主節(jié)點組成，其中，主節(jié)點可以說是系統(tǒng)的核心，具有任務布置、代碼分配以及故障檢測等作用。在該系統(tǒng)中，當其要對實時計算任務進行完成時，需要對一個Topology進行建立，并由該模塊對數(shù)據(jù)處理進行規(guī)劃。在Storm系統(tǒng)中，元組是基本的數(shù)據(jù)流單位，可以將其看作是一個被封裝的數(shù)據(jù)結構類型，在Storm系統(tǒng)中，Topology可以說是最高級別的執(zhí)行單元，其是由很多個節(jié)點所組成的拓撲，在拓撲中，由不同節(jié)點對相應的計算邏輯進行完成。在該系統(tǒng)中，Spout是系統(tǒng)的數(shù)據(jù)流生成器，而Bolt則為不同的處理位置。對于數(shù)據(jù)流來說，由于Spout為數(shù)據(jù)源頭，在實際運行中，其在對數(shù)據(jù)進行讀取之后則會實現(xiàn)向Bolt的傳送，其不僅能夠對多個輸入流進行接收，且能夠較好的對數(shù)據(jù)進行特定處理。在Storm系統(tǒng)對Topology進行應用之后，其則具有了更為強大以及更為靈活的數(shù)據(jù)處理能力，節(jié)點在根據(jù)Topology邏輯對任務進行分配之后將任務分配到相應物理節(jié)點之上。而從整個架構情況看來，在數(shù)據(jù)以及計算協(xié)作處理方面，系統(tǒng)主要是通過Topology進行分配，并在按照其描述之后由對應的節(jié)點程序進行處理，并由主節(jié)點將根據(jù)一個邏輯實現(xiàn)物理節(jié)點的映射。

2.2 流式拓樸映射模型

在Storm系統(tǒng)中，其通過Topology結構的應用，則能夠對較為復雜的分布式數(shù)據(jù)處理任務進行實現(xiàn)，在整個過程中，對于不同計算任務，Topology好比是邏輯規(guī)劃，并沒有對相應的物理節(jié)點進行對應，在系統(tǒng)主節(jié)點中，可能具有數(shù)量較多的該種結構，而對于每一個結構都可以將其視作為對特殊問題進行處理的邏輯規(guī)劃，可以說，通過Topology結構的應用，則能夠對大多數(shù)問題的處理方式進行描述。其整個過程可以抽象如圖1所示。

在圖1中，每一個操作就可以將其是作為Bolt，而數(shù)據(jù)發(fā)生器則為Spout，在該系統(tǒng)中，同樣由主節(jié)點對很多個處理節(jié)點進行管理與監(jiān)控，對于每個任務的邏輯規(guī)劃，主節(jié)點都會在一定策略的基礎上對物理節(jié)點進行分配，以此對相關的計算恩物進行完成。如上圖中，主節(jié)點為操作1分配物理節(jié)點1，為操作2分配物理節(jié)點2，為操作3分配物理節(jié)點3，為操作4分配物理節(jié)點1，在以該種方式進行分配之后，Topology則能夠被映射為集群物理結構，并能夠對相應的計算任務進行完成。而作為編程人員，在工作當中僅僅需要對Topology的邏輯結構進行定義即可，其后續(xù)相關工作則完全由系統(tǒng)進行維護，作為設計人員，在整個操作過程中也不需要對失效問題進行擔心，這是因為當某個節(jié)點出現(xiàn)失效情況時，主節(jié)點將根據(jù)對應操作將其對一個好的物理節(jié)點進行重新的映射，以此保證整個規(guī)劃能夠得到順利的實現(xiàn)。

通過上述的分析可以了解到，通過流式拓樸映射方法的應用，則能夠使系統(tǒng)根據(jù)Topology描述的情況對不同的集群計算結構進行自動組合，以此以更為靈活的方式對復雜問題進行處理。在整個過程中，系統(tǒng)的主節(jié)點具有數(shù)據(jù)路由以及計算的作用，并通過Topology的描述對協(xié)作機制的跟蹤定位進行實現(xiàn)。

在此，我們以MPS對Topology到物理的映射過程進行模擬，在節(jié)點間，將通過Mpi_Send（）函數(shù)的應用將流數(shù)據(jù)元組注入到節(jié)點當中，并在該節(jié)點上對相關操作進行發(fā)起，之后，通過MPI_Recv（）函數(shù)的應用對前端數(shù)據(jù)進行接收，以此對節(jié)點間通訊進行實現(xiàn)。對于該種方式來說，其能夠對不同數(shù)據(jù)系統(tǒng)僅僅能夠進行非實時數(shù)據(jù)批處理的問題進行了較好的避免，具有較好的應用效果。

3 結束語

在現(xiàn)今大數(shù)據(jù)時代背景下，數(shù)據(jù)同計算間的協(xié)作具有了更為重要的意義。在上文章，我們對大數(shù)據(jù)技術中計算與數(shù)據(jù)的協(xié)作機制進行了一定的研究，需要能夠聯(lián)系實際進行系統(tǒng)模式的選擇與應用，以此更好的對數(shù)據(jù)處理任務進行實現(xiàn)。

參考文獻

[1]羅象宏，舒繼武.存儲系統(tǒng)中的糾刪碼研究綜述[J].計算機研究與發(fā)展，2012（1）：77-79.

[2]郭本俊，王鵬，陳高云，等.基于MPI的云計算模型[J].計算機工程，2009（24）：166-167.

[3]楊東日，胡然.再談云計算及其產(chǎn)業(yè)發(fā)展的態(tài)勢與建議[J].通信管理與技術，2014（6）：88-89.