大數據技術中計算與數據的協作機制

摘 要：我們現今正處于大數據時代當中，同高性能計算系統相似，大數據系統在數據儲存以及計算方面一般為基于機群實現的。為了能夠在大數據環境中使數據能夠同計算間獲得更好的協調，在文章中，將就大數據技術中計算與數據的協作機制進行一定的研究。

關鍵詞：大數據技術；計算與數據；協作機制

引言

在現今信息技術發展中，數據同計算可以說是信息技術發展過程中的兩個重要主題，在這兩個主題的基礎上，信息技術也逐漸出現了大數據技術概念。從嚴格意義來說，所謂大數據技術，即是針對于海量數據的分析、存儲以及發布技術。對于這部分海量數據來說，我們很難直接對其進行應用，在獲得數據之后，需要在經過一定處理后才能夠獲得有用的數據，如何能夠實現大數據時代下數據同計算的科學協作、并能夠將其形成一種機制，則成為了目前非常重要的一項問題。

1 計算同數據協作機制對比

對于面對數據系統來說，其一般為分布式系統類型，即通過將計算向數據進行遷移對系統中數據傳遞代價進行降低，可以說是一種通過計算對數據進行尋找的方式。要想對數據進行計算，實現數據的定位可以說是一項重要的前提，而數據切分以及存儲方式情況也將對計算的模式以及處理效率產生影響。對此，要想對數據同計算間的科學協作進行實現，就需要對數據在分布式文件系統中的存儲方式進行研究。而由于在分布式系統當中，需要對數據冗余、節點失效以及備份等問題進行解決，就對數據同計算協作價值的研究帶來了較大的挑戰。在兩者協作機制研究中，數據同計算的一致性可以說是研究重點，需要首先從該方面進行討論與解決。

1.1 位置一致性映射模型

對于分布式系統中數據同計算的一致性問題，我們可以將其理解為將兩者在同一節點位置映射，即在數據存儲區域發起計算。以網格計算系統為例，其到達客戶節點的數據是計算先于數據，并根據客戶端請求將數據映射到客戶端中進行處理。對于Hadoop系統來說，就是先將數據存儲到系統的一個節點當中，當系統發起計算時，再對元數據進行查詢后對數據存儲位置進行獲得，并將計算任務映射到節點當中進行處理。根據此種情況，我們可以將計算同數據間的映射比作是數據到節點的映射過程，在該過程中，數據片同計算程序在按照一定規則到節點進行定位之后將兩者注入到節點當中，而到該節點失效時，數據片則會按照相應的規則進行數據備份以及遷移，并重新按照規則實現到節點的對應。

在上述模型中，我們可以將計算視作是一種具有特殊特征的數據類型，這是因為對于計算而言，其自身就是程序語言設計的可執行程序片，在系統映射過程中，可以將其同數據進行同等的看待，且在程序中一般也將包括相關數據的邏輯位置信息。在分布式文件中，其中的定位算法也正是數據同節點間的映射功能，即要想對兩者的一致性位置進行實現，就離不開分布式文件系統的支持。同時，由于在分布式系統中計算遷移、存儲遷移以及數據冗余問題的存在，在具體功能實現時，也將對存儲冗余以及均衡調度等技術進行結合性的應用，以此對兩者科學協作、且具有穩定健壯特征的系統進行實現。映射方式方面，則有哈希映射以及元數據映射等。

1.2 元數據映射算法

對于該類算法來說，其可以說是最為基礎的對存儲位置同計算一致性進行實現的方法，在實際應用中，該方式通過數據塊存儲位置的查找使該位置能夠同指定的存儲節點進行映射，在其對計算同數據的定位實現中，同網絡路由表原理較為類似，即兩者通過對有路由的查詢保證數據能夠同計算被分配到同一個節點當中。對于應用該方式的系統來說，其一般為主從結構類型，如果其中出現單點失效情況，則將對整個系統產生較大的影響。對于HDFS以及GFS結構來說，就是以該數據方式構建的。在實際對數據進行存儲時，其一般會根據節點目前存儲負載情況進行判斷，而為了避免結構對失效情況具有過高的敏感性，也有學者通過對元數據進行復制的方式提升系統可用性。

通過該方式的應用，則能夠以較為便利的方式對機群系統目前狀態進行利用，在以其為依據的基礎上對系統的負載均衡進行實現。此時，系統主節點則會通過一定調度算法的應用對數據計算以及存儲進行分配，在對系統負載均衡進行實現的同將分配信息作為元數據進行保存。目前，很多針對集群負載均衡算法都能夠在元數據方法中進行應用、并將其作為對柱節點資源進行分配的依據。在實際應用中，雖然該方式在網絡信息搜索以及大量復雜均衡算法的應用方面具有較好的表現，但當系統具有較多數量小文件時，則需要對路由數據進行大量的維護，并因此對數據的查詢效果產生影響。

1.3 哈希映射算法

哈希算法是一種從稀疏到緊密值的映射方式，在計算以及存儲定位時，可以將其視作路由算法的一種，通過該方式的應用，則能夠將目標定位到節點位置。對于傳統的哈希算法，其在擴展性以及容錯性方面的表現都一般，并不能夠較為有效的對面向數據系統節點的動態變化相適應，1997年，學者David Karger提出了使用一致性哈希算法對數據進行定位，并在后續的改進中逐漸使其成為了分布式存儲中的標準技術類型。當系統對該方式進行應用之后，則不需要對中心節點元數據進行維護，可以說對普通元數據服務器性能瓶頸以及單點失效問題進行了較好的解決，其實現過程為：首先通過Key值的應用將MD5算法變換成一個32位長度的16進制數值，在以該數值進行232取模后將其映射到環狀哈希空間，并以相同的方式將節點映射到環狀哈希空間當中，此時Key則會在哈希空間中尋找到節點值作為路由值。

2 計算同數據的流式拓樸協作機制

2.1 Storm系統

流水線技術是對高性能數據進行處理的重要技術類型，其主要技術思想即將一個任務分解成多個具有前后關系的子任務，在流水線模式中，各個子任務的啟動同之前順序任務的完成情況具有依賴，對具有先后相關性數據分析方面具有較好的實用性特征。目前，以分布式系統以及流式技術為協作的框架機制已經在應用中表現出了較好的生命力以及靈活性，在本研究中，將以Storm系統為例進行簡單的介紹。

Storm是由Twitter所推出的一種流式分布式系統，在該集群中，由多個工作節點以及一個主節點組成，其中，主節點可以說是系統的核心，具有任務布置、代碼分配以及故障檢測等作用。在該系統中，當其要對實時計算任務進行完成時，需要對一個Topology進行建立，并由該模塊對數據處理進行規劃。在Storm系統中，元組是基本的數據流單位，可以將其看作是一個被封裝的數據結構類型，在Storm系統中，Topology可以說是最高級別的執行單元，其是由很多個節點所組成的拓撲，在拓撲中，由不同節點對相應的計算邏輯進行完成。在該系統中，Spout是系統的數據流生成器，而Bolt則為不同的處理位置。對于數據流來說，由于Spout為數據源頭，在實際運行中，其在對數據進行讀取之后則會實現向Bolt的傳送，其不僅能夠對多個輸入流進行接收，且能夠較好的對數據進行特定處理。在Storm系統對Topology進行應用之后，其則具有了更為強大以及更為靈活的數據處理能力，節點在根據Topology邏輯對任務進行分配之后將任務分配到相應物理節點之上。而從整個架構情況看來，在數據以及計算協作處理方面，系統主要是通過Topology進行分配，并在按照其描述之后由對應的節點程序進行處理，并由主節點將根據一個邏輯實現物理節點的映射。

2.2 流式拓樸映射模型

在Storm系統中，其通過Topology結構的應用，則能夠對較為復雜的分布式數據處理任務進行實現，在整個過程中，對于不同計算任務，Topology好比是邏輯規劃，并沒有對相應的物理節點進行對應，在系統主節點中，可能具有數量較多的該種結構，而對于每一個結構都可以將其視作為對特殊問題進行處理的邏輯規劃，可以說，通過Topology結構的應用，則能夠對大多數問題的處理方式進行描述。其整個過程可以抽象如圖1所示。

在圖1中，每一個操作就可以將其是作為Bolt，而數據發生器則為Spout，在該系統中，同樣由主節點對很多個處理節點進行管理與監控，對于每個任務的邏輯規劃，主節點都會在一定策略的基礎上對物理節點進行分配，以此對相關的計算恩物進行完成。如上圖中，主節點為操作1分配物理節點1，為操作2分配物理節點2，為操作3分配物理節點3，為操作4分配物理節點1，在以該種方式進行分配之后，Topology則能夠被映射為集群物理結構，并能夠對相應的計算任務進行完成。而作為編程人員，在工作當中僅僅需要對Topology的邏輯結構進行定義即可，其后續相關工作則完全由系統進行維護，作為設計人員，在整個操作過程中也不需要對失效問題進行擔心，這是因為當某個節點出現失效情況時，主節點將根據對應操作將其對一個好的物理節點進行重新的映射，以此保證整個規劃能夠得到順利的實現。

通過上述的分析可以了解到，通過流式拓樸映射方法的應用，則能夠使系統根據Topology描述的情況對不同的集群計算結構進行自動組合，以此以更為靈活的方式對復雜問題進行處理。在整個過程中，系統的主節點具有數據路由以及計算的作用，并通過Topology的描述對協作機制的跟蹤定位進行實現。

在此，我們以MPS對Topology到物理的映射過程進行模擬，在節點間，將通過Mpi_Send（）函數的應用將流數據元組注入到節點當中，并在該節點上對相關操作進行發起，之后，通過MPI_Recv（）函數的應用對前端數據進行接收，以此對節點間通訊進行實現。對于該種方式來說，其能夠對不同數據系統僅僅能夠進行非實時數據批處理的問題進行了較好的避免，具有較好的應用效果。

3 結束語

在現今大數據時代背景下，數據同計算間的協作具有了更為重要的意義。在上文章，我們對大數據技術中計算與數據的協作機制進行了一定的研究，需要能夠聯系實際進行系統模式的選擇與應用，以此更好的對數據處理任務進行實現。

參考文獻

[1]羅象宏，舒繼武.存儲系統中的糾刪碼研究綜述[J].計算機研究與發展，2012（1）：77-79.

[2]郭本俊，王鵬，陳高云，等.基于MPI的云計算模型[J].計算機工程，2009（24）：166-167.

[3]楊東日，胡然.再談云計算及其產業發展的態勢與建議[J].通信管理與技術，2014（6）：88-89.