基于Hadoop的云計算平臺的研究與設計

王麗莉

?

基于Hadoop的云計算平臺的研究與設計

王麗莉

天安財產保險股份有限公司,上海 200120

隨著保險保險行業對信息化的要求越來越高，幫助保險行業應對互聯網環境下的大渠道、大保單、大數據的挑戰，支持大數據分析和介入，拓寬數據挖掘的廣度和深度，利用云計算平臺管理和存儲這些數據顯得極為重要。基于此，提出了一種基于分布式計算技術進行管理和存儲海量數據的方法，設計開發基于Hadoop的云計算平臺。

云計算；保險行業；Hadoop；分布式計算

引言

采用云的形式，將使保險公司變得更為靈活、快速。傳統模式下，保險公司上線新產品需要3～6個月的時間，采用云平臺后將會縮短到1～2周。對應的開發成本、部署成本將會從百萬級十萬級降低至數萬元。快速的產品部署意味著極低的試錯成本。面對突發的市場需求，保險公司可快速推出產品，同時根據市場反饋不斷調整策略。這種小步快跑、快速迭代的方式，讓保險公司能夠就像互聯網公司一樣迅速響應市場需求，推出新產品。幫助保險公司低成本、低風險、快速利用云計算優勢拓展優化傳統業務和服務，同時使保險公司更容易的利用云平臺生態圈為保險提供流量，渠道和大數據服務。此外，云平臺還將輸出大數據挖掘分析能力，改變保險公司只能依托自有數據對產品定價的模式，讓保險公司更了解客戶，做到人群細分和差異化定價。

1 云計算及Hadoop技術簡介

1.1 云計算概述

云計算是一種超級計算模式，通過把計算任務分配給大量計算機構成的資源池上，使應用系統根據需求獲得相應的計算能力、存儲空間和軟件服務，通過網絡訪問可配置的計算資源（例如網絡、服務器、存儲、應用和服務），這些資源可實現快速提供與釋放，并且只需極少的管理成本或服務供應商的干預[1-2]。

云計算模式具有“按需自助服務、寬廣網絡訪問、資源池化、快速伸縮、可計量服務”5項基本特征和“私有云、社區云、公有云、混合云”4種部署方式，提供“SaaS、PaaS、IaaS”3大服務類型。

云計算體系結構自底而上為物理資源層、資源池層、管理中間件層和SOA（Service Oriented Architecture）構建層[3]。物理資源層由計算機、存儲器、網絡設施、數據庫和軟件等組成。資源池層將大量相同類型的資源構成同構或接近同構的資源池。管理中間件層負責云計算的資源管理，并對眾多應用任務進行調度，使資源能夠高效、安全地為應用提供服務。SOA構建層將云計算能力封裝成標準的Web Service服務，并納入到SOA體系進行管理和使用。

云計算基本架構由管理和服務兩大部分組成[4]。

1.2 Hadoop概述

Hadoop是Apache開源組織的一個分布式計算框架，可以在任何普通的硬件設備組成的集群上運行應用程序，構建一個具有高可靠性和良好擴展性的并行分布式系統，HDFS分布式文件系統、MapReduce編程模型和HBase分布式數據庫是其三大核心技術 無論是存儲的可擴展還是計算的可擴展都是Hadoop的設計根本。它是完全使用Java開發的開源平臺，可以運行在任何普通的軟硬件平臺上。Hadoop所采用的分布式系統屬于一種被稱為“向外擴展”的增強計算能力的方式，它是把許多低成本的PC設備組成大型集群，形成功能專一的分布式系統。分布式文件系統的備份恢復機制以及MapReduce的任務監控保證了分布式處理的可靠性。它的高效數據交互實現以及MapReduce結合Local Data處理的模式，為高效處理海量的信息做了基礎準備。

整個Hadoop的體系結構主要通過HDFS實現對分布式存儲的底層支持，通過MapReduce來實現對分布式并行任務處理的程序支持。

2 基于Hadoop的云計算平臺設計

2.1 Hadoop云計算平臺總體設計

結合海量數據異構性、分布性、多樣性等特點，從系統編程實現角度考慮，采用MVC架構設計，使結構更加清晰，系統易于擴展，系統整體架構如圖1所示：

圖1 平臺整體框架結構

2.2 Hadoop云計算平臺功能設計思想

從功能考慮，基于Hadoop的集群特征，將云計算平臺的計算資源擴展到Hadoop的各個節點上，利用Hadoop集群的并行計算和存儲功能與數據處理的理論相結合，便可以高效完成海量數據的處理，實現基于Hadoop的云計算平臺。

Hadoop是一種分布式系統基礎架構，與MapReduce編程模式相結合，用戶可以對分布式程序進行開發，對集群快速高效的數據運算和數據存儲充分利用。因此，基于Hadoop的云計算平臺在處理計算資源數據過程中具有如下特點：（1）在Hadoop的存儲和處理過程中，數據可以通過建立多個副本的方式對丟失的或錯誤的數據進行快速及時的恢復。MapReduce可以將集群的最大計算資源進行調用，Hadoop分布式文件系統可調用集群的最大存儲資源，根據計算和存儲任務來增加集群的節點。（2）編程人員不需要關心每處數據的細節，只需將MapReduce作為統一的數據處理接口，用戶對處理任務和處理結果的收集過程是透明的。子問題與子問題之間的數據交互可由MapReduce組織管理，在數據處理過程中可以根據節點與數據的特點進行適當修改MapReduce接口來提高數據處理的效率。（3）Hadoop云平臺結合MapReduce改進關聯規則的算法，可以實現數據操作并行執行，提高了傳統關聯算法的效率。

2.2 Hadoop云計算平臺建設

Hadoop框架的MapReduce計算模型為海量數據的復雜計算問題提供了簡單的編程模型。

（1）MapReduce原理，MapReduce是一種高效的適用于海量數據處理的分布式編程模型。MapReduce的工作過程可以分為兩個階段：Map階段和Reduce階段。Map將一個任務分解成多個任務，Reduce將分解后的多任務的結果匯總起來得出最后的分析結果。用戶定義一個Map函數來處理原始數據，得到的輸出結果是一組鍵值對（key/value），再定義一個Reduce函數將所有擁有相同key值的中間結果進行合并。

（2）HDFS系統搭，HDFS是Hadoop框架中的分布式并行文件系統，它實現了數據的分布式存儲及管理與高吞吐量訪問的功能。HDFS對于整個集群有單一的命名空間，保持了數據一致性，文件會被分割成多個文件塊，每個文件塊被分配存儲到數據節點上。HDFS由一個名字節點NameNode和若干個數據節點DataNode組成。NameNode負責存儲文件系統中的元數據和控制外部客戶的訪問，DataNode用來存放實際的數據。每個文件都被劃分成若干64 M的數據塊，這些數據塊會被分散地存儲到各個DataNode上，HDFS為了保證數據的安全性，還會為數據進行備份，默認情況下，每個數據塊會有三個副本分別存放在不同的機器上。用戶從NameNode那里獲取數據的位置信息后，直接與存放數據塊的DataNode進行通信。HDFS采用Master/ Slave 的體系結構，集群中有一個NameNode和很多個DataNode組成。Master相當于管理員，管理統一的命名空間，主要負責NameNode及JobTracker的工作；JobTracker啟動、跟蹤和調度各個Slave的任務執行；Slave：相當于執行者，分布式的數據節點，具有DataNode的功能并負責TaskTracker的工作；TaskTracker根據應用要求結合本地數據執行Map以及Reduce的任務。

（3）基于Hadoop云計算平臺的設計，結合MapReduce原理和HDFS搭建思路，云計算平臺采用分層思想，可分為：交互層、業務應用層、數據處理層、分布式計算層。其中，交互層通過提供具有良好表現形式的圖形界面，使得用戶可以登錄系統定制各種細粒度的業務，進行查看或者保存各種輸出結果。業務應用層提供了各種業務邏輯并實現了對各種業務流程的控制和調度，通過調用數據處理層的多個模塊完成交互層提交的業務，并返回結果到交互層。數據處理層為業務應用層提供業務流需要的各個模塊，實現各種任務過程中的并行算法，再將任務提交到Hadoop分布式計算層進行運算，并將結果返回給業務應用層。分布式計算層使用Hadoop框架實現集群存儲和計算。

[1]蔣林濤.對云計算中若干問題的思考[J].電信科學，2011（3）：1-6.

[2]劉鵬.云計算[M].2版.北京：電子工業出版社，2011.

[3]吳朱華.云計算核心技術剖析[M].北京：人民郵電出版社，2012.

TP311.13

A

1009-6434（2016）12-0117-02