電子政務大數據系統應用云計算架構

趙志超

（河北中信聯信息技術有限公司 河北 石家莊 050091）

電子政務大數據系統應用云計算架構

趙志超

（河北中信聯信息技術有限公司 河北 石家莊 050091）

電子政務數年的建設和發展積累了一定量的政務數據，如何對其進行大規模的綜合分析、挖掘和利用，提高政府運作的效率、提高管理和決策水平已成為迫切需要解決的問題。針對這一需求，結合國民經濟發展對電子政務大數據綜合研究專題進行了分析，提出了一種電子政務大數據云計算的實現架構，討論了分布式數據計算開源云平臺Hadoop于電子政務大數據計算的特性。

電子政務云計算大數據Hadoop

1 引言

電子政務建設經過數年的建設與發展，已見規模，并為政府的信息化管理和服務帶來了顯著的社會效益，但是相對獨立的業務應用系統和部門管轄，缺乏對大數據的認識和相應的分析處理手段，無法實現“從數據到信息，從信息到知識”的轉化，使得這些建設難以發揮綜合效益，造成了“數據爆炸卻知識貧乏”的現象，無法發現數據中存在的關系和規則，更遑論利用數據指導政務工作和預測未來發展趨勢。

進行電子政務大數據應用的專題分析，可以為區域國民經濟和民生帶來諸多現實的經濟和社會效益，并將為國計民生和持續發展提供決策支持。采用云計算架構，成功應用于多項大數據應用的、可以有效運行于常規硬件資源之上的開源Hadoop分布式數據計算平臺及其計算框架是當前實現電子政務大數據融合應用的適當選擇。

2 大數據應用系統建設需求

為了充分發揮既有資源作用和新一代信息技術潛能，開展基于云計算的電子政務公共平臺頂層設計，繼續深化電子政務應用，全面提升電子政務服務能力和水平，最近工信部頒發了《基于云計算的電子政務公共平臺頂層設計指南》，對電子政務大數據應用發展云計算提出了明確的要求：積極推動云計算模式在電子政務中的應用，充分發揮云計算虛擬化、高可靠性、通用性和高可擴展性等優勢，建設完善電子政務公共平臺；推動數據和業務系統與承載的技術環境分離；電子政務公共平臺的設計應滿足大量數據訪問、存儲和智能化處理的需要[1]。通過大數據中心建設，將政務部門的數據進行匯總、清洗和比對分析后，形成信息資源，并建設一個大數據公開平臺，統一對社會開放政務數據，提高整個社會對信息資源的開發利用已成為形勢發展所需。

3 大數據云計算架構

電子政務大數據分析挖掘應用需要布署海量數據的存儲池，存放跨地域的各種行業的歷史數據，構建數據倉庫，并具有駕馭對大數據進行挖掘應用的平臺和工具。從技術層面上，云計算可以提供按需分配的彈性資源和一系列的服務集合，是當前構建電子政務大數據應用的恰當結構，根據需求[1]，電子政務大數據應用云計算平臺的體系架構設計如圖1所示。

①電子政務基礎設施服務：提供虛擬化的基礎設施支撐的服務，對資源實時監控、綜合分析、統一調度和快速部署，實現資源高效利用；

②電子政務支撐軟件服務：提供集成的業務應用開發、運行和支撐環境，滿足快速開發部門業務應用需要；

③電子政務應用功能服務：提供直接使用的各種業務軟件，使各政務部門按照一定的授權進行部署使用，保持接口一致性和系統的高度可用性；

④電子政務信息資源服務：提供信息資源支撐的服務，滿足信息資源共享和交換；

⑤電子政務信息安全服務：基于公共平臺開展業務應用提供安全保障的服務。

4 大數據應用分析專題

電子政務大數據應用分析應根據數據資源完備情況、需求緊迫性、分析整合工具和平臺建設，以及資金準備綜合考慮進行。根據區域電子政務建設情況可以進行如下專題的研究。

①綜合實力分析：通過對歷年整體經濟運行情況進行數據挖掘分析，反映國民經濟發展、資源與能源、固定資產投資和物價管理等發展狀況和趨勢；

②輿情分析：掌握社情民意、提高公共服務能力、解決民生關切問題及應對突發事件；

③財稅金融分析：對財政收入和支出、金融及保險行業發展情況進行對比分析；

④產業發展分析：提供工業、農業、建筑業和服務業的各項產業數據挖掘，實現產業經濟發展狀況和趨勢分析；

⑤醫療保障和教育分析：對科技創新、教育、文化、醫療、衛生、體育、民生、就業及保障救濟信息綜合管理，加強信息互通，資源共享；

⑥環境保護分析：環境監測管理、環境污染源及影響分析和環境綜合治理發展預測；

⑦安全生產分析：安全生產運行監測與統計分析，事故分析與災害預測預報；

⑧能源、節能降耗分析：各類能源資源的需求、生產、供應和消費分析，監測重點領域能源運行和重點單位的能效情況，統籌能源的供需平衡和節能減排管理；

⑨經濟專題分析：綜合分析歷年的各類數據，對整體經濟運行情況進行分析，反映國民經濟現狀和發展趨勢；

⑩城市比較分析：對區域內重點城市的整體經濟運行情況進行分析和排名，并可與國內外相關城市比較分析，發現地域發展的優劣勢、機會與風險和城市規劃決策；

人力資源分析：人口總體發展情況，勞動力和知識結構態勢，就業市場供需分析；

城市管理：城市規劃布局、防災減災、交通疏導、反恐和應急防范處理。

借助大數據應用的發展，提高政府預測預警能力以及應急響應能力，節約決策的成本，加快推進智能化電子政務服務和移動政務服務新模式的應用，拓展個性化服務，增強政府與社會、老百姓直接的雙向互動和同步交流，提升電子政務價值，提高決策的效率，提高政府決策的科學性和精準性，獲得極大的社會效益和經濟效益。

5 大數據分布處理平臺Hadoop

圖1電子政務大數據云計算體系架構設計示意圖

脫胎于Google的GFS、MapReduce、BigTable技術的開源分布式處理平臺——Hadoop，是目前在互聯網使用廣泛的一種云計算支撐架構，借助于Hadoop，程序員可以輕松地編寫分布式并行程序，將其運行于大型計算機集群上，完成海量數據的計算。Hadoop對硬件資源要求寬松，可以在大量廉價的硬件設備組成的集群上運行應用程序，構建一個具有高可靠性和良好擴展性的并行分布式系統。這些特點非常適合選擇為電子政務大數據云計算的開發和使用平臺，提供電子政務的支撐軟件服務和應用功能服務[2,3]。

Hadoop的HDFS（Hadoop Distributed File System），Hadoop分布式文件系統、MapReduc編程模型和HBase分布式數據庫是其3大核心技術，Hive和Pig分別是基于Hadoop的數據倉庫工具和大規模數據分析工具[4,5]。

(1)MapReduce大數據處理框架

MapReduce采用基于能夠接受其他函數作為參數的高階函數完成程序開發，2個最常用地內置高階函數是map和reduce，MapReduce的執行框架能自行協調map與reduce，并將其應用于在商業服務器硬件平臺上并行處理海量數據，MapReduce計算過程如圖2所示。由此，MapReduce可以看做是[6]：一個如上所述的函數式編程語言、能夠協調運行基于MapReduce思想開發的程序的運行框架、編程模型和執行框架的實現。

圖2 MapReduce計算過程

MapReduce程序(mapreduce job)由客戶端提交到集群中的具體專門節點，根據集群配置及作業的屬性等選定運行環境，分mapper和reducer兩個階段處理數據，鍵/值對(key-value pair)是MapReduce的基礎數據結構。MapReduce在大數據處理時，會根據要處理的數據文件及用戶編寫的map函數首先將數據分割為多個部分(split)，而后為每一個split啟動一個map任務(map task)，這些map任務由MapReduce運行環境調度著分散運行于集群中的一個或多個節點上；每個mapper執行結束后，都可能會輸出許多的鍵值對，稱作中間鍵值對，這些中間鍵值對臨時性地存放在某出，直到所有的mapper都執行結束；MapReduce再把這些中間鍵/值對依鍵聚合重新進行分割為一個或多個分組，同一組可以包含一個或多個鍵及其對應的數據，MapReduce運行環境會為每個分組啟動一個reduce任務(reduce task)，這些reduce任務由MapReduce運行環境調度著運行于集群中的一個或多個節點上。

MapReduce先進之處還在于它利用執行框架分離了編寫并行算法的對象和方法，程序員不需關注所有底層執行的細節，并能保證MapReduce集群處理能力隨著節點的增加而線性增長，即集群規模增長N倍其處理相同規模數據的時長也會縮短N倍，使海量數據并行處理被“分割包圍、逐個殲滅”。這些正是快速分析大數據所需要的計算能力。

(2)分布式文件系統HDFS

HDFS為MapReduce的計算框架而設計，將數據存儲于多個節點上，采用計算節點與存儲節點合二為一的集群模型，極大地降低了數據通過網絡傳送的需求。且可以在低成本設備上實現。HDFS的主旨是數據分塊與復制。相對于本地磁盤幾KB大的塊（block），HDFS中的塊要大得多（通常默認64M）。HDFS存儲下來數據主要用于后續的處理分析，其訪問模型為“一次寫入、多次讀取”；因此，數據在HDFS中存儲完成后，僅能在文件尾部附加新數據，而不能對文件進行修改。HDFS首先訪問namenode以確定文件存放位置。對于客戶端請求，namenode將會返回datanode節點號與塊號。客戶端根據節點號與塊號訪問對應的datanode，獲取文件數據。需要注意的一點是文件數據傳輸只發生于客戶端與datanode之間，不經過namenode；客戶端與namenode之間只會傳輸元數據。

圖3 HDFS架構

HDFS通常默認將每個數據塊在不同機架的機器上存儲3份，以確保可靠性、可用性與性能，在規模較大的集群中，這樣可以保證單點故障或整個機架遭遇斷網的時候數據仍然可用，同時保證了更好的數據局部性，避免大量數據跨節點傳輸。

(3)適合于非結構化數據存儲的數據庫HBase

HBase是一個分布式的、面向列的開源數據庫，可實時地隨機讀/寫超大規模數據集，能夠簡單地通過增加節點來達到線性擴展。為大規模可伸縮的分布式處理設計，表可以很“高”(數十億個數據行)；表可以很“寬”(數百萬個列)；在表增長的時候，表會自動分裂成區域，并分布到可用的節點上。

6 結束語

從電子政務大數據的研究專題可以看出，內容形式有數據、文字和圖像，甚至音視頻材料，數據類型既有結構型的，也有非結構型的；基本上是穩定的歷史記錄數據，不是即時交易事務型數據，不存在處理過程中需要隨時增刪數據的問題。這正是大數據分析運算對象的特點，Hadoop的分布式云計算架構正是適應這樣需要的一種體系結構。高速流式讀寫操作可方便地通過云計算虛擬化的節點增加來提高處理速度，而成本并不增加很多，能更好地利用既有電子政務建設的資源。

Hadoop發布至今近十年發展，取得了令人矚目的成功，增添了Hive、HBase、Zookeeper、Avro、Pig、Ambari、Sqoop、Mahout和Chukwa等子項目工具，但其編程思想和技能還未能被大眾所熟悉和掌握，在項目建設中需要考慮學習成本和風險。

[1]信息化推進司.基于云計算的電子政務公共平臺頂層設計指南[EB/0L].http：//xxhs.miit.gov.cn/，2014.

[2]封俊.基于Hadoop的分布式搜索引擎研究與實現[D].太原：太原理工大學，2010.

[3]ANAND R,JEFFREY D U.大數據：互聯網大規模數據挖掘與分布式處理[M].王斌,譯.北京：人民郵電出版社,2012.

[4]T0M W.Hadoop權威指南[M].周敏奇,等,譯.北京：清華大學出版社,2011.

[5]劉鵬.實戰Hadoop：開啟通向云計算的捷徑[M].北京：電子工業出版社,2011.

[6]JIMMY L,CHRIS D.Data-Intensive Text Processing with MapReduce[M].USA：Morgan&Claypool publishers,2010.

Application of Cloud Computing Architecture in E-government Big Data System

ZHAO Zhi-chao
(Hebei UniWin Information Technology Co.,Ltd.,Shijiazhuang Hebei 050091,China)

A certain amount of government data is accumulated with the construction and development of E-government for several years.How to synthetically analyze,mine and use the data to improve the operation efficiency,management and decision-making level of government has become an urgent problem.Aiming at this problem and combining with the development of national economy,this paper analyzes the comprehensive research topic of E-government big data,proposes the implementation architecture of cloud computing of E-government big data and discusses the characteristics of Hadoop distributed data calculation open-source cloud platform and E-government big data calculation.

E-government system;cloud computing;big data;Hadoop

TP393

A

1008-1739（2014）14-62-4

定稿日期：2014-06-26