基于云技術的校園服務系統服務器端設計研究

陳豪　謝曉蘭

【摘 要】云計算是一種基于Internet以服務的方式提供動態可伸縮的虛擬化資源的計算模式，通過這種模式，共享的軟硬件資源和信息可以按需分配給計算機和其它設備。本文順應目前手持智能終端普及的熱潮，進一步推進數字校園的建設，實現高校信息共享的移動化。首先，本文對基于Hadoop分布式計算平臺的云技術如MapReduce、HDFS、HBase及其開發環境等進行深入的研究。其次，采用Java語言開發基于Hadoop的針對高校學生的校園服務系統的服務器端系統，該系統包括用戶和微博信息服務、通用API以及Web管理系統等部分。

【關鍵詞】Java；Hadoop；HBase；API；Eclipse；校園通

0 緒論

（1）背景和意義

目前高校的電子化信息交流基本都是通過個人電腦來實現，為了滿足移動時代的需求，提供移動化的交流平臺是建設數字化校園的重要手段之一。同時，考慮到高校的實際情況，如何充分利用有限的計算資源將會是一個重點解決問題。Apache軟件基金會的頂級項目Hadoop是一個云計算時代下的成熟的分布式框架，允許用戶通過由多臺低廉計算機組成的集群來進行大數據集的分布式運算處理。研究Hadoop，對于解決高校資源匱乏、提高計算性能等問題有舉足輕重的作用。

（2）研究目的和探討內容

由于本課題是合作課題，本文關注的內容是基于Hadoop技術的服務端的研究和設計，因此本文不會對Android平臺方面的內容進行詳述，Android是校園服務系統的前端。

本文首先對Hadoop分布式計算框架核心內容及其結構如HBase等作深入的理論探討和研究。其次，開發實現基于云技術的校園通服務端系統實例。采用Java語言開發基于Struts2框架和Spring框架以及Hadoop框架的針對高校學生用戶的校園服務系統的服務端系統，其中包括提供給前端應用調用的應用程序接口API；校園通的后端系統，供網絡管理員對系統進行基本的管理，如系統基本設置、內容管理、用戶管理等功能。

1 Hadoop技術及架構

1.1 Hadoop體系架構

Hadoop是Apache軟件基金會旗下的一個開源分布式計算平臺，提供可靠的、可伸縮的分布式計算。Hadoop軟件庫是一個允許大數據集的分布式運算在計算機集群上運行的框架，它使用了簡單的計算模型。Hadoop被設計用于從單節點服務器擴展到數千臺可伸縮的計算機來提供本地計算和存儲。相對于依賴硬件的高可用性，Hadoop被設計成能夠監測和處理應用層的錯誤，使得集群中的計算機能夠提供高可用性的服務，即使它們可能會發生錯誤。

MapReduce和HDFS是Hadoop的兩大核心。而整個Hadoop的體系結構主要是通過HDFS來實現分布式存儲的底層支持的，并且它會通過MapReduce來實現分布式并行任務處理的程序支持。

1.1.1 HDFS分布式文件系統

HDFS采用了主從（Master/Slave）結構模型，一個HDFS集群是由一個NameNode和若干個DataNode組成的，并以管理者（NameNode）-工作者（DataNode）模式運行。其中NameNode作為主服務器，負責管理文件系統的命名空間和客戶端對文件的訪問操作，它維護者文件系統樹及整棵樹內所有的文件和目錄；DataNode是文件系統的工作節點，負責管理存儲的數據，它們會根據需要存儲并檢索數據塊（受客戶端或NameNode調度），并且定期向NameNode發送它們所存儲的塊的列表。

1.1.2 MapReduce計算模型

MapReduce是一種并行編程模式，是Hadoop的核心計算模型，其易用的特性令軟件開發者可以輕松地編寫出分布式并行程序。在Hadoop的體系結構中，MapReduce是一個簡單易用的軟件框架，基于它可以將任務分發到由上千臺商用機器組成的集群上，并以一種可靠容錯的方式并行處理大量的數據集，實現Hadoop的并行任務處理功能。MapReduce框架是由一個單獨運行在主節點的JobTracker和運行在每個集群從節點的TaskTracker共同組成的。主節點負責調度構成一個作業的所有任務，這些任務分布在不同的從節點上。

1.2 分布式數據庫HBase

HBase是一種“NoSQL”數據庫，它是一個開源的、分布式的、多版本的、面向列的存儲模型。

其服務器體系結構遵從簡單的主從服務器架構，它由Region服務器（RegionServer）和Master服務器（Master Server）構成。Master服務器主要負責管理集群中的Region服務器，而HBase中的所有服務器都是通過ZooKeeper來協調和處理服務器運行期間可能出現的錯誤。Master服務器本身不存儲HBase中的任何數據，HBase上的表會被劃分為多個Region，然后分布存儲到Region服務器群中。Master服務器中存儲的是Region到Region服務器的映射。HBase是一個基于列模式的映射數據庫，它只能表示很簡單的鍵-值的映射關系，這相對于傳動的關系型數據庫有了極大的簡化。

2 構建校園通服務端

2.1 服務端整體架構

校園服務系統的服務器端不僅僅是一個Web后端管理系統，還包含了供前端應用調用的通用API，是一個整合了服務和管理的完整系統。本文重點關注如何基于Hadoop技術來提供API服務，對于Web后端管理系統只作簡要的闡述。

在本系統中，前端應用通過調用后端提供的API來獲取相應的服務，并通過URL請求和JSON格式的數據交換進行相互通信。而系統管理員可以通過常規終端如臺式電腦、筆記本電腦等對來訪問后端管理Web系統，對服務端系統進行管理。

系統的結構分為負責采集數據并向用戶呈現系統狀態的視圖層、使用Struts2框架負責用戶請求和業戶邏輯組件交互的控制器層、由Spring框架管理業務邏輯組件的業務邏輯層、使用Spring for Apache Hadoop框架負責數據庫操作的數據訪問對象層以及基于HBase和HDFS的數據庫服務層。即系統將采用Struts2、Spring框架和HBase數據庫等技術進行構建。

2.1.1 系統業務架構

系統主要分為兩部分：面向前端應用的API和面向管理員的后端Web管理系統。前者主要以提供請求URL的方式，供前端應用調用API獲取服務。后端系統提供的服務包括注冊登錄、獲取系統信息、獲取/更新用戶信息、獲取/更新消息信息和獲取/更新微博信息等，前端應用可以通過調用相應API來獲取對應信息，這些信息都將通過JSON格式的數據來提供，并通過訪問令牌提高安全性。后端Web管理系統主要提供系統管理、日志管理、用戶管理、消息管理、微博管理等功能。

2.1.2 Hadoop的應用

在本設計中，為了能夠使系統能夠利用云技術的優勢，同時考慮到Hadoop的適用性，將HBase作為系統的應用數據庫，以實現在分布式系統上進行高效的數據存儲和操作。當系統中的數據量不斷增大達到一定程度時，將數據分布存儲在集群中的各個節點，能夠降低主服務器的負擔，充分利用其它節點設備的資源。

2.2 API的設計

本研究中，后端系統通過API為前端應用提供服務，而無需前端應用關注具體實現。API以URL的方式來呈現，前端調用相應的URL來發送請求，后端再根據相應的請求進行校驗和處理，最后以JSON格式的數據將服務結果返回給前端。這樣的API具有良好的跨平臺性，而不僅僅只能夠由Android平臺的客戶端調用，為日后系統的擴展提供了基礎。

為了保證系統和數據的安全性，前端和后端的通信采用HTTPS協議，同時除了注冊、登錄和注銷請求外，其它所有來自前端的請求都必須攜帶由后端系統授權的訪問令牌（Access Token），該令牌是在用戶成功登錄后由系統自動分配的，并且具有唯一性和時效性。

2.3 服務端Web管理系統的設計

服務端Web管理系統是管理員對系統進行管理的媒介，在這個系統上，將以B/S（瀏覽器/服務器）的形式為管理員提供一個管理系統的方法。管理員可以使用該系統進行系統信息維護、個人信息維護、用戶管理、內容管理、日志管理等操作。

在本系統中，具體層次分為三層：action層、service層以及dao層，分別對應請求處理和界面呈現、業務邏輯處理、數據庫操作。此外，還包括用于封裝數據的model層，即POJO類。

在開發時，首先編寫model層的POJO類，然后按照dao、service、action自底向上的順序編寫相應的接口并實現之，最后將系統信息呈現到JSP頁面上。

3 總結

本課題是對Hadoop框架的部分關鍵技術的一次較為深入的研究和分析，并在此基礎上設計和實現了具有應用價值的校園通服務端系統。Hadoop作為一個成熟的分布式框架，使得大數據處理能夠通過多臺廉價的計算機組成的集群來高效地完成任務。結合Struts2和Spring等主流的Java Web框架，原本不適合處理實時任務的Hadoop也能輕松地應對Web應用。基于Hadoop云技術的校園通服務端，將能充分利用校園的有效資源，以較低的成本為高校學生提供優質的掌上在線服務。

隨著手持智能終端的不斷普及，移動化辦公的逐漸推廣，本文所研究的Android平臺下的校園通是可行，并且也是未來的趨勢。日后將在本研究的基礎上繼續完善其中的相關系統，充分利用Hadoop技術的優勢，真正打造出一個具有使用價值的校園應用系統。校園數字化建設是未來的趨勢，相信移動化技術和云技術會加快其發展進度，為校園師生的學習、工作帶來更多的便利，這也是以后研究的目標。

【參考文獻】

[1]Apache Software Foundation.What Is Apache Hadoop？[EB/OL].[2013-5-13]. http：//hadoop.apache.org/.

[2]陸嘉恒.Hadoop實戰[M].2版.北京：機械工業出版社，2012.

[3]Apache Software Foundation.MapReduce Tutorial[EB/OL].[2013-5-13].http：//hadoop.apache.org/docs/r1.1.2/mapred_tutorial.html#Overview.

[責任編輯：湯靜]