基于Android的移動云存儲系統設計與實現

王培海

（重慶郵電大學 移動互聯網研究所，重慶 400065）

0 引言

隨著3G業務的廣泛推展，移動互聯網已經開始滲透到社會和生活中的各個領域，終端應用也呈現出爆炸式的增長，移動終端已逐漸成為新的應用平臺[1-2]。伴隨著移動互聯網的發展，用戶對終端的存儲空間以及終端資源的在線共享等要求愈來愈高。然而，移動終端資源受限的瓶頸始終制約著終端應用的發展。

云計算的出現，為解決終端應用瓶頸提供了一種可行的方案。據ABI研究公司調查顯示，從2009年到2014年，面向移動終端的云計算應用年增長率將達到88%，2008年該市場的規模為4億多美元，在2014年，這一數字將達到95億美元[3]。可見，云計算將會是移動互聯網未來發展趨勢，而云存儲是移動終端利用云計算最明顯的方式。本文所實現的云存儲系統是將終端應用的高計算與高存儲從終端遷移到云平臺上，利用云計算強大的計算和存儲能力弱化應用對終端設備的處理需求。這種“云+端”的應用開發模式，有效地解決了終端資源受限的瓶頸，使云計算的特點在移動終端上得到充分的展現。

1 相關介紹

云計算（Cloud Computing）[4]是學術界熱門研究領域之一，是移動互聯網未來的發展方向。云存儲是在云計算概念上延伸和發展出來的一個新的概念[5]。它是指通過集群應用、網絡技術或分布式文件系統等功能，將網絡中大量異構存儲設備通過應用軟件集合起來協同工作，共同對外提供數據存儲和業務訪問功能的一個系統。云存儲這一概念的提出，得到了眾多服務廠商的支持和關注。在國外，Amazon，Google，EMC，Microsoft，IBM紛紛推出了自己的云存儲產品。在國內，世紀互聯、金山等企業也紛紛推出了自己的云存儲服務?？梢娫拼鎯σ呀洺蔀槲磥硪苿咏K端存儲發展的一種趨勢。

筆者通過對云存儲相關技術進行研究，借助“云+端”的新型應用開發模式，實現了一個面向移動終端的私有云存儲系統。

2 云存儲系統功能設計

本系統主要針對當前移動終端存儲空間嚴重不足、計算能力弱以及電池續航能力差等缺點來設計。該系統由多臺聯網的普通PC機組成的集群系統和一個客戶端體驗組成。用戶通過系統提供的通用接口來訪問系統，享受移動云存儲服務。系統采用“云+端”的新型應用開發模式進行開發設計，云平臺作為系統的服務端，基于Android的移動終端作為客戶端，云和端之間通過HTTP協議進行交互。系統整體結構如圖1所示。移動終端用戶只需要通過一個統一通用的簡單應用接口就可以訪問云平臺服務。在系統的整體設計中，分別采用一臺普通計算機作為系統后臺的主節點和資源監控節點，采用兩組普通PC機構成的集群作為服務節點。

整個系統采用了基于軟件的構件化思想和分布式存儲技術，實現了系統中數據流的初始化配置和動態存儲。同時，按照MVC（Model View Controller）設計模式的要求[6]，對系統的各個功能模塊進行了嚴格的細分，將數據訪問和數據表現進行了分離，盡量降低各個功能模塊間的耦合性[7]。通過這種模式，開發出一個伸縮性強、擴展性能高以及維護簡單的彈性系統。

2.1 服務端設計

目前，業界開源的云計算平臺和工具有很多，如Enomaly的ECP、加州大學的開源項目Euclyptus、10Gen的Mongo DB、基于網格中間件Globus的Nimbus以及Ha?doop等。

該系統采用在業界知名度很高的開源云計算框架Hadoop來搭建私有云計算平臺。Hadoop是對谷歌云計算框架的開源實現，主要包括分布式文件系統HDFS、計算架構MapReduce及對于結構化數據處理的HBase等[8]。其云計算整體框架如圖2所示[9]。

對于任何一個系統而言，服務端的邏輯組織結構是最為重要的基礎結構，是系統性能最大化的關鍵。因此，服務端采用了并行的云存儲技術，實現了服務器的負載均衡，提高了傳輸速率。同時，采用冗余存儲的方法來保證服務端數據的可靠性，即為同一份數據存儲多個副本。另外，以Java Web的思想來開發服務端，以Tomcat為中間件平臺，采用Servlet作為前端的控制器，并有Servlet來對客戶端的不同請求進行向下派遣，將服務器的控制層和業務層進行邏輯分離，符合MVC設計模式的要求[10]，在系統維護和功能擴展上增加了極大的便利。

2.2 客戶端設計

在客戶端，該系統采用基于Android的移動終端作為承載工具。Android是Google公司于2007年公布的基于Linux平臺的開源手機操作系統，其系統結構如圖3所示[11]。

考慮到移動終端設備資源受限的約束，客戶端的數據結構應盡量簡單，頁面交互設計應更加人性化，保證用戶操作簡單方便。為了保證移動終端不會有極大的時間延遲和等待，采用了多線程技術，增加了移動終端和云端通信的有效性，同時方便和簡化了客戶端的代碼結構。客戶端采用MVC的設計模式，將移動終端的數據訪問和數據表現進行了分離，降低了各個功能模塊間的耦合度，增強代碼的可讀性和可維護性。因此，客戶端的頁面結構如圖4所示。

2.3 通信協議

為了減少云服務端的承載壓力，使用HTTP協議作為傳輸協議。在通信協議方面，使用XML語法來制定私有協議格式，易于實現和維護，且便于理解。在服務端采用開源項目DOM4J進行解析，DOM4J是一個非常優秀的Java XML API，具有性能優異、功能強大和使用容易的特點。在移動終端方面，考慮到終端資源受限的約束，使用自定義解析類來對XML私有協議進行解析。下面以文件下載消息為例，消息格式如下所示：

客戶端Request：/download

HTTP頭部：

Content-Length：226

Content-Type：multipart/from-data；

HTTP正文

文件表單頭部：

//下載文件名

//文件地址

//下載時間

文件表單體（大小不限制）：

云服務器端response：

download

//解析結果

//原因

3 系統實現

3.1 服務端實現

按照服務端的設計思想，系統采用分布式云存儲技術，充分地利用了后臺服務機群的各個節點。下面以文件并行上傳和下載為例，給出系統服務端具體的實現過程。

并行上傳過程如下：1）登錄請求：將用戶信息發送到服務端，判斷用戶的權限。若用戶合法，則進行下一步；反之，則進行注冊。2）終端資源上傳請求：選擇要上傳的移動終端上的資源，將要上傳的資源信息發送給主節點。3）存儲節點分配：主節點收到上傳資源信息后，根據資源大小進行分塊計算（本實例中筆者按照5 Mbit/塊的大小進行計算，最后不足5 Mbit的也作為一塊）；根據監控節點所提供存儲節點信息判斷節點狀態，將資源塊均衡分配到各可用節點；同時，將資源信息和資源塊信息記錄在分布式數據庫中（狀態均設為“F”表示尚未上傳）。4）響應請求：主節點將存儲節點信息以XML格式發送給客戶端。5）并行上傳：主節點為集群中每個存儲節點建立一個資源塊消息隊列，將資源塊并行上傳到相對應的存儲節點。6）上傳確認信息：集群的存儲節點每接收到一個資源塊后，向主節點發送一條確認信息，主節點將數據庫中該資源塊的狀態改為“T”（表示已經上傳成功）。當資源所有塊都上傳成功后，主節點將數據庫中該資源的狀態改為“T”。7）單個存儲節點失效：當主節點通過集群實時監控信息，發現某個節點失效時，將資源重新進行分配。

下載云存儲系統的資源過程如下：1）發送下載請求：從系統資源列表中選擇要下載的資源，向主節點發送下載請求。2）查詢資源信息：主節點接收到終端下載請求后，從分布式數據庫中查找該資源的相關信息。3）響應請求：主節點將資源的信息以XML格式發送給客戶端。4）并行下載資源：客戶端根據接收到的資源塊信息，為每個存儲節點創建一個線程，將資源塊并行下載到臨時資源池中。5）資源整合：終端下載完所有資源塊后，將其整合為一個完整的資源，并刪除臨時資源池中的內容。6）單個節點失效：當主節點通過監控節點的實時反饋信息，發現集群中某個存儲節點失效時，立即將正在下載的資源重新進行分配。其服務流程圖如圖5所示。

3.2 客戶端實現

按照客戶端的設計思想，客戶端采用MVC的設計模式，為了減少移動終端不必要的多余開銷，界面設計進行了較大程度的簡化。Controller包封裝了負責邏輯處理的類，包括與云端的連接、文件的邏輯功能、協議的構造和解析以及數據結構的簡單處理等。Model包封裝了移動終端的數據。View包負責移動終端的界面呈現。下面以客戶端主頁面中文件列表類FileList為例，部分核心代碼如下所示：

Public class FileList{

//文件解析類初始化

F_Parser fp=new F_Parser()；

//獲取文件數據包

ArrayListal=fp.getFileList(pack)；

//文件數據裝載到文件列表中

Iteratoritems=al.iterator()；

//逐條讀取文件記錄

while(items.hasNext()){

FileItem file=items.next()；

FileItem newfile=new FileItem()；

//設置文件的相關信息，包括ID、文件名、文件詳細信息

newfile.setFile_id(file.getFile_id())；

newfile.setFile_name(file.getFile_name())；

newfile.setUser_id(file.getUser_id())；}

//記錄文件日志

Log.i("FileRec"，newfile)；

//將文件列表中的信息發送到處理主頁面顯示的Handler類中進行顯示

ListStore.getMainViewHandler().sendMessage(file)；

}

系統部分執行效果圖如圖6所示。

4 結束語

筆者通過研究云存儲的關鍵技術，結合MVC設計模式和“云+端”的開發思想，實現了一個面向移動終端的私有云存儲系統，解決了終端存儲能力不足的問題。面向移動終端的云存儲系統與傳統的存儲系統有較大的不同，表現在如下3點：1）在業務需求上，移動云存儲系統是面向多終端異構平臺的移動在線存儲服務，而傳統存儲系統則面向WEB終端的高性能計算、事物處理等應用；2）在性能需求上，移動云存儲服務針對移動數據的安全、可靠、效率等指標，且移動用戶數量大、移動網絡動態不確定性等特點，對移動網絡文件的傳輸大小做出了優化。3）在數據管理上，移動云存儲系統不僅要支持多終端異構平臺的并行訪問，還要支持海量數據的管理，保證數據的安全與可靠等。通過云存儲技術解決了移動終端存儲能力不足以及共享困難等問題，提高了用戶體驗度，具有一定的現實意義。通過實驗證明，系統具有良好的穩定性。

隨著移動互聯網的快速發展，終端應用將更加智能，移動云存儲技術也會得到廣泛的關注，將會有更多的用戶使用移動終端享受云存儲服務，未來移動云存儲的發展要從安全性和便攜性等角度進行深入研究。

[1] 騰訊科技.移動互聯網終端發展趨勢[EB-OL].（2009-10-16）[2010-10-15].http：//news.qq.com/a/20091016/000843.htm.

[2] 楊揚.移動互聯網混搭云計算：破壞性創新時代[EB/OL].（2010-04-10）[2010-11-03].http：//cloud.it168.com/a2010/0410/871/000000871791.shtml.

[3] ABI Research.Mobile cloud applications[EB/OL].（2010-03-09）[2011-02-20].http：//www.abiresearch.com/research/1003385-Mobile+Cloud+Applications.

[4] 王鵬.走進云計算[M].北京：人民郵電出版社，2009：36-37.

[5] 王鵬，董靜宜.一種云計算架構的實現方法研究[J].計算機工程與科學，2009，31（1）：11-13.

[6] 劉亮，霍劍青，郭玉剛，等.基于MVC的通用型模式的設計與實現[J].中國科學技術大學學報，2010，40（6）：635-639.

[7] 夏奕，鄧廣宏.基于構件重組的分布式業務集成系統設計與實現[J].計算機與數字工程，2009，37（7）：157-160.

[8] Tom White.Hadoop權威指南（中文版）[M].北京：清華大學出版社，2010：44-80.

[9] 劉鵬.云計算[M].北京：電子工業出版社，2010：2-8.

[10] 張軾坤，冉崇善.基于反模式的J2EE的中間件優化模型[J].計算機工程，2010，36（10）：256-258.

[11] 楊文志.Google Android程序設計指南[M].北京：電子工業出版社，2009：3-7.