基于云計算的可擴展云教室解決方案的設計與實現

霍紹博　耿君毅　單　莘　李栓林　魯　瑞　王曉穎　付長冬

1(中國移動通信集團有限公司　北京 100032)

2(北京郵電大學　北京 100876)

?

基于云計算的可擴展云教室解決方案的設計與實現

霍紹博1耿君毅1單莘1李栓林1魯瑞1王曉穎1付長冬2

1(中國移動通信集團有限公司北京 100032)

2(北京郵電大學北京 100876)

摘要針對當前基于cluster的電子虛擬教室的諸多不足，提出一種基于云計算的云教室的實現方案。該方案通過使用分布式文件系統解決了傳統云教室擴展性差的問題，并在很大程度上提高云教室的I/O性能；同時，通過線程調度機制實現了云教室資源調度管理以及多個云教室的同步讀寫。實驗結果表明：該方案能夠用于創建大規模高伸縮性的云教室，解決目前電子教室的可擴展性差、I/O性能低以及高峰用戶讀寫響應慢等問題，達到設計要求。

關鍵詞云計算云教室大數據hadoop

DESIGN AND IMPLEMENTATION OF SCALABLE CLOUD CLASSROOM SOLUTION BASED ON CLOUD COMPUTING

Huo Shaobo1Geng Junyi1Shan Xin1Li Shuanlin1Lu Rui1Wang Xiaoying1Fu Changdong2

1(China Mobile Group Corporation,Beijing 100032,China)2(Beijing University of Posts and Telecommunications,Beijing 100876,China)

AbstractAs to the disadvantages of current cluster-based virtual e-learning classroom, this paper proposes an implementing solution of cloud-computing based cloud-classroom. This solution ravels out the problem of poor scalability of traditional cloud classroom by using the distributed files system technology, and improves to great extent the I/O performance of cloud classroom; meanwhile, through thread scheduling mechanism it realises the resources scheduling and management of cloud classrooms as well as the synchronised read-write process between many cloud-classrooms. Experimental result shows that the solution can be used to create large-scale cloud classroom with high scalability, solves the problems of existing e-learning classrooms including poor scalability, low I/O performance and slow read-write responses to users in peak time, and meets the design requirement.

KeywordsCloud computingCloud classroomBig dataHadoop

0引言

隨著在線教育的發展，越來越多的商家推出了電子教室服務，如edu.yy.cn、coursera等。使用這些電子教室，所有會員用戶都可以開設課程[1]，因此這類電子教室不僅需要考慮基本功能實現問題，而且還要考慮系統性能問題，如同時上課的電子教室數量、每個教室人數上限、每個教室可同時切換的教材或內容數量等等，這類性能問題直接關系到用戶體驗和用戶學習質量[2]。

目前主流的電子教室的實現平臺多基于Cluster集群模式的系統架構[3]，這種架構存在的主要問題包括：1) 同時打開的電子教室數量有限，而且平臺擴展性差；2) 電子教室可以同時容納的學員數量有限，無法滿足名教師授課情況下的高峰值、也不符合目前互聯網的業務模式；3) 在少量用戶的情況下可以很好的運行，但是較多用戶的高I/O負載情況下會出現音視頻質量下降，嚴重情況下導致系統崩潰[4]；4) 在多個教室同時授課的情況下，對整個系統平臺的性能都存在較為嚴重的影響[5]。

針對上述不足之處，本文結合當前流行的云計算技術具有良好擴展性[6-9]和I/O性能好的特點[10-14]，設計并實現了一種可擴展云教室。這種云教室的主要特點是：可隨時根據云教室的數量、在線學院的數量對資源進行擴展，具有更好的I/O性能；同時實現了云教室資源的調度管理和多個云教室的同步讀寫功能。

1實現方案

1.1設計思想

通過使用云計算技術將目前的固定電子教室模式升級擴容為虛擬云教室模式，使之具有高可擴展性、高可伸縮性和高I/O性能。

云教室和云教室平臺的核心定位為：

(1) 一個電子教室可以容納、增加N人，即電子教室的用戶數不受限制。這種模式的教室稱為云教室；

(2) 一個平臺上可以同時實時運行N個云教室，即平臺上同時運行的教室數不受限制。這種模式的平臺稱為云教室平臺；

(3) 同時，整個平臺系統I/O性能和單個云教室的I/O性能不受用戶增加的影響，其基本和服務器數量保持線性關系；

(4) 云教室承載在云教室平臺之上，可以任意關閉、打開和管理；

(5) 云教室平臺可以動態擴展所需要的計算和存儲能力，以滿足性能需求。

1.2云教室平臺的實現原理

虛擬云教室平臺由1個教室平臺和N個云教室組成，其采用目前非常流行的大數據云計算架構Hadoop實現。基于Hadoop架構的云教室平臺其主要的系統結構如圖1所示。

圖1中，云教室平臺由一個高可擴展的HDFS分布式系統以及N個服務器(包括本地文件系統以及存儲設備)、多個云教室組成。其核心原理如下：

(1) 分布式文件系統HDFS將所有的N個服務器組成1個虛擬資源池；

(2) 每個云教室建立時從整個虛擬資源池中抽取所需要的服務器，組成單獨的云教室虛擬池，并形成新的分布式系統(HDFS教室)；

(3) 當云教室需要增加更多的服務器時，其從云教室平臺的虛擬資源池中提取并加入到自己的云教室，形成新的分布式系統(HDFS教室)；

(4) 當云教室不再需要自己的服務器資源時，則將相關的服務器釋放到云教室平臺的虛擬資源池中；

(5) 當云教室平臺無法有效支撐目前各云教室的I/O性能需求時，其可以動態增加服務器，以提高整個云教室平臺的整體I/O性能，同時而不影響云教室的正常運行。

因此，就具體實現而言，云教室平臺是由一個大的HDFS系統和多個小的動態的HDFS教室(系統)組成，它們之間組成動態的集合關系。具體的云教室讀寫機制全部由HDFS的Master和ChunkServer機制實現。

1.3云教室的實現原理

云教室核心是一個動態的HDFS系統(或活動教室)，其采用分布式文件系統HDFS的多副本技術實現，而具體的數據讀寫完全按照HDFS的Master和Slave分布式機制。云教室的結構框架如圖2所示。

圖2　云教室的結構框架

從圖2中可以看出，云教室由1個主教室和多個擴展教室組成，而主教室和存儲師資錄課授課課件信息的主服務器屬于1∶1關系，其存儲和管理主教室目前播放的教室內容。而1個主教室可以根據人數擴展N個擴展教室，每個擴展教室和1個從服務器連接，從服務器是主服務器的數據副本服務器。

因此，基于分布式文件系統的多副本技術，可以非常容易地實現一個高可擴展性的云教室，同時其I/O性能和服務器比例成線性關系。在實際實現中，可以根據用戶數動態的擴擴展教室，從而達到空間無限大的云教室。

1.4云教室平臺的系統架構與接口

云教室平臺從功能實現角度其就是一個統一的云教室管理器，而在系統架構上其是基于分布式文件系統HDFS的客戶端管理軟件，具體結構圖3所示。

圖3　云教室平臺系統架構

云教室平臺是基于HDFS文件Client端的API接口實現，其通過HDFS客戶端和Master、Chunkserver交互，實現云教室服務器的捆綁和釋放、云教室多副本數據的讀寫等。因此，云教室平臺通過HDFS API實現和Master、ChunkServer的交互，而且通過API和HDFS客戶端屏蔽所有的I/O處理細節問題。

云教室平臺是基于HDFS的核心機制實現，通過HDFS的客戶端接口完全屏蔽了其內部實現細節，只關心云教室平臺的統一管理和云教室管理。

1.5云教室的調度管理機制

云教室平臺以及云教室統一通過HDFS客戶端API和分布式文件系統Master和Chunkserver服務器進行交互；云教室平臺核心作用是管理，真正的讀寫操作由云教室和Chunkserver直接完成。因此，基于分布式文件系統的I/O特點，主教室和擴展教室在系統I/O性能方面基本沒有區別。

云教室在具體實現上由1個主線程以及若干個子線程組成，主線程負責所有客戶端的I/O請求即用戶的調度管理，而子線程則每個對應一個教室，負責具體的I/O讀寫操作。

云教室的調度管理機制如下：

{

設置每個教室的固定人數；

設置擴展教室的數量；

For(；；) {

異步等待客戶端學員的I/O動作；

IF(新學員加入) {

從所有教室中找到目前人數最少的教室；

將新學員分配到該教室；

修改所有教室的人員情況；

通知相關教室；

}

Else if(有學員退出){

修改教室的人員情況；

通知相關教室；

}

Else if(所有教室滿員)

拒絕該客戶；

}

}

因為HDFS采用虛擬I/O，主教室和擴展教室在I/O性能上沒有區別，每個擴展教室或主教室在每次I/O存儲時全部存取最近的數據副本。因此云教室的調度管理算法采用公平調度策略，該算法最大的特點是保證每個教室人數相當，從而能夠使I/O負載均衡，也從而使I/O數據讀寫的性能平衡，達到系統的最佳整體性能。

1.6云教室的讀寫模型與同步機制

由于采用HDFS分布式讀取以及多教室的副本并發機制，則必然存在一個云教室下多個教室的異步速度問題，所以必須實現云教室下的多教室同步機制。

云教室I/O模型如圖4所示。圖4中每個云教室具有1個主線程和N個子線程組成，每個子線程對應一個教室，而主線程僅僅負責I/O請求，而子線程不僅處理I/O請求，而且需要根據I/O請求和具體的ChunkServer交互。

圖4　云教室I/O模型

每個子線程單獨和Master、ChunkServer交互，它們屬于完全獨立的I/O行為，因此必須在云教室中進行同步管理，否則會導致同一云教室下的教室進度異步問題。

具體的讀寫同步算法如下：

{

設置共享區；

每個子進程異步將數據量寫到共享區；

For(；；){

檢查每個子進程的數據讀寫進度；

IF(x進程速度超過5%)

異步通知該進程等待；

IF(等待進程已經滿足進度要求)

異步通知該進程繼續處理；

Sleep(10)；

}

}

云教室的同步機制可以使所有主、副教室并發處理的情況下，所有主、擴展教室保持進度一致，從而實現統一教學管理的目的。

2實際測試

為了驗證方案的可行性，通過模擬實際生產環境對該方案進行了測試。實驗當中只有服務器數量和云教室數量兩個主要變量，所以可以使用控制變量法進行對比測試。

2.1測試環境

為了確保測試結果的準確性，選用34臺主流x86服務器作為硬件環境。具體服務器配置如表1所示。

表1　服務器硬件配置

同時，在局域網內進行測試，選用千兆32口企業級交換機，確保足夠使用的帶寬。為了避免服務器網絡子系統影響服務器帶寬，采用雙網卡交換機綁定的方式提高服務器帶寬。

服務器網站架構選用當今主流的免費lamp，既操作系統采用linux，服務器采用Apache，數據庫采用mysql，以及php腳本解析器。

2.2測試過程

為了模擬實際情況，采用cinder對所有服務器進行統一安裝linux操作系統，并使用主流的云計算平臺openstack對所有服務器硬件資源進行虛擬化。其中，openstack的計算控制節點、網絡節點等組件的控制節點集中放置在兩臺物理服務器上，剩余32臺服務器作為計算節點。計算節點的每個虛擬機設定為一個內核、2 GB內存，所以總共可以獲得128臺虛擬服務器。服務器分配情況如表2所示。

表2　虛擬服務器分配表

首先使用Loadrunner并發測試工具對前期服務器集群的I/O性進行分析，當達到I/O閾值上限之后以3臺/次的速度逐漸添加虛擬服務器，以后再次進行最大I/O測試，直至添加完所有虛擬服務器。

2.3測試結果

對系統的最大并發數測試結果如圖5所示。

圖5　最大并發數測試結果

通過圖5可以看出：隨著服務器數目的增加，系統的最大并發數也逐漸增加，在96臺服務器之前服務器數量與I/O性能幾乎呈線性關系；當服務器數目大于96臺時，出現了拐點，隨著服務器數量的增加，并發數增長量放緩。因為所采用的虛擬服務

器的配置完全相同，而且負載均衡服務器資源使用率未達到40%， 所以拐點的出現可能是由于openstack框架性能的影響。

隨著云教室數目增加，系統I/O會略有降低，這說明云教室數量會在很小程度上影響系統的I/O性能。

3結語

本文基于云計算技術設計并實現了可擴展云教室的方案。該方案所實現的云教室具有很好的可擴展性，能夠根據云教室負載情況對硬件資源進行擴展，以適應用戶數量達到峰值時的高并發、高I/O性能的要求，這為創建大規模高伸縮性的云教室提供了基礎。

由于條件限制，涉及方案只是虛擬機上進行了測試，這和實際的企業生產環境仍有很大的差距，這些差距可能會使得測試結果有一定的偏差。因此，在更大規模物理機上進行實際測試將是下一步的研究的主要工作。

參考文獻

[1] 李艷.基于ASP開發的在線教育系統的分析與設計[D] .青島:中國海洋大學,2006.

[2] 王雪,王志軍,王惟遠.網絡課程與在線教育游戲有機結合的研究[J].福建電腦,2008(2):182-183.

[3] 馬坤.教育數字化和在線化變革開啟前景廣闊[J].股市動態分析,2014(16):102-108.

[4] 張艷明,宋廣佳,孟娟娟,等.基于B/S模式的遠程教育在線考試系統設計與實現[J].黑龍江科技信息,2012(2):85-92.

[5] 馬小強,孔慶儀.無線移動電子教室的發展及構成分析[J].中國電化教育,2009(1):32-34.

[6] 劉嵩,李文蕙.云計算系統中基于邊緣節點和容量的延遲分析[J].計算機應用與軟件,2014,31(4):35-39,50.

[7] 吳正學,戴牡紅.云計算中基于否定規則的訪問控制技術的研究[J].計算機應用與軟件,2014,31(1):30-33,72.

[8] 黃哲學,曹付元,李俊杰,等.面向大數據的海云數據系統關鍵技術研究[J].網絡新媒體技術,2012,1(6):20-26.

[9] 黃曉云.基于HDFS的云存儲服務系統研究[D].大連:大連海事大學,2010.

[10] 徐文強.基于HDFS的云存儲系統研究[D].上海:上海交通大學,2011.

[11] 陳虎.基于HDFS的云存儲平臺的優化與實現[D].廣州:華南理工大學,2012.

[12] 成靜靜.基于Hadoop的分布式云計算/云存儲方案的研究與設計[J].數據通信,2012(5):14-18.

[13] 王彥明,奉國和,薛云.近年來Hadoop國外研究綜述[J].計算機系統應用,2013,22(6):1-6.

[14] 黎宏劍,劉恒,黃廣文,等.基于Hadoop的海量電信數據云計算平臺研究[J].電信科學,2012(8):80-85.

中圖分類號TP39

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.02.020

收稿日期：2014-07-02。霍紹博，高工，主研領域：電信網業務和IT支撐，信息安全技術。耿君毅，高工。單莘，高工。李栓林，工程師。魯瑞，工程師。王曉穎，工程師。付長冬，博士。