基于云存儲的教學資源整合研究與實現

【摘要】互聯網的迅速發展，促進了現代遠程教育的興起。而教學資源的建設又是現代遠程教育發展的基礎。文章分析了教學資源的現狀和面臨的問題，介紹了云存儲的基本概念、結構模型和構建云存儲的工具，給出了基于云存儲的教育資源整合方案的體系結構，最后對該體系結構進行了實現和性能測試。

【關鍵詞】云存儲;教學資源;整合

【中圖分類號】G40-057【文獻標識碼】A【論文編號】1009—8097(2010)03—0097—05

引言

互聯網的迅速發展，促進了現代遠程教育的興起。現代遠程教育是一種基于計算機技術、網絡技術和通信技術進行知識傳輸和知識學習的新型教育模式，在現代教育中扮演著非常重要的角色。而教學資源的建設又是現代遠程教育的重要組成部分，是現代遠程教育的基礎。各種教學資源通過網絡跨越時間和空間的限制，滿足人們在自主學習中對教學資源的需要。但是，隨著教學資源的不斷建設，一些弊端也凸顯出來。教學資源本身具有數量大、形式多樣等特點，使得原先集中管理、集中存儲的資源組織管理模式已經不能適應網絡發展、資源應用等多種實際需求，而且教學資源的重復建設，也造成了資源的極大浪費。

云存儲作為一種新的服務形式能夠很好解決這些問題。將云存儲運用到教學資源的整合中，學校不僅能節省投資費用，簡化復雜的設置和管理任務，而且把教學資源放在云中還便于從更多的地方訪問資源，實現教學資源的共享[1]。

一 教學資源的現狀

教學資源[2]是教學工作開展的基礎，包括文本資源、圖形圖像資源、動畫資源、聲音資源和視頻資源等類型。進行教學資源的整合有利于合理、高效地使用，促進教學質量的提高。通過開展教學資源的整合活動，既可以應對高校擴招所形成的對教學資源需求的持續增長與教育投入增長不足、教學資源相對短缺所形成的矛盾，又可以實現教學資源的共享，提高優質教學資源的利用率，讓更多的大學生獲得優質的受教育機會。然而現階段教育資源的建設卻存在如下問題。

教學資源分布不均:師資力量大的學校有著得天獨厚的優勢，往往能夠獲得更好的資源，比如試題庫，教育視頻等。而對于有些學校，由于資金來源、教育水平等限制，往往面臨著教學資源不足等狀況，造成了教學資源分布的不平衡。

教學資源更新成本高:技術飛速進步往往要求學校能夠為學生提供最新的教學資源，資源的數據量呈幾何曲線性增長，意味著需要更多的成本，更多的硬件設備投入和更多的機房環境設備投入，以及運行維護成本和人力成本的增加。而現在仍然有很多學校，特別是經濟條件不好的學校沒有資金購買獨立的、私有的存儲設備，更沒有存儲技術工程師有效地完成存儲設備的管理和維護。這都給院校的教學資源建設帶來了很大的壓力。

教學資源共享程度低:近些年遠程教育和網絡教育的發展，造成現有各種教育資源之間缺乏有效的互聯互通機制，共享性差，協作困難。而且教學資源的數據量很大，占用極大的儲存空間，各學校教學資源的重復建設，致使信息垃圾增長過快，造成存儲空間的浪費。

這些問題一方面造成了重復的教育資源投入，另一方面擴大了教學質量的差異。因此如何對教學資源進行最大程度，最大范圍的整合，成為減少教學成本，提高教學質量，加快國內高校教育水平的首要問題。

二 存儲方式的比較

下面就原先的教學資源存儲方式和云存儲方式進行了相關的比較分析。

可靠性:在原先的教學資源存儲方式中，資源如果因為某些原因損毀時，用戶就無法進行訪問，可靠性不高。而云中的數據是分布式的存儲，教學資源被切分為多個數據塊分散存儲在云中的節點中。由于云存儲中擁有副本備份機制，每一塊數據都有若干備份存儲在不同的節點中。當云中的某個節點發生錯誤時，不影響資源的完整性，具有很高的可靠性。

可用性:原先的教學資源存儲一般使用單一服務器，一旦服務器發生問題，用戶既不能存儲資源，也無法訪問資源。而云存儲是一種分布式的結構，云中的控制節點通過“心跳檢測”不斷地監視存儲節點的狀態，當發現存儲節點已經失效時，控制節點能夠將工作負載交給那些運行正常的存儲節點來完成。這使得云存儲具有很高的可用性。

存儲成本:原先的教學資源的存儲一般使用專業的存儲設備，由于專業存儲設備價格不菲，使得資源存儲的成本也隨之提高。而云中的存儲設備都是廉價的商業機，跟單一的大容量專業存儲設備相比較，存儲容量更大，存儲成本更低。

可擴展性:通過對云中的存儲節點進行動態的添加和移除，可以方便地改變云中的存儲容量，而且不影響云中的數據，比原始的存儲方式具有更高的可擴展性。

自動容錯能力:因為低成本的存儲設備的損耗率很高，云存儲能夠在軟件層做到自動容錯而不依賴硬件本身的容錯。

管理性:將教學資源存儲在云中，有利于對資源進行統一的管理，提高資源的使用率。

服務性能:在原先對教學資源進行單點集中存儲的方式中，當大量用戶存儲和訪問數據的時候，很容易造成設備的壓力過大，影響系統的性能。由于云中的數據是分布式的存儲，能夠很好地分擔存儲和訪問的壓力，從而提高系統的性能。

三 云存儲

云存儲是在云計算概念上延伸和發展起來的一個新概念。云存儲通過虛擬化技術，將服務器、存儲設備和其他硬件視為一個資源池，而不是離散系統，從而可以根據需要分配這些資源。這樣，一個存儲云就相當于一個虛擬化的存儲資源池，用來容納各種不同的工作模式，這些模式可以快速部署到物理設施上，并且按照用戶需求動態地調用資源。云存儲主要是通過將龐大數據自動分拆成無數個較小的數據塊，交由多部存儲資源所組成的計算機集群系統進行分布式的存儲。云存儲的核心是將應用軟件與存儲設備相結合，通過應用軟件來實現存儲設備向存儲服務的轉變。

1 相關概念

云計算是分布式處理、并行處理和網格計算的發展。云計算通過網絡將龐大的計算處理程序自動分拆成無數個較小的子程序，然后提交給由多部服務器所組成的龐大系統，經系統計算分析之后再將處理結果返回給用戶[3]。云計算在互聯網充分應用的前提下，將計算資源以及存儲資源放在網上，在網上建立一個具有更加廣泛含義的計算平臺，為人們提供動態資源池、虛擬化和高可用性的下一代計算平臺。通過云計算技術，網絡服務提供者可以在數秒鐘之內，處理數以千萬計甚至億計的信息，提供與超級計算機同樣強大的網絡服務。云計算的一個關鍵之處是它對開發人員和最終用戶隱藏了基礎設施的復雜情況。他們不知道或不需要知道云的內部構造，只需關心云計算提供給他們的服務。

云存儲的概念與云計算類似，它是指通過集群應用、網格技術或分布式文件系統等功能，將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協同工作，共同對外提供數據存儲和業務訪問的功能[4]。云存儲的思想類似于互聯網。當我們使用互聯網時，我們只需要知道是什么樣的接入網和用戶名、密碼就可以連接到互聯網，并不需要知道互聯網中到底有多少臺交換機、路由器、防火墻和服務器，不需要知道數據是通過什么樣的路由到達我們的電腦，也不需要知道網絡中的服務器分別安裝了什么軟件，更不需要知道網絡中各設備之間采用了什么樣的連接線纜和端口。互聯網對于具體的使用者是完全透明的，雖然這個互聯網包含了許許多多的交換機、路由器、防火墻和服務器，但對具體的互聯網用戶來講，這些都是不需要知道的。互聯網帶給大家的互聯互通的網絡服務，無論我們在任何地方，都可以通過一個網絡接入線纜和一個用戶名、密碼，就可以接入互聯網，享受網絡帶給我們的服務。如同互聯網一樣，云存儲對使用者來講，不是指某一個具體的設備，而是指一個由許許多多個存儲設備和服務器所構成的集合體。使用者使用云存儲，并不是使用某一個存儲設備，而是使用整個云存儲系統帶來的一種數據訪問服務。所以嚴格來講，云存儲不是存儲，而是一種服務。

采用云存儲，我們無須像使用某一個獨立的存儲設備時，要清楚這個存儲設備是什么型號，什么接口和傳輸協議，存儲系統中有多少塊磁盤，分別是什么型號、多大容量，存儲設備和服務器之間采用什么樣的連接線纜。而且對于保證數據安全和業務的連續性，無須自己建立相應的數據備份系統和容災系統。除此之外，用戶也無需關心存儲設備的狀態監控、維護、軟硬件更新和升級。云狀存儲系統中的所有設備對使用者來講都是完全透明的，任何地方的任何一個經過授權的使用者都可以通過一根接入線纜與云存儲連接，對云存儲進行數據訪問，如圖1所示。

2 結構模型

與傳統的存儲設備相比，云存儲不僅僅是一個硬件，而是一個由網絡設備、存儲設備、服務器、應用軟件、公用訪問接口、接入網、和客戶端程序等多個部分組成的復雜系統。各部分以存儲設備為核心，通過應用軟件對外提供數據存儲和業務訪問服務。云存儲系統的結構模型由4層組成，自下而上分別為存儲層、基礎管理層、應用接口層和訪問層，結構模型如圖2所示。

存儲層:存儲層是云存儲最基礎的部分。存儲設備可以是FC光纖通道存儲設備，可以是NAS和iSCSI等IP存儲設備，也可以是SCSI或SAS等DAS存儲設備。云存儲中的存儲設備往往數量龐大且分布在不同地域，彼此之間通過廣域網、互聯網或者FC光纖通道網絡連接在一起。存儲設備之上是一個統一存儲設備管理系統，可以實現存儲設備的邏輯虛擬化管理、多鏈路冗余管理，以及硬件設備的狀態監控和故障維護。

基礎管理層:基礎管理層是云存儲最核心的部分，也是云存儲中最難以實現的部分。基礎管理層通過集群、分布式文件系統和網格計算等技術，實現云存儲中多個存儲設備之間的協同工作，使多個的存儲設備可以對外提供同一種服務，并提供更大更強更好的數據訪問性能。CDN內容分發系統、數據加密技術保證云存儲中的數據不會被未授權的用戶所訪問，同時，通過數據備份和容災技術等措施可以保證云存儲中的數據不會丟失，保證云存儲自身的安全和穩定。

應用接口層:應用接口層是云存儲最靈活多變的部分。不同的云存儲運營單位可以根據實際業務類型，開發不同的應用服務接口，提供不同的應用服務。比如視頻監控應用平臺、視頻點播應用平臺、網絡硬盤引用平臺和遠程數據備份應用平臺等。

訪問層:任何一個授權用戶都可以通過標準的公用應用接口來登錄云存儲系統，享受云存儲服務。但是云存儲的運營單位不同，所提供的訪問類型和訪問手段也不同。

3 Hadoop的分布式文件系統HDFS

云存儲作為一種新型的服務模式，還處于早期發展階段，全球各大IT公司現在都在進行投資和推廣。很多IT廠商比如IBM、Google、Amazon等也推出了自己的云存儲平臺。其中比較常用的是Apache基金會開發的開源項目Hadoop[5]。Hadoop實現了Google的GFS和MapReduce算法，提供了簡單易用的編程接口，是一種易于處理和保存大量數據的分布式云計算平臺，并且具有擴容能力高、成本低、高效率、高可靠性的特點。另外，Hadoop是一款完全用Java開發的開源軟件，因此它可以運行在多種操作系統和商用硬件上。

HDFS(Hadoop Distributed File System)是Hadoop的分布式文件系統，具有高容錯性，并且可以被部署在低價的硬件設備之上。HDFS提供對數據讀寫的高吞吐率，很適合那些有大數據集的應用。HDFS是一個master/slave的結構，就通常的部署來說，在master上只運行一個Namenode，而在每一個slave上運行一個Datanode。

HDFS支持傳統的層次文件組織結構，同現有的一些文件系統在操作上很類似，比如創建和刪除一個文件，把一個文件從一個目錄移到另一個目錄，重命名等操作。Namenode管理著整個分布式文件系統，對文件系統的操作(如建立、刪除文件和文件夾)都是通過Namenode來控制。Datanode是數據的實際存儲節點。HDFS的架構如圖3所示。

HDFS采取了副本策略，其目的是為了提高系統的可靠性和可用性。HDFS的副本個數默認為三個副本，一個放在本節點上，另一個放在同一機架中的另一個節點上，最后一個放在另一個不同的機架中的一個節點上。

四 基于云存儲的教學資源整合模型與實現

在使用云存儲整合教學資源之前，首先要構建一個云環境。在這個云環境中，由動態可擴展的和虛擬化的存儲資源來提供教學資源存儲和訪問服務。透過云，可以將龐大的教學資源自動分拆成大量較小的數據塊，交由多個節點所組成的龐大計算機集群系統進行分散存儲。

1 基于云存儲的教學資源整合模型

基于云存儲的教學資源整合模型可以劃分為5層。至上而下分別為客戶端、Portal[6]層、應用服務層、存儲層和基礎設施層。如圖4所示。

客戶端:客戶端用來顯示基于云存儲的各種應用服務的Portal頁面。客戶端一般是各種Web瀏覽器，比如IE、Firefox、Chrome等。Portal頁面一般是由多個窗口(Portlet組件)組成。每個Portlet是一個云服務，負責顯示自己的服務內容。

Portal層:Portal層由Portal Server和Portlet容器組成。Portal Server負責接收來自客戶端的HTTP請求，在Porlet容器中調用Portlet，并將Portlet產生的內容聚集到Portal頁面返回給客戶。

應用服務層:應用服務層負責各種服務的具體實現。包括用戶的管理、資源的管理、資源目錄的管理等。

存儲層:存儲層負責將基礎設施層的存儲資源虛擬成一個文件系統，提供數據的分布式存儲。如使用Hadoop的分布式文件系統(HDFS)。

基礎設施層:基礎設施層主要包括各種存儲資源，如硬盤、數據庫等等。

2 模型的實現

我們使用一般的商業機作為底層的存儲設備。使用Hadoop作為構建云存儲環境的平臺，管理底層的商業機，并虛擬出一個文件系統，即HDFS。在HDFS的基礎上，開發整合教學資源的應用服務模塊，主要包括用戶的管理，目錄管理、資源管理、系統管理等。我們使用Liferay作為Portal容器，將每一個服務模塊封裝為一個Portlet。

在云存儲環境中對教學資源存儲和訪問的具體過程如圖5所示。

用戶將一個教學資源存儲在云環境的過程為:用戶通過Web瀏覽器訪問教學資源的Portal頁面，首先在用戶認證的Portlet中輸入用戶名和密碼。用戶的認證通過MyProxy實現，根據用戶提供的用戶名和密碼，從MyProxy得到用戶的合法代理證書。此證書代表了用戶的身份，通過證書可以合法訪問相應的應用服務。然后在訪問資源存儲服務Portlet時，用戶需要提交本地資源的路徑和資源存儲在云中的路徑。存儲服務會在本機上的臨時文件夾中緩存這些數據，當臨時文件夾中的數據塊達到了設定的Block值(默認是64M)時，Portlet便會通知云中的名稱節點，名稱節點便響應Portlet的請求，將資源的文件名插入云中的文件系統層次中并且在數據節點中找到一塊空間存放該數據塊，同時將該數據節點和對應的存儲空間信息告訴Portlet，Portlet便將本地臨時文件夾中的數據塊寫入指定的數據節點，一個數據塊存儲完畢后，當臨時文件夾中的數據塊再次達到了設定的Block值時，Portlet會向名稱節點申請下一個數據塊的存儲空間。由于Hadoop擁有副本備份功能，每塊數據塊可以存在多個副本并存儲在云中的其它節點上，起到改善服務伸縮性和容錯的目的。

用戶訪問云環境中教學資源的步驟為:用戶通過Web瀏覽器訪問教學資源的Portal頁面并且通過身份認證。在資源訪問的Portlet中選擇自己感興趣的資源，然后Portlet將資源讀取請求發送給名稱節點，名稱節點返回該資源的所有數據塊所在的數據節點以及各個數據節點的當前負載情況。Portlet從數據節點選取合適的節點并且并行地發出讀請求，并行的讀請求可以是針對不同的塊也可以是同一個塊的不同部分，但是不會是同一個塊的同一個部分。不同的請求一般會發送到不同的數據節點。Portlet從不同的數據節點接收到數據后進行內容匯聚，然后顯示給用戶。

3 性能分析

下面我們將對云存儲系統讀取和寫入教學資源的速度進行測試。在系統的實際運行中將包含幾百臺的數據節點存儲教學資源，而且擁有大量的用戶對資源進行訪問。但是為了便于測試，我們使用19臺電腦構建云存儲環境，其中1臺設置為名稱節點，18臺為數據節點。并且另外使用16臺電腦作為客戶端。名稱節點和數據節點的配置均為雙核CPU，2GB內存，320G硬盤，一塊100M全雙工網卡，并以一臺交換機相連。16臺客戶端都配備一塊100M全雙工網卡，并以另一臺交換機相連。兩臺交換機之間使用1 Gbps的鏈路相連。

我們分別在19臺電腦上部署Hadoop-0.18.3構建云存儲環境。其中操作系統為FC10，Java版本為jdk1.5。首先修改19臺電腦Hadoop目錄下的conf/hadoop-site.xml文件，其中fs.default.name為NameNode的IP地址和端口號;mapred.job.tracker為JobTracker的IP地址和端口號;fds.replication為HDFS中每個Block被復制的次數，起到數據冗余備份的作用，我們設置為3。其次配置SSH，因為Hadoop啟動以后，名稱節點通過SSH(Secure Shell)來啟動和停止各個數據節點上的各種守護進程的，這就需要在節點之間執行指令的時候不需要輸入密碼，所以需要配置SSH使用無密碼公鑰認證的方式。

(1) 數據讀取

分別測試1到16個客戶端從云中讀取教學資源的速度。每一個客戶端從云中讀取1G的數據。

圖6展示了客戶端的合計讀取速度和理論上限。合計的理論上限是在兩個交換機之間的1 Gbps鏈路飽和的情況下達到，即125MB/s的速度，或者當客戶端的100M網卡飽和的情況下，即12.5MB/s的速度。當只有一個客戶端讀取的時候，觀測到的讀取速度是10MB/s，為理論上限的80%。16個客戶端的合計讀取速度達到了94MB/s，大約是理論上限的75%。由80%降低到75%的原因是由于讀取者的增多，導致多個讀取者同時從相同數據節點讀取得可能性增加，導致的讀取性能有所下降。

(2) 數據寫入

分別測試1到16個客戶端向云中寫入教學資源的速度，每一個客戶端向云中寫入1G的數據，如圖7所示。因為每一個數據塊有3個副本，需寫入云中的3個數據節點，所以理論上總的寫入速度的上限為67MB/s。

因為網絡協議棧的原因，每一個客戶端的寫入速度是6.3MB/s。而且數據從一個副本傳輸到另一個副本產生了延時，導致了整個寫入速度降低。16個客戶端的合計寫入速度差不多是35MB/s(每個客戶端大概2.2MB/s)，差不多是理論極限的一半。和讀取情況比較類似，這樣的情況多半發生于多個客戶端同步寫入同一個數據節點時導致的性能下降。此外，16個寫入者要比16個讀取者更容易產生沖突，這是因為每一個寫入要寫入三份副本的原因，寫入速度比我們預期的要慢一點。在實際情況下，這并不是一個大問題，因為即使在單個客戶端上能夠感受到延時，也不會對大量客戶端的情況下，對整個寫入帶寬造成明顯的影響。

五 結束語

教學資源的建設是遠程教育發展的重要的環節，對教學資源進行整合有利于教學資源的共享，減少教學的成本，提高教學的質量。而云存儲作為一種新的服務形式，能夠很好地解決教學資源整合中產生的問題。云存儲作為教育資源整合的有力手段，對教育資源的建設和發展有著積極的促進作用。隨著云存儲的不斷發展和完善，必然會在高等院校和教育網絡中有著越來越多的應用。

參考文獻

[1] 高宏卿，李靜.網格技術及校園網資源建設研究[J].河南師范大學學報，2005，33(3):26-28.

[2] 孔繁之，王春梅等.數字校園中教學資源庫的建設與應用研究[J].中國教育信息化，2008，(05):49-50.

[3] 尚建新，解月光，王偉.云計算模型下的PLE構建初探[J].現代教育技術，2009，19(04):46-49.

[4] 李開復.云計算[J].中國教育網絡，2008，(6):34.

[5] [DB/OL].< http://hadoop.apache.org/.>

[6] 陳海勇，伏漢英.基于Jetspeed的網格門戶系統的設計[J].微計算機信息，2005 ，21(30):61-63.

Research and Implementation of Educational Resources Integration based on Cloud

GAO Hong-qingWANG Hao

(Department of Educational Technology， Henan Normal University， Xinxiang，Henan，453007，China)

Abstract: The rapid development of Internet has promoted the rise of the modern distance education. And the construction of educational resources is the foundation for the development of the modern distance education. This paper analyses the status of educational resources and the problems it faced， introduces the basic concepts and structure models of cloud storage and the tools to build cloud storage. Finally， the framework of educational resources integration based on cloud storage is designed， implemented and tested.

Keywords: Cloud Storage; Educational Resource; Integration

編輯:山石