大數據時代下個人云資源柜的構建研究

【摘要】針對當前學習模式下海量數字教育資源的流轉過程中存在的不足，結合云存儲的特性提出了基于云存儲的個人云資源柜的構建，以期為教育大數據時代下的學生提供泛在的學習支持，提高學生的學習效率。文章重點闡述了由應用訪問層、管理層、存儲層等構成的個人云資源柜的系統體系結構、分層功能及實現過程。同時通過實驗模擬，對傳統模式和個人云資源柜支持下的兩種學習模式的效果進行了比較分析及性能測試。

【關鍵字】大數據；云存儲；資源柜；資源共享

一、研究背景

國家教育信息化十年發展規劃（2011-2020年）、國家中長期教育改革和發展規劃綱要（2010-2020年）在推進數字化校園建設中都提出要“建立優質數字教育資源和共建共享環境”，高校也紛紛加強數字教育資源及其平臺的建設與采購，數字教育資源建設受到越來越廣泛的重視，以網絡為載體的海量數字教育資源也成指數級增長，它們為學生由單一的課堂教學轉變成多種網絡教學平臺支撐下的數字化學習模式提供了基礎保障。隨著信息技術的快速發展，大數據時代對未來學習的理想模式提出了新的要求，泛在學習已逐漸成為下一代數字化學習的重要發展方向。但是目前各種教育資源的研究主要集中在師生如何從互聯網海量的資源中快速、準確的發現資源，而對之后資源的存儲、閱讀及后期的學習并沒有過多的關注和研究，即難以滿足目前泛在學習所要求的教育資源的永久性、可獲取性、即時性及交互性等。

二、當前數字教育資源存儲模式的不足分析

大數據時代下學生可獲取的海量數字教育資源在表現形式上、存儲格式上多樣化，如各類文獻資源、電子書籍、視頻資源、動畫類資源或是網頁等，但這些資源受制于通信、傳遞和傳播的物理距離以及信息集成商對資源的壟斷，來源方式多種。如電子書籍、文獻等資源主要以單位圖書館集中購買后建設數字圖書館，通過限定在局域網絡內為本單位用戶服務的管理模式；視頻、動畫等多媒體資源主要以單位集中采購、網絡搜集或是教師自建后架構多個資源平臺的模式為本單位用戶服務的管理模式。這些各單位獨立采購搭建來提供服務的傳統管理模式只能服務于本地用戶，數字教育資源的共享程度受制于人力、物力、財力和資源數量等，大數據的優勢也無法體現。因此為進一步促進資源共建共享的廣度與深度，各高校在原有的區域教學資源聯盟的基礎上利用各種云計算等新技術對大資源平臺建設進行了深入的研究，使得學生可以跨平臺、跨地域獲取更大范圍的數字教育資源。

現行或當前在研的教育資源存儲模式下師生獲取數字教育資源普遍采用登錄平臺將所需的資源下載后存儲至本地客戶機或是轉移至存儲設備、網絡存儲上；閱讀時讀者再從存貯了資源的存儲設備或網絡存儲上將資源復制遷移全客戶機并借助于客戶機提供的對應閱讀軟件進行學習。并無學習資源柜的概念。學習者學習時受制于地理位置和機器對象。無法滿足隨時隨地的移動泛在式的學習，學習效率不高。在資源保存上如果采用客戶機和存儲設備的保存方式遭遇硬件故障等意外情況會造成數據的丟失；如果采用將其存放到如FTP空間、網盤等網絡存儲上的模式，服務器故障會造成服務中斷甚至數據的丟失，并且由于當前網絡存儲只提供簡單的目錄管理功能，隨著學習過程的不斷累積，資源的不斷獲取，資源文件數量與大小急劇增長，存儲和管理也越來越混亂，學習效率低。

三、基于云存儲的個人云資源柜的模型設計與實現

面對大數據時代下這些數量龐大、形式豐富的數字化教育資源，構建一個基于云存儲的、提供高效安全管理等功能的個人云資源柜，將為解決海量數字教育資源獲取后存儲、學習過程中出現的問題、提高學生的學習效率提出了一個新的解決思路。

1 云存儲

云存儲是為了適應存儲和管理當前數據呈TB級速度增長的海量數據，通過集群應用、網格技術和分布式文件系統等技術，將網絡中大量各種不同類型的存儲設備通過虛擬化技術共同對外提供數據存儲和業務訪問功能的系統，是云計算的延伸與發展。與以往存儲方式不同的是云存儲并非是一個硬件設備意義上的云，它融合了網絡設備、存儲設備、服務器、應用程序、公共訪問接口、接入網和客戶端程序，為用戶提供存儲和數據訪問服務。通過服務提供商提供的云存儲服務，用戶無需考慮存儲設備的型號、磁盤的容量和類型，也無需考慮具體采用何種接口和傳輸協議及存儲和服務器之問的連接電纜等，即可快速建立自己的數據中心并將本地數據部署至網絡存儲，所有的授權用戶通過連接互聯網的終端設備即可連接至云存儲并訪問上面的數據。

2 個人云資源柜服務模型構建

隨著為信息提供載體服務的互聯網絡計算設備正以各種方式滲透到人們的生活中，人們也對信息服務提供的便捷、連貫性提出了進一步的要求。因此構建的個人云資源柜的目標是：在計算和通信無所不在的基礎上，面對多種終端設備的用戶能夠隨時隨地便捷的存儲和獲取所需的學習資料，進而連貫地學習以獲得知識。通過分析目前數字教育資源的流轉過程和各類資源平臺的特點，結合云存儲服務的特性，構建面向服務的層次化體系結構的個人云資源柜（如圖1），以滿足學生在急劇增長的海量教育資源的學習需要，自上而下由應用訪問層、管理層和存儲層等構成。

應用訪問層是直接面對用戶的層，任何一個獲得授權的用戶（教師、學生、單位、廠商、管理員等），借助接入互聯網的終端設備（如PC、手機、移動多媒體等）就可以在任何時間、任何地點通過瀏覽器或客戶端接入服務。普通用戶注冊申請個人云資源柜或是經統一身份認證后進入個人的云資源柜，實現資源訂閱服務、文件目錄的管理、個人資源庫的管理、個人共享資源的管理、資源導航服務及資源的學習等。管理員擁有包含資源、用戶、權限、監測、統計、資源推送服務等的管理。在應用服務層預留了標準化的API接口，為各種教育資源平臺（如文獻資源庫平臺、視頻點播平臺、課件資源平臺等）的接入提供了支持，為個人云資源柜的用戶提供了海量資源的導航。

應用訪問層是直接面對用戶的層，任何一個獲得授權的用戶（教師、學生、單位、廠商、管理員等），借助接入互聯網的終端設備（如PC、手機、移動多媒體等）就可以在任何時間、任何地點通過瀏覽器或客戶端接入服務。普通用戶注冊申請個人云資源柜或是經統一身份認證后進入個人的云資源柜，實現資源訂閱服務、文件目錄的管理、個人資源庫的管理、個人共享資源的管理、資源導航服務及資源的學習等。管理員擁有包含資源、用戶、權限、監測、統計、資源推送服務等的管理。在應用服務層預留了標準化的API接口，為各種教育資源平臺（如文獻資源庫平臺、視頻點播平臺、課件資源平臺等）的接入提供了支持，為個人云資源柜的用戶提供了海量資源的導航。

管理層是個人云資源柜云存儲的核心層，實現了底層的存儲設備與上層應用的無縫連接。通過集群系統、分布式文件系統及網格計算等技術，實現云存儲中的各個存儲設備間諸如存儲監控、調度、副本管理等的協同工作；利用內容發布、P2P技術實現數據的發布與傳輸，利用數據壓縮技術、數據比對技術實現冗余數據的刪減，為用戶提供更大更強更好的數據訪問性能；利用各種數據各份、數據加密、數據容災技術來保障教育資源數據的自身安全和服務的穩定。

存儲層是個人云資源柜云存儲的硬件層，用戶所關心的個人云資源柜的資源和支撐各種資源平臺的海量學習資源（如：文獻資源、視頻資源、課件資源、電子書、專題學習和其他資源）就存儲在其中。該層是云存儲最基礎的部分，為整個云存儲系統提供基本的網絡環境、物理存儲資源和邏輯存儲資源，它是由FC光纖通道存儲設備、NAS和iSCSI等IP存儲設備或SCSI、SAS等DAS存儲設備云存儲組成的海量數據池。系統中的存儲設備大部分由分散在不同地域的現有的存儲設備通過廣域網、互聯網、光纖等將其連接整合形成，運用統一的存儲設備管理系統將不同型號的存儲設備虛擬化整合成有機兼容的整體，實現存儲設備的虛擬化集中管理，以及硬件的狀態監控、故障維護和管理軟件的升級。

3 個人云資源柜的服務實現過程

對于用戶來說使用個人云資源柜服務主要側重于海量數據的上傳存儲及資源的讀取下載。鑒于存儲在個人云資源柜上的數字資源種類繁多、大小不一等特點，個人云資源柜在架構上采用大量廉價的服務器以Hadoop的具有高容錯、可伸縮和廉價存儲等優點的HDFS（Hadoop Distributed File System）方案組成存儲設備實現數據的存儲。HDFS采用主從式架構對大文件的存儲讀取具有較好的支撐，但山于NameNode內存開銷等問題對以海量小文件為主的數字資源地存儲和讀取支持并不理想，因此在個人云資源柜的服務實現過程中將對其做進一步的改進以提高性能（如圖2），其中CabServer端完成與客戶端的交互、內部小文件的判斷合并及與HDFS端的文件讀取存儲等交互工作。

資源存儲過程：首先用戶通過身份認證后進入個人云資源柜，根據資源性質建立資源所屬學科種類后向服務器端發送請求并提交本地資源的路徑，在CabServer端由Webserver接受存儲請求并判斷是否小于閥值（小于閥值認定為小文件），大文件通過HDFS客戶端將其存儲至HDFS，小文件則以時間為維度將各種時間靠近的小文件合并并生成標記小文件和大文件的對應索引Cablndex，HDFS客戶端將大文件信息發送給HDFS端，HDFS的NameNode根據DataNode節點信息借助HDFS客戶端中的大文件傳輸模塊將數據塊傳輸至指定的DataNode位置，傳輸成功后，發送成功標志tags給CabServer，完成Cablndex數據的文件映射、偏移等信息的更新，最后給用戶一個存儲成功的通知。

資源讀取過程：首先用戶通過身份認證后進入個人云資源柜，在資源柜目錄中選擇目標資料后，CabServer端的Webserver接受資源讀取請求并確認目標是否大文件，大文件通過HDFS客戶端從HDFS中的NameNode確定DataNode的ID后獲取目標資源，小文件則查詢CabServer端的Cablndex信息，獲取該小文件的文件偏移位置及該組文件在NameNode中映射位置，最終從HDFS端中J下確的DataNode數據節點獲取數據信息并返回給用戶。

個人云資源柜除了為用戶提供一個移動的電子書柜實現資源與本地讀取存儲交互外，還可作為各類部署在云計算平臺上的資源平臺的補充模塊，學生通過統一身份認證后從資源統一搜索模塊中搜索資源，即可將對接在資源平臺上所需的資源勾選加入至自己的個人云資源柜中；學生將個人云資源柜的資源設置共享后，各類教育資源平臺也可將其擴充至資源庫中，實現資源的共享。

四、實驗效果評價

實驗采用6臺主頻為2.27GHz，內存為4G，硬盤為500G的Fujistu RX300的機器，其中I臺為NameNode，5臺為DataNode。每臺機器安裝Ubuntu10.10的操作系統，部署的Hadoop版本為1.0，Java版本為JDKl.6，網絡環境是百兆以太網來構建云存儲環境。

依照實驗測試結果，分別對傳統資源模式與個人云資源柜模式下從移動學習效果、使用管理、資源安全可靠性、存儲可擴展性能等多個方面進行了比較（如表1）。學習效果上，較傳統資源模式，個人云資源柜學習模式下資源一次獲取后就終身享有并支持隨時隨地的閱讀；同時由于資源在云端的存儲不會由于客戶端硬件損壞而導致資源丟失，由于云存儲的冗余可靠性也不會由于資源平臺硬件損壞造成的服務中斷導致學生無法學習；并且云存儲的可擴展性也很好地滿足了海量資源對數據空間的需求。

個人云資源柜中在實際運行中將采用幾百臺數據節點構建的云存儲環境為用戶服務，通過云存儲的各種技術保證個人云資源柜服務的連續性，并支持學生可隨時隨地與個人云資源柜交互進行移動的泛在學習，所以在性能測試中將著重關注個人云資源柜上存儲、讀取文件的速度。圖3顯示了個人云資源柜中改進的HDFS方法與傳統HDFS方法在隨小義件數據量逐漸增大下數據隨機讀取耗時的對比，實驗對比結果表明改進的HDFS算法具有較好的性能。在數據的寫入上，傳統HDFS模式下存儲約1280000個小文件耗時11.7，而采用了將小文件合并成了大文件的算法對于NameNode與DataNode的交互次數極大的遏制，寫入耗時5.1小時，速度得到較為明顯的提升。

五、結束語

數字教育資源的合理保存與管理是數字化學習過程中不容忽視的一個重要環節，個人云資源柜借助云存儲技術較好地解決了學生獲取數字教育資源后的管理與學習問題。作為一個可擴展的模塊，資源柜可實現與其他資源平臺的對接，實現個人云資源柜中的資源與資源平臺的資源的互通有無，實現大數據時代背景下海量數字教育資源的集成共享。但在實際應用推廣中還需要考慮資源所有者的版權和成本問題，即應建立合理的成本補償體系，以確立各資源平臺上的資源在促進數字教育資源的共建共享體系中的地位與作用，從而明確各自可享受的權利與承擔的義務，為優質資源的健康成長提供保障，進而讓個人云資源柜的用戶可以持續的享受大數據時代下更多優質的、豐富的數字教育資源。