面向中小學的低成本低功耗大數據存儲設計

摘要：大數據的應用正在逐漸滲透到人類社會生活工作的各個領域，當前中小學教育經費有限，通常承擔不起高成本的大數據系統設計。因此，本文考慮中小學的教育現狀，提出一種低成本低功耗的分布式大數據存儲系統。對于新時期中小學的教育和發展來說意義重大。

關鍵詞：大數據；中小學教育；數據存儲；低成本

一、 引言

自2012年以后，大數據（big data）的應用逐漸滲入到人類社會日常生活工作的各個領域，其中海量、高增長率和多樣化的信息資產，通用大數據的統計和分析，給人類提供了更強的決策力，更透明的洞見發現力，更有效的流程優化能力。現階段，大數據主要應用在消費類人群，很少有人研究如何將大數據應用到現在中小學教育中。在我國現階段，作為基礎教育的中國，教育經費絕大部分由國家支出，導致基礎教育系統的經費有時出現緊缺，沒有足夠的資金注入到新型技術的開發與應用中。但是，大數據對現在中小學的教育有極大的意義。例如，針對每個學生學習中存在的問題、老師以及家長的意見反饋信息，可以通過有關大數據的分析，找出其相關數據的特異性，從而為每一名學生定制符合自身實際的特有的學習和復習計劃。通過此種大數據的分析，彌補學生在學習中的不足，特別是減少對老師的依賴，提高自身學習的主動性與有效性，提高學生的學習效率，達到理想的成績。因此，本文針對中國現有的中小學教育經費有限的教育國情，提出了一種低成本，低功耗的大數據存儲和設計方案，將有效的、符合現階段教育實際的大數據應用到目前的基礎教育中，對現階段的中小學的教育和發展意義重大。

二、 低成本大數據存儲架構

現階段，中小學教育中大數據的應用面對的主要問題是設計的成本問題。因為基礎教育的資金不充足，并且還有不小的缺口，同時，直接采購大容量的數據存儲服務器成本太高。故降低成本或者是以最低的成本設計大數據的存儲架構是設計中的核心問題。圖1描述了本文提出的面向中小學教育中的低成本低功耗大數據的存儲架構。本設計中，采用的是主流的面向大數據的分布式文件系統（HDFS）架構。本設計中主要包括三部分主要內容，一是元數據管理器，二是元數據節點，三是大數據的用戶（教師、家長和學生）和數據節點（活動數據節點和存檔數據節點）。元數據管理器是大數據分布式文件系統（HDFS）的核心部件，其作用和人類的大腦類似，負責管理和協調大數據的其他個部分。元數據管理器負責接收用戶的數據查詢和用戶數據接點的數據存儲管理。他內部以表格的形式記錄了用戶數據存儲的磁盤位置。用戶端是大數據應用中的數據源頭，所有的數據存儲和訪問都是通過用戶端產生的。元數據管理器也是針對用戶端產生的數據進行存儲和管理。用戶端在大數據存儲和管理中同時起著中間人的角色。用戶端進行數據的訪問和存儲時，首先通過和元數據管理器進行通信交互。系統設計中的數據節點分為元數據節點和用戶數據節點。

圖1低成本大數據存儲架構

三、 低成本和低功耗存儲設計

傳統的商業設計中，會進行三份冗余，本地冗余和異地冗余，為達到高可靠性的設計分布式存儲設計。但三份冗余需要更多的硬件設備，必然會增加額外的成本，這對當前的中小學教育的資金來說是一個不太可以接受的因素。相對于傳統的大數據存儲方案，我們設計了一種存檔的管理方法，以提供一種低成本的設計方案。如圖1所示，元數據管理器使用表格中的數據項記錄數據的存儲位置。表格通常由3個數據項組成：數據的唯一存儲標號（ID）、數據的當前存儲位置（Location）和數據的存檔位置。當用戶需要進行數據的存儲或讀取時，用戶首先將要訪問的數據路徑或目錄通過網絡傳遞給元數據管理器。隨后，元數據管理器根據用戶請求ID查詢數據的存儲位置并返回給用戶。新來的數據請求會優先存儲在活動數據節點中，因為活動數據節點可以提供高可靠性和高性能的存儲服務。活動節點的存儲代價會相對較高，因此設計中采用較少的活動節點。與活動節點對應的是存檔數據節點。

低成本的數據存儲節點是存檔數據節點利用的關鍵，比如學校淘汰的舊計算機，來搭建數據存儲單元，從而實現降低存儲成本的目的。存檔數據節點是存儲數據的低成本設計的核心部分，一般由傳統的機械硬盤組成。考慮到中小學對低成本的需求，以及對高速的數據存儲依賴性并不是太強烈，設計中只采用傳統的機械硬盤。這些傳統的機械硬盤可以從以前廢舊的電腦上直接獲取，然后通過網絡講他們組建成分布式存儲系統。設計中為降低成本，如果采用比較舊的硬盤，由于舊硬盤的不穩定性，導致存儲的數據容易出現數據錯誤，甚至產生不可恢復的數據損壞。但是，在設計中為保證數據節點的可靠性，采用冗余的策略來處理，通過這種冗余的機制，通過對相同的數據進行不同節點的備份來實現大數據的可靠性與安全性。在大數據處理過程中，如果一份數據出錯，通過設計的冗余機制，就可以實現利用備份的數據來進行恢復，從而提高數據的可靠性。

四、 結語

大數據對現在的中小學教育有重要和深遠的意義，但有限的教育科研經費往往無法使大數據有效地應用到中小學教育中。總之，本文針對目前中國中小學教育存在的經費不足的問題，提出了一種有效的可操作性強的低成本低功耗的大數據存儲設計方案。隨著本文對大數據在中小學應用的提出，相信未來會有更多的研究探索如何有效地將大數據應用到現在中小學教育中。

參考文獻：

[1]孟小峰，慈祥.大數據管理：概念、技術與挑戰[J].計算機研究與發展，2013（1）：146-169.

[2]王元卓，靳小龍，程學旗.網絡大數據：現狀與展望[J].計算機報，2013，6（06）：1125-1138.

作者簡介：

陳雨筱，山東省濰坊市，山東省昌樂第一中學。