基于Hadoop的英語輔助教學云平臺的構建

李潔　鐘銳

摘 要： 目前傳統網絡英語教學方法互動性不足，無法同時滿足學生不同的英語學習需求，傳統網絡英語教學平臺采用的是單服務器模式，無法負荷大量學生對教學資源的同時訪問。本文通過使用Hadoop平臺軟件，通過對該平臺軟件的配置，實現英語輔助教學云平臺的搭建，在所搭建的輔助教學云平臺中添加優質的英語教學資源，實現大量學生同時訪問，有效提高學生的學習興趣與自主學習能力。

關鍵詞： Hadoop 云計算 英語輔助教學云平臺

云計算是傳統的分布式計算技術與網絡技術共同發展融合而成的產物，具有高度可靠性、通用性、可擴展性及成本低廉等諸多優勢。因此，云計算經過近幾年的快速發展，已經被廣泛應用于各行各業。目前有很多開源的云計算平臺軟件：Hadoop、Eucalyptus、Enomalism、MongoDB等。其中Hadoop是當前應用最為廣泛的云計算平臺之一，該平臺基于Google的MapReduce的編程模型包發展而成，現已迅速發展成為大數據分析的領先平臺。在英語教學方面，由于涉及聽說讀寫等多個模塊，每個學生針對不同的模塊有不同的側重點。如果采用傳統課堂教學方式，將無法滿足學生對英語教學中各技能的訓練需求，不能有效提高學生的學習積極性。同時，英語教學涉及的學生人數眾多，英語教學資源多為視頻、音頻等資源，傳統輔助教學平臺無法負荷大量學生同時對以上資源的訪問。因此，在本項目中采用Hadoop構建英語輔助教學云平臺，通過在所構建的輔助教學云平臺中添加優質的英語教學資源，增加師生互動的網絡英語版塊，提高學生的學習興趣與自主學習能力。

1.Hadoop平臺的系統架構

Hadoop是一款開源的云計算平臺軟件，由Apache基金會所開發，由于其具有擴展性強、成本低、可靠性高等優點，目前被廣泛應用于各領域。Hadoop主要由三部分構成：Map/Reduce分布式計算框架、分布式文件系統HDFS（Hadoop Distributed File System）和分布式數據存儲HBase（Hadoop Database）。Hadoop能夠在低端的硬件平臺上搭建云計算環境的基礎服務與接口API。同時由于Hadoop采用Java進行開發，因此能夠兼容多種操作系統，移植性較高。

1.1Map/Reduce分布式計算框架。云計算的核心技術為分布式并行計算，Map/Reduce分布式計算框架是Hadoop平臺的分布式編程模式。其具體的工作流程如下所示：

Step1：將需要運行的程序調用Map/Reduce分布式計算框架，把輸入的數據分割成與Map主機數目相同的n個部分數據塊，并將劃分好的數據塊分配給所有Map主機；

Step2：由Master主機對任務進行分配，將Map任務分發給Slave主機進行分布式并行計算，最后由Reduce主機對Slave主機所得出的計算結果進行合并。

Step3：每一臺被分配了Map任務的Slave主機計算出一組鍵值對〈key，value〉，所有這些鍵值對為當前任務的中間結果。

Step4：將Slave主機計算出來的中間結果送入Reduce主機中進行結果的整理與合并，得出當前任務的最終結果。

從以上Map/Reduce分布式計算框架的工作流程可以看出，該計算框架的兩個核心步驟為任務映射Map結果整合Reduce，通過調用Hadoop云計算平臺中的映射函數（Map）與整合函數（Reduce），實現Map/Reduce的核心功能。

1.2分布式文件系統HDFS。HDFS系統采用的是Master/Slave架構，該架構由命名節點（NameNode）、數據節點（DataNode）和客戶端（Client）構成。其中命名節點是分布式文件系統的核心部分，主要用于控制客戶端對文件系統的管理與訪問。當使用Hadoop平臺實現基于的云計算管理平臺時，在命名節點的統一調度下對數據進行分塊、刪除及復制等操作。數據節點則主要負責數據的存儲，同時HDFS為每一個數據塊創建多個副本，確保數據的高度可靠性。

1.3分布式數據存儲HBase。HBase在分布式文件系統HDFS之上實現一種非結構化數據存儲的數據庫，該數據庫中的數據不像傳統的數據庫表中存在大量的關聯關系，HBase中存儲的數據為松散數據，在該數據庫中，每一個數據行都具有一個可供選擇的鍵與不限定數量的列。在該數據庫中創建的表可以根據需要為每一行定義不同列的屬性，具有很強的靈活性，對于一個復雜的數據庫項目具有很好的實用性，能夠極大地簡化數據庫設計與升級的成本開銷。同時分布式計算框架Map/Reduce為HBase提供了強大的計算能力，使之實現高速的數據檢索。

2.英語輔助教學云平臺的系統框架

為了搭建有效的英語輔助教學云平臺，采用Browser/Server模式搭建該平臺，將搭建的英語輔助教學云平臺中的數據存儲、分布式計算及用戶體驗進行模塊化處理，使每個模塊之間都相互獨立。為此，本項將該平臺劃分為三個層次，分別為教學資源存儲層、學習評價層和用戶訪問層，每一層具體完成的功能如下：

2.1教學資源存儲層：該層采用Hadoop平臺實現，使用Hadoop平臺中HBase作為教學資源的存儲數據庫，將各種有利于英語教學的音頻、視頻、圖像等數據存儲于該數據庫，應用Hadoop平臺的分布式特性，實現以上教學資源的分布式存儲，當以上教學資源存在大量的并發讀取、寫入及查詢等操作請求時，則調用Hadoop平臺中的分布式計算框架Map/Reduce為HBase提供高速并行的計算能力。

2.2學習評價層：在該層使用數據挖掘中的聚類、關聯規則、貝葉斯分類等算法，設計出高效可靠的學習評價算法。該算法能夠對學生使用英語輔助教學云平臺時的使用效果進行評價，并根據學生的使用情況為學生提供詳細的學習建議，同時為教師提供學生在整個學習過程中存在的主要問題。

2.3用戶訪問層：該層是學生與教師訪問的人機交互接口，該接口采用Web界面實現，該界面能夠為學生和教師提供簡潔明了的資源訪問與操作界面。

3.基于Hadoop的英語輔助教學云平臺的配置

在搭建本項目的英語輔助教學云平臺時，需要使用的硬件為10臺PC機，將其中1臺PC機作為Hadoop Master，將其設置為云平臺的NameNode和JobTracker，剩余的9臺作為Hadoop Slave，設置為云平臺的DataNode和TaskTracker。具體的配置步驟如下所示：

Step1：為以上10臺PC機安裝Ubuntu Linux操作系統，并為每一臺PC機設置用戶賬號及密碼，通過網絡將所有PC機進行互聯，為所有PC機設置IP地址，確保每一臺PC機之間都能進行互相通信，并能使用所設置的用戶賬號和密碼對所有PC機進行訪問與管理。

Step2：在Hadoop的官方網站上下載最新版本的Hadoop云計算平臺軟件，為每一臺主機安裝上該云計算平臺軟件，并在Hadoop平臺中設置Hadoop的用戶賬號，由Master主機通過Hadoop賬號和密碼對Slave主機進行任務調度與管理。

Step3：為每一臺PC機安裝系統必備軟件，需要安裝Java SDK、Java plugin、SSH、SSH Server及rsync同步軟件。

Step4：對Hadoop云計算系統進行配置，需要確保Mater主機與Slave主機的設置相同，應用SSH密鑰證書以加密的形式，將hdp0主機上的基本配置分發給其他主機。

Step5：對Hadoop安裝目錄下的系統設置文檔進行編輯，將主機hadoop1中的設置文檔進行編輯，將該主機設置為Master主機，并將其配置為NameNode與JobTracker。對其余的主機中配置文檔進行編輯，設置為Slave主機，并配置為DataNode與TaskTracker。

Step6：在Master主機上應用Hadoop指令對NameNode進行格式化，當格式化完成后，通過在瀏覽器中訪問http：//hadoop1：60021對NameNode的運行狀態進行檢查，通過訪問http：//hadoop1：60040對JobTracker的運行狀態進行檢查。

4.基于Hadoop的英語輔助教學云平臺的性能測試

為了對搭建的英語輔助教學云平臺的性能進行測試，通過在云計算平臺上傳一部大小為1GB的英文電影文件。為了測試學生的聽力水平，學生觀看完該英文電影文件后設置20個問題，將該測試掛在某學校的主頁鏈接，召集1000名學生同時對該測試鏈接進行訪問，以測試該平臺的并行處理能力，具體的實驗結果如下表所示。

從上表的數據分析可以看出，使用云計算技術構建的英語輔助教學云平臺，極大地降低了系統訪問的延時，當訪問人數達到1000人時，系統延時為6s。而采用傳統的單服務器模式構建英語輔助教學平臺，當并發人數達到800人時，系統就出現無法訪問的情況，可見云計算技術的使用，極大地提高了英語輔助教學平臺的可靠性與實時性。

5.結語

目前云計算技術已經深刻地影響教育信息化的發展進程，越來越多的教育手段通過云計算技術進行推廣。本文采用Hadoop構建英語輔助教學平臺，詳細介紹該云計算平臺的工作原理與部署策略，并對該平臺的性能進行測試，取得較好的實驗結果。如何充分利用該平臺及在此平臺中開發出更高效的英語輔助教學應用，是今后進一步研究的重點所在。

參考文獻：

[1]蔣寧，李文，李鴻彬.基于Hadoop的云計算輔助教學平臺研究[J].中國遠程教育，2012.（9）：79-82.

[2]洪沙，楊深遠.云計算關鍵技術及基于Hadoop的云計算模型研究[J].軟件導刊，2010，9.（9）：9-11.

[3]王皎，呼明亮.基于Hadoop云計算平臺的資源搜索系統[J].電腦知識與技術，2014，10.（19）：4463-4465.