基于Hadoop的舊電腦機房改造與實驗內容更新

何 鵬, 吳 桐, 李靜輝

(齊齊哈爾大學 通信與電子工程學院, 黑龍江 齊齊哈爾 161006)

基于Hadoop的舊電腦機房改造與實驗內容更新

何 鵬, 吳 桐, 李靜輝

(齊齊哈爾大學 通信與電子工程學院, 黑龍江 齊齊哈爾 161006)

利用Hadoop技術將老舊電腦組成分布式集群,做成大數據處理平臺,并在此基礎上建成多媒體通信實驗室。該平臺具有數據采集、數據處理和用戶訪問功能,成為一個完整的實驗體系。平臺硬件主要由ARM、FPGA等開發板與攝像頭組成的IP攝像頭和電腦搭建的分布式集群組成,IP攝像頭獲取的數據通過分布式集群存儲,并通過交換機接入網絡。用戶能夠通過網頁客戶端對Hadoop分布式運算平臺進行訪問。

多媒體通信實驗室； 大數據平臺； 實驗室建設； Hadoop技術

為提高實驗教學水平,齊齊哈爾大學通信與電子工程學院對實驗設備進行了升級換代,有一批電腦、攝像頭、開發板等設備被淘汰。這些被淘汰實驗設備大多數依然能夠正常使用。學院根據此情況,利用大數據處理技術對這些舊設備進行了整合利用,將其建成了以Hadoop分布式集群為核心的多媒體通信實驗室。通過資源整合,實現網上、網下、移動終端等多種形式的資源共享,便于對教學過程進行挖掘和分析,便于學生對實驗結果進行分析,提高了多媒體通信實驗室的整體教學水平[1-2]。

1 實驗平臺的搭建

1.1 整體的架構

多媒體通信實驗室的核心部分是Hadoop分布式運算平臺。該平臺能夠將ARM等開發板處理后輸出的數據收集起來,通過多臺舊電腦所組成的分布式集群進行分布式存儲,并通過交換機連接外部網絡。教師和學生都能夠通過網頁客戶端訪問Hadoop分布式運算平臺。

1.2 總體規劃

實驗教學需要有一個完整的教學體系。本實驗室能夠將數據的采集、數據的處理和用戶的訪問3部分組合一起,學生不單能夠學習每一部分的知識,還能夠了解一個完整的項目結構。在實驗平臺的硬件搭建方面,主要是以ARM、FPGA、DSP開發板與模擬攝像頭相連接組成的IP攝像頭部分和由舊電腦所搭建的分布式集群兩部分組成。此外,教師和學生可以利用電腦、手機等終端設備通過網絡對實驗平臺進行訪問。

1.3 數據采集部分規劃

多媒體通信實驗室數據采集以視頻為主,音頻、文字數據采集為輔。多媒體通信實驗室主要利用學校各實驗室淘汰的模擬攝像頭和ARM、FPGA、DSP開發板,需要將模擬攝像頭與開發板相連接組成IP攝像頭，通過開發板的網線端口與交換機連接進入網絡。

1.4 分布式集群規劃

建設分布式集群[3-4]的主要目的是利用多臺舊電腦的無密碼訪問,將一個整體任務均分給集群中的各個子節點,讓每個子節點的電腦同時對任務進行處理,以提高效率。由于多媒體通信實驗室利用的舊電腦處理器主要為奔騰4處理器,而Hadoop適用于低成本的設備,所以這些舊電腦非常適用于搭建Hadoop分布式集群[5-6]。我們將40臺舊電腦平均分成4組實驗平臺,每組平臺用1臺電腦作為主節點NameNode,其余9臺作為子節點DataNode。分布式集群硬件拓撲圖如圖1所示。

圖1 Hadoop分布式集群拓撲圖

1.5 網絡整體規劃

Hadoop分布式集群中的子節點DataNode需要和所屬的主節點NameNode共同處在一個內網中；而主節點NameNode則安裝2個網卡,分別是用于與子節點連接的內網網卡和與外網連接的外網網卡。

1.6 網頁客戶端設計

當教師和學生在實驗室之外的地方時,可以通過手機、電腦、iPad等設備對實驗狀態進行監控。對于網頁客戶端的設計,多媒體通信實驗室利用的是基于J2EE的數據管理平臺。平臺的業務應用分為表示層、業務邏輯層和數據持久化層,需要用表示層來實現頁面的顯示,用業務邏輯層來實現對用戶請求的數據的業務處理。業務邏輯層操作數據庫也被單獨分離,使得各個層次之間的結構關系更加清晰[7]。通過J2EE設計Web與Hadoop分布式集群交互,以實現遠程監控功能。

而對于網頁客戶端,教師端與學生端的功能有所不同。教師端能夠同時對多媒體通信實驗室的實驗平臺進行監控；而學生端需要進行注冊,并且只能監控所注冊的實驗平臺的運行狀況。

2 集群功能與實驗設計

Hadoop分布式集群主要由分布式存儲和分布式運算兩部分組成。以往的實驗總是通過一臺電腦獨自進行處理并得出實驗結果；而利用舊電腦進行Hadoop分布式集群的搭建,使其作為一個整體來進行實驗工作,既使舊電腦得到重新利用,又使實驗課程得到更新。以往的實驗與分布式集群結合后,從實驗的豐富度和課程深度上都得到了提升。Hadoop分布式集群不僅能夠對視頻進行處理,而且對音頻、文字信息等數據都能夠進行分布式存儲與運算。

現階段,齊齊哈爾大學利用該多媒體通信實驗室開出多項實驗課程。

(1) IP攝像頭的設計。該實驗是將實驗室淘汰的模擬攝像頭與開發板組合設計成IP攝像頭。學生針對不同的開發平臺(如ARM,FPGA,DSP)需要學習不同的語言，并且在編寫過程中要注意對ONVIF、SIP協議的編寫[8-11]。

(2) 多媒體通信技術仿真實驗。該實驗介紹了當今多媒體通信遇到的主要問題與解決方法,詳細介紹幾種常見的多媒體通信技術,使學生學會利用分布式集群對視頻進行處理。實驗內容主要有視頻數據的存儲與播放、流媒體視頻文件的格式分類、視頻與音頻分組、對視頻和音頻進行壓縮與編碼等。

(3) 基于H.264的SVC流媒體實驗。該實驗讓學生利用軟件在單一電腦上使用不同碼率,分級感受視頻H.264編碼所帶來的視覺上的差別,通過分布式集群對視頻進行H.264 SVC編碼。

(4) 電聲實驗。實驗要求對于音頻進行處理,例如對音頻的分割、特征值提取等傳統實驗項目,要利用分布式并行運算對音頻進行處理。

(5) 圖像處理實驗。同音頻處理一樣,以往在實驗室中主要對圖像進行轉換為灰度圖、圖像切割、特征值提取等實驗；而在此實驗室中,學生需要在分布式集群下對圖像進行處理。

(6) 多媒體通信綜合實驗。在上述實驗課程的基礎上,要求學生將數據采集和數據的處理結合起來,利用所設計的IP攝像頭將視頻傳入Hadoop分布式集群中,再利用Hadoop分布式集群對視頻進行處理。例如完成視頻特征值的提取、視頻的分割和提取。

3 實驗室使用情況

多媒體通信實驗室主要對本校通信與電子工程學院學生開放。學生如果需要在多媒體通信實驗室學習,需要提出預約申請,每預約達到6人就可以組成一個學習小組,并為此學習小組分配一組實驗設備。學生使用多媒體通信實驗室，需要進行客戶端注冊才能夠在實驗室之外地方觀察Hadoop運行狀態(實驗室使用流程見圖2)。學生在進行實驗前需要撰寫預習報告；每完成一項實驗,還要撰寫實驗報告。

圖2 實驗室使用流程

4 結語

利用實驗室淘汰但還能夠使用的電腦、攝像頭、開發板等實驗設備,齊齊哈爾大學通信與電子工程學院創建了以Hadoop分布式集群為核心的多媒體通信實驗室,將以往的實驗在分布式集群上運行并升級為新的實驗課程,使以往只能在實驗室中進行的實驗,擴展為在有網絡的地方都能夠對實驗進行監控的個性化網絡實驗課程。該做法有助于培養學生的自主學習能力和創新實踐能力,對于實驗課程的改革起到了促進作用,也可供實驗課程體系改革、線上教學與線下教學一體化網絡教學借鑒。

References)

[1] 范文婷,熊曉英.以培養創新型人才為核心,探索國家級實驗教學示范中心建設[J].新聞世界,2012(1):162-163.

[2] 彭長宇,代顯華,劉曉琴.基于云平臺的公共實踐教學平臺建設[J].實驗技術與管理,2015,32(4):193-196.

[3] 姜曉輝,郭久武,王博,等.分布式集群處理環境平臺軟件技術研究[J].吉林大學學報(信息科學版),2015,33(3):331-337.

[4] 商景春.基于Linux集群的分布式進程通信系統的實現[J].移動信息,2015(12):00032.

[5] 鮑彤,陳維鋒,盧磊.基于Hadoop的分布式集群平臺構建方法研究[J].信息通信,2013(8):21-22.

[6] Borthakur D. The Hadoop Distributed File System: Architecture and Design[J].Hadoop Project Website,2007,11(11):1-10.

[7] 李曉波.基于Hadoop的海量視頻數據存儲及轉碼系統的研究與設計[D].杭州:浙江工業大學,2013.

[8] 徐飛明.基于ONVIF協議的NVR軟件平臺的設計與開發[D].杭州:浙江大學,2012.

[9] 李明學,田由輝,張雅君.ARM平臺嵌入式網絡視頻監控系統的實現[J].電子產品世界,2012,19(12):62-64.

[10] 代明清,韓強,鄧豹,等.基于ARM和FPGA的SiP系統級封裝設計[J].微型機與應用,2014(1):25-27.

[11] 莫飛.基于ONVIF標準的一體化智能網絡相機的設計與應用[D].武漢:華中科技大學,2015.

Reform of old computer room based on Hadoop and update of experimental contents

He Peng, Wu Tong, Li Jinghui

(Communication and Electronic Engineering Institute, Qiqihar University, Qiqihar 161006, China)

With the rapid development of hardware level, computer equipment updates are also faster than before. And with the upgrading of the performance of hardware devices, the software and system support for older computers are getting worse, out of the computer has been basically unable to support the normal operation of teaching software. How to use these devices to re-use is the problem which now many colleges and universities have to face . This paper will use Hadoop technology, assembly of old computers together, for the large data processing platform, and on this basis to build a multimedia communication laboratory for using of teachers and students.

multimedia communication laboratory; large data platform; construction of laboratory; Hadoop technology

10.16791/j.cnki.sjg.2017.05.035

2016-11-15

黑龍江省高等教育學會“十二五”教育科學研究課題青年專項(14Q097)；齊齊哈爾市科技局工業攻關項目(GYGG-201509)

何鵬(1970—),男(蒙古族),黑龍江肇源,博士,教授,碩士生導師,副院長,主要研究領域為圖像處理、生物信息檢測.

E-mail：paper507@163.com

TP274；G647

A

1002-4956(2017)5-0144-03