裴浩
摘 要:文中分析了大數據的現狀和高職計算機網絡專業的培養目標,基于大數據、云計算等技術,提出對專業課程體系的改革,并給出改革思路和核心課程Hadoop的實施。使得學生不僅能具備高級網絡的設計、管理能力,熟悉使用云平臺管理軟件,實施Hadoop平臺的構建和管理,還具備一定的大數據應用開發能力,成為具有大數據技術應用能力的高級技能型人才。
關鍵詞:計算機網絡專業;大數據;云計算;Hadoop
中圖分類號:G642.0;TP393 文獻標識碼:A 文章編號:2095-1302(2016)12-0-02
0 引 言
隨著云計算、物聯網以及“互聯網+”技術的興起,數據正以前所未有的速度在不斷增長和累積,互聯網大數據正在實時影響人們的工作、生活乃至社會發展。2012年 3月,美國奧巴馬政府公布“大數據研發計劃”,旨在提高和改進人們從海量、復雜的數據中獲取知識的能力,發展收集、儲存、保留、管理、分析和共享海量數據所需要的核心技術。2014年大數據高速發展,中國互聯網三巨頭BAT(百度、阿里、騰訊)紛紛建立大數據研究院、大數據實驗室等,提供大數據專業服務,一批大數據專業分析公司應運而生。我國的開放、共享和智能的大數據時代已經來臨,同時對專業人才的需求也日益增長。
大數據的發展與計算機網絡密切相關,因此適時調整高職計算機網絡專業方向的培養目標,可以更好的適應大數據發展要求。大數據背景下計算機網絡專業學生的目標是培養具有計算機網絡、大數據及云計算的專業知識,實踐能力強、職業道德素養高,具備云平臺的管理能力和網絡軟件開發能力,能夠從事網絡工程設計實施、網絡高級管理維護、網絡開發、云平臺組建及管理以及大數據存儲、計算及分析等崗位的高級技能型人才[1]。
1 大數據與云計算
根據維基百科的定義,大數據[2,3]是指無法在可承受的時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合。大數據主要具有4V特征[2],即數據體量巨大(Volume)、數據種類繁多(Variety)、流動速度快(Velocity)、價值密度低(Value)。
從技術角度上看,大數據必然無法用單臺計算機處理,必須依托云計算的分布式處理、分布式數據庫和云存儲、虛擬化技術。目前應用最為廣泛的大數據分布式處理平臺就是Hadoop,Hadoop是由Apache基金會所開發的分布式系統基礎架構,能夠對大量數據進行分布式存儲、分析和處理的云計算平臺,已經在網絡大數據領域得到了廣泛運用。例如Yahoo使用4 000個節點的Hadoop集群來支持廣告系統和Web搜索的研究;Facebook使用1 000個節點的集群運行Hadoop,存儲日志數據,支持其上的數據分析和機器學習;百度用Hadoop處理每周200 TB的數據,進行搜索日志分析和網頁數據挖掘工作;淘寶的Hadoop系統用于存儲并處理電子商務交易的相關數據。
2 課程體系改革研究
2.1 課程體系現狀
目前,高職院校計算機網絡專業類課程大多圍繞計算機網絡工程和計算機網絡開發兩條主線,主要課程包括網絡基礎、路由器及交換機配置與管理、Windows網絡服務器配置與管理以及動態網站開發相關技術等。這些課程內容傳統,課程內容嚴重同質化,教學內容已不能滿足大數據時代人才培養的要求,這些將直接影響學生的理論實踐能力和就業機會。
大數據、互聯網+、物聯網及云計算技術的發展和應用給高職計算機網絡專業人才培養帶來了新的要求與挑戰,與市場需求存在脫節現象。計算機網絡專業應緊跟大數據、云計算等先進技術的步伐,不斷進行專業課程的創新性研究,重視實踐類課程和教材的研發,適時調整人才培養目標和專業教學計劃,以期滿足工作崗位的實際要求。
2.2 研究思路
計算機網絡專業經過多年的發展,其課程體系比較成熟,形成了各自的特色教學。因此,本文的研究內容是對原有課程體系的補充和完善。
2.2.1 有針對性的進一步優化傳統的專業職業技能課程
傳統的專業職業技能課程已經比較成熟,經過了實踐的考驗,也已得到了學生的認可。盡管如此,還要有針對性的進一步優化,使得課程體系的理實比達到更優,提升課程教學實施的效果。
2.2.2 采用增加模式,補充完善課程體系
基于大數據和云計算技術研發新的職業技能課程,充實現有的課程體系。大數據和云計算緊密相聯,因此要增加云計算和大數據的理論和實踐課程。在研發課程的過程中,以崗位需求為導向,以培養技能型人才為目標,合理安排理論教學內容和課時,著重開發實踐教學案例和內容,明顯區別于本科課程教學設置。
2.2.3 課程體系相互作用,相互促進
網絡技術是大數據、云計算技術的基礎。因此計算機網絡傳統課程也是新研發課程的基礎。新研發課程既是傳統課程的有效實踐,又是對傳統課程的有效擴展和提升。
2.3 具體內容
由于大數據、云計算技術是基于網絡的技術,因此,計算機網絡專業人才培養具有先決條件。根據以上研究思路,具體方案主要包括強化現有課程體系,增加基礎理論課程、完善知識體系,增加實踐課程、鍛煉崗位能力三個部分。
2.3.1 強化現有課程體系
針對現階段存在的問題,學校應強化現有課程體系,使學生具有扎實的網絡管理能力和一定的網絡開發能力?,F有的課程體系使學生具備了相關能力。熟悉ISO/OSI互聯網模型,并掌握常見的互聯網協議如TCP/IP、ARP、OSPF、SSL、DNS、DHCP及HTTP等。能夠配置管理Windows和Linux服務器,熟悉使用常見的網絡命令,具備遠程網絡控制學習能力。掌握程序設計語言Java,具備Windows和Linux下的程序開發能力,包括編寫shell程序。能夠配置交換機和路由器,具備組建局域網的能力。熟悉信息安全、系統安全及網絡安全攻防技術。
2.3.2 增加基礎理論課程,完善知識體系
針對人才需求,增加大數據、云計算等基礎理論課程,完善知識體系。雖然大數據、云計算等課程教學的最終目的是培養實踐技能,但基礎理論仍非常重要,主要包括熟悉大數據的基礎概念和常見技術架構;熟悉云計算原理和架構,并了解虛擬化技術如KVM;熟悉分布式系統和分布式計算原理;了解大數據、云計算的最新應用。
2.3.3 增加實踐課程,鍛煉崗位能力
在課程體系設置中,實踐課程比例應超過理論課程。增加大數據、云計算等實踐課程,鍛煉學生的崗位能力。主要包括主流云平臺管理軟件的使用,如華為FusionSphere、VMWARE等;分布式系統管理、分布式并行計算以及Map/Reduce編程;Hadoop集群、HBase分布式數據庫的構建與管理;Hadoop、HBase等案例實踐與應用。
通過以上方法,使得計算機網絡專業學生在原有專業基礎上,掌握大數據和云計算的原理,具備云平臺的管理能力,并能基于Hadoop等云計算平臺實現大數據程序,對大數據進行計算分析。
2.4 Hadoop課程實施
通過以上分析可知,增加的課程內容主要是大數據、云計算相關課程,最終采用Hadoop云計算平臺相關技術實現大數據的存儲、計算與分析。通過理論教學,使得學生深入了解掌握大數據技術、云計算原理及Hadoop架構。通過實踐教學,使得學生能夠掌握Hadoop集群的配置與管理,并且能夠基于Hadoop實現大數據程序設計,使得學生具備基本的大數據處理能力。因此Hadoop課程是核心課程。
2.4.1 Hadoop原理
Hadoop是把大數據集分發到計算集群中各個節點上共同處理以實現大數據的快速處理。用戶無需了解分布式底層細節就可開發分布式程序,充分利用集群的威力進行高速運算和存儲。Hadoop最核心的設計是HDFS文件系統和MapReduce編程模型。HDFS為海量數據提供存儲,而MapReduce則為海量數據提供了計算。如圖1所示,Hadoop運行的基本過程如下[4,5]:
(1)客戶端可以將文件上傳至HDFS文件系統,NameNode則會根據文件大小和Block大小配置將文件的物理屬性分成若干個Block文件塊,并分布式存儲至DataNode數據節點,同時將塊存儲信息保存至NameNode節點,以方便文件進行資源管理。
(2)文件上傳完成后,客戶端提交具體Job任務至Hadoop集群,各DataNode節點根據任務要求可以讀取相應的文件Split,并完成Map和Reduce計算任務,將結果作為輸出文件傳輸至HDFS文件系統。
(3)在任務執行過程中,可以通過JobTracker、TaskTracker及ResourceManager監控任務的執行情況和資源消耗信息等。
2.4.2 Hadoop教學平臺配置與部署
Hadoop教學平臺需配置、部署一些部件。基于現有實驗室的計算機和網絡環境,網絡服務器系統采用Linux Ubuntu,構建Hadoop集群網絡?;贑loudera Hadoop開源框架實現Hadoop教學平臺。
2.4.3 Hadoop分布式文件存儲及大數據處理實現
Hadoop分布式文件存儲及大數據處理實現包括:HDFS文件系統的使用;HBase的使用;MapReducer程序實現;大數據案例分析與實現。
3 結 語
本文分析了大數據背景下高職計算機網絡專業的培養目標和課程體系的改革思路,在優化計算機網絡專業傳統課程的基礎上,增加大數據、云計算等相關課程,并以Hadoop課程的具體教學實施來培養學生的實踐能力,使得學生能夠緊跟大數據、云計算的技術步伐,滿足工作崗位的要求。
參考文獻
[1]趙偉艇,夏棟梁.基于崗位能力培養的云計算課程群知識體系構建研究[J].電腦知識與技術,2016,12(2):167-169.
[2]陶雪嬌,胡曉峰,劉洋.大數據研究綜述[J].系統仿真學報,2013(S1):142-146.
[3]孟小峰,慈祥.大數據管理概念技術與挑戰[J].計算機研究與發展,2013,50(1):146-169.
[4]王錚.基于Hadoop的分布式系統研究與應用[D].長春:吉林大學,2014.
[5]陳吉榮,樂嘉錦.基于Hadoop生態系統的大數據解決方案綜述[J].計算機工程與科學,2013,35(10):25-35.
[6]曾文英,吳積軍,曾文權,等.基于云計算的IT課程體系改革[J].計算機教育,2014(17):40-44.
[7]鮑愛華,陳衛衛,劉鵬,等.云計算課程內容體系的建設與實踐[J].計算機工程與科學,2014,36(A02):42-45.
[8]方娟,劉建麗,梁毅.依托云計算平臺的計算機硬件課程體系改革與創新[J].計算機教育,2014(17):36-39.
[9]張燕南,趙中建.大數據時代思維方式對教育的啟示[J].教育發展研究,2013(21):1-5.