面向數(shù)據(jù)工程師培養(yǎng)的軟件工程專業(yè)課程群建設(shè)

應(yīng)毅+任凱+顧問(wèn)

摘 要：大數(shù)據(jù)和云計(jì)算是當(dāng)前IT行業(yè)兩個(gè)最大的創(chuàng)新，新技術(shù)的高速發(fā)展帶動(dòng)人才需求的高速增長(zhǎng)。在分析計(jì)算機(jī)專業(yè)人才培養(yǎng)現(xiàn)狀的基礎(chǔ)上，提出在軟件工程專業(yè)下設(shè)置數(shù)據(jù)工程方向；對(duì)應(yīng)用型數(shù)據(jù)工程師的能力培養(yǎng)進(jìn)行剖析，給出數(shù)據(jù)工程課程群的整體設(shè)計(jì)，詳述實(shí)驗(yàn)課和實(shí)驗(yàn)室建設(shè)的思路和方法。

關(guān)鍵詞：大數(shù)據(jù)；云計(jì)算；軟件工程；數(shù)據(jù)工程；課程群設(shè)計(jì)

文章編號(hào)：1672-5913（2017）05-0025-05

中圖分類號(hào)：G642

1 背 景

近10年來(lái)，信息呈爆炸式增長(zhǎng)。據(jù)EMC公司的“Digital Universe”項(xiàng)目統(tǒng)計(jì)，2011年和2012年全球新增數(shù)據(jù)總量分別為1.8ZB和2.8ZB[1-2]，2013年數(shù)據(jù)總量高達(dá)4.4ZB[3]。Gartner認(rèn)為“大數(shù)據(jù)是需要新的處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)”。它已經(jīng)成為一種重要的戰(zhàn)略資源，引起了各國(guó)政府、工業(yè)界和學(xué)術(shù)界的高度關(guān)注。2012年3月奧巴馬政府宣布啟動(dòng)“大數(shù)據(jù)研究與開發(fā)計(jì)劃”[4]；2015年8月國(guó)務(wù)院通過(guò)《關(guān)于促進(jìn)大數(shù)據(jù)發(fā)展的行動(dòng)綱要》[5]。

從2009年起，云計(jì)算技術(shù)開始迅猛發(fā)展，它是一種基于互聯(lián)網(wǎng)的、大眾參與的計(jì)算模式，其計(jì)算資源是動(dòng)態(tài)、可伸縮、被虛擬化的，且以服務(wù)的方式提供。如今云計(jì)算已成為企業(yè)實(shí)力競(jìng)爭(zhēng)的核心以及國(guó)家競(jìng)爭(zhēng)和戰(zhàn)略發(fā)展的核心，我國(guó)政府在《國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展第十二個(gè)五年規(guī)劃綱要》[6]中指出要大力發(fā)展新一代信息技術(shù)，重點(diǎn)發(fā)展云計(jì)算、物聯(lián)網(wǎng)、高端軟件等產(chǎn)業(yè)；美國(guó)政府也于2011年出臺(tái)《聯(lián)邦云計(jì)算戰(zhàn)略》[7]。

大數(shù)據(jù)和云計(jì)算是目前IT行業(yè)兩個(gè)最大的創(chuàng)新，它們將改變商業(yè)管理的方式并從最重要的信息資產(chǎn)中獲取相應(yīng)的價(jià)值，二者之間的相互需求與密切關(guān)系已得到公認(rèn)。傳統(tǒng)的單機(jī)技術(shù)在處理大數(shù)據(jù)時(shí)遇到了瓶頸，需要借助云計(jì)算平臺(tái)的大規(guī)模數(shù)據(jù)存儲(chǔ)環(huán)境和并發(fā)計(jì)算能力來(lái)破解。云計(jì)算通過(guò)整合軟硬件資源，使用負(fù)載均衡、虛擬化、并行計(jì)算、網(wǎng)絡(luò)存儲(chǔ)、統(tǒng)一管理等技術(shù)手段，實(shí)現(xiàn)了IT服務(wù)的無(wú)縫化、定制化和彈性服務(wù)，可以使大數(shù)據(jù)平臺(tái)的復(fù)雜性大為降低，能方便地存儲(chǔ)與處理異構(gòu)系統(tǒng)中的海量數(shù)據(jù)，提升資源的利用效率。

2 計(jì)算機(jī)專業(yè)人才培養(yǎng)現(xiàn)狀

在大數(shù)據(jù)和云計(jì)算產(chǎn)業(yè)高速發(fā)展的背景下，計(jì)算機(jī)專業(yè)的高等教育凸顯出以下兩大問(wèn)題。

（1）新技術(shù)人才需求缺口大。麥肯錫全球研究院在2011年5月發(fā)表的報(bào)告中指出，預(yù)計(jì)美國(guó)具備數(shù)據(jù)高級(jí)分析技能的人才供給量，到2018年將產(chǎn)生14～19萬(wàn)人的缺口[8]。研究機(jī)構(gòu)IDC在2012年的調(diào)查發(fā)現(xiàn)，亞太地區(qū)的云計(jì)算相關(guān)人才年需求增長(zhǎng)率為32%，到2015年人才缺口將達(dá)到230萬(wàn)人[9]。中國(guó)軟件開發(fā)聯(lián)盟CSDN發(fā)布的《2014年IT企業(yè)招聘趨勢(shì)調(diào)研報(bào)告》[10]指出，大數(shù)據(jù)、云計(jì)算技術(shù)崗位市場(chǎng)需求比例為6.65%； 《2015年IT人才招聘趨勢(shì)分析》[11]指出，該類職位平均薪酬高達(dá)33萬(wàn)元/年，人才稀缺且身價(jià)昂貴。

（2）技術(shù)人才培養(yǎng)與社會(huì)需求脫節(jié)。傳統(tǒng)IT類專業(yè)學(xué)生就業(yè)越來(lái)越困難。麥可思研究院在2013年發(fā)布的中國(guó)大學(xué)生就業(yè)報(bào)告中指出，2012屆IT相關(guān)專業(yè)的本科畢業(yè)生半年后失業(yè)率為8.5%，計(jì)算機(jī)科學(xué)與技術(shù)、信息管理與信息系統(tǒng)、電子信息科學(xué)與技術(shù)等專業(yè)就業(yè)情況被亮黃牌[12]。

以上兩個(gè)問(wèn)題不僅造成計(jì)算機(jī)專業(yè)畢業(yè)生就業(yè)壓力加劇，也嚴(yán)重制約了我國(guó)新技術(shù)產(chǎn)業(yè)的發(fā)展。

2011年，軟件工程被增設(shè)為一級(jí)學(xué)科（專業(yè)代碼為0835）。軟件作為經(jīng)濟(jì)建設(shè)、日常工作及社會(huì)生活中不可缺少的重要工具，已滲透到各個(gè)應(yīng)用領(lǐng)域，在高等教育中也產(chǎn)生了許多專業(yè)方向，如軟件開發(fā)、軟件測(cè)試、移動(dòng)開發(fā)、服務(wù)外包等。作為交叉性極強(qiáng)的學(xué)科，大數(shù)據(jù)應(yīng)用涉及數(shù)學(xué)、統(tǒng)計(jì)學(xué)、計(jì)算機(jī)技術(shù)、經(jīng)濟(jì)學(xué)、行業(yè)知識(shí)等各個(gè)領(lǐng)域，與傳統(tǒng)的計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)和當(dāng)前的軟件工程專業(yè)差別較大，考慮到大數(shù)據(jù)技術(shù)的重要性，可以將數(shù)據(jù)工程設(shè)置為軟件工程學(xué)科的一個(gè)專業(yè)方向，主動(dòng)適應(yīng)經(jīng)濟(jì)社會(huì)發(fā)展需要，促進(jìn)學(xué)生就業(yè)，為大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展奠定人才基礎(chǔ)。

3 數(shù)據(jù)工程師的能力培養(yǎng)

大數(shù)據(jù)時(shí)代的到來(lái)，加劇了培養(yǎng)相關(guān)專業(yè)人才的緊迫性。當(dāng)前，國(guó)內(nèi)外部分高校已經(jīng)開始進(jìn)行大數(shù)據(jù)及云計(jì)算專業(yè)人才的培養(yǎng)。美國(guó)有60多所大學(xué)、歐洲有30多所大學(xué)、全球有近170所大學(xué)開設(shè)了大數(shù)據(jù)相關(guān)專業(yè)，其中約150所大學(xué)開設(shè)了碩士研究生以上的學(xué)位課程[8]。國(guó)內(nèi)有少數(shù)重點(diǎn)院校，如上海交通大學(xué)、浙江大學(xué)、中國(guó)人民大學(xué)和北京航空航天大學(xué)，也開始嘗試培養(yǎng)大數(shù)據(jù)及云計(jì)算專業(yè)人才。然而，這些知名高校絕大多數(shù)是在碩士研究生以上層次，圍繞商業(yè)數(shù)據(jù)分析和數(shù)據(jù)科學(xué)范疇進(jìn)行研究型人才的培養(yǎng)，應(yīng)用型院校開設(shè)相關(guān)專業(yè)進(jìn)行工程人才的培養(yǎng)還非常欠缺。新建本科院校應(yīng)以服務(wù)區(qū)域經(jīng)濟(jì)發(fā)展為主，著力培養(yǎng)能在生產(chǎn)和工程第一線從事工程實(shí)施和管理的應(yīng)用型工程師，而軟件工程專業(yè)數(shù)據(jù)工程方向所培養(yǎng)的數(shù)據(jù)工程師就是能使用云計(jì)算平臺(tái)進(jìn)行大數(shù)據(jù)分析和應(yīng)用的新技術(shù)人才。

早期高校培養(yǎng)的是“I型”專業(yè)人才，注重知識(shí)和技術(shù)的深厚；之后，大學(xué)強(qiáng)調(diào)培養(yǎng)“T型”通用人才，除加深專業(yè)知識(shí)外，還強(qiáng)調(diào)知識(shí)面的擴(kuò)展。在大數(shù)據(jù)時(shí)代，數(shù)據(jù)處理將更為復(fù)雜，只有那些具備統(tǒng)計(jì)分析、數(shù)據(jù)庫(kù)、分布式計(jì)算、編程技能和相關(guān)專業(yè)知識(shí)的人才，才能把混亂龐雜的數(shù)據(jù)轉(zhuǎn)化為有價(jià)值的資源；也只有那些能夠深刻理解大數(shù)據(jù)并懂得如何利用和分析大數(shù)據(jù)的人，才有更大的競(jìng)爭(zhēng)優(yōu)勢(shì)。因此，當(dāng)前更需要的是具備多種能力的復(fù)合型人才，數(shù)據(jù)工程專業(yè)方向要培養(yǎng)的是“技術(shù)+業(yè)務(wù)”的“Π型”復(fù)合人才。

應(yīng)用型工程師區(qū)別于研究型人才的關(guān)鍵在于培養(yǎng)人才的工程能力，強(qiáng)調(diào)動(dòng)手能力和解決實(shí)際問(wèn)題的能力。教師可通過(guò)分布式存儲(chǔ)和海量數(shù)據(jù)管理、并行編程和大數(shù)據(jù)分析挖掘、PaaS平臺(tái)應(yīng)用3方面的能力訓(xùn)練，培養(yǎng)掌握設(shè)計(jì)、開發(fā)和調(diào)優(yōu)技能的數(shù)據(jù)分析工程師以及掌握規(guī)劃、安裝和管理大數(shù)據(jù)環(huán)境的運(yùn)維工程師。

4 數(shù)據(jù)工程課程群設(shè)計(jì)

課程群的建設(shè)不是簡(jiǎn)單的概念組合和課程堆積，尤其是針對(duì)新技術(shù)方向，須從實(shí)際應(yīng)用角度系統(tǒng)地對(duì)教學(xué)內(nèi)容進(jìn)行再設(shè)計(jì)，對(duì)相關(guān)課程的結(jié)構(gòu)、關(guān)聯(lián)性和實(shí)踐環(huán)節(jié)進(jìn)行整體優(yōu)化。數(shù)據(jù)工程是一個(gè)典型的交叉學(xué)科，涉及眾多領(lǐng)域，如數(shù)學(xué)和統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫(kù)與數(shù)據(jù)挖掘、分布式系統(tǒng)、計(jì)算機(jī)編程語(yǔ)言等，所以它的人才培養(yǎng)體系較為復(fù)雜。根據(jù)“Π型”復(fù)合人才的培養(yǎng)要求，課程群以云計(jì)算作為技術(shù)平臺(tái)，以大數(shù)據(jù)應(yīng)用作為業(yè)務(wù)領(lǐng)域，對(duì)教學(xué)體系進(jìn)行整體設(shè)計(jì)和構(gòu)建。

數(shù)據(jù)工程課程群劃分為4條課程主線，每條課程主線包含如下若干門專業(yè)課。

（1）操作系統(tǒng)與網(wǎng)絡(luò)：操作系統(tǒng)原理、計(jì)算機(jī)網(wǎng)絡(luò)和Linux操作系統(tǒng)；

（2）云計(jì)算與并行編程：云計(jì)算基礎(chǔ)、云基礎(chǔ)架構(gòu)與虛擬化、Java程序設(shè)計(jì)以及Hadoop與分布式系統(tǒng)；

（3）數(shù)據(jù)庫(kù)與數(shù)據(jù)挖掘：數(shù)據(jù)庫(kù)原理、MySQL與關(guān)系數(shù)據(jù)庫(kù)、NoSQL與云數(shù)據(jù)庫(kù)以及數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘；

（4）大數(shù)據(jù)及其統(tǒng)計(jì)分析：統(tǒng)計(jì)學(xué)原理、大數(shù)據(jù)概論、大數(shù)據(jù)分析與挖掘以及R語(yǔ)言。

整個(gè)課程群還涉及幾門平臺(tái)基礎(chǔ)課，即計(jì)算機(jī)組成原理、數(shù)據(jù)結(jié)構(gòu)和概率論與數(shù)理統(tǒng)計(jì)，還包含少量選修課，如商業(yè)智能和數(shù)據(jù)可視化。數(shù)據(jù)工程課程群中課程設(shè)置的先后關(guān)系大致如圖1所示。

由于計(jì)算機(jī)學(xué)科本身專業(yè)課程多、課時(shí)量大，在課程總學(xué)時(shí)不變的情況下，可能無(wú)法完成上述所有課程。為此，可將數(shù)據(jù)工程專業(yè)的專業(yè)課分成云計(jì)算課程模塊、大數(shù)據(jù)課程模塊以及技術(shù)要求更高的選修課。教師可根據(jù)學(xué)生的具體情況，選擇一個(gè)課程模塊進(jìn)行培養(yǎng)，將專業(yè)選修課提供給有興趣和學(xué)有余力的學(xué)生進(jìn)階學(xué)習(xí)。課程的模塊劃分見表1。

應(yīng)用型工程師的培養(yǎng)主要強(qiáng)調(diào)對(duì)軟件及工具的學(xué)習(xí)與掌握，教學(xué)設(shè)計(jì)方面要強(qiáng)化實(shí)驗(yàn)及實(shí)踐課程。作為Google MapReduce和GFS技術(shù)的開源實(shí)現(xiàn)，Apache Hadoop集成了數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理、系統(tǒng)管理等功能，提供了強(qiáng)大的系統(tǒng)級(jí)解決方案，已經(jīng)成為大數(shù)據(jù)領(lǐng)域事實(shí)上的標(biāo)準(zhǔn)。數(shù)據(jù)工程的大部分課程都圍繞Hadoop生態(tài)圈中的軟件或平臺(tái)開展實(shí)驗(yàn)教學(xué)活動(dòng)，主要學(xué)習(xí)Hadoop的以下開源產(chǎn)品：HDFS、MapReduce、HBase、Hive、Pig、Spark、Mahout。各門課程的實(shí)驗(yàn)工具見表2。

5 大數(shù)據(jù)實(shí)驗(yàn)室建設(shè)

大數(shù)據(jù)主要來(lái)自于物理世界（如科學(xué)實(shí)驗(yàn)數(shù)據(jù)和傳感數(shù)據(jù)）和互聯(lián)網(wǎng)（如社交網(wǎng)站和電子商務(wù)），包括大量的半結(jié)構(gòu)化數(shù)據(jù)（如HTML和XML）和非結(jié)構(gòu)化數(shù)據(jù)（如文本、圖片、音頻、視頻和UGC）。云計(jì)算則可以為大數(shù)據(jù)處理提供強(qiáng)大的計(jì)算能力。作為技術(shù)平臺(tái)的云計(jì)算環(huán)境與以往高校計(jì)算機(jī)專業(yè)的實(shí)驗(yàn)室環(huán)境完全不同，以往實(shí)驗(yàn)課的計(jì)算機(jī)通常是1：1使用，即一名學(xué)生使用一臺(tái)計(jì)算機(jī)，如語(yǔ)言類課程和數(shù)據(jù)庫(kù)課程；或者是N：1使用，即多名學(xué)生使用一臺(tái)服務(wù)器，如軟件工程和項(xiàng)目管理課程。

云計(jì)算環(huán)境的計(jì)算機(jī)是N：N使用，即一組學(xué)生使用一個(gè)集群并涉及多種計(jì)算機(jī)技術(shù)，如Linux系統(tǒng)、Shell命令、虛擬化技術(shù)、分布式存儲(chǔ)、并行計(jì)算、Java編程、數(shù)據(jù)挖掘算法等，這在軟硬件環(huán)境、實(shí)驗(yàn)管理、人員組織與搭配等方面，對(duì)高校實(shí)驗(yàn)室建設(shè)是一個(gè)新挑戰(zhàn)。

每個(gè)云計(jì)算環(huán)境都由硬件和軟件兩部分構(gòu)成。硬件方面至少由3～4臺(tái)PC組成，其中1臺(tái)Master、2臺(tái)以上Slave和1臺(tái)監(jiān)控機(jī)；軟件方面，Master/Slave可以由物理機(jī)安裝CentOS或者VMware Workstation安裝CentOS，之后安裝JDK和Hadoop、HBase、Spark等軟件工具，監(jiān)控機(jī)安裝Windows系統(tǒng)，使用SecureCRT、CuteFTP、UltraEdit對(duì)Master/Slave進(jìn)行配置和管理，使用Eclipse作為開發(fā)工具。

3～5名學(xué)生組成一個(gè)實(shí)驗(yàn)小組，使用一個(gè)云計(jì)算環(huán)境，一個(gè)大數(shù)據(jù)實(shí)驗(yàn)室包含6～8個(gè)云計(jì)算環(huán)境，可以支持30～40名學(xué)生同時(shí)開展實(shí)驗(yàn)課；學(xué)生使用Java語(yǔ)言，結(jié)合MapReduce編程框架，完成數(shù)據(jù)挖掘和統(tǒng)計(jì)分析算法。這樣的大數(shù)據(jù)實(shí)驗(yàn)室能夠支持Hadoop與分布式系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘、大數(shù)據(jù)分析與挖掘等課程的使用。

6 結(jié) 語(yǔ)

在信息技術(shù)快速發(fā)展的今天，各行業(yè)對(duì)大數(shù)據(jù)人才的需求激增，如何開展大數(shù)據(jù)及云計(jì)算人才培養(yǎng)工作是目前國(guó)內(nèi)外各層次院校都在思考的問(wèn)題。我們提出在軟件工程學(xué)科下設(shè)立數(shù)據(jù)工程專業(yè)方向，并在課程設(shè)置和實(shí)驗(yàn)室建設(shè)方面進(jìn)行了初步研究，希望能為同類型的地方本科院校培養(yǎng)應(yīng)用型新技術(shù)人才，為民辦高校和獨(dú)立學(xué)院不斷提高辦學(xué)水平，提供技術(shù)性和理論性的重要參考和依據(jù)。

參考文獻(xiàn)：

[1] 李國(guó)杰. 大數(shù)據(jù)研究的科學(xué)價(jià)值[J]. 中國(guó)計(jì)算機(jī)學(xué)會(huì)通訊， 2012， 8（9）： 8-15.

[2] IDC發(fā)布最新《數(shù)字宇宙研究報(bào)告》[EB/OL]. （2012-12-29）[2016-12-21]. http：//old.ecas.cas.cn/xxkw/kbcd/201115_93655/ml/xxhjsyjcss/201212/t20121229_3730152.html.

[3] DELL EMC. Digital universe invaded by sensors[EB/OL]. [2016-12-21]. http：//www.emc.com/about/news/press/2014/20140409-01.htm.

[4] 中華人民共和國(guó)科學(xué)技術(shù)部. 美國(guó)政府出臺(tái)大數(shù)據(jù)研發(fā)計(jì)劃[EB/OL]. （2012-04-24）[2016-12-21]. http：//www.most.gov.cn/gnwkjdt/201204/t20120424_93877.htm.

[5] 新華網(wǎng). 國(guó)務(wù)院常務(wù)會(huì)通過(guò)《關(guān)于促進(jìn)大數(shù)據(jù)發(fā)展的行動(dòng)綱要》[EB/OL]. （2015-08-19）[2016-12-21]. http：//news.xinhuanet.com/politics/2015-08/19/c_1116309958.htm.

[6] 中央政府門戶網(wǎng)站. 國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展第十二個(gè)五年規(guī)劃綱要（全文）[EB/OL]. （2011-03-16）[2016-12-21]. http：//www.gov.cn/2011lh/content_1825838.htm.

[7] 中國(guó)國(guó)家級(jí)經(jīng)濟(jì)技術(shù)開發(fā)區(qū)和邊境經(jīng)濟(jì)合作區(qū). 國(guó)外云計(jì)算技術(shù)概況[EB/OL]. （2014-08-07）[2016-12-21]. http：//ezone.mofcom.gov.cn/article/ztxw/201408/20140800689701.shtml.

[8] 何海地. 美國(guó)大數(shù)據(jù)專業(yè)碩士研究生教育的背景、現(xiàn)狀、特色與啟示——全美23所知名大學(xué)數(shù)據(jù)分析碩士課程網(wǎng)站及相關(guān)信息分析研究[J]. 圖書與情報(bào)， 2014（2）： 48-56.

[9] IT經(jīng)理網(wǎng). IDC： 云計(jì)算人才缺口正在加大[EB/OL]. [2016-12-21]. http：//www.ctocio.com/ccnews/10704.html.

[10] CSDN. 2014年IT企業(yè)招聘趨勢(shì)調(diào)研報(bào)告： 外資企業(yè)招聘規(guī)模偏大、技術(shù)人員比重高[EB/OL]. （2014-01-24）[2016-12-21]. http：//www.csdn.net/article/2014-01-24/2818263-IT-survey.

[11] CSDN. 最受程序員歡迎的公司榜單發(fā)布： 2015 IT人才招聘趨勢(shì)分析[EB/OL]. （2015-01-20）[2016-12-21]. http：//www.csdn.net/article/2015-01-16/2823595-careerfocus.

[12] 羅福強(qiáng)， 熊永福. 基于CDIO的云計(jì)算與大數(shù)據(jù)專業(yè)人才培養(yǎng)方案[J]. 計(jì)算機(jī)教育， 2015（1）： 52-56.

（編輯：宋文婷）