大數(shù)據(jù)背景下的數(shù)據(jù)挖掘課程教學(xué)新思考

張艷

摘 要： 當(dāng)今社會(huì)已經(jīng)步入大數(shù)據(jù)時(shí)代，數(shù)據(jù)挖掘已經(jīng)成為商業(yè)、醫(yī)療、制造業(yè)和政務(wù)管理等應(yīng)用領(lǐng)域的重要技術(shù)，具有十分重要的社會(huì)價(jià)值。數(shù)據(jù)挖掘課程綜合了多門學(xué)科知識(shí)，其教學(xué)設(shè)計(jì)和教學(xué)方式直接影響到教學(xué)效果和人才培養(yǎng)的質(zhì)量。針對(duì)大數(shù)據(jù)的特點(diǎn)，以構(gòu)建課程核心知識(shí)體系為主題，采用案例教學(xué)法，改革傳統(tǒng)的教學(xué)評(píng)價(jià)方式，理論結(jié)合實(shí)踐進(jìn)行了研究生數(shù)據(jù)挖掘課程教學(xué)創(chuàng)新嘗試，其教學(xué)達(dá)到了預(yù)期效果，受到學(xué)生好評(píng)。

關(guān)鍵詞： 數(shù)據(jù)挖掘； 知識(shí)體系； 案例教學(xué)； 教學(xué)評(píng)價(jià)

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1006-8228（2014）04-59-03

Abstract： With the advent of the era of big data， data mining has become an essential technology which has important social value in the field of business， healthcare， manufacture and administrative management， etc. In many universities， the course of data mining is an important course which is integrated with other disciplinary knowledge and plays an important role in talent cultivation. According to the characters of big data， the knowledge hierarchy data mining is presented， and case teaching and new teaching evaluation method in graduate students' data mining course are discussed. The result shows that the effect is good and it is welcomed by graduate students.

Key words： data mining； knowledge hierarchy； case teaching； teaching evaluation

0 引言

近年來(lái)，傳統(tǒng)科學(xué)研究（如天文物理學(xué)、生物醫(yī)學(xué)等）、電子商務(wù)、網(wǎng)絡(luò)搜索引擎（如GOOGLE和百度等）和物聯(lián)網(wǎng)等產(chǎn)生的數(shù)據(jù)已經(jīng)以PB或ZB（10的21次方）來(lái)計(jì)算。以分布式數(shù)據(jù)倉(cāng)庫(kù)、流計(jì)算的實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)為代表的最新數(shù)據(jù)存儲(chǔ)技術(shù)，讓全世界的數(shù)據(jù)存儲(chǔ)量越來(lái)越大，由人、機(jī)、物三元素高度融合構(gòu)成的信息化的社會(huì)引發(fā)了數(shù)據(jù)規(guī)模的爆炸式增長(zhǎng)和數(shù)據(jù)處理模式的高度復(fù)雜化，大數(shù)據(jù)（Big Data）時(shí)代已經(jīng)到來(lái)[1]。因此，數(shù)據(jù)具有越來(lái)越強(qiáng)的可視性、可操作性和可用性，能夠越來(lái)越細(xì)致、精準(zhǔn)、全面和及時(shí)地反映人的思維、行為和情感，以及事物的特性和發(fā)展規(guī)律，要想讓這些大數(shù)據(jù)以更加有效的方式為提升人類各方面的生產(chǎn)力和生活質(zhì)量服務(wù)，離不開(kāi)以非平凡的方法發(fā)現(xiàn)蘊(yùn)藏在大量數(shù)據(jù)集中的有用知識(shí)為根本目的數(shù)據(jù)挖掘技術(shù)的支撐。

市場(chǎng)上對(duì)于有大數(shù)據(jù)背景知識(shí)又懂?dāng)?shù)據(jù)挖掘技術(shù)的專業(yè)人才的需求也將越來(lái)越大，作為一名高校計(jì)算機(jī)專業(yè)教師，根據(jù)自己三年來(lái)研究生數(shù)據(jù)挖掘課程的授課經(jīng)歷，結(jié)合當(dāng)前大數(shù)據(jù)的時(shí)代背景，對(duì)數(shù)據(jù)挖掘課程教學(xué)進(jìn)行了新的思考和探索。

1 明確大數(shù)據(jù)背景下學(xué)習(xí)數(shù)據(jù)挖掘知識(shí)的重要性

1.1 大數(shù)據(jù)的定義

“大數(shù)據(jù)”是最近幾年才出現(xiàn)的新名詞，尚無(wú)統(tǒng)一的概念，維基百科上的解釋是：大數(shù)據(jù)是由數(shù)量巨大、結(jié)構(gòu)復(fù)雜、類型眾多數(shù)據(jù)構(gòu)成的數(shù)據(jù)集合，是基于云計(jì)算的數(shù)據(jù)處理與應(yīng)用模式，通過(guò)數(shù)據(jù)的整合共享，交叉復(fù)用形成的智力資源和知識(shí)服務(wù)能力。

1.2 大數(shù)據(jù)的特征

大數(shù)據(jù)的特征可以總結(jié)為四方面，即4V。

⑴ 數(shù)據(jù)量浩大（Volume）——數(shù)據(jù)集合的規(guī)模不斷擴(kuò)大，已從GB到TB再到PB級(jí)，甚至開(kāi)始以EB和ZB來(lái)計(jì)數(shù)。例如：1立方毫米電子顯微鏡重建出的大腦突觸網(wǎng)絡(luò)的圖像數(shù)據(jù)就超過(guò)1PB。

⑵ 模態(tài)繁多、異構(gòu)（Variety）——大數(shù)據(jù)面向的是一切計(jì)算機(jī)可以存儲(chǔ)的數(shù)據(jù)格式，類型包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，包括互聯(lián)網(wǎng)上的各種網(wǎng)頁(yè)、圖片、音頻、視頻、文檔、報(bào)表，以及搜索引擎中輸入的關(guān)鍵詞、社交網(wǎng)絡(luò)中的留言、喜好和各種傳感器自動(dòng)收集的監(jiān)控結(jié)果等等。

⑶ 生成快速（Velocity）——大數(shù)據(jù)往往以數(shù)據(jù)流的形式動(dòng)態(tài)、快速地產(chǎn)生，具有很強(qiáng)的時(shí)效性，同時(shí)，數(shù)據(jù)自身的狀態(tài)與價(jià)值也往往隨時(shí)空變化而發(fā)生演變，數(shù)據(jù)的涌現(xiàn)特征明顯。

⑷ 價(jià)值巨大（Value）——數(shù)據(jù)顯性或隱性的網(wǎng)絡(luò)化存在使得數(shù)據(jù)之間的復(fù)雜關(guān)聯(lián)無(wú)所不在，將對(duì)信息科學(xué)、社會(huì)科學(xué)、網(wǎng)絡(luò)科學(xué)、系統(tǒng)科學(xué)、心理學(xué)、經(jīng)濟(jì)學(xué)等諸多領(lǐng)域的研究和應(yīng)用起到革命性的作用，價(jià)值巨大[2]。

Gartner、IBM和牛津大學(xué)2012年聯(lián)合發(fā)布的關(guān)于大數(shù)據(jù)的研究報(bào)告指出：交易數(shù)據(jù)、記錄數(shù)據(jù)、事件和電子郵件是四大主要數(shù)據(jù)；數(shù)據(jù)挖掘，數(shù)據(jù)可視化，預(yù)測(cè)，建模與數(shù)據(jù)優(yōu)化是五大數(shù)據(jù)能力[3]。大數(shù)據(jù)的潛在價(jià)值只有通過(guò)數(shù)據(jù)挖掘才能顯現(xiàn)，因此，國(guó)外的Google、IBM、Amazon、Oracle、Microsoft、EMC；國(guó)內(nèi)的騰訊、百度、新浪、淘寶等知名企業(yè)已經(jīng)開(kāi)始著眼大數(shù)據(jù)，從不同角度進(jìn)行數(shù)據(jù)挖掘，以便改善自身服務(wù)，創(chuàng)造更大的商業(yè)價(jià)值。所以，作為高校教師，首先要讓學(xué)生了解大數(shù)據(jù)的基本特點(diǎn)，明確數(shù)據(jù)挖掘知識(shí)和技術(shù)對(duì)當(dāng)今社會(huì)的重要意義。

2 利用概念圖，構(gòu)建數(shù)據(jù)挖掘課程的知識(shí)體系結(jié)構(gòu)

在大學(xué)里，設(shè)置一門課程，不能只關(guān)注這門課程所含的內(nèi)容，更要考慮教育培養(yǎng)學(xué)生基本專業(yè)能力、可持續(xù)發(fā)展能力等本質(zhì)性的問(wèn)題。

數(shù)據(jù)挖掘是一門結(jié)合數(shù)據(jù)庫(kù)技術(shù)、統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、知識(shí)系統(tǒng)、信息檢索、高性能計(jì)算和可視化等多門學(xué)科知識(shí)的交叉學(xué)科[4]。而且，該課程既包括各種理論知識(shí)，又離不開(kāi)相關(guān)的實(shí)踐技術(shù)，整個(gè)教學(xué)過(guò)程是培養(yǎng)和提高學(xué)生的創(chuàng)新能力和綜合解決問(wèn)題能力的重要途徑。因此，針對(duì)計(jì)算機(jī)專業(yè)的學(xué)生，教學(xué)的首要任務(wù)是構(gòu)建起整個(gè)課程的核心知識(shí)結(jié)構(gòu)（如圖1所示），同時(shí)，簡(jiǎn)單介紹相關(guān)的統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)等計(jì)算機(jī)專業(yè)學(xué)生不太了解的非專業(yè)知識(shí)。

課程核心知識(shí)結(jié)構(gòu)是教學(xué)的主線，是學(xué)生必須要掌握的。首先，讓學(xué)生明確數(shù)據(jù)挖掘前要先經(jīng)過(guò)預(yù)處理，再存入數(shù)據(jù)倉(cāng)庫(kù)；其次，針對(duì)具體情況利用相關(guān)的挖掘工具和挖掘算法進(jìn)行挖掘；最后，挖掘結(jié)果以可視化的形式有效地展示給用戶。教學(xué)的重點(diǎn)是挖掘算法和挖掘工具。對(duì)于挖掘算法，以數(shù)據(jù)挖掘國(guó)際會(huì)議ICDM（the IEEE International Conference on Data Mining）的專家評(píng)選出的十大經(jīng)典算法（見(jiàn)表1）為主[5]，結(jié)合相關(guān)實(shí)例給學(xué)生介紹各種算法的基本思想和相關(guān)概念，重點(diǎn)介紹使用較多的分類、聚類、關(guān)聯(lián)、序列和機(jī)器學(xué)習(xí)這幾種算法，先為學(xué)生打下良好的理論基礎(chǔ)。

3 以實(shí)例為切入點(diǎn)，注重理論結(jié)合實(shí)踐

數(shù)據(jù)挖掘課程主要針對(duì)我校研究生開(kāi)設(shè)，考慮到學(xué)生就業(yè)和當(dāng)前市場(chǎng)需求，以及課程本身實(shí)踐性強(qiáng)的特點(diǎn)，在教學(xué)過(guò)程中要注重理論結(jié)合實(shí)踐，注意培養(yǎng)學(xué)生解決實(shí)際問(wèn)題的能力。因此，在給學(xué)生介紹目前常用的數(shù)據(jù)挖掘工具（如IBM Intelligent Miner、SAS Enterprese Miner、SPSS Clementine、Weka等）的基礎(chǔ)上，結(jié)合市場(chǎng)應(yīng)用需求，以實(shí)例為切入點(diǎn)，分別分析數(shù)據(jù)挖掘在互聯(lián)網(wǎng)日志分析、電子郵件分析、互聯(lián)網(wǎng)廣告挖掘、電子商務(wù)、移動(dòng)互聯(lián)網(wǎng)等各大領(lǐng)域中的實(shí)際應(yīng)用情況和成功案例（表2）。同時(shí)，還可以從內(nèi)容挖掘、結(jié)構(gòu)挖掘和用戶訪問(wèn)模式挖掘這三個(gè)方面簡(jiǎn)單介紹WEB挖掘的基本知識(shí)[6]。這樣，課程本身就脫離了枯燥的理論，讓學(xué)生對(duì)數(shù)據(jù)挖掘有了感性認(rèn)識(shí)，激發(fā)學(xué)習(xí)興趣。

⑵ 過(guò)濾垃圾郵件。＼&互聯(lián)網(wǎng)廣告＼&⑴ 通過(guò)大數(shù)據(jù)挖掘，精準(zhǔn)定位各類客戶的廣告形式；

⑵ 準(zhǔn)確評(píng)估廣告效果。＼&電子商務(wù)＼&用數(shù)據(jù)提升整體營(yíng)銷；通過(guò)日志挖掘做客戶分析；用序列算法分析商品上架時(shí)間；用聚類算法對(duì)商品分類、提升會(huì)員管理。＼&移動(dòng)互聯(lián)網(wǎng)＼&⑴ 鎖定用戶的數(shù)據(jù)價(jià)值，通過(guò)地理位置信息挖掘出有價(jià)值的東西；

⑵ 文本挖掘。＼&]

在教學(xué)過(guò)程中，貫穿以“能力培養(yǎng)為目標(biāo)”的實(shí)踐教學(xué)理念，提供有效的網(wǎng)絡(luò)資源，讓學(xué)生自己動(dòng)手動(dòng)腦，分析成功案例，完成教師給定的虛擬挖掘任務(wù)，強(qiáng)化學(xué)生參與意識(shí)，教師在以學(xué)生為主體的教學(xué)過(guò)程中當(dāng)好指導(dǎo)者和激勵(lì)者，從而充分調(diào)動(dòng)學(xué)生的主觀能動(dòng)性，掌握不同應(yīng)用領(lǐng)域大數(shù)據(jù)的挖掘問(wèn)題的基本解決方法，培養(yǎng)學(xué)生的創(chuàng)新能力。例如，給學(xué)生一個(gè)文本挖掘的分類題目，讓他們熟悉從原始數(shù)據(jù)的清洗、預(yù)處理、降維、建立模型、測(cè)試、得到結(jié)論等一系列環(huán)節(jié)。

4 改革教學(xué)評(píng)價(jià)，實(shí)施分類化評(píng)價(jià)

數(shù)據(jù)挖掘課程是一門融合了多個(gè)學(xué)科的實(shí)踐性很強(qiáng)的課程，對(duì)應(yīng)的考核方式應(yīng)該與其他專業(yè)課程有所區(qū)別，應(yīng)該更重視學(xué)生學(xué)習(xí)過(guò)程中的表現(xiàn)和能力的提升。

理論知識(shí)的考核注重學(xué)生對(duì)數(shù)據(jù)挖掘基本概念、挖掘流程和主要挖掘算法的掌握情況，主要以試卷考核的方式為主，注意主觀題和客觀題的數(shù)量比例，采用統(tǒng)一考核方式和評(píng)判標(biāo)準(zhǔn)。對(duì)于實(shí)踐技能的考核，主要強(qiáng)調(diào)的是學(xué)生對(duì)不同類型數(shù)據(jù)進(jìn)行挖掘時(shí)應(yīng)掌握的相關(guān)軟件使用技能的考查，考核時(shí)除了要體現(xiàn)學(xué)生對(duì)實(shí)驗(yàn)原理的掌握外，更重要的是要反映出學(xué)生在實(shí)驗(yàn)方法的掌握、設(shè)計(jì)、操作過(guò)程中的實(shí)際能力，我們?nèi)∠艘酝岩淮涡钥荚嚱Y(jié)果作為總成績(jī)的方法，而把學(xué)生平時(shí)課堂實(shí)驗(yàn)成績(jī)作為總成績(jī)的主要部分，考核成績(jī)占課程總成績(jī)一定比例。

教師教學(xué)質(zhì)量的評(píng)價(jià)與學(xué)生考核成績(jī)相對(duì)應(yīng)，可采用單獨(dú)評(píng)價(jià)和統(tǒng)一評(píng)價(jià)兩種方式。單獨(dú)評(píng)價(jià)是指將社會(huì)實(shí)踐作為一個(gè)獨(dú)立的質(zhì)量評(píng)價(jià)過(guò)程對(duì)教師教學(xué)質(zhì)量進(jìn)行考核；統(tǒng)一評(píng)價(jià)是指將教師實(shí)踐教學(xué)與理論教學(xué)綜合起來(lái)統(tǒng)一考核，以一定比例計(jì)入教師總體評(píng)價(jià)。

無(wú)論是對(duì)學(xué)生，還是對(duì)教師，這種分類化的教學(xué)評(píng)價(jià)方式，不僅有利于學(xué)生實(shí)際能力的培養(yǎng)，而且對(duì)教師的教學(xué)水平也是一種促進(jìn)，有利于課程教學(xué)質(zhì)量的不斷提高。

5 結(jié)束語(yǔ)

大數(shù)據(jù)時(shí)代，誰(shuí)能發(fā)掘出數(shù)據(jù)背后的巨大商業(yè)和社會(huì)價(jià)值，誰(shuí)就能在激烈的市場(chǎng)競(jìng)爭(zhēng)中處于優(yōu)勢(shì)。數(shù)據(jù)挖掘作為計(jì)算機(jī)應(yīng)用專業(yè)的研究生核心課程之一，也是學(xué)生今后就業(yè)必需的專業(yè)技能之一。以往的教學(xué)過(guò)程理論性強(qiáng)，枯燥乏味，考核形式單一，學(xué)生學(xué)習(xí)熱情普遍不高，不利于學(xué)生專業(yè)能力的培養(yǎng)。本文結(jié)合當(dāng)前大數(shù)據(jù)的時(shí)代背景，在構(gòu)架課程核心知識(shí)體系的前提下，結(jié)合實(shí)際應(yīng)用領(lǐng)域和案例，分析數(shù)據(jù)挖掘常見(jiàn)算法和常用工具，強(qiáng)調(diào)學(xué)生的參與和主觀能動(dòng)性的發(fā)揮，而采用分類化的教學(xué)評(píng)價(jià)又能比較客觀、公正地評(píng)價(jià)學(xué)生對(duì)課程知識(shí)和專業(yè)實(shí)踐技能的掌握情況以及教師的教學(xué)效果。課程開(kāi)設(shè)三年來(lái)的教學(xué)實(shí)踐證明，學(xué)生綜合運(yùn)用計(jì)算機(jī)專業(yè)知識(shí)的能力得到提高，理論與實(shí)踐結(jié)合的創(chuàng)新能力得到鍛煉，教師在教學(xué)過(guò)程中不斷完善了自身的知識(shí)結(jié)構(gòu)，提高了教學(xué)水平，實(shí)現(xiàn)了教學(xué)相長(zhǎng)，得到了學(xué)生的好評(píng)。

參考文獻(xiàn)：

[1] Anand Rajaraman， Jeffrey David Ullman.大數(shù)據(jù)：互聯(lián)網(wǎng)大規(guī)模數(shù)據(jù)挖掘與分布式處理[M].人民郵電出版社，2012.

[2] 李國(guó)杰.大數(shù)據(jù)研究的科學(xué)價(jià)值[J].中國(guó)計(jì)算機(jī)學(xué)會(huì)通訊，2012.8：8-15

[3] Jiawei Han，Micheline Kamber，Jian Pei等.數(shù)據(jù)挖掘概念與技術(shù)（第3版）[M].機(jī)械工業(yè)出版社，2012.

[4] 王珊，王會(huì)舉，覃雄派等.架構(gòu)大數(shù)據(jù)：挑戰(zhàn)、現(xiàn)狀與展望[J].計(jì)算機(jī)學(xué)報(bào)，2011.10：1741-1743

[5] 譚磊.大數(shù)據(jù)挖掘[M].電子工業(yè)出版社，2013.

[6] 李國(guó)杰.大數(shù)據(jù)研究：未來(lái)科技及經(jīng)濟(jì)社會(huì)發(fā)展的重大戰(zhàn)略領(lǐng)域——大數(shù)據(jù)的研究現(xiàn)狀與科學(xué)思考[J].中國(guó)科學(xué)院院刊，2012.6：647-648