基于Python語言的數(shù)據(jù)挖掘課程的建設(shè)與研究

2021-05-24 06:32:35楊軍張?jiān)?/span>劉燕峰

科技風(fēng) 2021年14期

楊軍張?jiān)? 劉燕峰

摘?要：目前Python語言作為時(shí)下最流行的編程語言之一，在數(shù)據(jù)科學(xué)領(lǐng)域應(yīng)用十分廣泛，簡單易學(xué)、功能強(qiáng)大，為學(xué)生的使用提供了方便。結(jié)合云大物移智時(shí)代的時(shí)代背景和計(jì)算機(jī)學(xué)科的專業(yè)特點(diǎn)，針對數(shù)據(jù)挖掘課程存在的一些問題，在使用Python語言的基礎(chǔ)上，對數(shù)據(jù)挖掘課程的建設(shè)進(jìn)行相關(guān)研究。該文章主要從教學(xué)大綱、教學(xué)環(huán)節(jié)和考核方面進(jìn)行闡述，課程建設(shè)旨在更好的培養(yǎng)學(xué)生使用數(shù)據(jù)挖掘方法分析和解決問題的能力，更好地培養(yǎng)云大物移智時(shí)代所需的數(shù)據(jù)科學(xué)人才。

關(guān)鍵詞：數(shù)據(jù)挖掘;Python語言;課程建設(shè)

中圖分類號：G642.4

The?construction?and?research?of?data?mining?course?based?on?Python

Yang?Jun?Zhang?Yue?Liu?Yanfeng

Shandong?Youth?University?Of?Political?Science?ShandongJinan?250000

Abstract：At?present，Python?as?one?of?the?most?popular?programming?languages，is?widely?used?in?the?field?of?data?science.It?is?simple?to?learn?and?powerful，which?provides?convenience?for?students?to?use.Combined?with?the?background?of?cloud?computing，big?data，Internet?of?Things，mobile?Internet，artificial?intelligence?and?the?professional?characteristics?of?computer?science，In?view?of?some?problems?existing?in?the?course?of?data?mining，the?construction?of?the?course?of?data?mining?is?studied?by?introducing?Python.This?article?mainly?elaborates?from?the?teaching?syllabus，teaching?links?and?assessment?aspects.The?course?construction?aims?to?better?cultivate?students'?ability?to?use?data?mining?methods?to?analyze?and?solve?problems，and?better?cultivate?data?talents?needed?in?the?era?of?big?data.

Keywords：DM;Python;curricula?construction

1?Python語言簡介

Python是一種解釋型、面向?qū)ο?、動態(tài)數(shù)據(jù)類型的高級程序設(shè)計(jì)語言，自誕生以來，Python在處理系統(tǒng)管理任務(wù)、數(shù)據(jù)挖掘以及Web編程等方面有著廣泛的應(yīng)用。因?yàn)镻ython的簡潔、易讀以及可擴(kuò)展性，使用Python做科學(xué)計(jì)算的案例越來增多。眾多開源的科學(xué)計(jì)算軟件包都提供了Python的調(diào)用接口，同時(shí)，Python還擁有很多科學(xué)計(jì)算擴(kuò)展庫，為Python提供了快速數(shù)組處理、數(shù)值運(yùn)算以及繪圖功能。因此Python及其眾多的擴(kuò)展庫所構(gòu)成的開發(fā)環(huán)境十分適合工程技術(shù)、處理實(shí)驗(yàn)數(shù)據(jù)、制作圖表，甚至開發(fā)科學(xué)計(jì)算應(yīng)用程序[1]。

選擇Python作為數(shù)據(jù)挖掘課程的實(shí)踐語言有以下4個(gè)優(yōu)點(diǎn)：（1）Python是免費(fèi)的自由軟件，不需要支付任何費(fèi)用，可以更方便的獲取源代碼;（2）Python具有良好的跨平臺性，一般情況下，在Windows上編寫的Python程序可以輕易地運(yùn)行在Linux上，這一特點(diǎn)對于學(xué)生鞏固Linux系統(tǒng)的使用也提供了實(shí)踐機(jī)會[2];（3）Python語言功能強(qiáng)大，借助擴(kuò)展模塊可以輕松的完成，在教學(xué)過程中可以通過Python語言實(shí)現(xiàn)各種數(shù)據(jù)挖掘算法;（4）Python語言清晰優(yōu)雅，其語法簡單，格式清晰、易寫、易讀[3]。這個(gè)特點(diǎn)可以使不同計(jì)算機(jī)編程水平的學(xué)生在短期內(nèi)學(xué)會使用Python語言進(jìn)行數(shù)據(jù)挖掘的實(shí)戰(zhàn)操作，方便開展課程實(shí)踐教學(xué)。

2?教學(xué)大綱設(shè)置

數(shù)據(jù)挖掘課程是一門建立在高等數(shù)學(xué)、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫、人工智能等學(xué)科的綜合性課程。根據(jù)學(xué)生的培養(yǎng)目標(biāo)，通過本課程的學(xué)習(xí)讓學(xué)生理解數(shù)據(jù)挖掘的基本概念、基本原理、基本方法和應(yīng)用基礎(chǔ)，熟悉基本工具的使用，理解數(shù)據(jù)挖掘算法的基本原理，為進(jìn)一步深入學(xué)習(xí)智能數(shù)據(jù)分析研究打好基礎(chǔ)。在課程中將理論教學(xué)內(nèi)容與實(shí)驗(yàn)教學(xué)內(nèi)容相結(jié)合，采用傳統(tǒng)與特色教育相結(jié)合，如話題教學(xué)、翻轉(zhuǎn)教學(xué)等教學(xué)方面[4]，通過構(gòu)建數(shù)據(jù)挖掘的課程體系來設(shè)置教學(xué)大綱。

將數(shù)據(jù)挖掘的教學(xué)大綱設(shè)置為基礎(chǔ)和進(jìn)階兩個(gè)部分，其中基礎(chǔ)部分包括數(shù)據(jù)挖掘?qū)д摗?shù)據(jù)預(yù)處理、數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理（OLAP）等內(nèi)容，進(jìn)階部分包括分類、回歸、聚類、關(guān)聯(lián)規(guī)則、文本與Web挖掘、數(shù)據(jù)挖掘的可視化等內(nèi)容，進(jìn)階部分主要是對基礎(chǔ)部分進(jìn)行進(jìn)一步的拓展，學(xué)習(xí)關(guān)于預(yù)測性和描述性的各種挖掘算法。一般來說，在本科階段數(shù)據(jù)挖掘課程的教學(xué)總學(xué)時(shí)為32～64個(gè)學(xué)時(shí)，而該課程的特點(diǎn)是需要理論與實(shí)驗(yàn)相結(jié)合，可以將理論與實(shí)驗(yàn)的課時(shí)進(jìn)行相應(yīng)比例的分配，并按照學(xué)習(xí)內(nèi)容進(jìn)行知識點(diǎn)同步。同時(shí)安排4～6個(gè)學(xué)時(shí)來講解Python語言的基礎(chǔ)知識，讓學(xué)生了解和掌握Python語言在數(shù)據(jù)挖掘中的基本應(yīng)用，通過演示部分?jǐn)?shù)據(jù)挖掘的經(jīng)典案例來讓學(xué)生了解其主要應(yīng)用領(lǐng)域及當(dāng)前的研究熱點(diǎn)。在充分調(diào)動學(xué)生學(xué)習(xí)興趣的前提下，適當(dāng)通過增加課下學(xué)習(xí)時(shí)間來彌補(bǔ)課內(nèi)學(xué)時(shí)的不足，需要教師充分利用網(wǎng)絡(luò)資源搜集相關(guān)數(shù)據(jù)挖掘的資料，并對其進(jìn)行分類整合后發(fā)給學(xué)生，提高學(xué)生的課后學(xué)習(xí)效果[5]。具體理論教學(xué)大綱設(shè)計(jì)和實(shí)驗(yàn)教學(xué)大綱設(shè)計(jì)的內(nèi)容，如表1和表2所示。

3?課程教學(xué)過程的設(shè)計(jì)

下面以數(shù)據(jù)挖掘中常用的分類算法中的樸素貝葉斯分類為例，介紹如何利用Python語言開展數(shù)據(jù)挖掘的教學(xué)。

樸素貝葉斯分類（NBC）是基于貝葉斯定理和特征條件獨(dú)立假設(shè)的分類算法，通俗地講樸素貝葉斯分類器可以看作：對于給定的待分類項(xiàng)，求解在該分類項(xiàng)出現(xiàn)的條件下，各個(gè)類別出現(xiàn)的概率。根據(jù)各個(gè)類別出現(xiàn)的概率，哪個(gè)最大，就將其劃歸為那個(gè)類別。

首先，介紹一下貝葉斯的定理，因?yàn)椴煌膶W(xué)生可能數(shù)學(xué)基礎(chǔ)不同，先通過介紹貝葉斯定理，來復(fù)習(xí)一下相關(guān)的數(shù)學(xué)知識，知道其基本公式的表達(dá)。貝葉斯定理?xiàng)l件概率定義為：表示事件B已經(jīng)發(fā)生的前提下，事件A發(fā)生的概率，稱為事件B發(fā)生下事件A的條件概率。其基本求解公式為：P（A|B）=P（AB）/P（B）。

通過介紹貝葉斯定理，為學(xué)生引入樸素貝葉斯分類，NBC屬于貝葉斯分類的一種，其與貝葉斯分類相比，后者需要花很大的時(shí)間和空間復(fù)雜度去計(jì)算類條件概率。NBC的思想基礎(chǔ)：對于給出的待分類項(xiàng)，求解在此項(xiàng)出現(xiàn)的條件下各個(gè)類別出現(xiàn)的概率，哪個(gè)最大，就認(rèn)為此待分類項(xiàng)屬于哪個(gè)類別。樸素貝葉斯分類的正式定義為：

①設(shè)x={a1，a2，…，am}，為一個(gè)待分類項(xiàng)，而每個(gè)a為x的一個(gè)特征屬性;

②有類別集合C={y1，y2，…，yn};

③計(jì)算P（y1|x），P（y2|x），…，P（yn|x）;

④如果P（yk|x）=max{P（y1|x），P（y2|x），…，P（yn|x）}，則xyk。

接下來，再來看一下樸素貝葉斯分類的三個(gè)階段，通過了解分類階段讓學(xué)生從宏觀上掌握樸素貝葉斯的應(yīng)用流程。（1）對于準(zhǔn)備工作階段：本階段的輸入是所有待分類數(shù)據(jù)，輸出是特征屬性和訓(xùn)練樣本。本階段是整個(gè)樸素貝葉斯分類中唯一需要人工完成的階段，其質(zhì)量好壞決定整個(gè)過程，分類器的質(zhì)量很大程度上由特征屬性、特征屬性劃分及訓(xùn)練樣本質(zhì)量決定;（2）分類器訓(xùn)練階段：本階段輸入是特征屬性和訓(xùn)練樣本，輸出是分類器，該階段是機(jī)械性階段，可以由程序自動計(jì)算完成;（3）應(yīng)用階段：其輸入是分類器和待分類項(xiàng)，輸出是待分類項(xiàng)與類別的映射關(guān)系，本階段也是機(jī)械性階段，由程序完成。

在最初的教學(xué)過程中，會出現(xiàn)學(xué)生對算法理論的學(xué)習(xí)提不起興趣的現(xiàn)象，但當(dāng)提到某個(gè)實(shí)際案例時(shí)，特別是大家身邊的案例，學(xué)生的興趣會瞬間增強(qiáng)，所以要引入實(shí)際案例來提高學(xué)生興趣，使更好的理解這個(gè)算法[6]。下面介紹樸素貝葉斯分類算法的Python實(shí)現(xiàn)過程。

假定給出了如表3所示的訓(xùn)練樣本數(shù)據(jù)，其目的是根據(jù)給定的天氣數(shù)據(jù)判定是否去打網(wǎng)球（PlayTennis），當(dāng)給出一個(gè)新的實(shí)例，如{Outlook=Sunny，Temp=Cool，Humidity=High，Windy=Strong}時(shí)，則預(yù)測的目標(biāo)概念PlayTennis的目標(biāo)值是Yes還是No。

對未知樣本進(jìn)行分類，如max（P（x|C）P（C））=P（X|C=n）P（C=n），則說明未知樣本屬于第n類，其中：

①P（C=i）=Si/S，Si是類Ci中的訓(xùn)練樣本數(shù)，S是訓(xùn)練樣本總數(shù);

②P（X|C=i）的計(jì)算開銷比較大，因?yàn)闀婕昂芏鄬傩宰兞浚@可以做“屬性值互相條件獨(dú)立”的假定，即屬性件不存在依賴關(guān)系。

具體Python的示例程序，課程中會結(jié)合目前所使用的實(shí)驗(yàn)平臺，在此不再依依列出。

4?課程考核方案的設(shè)計(jì)

課程考核方案的設(shè)計(jì)必須能客觀反映出學(xué)生對數(shù)據(jù)挖掘基本原理和算法應(yīng)用的掌握程度，考核從兩個(gè)方面進(jìn)行，第一是理論測驗(yàn)，主要考查學(xué)生對數(shù)據(jù)挖掘的基本概念和算法理解的能力，以紙質(zhì)試卷的形式進(jìn)行測試，并結(jié)合平時(shí)的課后作業(yè)、單元測試及課堂表現(xiàn)等來綜合打分。第二是實(shí)驗(yàn)測試，主要考查學(xué)生對Python語言應(yīng)用和數(shù)據(jù)挖掘算法應(yīng)用的能力，以上機(jī)的方式進(jìn)行測試，并結(jié)合平時(shí)的上機(jī)實(shí)驗(yàn)報(bào)告、實(shí)驗(yàn)單元測試及課堂表現(xiàn)等情況來綜合打分。當(dāng)然，這種考核方案還需不斷摸索改進(jìn)，而目的就是為了讓學(xué)生更好地掌握以Python語言為基礎(chǔ)的數(shù)據(jù)挖掘技術(shù)，在云大物移智的大環(huán)境下，為研究更深入的智能數(shù)據(jù)分析研究打好基礎(chǔ)。

參考文獻(xiàn)：

[1]李克清，時(shí)允田.機(jī)器學(xué)習(xí)及應(yīng)用[M].北京：人民郵電出版社，2019.

[2]劉凌霞，郝寧波，吳海濤.21天學(xué)通Python[M].北京：電子工業(yè)出版社，2018.

[3]嵩天，禮欣，黃天羽.Python語言程序設(shè)計(jì)基礎(chǔ)[M].北京：高等教育出版社，2017.

[4]白楊.應(yīng)用型本科“數(shù)據(jù)挖掘”課程的構(gòu)建研究[J].無線互聯(lián)科技，2018（5）：9596.

[5]渠暢.基于R語言的大數(shù)據(jù)挖掘課程建設(shè)研究[J].無線互聯(lián)科技，2018（4）：9193.

[6]李婷，張繼周.大數(shù)據(jù)環(huán)境下本科生數(shù)據(jù)挖掘課程建設(shè)研究[J].教育現(xiàn)代化，2017（40）：230232.

基金項(xiàng)目：1.山東青年政治學(xué)院2019年度校級教學(xué)改革研究項(xiàng)目[1+X數(shù)據(jù)采集職業(yè)技能等級證書制度試點(diǎn)的建設(shè)（JGWT201913）];2.山東青年政治學(xué)院教學(xué)成果獎培育項(xiàng)目[以大數(shù)據(jù)競賽為依托的大數(shù)據(jù)相關(guān)專業(yè)“三融三促”人才培養(yǎng)模式研究與實(shí)踐（19CGPY03）]

作者簡介：楊軍（1989—?），男，山東濟(jì)南人，碩士，助教，主要研究方向?yàn)榇髷?shù)據(jù)技術(shù)、數(shù)據(jù)挖掘與分析;張?jiān)?，碩士，講師;劉燕峰，碩士，講師。