基于大數(shù)據(jù)技術(shù)的高職“商務(wù)數(shù)據(jù)分析與管理”課程方案建設(shè)

劉曉剛

摘 ? 要：文章通過引入市場主流的軟件工具，建設(shè)了基于大數(shù)據(jù)技術(shù)的高職“商務(wù)數(shù)據(jù)分析與管理”課程方案。方案分成3個項目和16個子任務(wù)，采用企業(yè)真實案例并仿真實訓(xùn)環(huán)境，理論知識精學(xué)夠用，實踐應(yīng)用豐富實用。新課程方案提高了學(xué)生的學(xué)習(xí)興趣和積極性，培養(yǎng)了學(xué)生在商務(wù)環(huán)境下的數(shù)據(jù)分析與應(yīng)用能力，提升了教學(xué)效果和就業(yè)競爭力。

關(guān)鍵詞：高職;大數(shù)據(jù);數(shù)據(jù)分析;課程;建設(shè)

隨著大數(shù)據(jù)時代的來臨，數(shù)據(jù)分析與管理技能越來越受到企業(yè)的青睞，高職院校紛紛開設(shè)此方面的課程。浙江經(jīng)貿(mào)職業(yè)技術(shù)學(xué)院的計算機(jī)應(yīng)用技術(shù)專業(yè)（移動互聯(lián)網(wǎng)方向）也建設(shè)了專業(yè)拓展課程“商務(wù)數(shù)據(jù)分析與管理”，課程主要任務(wù)是培養(yǎng)學(xué)生具備商務(wù)環(huán)境下的數(shù)據(jù)分析與應(yīng)用能力，通過該課程的學(xué)習(xí)，學(xué)生能掌握商務(wù)數(shù)據(jù)分析的基本方法與流程，為今后可能從事相關(guān)類型的工作奠定了基礎(chǔ)。前導(dǎo)課程為“程序設(shè)計基礎(chǔ)”“面向?qū)ο缶幊碳夹g(shù)”，后續(xù)課程為頂崗實習(xí)、畢業(yè)設(shè)計等。

1 ? ?課程建設(shè)目標(biāo)

數(shù)據(jù)分析有別于以前的SPSS，SQL Server，Excel等軟件，現(xiàn)在流行的主流技術(shù)是Python語言和第三方功能庫，除了MySQL等小型關(guān)系型數(shù)據(jù)庫外，后臺還普遍使用非關(guān)系型的Mongdb，Redis數(shù)據(jù)庫。第三方功能庫常用到爬蟲三大庫Requests，BeautifulSoup，lxml，還會使用到re，scrapy，numpy，pandas，scipy，statsmodels，matplotlib等開源庫。教學(xué)內(nèi)容應(yīng)摒棄陳舊技術(shù)，緊緊圍繞主流技術(shù)來設(shè)計。

通過本門課程的學(xué)習(xí)及相關(guān)任務(wù)的實施，學(xué)生能夠掌握數(shù)據(jù)分析的理論知識，以及主流商業(yè)數(shù)據(jù)獲取和分析的技術(shù)和方法;能根據(jù)不同網(wǎng)站采取不同分析方法;能使用Python語言設(shè)計網(wǎng)絡(luò)爬蟲，通過Xpath選擇器、正則表達(dá)式、Scrapy框架等方式從互聯(lián)網(wǎng)上獲取數(shù)據(jù);能承擔(dān)商業(yè)數(shù)據(jù)分析大數(shù)據(jù)量的圖表制作任務(wù)。同時，能夠根據(jù)商業(yè)數(shù)據(jù)采用正確的數(shù)據(jù)分析方法，利用Python的第三方分析包如Matplotlib，Seaborn或其他常用數(shù)據(jù)分析工具軟件，使用圖表方式給出明顯的分析結(jié)論，并能撰寫基本的數(shù)據(jù)分析報告。對學(xué)生今后從事信息處理、軟件工程、項目管理等其他工作的職業(yè)能力培養(yǎng)和職業(yè)素養(yǎng)起到支撐作用。

知識目標(biāo)：掌握數(shù)據(jù)分析的基本概念、常用數(shù)據(jù)分析的基本方法、Python語言的語法基礎(chǔ)、網(wǎng)絡(luò)爬蟲的概念、正則表達(dá)式以及圖表數(shù)據(jù)分析的相關(guān)知識。

能力目標(biāo)：掌握網(wǎng)站分析的各種方法、Python開發(fā)工具的安裝與使用方法、Python語言設(shè)計網(wǎng)絡(luò)爬蟲的方法、使用Python網(wǎng)絡(luò)爬蟲從互聯(lián)網(wǎng)上獲取數(shù)據(jù)的方法、使用Python處理、分析互聯(lián)網(wǎng)數(shù)據(jù)的方法以及使用Python生成數(shù)據(jù)圖表的方法。

素質(zhì)目標(biāo)：具有分析、解決問題的能力，良好的溝通、團(tuán)隊合作能力，良好的自學(xué)能力和可持續(xù)發(fā)展能力;愛崗敬業(yè)、遵守職業(yè)道德規(guī)范、誠實、守信。特別是在互聯(lián)網(wǎng)數(shù)據(jù)的采集獲取方面，必須要有良好的職業(yè)道德以及遵守國家相關(guān)法律法規(guī)。

2 ? ?課程設(shè)計思路

課程前部分為打好基礎(chǔ)要學(xué)習(xí)Python內(nèi)容，但只講基本語法知識，不涉及復(fù)雜算法。因為復(fù)雜算法在前導(dǎo)編程課中已經(jīng)講解，而Python數(shù)據(jù)分析方面的內(nèi)容也不需要復(fù)雜算法。

課程方案包括：數(shù)據(jù)分析的用途與定義、技術(shù)原理以及專業(yè)術(shù)語，Python語言語法基礎(chǔ)，利用Python設(shè)計網(wǎng)絡(luò)爬蟲的方法，利用Python網(wǎng)絡(luò)爬蟲抓取互聯(lián)網(wǎng)上商業(yè)數(shù)據(jù)的方法以及利用Python進(jìn)行商業(yè)數(shù)據(jù)日常分析及處理的各方面內(nèi)容。在介紹Python語言時，要重視其在企業(yè)日常管理中的典型應(yīng)用，兼顧爬蟲使用方法技巧和應(yīng)用思路啟發(fā)，注重點(diǎn)面結(jié)合、動手實踐。教學(xué)內(nèi)容應(yīng)緊密結(jié)合實際，精選源自企業(yè)信息管理過程中的典型案例，能反映現(xiàn)實中企業(yè)需要解決的問題，具有代表性、針對性和實用價值。

在考核上，對學(xué)生學(xué)習(xí)效果實施過程化、能力導(dǎo)向的綜合評價。上機(jī)考核與卷面考核相結(jié)合，對于爬蟲和數(shù)據(jù)處理分析等操作性強(qiáng)的內(nèi)容，采用上機(jī)考核，重點(diǎn)考核技術(shù)應(yīng)用能力和操作能力;對于Python語法知識，采用卷面理論考核，重點(diǎn)考核基本理論知識、程序編寫能力和分析能力。最終成績是按比例綜合上機(jī)和理論兩部分成績和平時成績。

3 ? ?教學(xué)內(nèi)容設(shè)計

3.1 ?課程內(nèi)容建設(shè)

在教學(xué)內(nèi)容設(shè)計上，按照“商務(wù)數(shù)據(jù)分析與管理”的知識體系，組織成3個項目：

項目1，Python安裝與語法基礎(chǔ)。教學(xué)內(nèi)容是Python安裝方法，編寫Python3簡單程序并調(diào)試運(yùn)行，Python各種復(fù)雜數(shù)據(jù)類型的使用，Python的流程控制、自定義函數(shù)、常用函數(shù)，Python模塊（Module）和包（Package），Python面向?qū)ο蠹夹g(shù)，迭代器、生成器、裝飾器的設(shè)計與使用等。普通Python課程講到面向?qū)ο缶徒Y(jié)束了，但本課程要展現(xiàn)Python在大數(shù)據(jù)處理分析方面的優(yōu)勢，所以增加了迭代器、生成器和裝飾器的介紹，以及其在大數(shù)據(jù)中的應(yīng)用。

項目2，Python網(wǎng)絡(luò)爬蟲。其是學(xué)好Python語法基礎(chǔ)前提下的第一個實踐應(yīng)用，比較有趣味性，教學(xué)重點(diǎn)不是爬蟲的編寫，而是爬蟲的資源定位方法，要求學(xué)生掌握CSS選擇器、Xpath和正則表達(dá)式3種主流定位方式。教學(xué)內(nèi)容是爬蟲設(shè)計的基本流程、爬蟲的功能與用途、爬蟲三大庫的用法，利用爬蟲抓取互聯(lián)網(wǎng)上真實網(wǎng)站的單個出租房價格和抓取多個信息，多頁面爬蟲設(shè)計;Lxml庫與Xpath語法，通過Xpath獲得網(wǎng)頁數(shù)據(jù)的爬蟲設(shè)計方法;爬取網(wǎng)頁數(shù)據(jù)并保存到CSV文件，爬取Pexel圖片并保存;正則表達(dá)式及利用正則表達(dá)式編寫爬蟲的方法;Scrapy框架編寫爬蟲、CrawlSpider自動爬蟲等。爬蟲的實訓(xùn)內(nèi)容來自企業(yè)，抓取數(shù)據(jù)也針對互聯(lián)網(wǎng)真實網(wǎng)站進(jìn)行，還可以抓取一些學(xué)生訪問度高的網(wǎng)站數(shù)據(jù)，進(jìn)一步貼近應(yīng)用實際。

項目3，Python數(shù)據(jù)分析與管理。作為Python語言的第二個實踐應(yīng)用，其教學(xué)內(nèi)容是常用的Python數(shù)據(jù)處理分析方法，包括數(shù)據(jù)導(dǎo)入和導(dǎo)出方法、數(shù)據(jù)清洗方法、數(shù)據(jù)抽取方法、數(shù)據(jù)文件的保存、基本數(shù)據(jù)分析方法以及Python圖表分析。數(shù)據(jù)處理方法比較枯燥，要緊密結(jié)合實際應(yīng)用來設(shè)計，首先，處理學(xué)生自己用爬蟲抓取的數(shù)據(jù)，增加前后內(nèi)容的關(guān)聯(lián)性;其次，處理一個足球世界杯的真實數(shù)據(jù)，激發(fā)學(xué)生的興趣。Python圖表分析本身比較生動、形象，學(xué)生必須掌握的是利用常用的可視化工具包matplotlib繪制多種圖表。

3.2 ?授課計劃設(shè)計

授課計劃具體安排將3個項目設(shè)計成16個任務(wù)，共60學(xué)時。每個項目下包含多個任務(wù)，每個任務(wù)都是先講授必要的理論知識，然后完成實訓(xùn)。緊貼市場主流應(yīng)用開發(fā)實訓(xùn)，采用真實項目，一共設(shè)計了15個實訓(xùn)，都安排在不同的任務(wù)中。第1個項目大約需28學(xué)時，任務(wù)1是引入課程并介紹Python及安裝方法，任務(wù)2是講授Python3語法基礎(chǔ)，包括Python編碼格式與數(shù)據(jù)類型以及Python字符串格式化，然后實訓(xùn)Python安裝與語法基礎(chǔ)。任務(wù)3講解Python的復(fù)雜數(shù)據(jù)類型，這是本項目的重點(diǎn)和難度，即列表List、元組Tuple、集合Set、字典Dictionary以及相關(guān)函數(shù)，安排的實訓(xùn)為Python復(fù)雜數(shù)據(jù)類型。任務(wù)4講授Python流程控制，因為本門課程的重點(diǎn)不是算法，只是介紹語法，所以這部分內(nèi)容不需要像其他編程課那樣占用太多時間，只需簡單介紹if語句、While循環(huán)和for語句，安排對應(yīng)的實訓(xùn)Python流程控制。任務(wù)5專門講授Python的函數(shù)，這部分是教學(xué)重點(diǎn)，因為Python的函數(shù)功能強(qiáng)大，且用途很廣，主要內(nèi)容包括自定義函數(shù)、參數(shù)傳遞、匿名函數(shù)、全局變量和局部變量及其作用域和生存周期、動態(tài)參數(shù)、函數(shù)式編程以及常用函數(shù)介紹，實訓(xùn)內(nèi)容較多，需要用4節(jié)課來完成。任務(wù)6為Python模塊（Module）和包（Package），內(nèi)容包括模塊、多級層次的包結(jié)構(gòu)、import導(dǎo)入的多種形式和模塊內(nèi)置屬性，安排對應(yīng)的實訓(xùn)。任務(wù)7是Python類與對象，先是面向?qū)ο蠹夹g(shù)簡介，然后講授類定義、類的屬性和方法、繼承、類的私有方法、類的專有方法，安排對應(yīng)的實訓(xùn)。任務(wù)8即迭代器、生成器和裝飾器，包括其在大數(shù)據(jù)中的應(yīng)用，課后安排的實訓(xùn)也能明顯地展示出Python在處理大數(shù)據(jù)方面的效率提升。

有了項目1的Python編程基礎(chǔ)，項目2就開始講授Python的實踐應(yīng)用，相對于前面的內(nèi)容更具有實用性和趣味性。項目2計劃22學(xué)時，介紹用Python編寫網(wǎng)絡(luò)爬蟲，其任務(wù)1是爬蟲原理及簡單應(yīng)用，內(nèi)容包括爬蟲定義、爬蟲編寫的基本流程、爬蟲三大庫、創(chuàng)建爬蟲的完整過程等，安排的實訓(xùn)是利用爬蟲抓取出租房價格，非常直觀且有趣。任務(wù)2是任務(wù)1的延續(xù)并加深，利用爬蟲獲取多個信息，主要講授多頁面爬蟲設(shè)計思路和設(shè)計流程，安排利用爬蟲抓取多個房屋出租信息的實訓(xùn)。任務(wù)3講授Lxml庫與Xpath語法。Xpath是另一種常用的定位方法，內(nèi)容包括Lxml庫功能、XPath語法，通過Xpath獲得糗事百科用戶id的實訓(xùn)，安排實訓(xùn)用Xpath爬取爬取豆瓣網(wǎng)圖書TOP250并寫入CSV。任務(wù)4是編寫爬蟲爬取另一類的資源，即爬取Pexel圖片并保存，安排對應(yīng)的實訓(xùn)。任務(wù)5是本項目的重點(diǎn)和難點(diǎn)，即正則表達(dá)式的定位方法與爬蟲。先要詳細(xì)學(xué)習(xí)正則表達(dá)式，包括字符匹配、普通字符和元字符、正則表達(dá)式的相關(guān)方法如match（），findall（）和search（）等、貪婪與非貪婪匹配、P命名組，然后編寫用正則表達(dá)式定位的爬蟲，突出正則表達(dá)式的強(qiáng)大功能和普遍適用性。

通過項目2從互聯(lián)網(wǎng)上獲取大數(shù)據(jù)后，項目3利用Python對大數(shù)據(jù)進(jìn)行處理分析，計劃10學(xué)時。首任務(wù)是Python數(shù)據(jù)處理，先介紹Python數(shù)據(jù)處理常用庫Pandas，以及Pandas中的數(shù)據(jù)結(jié)構(gòu)Series和DataFrame，然后講解Python數(shù)據(jù)處理方法和基本數(shù)據(jù)分析的方法，包括基本統(tǒng)計、分組分析、分布分析和交叉分析，安排一個前后內(nèi)容相聯(lián)系的實訓(xùn)用Python處理爬蟲抓取的數(shù)據(jù)。任務(wù)2進(jìn)行Python圖表分析，先學(xué)習(xí)圖表分析常用的庫即matplotlib，分別講授用其實現(xiàn)餅圖、散點(diǎn)圖、折線圖和柱形圖的方法，打下基礎(chǔ)，再介紹用matplotlib畫復(fù)雜圖，如分布直方圖、分布餅圖等，最后安排對應(yīng)的Python圖表分析實訓(xùn)。

3.3 ?建議教學(xué)方法及學(xué)習(xí)資源

教學(xué)過程的設(shè)計是以工作任務(wù)為主線，以真實的項目任務(wù)來驅(qū)動學(xué)生學(xué)習(xí)，培養(yǎng)學(xué)生分析問題和解決問題的能力。教學(xué)過程突出精講多練，以學(xué)生的操作為主、教師引導(dǎo)為輔，適當(dāng)講解操作過程中遇到的理論知識，并用課內(nèi)外練習(xí)來鞏固、提升課堂教學(xué)效果。在教學(xué)手段的應(yīng)用上，充分利用現(xiàn)代教育技術(shù)，操作環(huán)境仿真企業(yè)真實生產(chǎn)環(huán)境，安裝與企業(yè)一致的主流軟件和工具，如PyCharm，Anaconda，MySQL等。除了教材和課件外，互聯(lián)網(wǎng)上也有大量的數(shù)據(jù)分析與管理的資源，廣泛利用網(wǎng)絡(luò)教學(xué)資源，提供市場常用的網(wǎng)站、論壇地址和QQ群號、微信群號等，如數(shù)據(jù)分析網(wǎng)（http：//www.afenxi.com/）、中國統(tǒng)計網(wǎng)（http：//www.itongji.cn）、人大經(jīng)濟(jì)論壇-計量經(jīng)濟(jì)學(xué)與統(tǒng)計區(qū)（http：//www.pinggu.org/bbs/index.php？gid=148）等，幫助學(xué)生在第二課堂進(jìn)行學(xué)習(xí)。

4 ? ?結(jié)語

基于大數(shù)據(jù)主流技術(shù)的“商務(wù)數(shù)據(jù)分析與管理”課程方案建設(shè)，引入了新的大數(shù)據(jù)處理分析軟件工具，采用企業(yè)真實案例，將教學(xué)內(nèi)容整理成多個項目，每個項目又分成多個任務(wù)，輔以項目導(dǎo)向、任務(wù)驅(qū)動式教學(xué)方法、以及仿真工作的實訓(xùn)環(huán)境，有效保障了教學(xué)效果。經(jīng)過兩年的教學(xué)實踐，該門課程由于內(nèi)容新穎、趣味性好、理論精學(xué)夠用、實踐豐富實用，受到了學(xué)生們的好評，學(xué)生學(xué)習(xí)熱情較高、考核成績良好，作為一門專業(yè)拓展課程達(dá)到了較為理想的效果。后續(xù)工作將繼續(xù)豐富課程的內(nèi)容，提升數(shù)據(jù)分析部分的難度，增加更加實用的案例，軟件工具也緊跟市場主流進(jìn)一步更新。在畢業(yè)設(shè)計中也爭取動員部分學(xué)生選擇Python方面的題目，促進(jìn)學(xué)生進(jìn)一步學(xué)精學(xué)透，并學(xué)以致用。

Abstract：By introducing the mainstream software tools into the market， this paper constructs the course scheme of “Business Data Analysis and Management” in higher vocational education based on big data technology. The scheme is divided into 3 projects and 16 subtasks， the real case of the enterprise is used and the training environment is simulated， the fine knowledge of theoretical knowledge is enough， and the practical application is rich and practical. The new curriculum scheme improves students interest and enthusiasm in learning， trains students ability of data analysis and application in business environment， and improves teaching effect and employment competitiveness.

Key words：higher vocational; big data; data analysis; courses; construction