面向新工科的《Python大數據分析及應用》課程知識體系淺析

唐小勇 吳帆

【摘要】新工科建設是當前新經濟背景下對高校工科人才培養體系提出的新挑戰。本文以Python大數據分析及應用課程為研究，提出適合創新創業能力培養為核心的課程知識體系，希望能為新工科建設提供一種實踐參考。

【關鍵詞】新工科 ?知識體系 ?大數據分析

【中圖分類號】G64 【文獻標識碼】A 【文章編號】2095-3089（2018）40-0231-01

一、新工科是工科教育發展的必然

近年來，隨著以新業態、新技術、新產業、新模式為主要特征的四新經濟迅猛發展，給傳統工科教育帶來了全新挑戰。傳統工科教育因過分強調其工程性，而忽視理科與人文藝術教育，使學生缺乏創新能力。其次，傳統工科因思觀念守舊性和學科偏細而缺乏對交叉學科為核心新經濟的敏感性。因而很難適應新的社會經濟生活，亟需新的工科教育教學理念來培養具有創新能力的新興工程科技人才。基于此，教育部于2017年6月在北京召開新工科研究與實踐專家組成立暨第一次工作會議，全面啟動、系統部署新工科建設，目的是為深化工程教育改革，推進新工科的建設與發展[1]。因而研究適合新經濟的工科課程知識體系是當前新工科建設的重要內容。

二、Python大數據分析及應用課程

大數據是當前社會經濟生活領域最熱門話題之一，也是新工科人才必須了解的一門新興課程，對于工科工程技術人才交叉學科應用具有重要的實用價值。然而，大數據知識涉及相當廣泛，教授什么知識以培養學生大數據分析及應用能力去適應新經濟是當前新工科教育工作者面臨的重要課題[2]。大數據分析課程知識相當廣泛，包括大數據概念、數據來源、數據處理基本過程、大數據特點和應用等多領域;同時還有大量的大數據具體應用系統，如數據查詢分析計算系統包括HBase、Shark、Hive、Hana、Cassandra;批處理系統Hadoop、Spark;流式計算系統Scribe、Storm、Flume、S4、Spark Streaming等。

作為工科而言，學科具有很大的差異性，因而所需掌握的大數據分析及能力也區別較大。本文將以軟件工程學科為例，分析在新工科背景下需要哪些大數據知識點。由于面向軟件工程學科，本文將主要針對當前大數據分析最重要的編程語言Python進行分析，以提出適合新工科的Python大數據分析及應用課程知識體系，為新工科建設提供一種思路。

三、面向新工科的課程知識體系

新工科要求課程知識體系要有利于培養學生創新能力，能適應新經濟形式下的工程實現與項目創新能力。因而Python大數據分析及應用課程首先將系統介紹大數據概念、數據來源、數據處理基本過程、大數據特點和應用領域。重點在于大數據是隨著社會信息大量涌現而出現的一門技術，這種技術的人創新性如何，與現有技術的區別與聯系。因而要求學生明確大數據與云計算、移動互聯網、物聯網、數據庫等技術的相互關系，了解大數據的結構化數據、半結構化數據和非結構化數據特點及價值所在。以此創新為大數據分析而不是傳統的數據挖掘、數據倉庫技術。

其次，由于大數據是種新知識、新技術發展的課題，為給學生直觀了解其技術體系，課程將介紹具體的大數據分析關鍵技術如存儲系統BigTable、文件系統Colossus、搜索索引系統Caffeine、查詢工具BigQuery等。要求重點在于這些系統提出來的背景、技術特點及創新解決的問題，從而讓學生掌握大數據知識體系的應用概況。因而課程將引入Python語言來開發大數據實際系統，要求學生掌握這些系統所處的平臺。為此課程將系統平臺基礎知識向學生展示，這些平臺基礎包括常見的Linux操作系統命令、Docker客戶端和服務器、Docker鏡像、Registry、Docker容器、Docker安裝與啟動、Docker鏡像操作等。要求學生掌握平臺部署與維護能力。

第3部分課程將以Python程序設計語言的學習為重點。但由于學生已經具備基本程序設計能力，因而將簡要介紹Python語言與其語言不同的基礎知識，如Python安裝、Python表達式、變量、語句、函數、 模塊、列表、元組、字符串、字典等相關概念。然后，課程知識將進入Python高級主題，包括文件、抽象、魔法方法、異常、屬性、迭代器等知識。

課程第4部分將是Python如何存儲數據，因而將介紹大數據數據庫。由于大數據系統的開放性、數據的非結構化性，課程采用開源數據SQL 數據庫引擎SQLite和PySQLite數據庫技術。其次，大數據分析是網絡發展的產物，因而將需要大量網絡編程模塊及網絡編程技術。所以課程將重點介紹Python socket、urllib和 urllib2等基于網絡的編程實現技術。海量數據處理將涉及大規模事務處理，課程也把Python多線程編程技術作為重要的知識點，以期能提出學生進行大數據處理的能力。

第5部分課程將以綜合實踐應用能力培養為目標，重點在于培養學生創新項目設計與實現能力。因而課程主要介紹Python爬蟲基本概念，包括網絡爬蟲概念、XPath語法、XML解析、Python re、json模塊、HTTP協議和分布式爬蟲原理等。以此為基礎，實現一個影評信息實爬例，包括網頁下載器、網頁解析器、數據存儲器、爬蟲調度器等Python編碼與實現。基于以上能力，要求學生們分組實現基于某團購網的大型離線電商數據分析平臺、大數據分析在媒體公關與危機處理方面應用、期貨金融大數據分析等綜合實踐應用大數據技術案例。以此培養學生在新經濟環境中的創新創業能力。

四、小結

本文針對新經濟背景下的新工科課程知識體建設，提出Python大數據分析及應用課程的知識體系，系能為新工科建設提供一定的實踐參考。

參考文獻：

[1]https：//baike.baidu.com/item/%E6%96%B0%E5%B7%A5%E7%A7%91/20597803？fr=aladdin

[2]祝夫文，段園培，朱協彬.學時縮減背景下基于大數據的本科教育課時優化.教育教學論壇，2018，（12）：89-90

作者簡介：

唐小勇（1973.3-），男，湖南洞口人，副教授，博士，主要研究方向：計算機教學法、高性能計算。