項目驅動教學在網絡爬蟲課程中的應用研究

劉 清，徐華麗

（皖西學院，安徽 六安 237012）

大數據科學與技術是國家重點支持的新型特我專業之一，具有廣闊的行業發展前景[1]。作為獲取互聯網數據主要技術手段的網絡爬蟲技術，自然受到廣大師生的廣泛關注[2]。

網絡爬蟲課程是大數據科學與技術專業的核心課程，具有區別于傳統編程類課程的特點：課堂案例的爬蟲代碼有效期短，學生課后復習難度大。主要原因是教師在課堂上演示的爬蟲程序都是針對特定網頁編寫的，只要目標網頁的結構發生變化，演示程序就不能得到正確的結果。這一特點與C 語言程序設計[3]、Java 程序設計[4]等程序類課程具有明顯的差異。因此，學生必須積極參與課堂教學，否則很難深入理解并掌握相關知識點。

鑒于上述特點，以教師為中心的知識點傳授教學模式，必然面臨諸多挑戰：學生課堂參與度不高、學生課后復習難度較大及核心知識點難以深入理解等問題。

本文主要通過在網絡爬蟲課程中，設置難度適宜的項目，將傳統知識點傳授教學法與項目驅動教學法[5]有機結合起來：讓學生自主設計項目解決方案，在項目實施過程中，主動發現問題并解決問題；進而全面提升學生的學習積極性、發現問題及解決問題的綜合能力。

一、項目驅動教學法簡介

為了進一步提升大學生的課堂學習效率并熟練掌握網絡爬蟲技術，本文采用項目驅動的教學方式，以學生為中心構建項目解決方案，綜合提升學生的學習能力。

（一）項目驅動教學的涵義

脫離實際問題的、純粹的知識點傳授式教學，大多是枯燥與乏味的，不能引起大多數學生的學習興趣。項目驅動教學法認為學習的動力來自解決生活中的問題；解決問題的過程便是構建知識框架、提升思維能力的學習過程。因此，項目驅動教學的核心理念就是讓學生在項目實施的過程中，發現問題并自主解決問題，從而提升其學習積極性。區別于傳統教學方法強調在“聽中學”，項目驅動教學法則強調在“做中學”[5]。在項目驅動教學過程中，學生在項目問題的指引下，不斷解決問題和發現新的問題，并最終完成整個項目任務。項目驅動教學是一種現代化的教學方法，現已廣泛應用于多學科的教學實踐中。

特別是在大數據時代背景下，絕大多數課程的核心知識點及常見易錯問題，在互聯網上都能找到原型。這就為項目驅動教學的實施提供了豐富的經驗供學生學習與借鑒。

（二）項目驅動教學的特點

項目驅動教學在實施過程中，主要以小組為單位，組員之間分工明確并合作解決項目難題。項目驅動教學一般具有如下幾個特點。

首先，項目的難易程度對項目實施效果有重要影響。教師要恰當選擇學生感興趣的話題，將核心知識點融入其中，并將之設計為功能較為完善、難度適中的項目。難度大的項目會挫敗學生的自信心，讓學生望而卻步；難度過小的項目則很難引起學生的學習興趣。難度適中的項目一般具有入手簡單、多知識點相互關聯等特點。這樣的項目能夠讓學生產生解決項目的自信心，并在解決項目的過程中，不斷挖掘潛在的知識點。

其次，學生是項目驅動教學的主體。在項目教學過程中，學生根據教師的指導，自主完成項目解決方案的設定、組員工作內容分工及關鍵核心問題的攻克等任務。學生遇到問題之后，可以選擇與組員交流討論，也可以借助網絡搜索相關解決方案。教師只在必要的時候給予一定指導，以幫助學生順利解決問題。

最后，學生的綜合能力得到顯著提升。在項目實施過程中，學生需要協商制定項目解決方案；需要根據學生特點，自主合理地分配項目內容；需要不斷反思當前學習活動存在的問題，修正項目方案。因此，學生的合作能力、邏輯思維能力及交流與溝通能力等綜合能力將得到較大的提升。

二、項目實施流程

項目驅動教學從教師設置項目開始到項目評價結束，主要包括以下幾個過程。

（1）項目設計與理論教學。教師根據當前研究熱點，選擇具有實際應用意義的課題并將若干核心知識點融入其中，從而設計合適的項目，供學生學習。在項目實施之前，教師應當為學生開展相應的理論教學，讓學生掌握一定的專業基礎知識。

（2）解決方案制定與項目分工。首先，在教師的指導下，學生完成分組之后，重點協商并制定項目解決方案。在這一環節，學生需要按照軟件生命周期，完成項目需求分析及解決方案的整體框架設計。其次，每個小組需要根據組員的特點及項目解決方案的結構，合理劃分項目子模塊，并合理分配任務。

（3）程序編碼與測試。每個小組成員根據自己分配的任務，有針對性地開發相關程序，并測試程序的性能。在遇到較難的問題時，可以與組員討論、在互聯網上搜索相關案例經驗或者咨詢指導教師。

（4）小組答辯與教師評價。每個小組將組員的子程序模塊組合為功能完善的作品，并撰寫詳細的說明文檔。小組匯報時提供項目解決方案，項目實施過程中遇到的難題及對應解決方法。教師根據學生匯報情況，做出總結并給出若干建議，幫助學生認識自身的優勢與不足，以進一步提升學生的學習興趣。

三、項目改革實踐

本文將項目驅動教學法應用于網絡爬蟲課程的實際教學活動中。通過問卷調查的方式，在大三學生普遍關心的小說自動下載、考研信息匹配、圖書信息獲取、商品比價及大學生就業分析等眾話題中，選擇教學項目：編寫爬蟲程序自動從拉勾網獲取相關專業的招聘信息，并分析崗位、薪資、區域的分布情況。該python 爬蟲教學項目的總體要求如下。

（1）兩人一組，合作完成爬蟲方案選擇與代碼編寫。

（2）使用selenium 庫模擬登錄網頁并獲取相關數據。Selenium 庫是python 爬蟲常用的一種第三方工具，能夠自動打開網頁并模擬用戶操作網頁，實現元素定位、條件匹配等多種功能。

通過selenium 庫自動獲取拉勾網招聘信息的爬蟲程序主要包括三個模塊：網絡數據采集與存儲模塊、數據處理模塊及數據可視化顯示模塊。下面簡單介紹各模塊的功能及實現的技術細節。

（一）網絡數據采集與存儲模塊

登錄指定URL 鏈接地址，獲取當前頁的HTML 文檔，然后通過Css_selector 選擇器定位元素。定位當前頁面職位信息的python 語句為：Jobs=webdriver.find_elements_by_css_selector（'div'，[class=“job_item__1_khT”]）。Jobs 是一個迭代類型，包含當前頁面所有職位條目，每個條目包含：職位名稱、工作地點和薪資等信息。

獲取到上述信息之后，可利用MySql 數據庫存儲工作信息。數據庫相關的操作函數：MySQLdb.connect 函數（打開并鏈接數據庫）、cursor（）（獲取游標）、cursor.execute（data）（插入數據記錄）。

（二）數據處理模塊

根據獲取的數據，分別統計高薪工作的職業分布、區域分布及高薪崗位的共性要求。數據處理模塊工作流程如下。

首先，通過python 指令鏈接數據庫，并選擇數據庫及指定表格。主要函數包括以下幾種。

（1）conn.select_db（database_name）：選擇指定數據庫；database_name 是選擇數據庫的名字。

（2）cur.execute（“SELECT*FROM”+table_name）：按名選擇表格，table_name 為選擇的數據表格名稱。

（3）result=cur.fetchall（）：獲取表格數據，最終返回的result 是一個元組類型變量。

其次，去除崗位信息中的多余空格，刪除含有缺失信息的職位信息。String.strip（）函數直接刪除數據中的多余空格；在某些職位信息中可能缺失崗位的工資信息，因此需要刪除該崗位信息：若job['salary']的類型為str，則刪除。主要原因是：工作崗位的工資信息是一個浮點型數據，若缺失，系統會用空字符替代。

最后，將獲取的招聘數據組織成列表job_list;在job_list 中的每個元素是一個字典類型的數據，包含屬性：發布時間、崗位名稱、月工資、工作地點、鏈接地址、招聘單位、職位要求與說明。

（三）數據可視化顯示模塊

在獲取到相關招聘信息之后，本文對就業信息進行分類統計和數據可視化分析。

首先，統計月薪高于2 萬的高薪招聘崗位，并統計其區域分布。高薪崗位—城域分布如圖1 所示。

圖1 高薪崗位—城域分布圖

從圖1 可以看出，月薪高于2 萬的招聘崗位大多分布于上海、深圳、廣州及北京，這四個國內的大都市，其中上海和深圳的高薪崗位占比高于21%，遠高于國內其他城市。圖1 還說明，蘇州、杭州、成都和武漢等城市的高薪崗位占比低于北京等一線城市，這與城市的整體經濟水平保持一致。

其次，統計計算機方向高薪崗位的技術分類及其占比。本文重點統計了計算機方向上的傳統技術及大數據技術，區塊鏈等新興技術的高薪崗位比例，以引導大學生根據自身興趣，及早準備相關技術知識，為后期擇業做好充足準備。各技術的高薪崗位分布圖如圖2 所示。

圖2 高薪職業的技術類型分布圖

從圖2 可以看出，區塊鏈和大數據的占比最高，分別為29.5%和21.5%。這說明，在IT 行業，新興技術的工資水平普遍高于傳統的軟件、程序類崗位。圖2 還說明，傳統技術之中，多媒體、軟件設計仍然是較為受歡迎的就業選擇。在C++、Java 及go 語言等主要的編程語言中，java 的高薪崗位略多于C++；go 語言是最近幾年興起的編程語言，現已超越python[6]，成為僅次于C++的熱門程序語言之一。

再次，根據每條招聘信息的崗位說明，本文利用詞頻統計，對高薪崗位（月薪高于2 萬/月）要求的工作經驗年限進行分類統計。詳細的工作經驗年限分布圖如圖3 所示。

圖3 高薪崗位的工作經驗年限分布圖

從圖3 可以看出，高薪崗位對工作經驗的要求大部分集中于3～4 年和5～7 年，這兩個時間區間內，分別占比44%和27%；而工作年限在7～9 年之間的高薪崗位占比不到5%。出現這一現象的原因主要包括兩個方面：①計算機方向的技術更新較快，工作7～9 年之后，程序員的技術很難再次轉型；②年齡限制：本科畢業約24 歲左右，工作9 年之后，約35 歲，程序員的中年危機現象一直較為嚴重。通過對圖3 的分析，將有助于大學生做好個人職業的長期發展規劃。

最后，本文還分類統計了高薪崗位對邏輯思維、團隊合作和逆向分析等關鍵能力特征及其在職業招聘中的占比分析，結果如圖4 所示。

圖4 高薪職業的能力特征比例圖

從圖4 可以看出，在高薪崗位招聘中，邏輯思維能力和團隊合作能力是最重要的兩種能力，分別占比32.7%和33.4%；逆向分析及獨立思考能力也是高薪崗位要求的重要能力；讓人意外的是發現問題的能力占比不高，只有0.8%。主要原因應該是絕大多數崗位主要從事系統開發、維護等工作，而非科學研究型工作。

四、教學效果分析與評價

為了客觀評價本次項目驅動教學的效果，本文在實施項目驅動教學之前以及項目實施之后，對學生各進行一次相關爬蟲數據獲取、數據清洗及數據可視化基礎知識的測試，最終成績對比見表1。

表1 項目實施前后，測試成績對比表

表1 的測試成績統計數據說明，在項目實施前后，測試分數在61～85 分之間的人數比例總體基本保持一致，波動幅度不大；變化最明顯的是分數在60 分以下的人數占比由原來的21%縮小為5%。這說明，通過本項目的實施，大部分不及格的同學能夠通過自我學習，掌握爬蟲相關的核心概念及基礎知識。另外一個明顯的變化是高分成績的學生比例迅速增加：85 分以上的學生由原來的2%提升至19%。這一現象充分說明，通過項目驅動教學，學生能夠深入理解并且熟練掌握相關核心知識。

五、結束語

本項目成功將項目驅動教學法應用于網絡爬蟲課程的日常教學之中。通過挑選學生感興趣的熱門話題，讓學生主動參與爬蟲程序設計的教學過程，極大提升了學生自主學習的興趣。本項目的爬蟲程序重點獲取了大學畢業生重點關注的招聘信息，并對高薪崗位進行了統計分析：高薪崗位城市分布、技術分布、工作經驗及特定能力要求等。通過對高薪崗位的分析，增強了計算機方向畢業生對其職業生涯的宏觀認知，對其未來職業規劃具有積極的指導意義。從最終的測試成績分析可知，通過本項目的驅動，大部分學生能夠通過自主學習，較大幅度地提升其知識掌握水平，以及獨立開發爬蟲程序的能力。