Python語言在Web數據挖掘中的應用

孫自立

（湖北國土資源職業學院 湖北 武漢 430090）

0 引言

隨著當下科學技術水平的快速發展，推動了大數據技術以及云計算技術的高速發展，與此同時許多行業領域每時每刻都在產生大量的數據信息，如何科學合理地處理這些規模龐大的數據信息，并從中獲取到自身想要的有價值信息，逐漸成為了當下人們關注的重點。數據挖掘技術也正是在這樣的背景下逐漸產生的，Python語言在數據挖掘領域中發揮了越來越重要的作用，并慢慢成為了應用較為廣泛的數據挖掘工具之一。當下，Web信息已經進入到極速增長時期，要完成對海量信息的精準篩選以及合理運用具有相當大的技術難度[1]。Python屬于面向對象的開源程序設計語言中的一種，相對于C語言、C++等其它編程語言來說，Python語言擁有更加簡單的語法結構，同時由于該語言是依托于Guido van Rossum開發的，所以其擁有各式各樣的庫以及API[2]。科學合理使用其中的sklearn、pandas 與numpy等工具庫，充分發揮Python語言的應用優勢，可以顯著改善Web數據挖掘的效率與質量，從而不斷強化社會生產力。本文重點分析了Web數據挖掘路徑與Python語言特征，探討了依托于Python語言的Web數據挖掘和分析方法，進一步提高Web數據挖掘效率。

1 Python語言特征

Python語言是當下產生的一種新型語言，基于第四代程序衍生而來，其主要面向的是交互性與解釋性對象，在Web技術應用中發揮了十分重要的作用，并在當下有著十分廣泛的運用[3]。比如說，程序開發人員在進行Google代碼編寫過程中就應用了Python語言，此外我國豆瓣網程序編寫過程中也同樣使用了Python語言。Python是一個應用十分便捷的腳本類語言，表現出非常良好的代碼開發應用率，同時依托于對其第三方數據庫的使用，能夠基于簡單代碼產生優異的性能。相比較于應用十分廣泛的C語言，Python語言中幾乎不存在可讀性代碼，而當兩者性能一樣時，C語言中涵蓋的可讀性代碼達到了20%。與此同時，Python語言應用的優勢還表現在不需要花括號，或者當是begin…end…分割語句語塊時，依托于Python語言中的冒號就可以實現代碼的科學分層。比如說在編寫條件語句ifTrue：print"Yes"時，ifTrue語句中使用的便是冒號，表明接下來的語句print屬于下層語句，必須要匹配一定的條件才能夠有效執行。

2 Python語言Web運用

Python語言還擁有跨平臺以及開源性的應用優勢，將其與Web程序結合起來，可以進一步擴大Python語言的應用優勢。該語言應用的WSGI模型是處于Python語言服務器范疇內，同時使用的程序以及中間層均是依托于官方標準，這種語言的主要缺陷表現為不能夠有效支持異步模型[4]。當下，隨著Python語言的迅速發展與廣泛運用，慢慢變成了現階段網絡游戲領域的主流變成語言，逐步替換了之前廣泛使用的C語言以及C++語言。

將Python語言應用到云計算過程中，能夠促使絕大多數基層轉向虛擬化層面。依托于云計算的應用，能夠為使用者帶來高質量的資源服務，主要包含了Saas/Paas/Iaas等[5]。比如說設計人員在進行易度Paas平臺開發過程中，就將Python語言廣泛運用到其中。Python能夠依托于標準化數據庫有效解決大數據庫中容易產生的各種問題，科學合理的開展轉化、分析等的大數據工作，緊接著分析與挖掘大數據特征與規律，同時表明其結構方式的有關需求。

3 Web數據的設計架構

3.1 Django

Django在當下有著十分廣泛的運用，是現階段Python Web中主流的設計架構。該Web設計架構表現出開源性屬性，通常包含了多種多樣的組件，可以很好地實現對存儲、界面以及映射關聯性等性能進行動態管控。在進行Django開發過程中需要應用到DRY標準，并且還應當要擁有獨立性與輕量級的Web服務器，還可以在較短時間內開發使用Web技術[6]。

Django開發中必須要依照MVC開發模式標準，主要包含了3個部分，分別為控制、視圖以及模型。模型層屬于架構應用的最底層，需要實現的主要功能是完成對各種數據信息的有效處理，例如，完成數據的驗證與存儲等工作。由于在Django當中使用者導入的控制模塊全部需要借助于基礎框架來完成，所以該部分被稱之為模板層。模板層的主要工作職責是展現數據，同時保持與讀取相關模板、完成對相關模板的合理調用等工作。設計人員在依托于模板語言開展HTML頁面渲染工作時，基于模板展現出的不同數據信息，采取不同的模板能夠得到不同的渲染效果。視圖層在應用架構中具有十分重要的作用，屬于應用程序的業務思維，主要功能表現為頁面顯示以及相關文檔數據的體現等。

Django在實際操作過程中，一般基于以下步驟進行：（1）瀏覽器將HTTP請求發送到Web服務器。（2）當Web服務器成功接收到HTTP請求之后，會將其轉送至運用Django。（3）Django發送相關指令要求中間層根據URLconf 模型完成匹配工作，并且給出適宜的映射函數；映射函數調用相關模板以及模型，依照實際需求給予有效的響應；緊接著中間層將該響應轉化為HTTP響應，同時將HTTP響應反饋給Web服務器。（4）使用者瀏覽器成功接收到來自Web瀏覽器的響應。

3.2 CherryPy

CherryPy建立在Python面向對象的HTTP框架之上，主要為Python開發人員提供服務的。在實際運用CherryPy技術開展Web技術開發和設計過程中，由于CherryPy自身并不具備獨立的語言體系，同時得益于CherryPy自身涵蓋有內置Web服務器，所以使用人員不再要構建相關Web服務器，就可以依托于自身內置Web服務器實現程序的運行[7]。服務器的主要功能一般體現在以下兩個方面：首先，依托于服務器能夠實現對基礎TCP的轉化，將其套接字信息輸送模式變化為HTTP請求，同時將請求發送到處理程序中。其次，依托于服務器實現對相關數據的封裝，確保上層基于軟件發送的數據轉化為HTTP響應，同時為接下來一層的TCP套接字傳輸提供支持。

3.3 Flask

Flask主要使用在輕量級Web當中。該服務器網關接口使用的是Werkzeug，模板引擎所運用的是jinja2，Flask通過BSD來獲得相關授權。值得注意的是，Flask自身不僅沒有抽象的數據庫，同時也未擁有評估表單的一般性能，而要實現這些功能，主要是借助于第三方數據庫。Flask架構表現出良好的可拓展性能，可以較為便捷地增添相關功能。

4 依托于Python語言的Web數據的挖掘及分析

現階段，開發人員在進行腳本設計過程中會常常使用到Python語言，得益于Python語言的交互性、解釋性與關聯性優勢，使得依托于Python語言完成的腳本代碼程序表現出優異的可讀性，并且運用該腳本語言完成的代碼架構還能夠進一步提高程序開發與程序維護的效率與效果。另外，從初學者的視角來看，Python語言腳本十分的簡單且易懂，可以提高開發人員思維的活躍性，從而使得Python語言在較短的時間內成為現階段十分流行的設計語言。

4.1 Web數據挖掘內涵

Web數據挖掘（Web data mining）最早出現在20世紀90年代中后期，是融合了數據挖掘技術和Web技術的產物，也被稱之為知識發現。Web數據挖掘技術實現的主要功能是從Web網頁中產生的海量數據信息中分析與整合出有價值的信息，緊接著依托于數據挖掘技術，從中尋找出隱藏在信息背后的數據信息，對得到的數據信息進行深入分析與探究，并依照數據表現出來的結果開展有根據性的預測與評估工作[8]。伴隨著大數據技術以及Web技術的高速發展，Web數據挖掘在現階段數據挖掘領域中占據了極其重要的地位，依托于Web數據挖掘能夠進行用戶行為的精準分析，利用分析與挖掘出有參考意義的規則。從長久眼光來分析，Web數據挖掘技術表現出了良好的商業價值與科研價值。圖1為Web數據挖掘的具體流程圖。

4.2 數據挖掘技術使用優勢

當下我國已經正式進入到網絡時代，互聯網的普及范圍越來越大，網絡數據資源的種類多種多樣，并且數據資源規模也越來越龐大，然而絕大多數網絡數據資源均是非結構化數據，這給數據信息的采集以及分類工作帶來了非常大的挑戰。在數據挖掘技術還未出現時，用戶在進行數據信息收集與整合過程中，往往需要通過人工復制粘貼的方式進行，不僅會浪費大量的時間，同時獲得的數據品質普遍較低，無法滿足自動分析與數據收集需求。依托于Python語言的網絡爬蟲技術，表現出效率高、精準性好的優勢，在強化數據收集與分析速度上發揮了重要作用，并且能夠有效改善采集數據的質量。此外，依托于人工方式進行數據收集與分類，難免會出現數據遺漏或者數據錯誤等現象，而由于數據規模十分龐大，當出現某個數據錯誤時，要想糾正錯誤幾乎不太可能。然而，通過運用網絡爬蟲技術，可以顯著提高數據的準確性，即便出現問題，使用者也能夠在較短時間完成問題的解決，表現出非常好的應用優勢。

4.3 不同網絡爬蟲算法對比

（1）廣度優先方式。該種網絡爬蟲算法主要應用在Web目錄部分。第1步爬取第1頁相同級數的頁面信息，緊接著在隊列中引入爬取鏈接，并慢慢向外擴展，最大程度得到較多的鏈接信息，以此來達到強化抓取Web數據速度的目的，因此在實際應用網絡爬蟲算法中，廣度優先方式具有非常好的實用性。然而該方式在深入挖掘目錄信息時要花費較多時間。

（2）深度優先方式。該方式表示為網絡爬蟲依照既定順序進行Web頁面信息獲取，一直到達最深層次目錄，同時在完成某個分支的訪問之后再轉移到另一個分支上，直至訪問完成所有鏈接，此時爬蟲任務才正式結束。該方式能夠實現爬蟲信息的深入挖掘，然而在進行信息的深入挖掘時要占據大量的系統資源[9]。

（3）Partial PageRank方式。在該模式下爬蟲爬取首頁之后，根據Web層面上的Partial PageRank值來評估其潛在價值，同時優先爬取PageRank的最高值頁面。該模式能夠從整體層面提升爬蟲效果，然而也存在數據精準性不高的問題。圖2為腳本內容程序代碼。

4.4 Web Scraping工作原理及價值

從工作原理視域來分析，Web Scraping位于網絡的傳輸層，主要是依托于TCP協議以及Web服務器來實現相關數據的輸送，應用層在和服務器開展數據交互時，需要建立在HTYP協議之上。從功能與價值視域來分析，該程序重點涵蓋了兩個模塊，分別是HTML解析模塊以及HTTP交互模塊[10]。在實際進行抓取時，首先依托于交互模塊將TCP連接傳輸至Web服務器窗口，當兩者之間建立穩定的連接之后，交互模塊會將GTTP申請輸送到Web服務器窗口，交互模塊在獲取到服務器傳輸的應答報文之后將HTTP拆封，讀取其中的HTML信息，緊接著依托于相關模塊完成對數據的提取和分析，最后將獲得數據格式化并存儲到數據庫中，也可以將其放置到結構單一的文本文件中。互聯網是一個發展快速且規模龐大的數據庫，同時涵蓋的資源主要是無結構文本方式，導致在進行網絡資源分析與歸類時面臨較大難度。

5 結語

綜上所述，依托于Python語言的網絡爬蟲技術在獲取數據信息上具有良好的優勢，能夠自主完成個性數據的挖掘，最大程度改善分析和檢索數據的品質。在實際開展數據爬取過程中，使用者應當要盡量使用優化后的數據爬蟲算法，聯系Python多線程技術，進一步強化挖掘數據的功能。