基于Python的51-job數(shù)據(jù)抓取程序設計

通過獲取的日期，用戶可以了解最新的職位信息。根據(jù)職位的詳細信息，求職者可以快速地了解到公司的要求以及職位的相關工作信息。通過上述的正則表達式獲取的信息，存入本地的Excel文件，方便求職者查看。

2.4 XPath程序設計

XPath即為XML路徑語言，它是一種用來確定XML(標準通用標記語言的子集)文檔中某部分位置的語言[16]。XPath基于XML的樹狀結(jié)構(gòu)，有不同類型的節(jié)點，包括元素節(jié)點、屬性節(jié)點和文本節(jié)點，提供在數(shù)據(jù)結(jié)構(gòu)樹中找尋節(jié)點的能力。起初XPath的提出的初衷是將其作為一個通用的、介于XPointer與XSLT間的語法模型。但是XPath很快地被開發(fā)者采用來當作小型查詢語言。

XPath相對于Re簡單一些，Re語言容易出錯，導致無法正確地獲得需要的信息，通常可以在Chrome中添加XPath Helper插件，可以在查看網(wǎng)頁源代碼是直接復制成XPath的格式，方便且通常不容易出錯。

在XPath程序中，其中：

‘div[@class="rt"]/span[@class="dw_c_orange"]’#獲取當前頁數(shù)

‘∥div[@id='resultList']/div[@class='el']’#獲取工作列表

‘./p[@class='t1 ']/span/a’#獲取工作名稱

‘./p[@class='t1 ']/span/a/attribute::href’#獲取職位鏈接

‘./span[@class='t2']/a/text()’#獲取公司名稱

‘./span[@class='t3']/text()’#獲取工作地點

‘./span[@class='t4']/text()’#獲取工資

‘./span[@class='t5']/text()’#獲取職位發(fā)布的日期

‘∥div[@class='bmsg job_msg inbox']/text()’ #獲取職位詳細信息

通過XPath和Re的代碼對比，可以明顯發(fā)現(xiàn)，XPath的代碼比Re的代碼要簡潔。

2.5 BeautifulSoup程序設計

BeautifulSoup提供一些簡單的、python式的函數(shù)用來處理導航、搜索、修改分析樹等功能[16]。它是一個工具箱，通過解析文檔為用戶提供需要抓取的數(shù)據(jù)，因為簡單，所以不需要多少代碼就可以寫出一個完整的應用程序。BeautifulSoup自動將輸入文檔轉(zhuǎn)換為Unicode編碼，輸出文檔轉(zhuǎn)換為utf-8編碼。不需要考慮編碼方式，除非文檔沒有指定一個編碼方式，這時，BeautifulSoup就不能自動識別編碼方式了。然后，僅僅需要說明一下原始編碼方式就可以了。

2.5.1 解析庫

本文介紹幾種python解析庫，并作比較，如表1所示，本文所用到的解析器是python標準解析器。

表1 解析庫

解析器使用方法優(yōu)勢劣勢Python標準解析器BeautifulSoup(makeup,″html.parser″)Python的內(nèi)置標準庫、執(zhí)行速度適中、文檔容錯能力強Python2.7.3或3.2.2前的版本中文容錯能力差lxml HTML解析器BeautifulSoup(makeup,″lxml″)速度快、文檔容錯能力強需要安裝C語言庫lxml XML解析器BeautifulSoup(makeup,″XML″)速度快、唯一支持XML的解析器需要安裝C語言庫html5libBeautifulSoup(makeup,″html5lib″)最好的容錯性、以瀏覽器的方式解析文檔、生成HTML5格式的文檔速度慢、不依賴外部擴展

2.5.2 標簽選擇器

標簽選擇器可以選擇元素，獲取名稱、屬性、內(nèi)容，可進行嵌套的選擇，能夠獲取子節(jié)點、子孫節(jié)點、父節(jié)點、祖先節(jié)點等。標簽選擇器可分為標準選擇器和CSS選擇器，標簽選擇器可以根據(jù)標簽名、屬性、內(nèi)容查找文檔，有兩個常用的函數(shù)，其中，find_all(name,attrs,recursive,text,**kwargs)用來返回所有符合條件的元素；find(name,attrs,recursive,text,**kwargs)用來返回第一個符合條件的元素。CSS選擇器通過select()直接傳入CSS選擇器即可完成元素的選擇。

在本文設計的程序中，選擇了CSS選擇器，使用select()函數(shù)完成數(shù)據(jù)的選擇，其中：‘int(str(soup.select('div.rt span.dw_c_orange')[0].nextSibling))’#獲取當前頁數(shù)

‘div.dw_table > div.el’ #獲取工作列表；

‘.p.t1 span a’ #獲取工作名稱;

‘p.t1 span a’ #獲取職位鏈接；

‘span.t2 a’ #獲取公司名稱；

‘span.t3’ #獲取工作地點；

‘span.t4’ #獲取工資；

‘.span.t5’ #獲取職位發(fā)布的日期；

‘div.job_msg’ #獲取職位詳細信息

3 實驗結(jié)果

利用本文設計的爬蟲程序，進行了如下實驗：首先進入主程序，點擊運行程序，程序返回如圖1的界面。

接著，如圖2所示，輸入數(shù)字“2”選擇BeautifulSoup解析方式，并輸入關鍵詞python啟動爬蟲，程序正常運行。

圖2 選擇解析方式并輸入關鍵詞

程序運行完畢后，在本地文件夾中可以找到以“python職位”命名的Excel文件，打開文件可看到如圖3所示的信息。

圖3 保存到本地的文件

4 結(jié)束語

本文根據(jù)Python語言簡潔易讀的特性設計了3種方法的爬蟲程序，用戶可以自行選擇數(shù)據(jù)解析的方法，并輸入需要查詢的關鍵詞，即可從龐大的職位數(shù)據(jù)中提取出需要的數(shù)據(jù)，方便快捷。本程序通過職位的關鍵詞、工作地點等信息的匹配，在一定程度上為使用者提供了便利。提取出的詳細的職業(yè)信息描述，可進行進一步的分詞，并統(tǒng)計詞頻，觀察單詞出現(xiàn)的頻率，可更加快速地了解公司及相應職位的要求，找到符合求職者的招聘信息。

[1] 房瑾堂.基于網(wǎng)絡爬蟲的在線教育平臺設計與實現(xiàn)[D].北京：北京交通大學,2016.

[2] 王碧瑤.基于Python的網(wǎng)絡爬蟲技術研究[J].數(shù)字技術與應用,2017(5):76-76.

[3] 周中華，張惠然，謝江.基于Python的新浪微博數(shù)據(jù)爬蟲[J].計算機應用,2014,34(11):3131-3134.

[4] 涂小琴.基于Python爬蟲的電影評論情感傾向性分析[J].現(xiàn)代計算機,2017(35):52-55.

[5] 郭麗蓉.基于Python的網(wǎng)絡爬蟲程序設計[J].電子技術與軟件工程,2017(23):248-249.

[6] Lutz M.Learning Python[M].北 京:機械工業(yè)出版社,2009.

[7] 劉志凱,張?zhí)t,劉磊.基于Web的Python3編程環(huán)境[J].計算機系統(tǒng)應用,2015,24(7):236-239.

[8] 王大偉.基于 Python的Web API自動化測試方法研究[J].電子科學技術,2015,2(5):573-581.

[9] Hetland M L.Python基礎教程[M].北京:人民郵電出版社,2014:243-245.

[10] 涂輝,王鋒,商慶偉.Python3編程實現(xiàn)網(wǎng)絡圖片爬蟲[J].電腦編程技巧與維護,2017(23):21-22.

[11] 高森.Python網(wǎng)絡編程基礎[M].北京:電子工業(yè)出版社,2007.

[12] 周立柱,林玲.聚焦爬蟲技術研究綜述[J].計算機應用,2005,25(9):1965-1969.

[13] 姜杉彪,黃凱林,盧昱江,等.基于Python的專業(yè)網(wǎng)絡爬蟲的設計與實現(xiàn)[J].企業(yè)科技與發(fā)展,2016(8):17-19.

[14] 陳琳,任芳.基于Python的新浪微博數(shù)據(jù)爬蟲程序設計[J].信息系統(tǒng)工程,2016(9):97-99.

[15] 劉娜.Python 正則表達式高級特性研究[J].電腦編程技巧與維護,2015(22):12-13.

[16] 齊鵬,李隱峰,宋玉偉.基于Python的Web數(shù)據(jù)采集技術[J].電子科技,2012,25(11):118-120.