汪凱



摘要:超聲波焊接工藝以其生產效率高、結合強度好的特點,被廣泛地應用在汽車、醫療、電子等方面。本文對超聲波焊接參數在電源連接器生產應用中常見的保持力問題進行研究,利用理論分析及正交試驗驗證的方法,尋找適合該產品的最佳參數,使電源連接器在超聲波焊接后滿足了保持力要求與外觀要求。
關鍵詞:超聲波焊接;電源連接器;參數;保持力
隨著互聯網的高速發展和大數據時代的來臨,網絡招聘已經 成為企業之間人才競爭的主要手段。相對于傳統的線下招聘而言, 網絡招聘成本低、覆蓋面廣、易于發布信息、招聘信息種類眾多 [1],通過網絡平臺求職者還可以更快地與招聘者進行溝通聯系, 節約了彼此之間的時間成本。同時由于“互聯網 +”經濟的蓬勃 發展,使得網絡招聘成為我國招聘市場的主流趨勢[2]。招聘信 息本身存在不同時段的時效性,不同政策的工資變化不同,冗余 度大,成效低,讓求職者很難匹配到自己心儀的工作。 本文使用網絡爬蟲技術爬取三個招聘網站的招聘信息,將爬 取下來的招聘數據進行智能可視化分析,發掘數據中隱藏的價值, 摸索網站招聘規律。通過得出結論,可以更有效地幫助求職者找 到適合自己的工作。
一、網絡爬蟲技術概述
隨著大數據時代的來臨,互聯網上的數據容量爆炸性地增長, 高性能的網絡搜索引擎以及定向的信息獲取的需求,使得網絡爬 蟲技術逐漸成為人們研究的對象。網絡爬蟲就是通過模擬瀏覽器 發出網絡請求,獲取網站服務器返回的響應,并按照一定需求爬 取數據的腳本程序。網絡爬蟲可以分為兩類:通用爬蟲和聚焦爬 蟲。
1.1 通用爬蟲概述
通過用戶初始規定的一個待爬取 URL 地址列表,爬蟲從中 按順序爬取URL地址,通過DNS解析獲得到主機網頁的ip地址, 然后交給下載器去下載網頁,將采集成功的網頁保存到本地磁盤 中,并且將已爬取的 URL 地址做出標志防止二次爬取,保存到 磁盤中的網頁又存在許多鏈接信息,再從中抓取 URL 地址放入 待爬取列表中去進行分析。如果發現有未下的 url 就放在待抓取 url 隊列的列尾,從而等待調度下載。如此循環下載,待抓取隊列 為空時,爬蟲就完成了對網頁的下載。
1.2? 聚焦爬蟲概述
通用網絡爬蟲所采集的網頁數據和正常用戶在瀏覽器中訪問 的數據是一樣的,而在大多數情況在,這些網頁數據中有 90% 是 對用戶來說是不需要的。聚焦爬蟲則可以根據用戶的需求而去爬 取特定的一些內容,是一種面向主題、面向需求的爬蟲。本次論 文所使用的爬蟲就是聚焦爬蟲。
二、搭建 Scrapy 框架
2.1 Scrapy 框架
Scrapy 框架是 Python 語言開發的,基于 Twisted 異步網絡框 架的開源爬蟲框架。用戶可以根據需求在 Scrapy 框架各個模塊中 編寫好要爬蟲的規則、存儲的結構,就能快速、靈活地爬取 web 網站的數據。其主要的框架組件有以下幾個:
(1)Scrapy Engine(引擎)組件:負責各個組件之間的連接、 信號傳遞和數據通信,是整個框架組件的核心。 (2)Spiders(爬蟲)組件:用來定制爬取 web 網頁的規則, 發出 Request 請求到Schedule(調度器),同時也接收Downloader(下載器) 發送過來的 Response 響應,并從中提取到 item 字段所需要的數 據由引擎發送到 Item 管道,如果有需要根據的 url 鏈接,就繼續 提交給調度器。
(3)Schedule(調度器):接收到爬蟲組件發送過來的 Request請求,將請求進行入隊列處理,進而交給Downloader下載。 Scrapy 架構圖如下所示,其中綠線表示數據流向。
圖 2 為 Scrapy 框架的工作流程圖。
三、 基于網絡爬蟲的數據采集實驗
本研究的實驗基于 Python 軟件進行,對北京計算機崗位招 聘信息進行爬蟲實驗,其中爬蟲程序運行過程如圖 3。
運行完畢之后,打開 navicat 可視化工具查看下載的招聘數 據內容,如圖 4。
三個爬蟲項目最大的區別在于各自網站數據傳輸的 URL, 這是各不相同的,通過抓包分析能獲取到網站數據傳輸的 Json 地 址,將其包裝到爬蟲模塊中去發送請求。前程無憂和拉鉤網爬蟲 項目的反爬蟲設置、數據庫連接、數據清洗都與智聯招聘網爬蟲 項目一致。執行各自的爬蟲名即可完成對網站數據的抓取。
四、結論
本文實現了使用Python的Scrapy爬蟲框架對三個招聘網 站的招聘信息采集,本文從求職者的角度去進行數據分析,利 用 Flask 框架簡單,靈活的特點,完成后臺服務器的搭建和使用
SQLAlchemy 模塊對采集的數據進行操作,實現可對不同崗位進 行搜索分析的網頁。求職者可以通過圖形的分析結果進而判斷招 聘信息是否合理,有利于更好地選擇工作。
參考文獻:
[1]杜玉帆 , 杜瑩瑩 .“互聯網 +”時代下網絡招聘行業發展 探析 [J].中國市場 ,2018(11):180-181.
[2]耿玉德,張元元.招聘網站求職滿意度影響因素分析 ——以高校大學學生為例 [J]. 工業經濟論壇 ,2018,05(05):82-89.
[3]杜玉帆,杜瑩瑩.如何應對網絡招聘中的虛假信息[J]. 中國市場 ,2018,(11):180-181.
[4] 北京大學天網搜索引擎 [EB/OL].http: ∥ pku.edu. cn,2019-05-03 [
5]趙禹婷.我國網絡招聘市場的現狀及提升對策研究[J]. 現代交際 ,2019(05):243-244.
[6]畢寧寧 . 移動互聯網環境下企業招聘渠道研究 [D]. 東北 師范大學 ,2018.
[7]郭越. 虛假網絡招聘中的法律問題研究[D].山西大學 ,2018.
[8]鄭毅 . 某公司招聘管理系統設計與實現 [D].電子科技大 學 ,2018.
[9]趙丹. 網絡招聘信息的分析與挖掘[D].貴州財經大學 ,2017.
[10]彩廣畏 . 從網絡招聘信息看我國人才需求狀況 [D]. 湖 南師范大學 ,2017.
作者簡介:
張婷,(1982.08.29-),女,岳陽職業技術學院,414000,漢族, 湖南省岳陽市,碩士,講師,大數據。