網絡爬蟲，兇猛來襲

閆珍珍

“爬蟲”，是一個“收集控”，它在各大航空公司的網站收集低價機票，在每個時間每個航段之間對比，選出最便宜的。這對于人類來說是一項非常煩瑣復雜的工作，但對于網絡“爬蟲”來說卻可以迅速完成;“爬蟲”又是一個“偽裝者”，它收集到特價機票后仿冒真人用戶搶訂機票

網絡爬蟲、Python語言……這些高科技黑話你懂嗎？

懂，說明你可能是折扣秒殺高手;不懂，那你就要看看這篇文章了?；蛟S今年再寫年終總結時，用一個“爬蟲”軟件就可以一“爬”搞定，再也不用一頁一頁找材料了。

幕后黑手

特價機票輕輕松松被“爬”走

近日，為春節出游做準備的小王正在各大航空公司網站搶購特價機票。然而，設置了鬧鈴、把家里網速寬帶提高到100兆的她還是一無所獲。而她的閨蜜卻在某“爬蟲”軟件的幫助下，成功搶到特價機票。

這里所說的“爬蟲”，是一個“收集控”，它在各大航空公司的網站收集低價機票，在每個時間每個航段之間對比，選出最便宜的。這對于人類來說是一項非常煩瑣復雜的工作，但對于網絡“爬蟲”來說卻可以迅速完成;“爬蟲”又是一個“偽裝者”，它收集到特價機票后仿冒真人用戶搶訂機票。

由于“爬蟲”的效率遠遠超過正常的手動操作，導致通過正常操作幾乎無法搶到票。代理公司搶到票后不會立即付款，他們會在航空公司允許的賬期內，尋找真正客源，然后退訂此前使用虛假客源身份預訂的低價票，再使用真實身份信息進行訂購，最后實現該低價票的加價轉售。如果未能在規定賬期內找到真正客源，代理公司會在訂單失效前再追加虛假身份訂單，繼續“霸占”該低價票，直至找到真正客源售出為止，而普通用戶在航企官網查看時卻顯示低價票已售罄。

其實，“爬蟲”技術并不神秘，無非分為三步：“爬”上網頁、“鏟”下數據，最后進行加工清洗。

事實上，機票代理公司用“爬蟲”搶特價票再加價售賣也不是秘密。在線票務服務公司攜程的“反爬蟲”專家在技術分享中透露，某網站的一個頁面，每分鐘的瀏覽量是1.2萬，真實用戶只有500個，“爬蟲”流量占比為95.8%。很多業內人士也表示，即使在“爬蟲”活動的淡季，虛假流量也占到訂票網站總流量的50%，高峰期更是占到90%以上。

功能強大

人臉識別輿情監控都靠“爬”

“爬蟲”技術剛剛出現時，并不是一個搶票工具，而是采集公開數據、然后進行分析使用的工具。愛濟南APP的研發者之一、舜網研發部主任李濱告訴記者，“爬蟲”最早應用在搜索引擎領域比如谷歌、百度、搜狗等，因為每天需要抓取數百億的網頁，所以它們需要借助龐大的“爬蟲”集群來實現搜索功能。這種信息采集過程很像爬蟲或蜘蛛在網絡上漫游，因此得名。

隨著人工智能時代的到來，網絡“爬蟲”已是大數據概念的重要組成部分。爬取對象也從一些種子起始網址擴充到整個互聯網數據，比如新聞資訊、電商產品、折扣信息等?！皭蹪螦PP就是通過收集用戶的閱讀習慣，從日常爬取的內容中，進行篩選分析，然后再推薦給用戶。”李濱說。一些低價打折的微信群和QQ群，也是通過爬取淘寶和京東等網站的折扣信息，計算出最低價格推薦給群友。

“爬蟲”還應用于市政輿情系統，通過爬取論壇、微博、微信內容，自動分析出色情、暴力等信息提交。除此之外，個人征信系統、醫院智慧健康系統等都離不開“爬蟲”。

大數據帶火了網絡“爬蟲”，網絡“爬蟲”又帶火了Python語言?，F在用百度搜索“網絡爬蟲”，前幾條都是Python語言培訓廣告。山東最新出版的小學信息技術六年級教材，新增了Python語言編寫的內容;2018年的全國計算機二級考試，也新增了Python科目。

邪惡一面

非法竊取信息淪為“黑暗武器”

小王終于明白，跟她搶票的根本不是人，而是技術黃牛。既然能搶機票，那么能不能搶火車票？

李濱表示：“不能。飛機票因為有多家民航公司，同一航線、不同公司、不同時段，票價不同;但火車票目前只有鐵路部門負責，同一線路票價固定，沒有爬取的意義。”其實，“爬蟲”的意義在于代替工人來分析和對比各大民航網站和在線平臺的票價，通過數據分析得出最低價，而不是搶票。

大數據時代，“爬蟲”有時會成為低成本獲取數據的捷徑，淪為“黑暗武器”。有財經媒體爆料，在現金貸行業，有的平臺直接用“爬蟲”竊取其他平臺的用戶注冊信息和風控數據，類似于信用卡“以卡辦卡”，如果你有別的信用卡，不用自己申請就給你發卡;你在某個現金貸平臺注冊填寫的數據，有可能被別的平臺“爬”出來，只需用戶授權賬號和密碼，但這個授權你本人可能并不知情。

而最近幾年被爆出的“爬蟲”產品遠遠不止這些。某大數據公司的業務員稱，公司最近開發了新項目，可爬取旅行網站、外賣平臺、地圖、共享單車等平臺的個人信息，甚至可以定制化抓取，“拿到第一手鮮活原始數據”。

“爬”支付寶、“爬”微信、“爬”現金貸……“爬蟲”看起來無所不能。

法律空白

惡意“爬取”成為監管“灰色地帶”

“新技術如果被非法或者不當應用，便會產生嚴重危害?；ヂ摼W空間安全需要建立健全完善的保護體系，絕不能裸奔。”李濱說。

李濱介紹說，目前的反爬技術主要有兩種：一種是限制同一IP、同一電腦在一定時間內訪問網站的次數。另一種是設置復雜的驗證碼機制，讓機器“爬蟲”不好識別。對航空公司來說，封IP的做法可能誤傷真實用戶?！岸绻o消費者設置一個非常復雜的驗證碼，導致他難以輸入，可能其就不再購買這個公司的票了?！币幻辉竿嘎缎彰暮娇展救耸勘硎尽ＫJ為，除了加大技術防范力度之外，司法機關也要通過完善管理和法律法規的手段來共同約束這種行為。

而在惡意“爬取”信息和技術黃牛搶票方面，正是法律法規監管的“灰色地帶”。

《網絡安全法》規定，未經授權“爬取”用戶手機通訊錄超過50條記錄，公司法人最高可獲刑3年;未經授權讀取用戶公積金社保記錄超過5萬條的，公司法人最高可獲刑7年……但對于高科技“黃?！钡蛊毙袨?，尚未有明確規定。

業內人士認為，航企的目標是要提升“爬蟲”搶票行為識別的準確率和賬期管理，不給“爬蟲”提供機會，“反爬蟲”不僅要依靠技術防范和業界自律，還應該通過完善管理和法律法規手段來約束，尤其是法律手段。（來源：政法網絡輿情）endprint