■本刊記者 章繼剛
隨著數據資源的爆炸式增長,網絡爬蟲的應用場景和商業模式變得更加廣泛和多樣。網絡爬蟲作為數據抓取的實踐工具,構成了互聯網開放和信息資源共享理念的基石,如同互聯網世界的一群工蜂,不斷地推動網絡空間的建設和發展。
“據統計,2019 年就有近40% 的Web 流量來 自爬蟲。但是,其中20% 的Web 流量卻來自惡意爬蟲,且比例正在不斷上升。惡意爬蟲主要用于針對所有行業、地區和渠道的Web 內容搜刮、交易欺詐、垃圾郵件以及DDoS 和撞庫攻擊。其中,金融、電商、游戲、媒體、酒店等已經成為重災區。Akamai 和Ponemon Institute 聯合研究顯示,惡意爬蟲攻擊給企業平均每年帶來高達270 萬美元的巨大損失。”Akamai 中國區企業事業部總經理何銘表示。
Akamai 在2017 年12 月至2019 年11 月間,共觀察到850 億次撞庫攻擊,且無一行業能夠幸免。更可怕的是,惡意爬蟲一直在改變自身行為。具體來講,這些爬蟲的復雜程度已到第四代、能夠模仿人類的行為。若想打敗這些高度復雜的爬蟲,企業機構就需要一種高級且智能的爬蟲管理工具,進行分層檢測來找到那些“披著羊皮的狼”。
值得慶幸的是,越來越多的企業開始重視爬蟲管理,市場也越來越成熟。
作為CDN 服務提供商,Akamai 每天交付的Web 流量每秒超過50TB,這一優勢使得Akamai 有能力去監控互聯網上的攻擊情況,特別是對于爬蟲攻擊的監控。獨立研究公司Forrester 近期認定Akamai 為爬蟲程序管理領域的領導者。與此同時,Akamai 剛剛對其爬蟲管理解決方案進行了全方位升級,以更好幫助企業機構在不斷演變的爬蟲環境中始終快人一步,并將高度復雜的爬蟲扼殺在邊緣之處。
Akamai 的爬蟲程序管理解決方案通過其智能邊緣 平 臺(Intelligent Edge Platform)上無與倫比的數據量來支持高級機器學習算法,從而提供了基于行為的檢測。Akamai 通常每天要與13 億臺不同設備進行交互,可以識別從客戶端收集的數百個信令中的異常情況,從而檢測出最為復雜的爬蟲程序。
Akamai 大中華區產品市場經理劉炅強調:“Akamai的防護方案不是一個單點的防護方案,是一個分層次的全棧的防護方案,從DDoS 的防護到網頁的防護,到爬蟲的管理,甚至對于API 的認證檢測以及API 的攻擊都可以進行防護。所以,基于Akamai 本身的邊緣安全的能力,我們提供了一整套的防護的解決方案去抵御惡意爬蟲的攻擊。”