使用網頁元素隨機化方法的廣告反屏蔽系統

韋俊琳,段海新,白 宇,季姝廷,張皓宇

1(清華大學 網絡科學研究院 網絡空間安全實驗室,北京 100084)

2(北京百度網訊科技有限公司,北京 100085)

3(天津市大數據管理中心,天津 300221)

E-mail:weijl6819@gmail.com

1 引 言

互聯網在長期的發展中,形成一種穩定的用戶與網站之間的商業模式.該商業模式存在隱藏協議,由網站為用戶提供“免費”內容信息,而廣告作為“免費”內容的價格[1].互聯網的飛速發展得益于該商業模式提供的雙贏場景,在線用戶以極低的成本訪問由廣告贊助的免費網站內容服務,而廣告流量作為網站提供服務的補助收入,進一步激勵網站提供更多優質的內容,該商業模式下的隱藏協議對于網站的可持續發展有著積極的作用[2].在互聯網時代,廣告是眾多互聯網公司的主要收入來源之一,如Facebook、Google、Twitter、騰訊和百度等.根據2018年各互聯網公司年度收入報告,谷歌的廣告收入高達307.2億美元、阿里巴巴廣告年收入約為218.1億美元、百度廣告收入占比雖然占比下滑,但廣告收入仍超過百億美元,廣告收入超過80%以上的占比,它為互聯網產業的發展做出了不小的貢獻.廣告就像稅收,沒人喜歡,但它們的存在卻是必要的.廣告作為信息傳播的主要工具,積極為品牌做推廣,為新品牌做宣傳,不斷催化商業市場進步,在促進經濟發展方面起著積極向上的作用.

廣告市場由于缺乏有效的市場監督管控方法,會出現投放虛假廣告和跟蹤用戶行為等威脅用戶信息安全的行為[3].廣告行業利潤龐大,很難避免部分商家投放惡意廣告,廣告行業需要一定的監管方案,如果監管不到位,就會威脅用戶的信息安全.ADBlock Plus的正式上線,作為廣告攔截器對打擊惡意廣告投放起到了積極的作用,但封殺正規廣告的行為卻嚴重影響了互聯網長期穩定發展所形成的用戶與網站的商業模式.谷歌瀏覽器也在2018年推出內置廣告攔截功能,要求只能展示符合其定義的標準規范的廣告.而且廣告攔截器的發展方向也發生了變化,廣告屏蔽器的種類層出不窮,攔截廣告內容很少區分是否為惡意廣告,將攔截器認定為廣告的內容一律攔截[4].廣告攔截器的出現嚴重破壞了網站為用戶“免費”提供內容的商業模式,對在線廣告生態系統造成了巨大的威脅[5].廣告攔截器的興起給在線網絡服務帶來了一些潛在威脅,這可能會嚴重影響通過廣告補貼網站向用戶免費提供的內容商業模式[6].

廣告供應商面對廣告攔截器處于被動,絕大部分依賴廣告收入的互聯網公司都備受打擊,廣告供應商需要采取主動的方式對抗廣告攔截器對廣告的攔截.ADBlock Plus為首的廣告攔截器的使用用戶比例較高,而且呈現持續增長的態勢,導致廣告供應商投放的廣告展示成功率大幅度下降.反廣告攔截研究對廣告供應商成功投放廣告,挽回廣告損失至關重要.不同網站應用的反廣告攔截方案不同,目前的大部分網站所采用的反廣告攔截方案是通過檢測廣告攔截器的存在,提示用戶關閉或提供不同的網站內容,這種方案相當于將選擇權交給用戶,放棄了和廣告攔截器的對抗,不利于廣告行業的持續發展.利用WebSocket繞過廣告攔截器的方法在廣告攔截器新增了對WebSocket的檢測后也難以繼續生效.而且目前研究領域對廣告攔截的研究偏多,而反廣告攔截的研究則偏少,呈現明顯的不對等性.對廣告供應商而言,反廣告攔截的存在至關重要,廣告供應商需要采用主動的方式對抗廣告攔截器[7-9].

本文深入研究有效的廣告反屏蔽技術,借助CDN系統搭建廣告反屏蔽系統,旨在提高廣告展示的成功率,增加廣告供應商的收益.首先對最主流的廣告攔截器 ADBlock Plus 進行研究,深入分析攔截器對廣告的攔截原理.在充分了解廣告攔截器攔截廣告原理的基礎上采取針對性防護方案,對廣告元素資源地址進行加密,對抗廣告攔截器對資源請求的特征匹配;對元素屬性進行隨機化,對抗廣告攔截器對元素屬性的規則檢測.本文使用CDN系統搭建的廣告反屏蔽系統,不需要廣告服務器改變就能實現對抗廣告攔截的效果,實現了對廣告服務器的透明化,具有良好的兼容性和可擴展性.利用動態化的思想,對廣告資源地址進行加密,加密的資源請求讓廣告攔截器無法通過匹配資源地址特征來檢測廣告請求,對元素屬性名進行隨機化,讓廣告攔截器通過屬性名定位廣告元素的方法失效.反廣告屏蔽系統實際應用于百度反廣告屏蔽,大幅度提高了百度聯盟投放的廣告的成功率.本廣告反屏蔽方案應用于百度聯盟,作為國內大型廣告代理商,讓正規廣告能夠正常展示,不為惡意廣告商提供服務.

以下為本文的主要貢獻:

1)分析總結廣告攔截器對廣告的攔截原理,將廣告攔截器的主要功能劃分為兩個模塊,廣告資源請求攔截和廣告元素隱藏

2)提出使用元素隨機化的方法應對廣告攔截器對廣告內容的攔截,提出利用JavaScript代碼動態執行的特性對靜態元素和動態元素的隨機化方案,提供了新的方法對抗廣告攔截器,為廣告供應商提供了新的廣告反屏蔽方案

3)在百度CDN處搭建廣告反屏蔽系統,并對系統進行廣告請求對比測試,廣告展示對比測試和廣告上線運行測試.測試結果表明使用廣告反屏蔽方案能夠顯著提高廣告請求和廣告展示的成功率,提升了百度聯盟10%以上的廣告展示成功量,帶來了將近25億的廣告收入提升

本文第二節介紹相關工作,包括廣告攔截器和廣告反攔截器;第三節介紹廣告反屏蔽系統模型,包括攔截器原理和廣告反屏蔽系統架構;第四節介紹系統具體實現,從反屏蔽流程、靜態元素和動態元素進行介紹;第五節介紹實驗部分,對比測試廣告請求成功率、廣告展示成功率和實際上線對比測試;第六節對全文進行總結與展望.

2 相關研究

2.1 廣告攔截器

目前最常用的廣告攔截器包括ADBlock Plus、uBlock、Adguard和瀏覽器的內置攔截等.廣告攔截器通過匹配廣告請求、識別廣告元素屬性信息等方式選定廣告元素,然后實施請求攔截和元素隱藏等攔截行為.廣告攔截器對于清除惡意廣告,為用戶提供一個安全的上網瀏覽環境起著積極向上的作用,但廣告攔截軟件通殺廣告的行為給廣告市場帶來了滅頂之災.近年來發表的廣告攔截器相關研究[11-19],主要在完善廣告攔截器攔截列表做出貢獻.根據Shitong Zhu等人的研究,為檢測反廣告屏蔽器,補充攔截列表做出了不小的貢獻.而且根據Mohd Iskandar等人的研究結果,廣告攔截器也在不斷發展更新,向著DNS層演化.另一方面,廣告攔截方推出了白名單機制,初衷是為了彌補廣告攔截器的規則誤判,但實際上白名單卻成為了廣告攔截方對廣告商投放廣告的變相收費.廣告供應商如果想采用白名單的方式推出廣告需要對廣告模板及內容做很大的調整,廣告模板的多樣和廣告業務內部的復雜讓這種方式推動起來極為困難.而且廣告攔截器種類繁多,讓廣告供應商滿足所有的廣告攔截器的方式并不可行.

2.2 廣告反攔截

廣告供應商為了能夠減小廣告投放效果的損失,需要探索有效的廣告反攔截器的方法,廣告供應商與廣告攔截器之間展開了長期的對抗戰.廣告供應商和廣告攔截器之間的矛盾沖突不可避免,如Facebook采用一系列改變廣告投放方式的方法對抗廣告攔截器;部分網站通過檢查廣告攔截器的存在而限制用戶訪問的內容,部分新聞網站如“金融時報”,“華爾街日報”等更是推出了付費特區提供無廣告或訂閱廣告的服務;還有一些博客網站則是通過提示用戶關閉廣告攔截器來展示頁面內容.據Rishab Nithyan等人在2016年對Alexa Top-5K進行檢測,約有6.7%的網站存在反廣告攔截器的存在[4];Umar Iqbal等人2017年采用Wayback Machine對Alexa top-5K的網站進行檢測,檢測結果顯示約有9%的網站存在反廣告攔截器[7];據Shitong Zhu等人在2018年采用差分分析對Alexa Top-10K的網站進行檢測,結果表明30.5%的網站存在反廣告攔截功能[8].網站采用反廣告攔截的快速增長進一步驗證了廣告供應商和廣告攔截器之間的戰火持續升級.

廣告反攔截技術形式多樣,其中使用JavaScript檢查當前用戶是否使用廣告攔截器,根據檢測結果來調整網站服務模式可能會影響用戶體驗,不是最佳的選擇方案.Weihang Wang等人提出了WebRanz[10]工具,使用URL隨機化和內容隨機化對抗廣告攔截器,使得廣告攔截器不能根據列表來識別廣告內容,這為使用隨機化技術對抗廣告攔截開創了新思路.不過WebRanz系統需要在服務器端直接做較多修改,不利于系統的推廣部署.另一種廣泛使用的辦法是使用WebSocket繞過廣告攔截器對廣告請求的監聽[9],原因在于廣告攔截器原有的監聽方式無法監聽WebSocket的請求,但當廣告攔截器對WebSocket的請求進行監聽后,該方法難以繼續生效.

3 廣告反屏蔽系統模型

廣告供應商的廣告模板種類繁多,需要一種對廣告服務器透明的通用反屏蔽方案來應對廣告攔截.鑒于目前網站及網站廣告投放采用CDN系統進行緩存加速已經非常普遍,廣告反屏蔽系統也在CDN系統進行搭建,以便于能夠廣泛部署和推廣.

廣告反屏蔽系統是在分析廣告攔截器原理的基礎上進行的,針對廣告攔截器的原理采取針對性方案進行對抗.首先對廣告攔截器的原理進行分析總結,找到廣告攔截器對廣告攔截的要點.廣告反屏蔽系統充分應用隨機化的思想來對抗廣告攔截器,對抗要點一為通過對廣告元素的資源地址進行加密來對抗廣告攔截器對資源請求內容進行的特征匹配,對抗要點二為通過對廣告元素的屬性進行隨機化來對抗廣告攔截器對元素屬性進行的特征匹配.

目前的廣告屏蔽軟件種類繁多,鑒于ADBlock Plus 在廣告屏蔽市場中占據的絕對地位[3],本文對 ADBlock Plus 進行了深入分析,以尋求合適的對抗方法.ADBlock Plus 屬于瀏覽器擴展,適用于Chrome、Safari、Firefox 等主流瀏覽器,通過使用瀏覽器為擴展開發提供的大量接口API,控制瀏覽器發出的所有請求和監控頁面渲染的過程.經過分析發現,廣告攔截器的第一道關隘為廣告請求攔截.廣告攔截器能夠監管網站頁面發出的資源請求,并從中提取出網站發出的所有資源請求,將提取出的資源請求與廣告攔截器預先設置的規則列表進行匹配.如資源請求https://ad.domain.com/path/ad.png?query=ad&type=png 會被路徑匹配規則 /*/ad.png^、域名匹配規則 ||ad.domain.com^ 等選中,標識為廣告請求,然后阻斷該資源請求.廣告攔截器的第二道關隘為廣告元素隱藏.廣告攔截器通過向頁面注入JavaScript腳本實施對頁面元素的監控,使用 CSS3 Selecor 識別元素屬性選取目標元素.如使用 ###ad 匹配 id 屬性為 ad 的元素、使用 ##.ad 匹配 class 為 ad 的元素和使用##div[style="width:300px;height:250px;"]匹配 style 屬性寬為300px,高為200px 的DIV元素等.在完成廣告元素定位后,廣告屏蔽器添加 display:none !important;以修改元素的狀態,使廣告元素隱藏.廣告攔截器通過攔截請求和隱藏元素阻擾廣告元素的正常展示,在標準的廣告展示流程中設置關隘,對判定為廣告的元素實施攔截.

圖1 系統模型

鑒于廣告攔截器根據資源請求的特征來識別廣告請求和根據元素屬性來識別廣告元素,廣告反屏蔽系統也對應分為對抗資源請求匹配和對抗元素屬性匹配兩部分主要功能.處理資源請求為對廣告資源請求進行加密,處理元素屬性為對元素屬性名進行隨機化.廣告反屏蔽模型如圖1所示,系統位于瀏覽器和廣告服務器之間,適用于現今廣泛應用的CDN系統,通過CDN系統與瀏覽器前端配合完成對資源請求的加密和對元素屬性的隨機化.廣告反屏蔽系統在網站服務器返回的主頁中插入JavaScript腳本,插入的腳本通過劫持DOM API完成對廣告資源地址和元素屬性的隨機化.反屏蔽系統識別加密的資源請求,對加密的資源請求進行解密還原,保持對廣告服務器的透明性.

4 廣告反屏蔽系統實現

4.1 反屏蔽流程

廣告反屏蔽系統的核心在于對目標元素使用隨機化來應對廣告攔截器對廣告內容的識別.廣告元素的成功展示主要分為兩個步驟,資源請求和資源顯示.廣告攔截針對資源請求和資源顯示兩個方面做出了攔截,反屏蔽的要點也集中在了對目標元素地址和元素內容的保護.

廣告反屏蔽系統對廣告服務器保持透明化,采用中間件和瀏覽器前端配合的方式完成.前端首先通過中間件訪問網站,中間件在獲取網站頁面后,在廣告內容前插入反屏蔽腳本并對靜態廣告元素進行處理后,將修改后的頁面發送給前端.前端接收中間件返回的網站內容后,首先執行反屏蔽腳本,腳本劫持 DOM 調用頁面元素使用的接口,預設頁面渲染過程中廣告元素加載需要使用的參數.頁面渲染時對廣告資源請求進行加密.加密后的請求會發送到中間件,中間件對加密請求進行解密還原后發送到服務器,解密還原后的資源請求與未做反屏蔽處理前一致,不影響服務器正常工作流程.瀏覽器收到服務器返回的資源后進行顯示,展示時對元素屬性進行隨機化,讓廣告屏蔽器對頁面元素屬性的檢測失效.

上述流程實現對廣告元素的隨機化,對資源地址和元素屬性內容進行隨機化以擾亂廣告攔截器對廣告元素的攔截.但廣告元素又分為靜態元素和動態元素,在前端展示的方式不同,需要分別進行處理.

4.2 靜態元素隨機化

靜態元素是指服務器端返回頁面時就已經生成的元素,如圖2所示,靜態廣告通常由內容發布者提供,通過中央域名展示廣告.

圖2 靜態廣告示例

本文提出了兩種方案處理靜態元素:方案一,在CDN處反向代理主頁,解析頁面定位目標廣告元素,然后對廣告元素進行隨機化處理.在中間件處對服務器返回頁面進行處理,使用Openresty 的第三方庫Gumbo-lua 解析返回頁面,將頁面解析成DOM形式.然后遍歷解析后的頁面,定位目標元素位置,加密目標資源地址,最后將處理后的頁面返回給瀏覽器端.本方案適用于可以臨時存儲完整頁面的CDN系統,如果只能進行流式代理,則無法使用.方案二,不在CDN處進行頁面解析,只在頁面中插入JavaScript腳本,將對靜態元素的隨機化處理交給前端.在前端進行靜態內容重加載,在頁面添監聽函數 window.onload = function(){…},該函數在DOM加載完成后執行.遍歷頁面完成后的元素,檢查每個標簽的 src/href 是否需要進行替換,如果需要替換,則進行下一步的加密替換,否則,不進行修改.對元素屬性的處理需要進行預定義,指明需要進行隨機化替換的目標元素.

4.3 動態元素隨機化

動態元素是指服務器返回JavaScript代碼,由客戶端運行代碼后生成的元素,如圖3所示.動態廣告通常由在線廣告供應商或廣告網絡提供,托管在內容服務器上.與靜態廣告相比,它們可以由各種廣告網絡擁有的多個域提供.廣告內容通常是動態加載的,并且每次加載時內容都可能不同.動態廣告的展示需要加載不同的廣告服務器資源才能成功,如果其中任何一個步驟被廣告攔截器攔截,就會導致廣告展示失敗.廣告攔截器監聽所有的網站資源請求,會對請求的域名、路徑、請求等參數進行特征識別,如果被判定為廣告請求,則會攔截請求.

圖3 動態元素生成方式

反屏蔽系統利用JavaScript代碼動態加載的特性,劫持元素動態生成的賦值過程.如對id的賦值操作img.id = “ad_png”進行劫持,將新生成的id值變成隨機字符串,消除元素屬性名稱的特征;對src的賦值操作進行劫持,對新生成的資源地址進行加密,消除資源地址中的特征.將JavaScript動態加載的特性應用于劫持元素屬性賦值操作,圖4所示為劫持img.id 的賦值操作,劫持后的id屬性賦值操作都會先運行randomId函數才能生成.元素動態生成時,使用該方法對id、class和src等賦值操作進行劫持控制,讓新生成的動態元素的屬性值隨機化,并對新生成的廣告資源請求進行加密.

圖4 JavaScript代碼劫持控制

Fig.4 JavaScript hook control

對id、class的隨機化會影響到JavaScript對頁面元素的定位選取,需要進行額外修復以保障頁面功能正常,如getElementById、getElementsByClass、querySelector等.修復示例如圖5所示,重寫document.getElementById函數,在自定義函數中通過隨機化前后映射關系定位到元素位置,傳給原始getElementById函數,以保障功能正常.

圖5 元素定位修復

靜態元素隨機化的方案二也依賴于動態元素隨機化,要點在于將靜態元素轉換成動態元素.在window.onload監聽到頁面加載完成后,重新生成被廣告攔截器攔截而渲染失敗的靜態元素,將靜態元素轉換成動態元素.如廣告圖片的資源請求被攔截,導致廣告圖片展示失敗,在遍歷頁面時使用JavaScript重新生成,在重新生成時的資源地址賦值操作則和動態元素的隨機化一致.

5 實驗與分析

廣告反屏蔽系統在百度云加速部門搭建,百度云加速負責百度CDN管理,代理百度聯盟的廣告流量.在百度CDN處反向代理廣告網站,對返回的廣告內容進行處理,在頁面中插入反屏蔽腳本.頁面在前端加載時,發送加密的資源請求到中間件處,中間件對加密請求解密還原,發送到百度聯盟.最后將百度聯盟返回的資源發送到前端,由前端渲染展示廣告內容.當資源請求被廣告攔截器攔截或者廣告內容被廣告攔截器隱藏時,會導致廣告展示失敗.

在百度CDN上線廣告反屏蔽功能前,需要對百度聯盟的不同廣告模板和廣告內容進行測試.正常情況下,訪問網站時只有使用廣告攔截器的用戶才會導致廣告請求或顯示失敗,當中間件檢測到第一次廣告資源請求時,證明測試廣告成功從瀏覽器端發出.測試廣告展示效果時,在注入的JavaScript腳本中添加監控腳本,當廣告成功展示后,會向中間件廣告展示發出成功的信號.

搭建廣告反屏蔽系統后,進行了以下三項測試,分別為廣告請求成功比例、廣告展示成功比例和上線三天對比測試.廣告請求和廣告展示測試為上線前測試,分別為CDN上開啟和關閉反屏蔽10分鐘獲得的測試結果,廣告測試總量在相同時間間隔內的投放量相近,可通過成功率進行對比.廣告測試總數為測試廣告的頁面訪問量,廣告請求成功為CDN端收到從客戶端成功發出廣告請求,廣告展示成功為投放的廣告成功在客戶端展示并通知CDN計數.首先是測試廣告反屏蔽方案對瀏覽器發出廣告請求的效果,結果如表1所示.在未開啟反屏蔽功能時,投放的1438個廣告測試樣例,在中間件處只收到了1209個廣告請求;而開啟反屏蔽功能時,投放的1495個廣告測試樣例,在中間件處收到了1484個廣告請求.測試廣告的請求成功率從84.08%提升至99.26%,如圖6 所示,開啟廣告反屏蔽功能對廣告成功發出請求的提升效果十分顯著.然后測試廣告反屏蔽方案對廣告展示的效果,結果如表2所示.在未開啟反屏蔽功能時,投放的2967個廣告測試樣例,只有2336個廣告展示成功;在開啟反屏蔽功能時,投放的2816個廣告測試樣例,中間件處收到了2664個廣告展示成功的信號;測試廣告的展示成功率從78.73%提升至94.60%,如圖7所示,開啟廣告反屏蔽功能后廣告的展示成功率大幅度提升.雖然使用反廣告屏蔽后的展示成功率有明顯提升,但還是有5.4%的失敗率,這是因為廣告攔截器對廣告內容的隱藏方式復雜多樣,對元素屬性名的修改不足以應對廣告攔截器的所有檢測方法.最后進行實際上線測試,表3為分別上線三天抽取10%的對比結果.廣告請求量的提升為16.25%,廣告展示量的提升為11.53%,結果表明啟用廣告反屏蔽方案對廣告請求和成功展示有著明顯的提升.根據2017年百度聯盟分成160億收入初略估計,使用廣告反屏蔽方案能提升將近25億廣告收益.

圖6 廣告請求對比測試 圖7 廣告展示對比測試

表1 廣告請求對比測試

Table 1 Ad request contrast test

反屏蔽狀態廣告請求成功數廣告測試總數關閉12091438開啟14841495

表2 廣告展示對比測試

Table 2 Ad display contrast test

反屏蔽狀態廣告展示成功數廣告測試總數關閉23362967開啟26642816

表3 上線三天對比測試(10%流量)

Table 3 On-line three-day comparison test (10% flow)

反屏蔽狀態廣告請求量廣告展示量關閉477265143602開啟554830158769提升比例16.25%11.53%

6 總 結

廣告是互聯網收入的重要支柱,廣告攔截器的介入打亂了原有的用戶與網站之間的商業模式.廣告攔截器的使用用戶的持續增加,讓網站采用反廣告攔截的比例也快速增長.據2018年的檢測結果表明,超過30%的用戶使用了廣告攔截器來清除網站投放的廣告.這讓依賴廣告收入的互聯網產業損失慘重,所以廣告供應商也亟需尋求一種有效的反廣告攔截技術.廣告行業模板復雜,種類多樣,要從廣告服務器端直接進行改革則代價龐大,難以實施.

本文開發了一個不需要廣告服務器介入的通用廣告反屏蔽系統,可以通過瀏覽器端和中間件的配合完成對抗廣告攔截器.本系統相較于使用WebSocket的方式繞過廣告攔截器的檢查更為有效,當廣告攔截器增加了對WebSocket的檢測后適用WebSocket的方法就失效.而本系統是針對廣告攔截器的原理,對資源請求進行加密,對廣告元素屬性進行隨機來對抗廣告攔截器對廣告資源的識別.WebRanz系統采用的方法的核心思想與本系統一致,不過WebRanz系統部署在服務器端,需要對服務器端的代碼做大幅度修改.本系統部署在中間件,可靈活的應用于各種廣告模板,兼容性更好.

廣告反屏蔽系統目前應用于百度聯盟廣告反屏蔽業務,對比測試廣告請求和廣告展示的結果表明廣告反屏蔽系統應用于目前的廣告攔截效果顯著.實際的上線三天的對比測試結果表明反屏蔽系統給百度聯盟的廣告展示成功率帶來了大幅度提升,給公司的廣告業務帶來了巨大的收益提升.由于反廣告屏蔽系統應用于中間件系統,適用于當前絕大部分網站結構,可方便進行大規模拓展部署,具有良好的發展前景.