中小網站CDN 一體化引入分發方案的研究與實踐

摘要：中小網站內容分發網絡（CDN） 引入具有無須客戶過多介入、引入成本低、易推廣等優勢，深受廣大客戶歡迎。但受限于中小網站開發商技術實力弱、政府網站安全性要求高等因素，CDN分發過程存在引入流程長、較多中小網站無法引入或引入效果差、引入后質量保障與安全管控難等痛點。建立CDN引入分發平臺可實現引入分析和質量監控一體化，助力CDN分發效果和效率的雙提升。

關鍵詞：中小網站；CDN引入；一體化；自服務；分發效果

中圖分類號：TP399 文獻標識碼：A

文章編號：1009-3044（2024）17-0092-03 開放科學（資源服務）標識碼（OSID） ：

0 引言

內容分發網絡（CDN） 是“十四五”時期關鍵的新技術基礎設施，其分發能力、分發范圍、分發品質直接關系到各類業務的高質量發展[1]。目前，全網多數熱點內容，如點直播視頻業務等，在CDN的加速下，業務感知已達到很好的效果，但多數政府民生類的中小網站在覆蓋及質量上仍是短板。在數字時代，中小網站與政務服務及熱點民生緊密相連，承載著信息交流、文藝文化、休閑娛樂、辦事服務、新聞發布及數據開放等諸多功能，成為人民生活中不可或缺的一部分。作為電信運營商重點打造的互聯網產品，目前其產品體驗尚不理想，同時也增加了運營商市場、運維人員的工作負擔，亟須進行優化[2]。

大部分中小網站的源站部署單一，回源質量不理想，惡意封堵、限速頻發，運營商約60%的內容質量投訴由中小網站誘發。為提升中小網站的互聯網內容服務質量，從根本上解決用戶訪問政府民生類網站的感知問題，近幾年，運營商持續推進中小網站的CDN 引入工作，并在CDN引入的流程與技術上進行了大力優化，建立了支撐CDN引入和分發的自服務工作臺，智能化貫穿引入全流程，極大地縮短了中小網站的CDN引入流程，優化了分發效果及業務感知，極大地改善了寬帶及專線用戶的業務感知，降低了引入及維護的人工成本，并創造了業務價值。

1 中小網站CDN 引入的現狀及面臨的問題

中小網站CDN引入因其客戶無須過多介入、無須對網站現有的網絡和架構做任何調整、引入成本低、易推廣等優勢而受到了廣大客戶的歡迎。但在中小網站的CDN引入過程中，仍存在一些痛點，影響了網站引入的效率及效果。首先，引入流程長、煩瑣，導致引入速度慢。由于大量中小網站開發商技術實力弱、無專業維護人員，對網站了解不足，導致引入所需的各類專業信息無法從網站側得到準確反饋；同時，中小網站的架構差異小、網站規則相似，CDN引入前分析其網站規則的人工重復性工作多，效率低下。其次，較多中小網站因動態內容較多（如論壇或新聞類），本地網站源站大量在異網，導致封堵、限速頻發，回源效果差，進而無法順利引入或引入效果不理想。再次，引入后存在各種質量和安全隱患，耗費大量維護成本。中小網站域名備案易失效及改動，無法及時發現，而分發內容已備案且備案準確是工信部對CDN 的硬性考核之一；中小網站架構單薄，易出現質量問題或遇到被篡改等安全風險，CDN引入的中小網站數以千計，傳統人工監控難以及時發現安全風險。

針對上述中小網站CDN引入的現狀及面臨的問題，亟須實現CDN引入流程的自動化和閉環化，并建立支撐CDN引入和分發的自服務工作臺。

2 一體化引入方案設計與實現

優化中小網站的CDN引入流程及技術的關鍵在于，建立支撐CDN引入和分發的自服務工作臺，實現域名一體化分發流程。這包括優化CDN引入適配算法、提升CDN分發技術、簡化CDN引入流程、強化安全及監控能力。自主研發支撐CDN 引入和分發的自服務工作臺，智能化貫穿引入前的域名分析及信息收集、引入中的規則適配優化及下發、引入后的備案檢查及質量安全監控，以實現中小網站引入分發的批量化、快速化、安全化。

2.1 建立一體化引入流程

1） 優化網站適配技術，實現自動化分析配置。待分發網站分析是分發工作的起點，CDN分發信息需要網站側提供如表1中所列的30多項基本信息。鑒于開發商技術實力弱、無專業維護人員，對網站缺乏了解，無法反饋準確信息，引入前的網站適配工作需要實現自動化，以減少費時費力的工作。

為了盡量減少對網站側技術信息的依賴，采取了通過網站域名資源爬取和網站資源及結構深度分析的方法，主動獲取所需的網站分發信息，實現了自動化分析與配置下發，從而縮短了CDN引入分發流程，提升了工作效率。圖1展示了面向中小網站的全面優化分析、適配技術流程圖，自主開發了自動化分析工具，替代了人工方式，實現了智能分析與配置下發，大幅提升了CDN分發效率。

針對域名資源爬取和網站內容結構分析構建如圖2分布式爬蟲系統，對網頁資源采集任務進行調度并觸發任務執行，通過分布式爬蟲分解資源采集任務，并分配給多個爬蟲線程；啟動爬蟲線程，分布式爬蟲系統從隊列資源獲取URL，根據資源采集任務指定的目標網站爬取URL對應的頁面，下載并獲取頁面數據；對獲取的頁面數據進行整理清洗，生成與資源采集任務匹配的格式化數據集，并通過持久化處理后存儲入數據庫。在爬蟲過程中，通過路徑、元素兩個維度對爬蟲結果進行歸總分析，得到網站資源總體分布和明細；此外使用設置過濾算法的主題型爬蟲，濾掉和主題無關的鏈接，選擇性地抓取那些和預先定義好的主題相關的頁面。這樣可以縮短抓取周期，提高抓取準確度，降低成本。

2） 優化CDN 回源，提升網站分發品質。許多中小網站為動態內容較多的論壇或新聞類，或因源站大量在異網，封堵、限速頻發，回源效果差。針對這些網站因為無法引入或引入效果差的現狀，通過如圖3動態內容加速的方案[3-4]，來擴展可分發網站范圍，優化網站分發質量。

如圖4所示，將網站內容進行動靜態內容分離，對靜態、動態部分內容分別進行分發加速。針對可以緩存的內容，由邊緣節點直接提供，針對不可緩存的動態內容，優化回源協議，提升回源速率。

3） 自研監測工具，保障網站分發可靠性與安全性。針對中小網站備案號易失效、網頁質量時常出現問題及網站內容容易被篡改等問題，傳統人工監控方式既費時又費力，且難以及時發現。為了應對這些引入后的困難，我們針對已分發網站，實現了多場景、立體式、高效率的業務監控能力，部分監控視圖如圖5所示，從而進一步提升網站分發質量與安全性[5-6]。具體包括：① 業務流量及并發監控：監控各業務的流量和并發情況，及時處理告警與故障。② CDN日志監控：挖掘CDN日志中的下載速率、響應狀態碼等價值點，監控CDN分發業務質量。③ 業務撥測監控：對CDN 分發業務進行7×24小時撥測，實時呈現分發業務質量、調度情況，出現質量劣化及時處理。④ 域名調度防劫持自動化監控：對CDN分發域名實施不間斷域名解析測試，當監測到解析異常時，自動觸發告警通知維護人員。⑤ 域名備案監控：通過與工信部備案系統接口，開展備案號批量化、常態化、周期性檢查、校驗，實現全量域名備案號每日自動化核查、監控及異常上報。⑥ 網站內容自動化監控：使用計算機視覺處理技術，運用圖像識別的原理，模擬人工訪問分發網站，獲取網站內容并自動進行識別分析，實時監測網頁是否能打開，內容有無異常，第一時間發現網頁無法登錄和網頁被惡意篡改問題，并及時推送告警。

2.2 實現一體化引入自服務工作臺

為了實現上述功能，基于X86 服務器，建立了CDN引入分發自服務工作臺，將CDN網管系統與信息安全系統、CDN 日志、撥測系統及工信部備案系統等接口打通，實現一體化引入分發。如圖6 所示，CDN 引入分發自服務工作臺從上到下分別為：功能層、任務處理與控制層、數據采集層、數據接口層。主要采集的數據包括：CDN 性能數據、探針撥測的質量數據、網絡流量數據、CDN日志數據、內容識別與核查數據、信息安全數據、域名備案數據及資源爬蟲數據等。其中，CDN性能數據及網絡流量數據來源于CDN 系統網管，日志數據來源于CDN日志系統，探針撥測的質量數據、內容識別與核查數據及爬蟲數據來源于撥測系統，域名備案數據來源于工信部備案系統，多維數據通過ftp 近乎實時的統一推送至CDN 引入分發自服務工作臺，經過數據處理及分類，存入數據庫，方便功能層進行查詢展現。

3 結束語

本文搭建的中小網站CDN 引入分發自服務工作臺已在現網進行了應用，端到端推進中小網站CDN 分發，引入周期由1個月縮短至3天，快速拓展本地中小網站引入范圍，本地關鍵網站引入率提升至93%，在保障安全的前提下，網站分發質量提高1.2倍以上，高質高效推進中小網站CDN引入工作。在實施智能化域名調度和分發內容監控技術為中小網站分發保駕護航后，域名劫持問題發現時延由1800s降為5s，內容篡改問題發現時延由600s降為5s，有效滿足了網頁篡改發現的時效性要求。中小網站CDN引入分發自服務工作臺在節約人力、降低網站引入成本等方面，帶來了良好的經濟效益，也通過提升用戶感知，提高用戶滿意度，帶來了良好的社會效益。

參考文獻：

[1] 姜文穎，倪偉，郭嵩，等.新型內容網絡關鍵技術及發展[J].電信工程技術與標準化，2017，30（10）：26-32.

[2] 易立軍.從運營商的角度思索CDN發展戰略[J].電信技術，2018（S1）：88，92.

[3] 萬倩，趙明，趙翠.用戶行為感知與網絡邊緣內容分發優化策略研究[J].廣播電視信息，2020（3）：44-50.

[4] 劉飛揚，葉麟，余翔湛，等.面向大規模網絡的實時高可靠消息分發技術[J].智能計算機與應用，2020，10（1）：285-289，293.

[5] 崔鵬飛，裘玥，孫瑞.面向網絡內容安全的圖像識別技術研究[J].信息網絡安全，2015（9）：154-157.

[6] 董博，李翀，劉學敏，等.基于爬蟲的數據監控系統[J].計算機系統應用，2017，26（10）：53-60.

【通聯編輯：代影】

基金項目：2023 年度安徽省高校科研自然重大項目（2023AH040195）；2023 年度安徽省高校科研自然重點項目（2023AH051460）；2022 年度安徽省高校科研自然重點項目 （2022AH052074） ；2022 年度安徽職業技術學院校級科技工程項目（2022xjzr003，2022xjzr009） ；2022 年度安徽職業技術學院質量工程重點項目（2022yjjxyj04）