開放資源統一調度平臺的設計與實現

文/鄒士棟 黃小紅

網絡性能測量是深入了解網絡運行狀況的重要方式，也是進行網絡優化和管理的重要依據。目前國內外主流的APM(Application Performance Management)在大規模的分布式測量中已經取得了出色的成果，但這些APM都受到測量點數量和地理位置的限制。為了解決這一問題，本文實現了全球開放資源的統一調度平臺，該平臺收集了國內外可用的LG(Looking Glass)網址，提供一套高可用性的API（Application Programming Interface），可以讓用戶獲取與調度全球的開放資源，從而解決了測量點與地理位置的限制問題。

網絡測量和網絡監控在拓撲發現、安全監測與網絡異常方面占有舉足輕重的地位，已成為開展互聯網技術研究的重要支撐。但是隨著互聯網的逐步擴大，對測量位置的要求也越來越高，開展大規模的網絡測量變得越來越困難。LG(Looking Glass)是由國內外的運營商提供的部署在主干網或者AS（Autonomous System）邊界的測量點，提供了ping、traceroute、bgp等豐富的測量功能，用戶可以通過LG網址發起測量任務，解決調試連接性等一系列性能方面的問題。LG主要有兩個優點，第一，良好的測量位置與廣闊的分布。第二，LG網址提供可視化的界面和豐富的測量功能，能使用戶更全面地了解網絡的狀況。盡管如此，它并不適用于系統的可重復的測量。其一，每個LG都是由運營商獨自擁有并運營的，沒有統一的模板；其二，LG網址沒有標準的輸入輸出；其三，為了減少Dos的攻擊，LG的運營商還會配置查詢速率設置。

面對LG存在的上述問題，尤其是統一調度問題，Periscope可謂是提出LG統一調度平臺的先驅。Periscope是由互聯網數據分析合作協會(Cooperative Association for Internet Data Analysis，CAIDA) 設計的一個LG的統一調度平臺，具有自動發現和使用LG能力。但是，它具有以下不足：

1.需身份認證，用戶需要進行身份驗證才能創建測量，未經認證的用戶只能查詢測量結果，我們嘗試聯系該機構進行身份認證，并未收到回復，因此periscope可能只服務于特定機構，不對大眾開放。

2.缺乏普適性，只提供了主流的6種LG網址模板，未對所有的LG網址進行適配。3.缺乏高效性，由于只提供可用的LG資源，并未對其進行整體評估，無法推薦高效可靠的LG資源。

鑒于LG的問題，北京郵電大學設計并實現一個統一的開放資源調度平臺UniteLGs。首先, 通過爬蟲技術自動爬取LG網址并利用模塊技術自動生成相應的模板；其次，利用統一調度的API，獲取全球可用的LG網址并得到統一格式的輸出結果；進一步，采用分布式的調度策略以解決查詢速率限制的問題；最后，提出一種通過加權單次調用評分得到整體評分的LG網址評分機制，進而可推薦給用戶高可用性的LG網址。

同時，為了解決Periscope的不足，UniteLGs也做了相關的努力。例如，不用需要系統授權便可使用，提供了統一調度API接口和配置UniteLGs的docker，用戶可以自己搭建統一調度平臺，也可以直接使用UniteLGs進行測量。其次，此平臺采用爬蟲技術，自動適配網頁參數，填充LG網址模板，因此能適配更多的LG網址，并且對每次測量進行評分，周期性的對所有LG網址進行整體性評估，推薦給用戶高效的網址，提高測量結果的準確性。

系統設計與調度流程

下文主要從UniteLGs系統架構與調度流程展開，對系統的各個模塊進行介紹，最后設計了一種評分模型，用來推薦高可用性的開放資源。

圖1 系統API調度模型

圖2 模板自動生成機制

API接口

用戶可以通過API接口獲取所有的開放資源列表以及詳細信息。核心控制器屏蔽了所有系統流程，用戶只需要填充表單，下發任務即可得到任務結果，如圖1所示。

系統流程如下：首先用戶獲取開放資源列表，選擇合適的開放資源并填充請求JSON，然后調用系統的API，此時核心控制器會收到相應的參數并根據用戶選擇的網址，提取網頁模板，填充測量參數，執行測量任務，最后把結果解析后返回給用戶。

針對于用戶的不同需求，UniteLGs提供了兩種任務結果返回形式：(1)原生的任務結果，即頁面得到的原始測量結果，核心控制器不對其做任何處理；（2）序列化的JSON，根據任務結果提取相應的參數，以JSON格式返回給用戶。這樣系統可以根據用戶的需求匹配結果，同時提供了標準化的輸入接口，便于程序的直接調用。

表1 開放資源模板提取參數

模板生成

系統模板生成機制是基于網絡爬蟲技術，通過爬取網址，分析網頁源代碼，提取相應的字段，生成相應的網站模板。同時測試模板的可用性，當測試通過即表示當前網址可以供用戶調度。如圖2所示。

由于LG并沒有一個統一的公示網站，UniteLGs從traceroute.org、bgplookingglass、lookingglass三個網站獲取可用于測量的源網址，自動檢測HTML網頁代碼是否包含LG界面，若包含LG界面則提取該網頁并自動生成模板。UniteLGs分析了主流LG網站的測量提交機制進而發現：絕大多數LG都是通過FORM表單方式提交。主要參數如表1所示。

對于每一個網址，通過分析LG網頁源代碼，提取query、addr、protocol、router四個參數（其中包括提交的四個字段的名稱與支持的內容），提取完畢后，通過任務執行模塊自動填充各個字段執行測量。如果有返回結果，則證明模板可用，對該開放資源進行可用標記，供用戶下次使用。如果返回錯誤或無返回結果，則證明模板不可用，對該開放資源進行不可用標記，供系統管理員進行模板的升級或手工配置。

圖3 系統架構

調度流程

用戶下達測量任務后，所有的處理流程都由核心控制器完成。核心控制器主要包括任務隊列、消息隊列、客戶端連接池三個部分，如圖3所示。

任務隊列用來存儲用戶的任務，系統將每次到達的新任務放入任務隊列；消息隊列用于不同模塊之間的通信；客戶端連接池主要存儲客戶端的連接，當將任務發送給客戶端的連接時，相應的客戶端便接收到任務。新創建的任務首先會發送到任務隊列，當輪到它執行時，核心控制器會通過消息隊列通知客戶端連接池，并通過特定的算法確定要調用的客戶端，通過調用此客戶端的回調函數，讓客戶端去執行測量任務。當獲取任務結果后，系統提取頁面結果，返回給核心控制器，核心控制器存儲結果，同時將任務結果返回給相應的用戶。

由于大多數LG網址存在查詢速率限制，所以UniteLGs使用了分布式調度客戶端去執行相應的測量任務。目前系統中有一百多個客戶端可以供UniteLGs調用，同時用戶可以通過下載UniteLGs提供的客戶端源代碼，運行程序加入到系統的連接池。當任務交給核心控制器時，核心控制器會挑選一個可對此網址調度的客戶端進行任務測量并標記客戶端訪問LG網址的時間，當下次訪問時，UniteLGs會從客戶端的連接池中尋找最近未訪問該網址的客戶端去執行測量任務。這樣既能夠保證查詢速率不會受到影響，又能夠保證多用戶的并發測量。

周期性檢測

由于大多數LG是由運營商提供，具有不穩定性與易變性，為此UniteLGs實現了開放資源的周期性檢測。系統加入了定時任務，檢測開放資源的可用性以及其可供調用的路由與測量類型，若發生變化，則變更數據庫存儲，以保證提供給用戶的網址都是可調度的。

網址評分

為了提高每次測量的準確率與反應速度，UniteLGs提出了一種LG網址評分策略。通過分析每次測量返回的數據，確定單次測量評分，最后通過貝葉斯加權統計得到網址的綜合評分。單次測量評分根據每次測量花費時間，以及開放資源的可用率，通過算法（1）計算得出。評分同時，更新此開放資源的可用率。其中當測量無結果或錯誤時不進行評分；對于網址的綜合評分，根據算法（2）對所有單次測量評分進行貝葉斯加權統計，同時考慮測量評分的時間，以及系統支持測量類型的數量和可用探測點的個數，進行計算。為了確保評分結果的偏離值不會過大，系統設定了一個平均分。評分算法如下所示：

圖4 系統演示

圖5 測量結果

其中

各個參數指標說明如表2所示。

系統測試

本文以用戶訪問TOP100網站為測量對象，根據網絡的拓撲情況選取了幾十個測量點，以覆蓋網絡中不同層面。利用可視化的視圖展示，觀察了時延、抖動、丟包等性能指標，準確的定位出網絡擁堵的時間。

在UniteLGs中，用戶可以通過API接口或頁面的形式進行測量。API接口主要有兩個，/opensourcelist接口用于獲取LG網址信息，/LGtask接口會調度相應的LG網址，并返回結果。網頁會提供一個可用的開放資源的列表，每個LG會展示國家、城市、AS域等基本信息，同時按照系統評分結果進行排序。這樣既提高了LG信息的準確性，又能推薦高效的LG網址。點擊網頁中的某一LG網址會彈出測量相關的參數，填充 query、protocol、router、address四個字段，點擊提交按鈕，任務結果將會在測量完成后顯示在右側的結果區，如圖4所示。

本次選擇了在墨西哥的LG網址中rt1.msk資源，對166.111.9.229進行類型為IPV4的ping測試，測量能在5s之內返回原始的測量結果，證明了系統評分的高效性以及系統的可靠性。

當任務結果返回后，我們提供了更直觀的任務展示視圖。我們利用圖4選用的LG網址，對166.111.9.229網址進行了時間間隔為5分鐘的周期任務，最后用可視化視圖方式將結果展示出來，如圖5所示。

表2 評分參數說明

視圖可以更直觀的展示出某一個測量點對某一個目標一段時間內的持續測量結果，能夠快速地定位異常點，由圖中可以發現，166.111.9.229這個網址在19日、20日、22日這三天凌晨4點半左右的連續半個小時內時延增大，同時伴隨著丟包，疑似發生Dos攻擊。系統管理員發現此問題后，可以在此時段對主機進行監控，來確定具體的原因。

綜上所述，網絡測量是了解網絡運行狀況和進行網絡監控管理的有效手段。本平臺實現了對LG開放資源的統一調度，擴大了網絡的監控能力，同時給出統一的API接口和評分機制，方便用戶使用而且提高用戶體驗。以較小的投入整合了大量的分布廣泛的資源，對解決網絡測量中測量點覆蓋的難題起到了一定的減緩作用。今后的工作重點主要是對該軟件進行擴充，優化開放資源的動態評分功能，提高用戶測量的精準性，獲取更好的使用體驗。