通用在網計算系統架構及協議設計

姚柯翰/YAO Kehan，陸璐/LU Lu，徐世萍/XU Shiping

（中國移動通信有限公司研究院，中國 北京 100053）

1 在網計算的發展

在網計算（INC）指將部分計算任務卸載至網絡，讓數據在完成轉發的同時實現數據處理，從而提升數據計算效率。如圖1 所示，傳統的計算模式是數據由終端產生，全部送往集中的數據處理節點（如數據中心）來完成運算。在網計算則可實現數據邊轉發邊處理，大大降低數據處理節點的負載。

▲圖1 端側計算向在網計算演進

1.1 在網計算演進歷程

在網計算的技術理念首次出現在1995 年由美國國防部高級研究計劃局（DARPA）提出的主動網絡中[1]。在主動網絡中，網絡數據包不僅攜帶數據，還攜帶了數據的操作信息或程序。在網計算可以給主動網絡中的轉發節點使能主動計算屬性，基于數據包中的程序指令對數據包進行操作，從而實現應用相關的功能，比如防火墻或網頁代理等。但主動網絡并未形成主流技術體系，主要原因在于其實現依賴于中央處理器（CPU）的處理能力。而網絡設備的核心要務是進行線速數據包轉發，這對轉發芯片能力有嚴格要求。在當時，網絡設備的轉發芯片并不支持可編程能力，因此能夠在網絡設備做的計算也比較有限。

近年來，隨著可編程網絡硬件的發展以及軟件定義網絡架構的逐漸成熟，在網計算技術不斷發展。斯坦福大學N.MCKEOWN教授團隊在2014年發表的論文中首次提出了協議無關的包處理編程語言P4[2]，用于對網絡數據平面的算法和處理邏輯進行自定義編程，從而實現更加靈活豐富的功能。目前，大量的學術研究聚焦在如何發揮可編程網絡的靈活性和高性能，可編程網絡成為在網計算發展的關鍵使能技術。

1.2 在網計算主要應用場景

在網計算[3]已廣泛用于各種分布式系統。在網計算將應用相關的功能卸載至網絡節點，實現分布式應用處理性能的有效提升以及網絡帶寬資源的合理優化。本節中，針對目前在網計算在應用加速方面的主要研究，我們進行了總結，內容主要包括在網數據聚合、在網數據推理、在網緩存以及在網共識。

1）在網數據聚合

分布式機器學習模型訓練可以基于在網數據聚合進行加速。目前，主流分布式機器學習系統架構為環狀規約（RAR）和參數服務器（PS），如圖2所示。RAR架構對網絡帶寬資源占用高，完成一次完整的分布式機器學習模型訓練任務需要傳遞約模型總參數量2倍的通信量，極易引起網絡擁塞；而PS架構則由于集中式服務器節點的吞吐瓶頸問題，面臨較大的聚合延遲，限制了分布式機器學習模型訓練的效率，擴展性較差。

▲圖2 在網數據聚合

在網計算可由網絡交換節點實現參數聚合功能，既克服了聚合節點的吞吐瓶頸問題，也避免了RAR 架構高額的帶寬資源占用，實現了訓練性能和帶寬資源的有效平衡，極大地提升系統的擴展性。

2）在網數據推理

在網數據推理可實現網絡流量分類和控制。業界相關的研究包括在網絡轉發設備實現決策樹、支持向量機（SVM）、樸素貝葉斯等各種分類算法[8]，以及通過神經網絡實現聯邦學習，支撐網絡設備在網絡路徑上就近返回處理結果，從而提升集群計算能力。

與基于分析服務器的推理方式相比，中間層交換機推理提前終止了終端設備發往分析服務器的原始數據流量，節省了更高層核心網絡的帶寬，同時利用網絡設備的高速處理來減少推理時間，加速數據實時分析和控制指令響應。

3）在網數據緩存

高性能的分布式數據存儲和索引需要依賴于高性能的Key-Value存儲。在社交網絡等高并發應用中，慢速的Key-Value存儲可能導致較大的系統尾延遲，進而影響系統性能。通過設計層次化的緩存系統，在邊緣網絡節點部署Key-Value 緩存服務，在網絡設備中完成高頻內容緩存以及快速查詢和響應[4]。在網數據緩存機制是高性能存儲系統以及高性能流式處理系統加速的關鍵。

4）在網數據共識

在分布式系統中，可以通過共識協議來實現對某個數據值或操作序列的一致性，比如鎖定管理系統、組播通信、一致性協調。卸載共識功能的部分或全部功能卸載到網元，可以減少協調延遲，提升分布式系統的可用性。文獻[5]利用可編程交換機實現了一致性算法的網內卸載，實驗也證明了在網數據共識對分布式系統性能的優化。

2 通用在網計算架構

在網計算對系統的性能優化已被廣泛地論證，但是在網計算在架構設計層面還面臨碎片化的問題。目前，在網計算主要根據應用場景進行定制化設計，滿足相關應用的個性化需求，但是這樣的設計方法擴展性較差，不利于在網計算的規模化應用。

同時，對應用開發者而言，想要基于網絡設備的計算能力進行系統設計，既需要了解上層系統的邏輯架構，還要了解底層物理網絡的屬性，包括網絡設備的編程能力以及網絡的規劃能力。這也進一步提升了在網計算系統的設計門檻，阻礙了在網計算的應用。

為解決上述問題，我們在架構設計層面，從在網計算的通用性和應用設計的友好性出發，設計了S（任務調度層）、C（在網計算控制層）、I（基礎設施層）3 層通用在網計算架構，系統架構如圖3所示。

▲圖3 通用在網計算架構

2.1 基礎設施層

基礎設施層包含執行計算任務的端側主機節點以及在網計算節點。由于異構網絡設備在硬件架構方面存在較大差異，這些在網計算節點能夠提供的計算能力也不同。這意味著同一個在網計算原語在異構網絡設備內部可以有不同的實現方式。針對不同場景下在網計算原語，很多研究進行了分類和總結[7]。本文在這些研究的基礎上，進一步設計了面向異構在網計算節點的統一北向接口，在網計算節點通過北向接口上報在網計算原語信息，對外提供統一的服務接口。這使得在網計算更具通用性。

在端主機側，應用程序也需要進行相應適配。網絡無法保證大部分在網計算應用獨立完成計算任務，因此需要通過端網協同機制來完成。端主機側應用程序需要感知在網計算任務，這樣可以保證計算的完整性，同時可以提高網絡傳輸的可靠性。端主機側通過北向接口連接端側任務控制器，實現端側計算任務分配。

2.2 在網計算控制層

在網計算控制層是實現端網協同在網計算的關鍵。控制層包含主機控制器和在網計算控制器。主機控制器根據應用場景按需部署，主要負責主機任務部署以及端到端的可靠性保障。在網計算控制器主要負責通用的網絡管理以及在網計算任務部署和控制等。在網計算控制器通過南向接口實現網絡管理功能，包含網絡設備管理以及網絡拓撲管理。網絡設備管理包括網絡設備狀態、網絡設備負載、網絡設備計算能力、網絡設備計算資源管理等，其中網絡設備的計算能力是在網計算控制器和傳統網絡控制器最大的不同。網絡設備的計算能力通常通過在網計算原語、在網計算數據結構來表示。網絡拓撲管理包括網絡拓撲更新、鏈路狀態監控等。主機控制器和在網計算控制器共同實現端網協同控制，并根據網絡資源狀態綜合選路，為在網計算和轉發選擇一條最優路徑。

2.3 任務調度層

任務調度層實現在網計算系統和應用的對接。應用將任務需求提交給統一的任務調度器。任務調度器通過南向接口對接端側控制器以及在網計算控制器，收集端側和網側的當前計算資源狀態。任務調度器結合應用任務請求及計算資源狀態，基于特定的算法進行計算圖設計，生成計算節點之間的邏輯依賴關系，進而產生具體的任務分配策略。恰當的任務調度策略可以實現合理的在網計算資源分配，從而在保證任務處理性能的同時優化網絡管理。

3 基于SRv6協議的通用在網計算的實現

通用在網計算框架不約束數據面轉發協議。本節中，我們以數據面運行基于IPv6 的段路由（SRv6）協議為例，說明通用在網計算框架的工作機制。

3.1 基于SRv6協議的通用在網計算實現流程

基于SRv6 的集中式通用在網計算架構如圖4 所示。該架構未部署主機控制器，任務調度器直接對接服務器，在網計算控制器負責承接在網計算任務，數據面運行SRv6協議，SRv6包頭在接入交換機上封裝。

▲圖4 集中式通用在網計算框架

1）管理員配置在網計算控制器，將在網計算原語和在網計算數據結構模型配置生成模板庫。

2）網絡設備初始化時，上報自身在網計算能力，實現標準的在網計算原語和在網計算數據結構。設備自身的實現可能有計算精度、數據范圍等差異。網絡設備平穩運行后，周期上報自身負載和在網計算能力變化。

3）調度器根據任務分解策略將計算任務拆解為主機任務和在網計算任務，拆解時需要考慮主機和在網計算的能力和資源，然后告知在網計算控制器該任務具體要執行哪些在網計算原語。

4）當主機節點有數據要執行在網計算時，首先向在網計算控制器發送請求，說明在網計算任務ID、源節點、目的節點、要執行的在網計算原語，然后由UniqueID 對業務分配標識。

5）在網計算控制器根據網絡拓撲、在網計算能力、網絡負載等情況進行綜合選路，將選路結果反饋給主機側，并在網絡設備上做在網計算資源預留。

6）源服務器發送數據包，接入交換機封裝SRv6頭，各網絡節點根據協議包頭在網計算指示信息執行在網計算。

3.2 基于SRv6協議報文頭擴展

國際互聯網工程任務組（IETF）定義了SRv6段標識符（SID）中的Function字段的通用轉發行為[9]。如圖5所示，我們新增了INC Segment 定義在網計算行為。其中，Locator與其他segment保持一致，表示路由位置信息；Function字段表示具體要做的在網計算原語；Arguments指示對應Optional TLV（類型、長度、值的組合）的類型，可以由應用自行定義；Optional TLV可以用來攜帶在網計算原語所需要的信息，例如需要處理的數據偏移、計算需要的參數等。節點在執行在網計算時，不能影響正常轉發，因此需要增加復合Segment，使在網計算交換機同時支持正常轉發和在網計算能力，具體如圖6所示。復合Segment用來指示后續兩個連續的Segment都需要在本節點處理，第1 個為正常轉發Segment（Forwarding Segment），第2個為在網計算Segment。

▲圖5 SRH協議支持在網計算協議擴充

▲圖6 復合Segment使交換機同時支持轉發和在網計算

3.3 交換機在網計算原語能力傳播

交換機的在網計算原語可以由控制器統一管理，并基于路由協議進行信息擴展，再傳遞到相應的在網計算執行節點。例如，自治域內源路由使用內部網關協議（IGP）來傳播SID和對應的Function等信息。以中間系統-中間系統協議（ISIS）為例，傳遞在網計算可以使用兩種方式。

1）擴展ISIS SRv6協議中Sub-TLV字段

SRv6 Locator TLV 用于發布SRv6 Locator 以及該Locator相關的Endpoint SID。Locator 具有定位功能，一般要在段路由域內唯一標識，Endpoint SID 用于標識網絡中的某個目的節點。

ISIS的SRv6 Locator TLV格式如圖7所示。其中，Locator（variable）表示發布的SRv6 Locator，長度可變；Sub-TLVs（variable）可以根據類型不同，攜帶不同信息，長度可變。

▲圖7 中間系統-中間系統協議SRv6 Locator TLV

因此，可以有方案1：擴展Sub-TLVs，新增一種描述在網計算原語信息的報文結構。其中，Type 字段表示在網計算原語類型，Length字段表示Value長度。Value為交換機支持的在網計算原語補充信息，如果Value 等于0 則無補充信息。

2）擴展一種新類型的SRv6 Sub-TLV

ISIS本身有多種Sub-TLV協議報文格式，分別用來傳遞不同信息。其中，SRv6 Capabilities Sub-TLV 用于通告SRv6能力。SRv6 Capabilities Sub-TLV 的格式如圖8所示。

▲圖8 中間系統-中間系統協議SRv6 Capabilities Sub-TLV報文格式

因此，可以有方案2：新定義一種用于傳遞在網計算原語能力的Sub-TLV 類型SRv6 INC Sub-TLV。其中，Type 字段為網計算原語能力，Optional Sub-sub-TLVs 為交換機支持的在網計算原語。

4 在網計算發展的挑戰

1）網絡設備硬件資源受限

目前，可編程網絡設備尚不能支持大規模或泛在的在網計算，主要原因在于可編程硬件片上資源受限。例如Tofino交換芯片，其片上的靜態隨機存取存儲器（SRAM）、三態內容可尋址存儲器（TCAM）存儲空間約數十兆字節[6]，只能存儲少量的帶狀態數據。另外，分布式機器學習及高性能計算需要在網計算具備高精度浮點數處理能力，但目前可編程交換芯片只能支持整型數據處理。

2）跨設備資源管理和任務協同

分布式系統中高并發、大數據量的處理任務對在網計算資源提出挑戰，這導致在網計算的加速性能有限，因此需要設計跨交換資源的管理機制以及任務跨設備的分解調度機制，以實現在網計算的規模擴展。交換機資源如何池化以及如何利用控制器進行資源和任務協同，還有待進一步研究。

3）計算可靠性挑戰

在網計算在轉發的同時要實現對數據的處理，這給傳統的可靠性機制帶來了挑戰。網絡盡力而為的轉發機制可能會造成在網計算結果錯誤。例如，在網數據在聚合過程中會丟棄已聚合的數據包，只保留最后的聚合結果，傳統的可靠性機制會將這一行為判斷為丟包。再如，在網計算設備可能由于資源不足或其他原因導致無法完成在網計算任務，可靠性機制需要能夠靈活判斷和計算。不同的場景對于可靠性的要求不同，這給在網計算的發展帶來了很大的挑戰。

4）安全性挑戰

在網計算需要在網絡轉發節點終結一部分數據流并進行數據操作，這在一定程度上為網絡引入了安全風險。目前，在網計算的主要應用和設計聚焦在安全可控的網絡場景中。未來，面向通用泛在的在網計算應用場景，如何提升系統安全性，降低數據計算結果被篡改的風險成為挑戰。

5 結束語

本文分析了在網計算在多種應用場景下的共性能力，并針對在網計算系統碎片化問題進行架構設計，提出了S、C、I 的3 層通用在網計算系統架構。異構在網計算節點通過統一的北向接口向在網計算控制器上報計算能力，為不同應用場景提供共享的網絡基礎設施。同時架構簡化了在網計算應用開發，應用只需要向任務調度器提出需求，再由任務調度器綜合決策，有效避免了應用開發者對底層物理網絡復雜邏輯的理解，降低了應用開發門檻。本文以SRv6 數據面協議為例，設計了通用在網計算的實現機制，同時針對在網計算的通用性和擴展性的提升提出了一些需要關注的問題。