端到端確定性網絡架構和關鍵技術

劉鵬，杜宗鵬，李永競，陸璐，段曉東

（中國移動通信有限公司研究院，北京 100053）

1 引言

傳統的運營商IP網絡提供的主要是基于統計復用的連通服務，僅能提供面向逐包的基于差分服務的質量保障，很難提供逐流的基于綜合服務的質量保障。一方面，從5G面向垂直行業的超可靠低時延通信（ultra-reliable and low latency communications，uRLLC）業務開始提出了需要實現“端到端”低時延保障的需求[1]。另一方面，以工業互聯網為代表的產業數字化轉型發展，促使更多的企業業務上云，這些業務在時延、抖動和可靠性方面提出更為嚴苛的要求。在面向6G的網絡演進中，確定性網絡被納為其中最關鍵的技術之一，其潛在的應用場景如沉浸式混合現實、全息通信等[2]，是傳統“統計復用、盡力而為”的IP網絡無法滿足的。

確定性網絡是一種通過對網絡數據轉發行為的控制，實現可預期、可規劃的，將時延、抖動和丟包率等控制在確定范圍內的網絡技術。越來越多的應用對網絡時延的上界/下界提出了嚴格且明確的訴求，傳統數據通信網絡提供的“盡力而為”服務已不能滿足。如工業中的運動控制需要保證毫秒級的時延和微秒級的抖動[3]，電力差動保護也需要毫秒級的時延保障[4]，其他如游戲、視頻業務也期望得到盡可能穩定、優質的網絡服務，時延和抖動等控制在數十毫秒以內，從而保障良好的業務體驗。

電氣與電子工程師協會（IEEE）于2006年首先開展確定性網絡標準的研制，成立了“音視頻橋接工作組AVB”，研究音視頻局域網絡的確定性；2012年更名為“時間敏感網絡工作組TSN”[5]，將應用場景擴展至工業、車載以及前傳等，至今已經發布一系列核心的標準26項，包含同步、流量控制、配置等內容。國際互聯網工程任務組（IETF）（于2015年成立“確定性網絡（deterministic networking，DetNet）工作組”，沿用TSN的技術體系，解決基于IP等網絡層的確定性問題。當前已經發布標準12項，包括場景、架構、數據面的封裝、YANG模型配置以及安全性考慮等，下一步計劃研究隊列調度的機制。3GPP從R16開始引入TSN機制，支持最基本的5個IEEE TSN協議，并對5G網絡進行時間同步機制和確定性服務保障增強，R17階段對R16進一步增強，并支持基于5G的確定性能力開放，當前標準研究已經進入R18立項討論階段。中國通信標準化協會（CCSA）各標準技術工作委員會和特設任務組從2018年起均已經開展面向運營商網絡、下一代移動無線網絡、工業互聯網的確定性網絡行業標準的制定。

雖然各行業和標準化組織都已經開展確定性網絡技術的研究，對于業務的確定性時延要求，目前仍然無法很好地保障。TSN的時延控制機制適用于范圍較小的二層網絡，對于長距離、拓撲復雜的網絡，TSN的可擴展性并不夠優異；DetNet雖然在IP層做了一些工作，但由于繼承了TSN的技術，也面臨和TSN一樣的問題，并且DetNet目前只考慮單管理域的網絡[6]，可支持的業務有限。5G引入TSN還在初期階段，TSN機制的復雜性對于5G的引入是一個很大的挑戰。除了個別局域網的業務，大部分業務都是需要跨越多域以及多種接入方式的，所以在6G技術體系中，對于確定性網絡、端到端的確定性保障的研究是非常必要的。

本文分析了當前確定性網絡研究面臨的問題，提出了端到端確定性網絡架構以及相應技術實現方向和推進策略，以保障業務端到端的時延等需求。

2 確定性網絡要解決的問題

2.1 網絡的單跳時延

網絡的單跳時延主要由傳播時延和節點內時延組成，如圖1所示。其中傳播時延是指數據包在鏈路上傳播的時延，主要取決于網絡設備之間的鏈路距離及鏈路傳輸速率。在一個穩定的網絡拓撲中，鏈路距離及鏈路速率相對穩定，因此鏈路時延幾乎沒有變化的空間。

圖1 網絡單跳時延

節點內時延主要包括報文的處理、排隊、發送和重傳等，特別是節點中的排隊時延是造成長尾效應的主要因素。當沒有任何網絡擁塞時，數據報文進入緩沖隊列的時延幾乎為零，但是網絡一旦有擁塞發生，報文必須在網絡設備（路由器、交換機）中排隊等待。這個時間不是固定的，與網絡繁忙程度以及隊列排隊機制相關。網絡負載比較輕的時候，不需要排隊，無排隊時延；負載較重時，排隊則可能時延很大（幾十到幾百毫秒都有可能）。所以，鏈路時延的可降低空間十分有限，達到低時延進而實現確定性網絡的關鍵在于減少節點內的時延。

確定性網絡中，可以事先調度規劃好關鍵事件的發生序列。各個子系統之間通過通信任務的特定調度規劃和數據包的處理調度，使確定性任務處于一種無沖突的狀態，避免了信息在交換過程中不可控制的排隊，有效地降低了設備的緩存成本以及傳輸等待而導致的時延，從而使得整個網絡的關鍵數據包的傳送處于確定的狀態。圖2給出了在傳統IP網絡和確定性網絡中的端到端傳送時延的概率密度分布，可以看到確定性網絡的時延和抖動是有上界的。

圖2 網絡單跳時延

2.2 網絡的端到端時延

網絡的端到端時延是指業務請求從客戶端發出之后，一直到數據中心進行處理所經過的所有網絡鏈路和設備的時延。如圖3所示，網絡端到端單向時延包括以下4種。

圖3 端到端的網絡時延

（1）無線側時延：無線側時延主要是指業務數據從端側發出，經無線空口被無線電接入網（radio access network，RAN）接收的時延。

（2）回傳網時延：從基站連接至用戶面功能（user plane function，UPF）的時延，這段網絡不同的運營商采用不同的技術，如分組傳送網（packet transport network，PTN）、切片分組網（slicing packet network，SPN）以及IP無線電接入網（IP - RAN）技術等。

（3）UPF處理時延：UPF作為5G核心網的用戶面網元，是RAN與數據網絡（data network，DN）之間的連接點，負責完成數據報文的識別和重封裝。其中，服務質量（quality of service，QoS）映射、深度包檢測（deep packet inspection，DPI）等功能處理會帶來一定的時延。

（4）IP承載網時延：IP承載網主要指省際骨干網、分城域網以及互聯網，采用的是IP網絡技術。

通常除了局域網業務，其他需要訪問外網或者互聯網的業務都需要經過多個網絡域，包括跨越局域網、運營商不同自治域（autonomous system，AS）的網絡以及不同運營商之間的網絡，單個設備的確定性轉發無法保障全局的確定性。當前確定性網絡的轉發面技術如流量整形、隊列調度等均以解決單跳時延為基礎，缺少了基于端到端時延保障的考慮。

3 端到端確定性網絡架構

端到端的確定性網絡不僅要解決網絡設備對報文處理的時延，也需要協同多域、多運營商的全局時延。基于以上原則，本文提出了端到端確定性網絡的架構，如圖4所示。

圖4 端到端確定性網絡架構

3.1 端到端橫向跨網絡域

從網絡域的角度看，端到端的確定性網絡包括3個部分：用戶側、網絡側及跨網絡域。

3.1.1 用戶側

用戶側主要是指企業網絡。以工業為例，工業內部網絡通常分為信息網絡和生產網絡[7]，其中離用戶站點較近的生產網絡對時延有一定的要求。傳統的生產網絡采用的總線或工業以太網技術，可以保障時延，但是無法適應工業互聯網趨勢下的互聯互通要求，這也是TSN深入工業想要解決的問題。

TSN的一系列流量控制的機制，適用于企業規模的網絡，TSN在工業的融合發展趨勢[7]，促使信息和生產系統在網絡層互聯，應用層語義一致，實現不同系統的互聯互通。

3.1.2 網絡側

網絡側主要是指運營商網絡，包括5G無線側、接入網、匯聚網和骨干網。無線側的確定性是端到端確定性網絡的關鍵環節之一，目前暫無明確的方案，可以考慮采用資源預留的方式優化重要業務的部分時延。匯聚和接入網絡主要采用PTN/SPN/IP - RAN等技術，也都在一定程度上考慮了網絡時延的需求，不過是否需要進一步的基于二層或者三層網絡的確定性技術支持還有待驗證。骨干網基于IP協議實現，所以基于三層的確定性技術是主要的選擇。

5G邊緣計算的興起使得數據中心和UPF逐漸融入運營商的融合/接入網絡中。以UPF為分界點，回傳網和承載網可能采用不同的技術和協議，這兩部分網絡也有不同的控制面。流量從用戶側發出，到UPF之前，通過5G系統的控制面來管理和配置，在UPF之后即進入固網的范圍。5G系統對于流量的QoS有著比較復雜和較為全面的控制，但是在UPF之后，僅僅映射為固網IP協議的差分服務代碼點（differentiated services code point，DSCP）字段[8-9]，DSCP共定義了64種，但是現階段并未在現網中應用。所以一方面流量在5G網絡中并沒有實現嚴格的確定性，另一方面在UPF之后無法得知其具體的QoS需求，也無法實現確定性。現階段3GPP開始啟動對確定性機制的引入，即使兩部分網絡都實現了確定性，也需要充分感知和交互，才能實現端到端的確定性。

3.1.3 跨網絡域

跨網絡域的情況包括跨同一個運營商網絡的多個網絡域，不同網絡域所采用的網絡技術可能不同；也包括跨不同運營商的網絡，如用戶通常通過某一運營商的網絡接入，訪問其他運營商網絡中的服務。

確定性的業務流在各個網絡域都需要被識別才能保證其快速有序的轉發，可能涉及時間同步、頻率同步、非同步技術的結合，確定性流量標識的解析和重封裝，各域所劃分時間片的協商等機制。因此，需要跨域互通的管理系統來建立有效的協商和確定性轉發機制，以保證業務流的及時到達，該系統可能根據網絡規模以及所屬運營商需求，通過集中式或者分布式部署。

3.2 端到端縱向跨協議層

確定性網絡的實現技術包括數據面、控制面和管理面。各個功能平面包含了不同的協議，需要各協議的協同來保障端到端的確定性。

3.2.1 數據面

數據面技術是確定性網絡的基礎，包括流量整形、隊列調度、標簽解析等，這些機制規定了網絡設備中時間敏感流的排序和轉發規則，可以單個或者組合使用，達到不同的確定性效果。

（1）流量整形

單個業務的流量可能會呈現出規律性，如工業類的應用、物聯網設備周期性的數據采集等，對于整體的網絡流量，通常是無規則的。需要在網絡設備處對無規則的流量進行整形，服從一定的規律分布，從而便于后續的處理。IEEE 802.1Qav定義了基于信任的整形，通過信任消耗和累積算法來決定每種流量是否發送和等待[10]。

（2）隊列調度

網絡設備內部對報文或流的處理一般是基于隊列先進先出（first input first output，FIFO）的原則，通過對報文所對應的收發隊列的控制，可以調整其在某個網絡設備發送的時間，從而達到逐流逐報文可控的效果。IEEE 802.1 Qbv[11]是典型的隊列調度機制，也是循環隊列調度[12]（cyclic queuing and forwarding，CQF）以及異步流量整形[13]（asynchronous traffic shaping，ATS）等調度的基礎。

（3）標簽解析

消息在不同網段傳輸時，由于不同網絡的實現技術不同，可能需要對標簽進行重新解析和封裝。例如，從L2網絡到L3網絡，時間敏感流的關鍵字段需要從以太網幀中解析出來，封裝成IP報文。

（4）周期映射

一些非時間同步的確定性網絡實現機制，如確定性IP[14]（deterministic IP，DIP），需要基于循環隊列的機制對上下游設備進行標簽映射。

（5）富語義識別

報文中可能攜帶其他的擴展信息，如應用的需求信息、時間戳等信息，需要能夠對這些擴展信息進行識別，從而滿足多樣化的數據面功能的擴展。

3.2.2 控制面

控制平面主要包括時間/頻率同步、資源預留、流聚合、拓撲生成和路徑選擇等。

（1）時間/頻率同步

時間或頻率同步是目前大多數確定性網絡實現機制的基礎，TSN體系中大部分標準基于時間同步實現，也有基于非時間同步的技術。

（2）資源預留

資源預留是保障確定性網絡服務的基礎，傳統的資源預留協議[15]（resource reservation protocol，RSVP）或基于流量工程擴展的資源預留協議[16]（RSVP-traffic engineering，RSVP-TE）協議目前應用并不是特別廣泛，一方面原因是之前確定性業務并未興起，另一方面原因是降低了網絡資源利用率。所以需要提升資源預留的粒度和準確度，并且改進廣域網絡對應流聚合情形下的資源預留方案。

（3）流聚合

在大多數大規模確定性網絡中，由于業務的多樣性，需要進行流量聚合，詳細定義聚合策略，如開始和結束時間、流量類型和特征。

（4）拓撲生成

確定性網絡的部署可能是分階段的，演進過程中并非所有設備都支持確定性網絡的功能，可能采取隧道技術或者疊加層（overlay）的方式，因此需要具備確定性網絡設備和拓撲生成的功能。

（5）路徑選擇

在大多數情況下，路徑選擇與時延有一定關系，需要考慮整個流量負載和應用的需求。確定性路徑的技術如基于IPv6的分段路由協議（segment routing IPv6，SRv6）目前已經比較成熟，可以作為候選方案之一。

3.2.3 管理面

管理面需要實現確定性網絡的跨域互通管理、資源管理配置、性能檢測、多用戶配置和能力調用等功能。

（1）跨域互通管理

配置確定性網絡流量在不同網絡域的策略，可能包括域間的資源分配和協商等功能。

（2）資源管理配置

可以是一些基本的網絡配置，也可以是特定的資源，如YANG模型、端口、周期映射關系等。

（3）性能監測

通過獲取網絡反饋來調整轉發策略，定位故障，并根據歷史數據預測網絡擁塞。

（4）多用戶配置

確定性網絡需要考慮一定的應用方的需求，在視頻、游戲等應用中，涉及用戶之間的交互，因此需要保持同一應用中多用戶的一致性，從而達到最優的業務體驗，需要同時考慮路徑選擇和流聚合策略等。

（5）能力調用

向用戶云開放確定性網絡的能力，如路徑計算、門控制列表等。用戶云通常包括基本的網絡配置功能，但對于復雜的網絡管理或者控制面功能，可以通過調用大網的能力實現。

4 端到端確定性網絡關鍵技術探索

基于第3節提出的端到端確定性網絡架構，本文將在數據面、控制面、管理面提出相應的技術方案。端到端的確定性網絡的總體思路一方面是解決單個設備的報文處理時延，另一方面要考慮全局的跨域跨層的協同問題。

4.1 自適應流量整形機制

造成網絡時延劇增的主要原因是流量的微突發，微突發（microbrust）是指端口在非常短的時間（毫秒級別）內收到非常多的突發數據，典型的微突發的持續時間通常在1～100 ms，以至于瞬時突發速率達到平均速率的數十倍、數百倍，甚至超過端口帶寬。微突發是網絡中的常見情況，如圖5所示，產生的原因包括如下3種。

圖5 網絡流量速率

· IP流量本身具有突發性、自相似性：業務流量的波動，以及間歇性、不穩定的特征。

· IP網絡中的入端口總帶寬超過出端口的總帶寬，如大帶寬的端口向低帶寬的出端口發送流量、相同速率的多個入端口向一個出端口發送流量。

· IP設備的盡快轉發的機制：傳統的高端路由器/交換機設計理念是統計復用，追求大的吞吐量，IP層不處理丟包重傳。

TSN的各種有界時延（bounded latency）的機制中，都會涉及微突發的消除，如通過整形或者時隙隔離避免流量的聚集。本文提出一種自適應的微突發抑制方案，主要思路如下：

（1）在網絡邊緣設備執行低時延流量的整形；

（2）在中間轉發設備，針對端口的低時延流量進行速率感知和整體的調整；

（3）在每個設備接口上維護一個合適的緩存深度，讓報文快速有序轉發。

通過緩存深度的自適應調整，保持時刻的流量規則性，如圖6所示。此機制可以應用在各種網絡域的轉發設備上。

圖6 自適應流量整形效果

4.2 控制面方案：周期性的資源預留機制

IEEE中定義的CQF引入循環隊列機制處理關鍵流，所有業務最終由設備根據隊列的周期調度來接收和發送。如果鏈路時延和處理時延相對于循環時間可以忽略不計，那么對于特定的臨界業務流，該機制可以使用兩個隊列，否則，該機制需要使用更多的隊列。如圖7所示，隊列1和2將交替打開和關閉。當隊列1打開并傳輸數據時，隊列2關閉并接收數據，然后隊列2打開并傳輸數據，隊列1關閉并接收數據。

圖7 CQF隊列調度

在端到端的網絡中，由于業務的多樣性和網絡拓撲結構的復雜性，不建議網絡的轉發節點感知每個確定性業務流的具體情況，因此需要進行流聚合。基于流聚合的資源預留機制的方法可以描述如下。

（1）逐流地重塑從入口節點到出口節點的對時間敏感的業務流；

（2）根據目的地地址和交織安排進行流聚合；

（3）將收斂后的流看作一個流，只維持RSVP的一個會話，從而減少網絡中的流數；

· 轉發節點不感知每個業務流的進入和退出，只感知預留帶寬的變化，不影響轉發的操作。

· 在申請資源預留時，入口節點可以考慮適當預留更多的資源。

（4）入口節點到其他出口節點的流量將聚合到其他流中并進入特定路徑；

（5）如果這些聚合流被轉發到同一出口節點，它們都將被調度到同一路徑的路由器中的3個隊列。為了將這些流盡可能均勻地分配給3個隊列，可以根據分組循環或字節數將交織流均勻地分配給3個隊列。如圖8所示，4個不同的流聚合為一個流，并且平均分布。

圖8 流的平均分布

4.3 數據面方案：基于時間的信息交互

由于各個網絡域采用的基礎網絡技術不同，對應的確定性機制也可能不同，從數據面角度出發，需要進行一定的信息交互。

假設用戶通過5G網絡發送業務請求，數據報文將會經過5G回傳網、承載網，之后進入數據中心。5G回傳網和承載網目前由兩套控制系統，數據面的互通只有UPF處映射為DSCP信息，無法得知其他信息，不利于端到端時延的控制。

業界當前提出了對數據面進行擴展的辦法，如應用感知網絡[17]（application-aware networking，APN），可以應用在確定性網絡[18]。跨域的確定性網絡可以通過攜帶時間信息來實現，如圖9所示。

圖9 數據面互通方案

· 在初始業務請求時，由控制面進行交互協商各域的轉發時間；

· 域內的轉發由各域獨立完成，在域間節點，需要對剩余時間進行檢查，從而評估是否可以按時到達；

· 如果在某個域轉發超過約定的時間，可以進行進一步協商，是否更改后續轉發路徑，以保障業務報文按時到達。

該方法需要不同網絡域的出入口設備對報文種類以及報文攜帶的時間信息進行識別。以5G接入為例，5G數據面信息被封裝在通用分組無線業務（general packet radio service，GPRS）隧道傳輸用戶面協議[19]（GPRS tunnel protocol for user plane，GTP-U），UPF需要新增功能識別出對應用的需求信息，并重新封裝在IP報文，后由承載網繼續傳輸。

該方法中各網絡域的計時由各個域完成，各域出口設備計算在該域所消耗的時間，更新剩余時間信息，并轉發給后續的網絡域。各域的控制器可以通過分布式的協議，達成對時間計算的一致性，以及對于轉發策略的協商。

4.4 管理面方案：多用戶接入的配置

現有技術可以一定程度上保證網絡的低時延和確定性轉發，但是無法保證多用戶在同一服務下的業務一致性。當不同用戶進行同一種業務時，由于所處地理位置不同，所依賴的網絡拓撲不同，會造成不同的時延和抖動，從而使原本應獲取相同時延、抖動保障的服務，存在差異性和“不公平性”。

這種差異性無法滿足多方協作的任務，如工業的多方控制。同時，也會降低視頻/游戲等娛樂和辦公類應用體驗。現有的技術方案主要涉及數據面和控制面的流量控制功能實現，還未考慮該問題。

可以通過管理面，對業務服務節點和相應的路徑進行選擇，從中挑選出可以保障業務一致性的路徑。路徑選擇算法可以通過擴展約束的最短路徑優先（constrained shortest path first，CSPF）機制實現，CSPF算法基于dijkstra最短路徑算法，可以在選擇路徑的時候加入約束條件，從而挑選出合適的路徑。流程如圖10所示。

圖10 多用戶接入配置

（1）聲明業務需求，可以參考APN技術，將時延、抖動等需求寫入報文；

（2）根據業務需求輸入對CSPF路徑約束的條件，CSPF算法模塊可以輸出所有滿足條件的路徑；

（3）通過路徑選擇模塊選擇最優的路徑，并通過RSVP協議進行資源預留，最后開始業務的數據傳輸。

通過此方法，可以保障多用戶接入的確定性，提升用戶本身以及和用戶交互的其他用戶的參與體驗。

5 端到端確定性網絡推進策略思考

確定性網絡雖然已經初具技術標準體系，但仍然存在可擴展性等的問題，至今仍未得到廣泛的部署。并且，新型業務也在逐步發展過程中，業務特性以及對網絡的具體指標要求仍需伴隨網絡能力的增強進一步明確。對于面向6G的端到端確定性網絡推進策略，建議如下。

（1）確定性局域網方案先行，帶動廣域網的確定性需求和方案發展。

從標準的發展來看，當前的技術標準可以較好地應用于局域網，并且已經得到產業界的多方面驗證，廣域網的技術和標準仍然在探索和完善階段。可以首先推進確定性技術在局域網的廣泛應用，從而擴展至廣域網的范圍，進而推進端到端的確定性技術方案部署。

（2）根據不同的業務特性和需求，形成分級分階段多樣化的確定性方案。

確定性網絡技術的實現可以采用多種技術的組合，從而保障差異化的確定性網絡能力，兼顧成本和業務需求。6G的應用場景中，對于工業、電力等對確定性時延、可靠性要求苛刻的企業生產類業務，采用嚴格的確定性方案；對于混合現實、全息等用戶消費類業務，可以考慮采用非嚴格的弱確定性方案，成本低、易于部署。

（3）聯合業界產學研各方力量，推進確定性網絡方案的部署驗證。

確定性網絡的方案驗證目前還不夠豐富，并且缺乏結合具體業務的方案試驗，無法向業界提供強有力的價值證明，距離規模部署還有一定的距離。建議聯合業界各方，集中力量完善端到端確定性技術方案，廣泛尋求試驗驗證的環境，推進確定性網絡的部署落地。

6 結束語

確定性網絡的技術標準自提出以來已經發展了十幾年，至今已經初步形成完善的技術體系，隨著通信技術的提升以及產業的融合發展，確定性網絡的需求和應用場景也在不斷的豐富。近幾年確定性網絡已經逐步應用于局域網絡，對于廣域網的確定性，是當前業界的一大難題，成熟的方案有限。

業務對網絡的時延等要求是端到端的，單獨解決某一段網絡的確定性轉發問題并不能有效保障整體的確定性。本文基于6G的網絡演進趨勢，分析了端到端確定性網絡需求，以及當前相關技術的研究進展，并提出了端到端確定性網絡架構和功能設計，對于其中的一些關鍵功能，給出了相應的解決思路。最后，針對確定性網絡當前發展和部署的問題，提出了相應的建議，呼吁業界廣泛開展相關技術研究和試驗驗證，共同促進技術和新型業務的發展。