電力系統數據網MCE雙歸屬問題及其解決方法研究

陳捷 陳志剛 郭澤豪

收稿日期：2023-08-11

DOI：10.19850/j.cnki.2096-4706.2024.06.009

摘? 要：文章系統地分析了MCE雙歸屬網絡結構中存在的OSPF路由域分割、次優路徑和路由環路等問題。結合典型案例，在MPLS VPN網絡作為OSPF超級骨干域的基礎上，采用Sham-Link解決次優路徑問題，通過DN置位或Route-tag標識的方法避免路由環路的產生。文章通過協議路由和OSPF LSA的分析方法定位網絡的潛在風險，結合具體案例暴露問題，針對不同的問題提出了具體可行的技術方案，并對相關技術的實施要點和注意事項進行了說明，為MPLS VPN網絡的優化提供技術支持。

關鍵詞：MPLS VPN；MCE；Sham-Link

中圖分類號：TP393? ? 文獻標識碼：A? 文章編號：2096-4706（2024）06-0039-05

Research on the MCE Dual Attribution Problem and Solution of Power System Data Network

CHEN Jie， CHEN Zhigang， GUO Zehao

（Foshan Power Supply Bureau of Guangdong Power Grid Co.， Ltd.， Foshan? 528000， China）

Abstract： The paper systematically analyzes the problems existing in the MCE dual attribution network structure， such as OSPF routing domain separation， suboptimal path and routing loop. Combined with typical cases， based on the MPLS VPN network as OSPF super backbone domain， it uses the Sham-Link to solve the suboptimal path problem， and avoids the generation of routing loops by means of DN bit or Route-tag. This paper analyzes protocol routing and OSPF LSA to locate the potential risk of network， and exposes the problems with specific cases. It proposes specific and feasible technical solutions for the different problems， and explains the implementation key points and the matters needing attention of the relevant technologies. It also provides technical support for the optimization of MPLS VPN network.

Keywords： MPLS VPN; MCE; Sham-Link

0? 引? 言

多協議標簽交換（Multi Protocol Label Switch， MPLS）通過一個定長的標簽來封裝網絡層分組，根據標簽進行數據轉發，具有較高效的轉發性能，對虛擬專用網絡（Virtual Private Network， VPN）隧道的支持具有天然的優勢[1]。電力系統數據網一般采用MPLS VPN承載業務數據，并實現不同VPN通道的邏輯隔離，其典型組網結構如圖1所示。骨干網核心路由器（Provider Router，P設備）主要完成路由和MPLS標簽快速轉發功能；骨干網邊緣路由器（Provider Edge Router，PE設備）主要負責VPN業務接入MPLS網絡；用戶邊緣設備（Custom Edge，CE設備）與PE設備相連接，提供數據網業務終端的接入。MPLS網絡使用標簽分發協議（Label Distribution Protocol， LDP）進行公網標簽的分配管理，并通過MP-BGP實現業務路由的傳遞和控制，以及私網標簽的分配[1]。

圖1? MPLS VPN網絡典型結構

為實現不同VPN業務在同一站點的接入，一般將CE設備配置成多VPN實例用戶邊緣設備（Multi-VPN-Instance-CE， MCE）模式，采用多虛擬路由轉發（Virtual Routing Forwarding， VRF）技術，將一臺路由器虛擬出多個相互隔離的轉發列表，綁定不同的VPN，運行不同進程的開放式最短路徑優先（Open Shortest Path First， OSPF）協議進行業務路由信息的傳遞，并與PE設備多協議擴展邊界網關協議（Multi Protocol Border Gateway Protocol， MP-BGP）下對應的VPN實例中進行雙向重分布，實現MP-BGP和OSPF之間業務路由的相互導通。為了提升MCE站點的網絡可靠性[2]，一般MCE站點通過雙上聯的方式接入MPLS網絡，保證上聯節點或鏈路故障時業務路由的無縫切換，這種網絡結構稱為MCE雙歸屬。在MCE雙歸屬網絡結構中，由于OSPF業務路由需要通過MPLS VPN骨干網絡的MP-BGP進行傳遞，傳統OSPF路由的部分設計可能導致次優路由[3]和路由環路的問題產生[4，5]。

1? MCE雙歸屬問題

電力系統MPLS VPN數據網MCE雙歸屬的典型結構，一般在典型電力MPLS VPN網絡的基礎上，由相近的MCE站點相互連接并通過兩個不同的PE節點上聯MPLS VPN骨干網絡，形成雙歸屬的結構。如圖2所示站點1和站點2的MCE設備互聯鏈路，互為對方的備用鏈路。站點1 MCE和站點2 MCE之間的通信主用路由為：MCE1—PE1—P—PE2—MCE2，備用路由為MCE1—MCE2。注意站點1和站點2的MCE之間的備用路由雖然跳數少，但是一般帶寬較小，僅在應急情況下使用，日常站點間的主用數據流均通過MPLS VPN骨干網絡進行互訪。

圖2? 雙歸屬MCE網絡典型結構

這種網絡結構存在兩個問題：

1）MCE同一VPN業務的OSPF區域在不同站點之間被MPLS VPN網絡分割。站點1的MCE和PE之間運行一個OSPF路由區域，站點2的MCE和PE之間運行一個OSPF路由區域，相互之間的路由通過MPLS VPN的MP-BGP進行傳遞，存在OSPF路由區域被分割的風險，若OSPF區域設計不合理，可能造成OSPF路由傳遞失敗和路由環路等后果。

2）由于站點1和站點2之間通過OSPF傳遞的內部路由優先級高于MCE從BGP引入到OSPF的外部路由，導致MCE的備用鏈路路由優先級更高，日常業務數據流向備用鏈路，而非MPLS VPN骨干網絡，存在次優路徑和路由環路的風險。

2? OSPF路由區域分割及其解決方法：超級骨干域

在傳統的OSPF路由協議技術中，區域不連續可能造成OSPF路由傳遞失敗、路由環路等問題。為了解決OSPF路由域被MPLS VPN骨干網絡分割的問題，在MPLS VPN骨干網中使用MP-BGP的擴展團體屬性來傳遞OSPF相關路由屬性，MPLS VPN骨干網作為OSPF的超級骨干域存在，相當于OSPF的區域0。在MPLS網絡的超級骨干域中，MCE相關OSPF路由屬性在MPLS VPN網絡邊界PE處以MP-BGP擴展團體屬性的方式傳遞給對端的PE，再由該端PE重建出對應的OSPF路由。在PE上進行路由重分布時，從MP-BGP引入的OSPF路由信息以3類鏈路狀態通告（Link State Advertisement， LSA），即區域間路由的形式進入OSPF的鏈路數據庫，而不是以5類LSA，即外部路由的形式寫入。MCE在MPLS VPN骨干網之間的路由傳遞，相當于跨越OSPF骨干區域（Area 0）的路由傳遞，路由信息和相關OSPF屬性得到傳遞，并且以區域間路由的方式寫入鏈路狀態數據庫，進行路由計算和選擇，保證了OSPF路由域的連續性。如圖3所示，在PE的BGP VPNv4路由表中可以看到通過MP-BGP擴展團體屬性傳遞的OSPF路由屬性：包括OSPF路由域標識、路由器標識、區域號、路由類型等，保證OSPF路由能夠在MPLS VPN網絡的對端進行重建。

圖3? MP-BGP擴展團體屬性中的OSPF參數

在這個解決方案中，要注意保證整個MPLS VPN網絡OSPF骨干區域的連續性，如圖4所示的網絡結構出現了骨干區域的分割，將造成MCE下用戶站點區域0無法通過MPLS VPN網絡學習到其他站點的路由。這是由于OSPF區域間的防環機制導致的。OSPF區域間防環機制規定：從骨干區域（區域0）學習到的路由不會通過非骨干區域再發到骨干區域（區域0）[6]。MCE區域0的路由通過區域10傳遞到PE之后不會在超級骨干域中傳遞給對端的PE。因此，在整體網絡規劃中，應盡量將MCE劃分到非骨干區域，以減少骨干區域不連續的風險。確有需要將MCE劃分到骨干區域，要確保其骨干區域和MPLS VPN超級骨干域的連續性。

如圖4案例中出現的區域不連續，可采用三種方法解決：方法1：將MCE和對應的PE都設置成區域0，此時整個OSPF區域都處于骨干區域，不存在骨干區域不連續的情況，但采用該方法應注意控制骨干區域路由器的數量。方法2：在MCE與對應PE之間建立虛連接，保持骨干區域的連續性。該方法在一定程度上增加了網絡的復雜度。方法3：將兩端的PE和MCE都劃分到非骨干區域，即保持網絡中只有MPLS VPN骨干網絡一個骨干區域，采用該方法時要注意單一側的MCE和PE要注意相同的非骨干區域，否則MCE的VPN路由無法通過PE傳遞到MPLS VPN網絡，這是由于OSPF區域防環的另一個規定：非骨干區域的路由無法通過另一非骨干區域傳遞到骨干區域[7]。例如，圖4中的兩端的MCE若都設置在區域20，PE和MCE互聯設置為區域10，此時MCE的OSPF路由也無法正常傳遞。

圖4? MPLS VPN網絡中OSPF骨干區域分離

3? 次優路徑及其解決方法：Sham-link

超級骨干域解決了OSPF區域分割的問題，MCE站點之間的路由通過MPLS VPN骨干網，以3類LSA進行傳遞，但是按照OSPF路由優先算法，區域內路由優于區域間路由。在MCE雙歸屬網絡中，MCE站點之間通過備用鏈路建立OSPF鄰居。當兩端MCE站點處于相同的OSPF區域時，MCE之間通過備用鏈路傳遞的OSPF區域內路由（1類和2類LSA），優先級高于PE通過MPLS VPN骨干網引入的區域間路由（3類LSA）。備用鏈路的路由優先級高于MPLS VPN主干鏈路，存在次優路徑和路由環路的潛在風險。

如圖5所示，站點1的MCE設備同時接收到來自MPLS VPN網絡PE的區域間路由（3類LSA），和來自內部OSPF網絡的站點2的MCE的區域內路由（1類和2類LSA），按照OSPF路由優先級，選擇了區域內路由。日常站點1和站點2之間的業務數據流量直接走了備用鏈路，與我們設計的優先路徑不一致。針對這個問題，可以通過Sham-link（偽連接）技術解決。通過在兩臺PE之間建立一個OSPF偽連接，用以同步OSPF鏈路狀態數據庫（Link State Database， LSDB）。通過Sham-link在MPLS VPN網絡中傳遞的LSA信息，LSA類型不會被轉換成3類或5類LSA。站點2的VPN業務數據路由通過兩端PE之間建立的Sham-link連接傳遞給站點1的MCE，仍保留1類和2類LSA的屬性，即仍以區域內路由的方式傳遞給站點1的MCE。站點1的MCE對接收到的來自本端PE和對端MCE的兩個OSPF VPN路由，按照OSPF區域內路由的開銷進行路由選擇。

圖5? 雙歸屬MCE網絡OSPF路由傳遞路徑

區域內OSPF開銷與鏈路帶寬和跳數相關，由于站點1和站點2之間備用鏈路帶寬較小，一般鏈路開銷較大，MCE會優選鏈路帶寬更大的MPLS VPN網絡。在路由設計中，為保證路由選擇的穩定性，通常會對備用鏈路設置一個較大的OSPF，及在站點1和站點2之間的備用鏈路設置一個較大的OSPF鏈路開銷，保證業務的正常流向。注意OSPF的路由優先算法中，首先是區域內路由優于區域間路由，然后才對同一類型的路由的比較其開銷值，也就是說，單純通過在備用鏈路設置高開銷值是無法讓MCE的主用路由走在MPLS VPN骨干網絡上的，而必須先通過Sham-link將MPLS VPN過來的OSPF區域間路由轉換為區域內路由之后，備用互聯接口上的開銷設置才能影響區域內路由的正確選路。MCE網絡通過Sham-link進行路由優化圖如圖6所示。

圖6? 雙歸屬MCE網絡通過Sham-link進行路由優化

Sham-link一般通過兩端PE在VRF中建立的一個32位的環回地址作為端點來建立連接，同時需要在MP-BGP中通告相應的IP地址。采用Sham-link技術時要注意PE間的偽連接僅用于傳遞OSPF協議報文、同步LSDB信息，不能用于傳輸業務數據報文，實際的業務數據報文是通過MPLS VPN網絡的VPN通道進行傳輸。

4? 路由環路及其解決方法

由于在MPLS VPN網絡的網絡邊界PE上進行MP-BGP和OSPF VPN路由的雙向重分布，導致了潛在路由環路的存在。如圖7所示，MCE1訪問MCE3同一VPN業務數據，從路由傳播的路徑上看，MCE3的VPN路由通過OSPF傳遞給PE3，PE3將OSPF VPN路由重分布進MP-BGP，通過MP-BGP傳遞給PE1，PE1將BGP的VPN路由重分布進相應的OSPF進程中，然后通過OSPF傳遞給MCE1，MCE1通過OSPF將VPN路由傳遞給MCE2，MCE2通過OSPF傳遞給PE2，PE2又將接收到的OSPF VPN路由重分布到BGP中，傳遞給PE1。因此，PE1收到了兩條目的地址是MCE3 VPN業務網段的BGP路由，分別來自MP-iBGP鄰居PE3和PE2。當PE2的BGP路由屬性優于PE3的BGP路由屬性時，PE1優選了PE2的路由。此時，MCE3到MCE1的路由傳遞出現路由環路：MCE3—PE3—PE1—MCE1—MCE2—PE2—PE1，對應MCE1訪問MCE3的轉發路徑出現了環路：MCE1—PE1—PE2—MCE2—MCE1。路由環路將導致數據轉發不可達，VPN業務數據在MCE雙歸屬網絡中反復傳遞，浪費鏈路帶寬資源，數據無法正確傳遞到目標節點MCE3。

圖7? 雙歸屬MCE網絡的路由環路案例

針對MPLS VPN網絡邊界雙向重分布造成潛在路由環路問題，可通過在路由域邊界進行路由標識和過濾的方法解決，結合路由策略[8，9]的部署，具體包括Down-Bit與Route-tag兩種技術方案。

4.1? Down-Bit

Down-Bit（簡稱DN）存在于OSPF的3類LSA、5類LSA和7類LSA的Option字段中，用于表明該LSA來源于MPLS VPN骨干網的邊界PE引入，屬于OSPF屬性的可選字段。如圖8所示，DN置位在站點1的PE設備生成的OSPF LSA中產生，并伴隨LSA在OSPF區域內傳播，當對端的PE通過OSPF接收到DN置位的LSA時，不對該LSA進行路由計算。查看PE的OSPF 3類鏈路數據庫，可以看到在PE從BGP引入到OSPF產生的3類LSA的Option字段中出現了DN標識，所圖9所示。此時，站點2的PE不會將該條3類LSA參與到本機的OSPF路由計算，不會產生對應的OSPF VPN路由，自然也不會把該OSPF VPN路由引入到MP-BGP中重新傳遞給站點1的PE，而從避免了路由的環路的產生。

圖8? 雙歸屬MCE網絡DN置位防環機制

圖9? PE設備OSPF的3類LSA鏈路數據庫信息

根據RFC 2547中的定義，DN置位只出現在3類LSA中，但在RFC4577中，DN置位可存在于OSPF的3類LSA、5類LSA和7類LSA的Option字段中，使用該技術的時候要注意相應數據網設備執行的技術標準，部分設備可通過設置指定執行標準。

采用該技術方案時要考慮不同LSA的傳播特性，由于3類LSA在跨區域傳遞時會修改LSA內容，DN置位信息可能在跨區域傳播時丟失，導致該防環機制失效。在圖8網絡中，如果站點1 MCE和站點2 MCE運行在不同的OSPF區域，則DN置位防環技術失效。而5類LSA和7類LSA由于在跨區域傳遞時不修改LSA內容，不存在該問題。

4.2? Route-tag

如圖10所示，在PE設備上對BGP引入到OSPF的路由信息通過Route-tag進行標記，當對端的PE設備通過OSPF接收到VPN的路由信息中的Route-tag與本端設置一致時，則將相應VPN路由過濾。OSPF route-tag只能在5類和7類LSA中攜帶，因此，該方法只能應用于OSPF外部路由對應的5類和7類LSA。路由器的Route-tag一般可通過AS號自動計算，也可手工配置[10]。

圖10? 雙歸屬MCE網絡Route-tag防環機制

上述防環技術均應用于MPLS VPN網絡邊界執行雙向重分布的PE設備上，在MCE設備上開啟防環技術時可能導致MCE設備學習不到正常的OSPF VPN路由。因此，對于默認開啟DN置位防環保護的MCE設備上，需要手動關閉該功能，否則可能影響MCE設備對VPN路由的正常學習。

5? 結? 論

為保證業務的可靠性，電力系統MPLS VPN數據網絡中常采用MCE雙歸屬技術，但是該網絡結構在不同的應用場景中出現了OSPF路由域分割、次優路徑和路由環路的問題。針對這些潛在風險，本文在MPLS VPN作為OSPF骨干域的基礎上，采用Sham-Link解決次優路徑問題，通過DN置位或Route-tag標識的方法避免路由環路的產生，對MPLS VPN數據網絡MCE業務的穩定性提供了系統的技術方案，同時結合不同技術的應用背景，提出各個技術使用過程中的注意事項和適用范圍，具有較強的操作性。本文針對MPLS VPN數據網絡MCE雙歸屬問題的分析方法和解決思路，對電力系統通信網絡的優化和新技術的應用具有參考價值。

參考文獻：

[1] 圣文順，周誠，孫艷文.MPLS VPN在企業網絡中的應用 [J].計算機技術與發展，2020，30（11）：117-122.

[2] 李澤科，徐志光，余斯航，等.電力調度數據網可靠度評估方法 [J].數據與計算發展前沿，2022，4（5）：87-97

[3] 張紅星.多點雙向路由重分發次優路徑問題研究 [J].寧波工程學院學報，2022，34（2）：26-31.

[4] 吉家昊，王一成，戴俊勉，等.數據網OSPF與BGP聯動引起路由環路問題分析 [J].鐵道通信信號，2022，58（12）：64-67.

[5] 周學兵，費振豪，韓熠，等.路由環路案例及場景分析 [J].鐵道通信信號，2022，58（3）：49-55.

[6] Doyle J.OSPF和IS-IS詳解 [M].孫余強，譯.北京：人民郵電出版社，2014：401-403.

[7] Doyle J.TCP/IP路由技術 第2卷：第2版 [M].夏俊杰，譯.北京：人民郵電出版社，2017：430-432.

[8] 吳宇彤，周金和.SR架構下的軟件定義信息中心網絡概率路由策略 [J].電訊技術，2021，61（2）：137-142.

[9] 熊小萍，劉瑞，蔡義明.計及節點重要度協同知識模型的電力通信QoS路由策略 [J].電力系統保護與控制，2023，51（6）：45-53.

[10] 王德兵，孫道遠.路由標簽在規避路由環路與次優路徑中的應用研究 [J].吉林工程技術師范學院學報，2021，37（4）：96-98.

作者簡介：陳捷（1987—），男，漢族，廣東潮州人，高級工程師，本科，研究方向：電力通信技術和物聯網技術。