基于光纖以太網的高精度分布式授時技術

龔光華,李鴻明

(清華大學 工程物理系,粒子技術與輻射成像教育部重點實驗室,北京 100084)

基于光纖以太網的高精度分布式授時技術

龔光華,李鴻明

(清華大學 工程物理系,粒子技術與輻射成像教育部重點實驗室,北京 100084)

White Rabbit(WR)時鐘同步技術是綜合了同步以太網、精密定時協議(IEEE1588 v2)和數字相位測量技術而發展的分布式同步授時技術,能夠實現數千米范圍內多節點亞納秒精度的時鐘分發。該技術兼容標準以太網協議,不占用額外網絡帶寬,與數據鏈路直接集成,結構簡單成本低。介紹了White Rabbit技術的基本技術原理及初步應用方法,并給出了各種拓撲結構下的測試結果。采用White Rabbit能很好地解決各種長距離多節點高精度授時需求,能夠作為地基增強導航系統的關鍵支撐技術。

分布式同步;分布式授時;同步以太網;White Rabbit

0 引言

時間統一[1]和分布式授時系統[2]在電信、電力系統、交通運輸、金融等國防建設和國民經濟相關領域有著廣泛需求,已經發展出了基于衛星導航系統、路基無線電系統及有線授時等多種手段[3]。

在科學研究領域也面臨著在多節點的精確時間同步要求。面對大型粒子加速裝置控制和大規模高海拔宇宙線觀測實驗[4]的要求,開發了一種基于光纖以太網技術的高精度分布式授時技術(White Rabbit技術，WR技術)[5],能夠在寬廣的空間距離(lt;10km)實現上萬個節點間的亞納秒精度時間同步[6-7]。該方法可有效應用于長距離多節點高精度授時場合,還廣泛應用于分布式網絡測控[14]、時間統一系統[1]、工業自動化控制、分布式基站和遠端射頻系統[11]、電力電網同步、自適應陣列天線、多基地雷達、室內定位等多種場合。

1 WR高精度實時同步以太網技術

WR綜合了同步以太網、PTP精密時鐘協議和數字鑒相技術等多項成熟技術。同步以太網(Synchronous Ethernet,Sync-E)保證在全網絡內所有的時鐘都以共同的頻率運行,即時鐘諧振;PTP精密時鐘協議(IEEE 1588)[8]是標準化高精度網絡時鐘同步協議,但是受限于時鐘的周期,其同步精度不可能優于時間周期;數字鑒相器通過測量時鐘的相位,從而提高系統的精度,使系統的同步精度達到亞納秒級。

1.1 WR網絡拓撲結構

WR完全兼容標準千兆以太網協議,具有低成本、高帶寬、高可靠性和靈活拓撲結構等特點。WR同步網絡主要包含三部分:外部參考時鐘源、WR交換機和WR節點。一個典型的WR網絡拓撲結構如圖1所示[5]。

圖1 White Rabbit同步網絡拓撲結構Fig.1 Topology of White Rabbit synchronized network

WR交換機完成時鐘的跨界同步,類似于PTP協議中定義的邊界時鐘(boundary clock),一方面作為從時鐘與上級時鐘進行同步,另一方面作為主時鐘與下級時鐘進行同步。WR時鐘同步過程包含兩部分,一是頻率同步,二是表征絕對時刻信息的時間同步,頻率同步是通過同步以太網技術實現的,PTP協議和DDMTD實現了納秒級時間同步。

在WR網絡中,所有節點的時鐘最終都溯源同步到外參考時鐘。簡單應用中,可以使用頂層交換機的內部振蕩器和時間信息作為全網絡參考頻率和參考時間;而高精度應用中,可以使用獨立的外部參考時鐘,例如使用銣原子鐘或銫原子鐘作為外部頻率參考,使用GPS/北斗接收器或長短波授時裝置作為外部時間參考,既能提高WR網絡內頻率與時間信息的精度,也提供了多個WR網絡間同步的手段。

1.2 IEEE 1588精密時鐘協議

精確時鐘協議(PTP)是為本地網絡設計的(IEEE 1588)標準化高精度時鐘協議,其主要目的是在以太網中實現微秒級的同步精度。與專用時鐘同步系統不同,PTPv2的定時鏈路與系統的數據鏈路復用,避免為定時功能增加額外通信鏈路的開銷。PTPv2定義了一種主從結構的時鐘同步網絡,即所有從節點的本地時鐘需要與其參考的主節點時鐘同步。這種點對點的時鐘同步通過交換帶有時間戳的網絡包實現,如圖2所示。

·主端周期性發送SYNC報文,記錄發送時刻為t1,并將此t1時間戳通過FOLLOWUP報文發送給從端;

·從端接收SYNC報文,并記錄接收時間為t2,從端接收FOLLOWUP報文,獲得t1時間戳;

·從端發送DELAY_REQ報文,并記錄本地發送時刻t3;

·主端接收DELAY_REQ報文,記錄接收時刻t4,并通過DELAY_RESP報文發送給從端;

·從端接收DELAY_RESP報文,獲得t4時間戳,利用t1、t2、t3、t4計算出主從端的時間差,并調整本地的時間。

圖2 PTP同步機制Fig.2 PTP synchronization protocol

可以看出,PTP時鐘同步的準確度很大程度上取決于4個時間戳的準確度。然而在以太網中包傳輸的延時并不是確定的,應用程序、操作系統或網卡均有可能引入不確定的延時,從而降低時間戳的準確度。因此若要獲得較高精度的同步結果,時間戳需要在網絡物理層處理。即使如此,PTP也很難實現亞納秒級的時鐘同步,其局限性主要體現在:

1)所有節點的時鐘都是獨立運行的,各自的振蕩器頻率存在一定偏差,為了避免主從節點出現較大的時間偏差,同步報文交換的頻率必須足夠高以及時補償偏差,這給通信鏈路帶來了較大的負荷。

2)主從時鐘的偏差是基于時間戳計算的,其精度受限于時間戳的分辨率。例如千兆以太網的鏈路驅動時鐘頻率為125MHz,其時間分辨僅為8ns。

3)未考慮傳輸介質的非對稱性,假設收發鏈路是完全對稱的。

WR在完全兼容PTPv2協議的基礎上,采用物理層時鐘分布技術、全數字雙混頻鑒相器以及WR同步鏈路模型分別克服以上三點局限性,將同步準確度提升至亞納秒級[13]。

1.3 物理層時鐘分布技術

WR基于千兆以太網物理層實現時鐘分布。物理層時鐘分布的原理與SONET/SDH的頻率分布機制相同,將時鐘信號編碼至物理層后通過通信鏈路分布給其他節點,Sync-E就是物理層時鐘分布的一個典型應用,如圖3所示。在標準以太網中,各個節點的時鐘都是獨立運行的。而在同步以太網中,所有節點構成一個時鐘網絡拓撲結構,子節點或子交換機從數據鏈路中恢復出時鐘,并經過從節點內部的PLL,以消除時鐘恢復電路引起的抖動(jitter)。該恢復出來的時鐘既是從節點的系統時鐘,也作為下一級節點的參考時鐘。這樣整個網絡的所有節點的時鐘頻率都與主節點時鐘頻率精確同步(±10-11的長期準確度)[12]。

這種頻率分布技術的優點在于時鐘信息是編碼在數據中發送的,不占用鏈路帶寬;成本低,無論是FPGA的高速串行收發器還是串并轉換芯片都能夠實現時鐘恢復功能;該技術的可靠性和穩定性已在SONET/SDH的應用中得到驗證。

圖3 普通以太網與同步以太網的對比Fig.3 Compare between standard and Sync-E

1.4 WR同步鏈路模型

WR主從節點的同步鏈路如圖4所示,往返鏈路的總延時可以看作由三部分組成:

·主從節點收發電路的硬件延時(ΔTXM,ΔRXM,ΔTXS,ΔRXS),包括FPGA內部邏輯的確定性延時、FPGA內部走線延時、PCB走線延時、高速串行收發器以及光纖收發器的延時,這部分延時可以認為是相對固定的;

·比特位滑動(bit slide)延時(εM,εS),這是由于串并轉換電路在進行字對齊操作時引起的比特位滑動,這部分延時在光纖鏈路建立連接后保持不變,可以在每一次鏈路建立后通過BitSlide狀態機自動獲取;

·光纖鏈路傳輸延時(δMS,δSM),這部分延時對溫度波動非常敏感,需要實時刻度并補償。

WR往返鏈路的總延時可以表示為:

delayMM=δMS+δSM+Δ+εM+εS

其中,Δ=ΔTXM+ΔRXS+ΔTXS+ΔRXM。

當鏈路建立后,主端可以通過PTP協議獲得鏈路總延遲,并通過上述公式計算出往返光纖鏈路的延時為

δMS+δSM=delayMM-(Δ+εM+εS)

為了精確計算光纖鏈路的單向延時,需要考慮光纖鏈路的不對稱性。WR使用一根單模光纖連接主從節點,采用波分復用技術(Wavelength Division Multiplexing, WDM)實現全雙工通信,主節點發出的光的波長為1490nm,從節點發出的光的波長為1310nm。使用波分復用技術可以節約成本,但是更重要的在于單根光纖里的往返鏈路長度完全一致,延時不對稱性完全由不同波長的光在光纖中的折射率決定。WR定義了光纖非對稱系數α,其表達式為

n1490和n1310為兩種波長的光纖折射率,由于不同廠家生產的光纖的折射率略有差別,需要在實驗室提前對光纖的非對稱系數進行標定。

由光纖的非對稱性可以計算出主從鏈路的單向總延時為

delayMS=δMS+ΔTXM+ΔRXM+εS

ΔTXM+ΔRXS+εS

進一步可以計算可知主從時鐘的偏差為

offsetMS=t1-t2p+delayMS+ΔTXM+ΔRXM+εS

從節點時鐘偏差的調整可以分為如下三個步驟。

1)TAI時間校正:offsetMS中整秒的偏差通過校正國際原子時(International Atomic Time,TAI)計時器完成;

2)時鐘周期計數器校正:調整計數器補償整數倍周期(8ns)的偏差;

3)相位調整:小于一個周期的偏差由從節點的鎖相環進行相位調整。

corrpnase=offsetMS-[offsetMS]

這樣,就完成了主從時鐘的亞納秒級同步,由于溫度等環境因素的影響,offsetMS會隨著時間發生變化,因此需要定期測量主從節點的時間偏差的變化,并且將其補償到當前的相位上。

1.5 數字雙混頻鑒相器

WR使用鑒相器精確測量數據恢復時鐘與本地時鐘的相位差并對時間戳進行校正,從而將基于PTPv2的時鐘同步技術帶入亞納秒級。此外,從節點端的鑒相器與濾波控制電路以及壓控振蕩器構成了一個鎖相環電路,實現從節點時鐘的相位鎖定和相位調整功能。

傳統的基于模擬方法的鑒相器能夠獲得很高的分辨率和線性度,然而它們需要增加額外的器件(如混頻器、濾波器等),特別是對于WR多端口交換機的應用,不僅增加成本還給設計帶來了困難。

WR采用了一種全數字雙混頻鑒相器[9](Digital Dual Mixer Time Difference, DDMTD),其工作原理如圖5所示。利用外部鎖相環產生一個輔助時鐘信號,該信號頻率與被測信號(clkA和clkB)的頻率存在微小的差別(fPLL=N/(N+1)·fclk)。在FPGA內部使用該輔助時鐘信號分別對clkA和clkB進行采樣。由于采樣頻率非常接近被測信號的頻率,所以D觸發器會輸出一個非常低頻的信號。被測信號的相位差在混頻之后被放大,因此通過測量觸發器輸出信號的相位差可以計算出原信號的相位差。DMTD雙混頻鑒相由數字方法實現,具有結構簡單、線性度好、動態范圍大的優點。

圖5 DMTD相位檢測原理Fig.5 Principle of DMTD phase detection

2 WR時鐘系統組件

WR技術由多個研究所和高校共同參與開發,并和公司合作實現商業化和產品化。借助成熟的商業COTS組件,能夠非常方便迅速地實現基于WR的應用或改造。

2.1 WR交換機

圖6 White Rabbit交換機Fig.6 White Rabbit switch

WR交換機是WR網絡的核心部件,它在普通交換機的基礎上添加了WR功能支持,并提供了QoS支持、鏈路冗余和快速切換等特性,以滿足對時鐘和控制系統的高實時性要求。

WR交換機有18個SFP光纖口,可以任意配置為上行口或下行口,如圖6所示。通常配置其中2個為上行口,其中一個作為主要的WR從端口與上級交換機同步,另一個作為冗余端口,一旦前者鏈路斷開,該冗余端口將自動切換為WR從端口;剩下的16個端口均配置為下行口, 用于與下級的16個WR從節點或交換機同步。

2.2 WR節點

WR節點有多種實現形式:載板模式、子板模式和IP核模式。

載板模式提供如圖7所示的符合標準型式的載板,例如VME、PCI-Express。在該載板上提供了WR節點的功能和必要的系統資源,并通過標準的FMC(FPGA Mezzanine Card)接口擴展諸如ADC、DAC或DIO等應用功能。

圖7 PCI-Express載板形式的WR節點Fig.7 WR node in PCI-Express carrier board form

子板模式提供如圖8所示的WR最小系統子卡(Cute-WR)[15],可以集成到應用電子學系統內。該子卡提供同步頻率,經過編碼的時間信號和標準MAC接口。應用電子學可以將其作為標準千兆網卡來實現數據傳輸。

圖8 FMC子卡形式的WR節點Fig.8 WR node in FMC mezzanine form

IP核模式將WR節點的所有功能封裝成IP包,可以直接在用戶的硬件平臺上實現,進一步提高應用的靈活性和系統集成度。

3 WR性能測試

測試環境使用了4臺WR交換機和6個Cute-WR節點,如圖9所示。每個節點利用其內部時鐘定時輸出一個秒脈沖PPS(Pulse Per Second)信號,通過測量不同節點間PPS信號的偏差值給出其同步的精度。測試時利用多盤數千米長的G652單模光纖,將設備組建成各種不同拓撲結構的網絡,分別測量網絡中各節點和最頂級節點的同步偏差。

圖9 系統測試環境Fig.9 Test setup

3.1 單節點同步精度

首先給出一主一從這種最基本的WR網絡結構下的同步精度測試結果。將CUTE-WR作為從節點,與WR交換機通過2km的光纖連接,在常溫下使用示波器測量兩者的PPS信號的偏差,如圖10所示。CUTE-WR與WR交換機的同步準確度不超過200ps,同步精度達到了21ps。

圖10 WR同步精度測試Fig.10 Test result of WR synchronization

3.2 并聯多節點拓撲結構

交換機組成一主三從的拓撲結構,每臺從交換機帶2個Cute-WR節點,其拓撲結構和多次測量后的系統同步偏差分布如圖11所示。

圖11 并聯多節點拓撲結構及測試結果Fig.11 Parallel topology and the test result

3.3 串聯多節點拓撲結構

交換機組成四級級聯的拓撲結構,每臺從交換機帶2個Cute-WR節點,其拓撲結構和多次測量后的系統同步偏差分布如圖12所示。

圖12 串聯多節點拓撲結構及測試結果Fig.12 Cascade topology and the test result

4 結論

WR是一種新型的基于同步以太網和PTP協議的時鐘同步方法,通過全數字雙混頻鑒相器和準確的網絡鏈路模型將同步精度提高到亞納秒級別,實現大范圍、多節點的時鐘分布和同步機制。該方法基于標準的以太網,時鐘同步報文幾乎不占用網絡帶寬,定時鏈路與數據鏈路復用,是一種具有高可靠性和低成本的方案,能簡化大規模分布式地基授時系統的結構設計,提高同步性能,改善增強型導航定位精度。

[1] 童寶潤.時間統一系統[M].北京: 國防工業出版社, 2003.

[2] 楊旭海.基于北斗地基增強系統的精密授時方法研究[C]//中國天文學會學術年會, 2014.

[3] 華宇, 郭偉, 燕保榮, 等.我國授時服務體系發展現狀分析[J].時間頻率學報, 2016,39(3): 193-201.

[4] Du Q, Gong G, Pan W.A packet-based precise timing and synchronous DAQ network for the LHAASO project[J].Nuclear Inst amp; Methods in Physics Research A, 2013, 732(5):488-492.

[5] Serrano J, Alvarez P, Cattin M, et al.The White Rabbit project[C]//Proceedings of ICALEPCS TUC004.Kobe, 2009.

[6] Wlostowski T.Precise time and frequency transfer in a White Rabbit network[D].Warsaw University of Technology, 2011.

[7] Maciej Lipinski.White Rabbit Standardization in IEEE 1588-2008[EB/OL].(2012-04-07)[2017-05-22].http://www.ohwr.org/projects/wr-std/wiki.

[8] Eidson J, Lee K.IEEE 1588 standard for a precision clock synchronization protocol for networked measurement and control systems[C]//Proceedings of the 2ndISA/IEEE Sensors for Industry Conference.IEEE, 2002: 98-105.

[9] Moreira P, Alvarez P, Serrano J, et al.Digital dual mixer time difference for sub-nanosecond time synchronization in Ethernet[C]//Proceedings of 2010 IEEE International Frequency Control Symposium (FCS).IEEE, 2010: 449-453.

[10] Lipinski M, Wlostowski T, Serrano J, et al.White Rabbit: a PTP application for robust sub-nanosecond synchronization[C]//Proceedings of IEEE International Symposium on Precision Clock Synchronization for Measurement, Control and Communication(ISPCS).IEEE, 2011: 25-30.

[12] Rizzi M, Lipinski M, Wlostowski T, et al.White Rabbit clock characteristics[C]//Proceedings of IEEE International Symposium on Precision Clock Synchronization for Measurement, Control and Communication(ISPCS).IEEE, Stockholm, 2016: 1-6.

[13] Ronen O, Lipinski M.Enhanced synchronization accuracy in IEEE1588[C]//Proceedings of IEEE International Symposium on Precision Clock Synchronization for Measurement, Control and Communication(ISPCS).IEEE, Beijing, 2015: 76-81.

[14] Dierikx E F, Wallin A E, Fordell T, et al.White Rabbit precision time protocol on long-distance fiber links[J].IEEE Transactionson Ultrasonics, Ferroelectrics, and Frequency Control, 2016, 63(7): 945-952.

[15] Pan W, Du Q, Gong G.Development of a White Rabbit interface for synchronous data acquisition and timing control[C]//Proceedings of the 18thIEEE-NPSS Real Time Conference (RT).IEEE, Berkley, 2012: 1-3.

High-PrecisionTimeDistributionBasedonOpticalEthernet

GONG Guang-hua, LI Hong-ming

(Key Laboratory of Particle and Radiation Imaging of Ministry of Education, Department of Engineering Physics, Tsinghua University, Beijing 100084, China)

WR (White Rabbit) is a technology that combined the Gigabit Ethernet, Sync-E, Precision Time Protocol (IEEE1588 v2) and digital phase tracking method to provide a sub-nanosecond accuracy of time amp; frequency distribution method for thousands of devices spanning several kilometers. WR technology is compatible with standard Ethernet, introduces very few network bandwidth load, high integration with data transmission and advantage of low cost. This paper introduces the technical principles of WR technology, the measurement results of a small WR network with different topology are presented as well. The WR technology is an ideal solution for all applications that requires high precision time synchronization among multiple nodes over long distance, to act as a key supporting technology for the thriving ground enhancement navigation system.

Distributed synchronization; Time distribution; Sync-E; White Rabbit*

10.19306/j.cnki.2095-8110.2017.06.011

TN913.7

A

2095-8110(2017)06-0068-07

2017-05-12；

2017-06-21

國家自然科學基金(11275111，11575096)

龔光華(1977-)，男，博士，副研究員，主要從事核電子學方面的研究。E-mail:ggh@tsinghua.edu.cn