TTE高完整性和標(biāo)準(zhǔn)完整性配置下同步機(jī)制和容錯能力對比分析

楊勁赫，李 峭，湯雪乾

(北京航空航天大學(xué)電子信息工程學(xué)院，北京100191)

1 引言

在航天電子系統(tǒng)中的嵌入式計算應(yīng)用中，綜合模塊化航空電子系統(tǒng)(Integrated Modular Avionics，IMA)為不同的航天電子應(yīng)用提供開放和穩(wěn)定的資源共享框架。基于混合關(guān)鍵安全性等特點(diǎn)的分布式航空電子系統(tǒng)(Distributed Integrated Modular Avionics，DIMA)作為 IMA的進(jìn)一步升級，提升了可擴(kuò)展性[1]和混合關(guān)鍵性綜合化互連的能力。SAE AS6802標(biāo)準(zhǔn)規(guī)定的時間觸發(fā)以太網(wǎng)(Time-Triggered Ethernet，TTE)是基于標(biāo)準(zhǔn)以太網(wǎng)開發(fā)的一種時間觸發(fā)架構(gòu)通信網(wǎng)絡(luò)，具有實時、開放、安全以及滿足混合關(guān)鍵安全性等特點(diǎn)，因此能較好地滿足DIMA的要求，被廣泛應(yīng)用到航天電子系統(tǒng)中[2-3]。NASA已經(jīng)使用TTE來提高航天電子系統(tǒng)的容錯能力，并證明TTE對拜占庭錯誤有很高的容忍度[4-6]。SAE AS6802標(biāo)準(zhǔn)為TTE規(guī)定了一種分布式時鐘同步協(xié)議。根據(jù)配置的不同，TTE同步組件可以分為高完整性(Highintegrity，HI)組件和標(biāo)準(zhǔn)完整性(Standardintegrity，SI)組件，在不同的完整性配置下，TTE網(wǎng)絡(luò)時鐘同步機(jī)制不同。為保證時鐘同步的可靠運(yùn)行，TTE網(wǎng)絡(luò)為不同組件設(shè)計了不同的時鐘同步容錯機(jī)制，高完整性組件具有更加精準(zhǔn)的分布式時鐘同步功能和更強(qiáng)大的故障容忍機(jī)制[7]。近年來，TTE在眾多實時應(yīng)用中發(fā)揮著至關(guān)重要的作用，例如航天電子、汽車工業(yè)和其他工業(yè)網(wǎng)絡(luò)物理系統(tǒng)。Loveless[4]在實驗中同時配置了高完整性的交換機(jī)與標(biāo)準(zhǔn)完整性的端系統(tǒng)，驗證了高完整性組件將故障限制為不一致-遺漏模式。蘭杰等[8]實驗證明了高完整性配置下的TTE網(wǎng)絡(luò)時鐘具備對抗單節(jié)點(diǎn)隨意失效的能力。

時鐘同步是實現(xiàn)時間觸發(fā)架構(gòu)的關(guān)鍵基礎(chǔ)，對不同完整性配置下TTE時鐘同步機(jī)制的容錯能力進(jìn)行驗證十分有必要。本文介紹了SAE AS6802標(biāo)準(zhǔn)規(guī)定的TTE同步服務(wù)與容錯機(jī)制，分析了高完整性與標(biāo)準(zhǔn)完整性配置下TTE同步機(jī)制的區(qū)別，通過網(wǎng)絡(luò)仿真對2種配置下TTE時鐘同步機(jī)制容錯能力的差異進(jìn)行驗證分析。

2 TTE的時鐘同步機(jī)制

時鐘同步服務(wù)的目的是確保通信基礎(chǔ)設(shè)施中組件的本地時鐘保持彼此同步。研究時鐘同步機(jī)制不僅要考察正常工作情況下的時鐘同步功能，還需要關(guān)注時鐘同步過程中同步組件的狀態(tài)和行為。

2.1 同步過程

在TTE的同步服務(wù)中，組件被分為3類：同步主控器(Synchronization Master，SM)、壓縮主控器(Compression Master，CM)和同步客戶端(Synchronization Client，SC)。多數(shù)情況下，SM 與 SC配備于端系統(tǒng)，CM則一般由交換機(jī)充當(dāng)。而同步消息則通過協(xié)議控制幀(Protocol Control Frame， PCF)來傳遞。

PCF幀有冷啟動幀(Cold Start，CS幀)、冷啟動應(yīng)答幀(Cold Start Acknowledge，CA幀)和綜合幀(Integration，IN幀)3種類型。PCF幀中的透明時鐘域會記錄幀的派發(fā)時刻td、傳輸延遲Dtrans、接收時刻treceive等同步信息。

通信設(shè)施的啟動過程伴隨著CS幀、CA幀的交換。CS幀與CA幀的交換稱為容錯握手[9]。該過程中，CM不會對CS幀進(jìn)行壓縮，對CA幀也只是附加延遲后將其返回。在容錯握手之后，同步設(shè)備將會進(jìn)入?yún)f(xié)議狀態(tài)機(jī)中表示同步操作的一個狀態(tài)，即開始同步過程。同步過程中各個組件將會進(jìn)行IN幀的交換，其過程與容錯握手的方式相同，如圖1所示。SM將PCF幀發(fā)送到CM，然后CM根據(jù)這些PCF的相對到達(dá)時間計算平均值，作為響應(yīng)統(tǒng)一返還新的PCF。新PCF也會發(fā)送到SC。由于PCF幀的接收時間與發(fā)送時間有偏差，CM將對IN幀進(jìn)行固化和壓縮，獲取時鐘修正值，在對本地時鐘進(jìn)行修正后，把同步信息附加在IN幀中返還給各個端系統(tǒng)。各個端系統(tǒng)也將對IN幀進(jìn)行固化，還原發(fā)送時刻，得到時鐘修正值來對自身的本地時鐘進(jìn)行修正。而為了保持各個時鐘始終處于同步，每隔一個固定的時間段，系統(tǒng)就會再次進(jìn)行同步。這個過程稱為集群周期。

圖1 TTE同步過程Fig.1 Synchronization process of TTE

SM的協(xié)議狀態(tài)機(jī)有異步狀態(tài)和同步狀態(tài)，異步狀態(tài)包括SM_Integrate狀態(tài)、SM_Wait_4_Cycle_Start狀態(tài)、SM_Unsync狀態(tài)、SM_Flood 狀態(tài)和SM_Wait_4_Cycle_Start_CS狀態(tài)，同步狀態(tài)包括SM_Tentative_Sync狀態(tài)、SM_Sync狀態(tài)和SM_Stable狀態(tài)。

當(dāng)SM是標(biāo)準(zhǔn)完整性時，CM只會派發(fā)用于自身時鐘同步的壓縮過的PCF幀，這樣可以防止故障幀的傳播；當(dāng)SM配置為高完整性時，不管是否已經(jīng)用于CM自身的時鐘同步，所有的PCF幀都被派發(fā)。

2.2 固化與壓縮

通過固化功能與壓縮功能，可以獲取較為精確的時鐘修正值，用于各個組件的本地時鐘修正，實現(xiàn)同步。固化功能在SM、SC、CM中都有實現(xiàn)，而壓縮只在CM中實現(xiàn)。

固化功能用于還原PCF幀發(fā)送的真實時刻。每個節(jié)點(diǎn)都可能接收多個的PCF幀，固化功能將還原它們的正確發(fā)送順序。通過透明時鐘內(nèi)攜帶的同步消息，可以計算固化時刻點(diǎn)tp，如式(1)所示：

式中，Dmax為最大傳輸延遲，treceive為本地時鐘測得接收時刻點(diǎn)的值，Dtrans為PCF幀從發(fā)送端到接收端的傳輸延遲。

壓縮功能在接收到PCF幀時開始啟動，而不是在同步的本地時鐘到達(dá)某一個時間點(diǎn)時開始。CM在第1個不屬于當(dāng)前同步的固化時刻點(diǎn)tp，1打開一個長度為P的接收窗，P/2為系統(tǒng)的預(yù)設(shè)精度。若在該接受窗內(nèi)至少接收到2個固化時刻點(diǎn)，則打開下一個接收窗。從第2個接收窗開始，若收集到至少一個固化時刻點(diǎn)，則打開新的接收窗，直到窗的長度達(dá)到最大值Wmax=(f+1)×P，f為所容忍的錯誤的SM個數(shù)，SM的總數(shù)為n。否則關(guān)閉窗并不再打開新的接收窗。

對于接受到的PCF幀，通過具有容錯能力的均值公式(Falut-Tolerant Average，F(xiàn)TA)來計算壓縮修正值。tp，i為第i個不屬于當(dāng)前同步的固化時刻，定義后續(xù)固化時刻點(diǎn)與tp，1之間的時間間隔為 ki=tp，i-tp，1[10]，具體計算如表1所示。

表1 FTA計算壓縮修正值Table 1 Calculation of compression correction value

得到修正值tcc后，CM對壓縮時刻點(diǎn)t進(jìn)行計算，如式(2)所示：

式中，tco為固有計算開銷。以t為基準(zhǔn)，CM將PCF幀發(fā)回到SM。CM不會在同一時刻點(diǎn)操作高完整性和標(biāo)準(zhǔn)完整性配置的SM，因此同步時對PCF幀的處理因高完整性與標(biāo)準(zhǔn)完整性配置差異而有著顯著的區(qū)別，如表2所示，高完整性配置的SM只會壓縮IN幀，標(biāo)準(zhǔn)完整性配置的SM則會壓縮CA幀和IN幀。

表2 不同完整性下對PCF幀的處理Table 2 Processing of PCF with different integrity

不同完整性配置下，TTE同步組件的對PCF幀的響應(yīng)也不同。當(dāng)配置為標(biāo)準(zhǔn)完整性時，SM會對所有CS幀做出響應(yīng)。CM將僅轉(zhuǎn)發(fā)與CM的本地時鐘同步的IN幀，在派發(fā)時刻點(diǎn)到來時將壓縮后的IN幀發(fā)送。并且通過漏桶算法[11]，每一個集群周期都只會接收來自每個SM的一個PCF幀。

當(dāng)配置為高完整性時，SM僅會對來自其他SM的CS幀做出響應(yīng)。CM將轉(zhuǎn)發(fā)所有IN幀。并且高完整性的設(shè)計將會阻止SM在一個集群周期內(nèi)發(fā)出多個IN幀。

3 TTE的時鐘同步容錯機(jī)制

3.1 失效模式與假設(shè)

TTE在同步過程中出現(xiàn)的各種故障總是與SM、CM等組件及其接口的行為有關(guān)，常見的各種失效模式包括以下3種：

1)寂靜失效。同步組件處于靜默狀態(tài)，不會對任何輸入做出回應(yīng)，停止輸出。

2)不一致-遺漏失效。這種失效模式是不一致失效和遺漏失效的組合。在接收來自不一致失效組件的消息時，群組內(nèi)的一些組件會收到正確的消息，而另一部分收到的則是錯誤的消息。而處于遺漏失效模式的組件則無法成功發(fā)送或接收任意數(shù)量的幀。

3)隨意失效。處于該失效模式的組件會不可控地在任意時間產(chǎn)生任意消息，并且這種失效模式會不受控制地產(chǎn)生不一致失效。

TTE網(wǎng)絡(luò)支持單點(diǎn)失效和雙點(diǎn)失效2種類型的失效假設(shè)。在單點(diǎn)失效假設(shè)下，TTE旨在容忍終端系統(tǒng)的任意故障或交換機(jī)的不一致-遺漏故障。TTE中的交換機(jī)可以配置為執(zhí)行中央總線監(jiān)控功能。中央總線監(jiān)控功能確保即使一組端系統(tǒng)出現(xiàn)隨意失效，它也會通過將其轉(zhuǎn)換為不一致-遺漏失效模式來消除這些故障終端系統(tǒng)的影響；在雙點(diǎn)失效假設(shè)下，TTE旨在容忍2個不一致-遺漏失效設(shè)備，這些設(shè)備可以是2個端系統(tǒng)，2個交換機(jī)或1個端系統(tǒng)和1個交換機(jī)。

高完整性與標(biāo)準(zhǔn)完整性配置的TTE具有的同步容錯能力有明顯差異。當(dāng)配置為高完整性時，SM和CM的故障模式限制為不一致-遺漏故障。根據(jù)SAE AS6802標(biāo)準(zhǔn)，在高完整性配置的TTE網(wǎng)絡(luò)中，組件包含了如圖2所示的指令/監(jiān)視對結(jié)構(gòu)，以應(yīng)對不一致-遺漏失效模式。

圖2 指令/監(jiān)視對結(jié)構(gòu)Fig.2 Structure of Com/Mon pair

當(dāng)配置為標(biāo)準(zhǔn)完整性時，TTE容忍單個SM的隨意故障或單個CM的不一致-遺漏故障，但不能同時容忍兩者同時出現(xiàn)。

由于標(biāo)準(zhǔn)完整性配置下的SM在同步過程中會對自己發(fā)出的CS幀做出響應(yīng)，即某個SM也可能從未與其他的節(jié)點(diǎn)進(jìn)行過正確的“握手”，獲取有效的時間修正信息，從而造成隨意失效，這也是標(biāo)準(zhǔn)完整性配置的TTE無法對抗隨意失效的原因。由于高完整性配置的SM只對來自其他SM的CS幀做出響應(yīng)，保證了“握手”的有效性，避免了隨意失效的發(fā)生，因而比標(biāo)準(zhǔn)完整性配置具有更強(qiáng)的容錯能力。在高完整性配置下，TTE能容忍SM和CM的并發(fā)故障。

3.2 結(jié)團(tuán)檢測

結(jié)團(tuán)是指同步域中某一些節(jié)點(diǎn)(但不是全部)形成了同步并可以維持，但其他的節(jié)點(diǎn)無法參與同步，也就是整個系統(tǒng)未能達(dá)成正確的同步。常用的結(jié)團(tuán)檢測包括同步結(jié)團(tuán)檢測與異步結(jié)團(tuán)檢測，具體如圖3所示。

同步結(jié)團(tuán)檢測用設(shè)備本地變量local_sync_membership跟蹤與當(dāng)前達(dá)到同步的SM數(shù)目。local_sync_membership是一個位向量，與 pcf_membership_new中對SM與位的指定一致。pcf_membership_new為PCF幀中的位向量，當(dāng)某一位為1時，表示該P(yáng)CF幀攜帶了該位所對應(yīng)SM的時間信息。同步結(jié)團(tuán)檢測功能可以在TTE協(xié)議狀態(tài)機(jī)中的每個同步狀態(tài)獨(dú)立的使能或禁止。當(dāng)同步結(jié)團(tuán)檢測服務(wù)工作時，local_sync_membership與狀態(tài)定義閾值進(jìn)行對比，如果local_sync_membership中設(shè)置位數(shù)比相應(yīng)的閾值小則表示檢測出結(jié)團(tuán)情況。

圖3 結(jié)團(tuán)檢測Fig.3 Clique detection

異步結(jié)團(tuán)檢測功能使用2個本地變量local_async_membership[0]和local_async_membership[1]用于跟蹤當(dāng)前與相應(yīng)設(shè)備不同步但可用(不包括關(guān)閉電源的 SM)的SM的數(shù)目。local_async_membership{0||1}都是位向量，與 pcf_membership_new中對SM的分配關(guān)系一致。

異步結(jié)團(tuán)檢測功能監(jiān)視通信鏈路中預(yù)期外到達(dá)的PCF幀。這種情況可能是該幀的固化時刻點(diǎn)在接受窗口外，也可能是固化時刻點(diǎn)在接受窗口內(nèi)但有錯誤的集成周期值。

4 不同完整性配置同步的仿真對比

4.1 仿真實現(xiàn)與參數(shù)配置

OMNet++是一個可擴(kuò)展、模塊化、基于組件的C++仿真庫和框架，主要用于構(gòu)建網(wǎng)絡(luò)的仿真。該軟件提供基于Eclipse的IDE、圖形運(yùn)行時環(huán)境和其他工具，有實時模擬、網(wǎng)絡(luò)仿真、數(shù)據(jù)庫集成、SystemC集成等功能的擴(kuò)展[12]。本文利用OMNet++，根據(jù)SAE AS6802標(biāo)準(zhǔn)建立TTE的仿真模型，進(jìn)行同步及容錯仿真實驗。

同步仿真實驗的配置為：設(shè)置tick為10 ns，代表物理時鐘一個滴答的時間寬度，同步精度為50 tick。如圖4所示，實驗仿真的網(wǎng)絡(luò)有1個交換機(jī)和4個端系統(tǒng)。節(jié)點(diǎn)個數(shù)會影響FTA的計算以及錯誤節(jié)點(diǎn)的設(shè)置，但并不妨礙高完整性和標(biāo)準(zhǔn)完整性TTE的工作機(jī)制。

圖4 TTE仿真Fig.4 Simulation of TTE

5個節(jié)點(diǎn)的時鐘漂移率ρ如表3所示：

表3 節(jié)點(diǎn)時鐘漂移率設(shè)置Table 3 Clock drift rate setting

4.2 無失效正常同步

選取SM1和SM2進(jìn)行無失效正常同步實驗，進(jìn)行高完整性配置和標(biāo)準(zhǔn)完整性配置下的對比，如圖5所示。高完整性和標(biāo)準(zhǔn)完整性配置的SM最后都達(dá)到了同步穩(wěn)定的狀態(tài)(SM_Stable)，只是高完整性所需時間要略小于標(biāo)準(zhǔn)完整性。

圖5 無失效同步Fig.5 Normal synchronization

當(dāng)同步節(jié)點(diǎn)進(jìn)入同步狀態(tài)時，不同配置下各節(jié)點(diǎn)的時鐘修正值如表4所示，以tick為單位。時鐘同步修正值的最大值為17 tick，小于規(guī)定的同步精度(50 tick)，說明所有的TTE網(wǎng)絡(luò)節(jié)點(diǎn)實現(xiàn)了全局同步。

表4 節(jié)點(diǎn)時鐘同步修正值Table 4 Clock correction value

4.3 單節(jié)點(diǎn)不一致-遺漏失效

設(shè)置SM1為故障狀態(tài)，不會向CM發(fā)送PCF幀。根據(jù)FTA算法，節(jié)點(diǎn)總數(shù)N與需要容忍錯誤節(jié)點(diǎn)的個數(shù)f需滿足N＞3f，因此設(shè)定f=1。對比高完整性和標(biāo)準(zhǔn)完整性配置實驗結(jié)果，如圖6所示，標(biāo)準(zhǔn)完整性配置下同步所需時間為455μs，明顯大于高完整性配置下的時間293μs。

單節(jié)點(diǎn)的不一致-遺漏失效不會影響全局的同步，失效節(jié)點(diǎn)可以通過其他節(jié)點(diǎn)的同步信息在當(dāng)前的集群周期中完成同步。

發(fā)生失效時，如果PCF幀落到接收窗外，高完整性配置的TTE網(wǎng)絡(luò)可以快速通過同步結(jié)團(tuán)檢測服務(wù)將同步狀態(tài)退回到同步的初狀態(tài)并進(jìn)行重啟動。而標(biāo)準(zhǔn)完整性要在下一個同步周期到來時，通過異步結(jié)團(tuán)檢測才能進(jìn)行重啟動。

4.4 多節(jié)點(diǎn)不一致-遺漏失效

圖6 單節(jié)點(diǎn)不一致-遺漏失效Fig.6 Inconsistent-Omission failure of single node

設(shè)置SM1和CM為故障狀態(tài)。SM1無法正常發(fā)送出CS、CA幀，CM也不會向其發(fā)送來自其他節(jié)點(diǎn)的CS幀與CA幀。因此SM1只能接受到IN幀。

如圖7所示，在CM和SM1同時失效的情況下，高完整性配置的TTE網(wǎng)絡(luò)節(jié)點(diǎn)可以完成同步(SM_Stable)，而標(biāo)準(zhǔn)完整性配置的節(jié)點(diǎn)則無法進(jìn)入最終的同步狀態(tài)，無法從SM_Tentative_Sync狀態(tài)跳轉(zhuǎn)到更穩(wěn)定的同步狀態(tài)。

圖7 多點(diǎn)不一致-遺漏失效Fig.7 Inconsistent-Omission failure of multiple nodes

5 結(jié)論

通過對TTE高完整性與標(biāo)準(zhǔn)完整性的仿真驗證和分析，二者在機(jī)制上尤其是容錯能力方面的區(qū)別主要體現(xiàn)于：

1)2種完整性設(shè)計的時鐘同步機(jī)制都有一定的容錯能力，高完整性配置下TTE網(wǎng)絡(luò)時鐘同步機(jī)制的容錯能力更強(qiáng)，能對抗標(biāo)準(zhǔn)完整性所無法對抗的隨意失效。

2)面對不一致-遺漏失效時，高完整性配置的TTE網(wǎng)絡(luò)能更快地進(jìn)入重啟動，因此反應(yīng)速度要明顯快于標(biāo)準(zhǔn)完整性。相較于標(biāo)準(zhǔn)完整性配置，高完整性配置具有更好的安全性和可靠性。

3)具有高完整性設(shè)計的TTE對比標(biāo)準(zhǔn)完整性配置有更好的時鐘同步機(jī)制容錯能力和對故障的反應(yīng)速度。

本文研究可以為航空航天等安全關(guān)鍵等級高的實時應(yīng)用容錯配置提供論證參考。