基于聯(lián)邦對比學(xué)習(xí)的航天器故障診斷

中圖分類號：TP181 文獻標志碼：A 文章編號：1001-3695（2025）08-029-2467-07

doi： 10.19734/j. issn.1001-3695.2024.11.0481

Spacecraft fault diagnosis based on federated comparative learning

Yang Xiajie1，Lin Ziqian1?，XuDandan1，YouYanli2，F(xiàn)anChongjun1 （1.BusinessSol，Uesityfghaifoeeamp;Tchlgnghao，hna;.agiJingnDistricAeurU versity（Shanghai Open University Jing'an Branch），Shanghai 2Ooo4O，China）

Abstract：Spacecraftfault diagnosis typicallyinvolves interpreting telemetryparameters.Time-seriesdata colected by key spacecraftdevices exhibitanon-independentidenticallydistributed（Non-ID）patern.Traditional federatedlearning methods tendtocause modeldriftduetolocal modelupdates when handlingsuchdata.Toaddressthis isse，thestudyproposedafederatedoptimizationalgorithmcalledfederatedcontrastivetime-seriesanomalydetection（FclTAD）.Thealgorithmanalyzed spacecraft Non-IDtime-seriesdatatodetectanomaliesatany givenmoment，enabling timelyinterventions.TheFclTADalgorithmconsistedof two stages：local updateand global aggregation.Thelocalupdate phaseused anautoencoder tocapture longtermdependenciesandnonlinearrelationsipsinthtimeseries.Itintroducedajointcontrastiveregularizationlosstoenhance themodel’sdiscriminativeabilityforfaultdiagnosis.Theglobalaggregationphaseaccountedforsensordiferencesandapplieda normalizationandweightedagregationstrategytocorrectinconsistentlocalupdates.Thisadjustmentreducedthe negativeimpactof eroneous updates onthe global model.The studyconductedsimulationsusing the NASA public datasets MSL and SMAP，as wellas the machine prediction serverdataset （PSM）.Resultsshow thatFcITADimproves the fault diagnosis accuracy by approximately 14.37% and the adjusted F₁ score by 7.82% compared to other methods.FclTAD protects spacecraftdataprivacy，addressesthe“clientdrift”problem，andefectivelyutilizesrelationshipsbetweenlocalandglobalmodels. The method achieves excellent performance in spacecraft Non-IID time-series fault diagnosis.

Key Words：federated learning；fault diagnosis；time series；comparative learning；aerospace

0 引言

隨著科技水平的不斷發(fā)展，航天器的復(fù)雜度也在不斷增加，引入新的方法對航天器進行及時的故障診斷能推動航天事業(yè)的發(fā)展。航天器故障診斷通常通過判讀遙測參數(shù)實現(xiàn)，遙測的時序數(shù)據(jù)蘊涵豐富的可用于故障診斷的客觀規(guī)律和知識，深度挖掘和分析這些規(guī)律和知識，實現(xiàn)航天器實時數(shù)據(jù)的預(yù)測性維修[1]，能避免災(zāi)難性事故的發(fā)生，并有效地延長其操作壽命[2]。傳統(tǒng)的深度學(xué)習(xí)雖能通過端到端的模型消除復(fù)雜的特征提取對人力、專家經(jīng)驗的要求，但故障診斷的成功需要依賴大量帶標簽的訓(xùn)練數(shù)據(jù)[3]，若將其集中收集，可能會造成危及任務(wù)安全或暴露航天器操作機密的問題[4]

聯(lián)邦學(xué)習(xí)（federatedlearning，F(xiàn)L）[5]是解決上述問題的一類機器學(xué)習(xí)框架，該框架將數(shù)據(jù)保留在設(shè)備本地，能夠直接在原始數(shù)據(jù)上訓(xùn)練模型，對于涉及用戶隱私或者數(shù)據(jù)量較大的情況，避免了把用戶數(shù)據(jù)直接上傳數(shù)據(jù)中心，保護數(shù)據(jù)隱私安全。聯(lián)邦學(xué)習(xí)也為時序數(shù)據(jù)故障診斷提供一種新范式，應(yīng)用于工業(yè)、醫(yī)療、教育等領(lǐng)域，如Truong等人[提出了一種分布式異常檢測架構(gòu)，檢測應(yīng)持續(xù)運行的工業(yè)控制系統(tǒng)中時間序列數(shù)據(jù)的不規(guī)則性，減少生產(chǎn)運營和重要工業(yè)資產(chǎn)甚至敏感信息造成的嚴重損害。Guo等人[7提出了一種基于聯(lián)邦學(xué)習(xí)的實時醫(yī)療數(shù)據(jù)處理方法，能夠從連續(xù)的醫(yī)療實時數(shù)據(jù)流中學(xué)習(xí)疾病診斷模型。但航天器傳感器數(shù)據(jù)呈Non-IID分布，包括任務(wù)和操作模式的多樣性、外部環(huán)境變化，以及不同傳感器的采樣頻率、量程和噪聲特性等。這種數(shù)據(jù)分布的不均衡性加劇了模型在不同分布下泛化的難度[8]，因此，仍然需要通過提升全局模型的泛化能力，適應(yīng)分布差異，確保診斷結(jié)果的可靠性和穩(wěn)定性[9]

聯(lián)邦學(xué)習(xí)在Non-IID數(shù)據(jù)的應(yīng)用中，主要分為面向客戶端和全局聚合的優(yōu)化兩個方面，針對客戶端本地訓(xùn)練的優(yōu)化，Li等人[4提出聯(lián)邦近端優(yōu)化算法，該算法在本地執(zhí)行不等數(shù)量的更新操作，以應(yīng)對數(shù)據(jù)和系統(tǒng)的異構(gòu)性問題。金彤等人[10]提出一種基于譜聚類的傅里葉個性化聯(lián)邦學(xué)習(xí)算法，在云端協(xié)同下通過譜聚類將用戶終端劃分為多個聚類域，充分利用相似用戶終端學(xué)到的知識提升模型性能，緩解跨不同用戶終端數(shù)據(jù)Non-IID 引起的負面影響。張澤輝等人[]針對工業(yè) Non-ID數(shù)據(jù)隱私泄露和模型性能損失的問題，提出一種自適應(yīng)模型聚合方案，能夠設(shè)定各參與者的Mini-batch值和自適應(yīng)調(diào)整全局模型聚合間隔，在保證模型精度的同時提高訓(xùn)練效率。 Mu 等人[12]提出了FedProc，在圖像分類任務(wù)上利用原型作為全局知識，以糾正每個客戶端本地訓(xùn)練的漂移，使得全局模型在非IID數(shù)據(jù)上表現(xiàn)良好。針對模型聚合的優(yōu)化，Li等人[3]發(fā)現(xiàn)，當(dāng)模型聚合權(quán)重總和小于1時，會引發(fā)類似權(quán)重衰減的全局權(quán)重收縮效應(yīng)，提升模型泛化能力。他們指出，最優(yōu)收縮因子受到客戶端數(shù)據(jù)異質(zhì)性和局部訓(xùn)練輪次的影響，基于此提出了一種具有可學(xué)習(xí)聚合權(quán)重的聯(lián)邦學(xué)習(xí)方法FedLAW，通過客戶間的相對聚合權(quán)重反映客戶端重要性。Ahmad等人[14]探討了Non-IID數(shù)據(jù)場景下聯(lián)邦學(xué)習(xí)中局部模型參數(shù)的重要性差異，并提出了一種基于Hessian矩陣的聚合機制，利用損失函數(shù)的一階信息，采用Hessian作為縮放矩陣，捕捉跨局部模型的數(shù)據(jù)統(tǒng)計變化。然而，在航天器場景下，時序數(shù)據(jù)Non-IID的長時依賴性沒有被考慮在內(nèi)，不足以充分捕捉到航天器數(shù)據(jù)中的長期依賴關(guān)系，且大多數(shù)只依賴于簡單的加權(quán)平均，未能充分考慮各個本地模型更新之間的相互作用和在不同訓(xùn)練階段的動態(tài)變化?，F(xiàn)有的對航天器時序故障診斷方面的研究較少，尚缺乏專門針對航天器時序數(shù)據(jù)特點的故障診斷方法。因此，針對航天器時序故障診斷的聯(lián)邦學(xué)習(xí)方法必須解決兩個關(guān)鍵問題：a）航天器故障數(shù)據(jù)通常稀缺且類別不平衡，在有限的時序數(shù)據(jù)集中，如何確保模型能夠有效捕捉長期依賴關(guān)系并提升其泛化能力？b）如何確保每個客戶端的貢獻能夠根據(jù)其數(shù)據(jù)質(zhì)量和模型表現(xiàn)動態(tài)調(diào)整？

針對上述問題，本文提出了一種聯(lián)邦對比時序診斷算法來解決航天器Non-IID時序數(shù)據(jù)的故障診斷問題。本方法從聯(lián)邦學(xué)習(xí)框架出發(fā)，借鑒對比學(xué)習(xí)的思想，在時序數(shù)據(jù)的故障診斷任務(wù)中，提出了適用于Non-IID數(shù)據(jù)環(huán)境下的有效優(yōu)化策略。在本地更新中引人對比損失和傳感器間的正則損失，增強本地模型故障診斷的判別能力，使本地模型能夠盡可能地接近全局模型；全局聚合中，通過規(guī)范化和加權(quán)聚合策略，修正不一致的局部更新，減少錯誤更新對全局模型的負面影響。本文貢獻如下：

a）針對航天器Non-IID時序數(shù)據(jù)的故障診斷問題，提出算法FclTAD。

b）LSTM-AE作為本地服務(wù)器模型，獲取重構(gòu)損失學(xué)習(xí)數(shù)據(jù)的低維表示，去除噪聲并突出關(guān)鍵特征，處理不同數(shù)據(jù)的分布特征，有效捕捉時間序列數(shù)據(jù)中的長期依賴和非線性關(guān)系。

c）本地訓(xùn)練階段，提出聯(lián)合對比正則化損失，考慮局部和全局模型的內(nèi)在關(guān)系，有效增強模型的判別能力，使得模型在嵌入空間中能夠更好地分離正常數(shù)據(jù)和故障數(shù)據(jù)，同時減少梯度爆炸或消失的風(fēng)險且防止模型過擬合，得到一個魯棒性更好的異常檢測模型。

d）全局聚合階段，以規(guī)范化和加權(quán)聚合模型參數(shù)，生成新的全局模型，均衡不同傳感器對全局模型的貢獻，控制更新步長，確保模型更新的穩(wěn)定性和有效性。

e）通過在PSM、SMAP數(shù)據(jù)集以及用MSL作為真實世界實例進行實驗，展示了FcITAD在Non-IID環(huán)境下異常檢測任務(wù)中的各項性能。驗證了其能在航天器時序數(shù)據(jù)故障診斷中，可以在不犧牲隱私安全的前提下，實現(xiàn)跨機構(gòu)數(shù)據(jù)的有效聚合，增強模型對航天器Non-IID時序數(shù)據(jù)異常模式的識別能力，以及模型偏移導(dǎo)致的精確度不佳的問題。

1相關(guān)理論

1.1 聯(lián)邦學(xué)習(xí)

聯(lián)邦學(xué)習(xí)作為一種分布式機器學(xué)習(xí)方法，已在醫(yī)療健康、金融服務(wù)、物聯(lián)網(wǎng)、智能制造等領(lǐng)域廣泛應(yīng)用，證明了其在解決數(shù)據(jù)孤島問題方面的有效性[15]。本文借助其分布式學(xué)習(xí)特點，基于航天器傳感器遙測Non-IID數(shù)據(jù)在本地進行獨立訓(xùn)練模型，并通過與中央服務(wù)器的通信共享模型更新，實現(xiàn)全局模型的協(xié)同優(yōu)化，不僅有效保護了數(shù)據(jù)隱私，還提升了故障診斷的準確性和可靠性，能夠更好地應(yīng)對航天器在復(fù)雜環(huán)境下的運行挑戰(zhàn)。通常服務(wù)器端用于聚合傳感器模型參數(shù)的方法為聯(lián)邦平均算法（federatedaveragingalgorithm，F(xiàn)edAvg）[5]，其模型訓(xùn)練通過循環(huán)進行，每輪通過重復(fù)本地學(xué)習(xí)和模型聚合的過程來實現(xiàn)。在每輪中，服務(wù)器激活部分邊緣設(shè)備，并將最新的模型參數(shù) m_G^t+1 發(fā)送給設(shè)備。被激活的設(shè)備進行本地數(shù)據(jù)訓(xùn)練。具體而言，對其本地模型參數(shù) m_k^t 執(zhí)行隨機梯度下降（stochasticgradientdescent，SGD）的參數(shù)優(yōu)化，在各自私有數(shù)據(jù)集 D_k 上進行訓(xùn)練，最小化本地損失：

m_k^t+1=m_k^t-η?L_k（m_k^t）

其中： η 是學(xué)習(xí)率； L_k 為第 k 個樣本的本地損失。服務(wù)器端通過以下方式實現(xiàn)加權(quán)平均聚合：

其中： |D| 為設(shè)備總數(shù)據(jù)量； ∣D_k∣ 為設(shè)備 k 的數(shù)據(jù)量； m_G^t+1 為新一輪要下發(fā)的全局模型參數(shù)； m_k^t+1 為更新后的本地模型參數(shù)。重復(fù)上述過程，直至收斂。

1.2時序數(shù)據(jù)模塊化的故障診斷

航天器采集到的時序數(shù)據(jù)往往是多元時序數(shù)據(jù)，針對多元時間序列的故障診斷方法可基于訓(xùn)練一個模型來重建或預(yù)測健康的時間序列，歸納為一個模塊化的異常檢測和診斷框架[16]。該框架由三部分或模塊組成—重構(gòu)或預(yù)測模型、評分函數(shù)和閾值函數(shù)[17]，具體步驟如下：

第一個模塊：重構(gòu)模型 f_m ，將一個子序列 X 作為輸人，輸出對輸入的有損重構(gòu) I_m 用于計算一個誤差。

第二個模塊：打分函數(shù)將誤差 L_re 等多通道得分合并為每個時間點的單個異常得分 a_t 。評分函數(shù)通常有兩個截然不同但又相互聯(lián)系的部分——轉(zhuǎn)換函數(shù) f_trans 和聚合函數(shù) f_agg 。首先 ，f_trans 將誤差轉(zhuǎn)換為每個通道異常得分 A_k^t ，用于異常診斷，以識別異常持續(xù)時間內(nèi)哪個通道異常得分最高。然后，在每個時間點上 I_agg 將各通道的得分進行聚合，生成每個時間點的異常得分a，

第三個模塊：閾值函數(shù)模塊，閾值為 ξ ，得到一個二值標簽 ，用于將每個點分類為異?；蚪】怠Ｐ问缴希?/p>

2 FclTAD算法介紹

2.1框架概述

FcITAD以NASA公開的航天器數(shù)據(jù)為應(yīng)用實例，圖1給出了框架的概述，展示了其核心工作流程，該框架主要由五個步驟組成：

a）每個傳感器初始化LSTM-AE模型參數(shù)，用本地時間序列數(shù)據(jù) X 訓(xùn)練LSTM-AE模型，引入聯(lián)合對比正則化損失L_JCRL ，最大化當(dāng)前本地模型參數(shù)與全局模型參數(shù)的相似性，增強模型的判別能力，同時最小化當(dāng)前本地模型參數(shù)與上一次本地模型參數(shù)的相似性，并防止模型過擬合。

b）本地將更新后的模型參數(shù) m_k^t+1 上傳到中心服務(wù)器。

c）中心服務(wù)器通過動態(tài)加權(quán)聚合各本地上傳的參數(shù)，修正不一致的局部更新，推動模型參數(shù)向全局模型靠攏，同時保持一定的差異性。d）全局模型參數(shù) m_G^t+1 作為下一輪本地訓(xùn)練的起點，被分發(fā)到各本地傳感器。e）每一輪迭代后，通過精確度和調(diào)整后的 F₁ 值來評估模型在異常檢測任務(wù)上的性能。

表1關(guān)鍵符號說明Tab.1Description of key symbols

2.3 本地訓(xùn)練與更新

2.3.1 本地模型

FcITAD的本地訓(xùn)練與更新采用LSTM-AE模型，學(xué)習(xí)航天器數(shù)據(jù)時序特征和模式，其由編碼器和解碼器組成，用于將輸人序列編碼為隱變量，再從隱變量解碼重構(gòu)原始序列，在多實體數(shù)據(jù)集中為每個實體訓(xùn)練一個單獨的模型，能夠有效地從高維時間序列數(shù)據(jù)中提取出重要的特征，從可預(yù)測的、不可預(yù)測的、周期的、非周期的和準周期的時間序列中檢測異常，并引入聯(lián)合對比正則化損失JCRL：

L_JCRL=L_re+δ₁L_con+δ₂L_L2

其由重構(gòu)損失 L_re 、模型對比損失 L_con 和模型間的正則損失 L_L2 三部分組成 S₁ 是對比損失的超參數(shù)， δ_?2 是模型間的正則損失的超參數(shù)。下面將具體介紹三部分損失。

2.3.2重構(gòu)損失

LSTM編碼器學(xué)習(xí)輸人時間序列的固定長度向量表示，LSTM解碼器使用該表示，使用當(dāng)前隱藏狀態(tài)和上一時間預(yù)測的值重構(gòu)時間序列。重構(gòu)損失度量模型再將輸入數(shù)據(jù)編碼、解碼后重建出的數(shù)據(jù)與原始輸入數(shù)據(jù)之間的誤差通過最小化重構(gòu)誤差，LSTM-AE能夠更好地表征航天器數(shù)據(jù)的基礎(chǔ)模式。

1）重構(gòu)

將航天器遙測數(shù)據(jù)正常時間序列分為 P_?M，P_?M，P_?N3 和 P_N4 四組，異常時間序列分為 P_A1 和 P_A2 兩組時間序列。序列集合 用于學(xué)習(xí)LSTM-AE 模型。集合 P_N2 用于訓(xùn)練編碼器-解碼器模型時的提前停止。 h_E^k 為編碼器在 t_k 時刻的隱藏狀態(tài)，其中 h_E^k∈R^ω R^ω 表示一個 ω 維的實數(shù)空間， ω 為編碼器隱藏層的LSTM單元數(shù)。編碼器的最終狀態(tài)以 h_E^L 作為解碼器的初始狀態(tài)。LSTM解碼器層頂部的線性層用于預(yù)測目標。在訓(xùn)練過程中，解碼器以 x_k 作為輸人，得到狀態(tài) h_D^k-1 ，然后預(yù)測目標x_k-1 對應(yīng)的 x_k-1^′ 。在推理過程中，將預(yù)測值 x_k^′ 輸人到解碼器中，得到 h_D^k-1 ，并預(yù)測 x_k-1^′ 。以實現(xiàn)最小化目標：

2.2 問題設(shè)置

本文假設(shè)有來自不同航天器的傳感器 C={C₁，C₂，… ，其中 k=（1，2，…，K），D 是所有航天傳感器的總和。 D_k= {（x_k，y_k）} 中包括長度為 L 的時間序列 X_k，X_k 為第 k 個度量的觀測向量，對航天器時間序列進行異常檢測，式中： x_k 為第 k 組數(shù)據(jù)的輸入特征 ，y_k∈{0，1} 表示對應(yīng)的故障標簽。在本文背景中，目標是訓(xùn)練一個全局聯(lián)邦模型判斷航天器Non-IID數(shù)據(jù)在某時刻的觀測是否異常。為了實現(xiàn)這一目標，服務(wù)器優(yōu)化目標表示如下：

其中 為第 k 個參與方的聯(lián)合對比正則化損失； |D| 為總數(shù)據(jù)量； ∣D_k∣ 為設(shè)備 k 的數(shù)據(jù)量； m_k^t 為第 χ_t 輪本地模型參數(shù)； m_G^t 為第 χ_t 輪全局模型參數(shù)。文中符號變量及定義如表1所示。

利用集合 P_N2 序列中各點的誤差向量，采用極大似然估計法估計參數(shù) μ 和 Σ 的正態(tài)分布 N（μ，Σ） 。正態(tài)分布的概率密度函數(shù)為

其中： d 是隨機變量 x_k 的維數(shù)，即特征的個數(shù)。

2）打分和閾值

對于任意的點 x_k ，，異常分數(shù)為 a_t=（r_k-μ）^TΣ^-1（r_k-μ） 是 t_k 時刻的重構(gòu)損失向量。若 A_k^t 大于設(shè)定的異常值閾值 ξ ，則該點被預(yù)測為“異?！?，否則為“正?！?。當(dāng)有足夠多的異常序列可用時，在似然值上學(xué)習(xí)一個閾值 ξ ，使其最大化：

F_σ=（1+σ²）×P×R/（σ²P+R）

其中： P 為精確率； R 為召回率； σ 是用于平衡 P 和 R 之間權(quán)重的參數(shù)。假設(shè) σlt;1 ，通過在驗證序列 P_N3 和 P_A1 上最大化 F_σ 得分選擇參數(shù) ξ 和 ω 。

重構(gòu)誤差直接用于檢測航天器時間序列中的異常。較大的重構(gòu)誤差通常意味著輸入序列中存在異常模式。通過最小化重構(gòu)誤差，模型可以更好地捕捉正常模式，從而提高重構(gòu)質(zhì)量。

其中： L 是時間序列長度； x_k 是第 k 個樣本在時間步 ξ_l 的真實值； x_k^′ 是第 k 個樣本在時間步 ξ_l 的重構(gòu)值。

2.3.3 對比損失項

在對航天器時序數(shù)據(jù)異常檢測的本地訓(xùn)練過程中引入對比損失，增強模型在不同客戶端上的區(qū)分能力。在Non-IID數(shù)據(jù)場景下，由于各客戶端的數(shù)據(jù)分布不同，直接進行模型聚合可能導(dǎo)致全局模型在各數(shù)據(jù)分布下的表現(xiàn)不一致。

其中： τ 為溫度參數(shù)； 是向量的余弦相似度； m_k^t 是第 k 個傳感器的模型參數(shù)； m_G^t 是當(dāng)前全局模型參數(shù)； m_G^t-1 是前一輪的全局模型參數(shù)。

2.3.4傳感器間的正則損失

傳感器間的正則損失可以約束模型的特征表示，使其在重構(gòu)時捕捉到傳感器數(shù)據(jù)間的同步性和相似性，有效地提升多傳感器系統(tǒng)中不同傳感器之間的協(xié)同性，更好地提取系統(tǒng)級別的整體特征，避免對某一個傳感器的過度依賴。同時，通過增強不同傳感器間的協(xié)同效應(yīng)，還能幫助模型更準確地檢測出系統(tǒng)的異常狀態(tài)，使本地模型更接近全局模型，將全局模型從不同數(shù)據(jù)分布學(xué)習(xí)到的知識作為補充，擴充本地模型能識別的類別，保留本地數(shù)據(jù)的分布特性。

2.4 全局聚合

各航天器傳感器在完成本地更新訓(xùn)練后，將優(yōu)化后的本地模型參數(shù)發(fā)送至服務(wù)器。服務(wù)器端接收到各傳感器的模型更新后，通過規(guī)范化和加權(quán)聚合對所有傳感器的模型進行融合。規(guī)范化操作用于減少不同傳感器間因數(shù)據(jù)分布差異而產(chǎn)生的模型更新偏差，減小差異對全局模型的影響性，確保全局模型在學(xué)習(xí)到各個傳感器的時序特征的同時，逐步逼近最優(yōu)解，為航天器的故障診斷提供穩(wěn)定且高效的全局模型：

其中： η 是學(xué)習(xí)率； |D| 為設(shè)備總數(shù)據(jù)量； ∣D_k∣ 為傳感器 k 的數(shù)據(jù)量； Δm_k^t 是傳感器 k 在本地更新后的模型參數(shù)變化。

2.5FcITAD算法流程

算法1詳細闡述了FcITAD框架訓(xùn)練流程。該算法允許在參與機構(gòu)生成新的時序數(shù)據(jù)時，同步更新本地模型和全局服務(wù)器上的聚合模型。

算法1FclTAD

輸入：本地服務(wù)器的數(shù)據(jù)集 D_k ，通信輪數(shù) r ，學(xué)習(xí)率 η ，本地訓(xùn)練輪數(shù) E ，全局訓(xùn)練論數(shù)T，溫度參數(shù)和超參數(shù) μ 和 δ

輸出：更新后的全局參數(shù)和客戶參數(shù)。

本地訓(xùn)練：

初始化：每個傳感器 k 獨立初始化其LSTM-AE模型參數(shù) m_k^tm_G^t

傳感器 k 使用本地時間序列數(shù)據(jù) C_k 訓(xùn)練LSTM-AE模型

forlocal_epoch Λ=1，2，…，E dofor each batch （x_k，y_k） of C_k do：計算傳感器 k 的重構(gòu)損失： 計算傳感器 k 的對比損失： 計算傳感器k的正則項：L= 計算傳感器 k 的聯(lián)合對比正則化損失 更新本地模型參數(shù)mk+1=mk-n√JCRLend for

end for

return m_k^t+1 ，傳感器將更新后的模型參數(shù)上傳到中心服務(wù)器

全局聚合：

初始化全局模型 ?_mG⁰ （202

中心服務(wù)器接收所有傳感器的模型參數(shù) m₁^t+1，m₂^t+1，…，m_n^t+1 （204

forglobal_epoch Π=1，2，…，T do使用 FeITAD 算法聚合模型

end forreturn m_G^t+1 ，將聚合后的全局模型參數(shù)下發(fā)給所有傳感器

3 仿真驗證

3.1實驗設(shè)置

1）數(shù)據(jù)集

為了全面評估本文模型，先采用兩個數(shù)據(jù)集進行Non-IID仿真模擬，再采用一個真實世界的數(shù)據(jù)集驗證模型性能：a）機器預(yù)測服務(wù)器數(shù)據(jù)集（PSM）[18]。該數(shù)據(jù)集由eBay提出，數(shù)據(jù)集沒有丟失的值，由來自應(yīng)用服務(wù)器的26維時間序列數(shù)據(jù)組成，共包含132481條數(shù)據(jù)。有13周的訓(xùn)練數(shù)據(jù)和8周的測試數(shù)據(jù)。b）土壤水分主動被動探測衛(wèi)星（SMAP）數(shù)據(jù)集[19]，有55個實體，每個實體有25個維度，訓(xùn)練集樣本135183個，測試集樣本427617個。c）火星科學(xué)實驗室數(shù)據(jù)集（MSL）[19]，有27個實體，每個實體有55個維度，訓(xùn)練集樣本58317個，測試集樣本73729個。兩個航天器數(shù)據(jù)集共計82個通道、105個故障，時間步長均為60步/s。數(shù)據(jù)集相關(guān)情況如表2所示。

表2數(shù)據(jù)集相關(guān)情況

Tab.2Relevance of the dataset

2）基準模型

a）FedAvg[5]將模型參數(shù)分發(fā)到各個設(shè)備進行訓(xùn)練，隨后收集這些設(shè)備上的局部模型參數(shù)，并對其進行平均化處理，將得到的平均值作為全局模型的更新。b）FedProx[4]在FedAvg的基礎(chǔ)上引入正則化項，在優(yōu)化過程中更關(guān)注全局模型與本地模型之間的相似性，減少傳感器之間的漂移，提高整體的收斂性和泛化性。c）SCAFFOLD[20]使用方差減少技術(shù)來彌補其局部更新中的“傳感器漂移”。d） MOON^[21] 引人對比損失來優(yōu)化每個客戶端的模型，讓每個客戶端的模型在學(xué)習(xí)過程中盡量保持與全局模型的一致性，避免出現(xiàn)過度偏向局部數(shù)據(jù)的情況。e）FedDC[22]根據(jù)每個客戶端的數(shù)據(jù)特性動態(tài)地選擇參與訓(xùn)練的樣本，客戶端將根據(jù)其數(shù)據(jù)的多樣性和代表性來更新模型。f）FedDyn[23]考慮到每個客戶端的訓(xùn)練動態(tài)，允許全局模型更新策略在訓(xùn)練過程中不斷變化，以適應(yīng)每個客戶端的數(shù)據(jù)特性和學(xué)習(xí)進度。

3）基本設(shè)置

在NASA航天器數(shù)據(jù)集中，盡管各通道的時序數(shù)據(jù)共享相同的特征維度，但在特征分布上展現(xiàn)出顯著的異質(zhì)性，以此為研究對象，從解決航大時間序列數(shù)據(jù)故障診斷延伸到其他領(lǐng)域。為了規(guī)避某一特定通道數(shù)據(jù)的異常值對整體評分造成的不利影響，對每個通道的數(shù)據(jù)執(zhí)行了通道內(nèi)的最小-最大歸一化處理。鑒于MSL和SMAP數(shù)據(jù)集的時間序列較短， l_w=100 l_s=1 。實驗中，批次大小設(shè)定為128，每輪訓(xùn)練中，參與訓(xùn)練的傳感器比例是0.25，每輪本地訓(xùn)練的輪數(shù)是10，溫度參數(shù)設(shè)為0.5。本地模型采用了2個編碼器和2個解碼器，隱藏層單元數(shù)設(shè)置為128，序列長度為250。模型的批次規(guī)模為512，優(yōu)化器選擇SGD，訓(xùn)練周期設(shè)定為30，丟棄率為0。所有實驗均在英偉達3090GPU上執(zhí)行，使用PyTorch1.4.0和Python3.8.13。

4）評價指標

實際中的異常檢測需要一個閾值來獲取，操作者更關(guān)心檢測事件，即連續(xù)的異常時間點集合，而不是單個時間點[24]，因此對 F₁ 值進行調(diào)整，進一步驗證FcITAD故障診斷性能，調(diào)整后的 F₁ 值考慮了事件，即使在大量事件未被檢測到的情況下，也可能給出很高的分數(shù)且很穩(wěn)健。模型最后通過準確率、召回率 得分（ F₁ -score）和調(diào)整后的 F₁（F₁（adj）） ）得分來衡量，F(xiàn)₁ （adj）為時間精度 Pr_t 和事件召回率 Rec_e 的調(diào)和平均值：

其 TP+FN。TP、FP和FN 分別表示正確檢測到的異常時間點數(shù)、正常判斷為異常的時間點數(shù)和錯誤判斷為正常的時間點數(shù)。 和 FP_t 分別為 TP 和 FP 時間點數(shù)， TP_e 和 FN_e 分別為TP 和 FN 事件數(shù)。 TP_e 是至少存在一個 TP 時間點的真實事件數(shù)。其余真實事件在 FN_e 下統(tǒng)計。

3.2 性能對比

為分析FcITAD的性能，本節(jié)先在航天數(shù)據(jù)集SMAP和其他領(lǐng)域數(shù)據(jù)集PSM，即兩個數(shù)據(jù)量Non-IID分布不明顯的數(shù)據(jù)集上對該框架進行評估，并與其他聯(lián)邦學(xué)習(xí)組合方法進行對比。狄利克雷分布參數(shù) β 設(shè)置為{0.1，0.5，2.5，5}。

從表3可以看出，在PSM數(shù)據(jù)集上，F(xiàn)edAvg在不同 β 值下的精確率波動較小，保持在0.69左右。FedProx的精確率隨著β 的增大而提升，從0.6209上升到0.8226，表明其在數(shù)據(jù)分布較均勻時的表現(xiàn)較優(yōu)。FedDyn的精確度隨著 β 增大而穩(wěn)定提升，尤其在 β=5 時，精確度為0.8024，接近FedProx。MOON和Scaffold的精確率同樣隨著 β 的增加而提高，F(xiàn)edDC的表現(xiàn)優(yōu)于FedDyn，顯示出對Non-IID數(shù)據(jù)分布的適應(yīng)能力，在 β= 2.5時優(yōu)于FcITAD。而FcITAD在不同 β 值下精確率表現(xiàn)出色，即使當(dāng) β=0 .1，Non-IID分布較明顯時，精確率也高達0.8090 ，整體穩(wěn)定，顯示出其對Non-IID數(shù)據(jù)處理的優(yōu)越性。

在SMAP數(shù)據(jù)集中，F(xiàn)edAvg精確度為 0.6796～0.8920 在處理航天器復(fù)雜的時序數(shù)據(jù)時未能展現(xiàn)出極致的優(yōu)勢；Fed-Prox 較為穩(wěn)定，精度為0.6908～0.8909；M00N在應(yīng)對航天器數(shù)據(jù)時有較強的適應(yīng)性，精度為（ ）.702 1～0.889 2 ，幫助不同傳感器更好地對齊數(shù)據(jù)分布差異；Scaffold精度為 0.6902～ 0.8898，表現(xiàn)一般，F(xiàn)edDyn也表現(xiàn)得非常穩(wěn)定， ?β=5 時，精確度為0.8903，能夠有效應(yīng)對不同客戶端之間的異質(zhì)性。FedDC與FedDyn 相似，在 β=5 時，精確度為0.8896，略低于FedDyn，但依然保持了較高的表現(xiàn)。相比之下，F(xiàn)cITAD精度范圍在0.898 4～0.899 0 ，優(yōu)于其他方法，增強了模型對航天器復(fù)雜數(shù)據(jù)模式的適應(yīng)能力。

表3在PSM和SMAP數(shù)據(jù)集上不同傳感器數(shù)據(jù)劃分的精確度Tab.3Accuracyof different sensor data divisions on PSMand SMAP

從表4來看，F(xiàn)cITAD在PSM和SMAP數(shù)據(jù)集上不同傳感器劃分的adjusted F₁ 值均優(yōu)于大部分的算法， β=5 時，調(diào)整后F₁ 分別為0.8629和0.8743，但在SMAP數(shù)據(jù)集上低于Fed-Dyn，調(diào)整后的 F₁ 值為0.8765，表明其對 Non-IID 時序數(shù)據(jù)的處理能力和泛化能力有較好的性能，但仍有進步空間。Fed-Prox和MOON也展現(xiàn)了較好的性能，能夠有效應(yīng)對不同傳感器的數(shù)據(jù)分布差異。FedAvg和Scaffold相對表現(xiàn)一般，盡管在部分情況下有所提升，但整體表現(xiàn)不如FcITAD、FedDyn、Fed-DC、FedProx和MOON顯著，F(xiàn)cITAD表現(xiàn)出了在航天器Non-IID時序數(shù)據(jù)故障診斷中的有效性，尤其是在不同傳感器數(shù)據(jù)分布下保持了強大的泛化能力。

表4在PSM和SMAP數(shù)據(jù)集上不同傳感器數(shù)據(jù)劃分調(diào)整后的 F₁ 值

Tab.4Adjusted F₁ values for different sensor data divisions onPSMand SMAP

從圖2～5可以看出，F(xiàn)cITAD在PSM和SMAP數(shù)據(jù)集上均表現(xiàn)出色，精度和調(diào)整后 F₁ 值均達到最高，顯示出其在處理Non-IID時序數(shù)據(jù)時的強大適應(yīng)能力和泛化能力。FedProx在兩個數(shù)據(jù)集上的穩(wěn)定提升和較高的精度及 F₁ 值也表明了其有效性。而FedAvg和Scaffold則相對表現(xiàn)平穩(wěn)，未能展現(xiàn)出顯著的提升，尤其在處理數(shù)據(jù)分布不一致的情況下效果不佳。MOON雖然初期表現(xiàn)不佳，但后期改進明顯，展現(xiàn)了潛力。FedDyn和FedDC在處理航天器復(fù)雜Non-IID時序數(shù)據(jù)時具備出色的故障診斷能力和模型穩(wěn)健性，但略低于FcITAD。

3.3真實世界數(shù)據(jù)驗證

以另一個真實世界NASA數(shù)據(jù)集MSL為實例，其傳感器的數(shù)據(jù)量Non-IID分布明顯。圖6為MSL數(shù)據(jù)集分布情況，下面用該數(shù)據(jù)集進一步驗證模型的性能。狄利克雷分布的參數(shù)β 設(shè)置為0.5，損失超參數(shù) δ_?1 和 δ₂ 均設(shè)置為1，并與其他聯(lián)邦算法進行對比。

圖2PSM數(shù)據(jù)集中不同 β 下各算法的精確度

圖3PSM數(shù)據(jù)集中不同 β 下各算法調(diào)整后的 F₁ 值

圖5SMAP數(shù)據(jù)集中不同 β 下各算法的調(diào)整后 F₁ 值

Fig.5 F₁（adj） values for each algorithmatdifferent β in the SMAP

在對真實世界NASA數(shù)據(jù)集MSL進行分析時（表5）發(fā)現(xiàn)，F(xiàn)edAvg的精度為0.7434，調(diào)整后的 F₁ 值為0.6512，盡管表現(xiàn)平穩(wěn)，但未能顯著提升，對傳感器間數(shù)據(jù)分布的不均勻性反應(yīng)較弱，限制了其在實際應(yīng)用中的有效性。FedProx的精度為0.6571， F₁ （adj）為0.6184，與FedAvg相差不大。MOON算法通過對比損失來優(yōu)化模型的泛化能力，其在MSL數(shù)據(jù)集上的精度為0.6582， F₁ （adj）為0.6186，與FedProx的效果接近，對比損失的引入并未帶來顯著的提升。在此數(shù)據(jù)集上表現(xiàn)更好的Scaffold，通過引入全局和局部的控制變量，有效地降低了Non-IID數(shù)據(jù)帶來的偏差，精度達到了0.7528， F₁ （adj）為0.657 0_oFedDyn 和FedDC在該數(shù)據(jù)集上表現(xiàn)接近，精確度和F₁ （adj）分數(shù)都相對較高，略低于FcITAD，顯示出它們在處理數(shù)據(jù)異質(zhì)性方面的優(yōu)越性。

表5MSL數(shù)據(jù)集運行效果

Tab.5Effect ofrunningthe dataset

FcITAD學(xué)習(xí)到傳感器不同類別間的特征差異，通過傳感器間的正則化，減少了不同傳感器數(shù)據(jù)分布差異帶來的干擾，精度達到0.7761，調(diào)整后的 F₁ 值為0.7075，證明了其在面對航天器Non-IID時序數(shù)據(jù)時能有較好的學(xué)習(xí)能力，能夠有效捕捉數(shù)據(jù)中的復(fù)雜模式，提高航天器故障診斷的準確性。

圖7、8顯示了訓(xùn)練過程中100輪的準確率和調(diào)整后 F₁ 變化趨勢。更直觀地看出，本文所提出的FcITAD正確率和調(diào)整后 F₁ 變化曲線基本都能處于其他算法之上，且較穩(wěn)定，說明FclTAD在航天器Non-IID時序數(shù)據(jù)故障診斷設(shè)置下能夠發(fā)揮積極作用。

圖9不同損失情況下的精確度三因素方差分析Fig.9Three-factor ANOVA for accuracy in different loss scenarios

圖7100輪準確度對比 Fig.7100 round accuracy comparison

圖8100輪 F₁ 值對比 Fig.8100 rounds of F₁ value comparisons

3.4消融實驗

對不同損失策略進行比較，狄利克雷分布的參數(shù) β 設(shè)置為0.5，損失超參數(shù) δ_?1 和 δ_?2 均設(shè)置為1，評估不同損失函數(shù)在時序數(shù)據(jù)異常檢測任務(wù)中的效果：a）無額外正則化項的基線方法（即FedAvg）;b）僅對比損失;c）本文提出的損失函數(shù)方法。實驗結(jié)果如表6所示。可以看出，僅使用對比損失時的精確度都要高于不使用的情況，而FcITAD在同時使用傳感器間自正則項和對比損失的情況下，都取得了 90% 左右的精確率。

表6不同損失精確度對比情況

Tab.6Comparison of different loss accuracies

圖9反映了三個數(shù)據(jù)集不同損失情況下的精確度三因素方差，在所有數(shù)據(jù)集中，聯(lián)合對比正則化損失表現(xiàn)出一致的優(yōu)勢，在SMAP和MSL這類復(fù)雜的航天器數(shù)據(jù)集上，能夠為故障檢測任務(wù)提供支持。

3.5 魯棒性分析

從 {0.01，0.1，1，10，100} 來調(diào)整損失超參數(shù)，輸出對應(yīng)調(diào)整后的 F₁ 值，結(jié)果如表7所示。在PSM數(shù)據(jù)集中，較小的超參數(shù)（0.01和0.1）精確度接近0.7970，當(dāng)超參數(shù)增加到1時，精確度為0.8143，進一步增加到10時，精確度略微下降，而當(dāng)超參數(shù)達到100時，精確度明顯下降到0.7504。

在SMAP數(shù)據(jù)集中，超參數(shù)增加到1時，精確度從0.7663上升到0.8082，隨后在10和100時保持在0.8080，表明模型在該數(shù)據(jù)集上的超參數(shù)設(shè)置需進一步平衡正則化強度。

在MSL數(shù)據(jù)集中，由于其自身明顯的Non-IID分布，影響了模型的魯棒性。小超參數(shù)對應(yīng)的精確度較低，當(dāng)超參數(shù)達到1和10時，精確度大幅提升至0.8762和0.8770，當(dāng)超參數(shù)達到100時，精確度下降至0.8492，表明適中的超參數(shù)能夠顯著提升模型在MSL上的表現(xiàn)。

實驗結(jié)果表明，對于Non-IID數(shù)據(jù)，合理的超參數(shù)設(shè)置能夠在模型訓(xùn)練中達到更好的精確度，提升模型對異常檢測的靈敏度和魯棒性。

表7調(diào)整后的 F₁ 對比情況 Tab.7 F₁ -adjusted comparison

4結(jié)束語

本文的討論圍繞以下重要問題展開：如何在分布式、多來源、Non-IID的航天器時序數(shù)據(jù)環(huán)境下，構(gòu)建一個穩(wěn)健的時間序列故障診斷模型。局部端引人LSTM-AE作為本地模型，增強對時序數(shù)據(jù)的建模能力，聯(lián)合對比正則化損失，有效調(diào)整邊緣設(shè)備上的本地模型，考慮傳感器之間的差異，更好地識別復(fù)雜的時序模式，克服數(shù)據(jù)分布不均對全局模型穩(wěn)健性的影響。服務(wù)器端，對各傳感器更新的模型參數(shù)進行標準化和加權(quán)聚合，確保全局模型在不同傳感器環(huán)境下的穩(wěn)定性和性能一致性。

通過在多個數(shù)據(jù)集上的精確度和調(diào)整后的 F₁ 值對比、真實世界數(shù)據(jù)驗證、消融實驗和魯棒性分析，驗證了FcITAD在應(yīng)對航天器Non-IID時序數(shù)據(jù)故障診斷任務(wù)的魯棒性和可靠性，確保模型在復(fù)雜、分布式數(shù)據(jù)環(huán)境下的應(yīng)用價值。未來將進一步關(guān)注對比聯(lián)邦學(xué)習(xí)的研究，考慮其計算成本和通信成本等，使其更好地應(yīng)用于航天器故障診斷或其他領(lǐng)域。

參考文獻：

[1]陳婷婷，王素紅，唐鈺本，等．智慧城市中協(xié)同服務(wù)部署與任務(wù) 調(diào)度的自適應(yīng)機制[J].計算機應(yīng)用研究，2024，41（12）：3814- 3821.（Chen Tingting，Wang Suhong，Tang Yuben，et al．Adaptive mechanismforcollaborativeservicedeploymentandtaskschedulingin smartcities[J].ApplicationResearchofComputers，2024，41 （12）：3814-3821.）

[2]Pourtakdoust SH，F(xiàn)akhariMehrjardiM，HajkarimMH，etal.Advanced fault detection and diagnosis in spacecraft atitude control systems：current state and challenges[J].Journal of Aerospace Engineering，2023，237（12）：2679-2699.

[3]林子謙，張坤，樊重俊，等．面向分布式系統(tǒng)標簽噪聲的時間序 列分類方法[J]．控制與決策，2024，39（12）：4118-4126.（Lin Ziqian，ZhangKun，F(xiàn)anChongjun，etal.Timeseriesclassification method for distributed system label noise [J].Control and Decision，2024，39（12）：4118-4126.）

[4]LiTian，SahuAK，ZaheerM，etal.Federatedoptimizationinheterogeneous networks[C]// Proc of Machine Learning and Systems. 2020：429-450.

[5]McMahan B，MooreE，RamageD，et al.Communication-efficient learningofdeepnetworksfromdecentralized data[C]//Procofthe 20th International Conference on Artificial Intelligence and Statistics. 2017：1273-1282.

[6] Truong HT，TaBP，LeQA，et al.Light-weight federated learningbasedanomaly detection for time-series data in industrial control systems[J].Computers in Industry，2022，140：103692.

[7] GuoKehua，Chen Tianyu，RenSheng，etal.Federated learning empoweredreal-time medical data processing method for smart healthcare [J].IEEE/ACM Trans on Computational Biologyand Bioinformatics，2024，21（4）：869-879.

[8] ZhuHangyu，Xu Jinjin，Liu Shiqing，etal．Federated learningon non-IIDdata：a survey[J].Neurocomputing，2021，465：371-390.

[9] KostovskaA，PetkoviM，StepisnikT，etal.GalaxAI：machine learning toolbox for interpretable analysis of spacecraft telemetry data [C]//Proc of the 8th IEEE International Conference on Space Mission Challenges for Information Technology.Piscataway，NJ：IEEE Press，2021： 44-52.

[10］金彤，陳思光．基于譜聚類的傅里葉個性化聯(lián)邦學(xué)習(xí)研究［J]. 電子與信息學(xué)報，2023，45（6）：1981-1989.（Jin Tong，Chen Siguang.Fourier personalized federated learning mechanism based on spectral clustering[J].Journal of Electronics amp; Information Technology，2023，45（6）：1981-1989.）

[11］張澤輝，李慶丹，富瑤，等．面向非獨立同分布數(shù)據(jù)的自適應(yīng)聯(lián) 邦深度學(xué)習(xí)算法［J]．自動化學(xué)報，2023，49（12）：2493-2506. （Zhang Zehui，Li Qingdan，F(xiàn)u Yao，et al. Adaptive federated deep learming with Non-IID data[J].Acta Automatica Sinica，2023， 49（12） ： 2493-2506.）

[12]Mu Xutong，Shen Yulong，Cheng Ke，et al.FedProc：prototypical contrastive federated learning on non-IID data [J]. Future GenerationComputer Systems，2023，143：93-104.

[13]Li Zexi，Lin Tao，Shang Xinyi，et al.Revisiting weightedaggregation in federated learning with neural networks[C]//Proc of International Conference on Machine Learning. 2023：19767-19788.

[14]Ahmad A，Luo Wei，Robles-Kelly A.Robust federated learning under statistical heterogeneity via hessian-weighted aggregation[J]. Machine Learning，2023，112（2）：633-654.

[15］李少波，楊磊，李傳江，等．聯(lián)邦學(xué)習(xí)概述：技術(shù)、應(yīng)用及未來 [J]．計算機集成制造系統(tǒng)，2022，28（7）：2119-2138.（Li Shaobo，Yang Lei，Li Chuanjiang，et al.Overview of federal learning： technology，application and future[J].Computer Integrated Manufacturing Systems，2022，28（7）： 2119-2138.）

[16]Li Gen，Jung JJ.Deep learning for anomaly detection in multivariate time series： approaches，applications，and challenges [J]. Information Fusion，2023，91：93-102.

[17]Garg A， Zhang Wenyu， Samaran J，et al. An evaluation of anomaly detectionand diagnosisinmultivariate time series[J]. IEEE Trans on Neural Networks and Learning Systems，2022，33（6）： 2508-2517.

[18]Abdulaal A，Liu Zhuanghua，Lancewicki T. Practical approach to asynchronous multivariate time series anomaly detection and localization[C]//Proc of the 27thACM SIGKDD Conferenceon Knowledge Discovery amp; Data Mining.New York：ACM Press，2021：2485- 2494.

[19]Rivest R L，Adleman L，Dertouzos M L，et al. On data banks and privacy homomor phisms[J].Foundations of Secure Computation，1978，4（11） ：169-180.

[20]KarimireddySP，Kale S，MohriM，etal.Scaffold：stochastic controlledaveraging for federatedlearning[C]//Proc of International Conference on Machine Learning. 2020：5132-5143.

[21]Li Qinbin，He Bingsheng，Song D. Model-contrastive federated learning[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2021：10708- 10717.

[22]Gao Liang，F(xiàn)u Huazhu，LiLi，et al.FedDC： federated learning with Non-IID data via local drift decoupling and correction[C]//Proc of IEEE/CVF Conference on Computer Vision and Patern Recognition. Piscataway，NJ： IEEE Press，2022：10102-10111.

[23] Jin Cheng，Chen Xuandong，Gu Yi，et al. FedDyn： a dynamic and efficient federateddistilltionapproachonrecommendersystem [C]//Proc of the28th IEEE International Conference on Parallel and Distributed Systems.Piscataway，NJ： IEEE Press， 2023： 786-793.

[24]Xu Haowen，F(xiàn)eng Yang，Chen Jie，et al. Unsupervised anomaly detection via variational auto-encoder for seasonal KPIs in Web applications[C]//Proc of World Wide Web Conference.Republic and Conton of Geneva，CHE： International World Wide Web Conference Steering Committee，2018：187-196.