基于聯邦學習的工業互聯網平臺研究

張陸洋， 連 瑾， 袁雅芬

（信通院工業互聯網創新中心（重慶）有限公司， 重慶 400000）

0 引言

工業互聯網中的數據分散在不同設備、工廠、企業或地域，具有異構性和動態性。傳統中心化模型訓練方法要將大量數據傳輸到云端或中央服務器，面臨傳輸開銷、安全風險和法規問題。這在工業應用中尤為突出，數據分布難集中，且工業數據敏感。因此，對數據安全和隱私保護的需求限制了傳統方法。聯邦學習是解決方案之一。

近年來，聯邦學習逐漸成為應對工業互聯網平臺數據安全與隱私問題的有效方法。在工業平臺中，傳統的集中式數據建模方法存在明顯問題。首先，需要傳輸大量敏感數據至中央服務器進行模型訓練，可能導致信息泄露風險；第二，這樣的傳輸造成巨大通信開銷，尤其涉及眾多設備和工廠；第三，分布于各設備、工廠和地點的數據難以集中分析；最后，依賴中央服務器存在單點故障風險，可能導致生產中斷和數據丟失；最后，受限于傳輸和處理時間，集中式模型難以滿足實時更新和調整需求。

聯邦學習與傳統模型不同，它在分布式邊緣設備（客戶端）上完成協作訓練。在這種模式下，原始數據不需傳輸至中心節點。模型在各設備本地訓練，中心服務器通過聯邦平均（FedAvg）[1]算法聚合本地訓練的模型參數，更新全局模型。經過多輪迭代，獲得高精度的ML 模型，以提供準確預測或識別服務。這種方式允許節點間地理分布的協同訓練，保護數據隱私[2]。近年來，聯邦學習在無線邊緣網絡中得到了深入研究和廣泛應用，得益于其內生安全的特性[3-5]。對工業互聯網而言，它提高數據利用率，為智能模型訓練提供解決方案。

因此，研究聯邦學習在工業互聯網中的應用，探討如何在保護數據安全和隱私的前提下實現數據共享。通過深入研究，為工業領域提供更安全、更隱私的數據分析與建模解決方案，推動工業互聯網向智能化轉型。

1 國內外研究現狀

聯邦學習是多個參與方合作訓練模型的方式，保留數據在本地，同時確保數據控制權[4]。在工業互聯網中有廣泛應用，如智能制造、智能電網和智能交通。但也存在隱私和安全方面的挑戰，如數據或參數泄露、來自不可信方的攻擊、不同參與方數據異構性等。

一方面，學者們致力于探索如何選擇參與聯邦學習的設備以及優化協同訓練過程[5]。通過增加每個聯邦學習輪次中參與設備的數量，可以提高模型的收斂速度。一些研究者通過利用無線多址信道的疊加特性，致力于最大化每輪聯邦學習中參與設備的數量[6]。然而，大量參與的設備會導致通信成本過高，因為需要傳輸過多的參數。因此，學者研究算法和優化方法，靈活選擇設備，提升聯邦學習的收斂速度[6]。

另一方面，研究關注數據隱私保護機制，確保模型訓練不泄露敏感信息[7-8]。包括加密、差分隱私和去中心化聚合等。例如，一些研究者提出了隱私保護的分布式學習系統，參與者選擇性共享梯度，保護數據隱私[8]。然而，這種方法在面對主動攻擊者時可能存在安全性問題。因此，其他研究者提出了基于安全多方計算和同態加密等方案，以支持聯邦學習中的安全聚合[9]。然而，這些方案通常需要在每次聚合中進行多次通信，增加了通信負擔[10-11]。近期的一些工作提出了一種委托解密操作給參與者的方法，以減輕通信負擔。然而，這些方案仍然面臨著密鑰共享等隱私的問題。因此，仍需設計非交互且隱私保護的聯邦學習，防止局部梯度和共享參數泄露，滿足工業互聯網數據安全和隱私需求。

2 整體架構設計與應用場景

通過文獻研究、對比分析、模型推演等方法對聯邦學習在工業互聯網平臺上的應用進行探索分析，重點對“多邊”協同訓練的三層網絡架構的聯邦學習模型、模型在工業互聯網平臺上的部署進行研究設計。

2.1 聯邦學習機制設計

聯邦學習（Federated Learning，FELE）是一種打破數據孤島、釋放AI 應用潛能的分布式機器學習技術，能夠讓聯邦學習各參與方在不披露底層數據和底層數據加密形態的前提下，通過交換加密的機器學習中間結果，實現聯合建模。為在分布式工業互聯網中實現高效的聯邦學習，提出了一種“多邊”協同訓練的三層網絡架構。該架構由端層、邊緣層和云層組成，每層分別具有特定的功能屬性，如圖1 所示。

圖1 工業互聯網中聯邦學習運行機制

端層即聯邦學習中參與的工業互聯網節點。這些節點分布在世界各地的工廠、車間和生產線中。這些節點通常由本地設備組成，可以是工業智能設備（如AGV、工業機器人）和感知監控硬件（如智能網關、傳感器），或其他具有計算能力的終端。每個本地設備都管理自己的數據和模型，在指定的算法下進行本地訓練。

邊緣層是指位于網絡邊緣的本地設備，如邊緣計算節點、邊緣服務器等。它們在地理上連接不同基站，形成邊緣算力池，為工業互聯網節點提供數據處理、轉發和存儲服務。這些設備通常位于接近用戶或數據源的位置，具備一定的計算和存儲能力。每個基站都配備了邊緣服務器，用于執行模型參數聚合，稱為邊緣聚合。此外，在邊緣服務器上安裝了邊緣控制器，以管理覆蓋區域的網絡資源，支持聯邦學習的協作運行。通過在邊緣層設備上進行模型訓練，可以減少數據傳輸和延遲，提高響應速度并增強隱私保護。

云層在聯邦學習中是指參與的中央服務器或云端平臺。在聯邦學習中，云層的作用是協調和管理，負責組織、控制和模型聚合的整個過程。云層基于聯邦學習的工業互聯網數據隱私保護方法。模型聚合是指在多次邊緣聚合后進行的全局參數聚合，旨在實現全局模型參數的更新。云層在聯邦學習中具有以下主要功能：協調與通信，云層與本地設備進行通信，收集各個本地設備訓練的模型更新，并向本地設備發送全局模型參數和訓練指令。全局模型聚合，云層接收來自本地設備的模型更新，使用一定的聚合算法（如加權平均）將這些更新合并成全局模型。在云端執行模型參數聚合稱為云聚合。此聚合過程旨在提取各本地設備共享的關鍵特征，將其反映在全局模型中。算法優化，云層也可參與模型更新的調整與優化。例如，微調或優化全局模型，以提升其性能。模型發布與應用，云層將訓練完成的全局模型發布給用戶或應用程序。用戶通過云層訪問和應用這些模型，獲得聯邦學習的優勢，同時保護數據的隱私和安全。

聯邦學習采用多邊協同的方式進行，涉及云端服務器、邊緣端服務器以及工業設備。具體步驟如下：

1）在端節點上使用分布式機器學習方法進行模型訓練，得到本地訓練模型。

2）將本地訓練模型上傳到邊緣服務器或云服務器進行參數交替聚合。

3）參數服務器將聚合后的全局模型（初始模型）發送回客戶端。

4）客戶端使用本地數據更新模型，并將新模型發送回參數服務器。

5）參數服務器收集部分客戶端模型，將其聚合為下一次迭代的全局模型。

與傳統模型不同，聯邦學習在端節點進行本地模型訓練，邊緣服務器或云服務器進行參數交替聚合。只有少量模型參數在邊緣和云之間傳輸，避免了上傳原始數據到中心節點，節省了帶寬資源開銷，同時滿足了工業數據隱私保護需求。

2.2 架構設計

2.2.1 物理架構

物理架構是指基于特定平臺或系統的硬件組成和布局方案。包括服務器物理架構、數據中心物理架構、嵌入式系統物理架構、云計算物理架構四大方面。如圖2 所示。

圖2 物理架構

1）服務器：其包含服務器硬件組件，如處理器、內存、存儲設備、網絡接口等，并采用如以太網、光纖通信等將服務器相互連接。

2）數據中心：其包含數據中心內的各種硬件設備，包括服務器、網絡交換機、存儲設備、冷卻系統等。在數據中心物理架構中，通常會考慮高可用性、容錯性和可擴展性等因素。

3）嵌入式系統：其包含嵌入式設備的處理器、內存、存儲器、傳感器、顯示屏等硬件組件，并考慮功耗、尺寸、散熱等方面的特殊需求。

4）云計算：其包括云數據中心的服務器、網絡設備、存儲設備等，并考慮到彈性擴展、負載均衡、可靠性等方面的要求。

2.2.2 應用平臺架構

基于聯邦學習構建工業互聯網平臺架構，分為四個層次：應用層、ML 核心組件層、安全協議層和基礎層，具體見圖3。該平臺旨在提供基于數據隱私保護的分布式安全計算框架，支持機器學習、深度學習等算法的高性能安全計算，以及同態加密、秘密共享等多種安全計算協議，確保數據和模型的安全。

圖3 平臺架構設計

第一層是平臺應用層，包括云服務、任務調度管理和生命周期管理等功能。用戶通過平臺使用云資源，進行模型算法管理、資源分配、數據監控等任務調度，以及算法任務和運營管理等生命周期服務應用。

第二層是平臺的ML 核心組件，包括水平聯邦學習、垂直聯邦學習等。水平聯邦學習支持共享相同特征空間的數據集，垂直聯邦學習支持共享相同樣本空間的數據集，而聯邦遷移學習則適用于不同樣本和特征的數據集。

第三層是平臺的安全協議，涵蓋同態加密、FedAvg、RSA 等算法。通過這一層，用戶可以在保護隱私和數據安全的前提下協作訓練機器學習模型。其中，FedAvg 是一種基于梯度平均的聯邦學習算法，允許在分布式環境下訓練機器學習模型。RSA 是一種非對稱加密算法，用于數據保護。

第四層是基礎層，可以劃分為計算框架（如Ten sorFlow、Pytorch、Spark）、消息隊列協議和存儲框架。該層支持一系列的聯邦學習架構和安全計算算法，包括邏輯回歸、決策樹、梯度提升樹、深度學習和遷移學習。

2.2.3 聯邦學習在工業互聯網上的應用場景

1）場景一：智能制造場景。在預測性維護、資源優化和制造過程優化等場景中，聯邦學習協調多個設備或傳感器的數據，通過本地模型訓練實現設備故障預測、資源使用優化以及生產過程改進。各設備共享模型更新和經驗，提升整體系統可靠性和效率。

2）場景二：安全與風險管理。聯邦學習應用于工業互聯網的安全監測和風險管理。通過共享和分析安全事件和數據，聯邦學習有助于檢測和預防潛在的安全漏洞，提供實時的風險管理和響應機制。

3）場景三：質量控制與監控。聯邦學習用于聯合監控和質量控制，改進生產過程中的產品質量。通過協同分析多個設備的傳感器數據和工藝參數，提供更準確和可靠的監測結果，同時降低數據共享引起的隱私風險。

3 結語

在理論層面上，引入聯邦學習為解決工業互聯網平臺中數據隱私保護與跨設備協作之間的矛盾提供了新的方法。在數字化時代，隱私問題凸顯，傳統的集中式數據處理面臨數據泄露和隱私風險。聯邦學習兼顧數據隱私需求，通過本地設備上的模型訓練，僅傳輸模型參數，實現設備間數據共享與合作，尋找隱私保護與數據協作的平衡。

在實際應用中，基于聯邦學習的工業互聯網平臺提供切實可行的解決方案。首先，通過本地模型訓練和僅傳輸模型參數，聯邦學習有效保護原始數據隱私，確保工業數據的安全性。其次，分布式特性減少通信開銷，提升數據處理效率和實時性，適應工業生產需求。此外，促進不同實體間的數據合作，推動工業互聯網平臺多方合作和創新，有助跨行業融合。重要的是，基于聯邦學習的研究推動傳統行業數字化轉型，使工業互聯網平臺更快向智能高效方向發展。