基于新型縱向聯邦學習的隱私保護物聯網數據共享方案

摘 要：隨著物聯網的快速發展，大量的設備生成了海量的數據，但同時也帶來了數據隱私和安全方面的挑戰。縱向聯邦學習作為一種隱私保護的機器學習方法，在物聯網數據共享方面具有應用潛力。然而，現實中存在惡意參與方可能篡改數據或提供錯誤的模型信息，導致出現使全局模型準確性下降的投毒攻擊。為了應對這一挑戰，提出了一種基于隱私保護的縱向聯邦學習系統在物聯網數據共享中的應用方案。深入研究了縱向聯邦學習中的SecureBoost算法，并結合物聯網數據共享的特點，提出了一種能夠驗證聚合加密模型信息完整性的方案，有效防御主動方投毒攻擊，并確保數據隱私和模型準確性之間的平衡，同時通過仿真實驗驗證了所提方案的有效性。研究結果為應對物聯網數據共享中的隱私保護和數據安全問題提供了一種新的解決方案，能夠為推動聯邦學習在物聯網領域的應用提供技術支持，促進數據合作和共享的可行性，提高物聯網系統的安全性和可信度。

關鍵詞：物聯網；聯邦學習；隱私保護；數據共享；魯棒性；人工智能；機器學習

中圖分類號：TP305 文獻標識碼：A 文章編號：2095-1302（2024）09-00-04

DOI：10.16667/j.issn.2095-1302.2024.09.016

0 引 言

在物聯網快速發展的過程中，越來越多的設備連接到互聯網并生成了海量數據。這些數據潛藏著寶貴的信息，可以為各行各業帶來巨大的商業價值和創新機會[1]。然而，隨之而來的是數據隱私和安全的威脅問題[2-4]，尤其是在涉及敏感數據和個人隱私的場景中。

縱向聯邦學習系統是如今比較常用的物聯網數據共享通信協議。縱向聯邦學習（VFL）[5]作為一種分布式的機器學習框架，能夠讓多個數據擁有者（參與方）在保護數據隱私的同時協作訓練全局模型。與傳統的集中式模型訓練相比，縱向聯邦學習將模型訓練的過程從中心服務器轉移到了各個參與方的本地設備上，避免了原始數據的明文傳輸和集中存儲，大大降低了數據泄露的風險。

然而，現實中惡意參與方的存在給人們帶來了新的挑

戰[6]。這些參與方可能提供異常或錯誤的數據和模型信息，試圖破壞全局模型的準確性。這種攻擊方式被稱為投毒攻擊，給縱向聯邦學習的可信度和魯棒性帶來了嚴重威脅。現有的研究主要集中在信任機制和加密技術上，但縱向聯邦學習中對主動方投毒攻擊的防御依然面臨巨大的挑戰。

本文旨在提出一種基于新型縱向聯邦學習魯棒系統的隱私保護物聯網數據共享方案，以加強對主動方投毒攻擊的防御。通過深入研究縱向聯邦學習的原理和框架，并結合物聯網數據共享的特點，提出一種能夠驗證聚合加密模型信息完整性的方案，以確保全局模型的準確性和保護數據隱私。

1 相關技術

1.1 縱向聯邦學習框架

縱向聯邦學習的架構可以具體描述為：假設有兩家機構A和B想要協作訓練一個機器學習模型[7]，每個機構都擁有各自的用戶隱私數據；除此之外，B機構還擁有模型預測任務所需的標注數據。鑒于用戶隱私保護和數據安全等原因，A機構和B機構不能直接進行數據交換；同時為了保證訓練過程中數據的保密性，加入了一個第三方協調者C。假設C是誠實的并且不與A方或者B方共謀，A方和B方都是誠實但好奇的。可信的第三方機構C可以由權威機構（如政府）扮演，或者由安全計算節點代替。VFL系統的訓練過程一般由兩個步驟組成：首先需要對齊具有相同ID但分布在不同參與方之間的樣本；然后基于對齊樣本進行隱私保護的模型訓練。

參與縱向聯邦學習的各方需要進行加密實體對齊，確保A方和B方不需要暴露各自的原始數據便可以對齊共同用戶。在實體對齊期間，系統不會將屬于某一參與方的用戶信息暴露。實體對齊后各參與方需要進行加密模型訓練，訓練步驟如下：

第一步，協調者C創建秘鑰對，并將公共秘鑰發送至

A方和B方。

第二步，A方和B方對中間計算結果進行加密和交換。中間結果被用于計算梯度和損失值。

第三步，A方和B方計算加密梯度并分別加入掩碼，此外B方還會計算加密損失。A方和B方將加密結果發送到

C方。

第四步，C方對梯度和損失信息進行解密，并將結果發送回A方和B方。A方和B方解除梯度信息上的掩碼，并根據這些梯度信息來更新參數模型。

1.2 SecureBoost算法

安全聯邦提升樹（SecureBoost算法）是縱向聯邦學習算法之一[8-9]，其系統架構如圖1所示。研究表明，SecureBoost算法可以在保護參與方隱私的前提下，保證訓練模型精度不受影響。

縱向聯邦學習的參與方分為主動方和被動方兩類，主動方同時擁有樣本特征和樣本標簽，除此之外還扮演協調者的角色，為每個提升樹節點計算最佳分割。被動方僅僅只是數據的提供者，只有樣本特征，沒有樣本標簽，被動方需要和主動方共同協作構建全局模型來達到預測標簽的目的。SecureBoost算法的大致流程如下：首先需要在隱私保護下對參與方之間具有不同特征的重疊用戶進行樣本對齊，即實體對齊，利用RSA算法和哈希函數求出所有參與方數據樣本的公共集合（如共同用戶）。然后A與B在保護隱私的情況下構造一棵全局提升樹（Boost樹），通過使用K個決策樹fk的集成來預測輸出。給定一個擁有n個樣本和d個特征的數據集D={（xi， yi）}，其中|D|=n，xi∈Rd，yi∈R。預測方法如式（1）所示：

（1）

決策樹集成模型的學習是通過尋找一組最佳決策樹以達到較小的分類損失，并且具有較低的模型復雜度。梯度提升樹中，通過迭代優化真實標簽和預測標簽的損失來達到較小的分類損失。每一次迭代添加一棵新的樹來減小損失，第t輪

迭代目標函數可以寫為：

（2）

式中：lloss表示損失函數；和分別表示損失函數上的一階梯度和二階梯度；Ω（ft）表示新添加的樹的復雜度。

構建決策樹從零深度開始，利用式（3）決定每個節點的分割閾值，直到達到最大深度。分割閾值由分割增益決定。

（3）

式中：IL和IR分別表示分割后左、右子節點的樣本空間；λ表示超參數。所得分數值最大的分割即為最佳分割。當所有節點的最佳分割確定后，完整的提升樹便建立好了。

然而，SecureBoost算法由于具有分布式、隱私保護的特性，使得其容易在訓練過程中遭受投毒攻擊，這種投毒攻擊主要集中在主動方。由于主動方需要聚合各個被動方上傳的訓練結果，并且在加密情況下發送給被動方。因此若主動方有意或無意地篡改聚合結果，那么將嚴重影響到聯邦學習訓練過程，最終影響全局模型的效能。

1.3 縱向聯邦學習在物聯網中的應用

物聯網作為連接各類智能設備的網絡，涵蓋了各個領域的感知、通信和控制系統[10-12]。然而，與日俱增的智能設備和龐大的數據量給物聯網的數據處理和安全性提出了挑戰。縱向聯邦學習作為一種分布式機器學習框架，可以為物聯網中的數據共享和隱私保護提供解決方案[13-15]。

健康監測和醫療領域：物聯網中的健康監測設備可以持續收集個體的生理參數、健康狀況和醫療數據。然而，這些數據涉及個人隱私，需要采取措施進行保護。通過應用縱向聯邦學習，醫療數據可以安全地在不同設備之間進行共享和協作，以提高疾病預測和診斷的準確性。例如，可以利用不同醫院的病人數據，通過縱向聯邦學習的方式共同訓練一個全局的疾病預測模型。每個醫院可以在本地設備上進行模型訓練，只共享模型參數的更新。這樣既保護了患者隱私，又能夠為整個網絡提供更準確的預測和診斷服務。

工業控制和物聯網設備安全：工業控制系統涉及到諸多關鍵設備和數據，需要保證其安全性和可靠性。縱向聯邦學習可以在提供數據共享功能的同時，確保工業控制系統的隱私和安全。例如，通過應用縱向聯邦學習，針對不同的工業控制設備可以共同訓練一個全局的模型，從而實現設備運行狀態的預測和故障檢測。由于每個參與方只共享模型參數的更新，而不共享原始數據，確保了數據的隱私和機密性。

農業智能化管理：縱向聯邦學習可用于解決農業領域中的數據共享和隱私保護問題。農業物聯網設備可以收集土壤濕度、氣象信息等數據，以支持農作物的灌溉和管理。例如，通過縱向聯邦學習，農業行業可以在不共享原始數據的情況下進行模型訓練和優化。每個農場或農業設備擁有自己的數據集，并通過共享模型參數的方式進行合作。這樣可以提高農作物生長預測的準確性、優化灌溉方案，并降低農業數據泄露的風險。

縱向聯邦學習在物聯網中有著廣闊的應用前景，它不僅能夠實現數據的協同分析和模型優化，還能夠保護數據隱私和提升系統的可靠性。然而，在應用縱向聯邦學習時，仍需注意數據安全和隱私保護的問題，并進一步研究如何解決設備間的差異和異構性問題，以實現更加高效和可靠的物聯網應用。通過對更高效的縱向聯邦學習魯棒方案的研究，可以推動物聯網技術的發展和普及，以提高智能設備之間的協同能力和數據隱私保護水平。

2 隱私保護的縱向聯邦學習魯棒方案

2.1 方案概述

本方案針對主動方生成的聚合加密模型進行完整性驗證，可防御擁有敏感信息的主動方有意或無意提供的用于生成全局模型的錯誤模型信息，以防在后續的預測工作中出現預測偏差從而造成損失。以此提高聯邦學習系統的魯棒性與聚合結果的可信度。

本方案的整體架構如圖2所示，方案實現涉及主動方、被動方以及可信第三方。可信第三方生成密鑰并分發給主動方及被動方；主動方加密Boost樹梯度信息，并將加密結果發送給被動方，同時對加密的Boost樹梯度信息進行同態哈希加密后發送給可信第三方；被動方根據特征維度對接收到的加密梯度信息進行聚合，然后將聚合結果進行同態哈希并發送給可信第三方；可信第三方聚合所有被動方發送的信息，然后驗證主動方發送的加密Boost樹梯度信息和被動方信息聚合結果是否一致，如果一致則完整性驗證通過，否則驗證不通過；可信第三方將驗證結果發送至主動方和被動方，如果接收到通過驗證的結果，主動方和被動方繼續進行后續計算，否則，結束當前訓練過程，重新開始本輪訓練，確保最終得到的全局模型的完整性，即全局模型由未被篡改的信息計算得到。

2.2 系統假設

（1）本文所提方案中，縱向聯邦學習系統由主動方、被動方和可信第三方組成。主動方擁有有標簽的樣本數據，負責計算每個決策樹節點的最佳分割點。被動方只擁有無標簽的樣本數據。可信第三方作為完全誠實的一方，負責對主動方和被動方傳輸的數據進行同態加密下的完整性

驗證。

（2）敵手模型。假設攻擊者可能會產生的惡意行為有如下幾種：主動方為節省資源不進行聚合操作，生成隨機數代替聚合結果；主動方通過在聚合結果中加入噪聲達到影響最終聚合結果的目的；主動方為節省資源隨機選取一個被動方的數據進行倍乘后替代聚合結果。

（3）安全目標。針對上述攻擊者的惡意行為（主動方提供篡改的聚合結果），所提方案能夠準確地驗證主動方的聚合結果是否是基于各被動方所提供的數據計算得到的，若檢測到主動方聚合結果被篡改，將及時停止模型訓練過程，并通知各個參與方，防止被篡改的主動方聚合結果被用于最終全局模型的生成。

2.3 方案步驟

步驟1：可信第三方生成（δ， ρ）作為同態哈希函數中的秘鑰，并將其發送至主動方和各被動方，其中δ和ρ是在有限域Zq中隨機選擇的私鑰。主動方和被動方接收可信第三方發送的秘鑰。

步驟2：主動方計算各樣本對應的gi和hi，i∈｛1， 2， ...， N｝，其中N為數據樣本數量，然后使用加法同態加密對其進行加密，將加密后的gi和hi發送給被動方。

步驟3：每個被動方根據當前節點樣本空間中樣本的特征計算得到l個分位點Sk={sk1， sk2， ...， skl}；然后根據這些分位點將當前節點樣本映射到對應的區間內；對于每個特征k和每個分位點v，在樣本空間中選取所有滿足xi， k落在第v個和第v-1個分位點之間的樣本實例i，并對這些樣本實例對應的gi和hi求和，再通過同態加密函數進行同態加密，得到加密后的梯度值Gkv和Hkv；最后將每個特征k對應的所有Gkv和Hkv放入向量Gi和Hi中，返回這兩個向量并作為輸出發送給主動方與可信第三方。

步驟4：主動方接收到被動方發送的聚合加密梯度統計信息后，對各被動方聚合的梯度進行解密，可以計算得到各節點對應特征的最佳分割點。在此過程中，對生成的gl和hl進行同態哈希加密，計算得到和，發送HF（gl）與HF（hl）至可信第三方，最后將最佳分割點對應信息（kopt和vopt）返回被動方。計算最佳分割點的過程整體為三層遍歷，分別為遍歷所有參與方、參與方所有特征以及特征的所有分割點；然后主動方針對每個分割點，計算其信息增益，最后選擇信息增益最大的分割點為最優分割點并輸出。可信第三方通過對比HF（gl）=HF（Gikv）、HF（hl）=HF（Hikv）是否成立來驗證主動方的中間計算結果（加密梯度）的完整性，最后將驗證結果返回各參與方。

步驟5：被動方根據主動方發送的kopt和vopt確定相應特征的閾值（IL），根據閾值對樣本空間進行劃分。然后，被動方在查找表中記錄該特征的閾值，形成記錄[記錄id，特征，IL]，并將記錄id和IL返回給主動方。

步驟6：主動方根據收到的[記錄id，IL]對提升樹的對應節點進行劃分，并將該節點與相應的[參與方id，記錄id]信息關聯。然后將節點的劃分信息與所有被動方同步。

重復上述所有操作便可獲得一棵完整的決策樹，對每個特征都執行一次上述算法，得到所有特征對應的決策樹。

3 實驗與分析

實驗硬件平臺：惠普筆記本電腦，2.8 GHz的4 核 8 線程 Intel i7 處理器，8 GB內存；虛擬機系統為Centos7，分配內存為4 GB。實驗軟件平臺：Federated AI Technology Enabler（FATE），FATE是由微眾銀行人工智能項目組發起的一個開源項目，該項目提供了一個安全的計算框架和聯邦學習平臺。

本次實驗主要基于FATE內部自帶的縱向聯邦學習數據集進行，訓練集和測試集中分別含有569個樣本。本次實驗主要由兩部分組成：第一部分為無異常行為的縱向聯邦學習模型訓練下的異常檢測；第二部分為主動方存在異常行為的異常檢測。

實驗中將異常行為設置為如下3種情形：主動方為節省資源不進行聚合操作，生成隨機數代替聚合結果；主動方通過在聚合結果中加入噪聲達到影響最終聚合結果的目的；主動方為節省資源隨機選取一個被動方的數據倍乘后替代聚合結果。

從表1中的實驗結果可以發現，在攻擊者沒有異常行為的情況下可以得出正確的驗證結果，并且能夠順利完成模型的訓練。在面對列舉的3種不同攻擊方式時，本文所提方案均能夠成功檢測出主動方的異常行為，并及時停止模型的訓練，及時避免錯誤信息對模型預測精確度產生的影響。由此可以證明本文所提方案是行之有效的，可以有效地檢測出影響實驗結果的異常行為，并及時終止實驗，避免造成更大的實驗損耗。

表2展示了不同異常行為下驗證模塊的運行時間和模型訓練總時間。由于本實驗設置一旦檢測到異常行為，立刻終止模型訓練，所以出現異常情況時模型訓練總時間按照未出現異常時的訓練總時間來計算。從表2中可以發現，驗證模塊驗證所花時間占比均在0.3%以下。顯然，本文所提出的驗證方案對縱向聯邦學習SecureBoost模型整體訓練開銷的影響微乎其微，不會對模型訓練的效率產生明顯的影響。因此，本文所提方案具有可行性、有效性，且不影響

效率。

4 結 語

本文結合物聯網數據共享的特點，提出了一種能夠驗證聚合加密模型信息完整性的方案，有效防御主動方投毒攻擊，并確保數據隱私和模型準確性之間的平衡，同時通過仿真實驗驗證了所提方案的有效性。本研究為應對物聯網數據共享中的隱私保護和數據安全問題提供了一種新的解決方案，提高了物聯網中數據合作和共享的可行性。

然而在實際運用中仍然存在攻擊者放棄攻擊主動方，對被動方計算信息進行篡改的情況。如果攻擊者對被動方實施攻擊，那么本文所提方案中的第三方可信機構將無法對驗證結果做出正確的判斷。因此，后續將提出更加全面、有效的聯邦學習投毒攻擊防御機制，提高聯邦學習系統的安全性，進而提高物聯網系統的安全性和可信度。

參考文獻

[1]張應福. 物聯網技術與應用[J]. 通信與信息技術，2010，40（1）：50-53.

[2]錢萍，吳蒙. 物聯網隱私保護研究與方法綜述[J]. 計算機應用研究，2013，30（1）：13-20.

[3]董曉蕾. 物聯網隱私保護研究進展[J]. 計算機研究與發展，2015，52（10）：2341-2352.

[4]張玉清，周威，彭安妮. 物聯網安全綜述[J]. 計算機研究與發展，2017，54（10）：2130-2143.

[5]周傳鑫，孫奕，汪德剛，等. 聯邦學習研究綜述[J]. 網絡與信息安全學報，2021，7（5）：77-92.

[6]陳晉音，李榮昌，黃國瀚，等. 縱向聯邦學習方法及其隱私和安全綜述[J]. 網絡與信息安全學報，2023，9（2）：1-20.

[7]石聰聰，高先周，黃秀麗，等.聯邦學習隱私模型發布綜述[J].南京信息工程大學學報（自然科學版），2022，14（2）：127-136.

[8] CHENG K，FAN T，JIN Y，et al. Secureboost：a lossless federated learning framework [J]. IEEE intelligent systems，2021，36（6）：87-98.

[9] CHEN W，MA G，FAN T，et al. Secureboost+：a high performance gradient boosting tree framework for large scale vertical federated learning [EB/OL]. [2023-07-27]. https：//api.semanticscholar.org/CorpusID：239050552.

[10]錢志鴻，王義君. 物聯網技術與應用研究[J].電子學報，2012，40（5）：1023-1029.

[11]劉強，崔莉，陳海明. 物聯網關鍵技術與應用[J].計算機科學，2010，47（6）：1-4.

[12]鄔賀銓.物聯網的應用與挑戰綜述[J].重慶郵電大學學報（自然科學版），2010，22（5）：526-531.

[13]謝豐，卞建玲，王楠，等. 聯邦學習在泛在電力物聯網人工智能領域的應用[J].中國高新科技，2019，3（23）：18-21.

[14]李少波，楊磊，李傳江，等.聯邦學習概述：技術、應用及未來[J].計算機集成制造系統，2022，28（7）：2119-2138.

[15]王飛躍，王艷芬，陳薏竹，等. 聯邦生態：從聯邦數據到聯邦智能[J]. 智能科學與技術學報，2020，2（4）：305-313.

收稿日期：2023-07-27 修回日期：2023-08-28

作者簡介：苗 可（2002—），男，研究方向為物聯網、聯邦學習。