基于異步聯邦學習和區塊鏈的數據安全共享

崔暢

關鍵詞：車聯網；區塊鏈；聯邦學習

1引言

5G網絡中新的計算和通信技術的快速發展為先進的車輛服務和應用（如自動駕駛和內容交付）提供了可能性，從而改善了駕駛體驗。在該背景下，車聯網（IoV）作為一種將智能計算和車輛網絡集成到車輛網絡中的新技術，成為一個關鍵的研究領域。在物聯網中，移動的車輛不斷生成大量不同類型的數據，其中包括軌跡、交通信息和多媒體數據等附加數據。如何高效、有效地利用海量可用數據來改善駕駛體驗，并在物聯網中提供廣泛的高質量服務，是一個至關重要的研究領域。

數據共享可以通過協同分析和挖掘數據來改善IoV應用程序質量。然而，在物聯網中，數據共享面臨兩個關鍵挑戰。首先，盡管車輛間通信不可靠，但車輛需要有效共享數據。如何提高數據共享效率和可靠性需要進一步深入研究。其次，數據提供商越來越擔心數據安全和隱私問題，這可能會阻止他們提供可用于分析的數據。因此，如何在物聯網中高效、安全地共享數據仍然是一個廣泛研究的熱門方向。

2存在的問題

多接人邊緣計算（MEC）通過設備到設備（D2D）通信在移動網絡邊緣執行計算和內容存儲，實現邊緣資源共享。但是現有研究側重于MEC的效率，仍需要進一步研究如何在MEC中實現分布式智能控制。在這方面，最近的一些工作已經將邊緣智能用于車輛網絡中的資源共享。如采用深度強化學習（DRL）來設計數據傳輸調度方案，以最小化車輛網絡中的傳輸成本。然而，分布式場景中資源共享的安全問題仍未解決。

最近，區塊鏈已成為提供分布式安全解決方案的一種很有前途的技術。區塊鏈具有防篡改、匿名性和可追蹤性等先進特性，因此在物聯網、車載網絡和智能電網等領域，區塊鏈在增強安全性方面引起了極大關注。近年來，有大量研究利用區塊鏈在車輛網絡中進行數據共享。例如，不但利用了由路邊裝置維護聯盟區塊鏈，實現車輛邊緣網絡中的安全數據共享，還可為分布式數據共享設計一個區塊鏈授權的安全數據共享架構。盡管區塊鏈的使用為數據安全共享提供了可能性，但維護區塊鏈需要額外的計算和通信負擔，可能對效率方面產生不利影響。

為了提高區塊鏈的效率和智能性，一些研究探索了將區塊鏈與人工智能相結合。如通過將人工智能算法和區塊鏈集成到無線網絡中，構成一種安全智能的架構，可實現5G以外的安全資源共享。然而，雖然在這些集成框架中，研究數據和網絡的安全和隱私問題是一個重要的研究方向，但相關工作卻相當有限。為此，減輕區塊鏈與人工智能集成的資源成本需要更密切和更深入的研究。

聯邦學習是分布式場景中隱私保護邊緣智能的一種很有前途的方法。而在傳統的機器學習中，所有的訓練數據都是在一個集中的管理員處收集的，聯邦學習在很大程度上解決了隱私問題，并且通過將訓練工作分發給用戶自己來降低數據傳輸成本。本地訓練由用戶根據自己的數據執行，通常采用梯度下降優化算法。在聯邦學習框架中，用戶自己保存數據，但將參數發送到服務器進行聚合。這為用戶提供了一個并行方案，以協作學習與其數據隱私相關的全局模型。因此，聯邦學習通過以保護隱私的方式從分布式數據學習中來實現邊緣智能，并利用區塊鏈在不受信任的參與者之間提供有保證的協作方案，以實現高效共享。

然而，就聯邦學習的計算和通信資源而言，設備的異構性為應用聯邦學習帶來了新的挑戰。為了提高學習效率和學習質量，需要解決三個關鍵方面。首先，更新的參數也可能泄露用戶的數據隱私。如何全面確保聯邦學習計劃的安全性有待進一步研究。其次，由于邊緣設備的異構計算和通信能力，必須減少計算和通信開銷，并將總體學習時間降至最低，應降低參與者共享惡意和冗余數據等不合格數據的風險。最后，應減少由于聯邦學習造成的延遲，提高處理車輛的異構通信和計算能力。

3面向車聯網基于異步聯邦學習和區塊鏈的數據安全共享體系框架

本文通過將區塊鏈和聯邦學習集成到IoV中以實現數據安全共享。本文開發了一個混合區塊鏈-PermiDAG，并用提出的節點選擇算法改進聯邦學習。本文的貢獻可以概括如下：提出了一種新的混合區塊鏈-PermiDAG，它由路邊裝置（RSU）和DAG組成：通過將學習的參數集成到區塊鏈中，并通過兩階段驗證來驗證這些參數的質量，從而提高學習模型的可靠性。

假設車輛提交共享特定類型數據的請求，用于特定目的，如交通預測或路徑選擇。我們將數據共享過程視為一項計算任務。

由于傳統的聯合學習可能會導致參與節點之間的同步延遲，本文提出了一種異步聯合學習方法，將計算和通信資源結合起來考慮。本文提出的方法通過優化選擇參與節點，并將其分為本地聚合和全局融合來執行異步學習。同時，使用集成區塊鏈來存儲和驗證模型參數，這可以提高所提方案的可靠性和安全性。本文提出的面向車聯網基于異步聯邦學習和區塊鏈的數據安全共享體系，如圖1所示。首先，選定的車輛執行本地訓練，然后通過DRL算法對區塊鏈節點選擇優化，最后更新其經過訓練的本地模型以進行全局融合。此外，我們還考慮了由本地計算過程和本地數據決定的更新質量。

對于不同的應用場景，如物聯網中的邊緣資源共享和車載網絡中的內容緩存，可以根據優化目標定義不同的目標函數。例如，目標可以是最小化能源成本、最小化運行或時間，以及最大限度地提高學習精度。此外，目標函數可以將各種約束納入組合優化問題。

傳統的同步聯合學習會消耗大量資源并導致通信延遲，使用控制算法可實現高效的異步學習方案。解決定義的目標函數和提高聯合學習性能的方法可以基于以下方面的控制算法。

節點選擇：由于不同客戶端節點的異構資源和能力，參與節點的選擇對聯邦學習的性能有著決定性的影響。此外，還應驗證每個節點的訓練模型。基于計算能力、通信狀態和訓練數據的質量，我們可以進一步設計選擇控制算法，以最大限度地提高學習性能。

全局聚合：對于邊緣服務器，如何根據應用場景選擇初始全局訓練模型是一個基本問題。此外，由于聚合過程花費了大量資源，因此如何設計聚合算法、選擇每次迭代的持續時間以及指定迭代的總數，還需要進一步工作。

權衡本地訓練：由于在基于區塊鏈的解決方案中上傳更新需要花費時間，因此參與節點的目標是以更少的成本獲得更高的訓練精度。在上傳更新之前確定本地訓練迭代次數的控制算法可以進一步提高本地訓練過程的利潤。

4混合許可區塊鏈：PermiDAG

為了提高數據共享的安全性、訓練效率和準確性，本文為聯邦學習方案設計了一種混合區塊鏈機制-PermiDAG。PermiDAG由一個主要許可區塊鏈和本地DAG組成，分別負責聯邦學習中的同步全局融合和異步本地訓練。PermiDAG是分區容忍的，這意味著部分節點也可以有效地運行區塊鏈。此外，通過讓車輛只存儲本地DAG，并讓RSU存儲許可的區塊鏈，提高了存儲效率。

本文利用本地DAG，將車輛之間的相關數據共享事件作為事務處理。異步一致性允許車輛就歷史狀態而不是當前狀態達成一致。車輛i的本地DAGi更新模型并傳輸到其附近的車輛進行同步。每輛車都會隨機將其最新的DAGi（包括交易和審批關系）與相鄰車輛互通同步事務記錄數據請求者、數據提供者、根據N個節點中每個節點貢獻Ci從本地更新全局模型權重w（t）如式（1）所示，以及DAG中已批準事務（即邊緣）之間的指針信息。

此外，本文還使用聲譽機制來量化參與者在數據共享過程中的表現，高質量數據的參與者獲得較高的聲譽分數。在數據共享過程中，我們根據參與者的模型準確性計算其累積聲譽，并將聲譽記錄在本地DAG中。

5用于節點選擇的深度強化學習

5.1問題描述：節點選擇的組合優化

不同車輛的異構計算資源和時變通信條件阻礙了全局融合階段的執行效率。本文利用深度確定性策略梯度（DDPG）算法，在異步反饋學習中找到節點選擇的最佳解決方案。基于馬爾可夫決策過程，其中參數描述如下。

5.2基于DDPG的完全節點選擇算法

本文采用DDPG來解決節點選擇問題（圖1），基本準則是使用值函數更新系統策略。主網絡包括一個演員神經網絡模型和評論家神經網絡模型分別表示代表神經網絡中的參數。需要注意的是目標網絡與主網絡具有相同的網絡結構，并生成用于訓練演員一批評家神經網絡的目標值。DDPG還使用回放存儲器存儲用于訓練網絡的過渡信息。過渡信息包含當前狀態、對狀態采取的操作、下一狀態和相應的獎勵。演員神經網絡的目標是提供最佳節點選擇操作。參與神經網絡的輸入是當前狀態，輸出是要采取的操作。動作是通過從當前狀態到動作的映射生成，其中0為神經網絡的模型參數，也可以看作搜索策略。其中，隨機策略梯度的梯度，等價于確定性策略梯度。

6應用場景及服務

車聯網場景：在車聯網場景中，由于電力供應有限，能源成本是一個關鍵問題。與其他場景相比，計算和通信資源也非常有限。因此，為了在車聯網中應用所提出的框架，在設計目標函數時應考慮能量、計算和通信的消耗。此外，由于每個設備上的訓練數據大小有限，應簡化車聯網設備的模型，并應執行更多本地訓練迭代。執行的聚合可以通過涉及更多車聯網設備在更大程度上確保學習質量。由于車聯網設備的資源有限，提出的方案可以在車聯網設備無任務期間執行。此外，由于資源有限，車聯網設備的安全性是一個嚴重的問題。參數區塊鏈的集成可以降低集中式機制所帶來的風險。

資源共享：在車聯網中，大規模設備和延遲敏感應用程序需要大量資源。因此，頻譜和數據等資源的限制會阻礙超網絡的發展步伐。分布式資源共享是提高無線網絡資源利用率和服務質量的一種有效方法。在提出的區塊鏈授權聯邦學習方案中，擁有免費資源的多個分布式提供商可以協作為消費者共享資源，如圖1所示。區塊鏈為資源提供商與消費者共享資源提供了一個安全的方案，從而減輕了惡意用戶和易受攻擊的集中式管理者所帶來的風險。共享信息記錄為區塊鏈中的交易，消費者通過區塊鏈進行資源租賃交易。聯邦學習方案不僅可以從數據中學習計算結果，還可以提供優化的共享策略。

分布式設備到設備緩存：邊緣設備上的大量多媒體應用程序生成大量內容，在MBS中存儲的大規模內容具有挑戰性。本文提出的方案可以通過對分布式用戶數據流行程度的模型進行訓練來學習最佳的緩存策略，該模型還考慮了通信成本、當前需求和用戶提供的信息。學習過的模型能夠對不同的內容進行預測。因此，系統可以緩存所需的內容，減少傳輸延遲。該方案還增強了緩存過程中用戶數據的安全性和隱私性，實現了全局最優的緩存策略。

邊緣計算卸載：由于區塊鏈的維護和更新的融合需要密集的計算，對于邊緣服務器來說，根據適用的約束執行計算是一項具有挑戰性的任務。為解決這個問題，本文將計算任務拆分，并將計算任務的碎片卸載到附近具有足夠計算資源的參與節點，以完全利用分布的計算資源。此外，卸載的計算任務還可以利用目標用戶的數據來訓練計算任務，這可以進一步減少傳輸開銷。提出的區塊鏈授權聯邦學習方案非常適合應用于分布式邊緣計算場景。通過區塊鏈交互和本地保存自己的數據，增強了數據的安全性和隱私性。聯邦學習方案涉及來自不同用戶的大量訓練數據，從而提高了訓練的全局模型的質量。

網絡數據分析：網絡數據分析功能是3GPP在車聯網技術中引入的一個新實體，它使5G運營商能夠使用AI監控和分析網絡。通常，網絡數據分析功能可以連接到任何網絡功能，并可以訪問核心網絡中的任何數據。此外，任何網絡功能都可以請求網絡進行數據分析。通過使用本文提出的聯邦學習方案，核心網絡中的每個實體都訓練其本地機器學習模型，并且只將訓練好的模型參數傳輸給網絡數據分析功能實體，應用場景如圖1所示。反饋學習方案可以顯著降低車聯網中網絡功能虛擬化技術帶來的安全風險。

7結束語

本文針對IoV框架中車輛之間的邊緣數據共享問題，為了減輕傳輸負載并解決提供商的隱私問題，首先提出了一種基于異步聯邦學習和區塊鏈的新數據安全共享架構。為了增強模型參數的安全性和可靠性，進一步提出了一個區塊鏈授權的異步聯邦學習框架。通過將區塊鏈集成到聯邦學習中來維護經過訓練的參數，從而增強安全性和隱私性。最后，本文將資源共享任務定義為一個組合優化問題，同時考慮了資源消耗和學習質量到基于深度強化學習的算法來尋找問題的最優解。本文提出的算法可有效提高運行效率，降低計算成本，具有較快的收斂速度和較高的模型精度。