基于 3DSSD 的差異路口自適應聯邦學習算法

摘 要：在智能交通中，為彌補路側端點云數據集的缺乏，提高目標檢測模型泛化能力，提出了一種基于參數自適應聯邦學習（FL）的點云目標檢測算法（FLA3DSSD）。在各個路側客戶端數據不互通的情況下，將基于點的3D單級目標檢測器（3DSSD）算法與經典聯邦學習（FL）策略相結合，同時通過上傳局部模型在路側服務器進行模型自適應參數融合改進客戶端模型參數更新策略，實現數據信息共享，并提升檢測精度。結果表明：在車路協同差異路口場景算法部署任務中，對比本地數據訓練模型，直接部署于其余客戶端，用FL與3DSSD的聚合模型所測試的檢測平均精度（AP），上升5%～40%；帶有改進參數的自適應聯邦學習FLA3DSSD聚合模型，實現AP值提升1%～7%。因此，在保護數據隱私的前提下，本方法能夠提高模型泛化能力和檢測精度。

關鍵詞：智能交通；車路協同；目標檢測；激光點云；聯邦學習（FL）策略；深度學習模型

Adaptive federated learning algorithm for differential intersection based on 3DSSD

Abstract： A point-cloud object-detection algorithm （FLA3DSSD） was proposed based on a parameter adaptive Federated Learning （FL） strategy to solve the problems of lack of roadside endpoint cloud dataset and the low generalization ability of object detection models. The point-cloud based 3-D Single-Stage Object Detector algorithm （3DSSD） was combined with the FL in the cases in which the data from various roadside clients are not interconnected. The client model parameter update strategy was improved by uploading local models to the server for model adaptive parameter fusion， to achieve data information sharing. The results show that the aggregation model combining classical federated learning and 3DSSD algorithm showed a 5%～40% increase in detection Average Precision （AP） compared to the locally trained model deployed directly to other clients for testing in the deployment task of the vehicle road collaborative differential intersection scene algorithm; Improved parameter adaptive federated learning FLA3DSSD achieves a 1%～7% increase in AP value based on"the aggregated model. Therefore， the method improves the generalization ability and detection accuracy with protecting data privacy.

Key words： intelligent transportation; vehicle-road coordination; object detection; laser point-cloud; Federated- Learning （FL） strategy; Deep-Learning model

隨著智能交通應用的不斷發展，車路協同成為重點研究方向之一，現有目標檢測算法均需要場景覆蓋完整，數據量充足的數據集進行支撐。由于車路協同路側場景的多樣性 （ 差異路口道路類型，交通參與者種類，天氣變化及交通堵塞等 ），與車端的檢測場景存在較大差別，現有數據集不能完全覆蓋所需的路側端真實場景。點云目標檢測受到點云質量的影響，而點云質量更容易受到環境的光照天氣，與圖像相比更敏感，數據分散，采集自不同場景的點云數據集數量，傳感器安裝角度和點云質量均存在差異，所以需要增強點云目標檢測算法模型的泛化能力，進一步提高算法快速部署后的檢測精度。

在點云目標檢測中，單階段目標檢測具有實時性高、檢測精度高、流程簡易等特性，經典的單階段點云目標檢測算法包括 PIXOR [^1]，SECOND [^2]，PointPillars [^3]和輕量高效的基于點的 3 維單級目標檢測器 （3-D single-stage object detector，3DSSD） [4^{] 算法。針對目標檢測任務缺乏場景豐富的大規模數據集的問題，傳統的解決方法是將不同場景的數據集進行聚合，通過標注訓練提高模型的泛化能力。若采集不同場景的真實數據并進行標注，其成本較高、工作量較繁重，同時涉及到地區數據通信成本及隱私問題。為了解決缺少大量數據集和保護數據隱私的問題，聯邦學習 （Federated Learning，FL） 軟件得到了廣泛應用。谷歌公司利用聯邦學習實現分布式用戶行為等數據共建深度學習模型，解決了數據孤島的問題。文獻 [5] 提出了聯合平均 （FedAvg） 算法，使各個本地模型權重進行有意義地聚合，更新形成全局模型。文獻 [6] 實現了基于聯邦學習}的目標檢測系統，用于監測監控中的特殊目標。文獻 [7]針對 CT 影像綜合性病灶檢測任務，提出隱私保護的聯邦學習算法。文獻 [8] 提出分布式邊緣計算模型，降低視頻監控系統的處理時延。現有的基于聯邦學習的目標檢測成果主要集中于圖像檢測領域，缺乏對激光點云目標檢測領域的研究。

針對經典聯邦學習面臨的數據非獨立同分布問題，研究人員提出個性化聯邦學習 （personalized federated learning，PFL） 模型，針對各客戶端數據存在分布差異的情形，為每個客戶端訓練一個專有的模型。部分學者針對數據進行處理，文獻[9] 提出了一種將按類的均衡的少量全局數據分發給各客戶端的數據共享策略。另一部分學者針對具有相似性數據分布的情況開展策略方向的研究，文獻 [10] 為局部子問題引入近似項，以調整局部更新的影響。文獻 [11] 提出一種基于注意力機制的聯邦學習框架 FedAMP，實現具有相似數據分布的客戶端之間的協作。現有的研究主要針對具有相似性數據分布的情況開展研究，不能滿足車路協同路側端復雜多變的場景檢測需求。

基于以上分析，針對路側端點云目標檢測任務缺乏場景豐富的大規模數據集帶來的成本高周期長的問題以及車端目標檢測算法部署路端帶來的性能下降問題。本文提出一種基于參數自適應聯邦學習（Federated- learning adaptation，FLA） 的激光雷達點云車輛 3 維單級目標檢測 （3DSSD） 算法，命名為 FLA3DSSD，通過聯邦學習結合深度學習點云目標檢測的方法，來實現激光點云目標檢測模型的差異場景部署；改變聯邦學習客戶端本地模型的更新策略，將上一輪次的本地模型與獲得的全局模型的信息進行整合，生成新的客戶端本地模型，增強模型的泛化能力，提高跨場景檢測精度；通過對差異路口的場景數據集設計對比實驗，分析非獨立同分布的數據對聯邦學習效果的影響，驗證參數自適應聯邦學習對點云目標檢測算法泛化能力提高及快速部署的可靠性。

1"" FLA3DSSD 點云目標檢測框架

本文提出的 FLA3DSSD 的算法的整體流程如圖 1所示。

步驟1：路側客戶端1，2，…，k利用本地獲取的訓練數據集基于3DSSD算法訓練目標檢測模型。路側客戶端 1，2，…，k收到聚合模型后，將聚合模型與上一輪次的本地模型進行聚合升級處理，自適應地實現模型的客戶端局部模型更新，在新一輪的客戶端節點模型本地訓練之前初始化更新局部模型。

步驟2：每當本地訓練完成設置的特定輪次，路側客戶端1，2，…，k會將本地訓練好的模型上傳到計算機服務器終端進行聚合。

步驟3：計算機服務器終端在收到來自路側客戶端 1，2，…，k訓練的局部模型后進行模型聚合處理，生成新的聚合模型再下發到客戶端。

最后，設置的通信輪次結束后，計算機服務器終端得到一個基于FLA3DSSD 的點云目標檢測聚合模型。

1.1"" 3DSSD 目標檢測算法模型

本文將 3DSSD 算法作為參數自適應聯邦學習的基準算法。該算法借鑒 PointNet++ [1^{2] 第一階段算法結構}設計主干網絡，通過網絡模型的降采樣過程提取點云深層語義特征，最后得到各個點，每個點對應各個維度；候選生成層 （candidate generation layer，CG） 作為點集選取層 （set abstraction layer，SA） 的變體，通過對采樣點進行霍夫投票選取候選點，對候選點進行特征提取得到候選點特征；所得到的特征被發送到預測頭進行回歸和分類，得到最終的預測結果。圖 2 為 3DSSD 算法的總體網絡結構圖。其中：MLP 為多層感知器（multilayer perceptron），MaxPool 為最大池化層。

PointNet++ 算法在第 1 階段往往利用 SA 層進行不斷的下采樣、分組與特征提取，然后利用特征提取層 （feature propagation layer，FP） 對 SA 層的輸出進行不斷上采樣與特征傳播。在第 2 階段，通過區域提案網絡生成的候選框來進行更精細化的預測，以獲得更準確的預測。

在 PointNet++ 算法中，FP 層和細化階段消耗了大量的推理時間，3DSSD 算法放棄了FP 層。為了解決丟棄 FP 層產生的在具有很少內部點的前景實例出現的丟失所有點的問題，提出了一種基于特征距離的新型采樣策略 （features-farthest point sampling，F-FPS），該策略有效地保留了不同實例的內部點。整體算法框架的采樣策略將 F-FPS 和距離采樣法 （distance-farthest point sampling，D-FPS） 進行融合使用。

考慮空間距離和特征距離的條件下，F-FPS 公式為

C（A，B） = λL （A，B） + L （A，B）." " （1）

式中：L_D為XYZ空間距離計算函數，λ為權重，L_F為特征距離計算函數。

3DSSD 算法提出一種 SA 層的變體作為連接與過渡特征提取層與預測層的 CG 層。主干網絡中 D-FPS方法獲得的點多為背景點，在CG 層通過 F-FPS 方法獲得的初始點，結合監督信息，使其向其對應實例的中心點進行偏移，生成對應候選點。候選點生成過程圖例如圖 3 所示。

具體過程為首先將初始點視為 CG 層的中心點，然后從全部的采樣點中通過鄰域點分組找到每個中心點一定范圍內的點，最后將上述范圍內點的坐標和特征信息輸入到多層感知機網絡（MLP） 和最大池化層（MaxPool）中進行特征提取。

為了更好地進行候選框的位置回歸，算法選擇了無錨框的預測網絡。對每個候選點來說，需要對實例中心點距離（d_x，d_y，d_z），實例尺度信息（d_l，d_w，d_h）及方向角度進行回歸。同時為了提升檢測框的質量，借鑒了無錨框 2D檢測模型中心域法^[13]中的中心度來設置模型要學習的類別標簽信息。

算法的損失函數包括分類損失，回歸損失和移位損失 3 部分。計算公式如下：

式中：N 、N 分別為候選點和正候選點的數量；正候選點為位于前景實例的候選點個數。

在分類損失中，s_i表示點i的預測分類分數，u_i表示點i的中心度標簽，L_C使用交叉熵損失計算。回歸損失L_r包括距離回歸損失L_dist，大小回歸損失L_size，角度回歸損失L_angle和角點損失L_corner。距離回歸損失L_dist和大小回歸損失L_size采用 Smooth_L1損失函數計算損失。

通過輕量級且高效的單階段目標檢測器 3DSSD 算法實現路側端對車輛目標的檢測，能夠實現精度和效率之間良好的平衡，滿足車路協同目標檢測場景及聯邦學習策略的要求。

1.2"" 聯邦學習模型聚合策略

整個聯邦學習模型策略框架可以分為 2 個階段：

1） 本地模型訓練階段、2） 全局模型參數聚合階段。 本文中全局模型和本地模型采用同樣的網絡結構。

在本地模型訓練階段，本地模型參數首先基于本地數據進行訓練優化，更新本地訓練迭代輪次，向服務器端上傳本地模型參數；在全局模型參數聚合階段，服務器端收到客戶端上傳的模型后，進行全局模型參數聚合，根據上傳的客戶端本地模型參數計算加權平均值，得到全局模型后，將更新的模型參數分享給所有的客戶端；進入下一輪次的本地模型訓練階段，迭代到指定輪次后，全局模型與本地模型均實現收斂。

針對車路協同差異路口場景的聯邦學習點云目標檢測過程詳細說明見算法1。其中：K個路側客戶端由k進行編號；B為本地訓練的批量大小，E為本地訓練迭代輪次， C為路側客戶端參與比率，w為模型參數，α為學習率。

服務器端節點收到所有客戶端節點上傳的本地模型后再進行進一步的聚合，然后將聚合后的聚合模型下發至各客戶端節點繼續下一輪的訓練。在服務器端節點聚合過程中，采用模型參數加權平均的方式進行模型參數聚合。全局模型的參數聚合過程描述為

1.3"" 聯邦學習局部模型更新策略

本文提出一種自適應的個性聯邦學習方法，改變聯邦學習客戶端本地模型的更新策略，將上一輪次的本地模型與獲得的全局模型的信息進行整合，生成新的客戶端本地模型。新策略的學習過程如圖 4 所示。

假設有k個客戶端，每一個客戶端的本地數據集d₁， d₂，…，d_i，具體來說，各客戶端的數據集d₁，d₂，…，d_i來自于安裝在差異路口的激光雷達獲取的數據，各數據集數量大小及分布均不同。

經典的聯邦學習的本地模型更新，客戶端直接接收到服務器端聚合生成的全局模型 θ_t-1，全局模型 θ_t-1覆蓋舊的本地模型 θ_{i， t-1}，得到新的本地模型 θ_{i， t} 進行本地訓練。本文的更新策略結合了全局模型和本地模型的信息，通過接收到的來自服務器端的全局模型和上一輪次迭代完成的舊的本地模型參數，計算得到更新的本地模型。計算公式為：

θ_t-1 - θ_{i， t-1} 被稱為更新模型，通過元素加權裁剪實現權重的歸一化處理。

初始化權重矩陣中的值為 1，在每次訓練迭代中根據舊的權重學習新的權重。客戶端通過基于梯度的訓練方法更新權重，訓練的損失函數為交叉熵損失 （cross-entropy loss function），權重的更新為公式 （6），損失函數如下公式 （7），即：

式中：η 為權重學習的學習率。

權重更新訓練結束通過設置閾值和損失值計數參數項進行判斷。當設定記錄的損失值標準差小于給定的閾值，停止權重更新訓練完成局部模型初始化，開始新一輪次的本地訓練。閾值設置為默認值 0.01 ；損失值計數為計算標準差時要考慮的記錄損失數量，設置為默認值 5。

經典的聯邦學習直接獲取服務器參數聚合后的全局模型，作為新一輪客戶端訓練的本地模型，這樣獲取的全局模型在各客戶端泛化能力較差，通過參數自適應聯邦學習實現獲得具有更高檢測性能及良好泛化能力的目標檢測模型。

2"" 實驗與結果分析

2.1"" 數據集及預處理

車路協同 DAIR-V2X-Seq 感知數據集 ^{[14] 采集自北京市高級別自動駕駛示范區，該數據集涉及若干交通場景復雜路口，路側部署相機和 300 線激光雷達，能夠提供多個路側客戶端豐富的場景數據。本文實驗按路口場景不同分割為 6 個數據集，模擬 6 個路側客戶端的數據。每一數據集的數量不同，數據分布不同，}各客戶端數據集之間存在差異。各點云數據集按照 9∶1分為訓練集和測試集，訓練集模擬客戶端收集的激光點云數據。

DAIR-V2X-Seq 感知數據集共包含 11 275 幀數據，障礙物標注類別包含 10 類，包括車輛、行人等，本文僅關注車路協同的主要道路參與者車輛，標注字段名稱為Car。針對實驗數據要求，將車路協同DAIR-V2X- Seq 感知數據集轉化為KITTI 數據集的數據結構。驗證時按照 KITTI 中標注的目標截斷和遮擋程度參數，將目標劃分為簡單、中等、困難 3 個級別。經過場景分割的客戶端數據集信息如表 1 所示。圖 5 按順序分別展示數據集 1—6 的路口場景。

實驗設置

本文模擬多個客戶端和服務器端進行聯邦學習，所有實驗均基于一張 RTX2080 的顯卡進行訓練，顯存大小為 8 GB。程序采用 python3.8 編寫， 基于 Openpcdet 框架完成訓練。各客戶端節點使用相同的算法模型及參數設置，本文針對迭代次數和通信輪次進行設置，其中本地訓練batchsize為4，學習率設置為0.01。

評價指標

本文使用交并比 （intersection over union，IoU） 判定在 3D 目標檢測和鳥瞰圖 （bird’s eye view，BEV） 目標檢測任務中目標框是否命中真值，如果 IoU 大于閾值則認為命中目標，反之視為誤檢，閾值越高則表示判斷標準越嚴苛。

基于上述目標命中判斷方法，可計算檢測精度（V_Prec） 與召回率 V_Reca） 如公式 （8）、（9） 所示。

式中：N_TP為正常命中的檢測框數目；N_FP為未命中或重復檢測的檢測框數目；N_GT為真值目標框數目。

通過模型測試可以繪制檢測精度- 召回率曲線，即 P-R 曲線，估算該曲線與坐標軸包圍區域的面積可獲得目標檢測平均精度 （average precision，AP），AP 值計算公式如式 （10），AP 值越高則表示檢測精度越高。

2.4"" 實驗結果與分析

本文為了實現在不同 IoU 下的檢測精度模型評估，使用車路協同 DAIR-V2X-Seq 感知數據集分別進行 3D及 BEV 目標檢測任務實驗。針對數據集劃分的簡單，中等和困難 3 個等級，設置 IoU 分別為 （0.7，0.5，0.5）和（0.7，0.7，0.7） 進行目標檢測精度實驗。訓練輪次為本地訓練次數，通信輪次即各客戶端向服務器端發送模型參數的次數。

2.4.1 三維目標檢測結果定量與定性分析

本節使用平均檢測精度 AP 值對 3DSSD 算法的檢測效果進行定量評估。檢測精度結果如表 2 所示。

由表 2 可知：3DSSD 算法在 IoU = （0.7，0.5，0.5）時獲得了較高的 3D 目標檢測平均準確率及 BEV 目標檢測平均準確率。上述結果表明，3DSSD 算法能夠有效識別點云數據集中的車輛目標。

2.4.2 聯邦學習結果對比

聯邦學習 FL3DSSD 算法為不改變聯邦學習客戶端本地模型的更新策略，直接將全局模型作為新一輪的本地模型的聯邦學習策略。實驗設計將數據集 1—5 作為聯邦學習FL3DSSD 各客戶端數據集進行訓練得到聚合模型，并應用部署于各客戶端數據集，利用劃分的測試集進行性能評估。本地訓練輪次設置為 2，通信輪次設置為 50。同時，將聯邦學習后的聚合模型應用于未參加聯邦學習訓練的測試集 6 進行泛化性的測試，測試結果如表 3 所示。

設計對比實驗將基準算法 3DSSD 在 1—6 數據集上分別單獨訓練的模型，直接在其余數據集上測試，發現基準算法 3DSSD 直接遷移的效果較差，尤其針對數據集 3 遷移效果受到較大程度的影響，檢測精度較低；經數據集內容分析，數據集 3 所采集的場景為雨后場景，地面有積水影響點云的數據質量，場景與其他數據集的差異性較大。

為了驗證聯邦學習對點云目標檢測模型泛化能力的提升，將使用數據集 1—5 訓練的聯邦學習算法模型，使用數據集 1—6 訓練的聯邦學習算法模型和基準算法3DSSD 直接遷移 3 種方法的 3D 目標檢測結果 AP 值與3DSSD 基準算法在該數據集本地訓練測試的 3D 目標檢測結果 AP 值做差對比，繪制點線圖如圖 6。選取具有代表性且數量盡可能多的數據集 1—5 或 1—6 的情況進行聯邦學習結果展示，聯邦學習遷移效果 1 為將數據集 1—5 作為訓練集進行聯邦學習生成的聚合模型效果，聯邦學習遷移效果 2 為將數據集 1—6 作為訓練集進行聯邦學習生成的聚合模型效果，橫坐標表示將聚合模型部署到不同的客戶端數據集，括號中字母 a、 b 和c 分別表示目標的難易程度，分別為容易、中等和困難，IoU 設置均為 0.7 時的情況，客戶端部署后 AP值變化量越大即方法的泛化能力越強。

由實驗結果可知，經聯邦學習后的聚合模型在不同客戶端部署后 AP 值比單獨在本地數據集訓練直接進行模型差異場景部署更高，經過聯邦學習后的聚合模型能夠實現算法模型泛化能力的提升。同時，增加聯邦學習客戶端數據集數量，能夠較大概率提升聚合模型的檢測精度，但是增加數據集的差異程度會影響檢測精度結果。

2.4.3 參數自適應聯邦學習結果對比

實驗設計將數據集 1—5 作為參數自適應聯邦學習FLA3DSSD 的客戶端數據集進行訓練，得到的聚合模型結果分別應用部署于各客戶端數據集的測試集進行性能評估，IoU 設置為 （0.7，0.7，0.7） 和 （0.7，0.7，0.5） 2 種情況。本地訓練輪次設置為 5，通信輪次設置為10。對比實驗設置相同的訓練及通信輪次的聯邦學習FL3DSSD 聚合模型檢測結果，3D 目標檢測測試結果如表 4。

圖 7 為參數自適應聯邦學習 FLA3DSSD 聚合模型與聯邦學習 FL3DSSD 聚合模型結果圖。橫坐標表示將聚合模型部署到不同的客戶端數據集，括號中字母 a、 b 和c 分別表示目標的難易程度，分別為容易、中等和困難，IoU 設置均為 0.7 時的情況。

通過實驗結果可以看出，經過 FLA3DSSD 的聚合模型對比聯邦學習模型在部署于數據集 1—6 的 3D 目標檢測精度 AP 值均有提高；同時，參數自適應聯邦學習的聚合模型對沒有參加訓練的數據集 6 的目標檢測性能也有一定程度的提升。

將FL3DSSD 及 FLA3DSSD 的場景檢測結果可視化，如圖 8 所示。左側圖為聯邦學習 FL3DSSD 的檢測結果，紅色框為誤檢結果；右側圖為參數自適應聯邦學習FLA3DSSD 的檢測結果，黃色框為漏檢結果。

通過實驗對比結果可以看出，參數自適應聯邦學習FLA3DSSD 的聚合模型的泛化能力對比聯邦學習 FL3DSSD 的訓練模型得到了一定程度的提升；在不直接傳輸數據保證隱私性且不增加通信代價的前提下，提高了模型的檢測精度及泛化能力，使得訓練后的模型能夠在未訓練場景領域得到較好的檢測效果，從而解決激光點云目標檢測算法模型泛化能力低，車路協同路側端點云數據集數量少，場景覆蓋率低等問題。

3"" 結""" 論

為了解決車路協同中路側端點云數據集數量少場景覆蓋度低及點云目標檢測算法泛化能力低的問題，本文提出了參數自適應的個性聯邦學習方法 FLA3DSSD，該方法將聯邦學習與點云目標檢測任務相結合，同時提取上一輪次本地模型和全局模型的信息，改進本地模型參數的更新策略。為了驗證方法的可靠性，利用車路協同DAIR-V2X-Seq 感知數據集結合點云目標檢測算法，進行差異路口場景的客戶端目標檢測。

實驗結果表明，該方法通過分享模型參數實現數據信息的共享，有效解決路側端目標檢測缺乏大規模數據的問題；同時，參數自適應聯邦學習聚合后的模型泛化能力和檢測精度均得到了提升，尤其是針對數據量較小的客戶端，聯邦學習帶來的優勢更為顯著。通過在真實數據集上的驗證實驗，說明了本方法的應用能夠提高路側端目標檢測算法的泛化能力與檢測精度，有望應用于車路協同領域算法部署任務。

在后續的研究中，可以針對不同城市及天氣因素形成的差異道路場景進行研究，完成更多客戶端數量的測試部署；同時，可以針對數據集差異，參數變化及基準算法模型改變對框架的影響進行深入分析，提出進一步改進方法。