基于聯(lián)邦學習的無監(jiān)督跨域車輛重識別方法

劉世豪

（河北工程大學，河北邯鄲 056000)

0 引言

車輛重識別是智能交通系統(tǒng)的前沿研究課題，旨在識別在多個非重疊跨域攝像頭拍攝的車輛圖像中的同一輛車。盡管車輛重識別已取得了一些進展，但在實際應用中仍存在以下局限性：

傳統(tǒng)車輛重識別算法采用有監(jiān)督的訓練方式，但標注成本高，需尋求高效的無監(jiān)督方式；不同域的偏差會導致源域模型在目標域的測試準確率下降，無法直接應用于新的未知域；不同區(qū)域的圖像來自不同攝像頭，路側計算能力有限，無法實時更新模型。

本文提出了一種基于聯(lián)邦學習框架[1]的無監(jiān)督領域自適應車輛重識別方法。該方法通過有監(jiān)督預訓練源域數(shù)據(jù)和無監(jiān)督訓練目標域數(shù)據(jù)來解決以上問題，并可以動態(tài)聚合多個預訓練模型以實現(xiàn)相互適應。使用聯(lián)邦學習結構，在邊緣計算單元中部署不同結構的骨干網(wǎng)進行局部訓練。在服務器中，多個模型通過協(xié)同學習進行聚合并相互適應，以獲得最優(yōu)參數(shù)。

圖1 聯(lián)邦學習的無監(jiān)督識別框架

1 車輛重識別模型

1.1 聯(lián)邦學習框架

本文使用聯(lián)邦學習技術進行車輛重識別。在深度學習模型訓練階段，采用了源域到目標域的模型集成方法，該方法包含了源域監(jiān)督學習和目標域無監(jiān)督適應。

如圖1 所示，本方法采用三層結構。最高層結構是中央服務器，具有高性能計算和數(shù)據(jù)共享能力，能夠執(zhí)行全局緩存和聚合計算任務。中間層有多個邊緣計算單元，每個采用不同的CNN 網(wǎng)絡結構，負責訓練重識別模型參數(shù)并上傳中央服務器。底層是若干監(jiān)控攝像頭，每個區(qū)域的攝像頭歸屬于該區(qū)域的邊緣計算單元，將采集到的車輛圖像原始數(shù)據(jù)上傳到邊緣計算單元中。

1.2 邊緣計算模型

在模型中，邊緣計算單元會接收到本地數(shù)據(jù)采集設備采集的圖像數(shù)據(jù)，并使用這些數(shù)據(jù)進行模型訓練。實驗階段，本文使用帶有標簽的源域數(shù)據(jù)的模型預訓練和不帶標簽的目標域數(shù)據(jù)的模型訓練相結合的方式對本地模型進行無監(jiān)督領域自適應的模型訓練。

本文將源域數(shù)據(jù)記為SD：

本文將帶有標簽平滑效果的交叉熵損失函數(shù)定義為：

當j=時：

Ms是源域車輛標識的數(shù)量，本文將σ設置為0.1。交叉熵損失表示圖像的網(wǎng)絡輸出的預測值和實際真實樣本標簽之間的差異。

考慮到傳統(tǒng)形式的三重損失函數(shù)無法支持多網(wǎng)絡的軟標簽訓練，本文中采用soft-max 的三重損失。損失函數(shù)定義為：

2)目標域無監(jiān)督學習：由于目標域上的圖像沒有進行人工標注，所以目標域無監(jiān)督的學習過程由一個基于聚類的偽標簽生成過程和一個特征學習過程組成，如圖2所示。訓練共三個步驟：目標域圖像的特征提取；將提取的特征進行聚類分簇；將聚類生成的簇用作偽標簽對模型進行訓練。

②特征進行聚類分簇：在聚類階段使用k-means的聚類方法。

③模型訓練：將聚類生成的簇用作偽標簽對模型進行訓練。

圖2 無監(jiān)督學習流程

為了在聚類的過程中獲得穩(wěn)定的偽標簽，本文引入身份損失函數(shù)和三重損失函數(shù)組成的決策損失函數(shù)。身份損失定義為具有標簽平滑的交叉熵損失，這里的三元組損失函數(shù)與監(jiān)督學習中的保持一致。整體聚類決策損失函數(shù)可以表示為：

針對不同模型間的獨立性，本文在每個計算單元向中央服務器提交參數(shù)的過程中引入時間平均模型。中央服務器使用經(jīng)過時間平均的模型參數(shù)來對其他網(wǎng)絡進行監(jiān)督訓練，減小因實驗參數(shù)不穩(wěn)定對整個模型訓練的影響。通過時間平均模型得到的參數(shù)定義為：

1.3 模型聚合

圖3 服務器上的模型聚合

圖3展示了本文提出的基于聯(lián)邦學習的多網(wǎng)絡協(xié)同學習模型。邊緣計算單元中部署的網(wǎng)絡使用硬偽標簽進行監(jiān)督模型訓練，從而能夠捕獲訓練數(shù)據(jù)的分布。使用中央服務器下發(fā)的硬偽標簽和本地模型聚類產(chǎn)生的在線軟偽標簽共同訓練協(xié)作網(wǎng)絡。通過使用在線硬偽標簽訓練邊緣計算單元上的網(wǎng)絡，可以迭代改進學習的特征表示，提供更準確的軟偽標簽，并進一步提高學習特征的鑒別性。

對于每個邊緣計算單元網(wǎng)絡模型，本文將其他模型的時間平均模型和當前網(wǎng)絡一次的分類預測模型之間的交叉熵損失定義為相互身份損失，某一個模型的相互身份損失設置為所有的其他模型在學習該模型時損失的平均值。將其表示為：

整個模型的相互身份損失可以定義為所有模型Mk相互身份損失的平均值：

另外，在對不同邊緣計算單元上傳的網(wǎng)絡模型預測進行聚合時，考慮到由于網(wǎng)絡結構的差異，可能造成聚合不收斂。針對聚合過程中的相互三元組損失，本文將其他模型在學習某一模型之間的相互三元損失定義為：

綜上所述，對于中央服務器中訓練網(wǎng)絡的損失函數(shù)為：

為了適應不同網(wǎng)絡模型的異質(zhì)性，本文引入了一種權重正則化模塊。它根據(jù)每個邊緣計算單元網(wǎng)絡模型的集群間和集群內(nèi)分散度來調(diào)制不同模型的權重值。網(wǎng)絡模型在提取圖像特征后，用聚類算法將所有樣本分組為Mt，聚類為C。每個模型的權重可定義為聚類間散點和聚類內(nèi)散點之和的比值，以此得到每個網(wǎng)絡模型的權值。在協(xié)同學習的過程中，該權值表示中央服務器對各邊緣計算單元提交的模型參數(shù)進行融合時的置信度。簇Ci的簇內(nèi)散度可以計算為：

μi是簇Ci的平均特征，表示Ci中的特征個數(shù)，簇間散度的定義為：

μ表示所有訓練目標域樣本的平均特征。簇間散度與簇內(nèi)散度之和的比率R可以定義為：

如果一個模型具有較好的識別能力，則當簇間散度較大或簇內(nèi)散度越小時，R的標量就會越大。

對于主服務器中的動態(tài)聚合，在每個迭代的特征學習之前，每一個模型Mk的權重wk可以定義為R的均值歸一化。所以對上述互相關身份損失和互相關三重損失可以重新定義為：

很多企業(yè)管理者對審計價格、經(jīng)濟合同的流程并不了解，使得要么審計者并不能自如的進行評估審核，要么使得經(jīng)費濫用嚴重，造成重大損失。企業(yè)只是單方面的重視各類活動的事后經(jīng)濟審計，忽略了事前預算審計的重要性，許多經(jīng)費使用者套用經(jīng)費的現(xiàn)象依舊存在，并且依舊嚴峻。另外，一些人對于各類企劃的預算編制沒有節(jié)制[2]，使得最終使用的經(jīng)費與當初的預算有著很大的偏差，導致出現(xiàn)很大的浪費。

通過權重正則化方案，中央服務器中調(diào)節(jié)了每個邊緣計算單元的權重，以促進在目標領域的識別。在訓練過程，將硬偽標簽和軟標簽與提出的軟損失相結合，對多個邊緣計算單元進行訓練。

1.4 實驗參數(shù)

本文采用DenseNet-121、ResNet-50 和Inceptionv3作為三個分支。使用骨干網(wǎng)絡與SE注意力機制融合來提取圖像特征。對于訓練集的每個標識，用隨機選擇的車輛和隨機采樣的圖像進行采樣，用于計算批處理三聯(lián)體損失。使用權重衰減為0.000 5 的Adam衰減函數(shù)。設置初始學習率為0.000 35，在總共80個epoch的訓練中，在第40個epoch和第70個epoch達到之前值的1/10。

在目標域訓練的過程中，共有100 個訓練迭代過程，學習率設置為0.000 35。在每一次訓練迭代過程中都進行一次500個集群的聚類，一次訓練迭代過程由800個訓練迭代組成。

1.5 實驗結果

將本文提出的算法與現(xiàn)有具體有代表性的無監(jiān)督領域自適應的車輛重識別算法進行比較[4]。對比算法如下：

①FACT：該算法使用車輛的顯著特征和卷積神經(jīng)網(wǎng)絡提取的GoogleNet 深度特征進行融合作為偽標簽進行無標簽目標域的車輛重識別[5]。

②MixedDiff+CCL：該算法利用雙分支深度卷積網(wǎng)絡將原始車輛圖像投影到歐幾里得空間中，其中距離可以直接用來度量任意兩輛車輛的相似性，實現(xiàn)車輛重識別任務。

③PUL：該算法使用一種局部正則化的方法，將局部特征和非局部特征集成到一個統(tǒng)一的架構中。

⑤CycleGAN：該算法提出了多對多映射的方法克服了傳統(tǒng)一對一映射的局限性。

⑥DirectTransfer：該方法使用已有的網(wǎng)絡結構在源域數(shù)據(jù)上進行訓練得到網(wǎng)絡模型后，直接在目標域上進行測試。

⑦VR-PROUD：該算法結合圖像的多種特征，通過兩個漸進式程序考慮車輛重新識別。

⑧PAL：該算法基于FDNet的多標簽學習算法，為目標域中未標記的樣本分配多個潛在標簽，通過特征融合形成偽標簽。

本文在VeRi-776 和VehicleID[6]兩個數(shù)據(jù)集上進行了實驗，將兩個數(shù)據(jù)集進行交叉學習。VehicleID作為源域，VeRi-776作為目標。實驗結果如表1所示：

表1 VeRi-776測試集對比結果

VeRi-776作為源域，VehicleID 作為目標域，實驗結果如表2所示。

表2 VehicleID 測試集對比結果

通過觀察表1、表2，在本算法與FACT 和Mixed-Diff+CCL算法的比較中，本模型mAP和Rank值[7]都有了很大程度的提升。這是因為FACT使用淺層顯著特征，MixedDiff+CCL 對淺層顯著特征進行簡單的度量學習。由此可知對圖像進行深層次的特征提取的優(yōu)勢。與VR-PROUD 和PUL 進行比較，各指標均有提升。這是因為這兩類算法中k-means 聚類模塊在形成偽標簽時，簇的數(shù)量未知，會存在漏檢。與Direct-Transfer 進行比較，相比直接將源域上的訓練模型應用到目標域的方法，本方法各項指標上都超越了很多。以上證明了本方法可以滿足跨域車輛重識別的任務。

與CycleGAN 算法相比，本算法各項指標均有提升。這是由于本算法通過迭代后，中央服務器對于各邊緣計算單元提供的偽標簽進行聚合，得到新的偽標簽使得在訓練時目標區(qū)域的真實樣本能更可靠地生成特征。結果表明了目標域可靠偽標簽的優(yōu)越性。

對比PAL算法，本算法各項指標均有提升。這是因為該算法雖然同樣使用偽造標簽法進行無監(jiān)督訓練，但骨干網(wǎng)方面只使用了Resnet-50。本文使用了多個邊緣網(wǎng)絡進行協(xié)同學習，通過多網(wǎng)絡的互相監(jiān)督增強偽標簽的準確性。證明了通過多個網(wǎng)絡聯(lián)邦學習的必要性。

2 結束語

本文提出了一種利用聯(lián)邦學習框架進行無監(jiān)督域車輛重新識別的方法。該方法利用邊緣計算單元對具有不同網(wǎng)絡架構的多個模型進行預訓練。經(jīng)過訓練，每個計算單元將模型參數(shù)傳輸?shù)街鞣掌鳌Ｔ诜掌髦校鄠€模型被聚合，并利用未標記的目標域樣本進行重復的協(xié)作學習，以適應其他模型。實驗結果表明，該方法有效提高了車輛重新識別模型的識別能力。