基于聯邦學習的多源異構數據融合算法

莫慧凌 鄭海峰 高 敏 馮心欣

(福州大學物理與信息工程學院 福州 350108)

在信息化時代，海量的邊緣數據將給以云計算模型為核心的數據集中化處理模式帶來許多問題，一是將數據全部上傳至云端的處理方式，不僅效率低下，而且造成額外的帶寬開銷，同時網絡延遲也會增加.二是由于用戶隱私意識的提高，邊緣設備的數據很有可能在上傳鏈路時泄密，個人隱私的安全問題無法得到保障.而分布式數據處理模式可以有效地解決傳統云計算存在的時延和效率問題.同時，針對“數據孤島”問題，谷歌公司首次提出了“聯邦學習”這個概念.通過在多個邊緣設備上利用各自的訓練樣本對模型進行單獨的訓練，并通過模型參數聚合實現在不透露用戶隱私的前提下多源信息的共享.

此外，邊緣設備的多樣性使得設備采集到的數據在標注、語義和存在形式等方面都呈現多樣性.多模態數據廣泛存在.不同的模態數據可以從多個方面描述目標對象，通過消除冗余數據和融合各種數據源進行關聯補充分析，數據可以涌現出更多有價值的新信息，從而實現1+1>2的效果.從互聯網和移動設備收集的多媒體數據是典型的非結構化數據，與傳統的易于存儲的結構化數據格式存在顯著差異.因此，對不同邊緣設備采集到的多源異構數據處理成為大數據研究中亟需解決的問題.

在傳統的多源異構數據融合算法中，數據集中化處理在實際應用中存在數據隱私泄露的風險.因此，對于不透露用戶隱私前提下的多源異構數據處理還存在許多難題：首先，由于企業競爭和用戶的隱私保護意識，使得數據互通長期處于閉塞狀態，無法實現信息共享，從而無法充分發揮異構數據的價值.其次，利用神經網絡對數據進行處理，根據數據設計的模型一旦確定后就無法更改.然而在邊緣計算中，邊緣設備所采集的數據結構和種類數目存在差異.若針對各個網絡邊緣設備上的數據設計適用于各自數據特征的神經網絡，工作量極大，同時該模型只能適用于單一節點或者和該節點數據特征相同的邊緣設備，普適性不高，也無法充分發揮物聯網中其他的異構數據的價值.

為解決邊緣計算中，在不泄露用戶隱私的前提下實現多源異構數據的融合問題，本文提出了一種基于聯邦學習的多源異構數據融合算法.從邊緣設備采集到的數據結構特點入手，結合張量Tucker分解理論，研究能夠在各異的邊緣設備上自適應處理多源異構數據模型，解決聯邦學習中由于處理異構數據的模型不統一帶來的單一適應性問題.

1 相關工作

目前，針對聯邦學習以及異構數據融合的研究已經取得了眾多的成果.

1.1 聯邦學習

由于移動設備和邊緣設備的廣泛使用，Yang等人提出的一種人工智能技術——聯邦學習，是由一個中央服務器協調多個客戶端在不公開數據的前提下，協同完成一個學習任務.

聯邦學習有很多優點.首先，相比于云計算模型，聯邦學習只發送更新的模型參數進行聚合，這極大降低了數據通信的成本，提高了網絡帶寬的利用率.其次，用戶的原始數據不需要發送至云端，這避免了數據在上傳鏈路時泄露用戶隱私的可能.再者，聯邦學習的模型訓練可以在邊緣節點或終端設備上進行訓練和實時決策，時間延遲會比在云端進行決策時得到極大地改善.

在聯邦學習中，數據安全是一個主要研究方面.Mcmahan等人提出了用戶級的差分隱私訓練算法，通過將隱私保護添加到聚合算法中，有效地降低了從傳輸模型中恢復個人信息的可能.另一方面，Beimel等人提出了差分隱私混合模型，通過用戶的信任偏好對用戶進行分區，從而減少所需用戶基數的大小.Dong等人將梯度選擇和秘密分享的算法結合起來，在保證用戶隱私和數據安全的情況下大幅提升了通信效率.

在聯邦學習中的資源優化方面，Tran等人考慮通過無線網絡進行聯邦學習，提出了優化能源消耗和全球聯邦學習時間的問題.Wang等人提出了一種控制算法，可以在全局參數聚合和局部模型更新之間進行權衡，以在資源預算約束下將損失函數降至最低.Wang等人提出了一種聯邦學習框架In-Edge-AI，以實現邊緣計算中的智能資源管理.

1.2 多源異構數據融合

數據融合系統中的數據逐漸多元化且數量巨大，這迫使人們對系統效率的提高有了更高的要求.Microsoft研究院的Zheng將異構數據融合方法分為3種類型：1)基于階段的數據融合方法；2)基于特征的數據融合方法；3)基于語義的數據融合方法.

基于階段的數據融合方法是指在數據挖掘的過程中，不同階段利用不同的數據進行分析.Pan等人首先使用GPS軌跡數據和道路網絡數據檢測交通異常，通過檢索與交通異常位置相關的社交媒體信息(例如Twitter)，最后分析交通異常的特定事件內容.這種融合方法的異構數據之間沒有交互作用，失去了異構數據之間互補的優勢，很難實現真正的內在數據融合.

基于特征的融合方法通過提取每個異構數據的特征，然后對特征進行分析和處理.因此，提取的特征質量以及融合方法都將對融合效果具有決定性的影響.Liu等人整合不同視圖的面部信息，將不同維度的深度學習特征向量融合以實現基于深度異構性特征的面部識別.Ouyang等人將人類異構信息特征的3個來源進行非線性融合，可以更準確地估計身體姿勢.Wang等人設計了張量深度學習計算模型，利用張量對多源異構數據的復雜性進行建模，將向量空間數據擴展到張量空間，并在張量空間中進行特征提取.Zadeh等人提出了張量融合網絡用于解決多模態的情感分析，通過笛卡兒積的方式將多種模態進行融合，實現對情感的分類分析.

基于語義的融合方法了解每個數據集以及跨數據集的特征之間的關系，認為提取到的異構數據的特征是可解釋的.Zheng等人提出了一種基于協同訓練的模型來預測整個城市空氣質量，利用空氣質量具有時間以及空間的依賴性的特點，分別針對時空數據設計了2個分類器，通過將不同的時空特征輸入到不同的分類器，從而在不同標簽上生成2組概率，最大化地選擇標簽.

上述工作主要考慮了單一節點上的多源異構數據融合問題.而針對聯邦學習中的多源異構數據融合問題，目前尚未有相關工作報道.

2 基于聯邦學習的多源異構數據融合

本文主要針對網絡邊緣設備由于數據隱私性，無法進行數據通信情況下實現多源異構數據的融合進行研究.通過引入張量分解理論，構建一個具有異構數據空間維度特性的高階記憶單元，在不透露用戶隱私的前提下，利用記憶單元對多源異構數據進行有效地融合.同時，能夠在不額外增加模型規模的條件下實現對多源異構數據的自適應學習.

2.1 聯邦學習系統模型

本文針對異構數據在不進行數據互通前提下的融合問題，考慮在邊緣計算中引入聯邦學習，在不暴露用戶自身隱私的前提下實現對多用戶潛在特征的學習，其系統基本架構如圖1所示.在該框架中，系統由邊緣節點、物聯網和云端服務器組成，其中邊緣節點通過物聯網(如網關和路由器)與云端服務器互聯.

Fig. 1 The system model for federated learning圖1 聯邦學習系統模型

聯邦學習是一種分布式學習框架，其中原始數據被收集并存儲在多個邊緣節點上，并在節點處執行模型訓練，然后將模型通過節點與云端服務器的交互逐步優化學習模型.

基于以上框架，聯邦學習可以從多個獨立的邊緣節點上使用本地數據協同訓練一個泛化的共享模型，通過模型傳輸替代數據傳輸，規避了用戶隱私泄露的風險.

2.2 算法的總體設計

如圖2所示，本文所提出的基于聯邦學習的多源異構數據融合算法主要分成特征提取模塊、特征融合模塊和特征決策模塊.其中特征提取模塊由各種異構數據對應的特征提取子網絡構成.

在初始化階段，中心控制節點對模型中的特征提取模塊、特征融合模塊和特征決策模塊進行網絡參數隨機初始化，并下發至邊緣節點.

在模型訓練階段，邊緣節點接收到中心控制節點下發的模型后，根據本地節點上的數據集結構選擇對應的特征提取模塊，并利用本地數據集對特征提取模塊、特征融合模塊和特征決策模塊進行訓練.邊緣節點新一輪訓練的終止條件是本地節點訓練輪數超過給定的訓練輪數.待訓練完成后將各自的訓練模型返回至中心控制節點進行模型聚合.

在模型聚合階段，對于特征融合模塊和特征決策模塊采用平均聚合算法，對于特征提取模塊，則是根據得到的對應特征提取子模塊進行平均聚合，以確保同一模態的數據提取的特征具有相似性.最后，將更新后的模型重新下發至邊緣節點進行新一輪的訓練.

Fig. 2 The overview of the proposed algorithm圖2 算法總體框架

2.3 子模塊設計

2.3.1 特征提取模塊

本文假設待處理的異構數據分別為音頻、視覺和文本數據.在特征提取模塊，本節根據不同模態的特征，采用了不同的特征提取子網絡分別對音頻、視覺及文本信息進行特征提取.

1) 音頻、視覺特征子網絡.針對音頻信息和視覺信息，分別采用了COVAREP聲學分析框架和FACET面部表情分析框架對MOSI數據集進行特征采樣提取(采樣頻率分別為100 Hz和30 Hz).

Fig. 3 Text feature sub-network圖3 文本特征子網絡

2) 文本特征子網絡.口語文本在語法及表達上不同于書面文本，例如“我覺得挺好的……，不過，我覺得這個方法還有待改善”這種口語在書面語言中很少出現.處理口語這種具有多變性語言的關鍵在于建立能夠在不可靠的情況下運行的模型，以及通過關注重要的詞語來表現特殊的言語特征.如圖3所示，本文提出的文本特征提取網絡在編碼部分先采用全局詞向量對口語詞進行預處理，同時使用知短時記憶(long short-term memory, LSTM)網絡學習與時間相關的語言表示，并將其作為CNN網絡的輸入.在卷積層中，通過卷積核對文本信息實現細粒度更小的局部特征提取.

2.3.2 特征融合模塊

Fig. 4 Heterogeneous data fusion based on Tucker decomposition圖4 基于Tucker分解的異構數據融合

以圖4為例，當待處理的異構數據特征分別為，，時，記憶單元為一個三階張量，且此張量的3個維度分別對應于3種異構數據特征，，的特征空間

.

在本節提出的異構數據特征融合中，通過將異構數據特征與記憶單元對應的特征空間進行模乘，可得到具有該異構數據特征的記憶單元，并以此進行進一步的特征融合操作

.

融合操作主要分成3個階段：首先，記憶單元沿著一階與異構數據特征進行模乘，得到具有特征的新記憶單元

.

其次，記憶單元沿著二階與異構數據特征進行模乘，得到具有和特征的記憶單元

.

最后，記憶單元沿著三階與異構數據特征進行模乘，最終得到具有三者特征的融合張量

.

其具體過程可以表示為=((×)×)×，

(1)

2

.

3

.

3 特征決策模塊針對融合后的數據，本節采用了傳統的全連接層在全局特征的基礎上進行決策，包括回歸模型的預測和分類模型的概率預測

.

在該模塊中，采用了

L

1范數損失函數

L

1

Loss

對目標值和預測值之間的誤差進行了衡量

.

其具體表達式為

(2)

其中

l

的表達式為

(3)

2.4 基于聯邦學習的多源異構數據融合

假設有

N

個邊緣節點{

E

,

E

,…,

E

}參與共享模型的訓練，且所有邊緣節點共采集到

M

種異構數據

.

在初始化階段，云端根據采集到的

M

種異構數據，設計對應的特征提取模塊，特征融合模塊，特征決策模塊

.

則共享模型可表示為

(4)

(5)

其中，表示第

i

種異構數據的特征提取子網絡

.

=

I

(;)，=

I

(;|)，

(6)

其中|表示在具有特征的基礎上對的特征進行融合

.

在該過程中，模型首先利用記憶單元對特征進行記憶，得到具有特征的模型，并將此作為特征進行融合時的先驗條件，從而在模型訓練過程中，記憶單元不但能對各個異構數據的空間維度特征進行學習，還能對不同異構數據之間的潛在聯系進行捕捉

.

Fig. 5 Multi-source heterogeneous data fusion based on federated learning圖5 基于聯邦學習的多源異構數據融合

節點

N

上的訓練機制和節點1類似

.

上述過程可表示為

(7)

在模型聚合階段，由于各個邊緣節點采用特征提取器自適應選擇機制對特征提取模塊進行訓練，因此在模型聚合時，需要先將各個邊緣節點選擇訓練的特征提取子網絡進行歸并，再采用平均聚合算法得到具有全局異構數據特征的共享模型，該過程表示為

(8)

(9)

3 實驗結果與分析

為驗證本文算法的有效性，主要從單節點異構數據融合和多節點異構數據融合2個方面對本文算法的性能進行評估.基于Tucker分解的單節點異構數據融合實驗，主要是通過單節點實現多源異構數據上的回歸任務和分類任務對本文算法的性能進行評估，并與目前存在的幾種主流異構數據融合算法進行了對比；基于Tucker分解的多節點異構數據融合實驗，通過多節點實現多源異構數據上的回歸任務和分類任務對本文算法的性能進行評估.

3.1 數據集設置和評價指標

本實驗采用MOSI數據集，該數據集是YouTube上來自于視頻影評的多模態情感數據集，包含了來自89位評論者的93個視頻，每個視頻的長度為2～5 min，包含了口語(字幕)、圖像和語音3種信息.對于該數據集中的各個樣本，均以人工方式對情緒進行評分，其分值位于[-3,3]之間.

本實驗從回歸任務和分類任務2個方面驗證所提算法在多個任務上的有效性.在分類任務中，對分值量化如表1所示：

Table 1 Quantification of Emotional Score表1 情緒分值量化表

對于回歸任務，本節實驗采用平均絕對誤差(

MAE

)和皮爾遜相關系數(

Corr

)對本文算法的性能進行分析，其對應表達式為

(10)

(11)

對于分類任務，本節實驗采用精度(

Acc

)和

F

1指數對本文算法性能進行評估，其中表示類別的數目，其對應的表達式為

(12)

(13)

其中

TP

，

FP

，

TN

，

FN

分別為真陽性、假陽性、真陰性和假陰性的樣本數

.Acc

越高，模型的分類的精度越高，性能越好；

F

1越高，模型對各個類別的識別能力越均衡，性能越好

.

3.2 單節點異構數據融合實驗分析

本節實驗對擁有3種模態的情感數據集MOSI分別進行了回歸任務和分類任務的訓練

.

設置3種模態的特征提取子模塊的特征輸出數為

R

，其中

k

表示為第

k

種模態

.

考慮到特征提取數

R

對于訓練效率以及實驗性能起到直接的作用

.

因此，本實驗首先對比了不同的特征提取數的組合(

R

，

R

，

R

)分別對回歸任務和分類任務的性能影響

.

在本實驗中，設置各個模態的特征提取數集合為{8,16,32}

.

為驗證本文算法的性能，從回歸任務和分類任務2個方面對比了6種算法在單節點情況下的多源異構數據融合上的表現能力

.

3

.

2

.

1 回歸任務回歸任務中關于各個模態特征提取數的定量實驗結果如表2所示

.

觀察可知，本文算法在回歸任務上的

MAE

主要集中在0

.

95～1

.

05之間

.

Table 2 MAE of MOSI Dataset Regression Task表2 MOSI數據集回歸任務MAE

觀察分析可知，對于回歸任務來說，當3個模態的特征提取數的組合為(8，8，16)時，性能更為顯著.

實驗設置回歸任務上各個模態的特征提取數分別為8，8，16.表3記錄了本文算法與6種算法在回歸任務上的性能對比.由表可知，本文算法與最優算法TFN在回歸任務上性能相當，優于大多對比算法.雖然本文提出的異構數據融合算法在單節點上的回歸任務性能低于LMF算法，但其旨在應用于聯邦學習中對多源異構數據進行有效地融合，而現有的異構數據融合算法是在單節點上實現的，并不一定適合于聯邦學習中.

Table 3 Performance Comparison of Regression Tasks on the MOSI Dataset

3.2.2 分類任務

對于分類任務來說，模型對各個模態特征提取數的敏感度會低于回歸任務

.

因此，本實驗中設置分類任務上各個模態的特征提取數分別為8，8，16

.

表4記錄了本文算法與6種算法在分類任務上的性能對比

.

其中

Acc

_2和

F

1是二分類任務評價指標，

Acc

_7為多分類評價指標

.

由表4可知，本文算法在分類任務上性能優于TFN及大多數對比算法，而與LMF算法性能相當.

Table 4 Performance Comparison of Classification Tasks on the MOSI Dataset

討論：雖然本文算法在單節點上性能表現并不是最好，但在聯邦學習框架下有3個優勢：1)對異構數據具有更強的自適應性.與其他算法相比，本算法在訓練時不需要同時輸入所有類型的異構數據，因此更適合在聯邦學習中的不同類型的邊緣節點中應用.2)更好地保護了數據隱私.本算法避免了將多種異構數據同時發送至同一處進行訓練而可能存在的隱私泄露風險.3)大大降低了傳輸帶寬.本算法只需傳輸提取該邊緣節點擁有的異構數據對應的特征提取子網絡模型參數，而無需傳輸提取所有異構數據特征的模型參數.

3.3 多節點異構數據融合實驗分析

為驗證本文算法在聯邦學習框架下對多源異構數據融合的性能，本節實驗將從2個方面對本文算法的性能進行評估：首先通過對訓練子節點上的異構數據的部署來驗證本文算法對異構數據的自適應能力.如表5所示，對于訓練子節點上數據集的具體部署策略主要分成3類：1)單模態數據，即各個訓練子節點上的數據集僅為單一結構的數據；2)雙模態數據，即各個訓練子節點上的數據集為任意2種結構的數據；3)三模態數據，即各個訓練子節點上擁有所有結構的數據.其次，通過同一種多節點異構數據部署策略下訓練的模型，在不同模態的異構數據上的表現，驗證本文算法的普適性和泛化性.在本實驗中，采用的特征提取數的組合(

R

，

R

，

R

)=(8，8，16)

.

Table 5 Multi-Node Heterogeneous Data Deployment Strategy

3.3.1 回歸任務

對于回歸任務，評價指標為

MAE

和

Corr

.實驗結果如表6所示，對于回歸任務來說，根據何種模態數據訓練出的模型在該種模態數據上的性能表現最為顯著.模型的預測值和樣本的相關性隨著訓練模態數的增加而顯著提升，且多模態訓練模型對模態間潛在聯系的學習具有向下兼容性.

在回歸任務上，當訓練數據的模態數越高，模型在與訓練集模態數不同的測試集上的性能表現越好.這是因為多模態模型在訓練的過程中，除了學習各個模態本身具有的特征以外，對各個模態之間的潛在聯系也進行了學習，因此，對于高模態數的訓練模型來說，學習到的各個模態之間潛在聯系的組合種類也就越多，回歸任務的性能就越好.

Table 6 Performance of Regression Tasks on the MOSI Dataset

3.3.2 分類任務

對于分類任務，指標為

Acc

_2，

F

1，

Acc

_7，其中

Acc

_2和

F

1為二分類任務評價指標，

Acc

_7為多分類任務評價指標.實驗結果如表7所示，根據何種模態數據訓練出的模型在該種模態數據上的性能表現最為顯著.單模態訓練模型對于多模態數據的融合是通過云端聚合方式實現的，模型學習到的只是各個模態上各自的特征，而學習不到各個模態之間潛在的聯系，得到的只是具有本地訓練模態特征的局部最優解；而對于多模態訓練，不論是雙模態還是三模態，模型訓練的過程中除了各個模態本身特征的學習，同時還對模態之間的潛在聯系進行了學習，云端聚合也通過信息共享擴大了對數據樣本的學習.

Table 7 Classification Task Performance on the MOSI Dataset

4 總 結

本文提出了一種基于聯邦學習的多源異構數據融合算法，該算法利用了Tucker分解理論，通過構建一個具有異構數據空間維度的高階張量，實現對多模態數據的融合和記憶.相較于其他算法，該算法能夠在不進行數據互通的前提下，對多源異構數據進行有效地融合，從而打破了由于隱私安全問題帶來的數據通信壁壘.同時，該算法能夠同時根據訓練節點所擁有的異構數據結構，在不增加多余模型訓練規模的前提下自適應地對不同種類的異構數據進行處理，從而在分布式訓練中能夠更高效地實現對通信帶寬的利用率，減少不必要的傳輸，降低對網絡邊緣設備計算力和存儲力的要求，同時，模型也具有更高的普適性和泛化性.

作者貢獻申明

：莫慧凌負責方案的實施、實驗結果整理與分析以及論文撰寫與修訂；鄭海峰指導方案設計，把握論文創新性，并指導論文撰寫與修訂；高敏負責方案設計與實施，以及論文撰寫;馮心欣參與方案可行性討論.