基于聯(lián)邦多任務(wù)學(xué)習(xí)的智慧教室隱私保護(hù)研究

摘要：在5G時代，隨著聯(lián)網(wǎng)設(shè)備的增多，智慧教室中的數(shù)據(jù)傳輸變得異常復(fù)雜，將聯(lián)邦學(xué)習(xí)應(yīng)用于智慧教室的隱私保護(hù)具有重要意義。盡管已有的聯(lián)邦學(xué)習(xí)技術(shù)在平衡公平性和準(zhǔn)確性方面取得了積極進(jìn)展，但在解決智慧教室場景中的隱私保護(hù)問題方面還不夠徹底。基于此，文章首先剖析了智慧教室中的多任務(wù)學(xué)習(xí)場景，建立了適用于智慧教室的多任務(wù)機(jī)器學(xué)習(xí)公平性模型。隨后，文章提出了基于聯(lián)邦學(xué)習(xí)框架的智慧教室隱私保護(hù)策略——聯(lián)邦多任務(wù)機(jī)器學(xué)習(xí)框架。為了驗(yàn)證此框架的有效性，文章開展了計(jì)算機(jī)仿真實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果顯示：聯(lián)邦多任務(wù)機(jī)器學(xué)習(xí)框架不僅實(shí)現(xiàn)了多任務(wù)機(jī)器學(xué)習(xí)公平性和準(zhǔn)確性的平衡，而且具有較強(qiáng)的隱私保護(hù)能力。文章的研究可為教育數(shù)據(jù)隱私保護(hù)提供重要參考，并有力推動教育數(shù)字化轉(zhuǎn)型。

關(guān)鍵詞：智慧教室；聯(lián)邦學(xué)習(xí)；隱私保護(hù)；多任務(wù)機(jī)器學(xué)習(xí)

【中圖分類號】G40-057 【文獻(xiàn)標(biāo)識碼】A 【論文編號】1009—8097（2024）09—0123—10 【DOI】10.3969/j.issn.1009-8097.2024.09.012

引言

2021年，教育部發(fā)布《高等學(xué)校數(shù)字校園建設(shè)規(guī)范（試行）》，提出“加強(qiáng)信息化教學(xué)環(huán)境建設(shè)，提高信息系統(tǒng)安全、數(shù)據(jù)安全和內(nèi)容安全等級”^[1]。同年，《教育部等六部門關(guān)于推進(jìn)教育新型基礎(chǔ)設(shè)施建設(shè)構(gòu)建高質(zhì)量教育支撐體系的指導(dǎo)意見》提出，要促進(jìn)學(xué)校物理空間與網(wǎng)絡(luò)空間一體化建設(shè)，打造平安校園^[2]。在國家政策的支持與引導(dǎo)下，智慧教室的建設(shè)在我國如火如荼地開展起來。隨著聯(lián)網(wǎng)設(shè)備的增多，以5G通信為基礎(chǔ)的智慧教室數(shù)據(jù)傳輸變得異常復(fù)雜，教育大數(shù)據(jù)的隱私和安全問題成為阻礙智慧教育發(fā)展的重要因素^[3]。多項(xiàng)研究認(rèn)為將聯(lián)邦學(xué)習(xí)應(yīng)用于智慧教室的隱私保護(hù)，可以有效保障本地?cái)?shù)據(jù)的隱私安全，同時滿足智慧教室分布式計(jì)算的需求^[4][5]。

當(dāng)前，聯(lián)邦學(xué)習(xí)技術(shù)主要針對單一目標(biāo)的機(jī)器學(xué)習(xí)任務(wù)，通過帕累托邊界（Pareto Frontier）來表征任務(wù)的準(zhǔn)確性和公平性^[6][7][8]。但在給定資源的限制下，帕累托邊界無法同時最大化多個目標(biāo)函數(shù)。多任務(wù)機(jī)器學(xué)習(xí)能同時考慮多個相關(guān)但不同的任務(wù)，通過共享知識來提高機(jī)器學(xué)習(xí)模型的效率和性能，因而其在聯(lián)邦學(xué)習(xí)框架中的地位日益凸顯。為了實(shí)現(xiàn)多任務(wù)機(jī)器學(xué)習(xí)的帕累托優(yōu)化，有研究認(rèn)為可以利用公平約束來確保機(jī)器學(xué)習(xí)模型對所有任務(wù)都產(chǎn)生公正的結(jié)果^[9]。然而，由于不同任務(wù)具有不同的權(quán)重和優(yōu)先級，故在進(jìn)行權(quán)重分配的實(shí)際操作時還缺少一定的靈活性。對此，Chen等^[10]提出了一種基于注意力機(jī)制的多任務(wù)機(jī)器學(xué)習(xí)方法，其通過引入注意力機(jī)制，針對不同任務(wù)動態(tài)調(diào)整注意力的權(quán)重，使機(jī)器學(xué)習(xí)模型能夠更好地適應(yīng)每個任務(wù)的需求；Yang等^[11]提出了一種基于自適應(yīng)加權(quán)的多任務(wù)機(jī)器學(xué)習(xí)方法，其通過引入一個自適應(yīng)權(quán)重矩陣，根據(jù)任務(wù)之間的相似度和數(shù)據(jù)分布的差異性來自適應(yīng)地調(diào)整任務(wù)的權(quán)重；Ohno^[12]提出了一種基于深度生成模型的多任務(wù)機(jī)器學(xué)習(xí)方法，其利用生成對抗網(wǎng)絡(luò)來生成任務(wù)相關(guān)的特征，并通過訓(xùn)練生成器和判別器來優(yōu)化模型的準(zhǔn)確性和公平性；而Taherkhani等^[13]基于遷移學(xué)習(xí)的方法，通過利用源任務(wù)的知識來輔助目標(biāo)任務(wù)的學(xué)習(xí)。

盡管上述研究在平衡公平性和準(zhǔn)確性方面取得了積極進(jìn)展，但對于解決智慧教室場景中的隱私保護(hù)問題還不夠徹底，主要表現(xiàn)在：①通過注意力機(jī)制調(diào)整任務(wù)權(quán)重需要大量的計(jì)算資源來訓(xùn)練機(jī)器學(xué)習(xí)模型，這在常規(guī)的智慧教室環(huán)境下難以實(shí)現(xiàn)；②自適應(yīng)加權(quán)方法難以準(zhǔn)確捕獲任務(wù)之間的復(fù)雜關(guān)系，不符合真實(shí)的智慧教室運(yùn)行規(guī)律；③生成對抗網(wǎng)絡(luò)、遷移學(xué)習(xí)等方法容易忽略源任務(wù)與目標(biāo)任務(wù)之間的差異性。鑒于此，本研究聚焦智慧教室中的隱私保護(hù)需求，建立適用于智慧教室的多任務(wù)機(jī)器學(xué)習(xí)公平性模型，并探索將該模型部署在智慧教室群中的方法，以在實(shí)現(xiàn)多任務(wù)機(jī)器學(xué)習(xí)準(zhǔn)確性和公平性的同時，增強(qiáng)對智慧教室數(shù)據(jù)的隱私保護(hù)。

一 智慧教室中的多任務(wù)學(xué)習(xí)場景

智慧教室中含有多種智能設(shè)備，每種智能設(shè)備產(chǎn)生的數(shù)據(jù)內(nèi)容和含義不盡相同。為每種數(shù)據(jù)單獨(dú)設(shè)置一個機(jī)器學(xué)習(xí)任務(wù)，既不符合智慧教室的實(shí)際運(yùn)行情況，也滿足不了多種數(shù)據(jù)聯(lián)合分析的教學(xué)需求。要想同時處理多種智能設(shè)備的數(shù)據(jù)，首先需要建立適用于智慧教室的多任務(wù)機(jī)器學(xué)習(xí)公平性模型（下文簡稱“多任務(wù)公平性模型”）。

1 智慧教室中的智能設(shè)備

智慧教室中的智能設(shè)備是指一系列用于實(shí)現(xiàn)信息化教學(xué)、管理和互動的軟硬件系統(tǒng)，以輔助教學(xué)內(nèi)容的呈現(xiàn)和學(xué)習(xí)資源的獲取，并優(yōu)化課堂互動、情境感知和環(huán)境管理^[14][15]。這些智能設(shè)備主要包括：①物聯(lián)網(wǎng)設(shè)備。物聯(lián)網(wǎng)設(shè)備是一種以5G通信為基礎(chǔ)的智能感知系統(tǒng)，包括智能照明系統(tǒng)、智能投影系統(tǒng)、智能黑板系統(tǒng)、學(xué)生考勤系統(tǒng)、智能門禁系統(tǒng)、教室監(jiān)控系統(tǒng)等^[16]。②智能手環(huán)。智能手環(huán)可用于監(jiān)測學(xué)生的健康數(shù)據(jù)，如心率、步數(shù)、睡眠質(zhì)量等。教師和學(xué)校管理人員可以通過這些數(shù)據(jù)了解學(xué)生的身體狀況，及時關(guān)注學(xué)生的健康問題。③智能手機(jī)。學(xué)生可以利用智能手機(jī)獲取學(xué)習(xí)資源、瀏覽課件、觀看教學(xué)視頻，也可以通過智能手機(jī)上的應(yīng)用程序參與課堂互動、回答問題、提交作業(yè)等^[17]。④智能手表。智能手表集成了多種傳感器和通信技術(shù)，能夠與智能手機(jī)或其他設(shè)備進(jìn)行數(shù)據(jù)交換，教師和學(xué)生可以將其用于運(yùn)動追蹤、通訊聯(lián)絡(luò)、日程提醒等。⑤智能平板。教師可以使用平板電腦展示課件、教材、圖片、視頻等；學(xué)生可以通過平板電腦參與答題、討論、小組合作等學(xué)習(xí)活動，從而提升其參與度和學(xué)習(xí)效果。

2 智慧教室中的多任務(wù)公平性模型

如果將每一個智能設(shè)備產(chǎn)生的數(shù)據(jù)視為一個學(xué)習(xí)任務(wù)，那么智慧教室就成為了一個多任務(wù)機(jī)器學(xué)習(xí)場景。通常情況下，單任務(wù)機(jī)器學(xué)習(xí)的目標(biāo)函數(shù)可以表示為L（t）+λF（t），其中L（t）表示任務(wù)t的準(zhǔn)確性損失，F(xiàn)（t）表示任務(wù)t的公平性損失，λ是平衡準(zhǔn)確性和公平性的參數(shù)^[18]。在有兩個任務(wù)t₁、t₂的情況下，可以使用公式（1）建立涵蓋兩個任務(wù)的公平性模型。其中，α∈[0， 1]表示任務(wù)t₁的比重。

公式（1）

本研究通過K-means算法對輸入數(shù)據(jù)進(jìn)行聚類來獲得數(shù)據(jù)的類別標(biāo)簽，此時多任務(wù)機(jī)器學(xué)習(xí)中不同的任務(wù)輸入便對應(yīng)聚類后的標(biāo)簽。假設(shè)有T個任務(wù)存在輸入數(shù)據(jù)x，每個數(shù)據(jù)對應(yīng)標(biāo)簽y；同時，令多任務(wù)機(jī)器學(xué)習(xí)模型的參數(shù)空間為θ=（θ_sh， θ₁， ...， θ_T），其中θ_sh為共享參數(shù)，θ₁， ...， θ_T為與任務(wù)相關(guān)的特定參數(shù)，那么多任務(wù)機(jī)器學(xué)習(xí)中第t個任務(wù)的目標(biāo)函數(shù)可用公式（2）表示。此時，多任務(wù)公平性模型可以表示為T個任務(wù)損失函數(shù)的聯(lián)合優(yōu)化，如公式（3）所示。

公式（2）

公式（3）

二 基于聯(lián)邦學(xué)習(xí)框架的智慧教室隱私保護(hù)策略

盡管多任務(wù)公平性模型可以在單個智慧教室中獨(dú)立地運(yùn)行，但在由多個智慧教室所構(gòu)成的智慧教室群中還需要建立參數(shù)共享和更新機(jī)制，才能有效解決“數(shù)據(jù)孤島”和隱私泄露問題。為此，本研究依托聯(lián)邦學(xué)習(xí)框架進(jìn)行多任務(wù)公平性模型的部署與全局參數(shù)優(yōu)化，提出基于聯(lián)邦學(xué)習(xí)框架的智慧教室隱私保護(hù)策略——聯(lián)邦多任務(wù)機(jī)器學(xué)習(xí)框架。

1 多任務(wù)公平性模型在智慧教室群中的部署

聯(lián)邦學(xué)習(xí)作為一種重要的分布式機(jī)器學(xué)習(xí)范式，可以通過共享模型參數(shù)（而不是原始數(shù)據(jù)）來有效解決“數(shù)據(jù)孤島”問題并增強(qiáng)隱私保護(hù)，是多任務(wù)機(jī)器學(xué)習(xí)模型部署的優(yōu)先選擇^[19]。由于每間智慧教室都有獨(dú)立的教學(xué)場景和數(shù)據(jù)分析任務(wù)，因此需要為每間智慧教室增加一個邊緣服務(wù)器（Edge Server，ES）節(jié)點(diǎn)。ES節(jié)點(diǎn)不僅可以實(shí)現(xiàn)學(xué)習(xí)任務(wù)的計(jì)算、數(shù)據(jù)存儲和傳輸，還可以保證本地機(jī)器學(xué)習(xí)模型獨(dú)立地運(yùn)行而不受其他智慧教室的影響。

本研究將在聯(lián)邦學(xué)習(xí)框架中部署多任務(wù)公平性模型的方式稱為聯(lián)邦多任務(wù)機(jī)器學(xué)習(xí)，其框架如圖1所示。該框架將一個ES節(jié)點(diǎn)作為聯(lián)邦學(xué)習(xí)的服務(wù)端，部署多任務(wù)公平性模型；其他ES節(jié)點(diǎn)則作為聯(lián)邦學(xué)習(xí)的本地節(jié)點(diǎn)，部署與分析任務(wù)有關(guān)的本地機(jī)器學(xué)習(xí)模型。其中，本地機(jī)器學(xué)習(xí)模型主要用于同時處理智慧教室環(huán)境中的多個相關(guān)任務(wù)，如學(xué)生姿勢估計(jì)、表情識別、身體健康分析等，旨在通過從多個任務(wù)中提取出任務(wù)的共享特征表示，來提升模型對新任務(wù)數(shù)據(jù)的適應(yīng)能力。而多任務(wù)公平性模型主要用來協(xié)調(diào)多任務(wù)機(jī)器學(xué)習(xí)過程，通過調(diào)整不同任務(wù)的學(xué)習(xí)權(quán)重，使其獲得相應(yīng)的訓(xùn)練數(shù)據(jù)，避免數(shù)據(jù)分布的偏斜導(dǎo)致某些任務(wù)被忽視或過度加權(quán)。

服務(wù)端節(jié)點(diǎn)與本地節(jié)點(diǎn)之間傳輸不同任務(wù)的損失值和權(quán)重，是多任務(wù)公平性模型更新的主要依據(jù)，本研究將任務(wù)t輸入本地ES節(jié)點(diǎn)的機(jī)器學(xué)習(xí)模型的數(shù)據(jù)集記為x_t∈R^d。為了使所有本地機(jī)器學(xué)習(xí)模型共享多任務(wù)公平性模型的參數(shù)，本研究引入了一組對偶算子{p_tj | t∈T， j∈V}，其中V表示ES節(jié)點(diǎn)的集合。這時，多任務(wù)機(jī)器學(xué)習(xí)問題可以被重新表示為公式（4）、公式（5）、公式（6）。其中，公式（4）的目標(biāo)函數(shù)可以用交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）以分布式解耦和多點(diǎn)協(xié)作的方式求解；在公式（5）中， 表示數(shù)據(jù)集 的目標(biāo)函數(shù)，R（x_t）表示正則項(xiàng)；而在公式（6）中， 表示樣本容量。

公式（4）

公式（5）

公式（6）

2 基于ADMM的全局參數(shù)優(yōu)化

ADMM是一種求解帶約束之優(yōu)化問題的經(jīng)典算法，主要通過分解協(xié)調(diào)的過程將原始的全局問題先分解為多個容易求解的小問題，然后協(xié)調(diào)多個小問題的解，組合成原始問題的解。本研究將公式（4）寫成ADMM的數(shù)學(xué)表達(dá)形式^[20]，得到公式（7）。其中，x=[x₁， x₂， ...， x_N]^T∈R^N，p是集合{p_tj}、g（p）=0和A=[A₁; A₂]的向量，[A₁; A₂]∈R^2×N，B：=[-I; -I_N]，聚合函數(shù)R^N→R被定義為公式（8）。

公式（7）

公式（8）

公式（7）的增廣拉格朗日函數(shù)可以表示為公式（9）的形式。其中，λ∈R^N是拉格朗日乘子，η是懲罰系數(shù)。

公式（9）

在ADMM算法中，L_c（x， p， λ）在變量x、p和λ的作用下被最大化。在第k+1次迭代時，ADMM的更新如公式（10）所示。

公式（10）

設(shè)λ=[β; γ]，β，γ∈R^N， 和 ，則ADMM的更新可以簡化為公式（11）。其中，α=H_β∈R^Nd是一個新的拉格朗日乘子，且M=（L_＋+L_－）/2，L_＋=H_＋HT+/2和L_－=H_－HT－/2，L_＋和L_－是有符號和無符號的拉普拉斯矩陣。

公式（11）

參照公式（11）中ADMM更新的矩陣，關(guān)于任務(wù)t的參數(shù)更新如公式（12）、公式（13）所示。其中，α∈R^N是任務(wù)t的拉格朗日乘子，也是所有α_t的集合。在第k+1次迭代時，每個任務(wù)t通過公式（12）更新本地ES的機(jī)器學(xué)習(xí)模型。之后，將第k次迭代的 和 ，j∈V_t的平均值賦予 ，再將 廣播給其所有鄰近的任務(wù)j∈V_t。在收集所有的 后，任務(wù)t通過公式（13）更新其拉格朗日乘子α_t。

公式（12）

公式（13）

三 實(shí)驗(yàn)過程與方法

為了驗(yàn)證聯(lián)邦多任務(wù)機(jī)器學(xué)習(xí)框架的有效性，本研究開展了計(jì)算機(jī)仿真實(shí)驗(yàn)，過程如下：首先創(chuàng)建一個仿真數(shù)據(jù)集，以模擬智慧教室中不同的智能設(shè)備；然后，使用三個真實(shí)數(shù)據(jù)集，以測試聯(lián)邦多任務(wù)機(jī)器學(xué)習(xí)框架在不同數(shù)據(jù)集上的表現(xiàn)；最后，將其與三個同類型算法的運(yùn)行結(jié)果進(jìn)行對比分析。

1 仿真數(shù)據(jù)集的創(chuàng)建

仿真數(shù)據(jù)集是根據(jù)文獻(xiàn)^[21]中的開源數(shù)據(jù)擬合而得。為了模擬智慧教室的5G通信場景，該數(shù)據(jù)集的設(shè)置符合3GPP標(biāo)準(zhǔn)。仿真數(shù)據(jù)集模擬了智慧教室中不同的智能設(shè)備，包括物聯(lián)網(wǎng)設(shè)備、智能手表、智能手環(huán)、智能手機(jī)、智能平板等，分別代表不同的學(xué)習(xí)任務(wù)。仿真數(shù)據(jù)集中含有不同的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，如星型網(wǎng)絡(luò)、網(wǎng)狀網(wǎng)絡(luò)、樹狀網(wǎng)絡(luò)等，用于模擬智慧教室中各設(shè)備之間的連接方式和通信模式。此外，根據(jù)3GPP發(fā)布的5G規(guī)范^[22]，仿真數(shù)據(jù)集中還提供符合5G標(biāo)準(zhǔn)的網(wǎng)絡(luò)參數(shù)和性能指標(biāo)（如帶寬、延遲、吞吐量、連接穩(wěn)定性等），以及不同的網(wǎng)絡(luò)負(fù)載情況，來模擬智慧教室中智能設(shè)備使用的不同時間段。

2 真實(shí)數(shù)據(jù)集的遴選

本實(shí)驗(yàn)選取的3個真實(shí)數(shù)據(jù)集均與5G通訊有關(guān)：①M(fèi)obile流量數(shù)據(jù)集。它是中國移動通信公司的5G基站流量數(shù)據(jù)集，包含上下行流量。此數(shù)據(jù)集可用于多任務(wù)5G基站流量異常檢測，滿足在真實(shí)應(yīng)用場景中的驗(yàn)證與評估需求。②Lumos5G數(shù)據(jù)集。它是美國卡內(nèi)基梅隆大學(xué)收集的在不同車載設(shè)備上運(yùn)行的應(yīng)用程序的吞吐量，許多研究將此數(shù)據(jù)集作為多任務(wù)機(jī)器學(xué)習(xí)實(shí)驗(yàn)數(shù)據(jù)集。③CIC-Bell-DNS數(shù)據(jù)集。它是加拿大網(wǎng)絡(luò)安全研究項(xiàng)目使用的數(shù)據(jù)集之一，含有來自加拿大貝爾公司的域名系統(tǒng)（DNS）流量數(shù)據(jù)。

3 對比算法的遴選

為了展示聯(lián)邦多任務(wù)機(jī)器學(xué)習(xí)框架的優(yōu)勢，本實(shí)驗(yàn)選取以下三個同類型算法進(jìn)行了比較：①TMC^[23]。此算法為每個任務(wù)學(xué)習(xí)一個分類器，然后以全局方式學(xué)習(xí)所有單個分類器的完整參數(shù)向量，使其能夠刻畫多任務(wù)之間的共性。②Ditto^[24]。此算法是一種可擴(kuò)展的個性化聯(lián)邦多任務(wù)機(jī)器學(xué)習(xí)框架，適用于凸目標(biāo)函數(shù)和非凸目標(biāo)函數(shù)，并繼承了傳統(tǒng)聯(lián)邦學(xué)習(xí)的隱私和效率屬性。同時，此算法通過過濾一些沒有價值的更新參數(shù)，來實(shí)現(xiàn)公平性與準(zhǔn)確性的平衡。③FedAvg。此算法是一種經(jīng)典的聯(lián)邦平均算法，每個ES節(jié)點(diǎn)都會進(jìn)行模型的訓(xùn)練，并在訓(xùn)練完成后將模型的參數(shù)自動上傳到服務(wù)器。然后，服務(wù)器計(jì)算所有收到的模型參數(shù)的平均值，并將其作為全局模型的參數(shù)。

四 實(shí)驗(yàn)結(jié)果分析

為了綜合評估聯(lián)邦多任務(wù)機(jī)器學(xué)習(xí)框架在智慧教室隱私保護(hù)方面的性能，本實(shí)驗(yàn)使用了四個評價指標(biāo)：①多任務(wù)機(jī)器學(xué)習(xí)的公平性。本實(shí)驗(yàn)將通過可視化呈現(xiàn)不同ES節(jié)點(diǎn)上的p與F1得分變化情況，來反映聯(lián)邦多任務(wù)機(jī)器學(xué)習(xí)框架中各節(jié)點(diǎn)任務(wù)訓(xùn)練的公平性。②不同ES節(jié)點(diǎn)上的訓(xùn)練時間。考慮到時間復(fù)雜度對多任務(wù)機(jī)器學(xué)習(xí)影響顯著，本實(shí)驗(yàn)將探索多任務(wù)公平性模型在不同ES節(jié)點(diǎn)上的訓(xùn)練時間是否存在差異。③不同公平性算法的準(zhǔn)確性。為測試聯(lián)邦多任務(wù)機(jī)器學(xué)習(xí)框架的準(zhǔn)確性，本實(shí)驗(yàn)將對比同類型算法在不同ES節(jié)點(diǎn)上運(yùn)行結(jié)果的F1得分。④聯(lián)邦多任務(wù)機(jī)器學(xué)習(xí)框架的隱私保護(hù)能力。本實(shí)驗(yàn)將對智慧教室中各智能設(shè)備產(chǎn)生的數(shù)據(jù)進(jìn)行異常檢測，以維護(hù)智慧教育環(huán)境的安全性并保護(hù)學(xué)生隱私。

1 多任務(wù)機(jī)器學(xué)習(xí)的公平性分析

不同ES節(jié)點(diǎn)上的p與F1得分變化情況如圖2所示。由于本研究采用了對偶上升算法，導(dǎo)致ES節(jié)點(diǎn)1上的任務(wù)訓(xùn)練樣本數(shù)量逐步增加，這使得聯(lián)邦多任務(wù)機(jī)器學(xué)習(xí)框架更加專注于該任務(wù)，因此ES節(jié)點(diǎn)1上的p逐漸減小。同時，ES節(jié)點(diǎn)1上的F1得分隨著訓(xùn)練迭代次數(shù)的增加而提高，這說明多任務(wù)公平性模型在ES節(jié)點(diǎn)1上是有效的。相較于ES節(jié)點(diǎn)1，ES節(jié)點(diǎn)2和ES節(jié)點(diǎn)3的上升曲線震蕩幅度更大，其F1得分也隨著迭代次數(shù)的增加而提高。可見，通過對偶算子p的變化，實(shí)現(xiàn)了每個節(jié)點(diǎn)任務(wù)訓(xùn)練的公平性。

對不同ES節(jié)點(diǎn)上多任務(wù)公平性模型的隱空間進(jìn)行任務(wù)區(qū)分，其可視化結(jié)果如圖3所示。圖3顯示，在不同ES節(jié)點(diǎn)上的多任務(wù)公平性模型可以比較清楚地區(qū)分不同的任務(wù)。可見，聯(lián)邦多任務(wù)機(jī)器學(xué)習(xí)框架在多任務(wù)學(xué)習(xí)的公平性方面表現(xiàn)較好。

2 不同ES節(jié)點(diǎn)上的訓(xùn)練時間分析

各數(shù)據(jù)集在不同ES節(jié)點(diǎn)上的訓(xùn)練時間如圖4所示，可以看出：①ES節(jié)點(diǎn)在相同數(shù)據(jù)集上的模型訓(xùn)練時間接近，如在仿真數(shù)據(jù)集上的訓(xùn)練時間分別為18分鐘（ES節(jié)點(diǎn)1）、19分鐘（ES節(jié)點(diǎn)2）、18.5分鐘（ES節(jié)點(diǎn)3），這表明聯(lián)邦多任務(wù)機(jī)器學(xué)習(xí)框架使ES節(jié)點(diǎn)上的多任務(wù)公平性模型實(shí)現(xiàn)了同步收斂且保持穩(wěn)定。②ES節(jié)點(diǎn)在不同數(shù)據(jù)集上的模型訓(xùn)練時間存在差異，原因主要在于不同數(shù)據(jù)集的內(nèi)容復(fù)雜度、數(shù)據(jù)維度和結(jié)構(gòu)不同。

不同版本的ADMM對多任務(wù)公平性模型損失值影響的消融實(shí)驗(yàn)結(jié)果如圖5所示。其中no-ADMM表示沒有使用ADMM解耦，而是使用傳統(tǒng)的梯度更新和聯(lián)邦聚合；ADMM表示使用ADMM解耦；p-ADMM則表示將對偶算子p的求解應(yīng)用于ADMM的解耦過程。圖5顯示，在no-ADMM情況下，模型的損失曲線震蕩幅度最大，說明模型收斂效果差；在ADMM情況下，模型損失值從0.38緩緩下降到0.34，說明在聯(lián)邦學(xué)習(xí)場景中使用ADMM可以使模型更具收斂性；而在p-ADMM情況下，模型損失值的下降速度更快，直到相對平穩(wěn)，說明p-ADMM比no-ADMM、ADMM能夠使模型更加快速地收斂。

3 不同公平性算法的準(zhǔn)確性分析

對多任務(wù)公平性模型、TMC、Ditto、FedAvg四種算法在各智能設(shè)備上運(yùn)行的F1得分進(jìn)行比較，結(jié)果如圖6所示，可以看出：與對比算法相比，多任務(wù)公平性模型在ES節(jié)點(diǎn)1、ES節(jié)點(diǎn)2上均獲得了更高的F1得分；通過過濾更新參數(shù)來實(shí)現(xiàn)公平性與準(zhǔn)確性的Ditto算法，其表現(xiàn)優(yōu)于TMC和FedAvg。此外，多任務(wù)公平性模型在ES節(jié)點(diǎn)3的大部分智能設(shè)備上也展現(xiàn)了更具競爭力的F1得分。然而，在智能手環(huán)的數(shù)據(jù)集上，Ditto算法的F1得分優(yōu)于多任務(wù)公平性模型，這可能是由該節(jié)點(diǎn)智能手環(huán)的數(shù)據(jù)分布嚴(yán)重偏斜所致。

4 聯(lián)邦多任務(wù)學(xué)習(xí)框架的隱私保護(hù)能力分析

聯(lián)邦多任務(wù)機(jī)器學(xué)習(xí)框架在不同智能設(shè)備上的多任務(wù)異常檢測結(jié)果如表1所示，可以看出：聯(lián)邦多任務(wù)機(jī)器學(xué)習(xí)框架在不同智能設(shè)備上具有較高的召回率（＞0.95）、準(zhǔn)確率（＞0.76）和F1得分（＞0.84），說明聯(lián)邦多任務(wù)機(jī)器學(xué)習(xí)框架能夠有效地檢測出不同智能設(shè)備產(chǎn)生的異常數(shù)據(jù)，并且在多個任務(wù)上表現(xiàn)出較好的性能。也就是說，在聯(lián)邦多任務(wù)機(jī)器學(xué)習(xí)框架下，聯(lián)合學(xué)習(xí)多個任務(wù)可以更好地滿足不同的學(xué)習(xí)需求。此外，聯(lián)邦多任務(wù)機(jī)器學(xué)習(xí)框架還能優(yōu)化本地機(jī)器學(xué)習(xí)的準(zhǔn)確性，說明此框架能夠在處理多個任務(wù)時實(shí)現(xiàn)公平性，且多任務(wù)機(jī)器學(xué)習(xí)的準(zhǔn)確率較高。

異常數(shù)據(jù)監(jiān)測能力意味著當(dāng)遭遇數(shù)據(jù)泄露風(fēng)險時，聯(lián)邦多任務(wù)機(jī)器學(xué)習(xí)框架能在多大程度上提供安全的隱私保護(hù)。對比服務(wù)端部署與沒有部署多任務(wù)公平性模型的異常數(shù)據(jù)檢測準(zhǔn)確率，結(jié)果如表2所示。在學(xué)習(xí)智能平板數(shù)據(jù)的任務(wù)中，服務(wù)端部署多任務(wù)公平性模型的平均準(zhǔn)確率（三個ES節(jié)點(diǎn)準(zhǔn)確率的平均值）比沒有部署的高2.4%。同樣地，在學(xué)習(xí)其他設(shè)備數(shù)據(jù)的任務(wù)中，服務(wù)端部署多任務(wù)公平性模型的平均準(zhǔn)確度也比沒有部署的高。由此可見，聯(lián)邦多任務(wù)機(jī)器學(xué)習(xí)框架在服務(wù)器節(jié)點(diǎn)添加多任務(wù)公平性模型的同時也提升了教育數(shù)據(jù)的隱私保護(hù)能力。

五 結(jié)語

本研究將聯(lián)邦學(xué)習(xí)應(yīng)用于智慧教室環(huán)境，依托聯(lián)邦學(xué)習(xí)框架進(jìn)行多任務(wù)公平性模型的部署與全局參數(shù)優(yōu)化，提出了聯(lián)邦多任務(wù)機(jī)器學(xué)習(xí)框架，不僅實(shí)現(xiàn)了多任務(wù)機(jī)器學(xué)習(xí)準(zhǔn)確性和公平性的平衡，而且具有較強(qiáng)的教育數(shù)據(jù)隱私保護(hù)能力。此框架的提出對于建設(shè)智慧教室有重要參考價值，有望提升智慧教室的隱私保護(hù)效果，并深化數(shù)據(jù)驅(qū)動教育改革的研究方向。但是，本研究使用模擬智慧教室場景的合成數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，其結(jié)果可能與真實(shí)場景存在一定的差異。對此，后續(xù)研究將從真實(shí)的智慧教室群中采集數(shù)據(jù)，探究兼顧公平性和準(zhǔn)確性的動態(tài)平衡機(jī)制。

參考文獻(xiàn)

[1]教育部.高等學(xué)校數(shù)字校園建設(shè)規(guī)范（試行）》的通知[OL].

lt;https：//www.gov.cn/zhengce/zhengceku/2021-03/26/content_5595886.htmgt;

[2]教育部.教育部等六部門關(guān)于推進(jìn)教育新型基礎(chǔ)設(shè)施建設(shè)構(gòu)建高質(zhì)量教育支撐體系的指導(dǎo)意見[OL].

lt;http：//www.moe.gov.cn/srcsite/A16/s3342/202107/t20210720_545783.htmlgt;

[3]林小紅，張君.如何保護(hù)教育數(shù)據(jù)隱私？[J].現(xiàn)代教育技術(shù)，2023，（5）：109-118.

[4]郭利明，朱遷踏，鄭勤華，等.基于聯(lián)邦學(xué)習(xí)的學(xué)生綜合素養(yǎng)評價數(shù)據(jù)共享與安全保護(hù)研究[J].中國電化教育，2022，（10）：56-63.

[5]李康康，袁萌，林凡.聯(lián)邦個性化學(xué)習(xí)推薦系統(tǒng)研究[J].現(xiàn)代教育技術(shù)，2022，（2）：118-126.

[6]Tutunov R， Kim D， Bou Ammar H. Distributed multitask reinforcement learning with quadratic convergence[A]. Proceedings of the 32nd International Conference on Neural Information Processing Systems[C]. New York： Curran Associates， 2018，31：8921-8930.

[7]Wang S， Tuor T， Salonidis T， et al. Adaptive federated learning in resource constrained edge computing systems[J]. IEEE Journal on Selected Areas in Communications， 2019，（6）：1205-1221.

[8]Bai L， Lin W， Gupta A， et al. From multitask gradient descent to gradient-free evolutionary multitasking： A proof of faster convergence[J]. IEEE Transactions on Cybernetics， 2021，（8）：8561-8573.

[9]Subramanya T， Riggio R. Centralized and federated learning for predictive VNF autoscaling in multi-domain 5G networks and beyond[J]. IEEE Transactions on Network and Service Management， 2021，（1）：63-78.

[10]Chen J， Yang L， Tan L， et al. Orthogonal channel attention-based multi-task learning for multi-view facial expression recognition[J]. Pattern Recognition， 2022，129：108753.

[11]Yang E， Pan J， Wang X， et al. Adatask： A task-aware adaptive learning rate approach to multi-task learning[A]. Proceedings of the AAAI Conference on Artificial Intelligence[C]. Washington DC， USA： AAAI Press， 2023：10745-10753.

[12]Ohno H. Auto-encoder-based generative models for data augmentation on regression problems[J]. Soft Computing， 2020，（11）：7999-8009.

[13]Taherkhani A， Cosma G， McGinnity T M. AdaBoost-CNN： An adaptive boosting algorithm for convolutional neural networks to classify multi-class imbalanced datasets using transfer learning[J]. Neurocomputing， 2020，404：351-366.

[14]彭常玲，石映輝，楊浩.智慧教室環(huán)境感知與互聯(lián)網(wǎng)自我效能感的關(guān)系研究[J].現(xiàn)代教育技術(shù)，2021，（4）：51-57.

[15]齊軍，趙虹艷.基于“5G+教育”的新型教學(xué)生態(tài)系統(tǒng)：構(gòu)成、功能及構(gòu)建策略[J].課程·教材·教法，2022，（4）：80-87.

[16]王曦.“互聯(lián)網(wǎng)+智慧校園”的立體架構(gòu)及應(yīng)用研究[J].中國電化教育，2016，（10）：107-111.

[17]Anshari M， Almunawar M N， Shahrill M， et al. Smartphones usage in the classrooms： Learning aid or interference？[J]. Education and Information Technologies， 2017，（6）：3063-3079.

[18]Bai L， Lin W， Gupta A， et al. From multitask gradient descent to gradient-free evolutionary multitasking： A proof of faster convergence[J]. IEEE Transactions on Cybernetics， 2021，（8）：8561-8573.

[19]李默妍.基于聯(lián)邦學(xué)習(xí)的教育數(shù)據(jù)挖掘隱私保護(hù)技術(shù)探索[J].電化教育研究，2020，（11）：94-100.

[20]Wang Y， Yin W， Zeng J. Global convergence of ADMM in nonconvex nonsmooth optimization[J]. Journal of Scientific Computing， 2019，（1）：29-63.

[21]Dennis D K， Li T， Smith V. Heterogeneity for the win： One-shot federated clustering[A]. Proceedings of the 38th International Conference on Machine Learning[C]. Brookline： Microtome Publishing， 2021：2611-2620.

[22]Kweon K， Gutierrez-estevez D M， Pujol-roig J， et al. Automated multi-service 5G session timer via AI-based network data analytics function[A]. 2020 IEEE Globecom Workshops[C]. Taipei， Taiwan： GC Wkshps， 2020：1-6.

[23]OGu X， Chung F L， Ishibuchi H， et al. Multitask coupled logistic regression and its fast implementation for large multitask datasets[J]. IEEE Transactions on Cybernetics， 2014，（9）：1953-1966.

[24]Li T， Hu S， Beirami A， et al. Ditto： Fair and robust federated learning through personalization[A]. Proceedings of the 38th International Conference on Machine Learning[C]. Brookline： Microtome Publishing， 2021：6357-6368.

Research on Privacy Protection in Smart Classrooms Based on Federated Multi-task Learning

YANG Yu-Nong¹""" XU Ao¹""" ZHANG Chun-Jiong²"" "XIE Tao^{3[Corresponding Author]}

（1. College of Computer and Information Science， Chongqing Normal University， Chongqing， China 401331;

2. AI Convergence Network Department， Asia University， Suwon， South Korea 16499;

3. Faculty of Education， Southwest University， Chongqing， China 400715）

Abstract： In the 5G era， with the increase of networked devices， data transmission in smart classrooms has become extremely complex， and it is of significant importance to apply federated learning to the privacy protection of smart classrooms. Although existing federated learning techniques have made positive progress in balancing fairness and accuracy， they have not gone far enough in the aspect of addressing privacy protection questions in smart classroom scenarios. Based on this， the paper firstly analyzed the multi-task learning scenarios in smart classrooms and established a multi-task machine learning fairness model suitable for the smart classrooms. Subsequently， the privacy protection strategy for smart classrooms under the federated learning framework was proposed， namely the federated multi-task machine learning framework. In order to verify the effectiveness of this framework， the computer simulation experiments were carried out in this paper. The experimental results showed that the federal multi-task machine learning framework not only achieved a balance between fairness and accuracy in multi-task machine learning， but also had strong privacy protection capabilities. The research of this paper could provide important reference for the privacy protection of educational data and strongly propel the digital transformation in education.

Keywords： smart classroom; federated learning; privacy protection; multi-task machine learning

*基金項(xiàng)目：本研究為2022年國家自然科學(xué)基金項(xiàng)目“面向多視圖教育數(shù)據(jù)的共享簇結(jié)構(gòu)挖掘”（項(xiàng)目編號：62277043）、2024年重慶市教委科學(xué)技術(shù)研究項(xiàng)目“數(shù)字教育場景下隱私應(yīng)用與可信學(xué)習(xí)研究”（項(xiàng)目編號：KJZD-K202300515）的階段性研究成果。

作者簡介：楊雨濃，副研究員，博士，研究方向?yàn)橹腔劢逃夹g(shù)與應(yīng)用，郵箱為yangyunong@cqnu.edu.cn。

收稿日期：2024年4月12日

編輯：小方