面向高效通信邊緣學習網絡的通信計算一體化設計

（深圳市大數據研究院，中國深圳518172）

作為全新一代移動通信技術，5G將開啟萬物互聯、深度融合的發展新階段。受5G的推動，全球數據流量將呈現出爆炸式增長的趨勢。據國際數據公司預測，到2025年，將有800億臺設備接入互聯網，全球數據將達到163 ZB，是2016年數據的10倍。大數據的洪流加上不斷取得突破的人工智能（AI）技術激發了人們對泛在計算和智能的憧憬。在此愿景的推動下，越來越多的智能應用將被部署在網絡邊緣，而為之奠定基礎的邊緣智能技術也正成為業界和學術界共同關注的熱點[1]。

邊緣智能旨在為移動終端提供超快速、智能化和環境/位置感知的服務，這些服務包括虛擬現實（VR）/增強現實（AR）、自動駕駛、多媒體內容傳輸、智能家居和都市、工業自動化、電子銀行、視頻流分析。這些技術大多數都需要通過邊緣機器學習來實現，具體來說是將機器學習算法部署在網絡邊緣（如基站和智能終端）以快速地利用分布式的移動數據來連續地訓練和調整邊緣云（基站）中的人工智能模型（如圖1所示）。機器學習所需的大量數據是由數百萬到數十億的物聯網傳感器和移動設備產生的。例如，谷歌公司為智能鍵盤而訓練的人工智能模型要求數百萬的移動設備同時上傳用戶交互數據。又如，特斯拉公司通過使用數百萬特斯拉車輛在行駛過程中上傳的雷達和激光雷達傳感數據來不斷改善其自動駕駛人工智能模型。由于數據量的巨大，將這些數據上傳到邊緣云給無線通信系統提出了極大的挑戰。隨著智能終端設備的爆炸式增長，多址接入延遲是實現低時延邊緣機器學習的主要瓶頸。近10余年來，無線通信領域在空分多址（SDMA）、正交頻分多址（OFDMA）和碼分多址（CDMA）等多址接入技術方面取得了突破性進展。然而，對于這些正交接入技術而言，控制多址接入延遲需要無線資源隨著設備數量線性增加。這意味著在有限頻譜資源的限制下，正交多址接入技術難以擴展至大規模用戶場景。

▲圖1 邊緣智能系統

▲圖2 先通信后計算方案對比空中計算方案

克服邊緣機器學習的通信瓶頸需要從根本上突破現有多址接入的設計原理和方法。正交多址接入技術是傳統可靠通信設計理念的產物，其設計目標是在保證個體數據可靠傳輸的前提下最大化傳輸速率。在這一傳統設計理念下，通信和計算是兩個獨立的過程：前者僅僅是為后者提供數據的“傳輸管道”。正是傳統通信計算分離的設計思想造成了邊緣機器學習中的通信瓶頸。這類技術無法對邊緣學習系統的接收數據的后續計算應用進行整體考量，因而也無法進行更高效率的跨層優化。對于邊緣學習系統來說，最終的任務是從海量數據中提煉出準確的AI模型，而非完成個體數據的可靠傳輸。為了實現AI模型的準確訓練，邊緣服務器往往只對分布式數據所構成的某些特定函數而不是數據本身感興趣。以目前最受關注的聯邦式邊緣學習為例，在其分布式模型訓練的過程中，邊緣服務器只需要從邊緣設備上獲取本地數據計算出的模型/梯度的平均值，而非所有存儲在本地的個體數據[2]。換言之，直接將基于個體數據可靠傳輸理念設計的通信技術套用到邊緣學習系統中，將導致過低的頻譜利用率以及不必要的通信時延。

綜上所述，為了突破邊緣學習中的通信瓶頸，亟待在計算與通信技術上進行改革與創新。為此，以計算和通信在空中的高度“融合”為特征的空中計算技術提供了一種解決之道。

1 空中計算概述

空中計算的概念最早起源于傳感器網絡中的數據聚合應用，其核心思想是利用無線多址接入信道的波形疊加特性以及多用戶的并發傳輸以實現高速數據空中聚合[3]。如圖2所示，與傳統的“先通信再計算”方案相比，它擁有極高的頻譜利用效率，空中計算方案的接入時延不會隨著網絡規模的增加而線性增加。早期的空中計算研究多聚焦于從信息論的角度分析其漸近計算性能。例如，在文獻[4]中，基于高斯多址接入信道以及獨立同分布的數據源假設，作者推導出了空中計算理論上的漸近計算速率，并證明了增加接入設備的數量能提高函數計算準確度這一令人鼓舞的結論。隨后，無編碼的模擬信號空中計算被證明可以在數據源服從單一高斯分布的情況下實現最小的計算誤差[5]。在空中計算的普適性方面，文獻[6]的作者率先證明了通過適當的預處理和后處理，空中計算技術可以用于計算包括算術平均數和幾何平均數在內的一系列被稱為nomographic函數的統計函數。常見的nomographic函數如表1所示。在此基礎上，文獻[7]的作者進一步證明了任意函數都可以拆分為多個nomographic函數之和，這意味著空中計算具有處理任何函數計算的能力。這一里程碑式的發現大大拓寬了空中計算的應用場景。

空中計算令人滿意的理論性能推動了一系列后續研究。這些研究專注于解決實際信號處理問題和提高系統的魯棒性，其中包括傳感設備的功率控制設計[8]、接入設備同步方案設計[9]，以及信道估計方案設計[10]。除了在無線傳感網絡中的應用，空中計算中對并發干擾進行利用的思想也被廣泛應用到現有的通信系統。例如，空中計算在中繼系統上的應用催生了著名的計算轉發中繼方案，并大大提升了系統的抗噪性能[11]。另一方面，通過空中計算中繼的應用，始于有線網絡的網絡編碼技術得以引入到無線網絡中，并衍生出了廣受關注的物理層網絡編碼研究領域[12]。最新的一系列研究聚焦于利用多天線技術及其帶來的復用增益，將傳統基于標量函數計算的空中計算技術拓展至矢量函數計算[13-16]，這對未來的多模傳感網絡數據聚合至關重要。

表1 常見的可用于空中計算的nomographic函數

▲圖3 聯邦式邊緣學習

2 通信計算一體化設計關鍵技術方案

通過將差分隱私和分布式學習相結合，聯邦式邊緣學習成為目前最為流行的邊緣學習范式。聯邦式邊緣學習的主要特點是將模型訓練任務分配到參與訓練的終端上，并以本地模型上傳代替原始數據上傳，這保障了數據隱私性的同時也有效利用了終端本地的計算資源。如圖3所示，聯邦式邊緣學習中邊緣服務器與邊緣設備之間的交互在兩個階段之間交替進行。在第1階段，邊緣服務器將全局模型的當前版本廣播給參與訓練的邊緣設備。基于當前廣播模型，每個邊緣設備使用隨機梯度下降法并利用本地數據對本地模型進行更新。在第2階段，邊緣設備將其本地更新（梯度估計或模型更新）上傳到邊緣服務器，并進一步聚合以更新全局模型。這兩個步驟的每次迭代稱為一個通信回合，迭代一直持續到全局模型收斂。

鑒于模型/梯度更新的高維度性（一個典型的深度學習模型/梯度包含數百萬至上億個參數），由密集設備模型/梯度更新上傳所帶來的通信瓶頸是目前聯邦式邊緣學習所面臨的一大挑戰。現共有3種方法可以解決該問題：第1種方法是放棄響應速度慢的邊緣設備的更新，以丟失部分更新信息為代價實現快速更新同步[17]；第2種方法是利用所提供模型/梯度更新的重要性而不是計算速度來對設備進行調度[18-19]；第3種方法致力于利用梯度更新的稀疏性[20]和低分辨率梯度參數量化[21]，來實現更新參數壓縮。上述3種方法代表了現有研究通過“節流”的方式解決通信瓶頸問題，即通過設備調度策略和數據壓縮以減少接入設備數和傳輸數據量，從而減輕通信負擔。在這些方案中，無線信道僅被抽象為數據傳輸的“管道”，其特性并沒有被充分利用來進行高效(模型/梯度)更新聚合方案的設計。另外，在聯邦式邊緣學習中，邊緣服務器感興趣的只是不同本地更新的平均值，而非本地更新自身的可靠傳輸，因此傳統的基于個體數據可靠傳輸理論設計的正交多址接入技術將會帶來不必要的通信延遲。為此，基于空中計算的更新聚合技術應運而生，其高效的頻譜利用率使其成為當前一大研究熱點[22-24]。目前已有初步的研究展示了基于空中計算的更新聚合技術在理論上的超低時延性能，然而該技術的落地仍然面臨著不少實際的挑戰。接下來我們將一一介紹其中的3大挑戰，并對可能的解決方案進行論述。

2.1 空中計算的數字化和寬帶化改造

傳統針對無線傳感網絡數據聚合應用的空中計算方案主要面向窄帶非頻選信道，并且需要對發射信號進行高精度的模擬調制，即發射機可以根據需要調制載波波形，并自由選擇同相/正交系數作為任意實數。然而現有的無線設備都帶有嵌入式數字調制芯片，無法實現任意精度的模擬調制。另外，鑒于模型/梯度更新的高維度性，需要利用寬帶信道對其進行傳輸，而由此產生的頻選衰落將影響空中計算的精確度。因此，需要對傳統窄帶模擬空中計算技術進行數字化和寬帶化的改造以實現聯邦式邊緣學習的通信計算一體化應用需求。

在現行的蜂窩系統中，主流的調制和寬帶傳輸方案是正交幅度調制（QAM）和正交頻分復用（OFDM）技術。為了更好地兼容現行的設備方案，我們提出一種基于QAM調制和OFDM架構的寬帶數字空中計算系統方案。該新方案受符號隨機梯度下降（signSGD）[21]的啟發，在邊緣設備端進行1 bit信息量化，并在邊緣服務器上進行基于多數表決的解碼。下面我們以基于梯度平均的聯邦學習為例對該系統的收發機設計方案進行詳細描述。

2.1.1 發射機方案

發射機方案如圖4（a）所示。該設計建立在傳統的OFDM發射機的基礎上，采用截斷信道逆變功率控制。然而，與傳統的通信系統需要先進行信道編碼不同，我們將無編碼的原始量化比特饋送到OFDM單元。特別地，我們先對邊緣設備的梯度更新進行1 bit量化，即對每個梯度更新元素我們只取其符號位，如式（1）：

其中，gk是第k個設備的梯度更新矢量，而是其一比特量化后的對應矢量，sign(·)代表的是取符號位操作。隨后，每兩個二進制梯度參數為一組被調制成一個4 QAM符號的同相和正交系數。假設OFDM系統共有M個子載波，調制后的長符號序列將被劃分為塊，每個塊含有M個符號并作為單個OFDM符號被發送（其中每個頻率子載波發送一個符號）。

假設發射機擁有完美的信道狀態信息，我們可以通過信道逆變功率控制使得不同設備發送的梯度更新參數以相同的幅度被接受，從而實現空中計算所需的信道衰落對齊。為了在給定的功率約束下實現信道逆變，我們采用截斷信道逆變功控策略，即只有當一個子信道的信道增益大于某一給定閾值時我們才對信道逆變，否則我們將放棄使用該子信道（分配零功率）。

2.1.2 接收機方案

接受機方案如圖4（b）所示。該方案具有與傳統OFDM接收機相同的架構，只是數字檢測器被替換為基于多數表決的解碼器，用于根據接收信號估計全局梯度更新。

考慮一個任意的通信回合，假設所有的參與設備同步并發傳輸，并使用截斷信道逆變功控策略，服務器所接收到的疊加的信號表示如式（2）：

▲圖4 數字化寬帶空中計算的收發機設計

其中，ρ0為采用截斷信道逆變功控后的信道對齊水平是一比特量化梯度的“截斷”版本，其被截斷的元素被置為零，并取決于所屬子信道的增益。最后，為了從中獲得全局梯度估計值用于模型更新，我們采用基于多數表決的解碼器如式（3）：

在文獻[25]中,我們通過基于實際數據集的實驗仿真，對基于空中計算的更新聚合方案和傳統基于正交頻分多址接入的聚合方案進行性能比較。在模型訓練準確度相當的前提下，與后者相比，前者在時延上獲得數10倍的降低，展現了通信計算一體化設計的巨大潛力。

2.2 安全空中計算

在聯邦式邊緣學習中應用空中計算技術的時候，需要關注的另一個實際問題是模型/梯度聚合的安全性。一些惡意用戶可能通過故意上傳不準確的模型/梯度更新或隨機噪聲來對模型訓練進行攻擊。這些惡意攻擊可能導致學習算法無法收斂，并使整個訓練過程崩潰。為了保證模型訓練的順利進行，需要建立安全可靠的計算機制以防范來自惡意用戶的攻擊。

為此，一個可能的方案是采用直接序列擴頻（簡稱擴頻）技術對上傳的模型/梯度更新進行編碼。如圖5所示，在該方案中，所有合法用戶將使用由服務器分配的特殊擴頻序列（也稱作碼片）進行擴頻編碼，以保護其上傳更新的合法性；而不知道擴頻序列的惡意用戶所產生的攻擊和干擾會在服務器的解擴頻過程中得到有效抑制。以下是基于擴頻技術的空中計算方案的具體設計：

1）網絡中的所有合法用戶都由服務器分配一個合法的擴頻序列，即一串取值+1或-1的偽隨機噪聲碼序列，惡意用戶對該序列未知；

2）所有合法用戶將其模型/梯度更新信息與被分配的擴頻序列相乘以進行擴頻編碼，然后所有合法用戶并發上傳擴頻后的更新信息；

3）最后，邊緣服務器使用約定的擴頻序列，對接收到的包含所有并發上傳用戶的疊加信號進行解擴頻。

如圖6所示，基于擴頻技術的空中計算的實現，僅需要在圖5（a）所示的OFDM框架上在調制模塊和逆快速傅里葉變換（IFFT）模塊中間添加一個額外的擴頻模塊即可。圖6還展示了擴頻技術背后的原理：將上傳更新信息和擴頻序列相乘等價于用更大的帶寬完成更新信息的上傳。其中，帶寬擴展的倍數被稱為擴頻因子，由符號時長T和碼片時長τc的比率所決定，即γ =T/τc。

所有合法用戶使用同一個擴頻序列進行編碼，因此邊緣服務器對接收到的疊加信號進行解擴頻后，能夠自動聚合來自合法用戶的模型/梯度更新，并同時以擴頻因子的倍數抑制來自惡意用戶的攻擊。

▲圖5 基于擴頻技術的安全空中計算示意圖

▲圖6 基于擴頻技術的安全空中計算的系統實現

值得一提的是，擴展因子的設計需要平衡時延代價和對惡意攻擊抑制的強度之間的折中關系。具體而言，利用擴頻技術后，系統在模型/梯度更新上傳時占用的帶寬是原來的γ倍。這在某種程度上削弱了空中計算相對于多用戶正交傳輸所取得的時延優勢。然而，以此代價換來的補償為系統對惡意攻擊的魯棒性以及以擴頻因子數倍升的信噪比。

2.3 弱信道受限的信道衰落對齊

基于空中計算的更新聚合方案需要通過功率控制補償不同用戶的信道衰落，以滿足空中計算所需的信道一致性，因此其性能會受限于小區邊緣設備的弱信道。如果邊緣服務器上裝備有多天線陣列，則可以通過波束賦型設計來緩解小區邊緣設備帶來的性能瓶頸。該設計的核心思想是對這些小區邊緣設備進行波束聚焦，以補償它們的路徑損耗，從而提升小區邊緣設備的信道質量。

值得注意的是，用于小區邊緣設備信道增強的空中計算波束賦型在設計原理上不同于傳統的空分多址波束賦型。空中計算波束賦型本質上是要盡量對齊不同設備到服務器之間的信道強度，從而利用并發“干擾”進行計算；而空分多址則試圖利用波束賦型正交化多用戶信道以抑制多用戶間的串擾，以便來自不同用戶的數據的可靠傳輸。具體的差異可以通過下面的波束賦型問題建模來進一步闡述。

我們考慮如下的一個多天線系統，一個裝備有多天線的基站服務多個單天線的用戶，其輸入輸出關系可表示如式（4）：

其中，F∈CN×K是待設計的波束賦型矩陣，N代表裝備在邊緣服務器的天線數，K代表邊緣設備數。H∈CN×K代表信道矩陣，其中第k列代表的是第k個設備的信道向量。x∈CK代表發射信號向量，其中的第k個元素代表第k個設備的發射信號。n代表零均值的加性高斯白噪聲向量，其方差為E(nHn)=N0I。

▲圖7 空中計算波束賦型對比空分復用波束賦型

基于上述模型，用于小區邊緣設備信道增強的空中計算波束賦型可以通過求解式（5）中的無約束最大化信噪比問題來設計：

而對于空分多址波束賦型，則要設計K個相互正交的波束矢量，且每個都要在增強目標用戶信道的同時迫零其余的干擾信道。我們將矩陣F的第k列表示為fk,則空分多址的波束賦型設計可以建模為式（6）中的K個有約束最大化信道比問題：

通過比較式（5）和式（6）兩個問題建模可發現，空分多址的實現需要天線數N大于用戶數K，以確保有足夠的空域自由度來滿足信道正交約束，這對于擁有大量用戶的大型網絡來說并不可行。相比之下，空中計算波束賦型總是可行的，而更多的空域自由度可以用來增強弱用戶的信噪比。

兩種問題建模將導致截然不同的波束模式，具體如圖7所示。一般來說，由于全空域自由度均用于信噪比增強，空中計算波束賦型可以形成更銳利和更強的波束以增強小區邊緣用戶的信噪比。與之相比，由于正交化約束消耗了相當的空域自由度，僅剩下部分自由度用于信噪比增強，空分多址的波束賦型對目標用戶形成的波束相對較平坦，增幅較弱。此外，受限于天線陣列的空間分辨率，相鄰（地理位置）的用戶可能導致空分多址中的可分辨性問題。然而，由于空中計算波束賦型無需區分不同用戶，并無此局限性。

3 結束語

在5G+AI的發展浪潮中，邊緣學習是從分布在終端的海量數據中提煉AI的重要途徑，也是將AI從云端推向網絡邊緣并實現泛在邊緣智能愿景的重要技術；而通信時延瓶頸的解決是邊緣學習向大規模用戶場景擴展的關鍵突破。本文中我們所提倡的空中計算技術順應了當前通信計算一體化的發展潮流，巧妙地利用并發傳輸造成的“干擾”進行快速數據聚合，大大提高了頻譜利用效率并避免了計算中心對大量原始數據的存儲，降低了大數據處理的負擔。然而，高精度的可靠空中計算需要精確的信道估計、功率控制，以及設備間同步來支撐，因而如何提升空中計算在非完美條件下的魯棒性是該技術走向成熟面臨的關鍵問題。