邊緣智能：研究進展及挑戰

喬德文，郭松濤*，何 靜，朱永東

(1.重慶大學 計算機學院,重慶 400044；2.之江實驗室 智能網絡研究院，浙江 杭州311121)

0 引言

隨著5G技術的發展和物聯網(Internet of Things，IoT)的普及，網絡邊緣的數據由地理上分布廣泛的移動終端和IoT設備所創建，這些在網絡邊緣生成的數據比大型云數據中心[1]生成的數據還要多。另外，根據IDC的預測，到2025年[2]，全球物聯網產生數據的70%都要在網絡邊緣處理。同時，人們在日常生活中使用這些智能終端設備時對其服務質量的需求有了進一步的提高[3]。因此，在這種情形下，用傳統的云集中式處理模式將無法高效率地處理這些網絡邊緣數據，也不能滿足用戶對智能終端高服務質量的需求。具體來說，傳統云計算在處理這些網絡邊緣數據時存在三點不足：① 實時性不夠；② 帶寬不足；③ 能耗較大。因此，為了解決以上問題，更適用的方式是直接在邊緣網絡側處理用戶需求，這催生了一種全新的計算范式——邊緣計算(Edge Computing，EC)[4]。

EC將云服務從網絡核心推向更接近物聯網設備和數據源的網絡邊緣，它是一種在終端設備中分析和處理數據的技術。通過這種技術，數據可以在網絡邊緣進行實時處理，以實現數據流加速的目的。從本質上講，與傳統基于云的計算模式相比，EC使得計算和數據源之間的物理距離更加接近，大大降低了數據傳輸的時延，緩解了網絡帶寬的壓力，減少了數據通信的能耗,使得用戶的服務質量大大提升[5-7]。

近些年來，得益于摩爾定律的突破，使得人工智能(Artificial Intelligence，AI)的發展再一次迎來了高潮。日常生活中，熟知的AlphaGo[8]、無人駕駛汽車[9]、智慧醫療[10]等，都是AI發展的延伸。可以說，我們目前生活在一個AI蓬勃發展的時代。另外，在算法、算力、大數據等最新進展的推動下，深度學習(Deep Learning，DL)[11]作為AI領域最耀眼的領域，在計算機視覺、語音識別、自然語言處理等多個領域取得了實質性突破。得益于這些突破，以智能個人助理、個性化購物推薦、智能家電等為代表的一系列智能應用迅速進入了人們的視野，得到了巨大的青睞。現代社會普遍認為這些智能應用極大地豐富了人們的生活方式，提高了社會生產效率。由于AI算法的實現需要大量的計算，當前AI大部分的計算任務都是依靠部署在云及其他大規模計算資源密集的平臺上實現的，但考慮到大規模計算資源密集平臺與智能終端的物理距離以及網絡邊緣海量數據的現實，就極大地限制了AI帶來的便利。因此，催生了人們將EC與AI進行結合的想法，這也就產生了邊緣智能(Edge Intelligence，EI)。

EI并不是將EC和AI進行簡單的結合，EI涉及到的主題十分廣泛，目前學術界還沒有給出一個統一的定義。但是，很多涉足EI的學者都給出了自己對EI的理解，例如，Zhou等人認為EI的范圍不應該僅僅局限于邊-端上運行AI算法，而也應該包括在邊-云上運行AI算法[12]；Zhang等人將EI定義為使邊緣設備能夠執行AI算法的能力[13]；李肯立等人將EI定義為融合網絡、計算、存儲、應用核心能力的開放平臺[14]。

處于初級階段的EI吸引了學者的廣泛關注。他們對EI的進展做了較為全面的研究總結，例如，Zhou等人從AI模型的訓練、推理以及邊-云和端-邊-云協作等方面對EI進行了較為全面的闡述[12]；Chen等人對網絡邊緣DL應用的場景以及在網絡邊緣部署分布式DL算法的常見方法進行了研究[15]；Wang等人從AI、EC各自的應用場景以及二者相結合的應用場景角度更加全面地介紹了EI[16]；也有一些文獻從AI驅動的霧計算的角度對EI進行了研究[17-18]。例如，Peng和Zhang全面總結了霧-無線電接入網的性能分析和無線電資源分配的最新進展。然而，EI的主題涉及范圍廣泛，無論是起源還是性質，這些文獻都沒有完全涵蓋。還有許多問題沒有得到解決，正因為如此，本文對EI進行分類闡述，以一種簡單明了的方式將EI的重點內容呈現出來。具體來說，本文將EI分為基于EC的AI(AI on edge)和基于AI的EC(AI for edge)。AI on edge可以理解為在邊緣環境中部署AI算法；AI for edge可以理解為利用AI算法解決EC中的優化問題，現有關于EI的研究都可以大致分為這兩大類。

1 EC和AI的關系

AI和EC的結合是必然，它們之間存在著一種互動關系。AI為EC提供解決問題的技術和方案，而EC為AI提供釋放潛力的平臺。

1.1 AI為EC提供技術和方法

EC是一種分布式計算范式，通過構建軟件定義的網絡來分散數據，提供具有魯棒性和彈性的服務。EC在不同的層次上面臨資源分配問題，如CPU周期頻率、訪問權限、射頻、帶寬等。因此，對各種功能強大的優化算法提出了很高的要求，以提高系統的效率。從本質上講，EC將真實場景中的優化問題進行建模，然后用梯度下降方法迭代地尋找漸近最優解。無論是統計學習方法還是DL方法都可以為邊緣提供幫助。此外，包括多智能體學習、深度Q-網絡(Deep Q-Network，DQN)在內的強化學習在邊緣資源分配問題中發揮著越來越重要的作用。

1.2 EC為AI提供場景和平臺

IoT設備的激增使萬物互聯成為現實。除了云數據中心外，更多的數據是由邊緣網絡設備創建的。更多的應用場景，如自動駕駛、智能家居、智慧城市等，都可以極大地促進AI從理論到實踐的實現。此外，通信質量高、計算能力要求低的AI應用可以從云遷移到邊緣，可以說，EC為AI提供了一個功能豐富的平臺，得以讓AI盡情地釋放其內在潛力。

2 AI on edge

在這一部分，本文將AI on edge的研究工作分為模型訓練和模型推理兩部分。其中模型訓練部分重點介紹目前流行的聯邦學習(Federated Learning，FL)在邊緣環境中的一些研究工作；在模型推理部分，本文主要介紹模型的優化、分割以及共享三方面的工作。最后，本文對上述兩部分的工作做相應的總結分析。

2.1 模型訓練

在邊緣環境中，本文將在邊緣側進行的AI模型訓練稱之為“AI on edge”。這種訓練需要大量資源來進行數據參數的交換更新，但往往存在著數據隱私暴露的風險。幸運的是，FL作為一種新興的分布式學習架構，能夠很好地解決AI on edge存在的一些問題。對于EC中能力多樣、網絡條件有限的設備，FL可以在處理Non-IID訓練數據時保護隱私，在高效通信、資源優化和安全等方面具有良好的擴展性。表1中列出了一些關于FL的工作。

表1 FL的相關工作

2.1.1 標準FL

FL[19]作為端-邊-云之間的一種實用的深度學習訓練機制而出現。在FL的框架下，移動設備被視為執行本地訓練的客戶端。同時，云中的終端設備、邊緣節點和服務器在一定條件下也可以等價地視為FL中的客戶端。下面討論基于邊緣計算的聯邦學習基本原理。FL不需要上傳數據到中心云進行訓練，邊緣設備只需要使用本地數據訓練本地DL模型，然后上傳更新后的DL模型參數。在標準FL中有兩個角色：具有本地數據的客戶端和負責模型聚合的聚合服務器。整個FL的過程如下：① 請求一組客戶端從服務器下載初始化全局DL模型參數；② 用本地數據在下載的全局模型參數上訓練本地模型；③ 將更新后的本地模型參數上傳到服務器，接著對本地模型參數進行加權聚合得到全局模型參數。如圖1所示，根據FL中的兩個角色和EC三個層次之間的關系，有3種可行的訓練FL的解決方案：① 端-邊合作：邊緣節點代替云作為服務器，端側作為客戶端；② 邊-云合作：邊側作為客戶端參與FL，而云作為聚合服務器；③ 端-邊-云合作：端邊兩側作為客戶端參與FL，而云作為聚合服務器，這種方式可以結合上述兩種方式的優點。

圖1 端-邊-云網絡架構下的FLFig.1 FL of end-edge-cloud network architecture

2.1.2 高效通信FL

在FL訓練過程中，不用將原始數據上傳到服務器，可以說在很大程度上降低了通信代價。但如果本地訓練的DL模型足夠大，從邊緣設備向中心服務器上傳模型參數也會消耗大量的通信資源。為了解決這一問題，有學者提出讓FL邊緣設備定期地(不是持續地)與中央服務器通信，以尋求關于全局DL模型的共識[20]。此外，FL框架下，DL模型參數的壓縮和學習策略的創新也能實現FL高效通信的目的。例如，在文獻[21-22]中，提出了一種稀疏三元壓縮方法，實現客戶端和服務器之間參數傳輸的上下游通信壓縮，達到降低通信代價的目的；文獻[23]提出了一種異步學習策略，該學習策略將不同層次的深度神經網絡分為淺層和深層，深層的參數更新頻率低于淺層。此外，在服務器上引入時間加權聚合策略，利用之前訓練的局部模型，從而提高中心模型的準確性和收斂性。

另外，與云相比，邊緣設備的計算資源非常稀缺。提高通信效率還需要考慮其他挑戰：① 計算資源在邊緣設備上是異構的和有限的；② 邊緣設備上的訓練數據可能是Non-IID的?；诖耍墨I[24]推導出的Non-IID分布式學習的收斂界，可以保證在理論上優化所有參與設備在給定資源預算下的聚集頻率。

2.1.3 資源優化FL

當FL將相同的神經網絡模型部署到異構的邊緣設備時，計算能力較弱的設備可能會極大地延遲全局模型的聚合。雖然將掉隊者從協作中剔除可以在一定程度上緩解延遲問題，但掉隊者可能會保留從非相同數據集學習到的獨特和關鍵信息，直接剔除會損害整體協作性能。因此，文獻[25]中提出了異構感知FL框架Helios來解決設備能力異構的問題。Helios識別單個設備的異構訓練能力，因此預期的神經網絡模型訓練量與協作訓練速度有關。針對掉隊設備，提出了一種軟訓練方法，通過旋轉神經元訓練方法將原始相同訓練模型動態壓縮到期望體積。通過廣泛的算法分析和優化方案，可以在保持局部訓練和聯邦協作收斂的同時，充分利用掉隊者的信息。實驗表明，在不同的協作設置下，Helios可以提供高達2.5倍的訓練加速度并提高4.64%的收斂精度。

同時，在移動EC場景中部署FL時，FL的執行時間主要取決于客戶端數量及其計算能力。因此，為了最小化FL的訓練時間，對FL進行適當的資源分配不僅需要考慮FL參數(如計算通信的精度水平)，還需要考慮客戶端的資源分配(如功率和CPU周期)。但是，客戶端能耗的最小化和FL執行時間存在沖突。例如，客戶端可以通過始終保持低頻率的CPU來節省能源，但這肯定會增加訓練時間。因此，為了在能量消耗和訓練時間之間取得平衡，文獻[26]首先為每個客戶端設計了一種新的算法——FEDL，對其局部問題進行近似求解，直到達到局部精度水平。然后，利用帕累托效率模型，提出了無線網絡中FEDL的非凸資源分配問題，以獲取客戶端能量成本和FL執行時間之間的權衡。最后，利用該問題的特殊結構，將其分解為3個子問題，并據此推導出閉解，表征了帕累托效率控制旋鈕對最優解的影響。

此外，FL中涉及的設備數量通常很大，從數億到數百萬不等。當設備數量巨大時，在每輪客戶端和服務器進行通信時，將這些設備的本地模型參數全部上傳到服務器進行加權聚合是不現實的。為了解決設備數量帶來的通信壓力問題，文獻[27]提出了一個經驗驅動的控制框架，該框架利用強化學習智能地選擇客戶端設備參與每一輪的全局聚合，在減少通信輪數的情況下達到同等模型精度的實現。

2.1.4 安全增強FL

在分布式訓練場景中，客戶端的信息交流是涉及到分布式機器學習中的隱私核心問題。FL避免了上傳訓練數據可能導致的隱私泄露，但同時也引入了模型更新的隱私問題。可以引入差分隱私(Differential Privacy，DP)的技術，在敏感數據中添加噪聲來嚴格量化表達式控制信息的公開，有助于降低FL訓練更新中隱私泄露的威脅，常見的幾種FL的模型如圖2所示。

(a) 集中學習

為了解決FL訓練時的隱私問題，客戶端首先利用自己的數據計算模型參數更新，然后進行差分隱私處理，最后上傳處理后的模型參數并進行模型聚合。從另一個角度來看，聚合服務器對訓練設備也不應該完全信任，因為對手可能會毒害他們的訓練數據或直接篡改模型更新，從而導致對全局模型的破壞。為了使FL能夠容忍擁有中毒數據集的少量設備參與訓練，魯棒聯邦優化[28]定義了一個修剪的平均操作。通過過濾有毒設備產生的值和正常設備中的自然離群值，實現了魯棒聚合，保護全局模型不受中毒數據的影響。

除故意攻擊外，還應關注不可預測的網絡條件和計算能力給安全帶來的被動不利影響。無線通信噪聲不可避免地阻礙了訓練設備與聚合服務器之間的信息交換，這可能對訓練延遲和模型可靠性產生重大影響。在文獻[29]中，提出了基于期望模型和最壞情況模型下的并行優化問題，并分別采用正則化的損失函數逼近算法和基于抽樣的逐次凸逼近算法求解這兩個模型。理論分析表明，該方法具有可接受的收斂速度;仿真結果表明，該方法提高了模型精度，降低了損耗函數。

反過來，FL中聚合服務器的故障也可能導致不準確的全局模型更新，從而污染所有本地模型參數的更新過程。此外，數據樣本數量較多的邊緣設備可能不太愿意與貢獻較少的其他設備一起參與FL。因此，在文獻[30]中，提出了將區塊鏈和FL結合為BlockFL，以實現：① 在每個邊緣設備而不是特定服務器上進行局部全局模型更新，確保在更新全局模型時，設備故障不會影響其他局部更新；② 刺激邊緣裝置參與FL的適當獎勵機制。

2.2 模型推理

隨著對精度要求的提高，深度神經網絡(DNN)的層數也越來越深，如此就需要更大規模的數據集，這樣會造成昂貴的計算費用。因此，之前的AI模型都是部署在高性能的云計算平臺上，而終端設備只是將輸入數據發送到云端，然后等待AI推理結果。然而，僅云推理限制了AI服務的部署。此外，對于重要的數據源，應解決數據安全和隱私保護問題。為了解決這些問題，AI服務往往訴諸EC。因此，AI模型需要進一步定制，以適應資源受限的邊緣，同時仔細處理其推理精度和執行延遲之間的權衡。本小節從模型優化、模型分割以及模型共享三方面對模型推理做了詳細的闡述。

2.2.1 模型優化

AI任務通常是計算密集型的，需要很大的內存占用。但在邊緣，沒有足夠的資源來支持原始的大規模AI模型。優化AI模型并量化其權重可以降低資源成本。下面討論3種常用的模型優化方法。

(1) 參數剪枝與共享

大量的參數是制約AI模型訓練效率的重要因素。因此，為了實現更高效、快速的AI模型訓練，一些研究者對AI模型進行了參數剪枝和共享的優化。文獻[31]中提出了緩存相鄰層之間的中間數據，以減少數據移動。此外，像二值化一樣的量化也是一個很好的分支。在XNOR-Net[32]中，不僅濾波器近似于二進制值，卷積層的輸入也是二進制的。卷積主要是用二元運算來近似的。這些措施提供了58倍的加速，同時在某些數據集(如CIFAR-10)上實現了類似的精度。

(2) 傳輸/緊湊卷積濾波器

為了實現AI模型的優化，可以設計一種特殊結構的卷積濾波器來節省參數。但該方法只適用于卷積層。在文獻[33]中，提出的SqueezeNet比AlexNet的參數減少了50倍，且在ImageNet上實現了相同的精度水平。減少參數的方法是用1 × 1濾波器代替3 × 3濾波器，并減少輸入通道的數量。同時，在網絡后期進行降采樣是為了使精度最大化。

(3) 知識蒸餾

文獻[34]中首次提出了知識蒸餾的概念，它是一種將知識從復雜的AI模型轉移到緊湊的AI模型的方法。一般來說，復雜的AI模型是強大的，而緊湊的AI模型更靈活和高效。知識蒸餾可以利用一個復雜的AI模型來訓練一個緊湊的AI模型，使其具有與復雜AI模型相似的性能。

這些方法可以應用于不同類型DNN或組合來優化復雜的邊緣AI模型。

2.2.2 模型分割

以往，大多數智能應用程序只在云中執行，而邊緣設備只扮演收集和上傳數據的角色。如今，隨著技術的進步，邊緣設備有了更好的硬件配置，研究人員開始思考是否通過深度學習模型的分割將部分或全部計算任務推到邊緣。這樣可以將大量的計算任務分解成不同的部分，不同的設備可以協同解決問題。

在文獻[35]中，對最先進的AI模型在云和邊緣設備上的延遲和功耗進行了評估，發現將數據上傳到云是當前AI服務方法的瓶頸(導致傳輸開銷很大)。劃分AI模型并進行分布式計算，可以獲得更好的端到端延遲性能和能源效率。此外，通過將部分DL任務從云推送到邊緣，可以提高云的吞吐量。

最常用的一種分割方法是將AI模型水平分割，即沿端-邊-云進行分割。數據分析的過程通常分為兩部分[36]，一部分在邊緣處理，另一部分在云中處理。由于上傳數據減少了中間數據，這樣既減少了邊緣與云之間的網絡流量，又避免了數據傳輸中安全隱私泄露的風險。

另一種模型分割方法是垂直分割，特別是CNN。相對于水平分區，垂直分區將層進行融合，以網格的方式進行垂直分區，將CNN各層劃分為獨立的可分布計算任務。Deep Things[37]利用了一種名為“融合Tiles Partitioning (FTP)”的新方法,融合層以網格方式垂直劃分。實驗結果表明，在不降低精度的情況下，FTP至少可以將內存占用減少到32%。同樣，J.Zhang的團隊在文獻[38]中為本地分布式移動計算設計了一個框架,提出了一種通用的神經網絡層分割工具,測試了一些常見的神經網絡，其中Google Net的實驗得到了最好的性能，該系統幾乎將總延遲減少了一半。

2.2.3 模型共享

AI的計算往往是復雜的，密集的計算是對設備資源的巨大考驗。然而，AI計算具有高度的邏輯性，使得不同的DL操作過程具有一定的相關性。因此，如何利用DL操作的相關性成為優化AI模型的出發點。對于AI計算的共享，一種思路是對推理結果進行緩存和重用，以避免冗余操作，該思路在一些場景中取得了良好的實踐效果。

邊緣節點覆蓋范圍內附近用戶的請求可能表現出時空局域性[39]。例如，同一區域內的用戶可能會請求對同一感興趣的對象進行識別任務，這可能會引入DL推理的冗余計算。在這種情況下，Cachier[39]在對應用進行離線分析和在線估計網絡條件的基礎上，提出將識別應用的相關AI模型緩存到邊緣節點，并通過動態調整其緩存大小來最小化預期的端到端延遲。因此，當緩存中的AI模型能夠滿足請求的要求時，可以直接從緩存中獲取AI模型進行使用。通過這種方式，可以通過使用緩存和重用來避免冗余操作。

此外，為了繼續進行有效的緩存和結果重用，必須解決可重用結果的精確查找問題，即緩存框架必須系統地容忍變化并評估關鍵的相似性。Foggy Cache[40]首先將異構原始輸入數據嵌入到具有通用表示的特征向量中;然后，提出了自適應局部敏感哈希(Adaptive Locality Sensitive Hashing,A-LSH)，即一種常用來索引高維數據的局部敏感哈希的變體，對這些向量進行索引，以實現快速準確的查找；最后，基于K-緊鄰(K-Nearest Neighbor,KNN)實現均勻化，利用緩存的值去除離群值，確保初始選擇的k條記錄之間存在主導聚類，從而確定A-LSH查詢記錄的重用輸出。因此，通過對可重用結果的精確查找和計算結果的緩存，可以減少AI模型的計算量，減輕對硬件資源的壓力。

與共享推理結果不同的是，文獻[41]通過不同AI模型之間的共享來減少計算量。通過考慮訓練樣本之間的相關性，作者提出了同一目標區域內的遷移學習算法，即如果一個目標區域內存在多個相關的AI模型，那么一個AI模型的訓練也可以使其他相關的AI模型受益。該方法通過共享訓練良好的AI模型，減少了未訓練的AI模型在同一目標區域的AI計算量。

2.3 目前面臨的挑戰

盡管AI on edge的工作研究很多，但也存在一些很明顯的挑戰。本文分別從數據可用性、模型訓練、協調機制和性能指標四方面列舉了AI on edge的重大挑戰。

數據質量數據的可用性是一切模型訓練的基礎。首先，對于提供原始數據的用戶需要提供一定的激勵才能獲得更加有用的真實數據，所以對提供數據的用戶設計合理的激勵機制是十分重要的。否則，原始數據可能無法用于模型訓練和推斷。此外，來自各個終端設備的原始數據可能會有明顯的偏差，這將極大地影響學習性能。盡管聯合學習可以克服Non-IID所帶來的問題，在一定程度上，訓練過程在設計魯棒通信協議方面仍面臨很大困難。因此，在數據可用性方面存在著巨大的挑戰。

模型訓練目前，從模型本身到訓練框架和硬件，AI模型的訓練面臨著以下兩方面的嚴峻挑戰。第一，基于AI模型時效的考量，如何確定合適的模型學習精度閾值，以利于AI模型的快速交付和部署；第二，如何在有限的資源下選擇探索性訓練框架和加速器架構。模型選擇、資源配置和管理耦合，問題復雜而富有挑戰性。

協調機制考慮到異構設備之間的計算能力和通信資源的差異，得到的AI模型無法在所有的設備適用，這可能會導致相同的方法在不同的移動設備集群中獲得不同的學習結果。因此，考慮異構邊緣器件之間的兼容性和協調具有重要的意義。所以，在端-邊-云之間設計一種協調機制是十分必要的，這種機制將為不同的邊緣設備提供一個統一的API接口。

性能指標由于EC網絡的不確定性特征(無線信道質量變化、并發業務請求不可預測等)，常用的標準性能指標(如Top-k精度或平均精度)不能反映邊緣環境中AI模型推理的運行性能。因此，這將導致無法準確量化和比較不同AI模型的性能。除了模型精度之外，推理延遲、資源消耗和服務收入也是關鍵指標。由于服務類型和應用場景的不同，一個邊緣AI服務往往涉及多個指標，這時就會出現一個新的問題，即多個指標之間的權衡。由于EI服務的特點，不同的指標對服務的影響也不同。然而，如何準確地平衡多個指標，使綜合績效最大化，已成為定量EI服務性能的關鍵。因此需要識別EI的關鍵性能指標，并探索這些指標之間的權衡，以幫助提高EI部署的效率。

3 AI for edge

在這一部分，將AI for edge的研究工作分為任務卸載和邊緣緩存兩部分。

3.1 任務卸載

邊緣計算允許邊緣設備在能量、延遲、計算能力等約束下，將部分計算任務卸載給邊緣節點[42]。但如圖3所示，存在如下一些挑戰：① 當一個邊緣設備處于多個邊緣節點的服務范圍時，如何選擇合適的節點進行任務卸載；② 對于有一定計算資源的邊緣設備，需要平衡在本地和在邊緣節點執行任務時的資源消耗和延遲程度，以此達到一個最優的執行策略；③ 由于應用程序服務的多樣性，邊緣設備也需要處理各種各樣的任務。但是，不同類型的任務對資源的需求不同。因此，對各種資源的分配也是一個挑戰。

圖3 EC中的任務卸載問題Fig.3 Task offloading problem in EC

解決這類任務卸載問題是NP-hard[43]，因為至少需要結合優化通信和計算資源以及邊緣設備的競爭。特別是，優化需要考慮無線環境的時變(如信道質量的變化)和任務卸載的要求，因此需要使用學習方法。在所有與基于學習的優化方法相關的工作中，當有多個邊緣節點和無線信道可進行計算卸載時，基于DL的方法比其他方法更具有優勢。下面介紹兩種基于DL的方法。

3.1.1 DNN用例

為了更高效地利用網絡資源，在DNN的基礎上研究者提出了許多高效卸載方案。例如，文獻[44]提出了一種將DNN劃分為多個分區的技術，這些分區可以在本地由終端設備處理，也可以卸載到一個或多個強大的節點上。文獻[45]采用最短路徑法和懲罰因子法確定DNN分區，并在每個DNN分區到達時增量構建DNN模型，允許客戶端在上傳整個DNN模型之前就開始部分上傳，從而提高查詢性能；基于上傳開銷罰因子法，文獻[46]提出了一種增強分區法，該方法利用客戶端與云/邊緣服務器之間的DNN執行圖上的最短路徑法對DNN層進行分區，生成更細粒度的上傳計劃；文獻[47]將DNN最優計算調度問題轉化為移動云計算環境下的最短路徑問題和整數線性規劃(ILP)，并通過層粒度優化公式對DNN架構進行劃分，從而實現移動設備和云之間的協同計算。文獻[48]提出了一種端邊云協同環境下的DNN推理加速高效卸載方案(EosDNN)，其中DNN推理加速主要體現在遷移延遲的優化和實時DNN查詢的實現。

此外，文獻[49]研究了關于區塊鏈的一個特殊卸載場景。邊緣設備上挖掘任務的計算和能量消耗可能會限制區塊鏈在EC網絡中的實際應用。當然，這些挖掘任務可以從邊緣設備卸載到邊緣節點，但這可能導致邊緣資源分配不公平。

3.1.2 DRL用例

雖然將計算任務卸載到邊緣節點可以提高計算任務的處理效率，但由于無線環境的潛在質量較低，卸載的可靠性受到影響。在文獻[50]中，為了使卸載效用最大化，作者首先量化了各種通信模式對任務卸載性能的影響，并據此提出了應用DQL(Deep Q-Learning)在線選擇最優目標邊緣節點和傳輸模式的方法。文獻[51]不僅考慮了延遲違反概率，還考慮了解碼錯誤概率，指出了傳輸數據的編碼速率是使卸載達到要求的可靠性水平的關鍵；考慮了編碼塊長度的影響，提出了計算資源分配的馬爾可夫決策過程(MDP)，以提高平均卸載可靠性。

此外，還有不少文獻討論了邊緣設備細粒度計算資源的調度問題，主要涉及到任務卸載中的能量收集問題。例如，文獻[52]使用DDQL提出了一種最佳的動態電壓頻率縮放算法，實驗結果顯示與DQL相比，DDQL可以節省更多的能量，實現更高的卸載效率。與之前基于DQL的離散功率控制策略不同，文獻[53]提出了一種具有連續動作空間(而非離散動作空間)的DRL方法DDPG，對局部執行和任務卸載進行更細粒度的功率控制。該方法可以自適應地分配邊緣設備的功率，以使其長期平均成本最小，數值仿真驗證了該方法相對于基于DQL的離散功率控制策略的優越性。

3.2 邊緣緩存

隨著各類智能終端設備的興起，多媒體應用、手機游戲、社交應用等服務也得到了快速發展。這一趨勢在給網絡架構帶來越來越大流量壓力的同時，也展示了一個有趣的特性，即相同的內容經常被同一區域的設備多次請求。這一特性促使研究人員考慮如何緩存內容，以實現對請求的快速響應，并減少網絡上的流量負載。從內容交付網絡到蜂窩網絡的內容緩存，網絡中的內容緩存研究從未停歇，以此來應對不斷增長的多媒體業務需求。邊緣緩存[54]符合向用戶推送內容的理念，被認為是進一步減少冗余數據傳輸、緩解云數據中心壓力、提高QoE(Quality of Experience)的一種很有前景的解決方案。

邊緣緩存可以利用地理位置上離用戶較近的邊緣節點緩存熱點內容，從而實現對服務范圍內請求的快速響應。因此，邊緣緩存不僅可以實現更快的請求響應，還可以減少網絡中相同內容的重復傳輸。然而，邊緣緩存也面臨許多挑戰。通常，邊緣緩存需要解決兩個密切相關的問題：① 邊緣節點覆蓋范圍內熱門內容的分布難以估計，可能會隨時空變化而不同，并發生變化[55]； ② 針對EC環境中海量異構設備的特點，層級化的緩存體系結構和復雜的網絡特性使內容緩存策略的設計更加困難[56]。具體來說，只有當內容流行度分布已知時，才能推導出最佳邊緣緩存策略。然而，用戶對內容的偏好實際上是未知的，因為他們的移動性、個人偏好和連通性可能一直在變化。在本小節中，將討論用于確定邊緣緩存策略的DL學習算法。

3.2.1 DNN用例

傳統的緩存方法通常計算復雜度較高，因為它們需要大量的在線優化迭代來確定用戶和內容的特征以及內容放置和傳遞策略。

① DL可以用來處理從用戶的移動設備上收集到的原始數據，從而提取用戶和內容的特征，作為基于特征的內容流行矩陣。這個流行度矩陣可以量化用戶和內容的流行度，為緩存決策提供數字基礎。例如，文獻[57]提出在FL的框架下使用自動編碼器實現用戶信息和文件信息的特征提取，然后根據相似度矩陣給出推薦的緩存列表。

② 在使用DNN優化邊緣緩存策略時，可以通過離線訓練避免在線繁重的計算迭代。DNN由一個用于數據正則化的編碼器和后面的隱藏層組成，可以用最優或啟發式算法生成的解進行訓練并部署，以確定緩存策略[58]，從而避免在線優化迭代。類似地，在文獻[59]中，受部分緩存刷新優化問題的輸出具有某些模式的啟發，訓練MLP接收當前內容流行度和最后一次內容放置概率作為輸入，以生成緩存刷新策略。

雖然可以設計和實現基于DNN的緩存內容放置和傳遞策略，但仍存在一些不足。如文獻[58-59]所示，優化算法的復雜性可以轉移到DNN的訓練中，從而打破了使用優化算法的實際局限性。在這種情況下，DL用于學習輸入——解關系，而基于DNN的方法只有在原始緩存問題存在優化算法時才可用。因此，基于DNN方法的性能受固定的優化算法限制，不具有自適應性。

此外，DL還可以用于定制邊緣緩存。例如，為了最小化自動駕駛汽車的內容下載延遲，在云中部署一個MLP來預測需要請求的內容的流行程度，然后將MLP的輸出發送到邊緣節點(即文獻[60]中RSu的MEC服務器),最后根據這些輸出，每個邊緣節點緩存最有可能被請求的內容。

但是，對于不同特征的用戶，他們對內容的偏好是不同的。因此，可以將用戶深度劃分為不同的類別，然后探究每個類別中用戶的偏好，這對提高內容緩存的命中率有積極的影響。在自動駕駛汽車方面，CNN被選中預測車主的年齡和性別。一旦識別出車主的這些特征，就使用K-means聚類和二值分類算法來確定哪些已經緩存在邊緣節點的內容需要進一步從邊緣節點下載并緩存到汽車上。此外，文獻[61]在充分利用用戶特性方面指出，在不同的環境中，用戶訪問內容的意愿是不同的。受此啟發，RNN被用來預測用戶的軌跡。然后根據這些預測，將所有用戶感興趣的內容預取并提前緩存到每個預測位置的邊緣節點。

3.2.2 DRL用例

上節中描述的DNN功能可以看作是整個邊緣緩存解決方案的一部分，即DNN本身并不處理整個優化問題。與這些基于DNN的邊緣緩存不同，DRL可以利用用戶和網絡的上下文環境，以自適應策略最大化長期緩存性能作為優化方法的主體。

與傳統的RL，如Q-learning[62]和Multi-Armed Bandit (MAB) Learning[55]相比，DRL的優勢在于DNN可以從原始觀測數據中學習關鍵特征。結合RL和DL的集成DRL agent可以直接從高維觀測數據中優化EC網絡的緩存管理策略。

文獻[63]使用DDPG來訓練DRL代理，以最大化長期緩存命中率，做出適當的緩存替換決策。該工作考慮單個BS場景，在該場景中，DRL代理決定是緩存請求的內容還是替換緩存的內容。在訓練DRL代理時，獎勵被設計為緩存命中率。此外，利用Wolpertinger架構[64]來應對大行動空間的挑戰。具體來說，首先為DRL代理設置一個主要操作集，然后使用KNN將實際操作輸入映射到該集合中的一個。通過這種方式，操作空間被有意地縮小，而不會丟失最優的緩存策略。與基于DQL的算法搜索整個動作空間相比，經過訓練的DRL代理與DDPG和Wolpertinger體系結構相比，能夠在降低運行時間的同時實現具有競爭力的緩存命中率。

另外，考慮到流行內容的時變性，文獻[65]使用Wolpertinger架構的深度強化學習框架研究無線網絡邊緣的內容緩存。特別地，提出了基于深度行為者-批評強化學習的集中和分散內容緩存策略。仿真結果驗證了該策略相比最少使用策略(LFU)、最少最近使用策略(LRU)和先進先出策略(FIFO)具有很強的優越性。

3.3 目前面臨的挑戰

雖然AI for edge的應用比較廣泛，但也存在一些挑戰。本節從系統建模、算法部署、優化與效率的平衡和資源編排四個方面列舉了AI on edge的重大挑戰。

系統建模使用AI方法進行系統建模時，公式化模型的數量必須是有限的。但模型數量的有限，使得一些以SGD和MBGD優化基礎的AI算法可能無法很好地工作。同時針對MDP問題，狀態集和動作集又不能是無限的，在進一步處理之前需要進行離散化，以避免維數災難問題的出現。一般的解決方法是將約束轉化為懲罰，并將其納入全局優化目標。這種現狀極大地制約了數學模型的建立，導致性能下降。這種情況可以被看作是利用AI方法的一種妥協。因此，這對在EC中建立合適的系統模型構成了挑戰。

算法部署對于邊緣的AI算法來說，當這些算法以在線方式部署在邊緣時，會面臨諸多挑戰。此外，另一個被忽略的問題是，由哪個邊緣設備來部署和運行所提出的復雜算法?，F有的研究工作通常集中在具體問題上，而沒有提供細節。

優化與效率的平衡盡管AI技術確實能夠提供最優的解決方案，但在資源受限的邊緣環境中，研究者更多的是關心如何在有限的資源下實現更高的算法效率。特別是在嵌入式的行業中，大多的設備都是資源受限的，但在嵌入式設備上部署的任務確實很多，要完成這些任務，就需要把有限的資源最大化。因此，如何在嵌入AI技術的情況下，提高EC系統在不同應用場景下的可用性和效率是一個嚴峻的挑戰。

資源編排為了充分利用邊緣計算的去中心化資源，需要建立與現有云計算基礎設施的連接。由于EI的部署環境通常是高度動態的，邊緣計算框架需要優秀的在線資源編排和參數配置，才能支持大量的AI服務。異構計算資源、通信資源和緩存資源的實時聯合優化、高維系統參數配置是關鍵。然而，目前還沒有相關的工作深入研究部署和使用這些DL技術在實際邊緣計算網絡或測試平臺上，進行長期在線資源編排的性能分析。

4 結論

EI的發展處于初始階段，吸引了眾多的學者參與研究，本文通過一個簡單明了的分類對EI的研究現狀提供一些參考。具體來說，本文首先分析了AI和EC的關系，提出了在IoT時代二者結合的必要性，從而引出EI的概念；接著，本文將EI分為AI on edge和AI for edge兩部分，然后從模型訓練、模型推理兩方面闡述了AI on edge現狀，并給出了存在的一些挑戰；對于AI for edge，本文從任務卸載和邊緣緩存兩方面進行了闡述，并給出了可能存在的挑戰。最后，希望本文能夠激發相關學者對EI未來研究的興趣。