基于云邊協同的計算機視覺推理機制

唐博恒，柴鑫剛

（中國移動通信有限公司研究院，北京 100053）

1 引言

過去十幾年中，計算機視覺的研究在公共安全、交通管理、城市治理、政府決策、醫療健康等領域取得了巨大進步。人工智能（artificial intellgience，AI）圖形圖像計算也納入了“十四五”規劃，加快布局行業產業應用。算法推理基于計算機視覺算法，在非人為干預環境下提取圖像有效信息，并對圖像進行理解與分析。單獨使用云側或邊緣側服務器進行推理面臨網絡時延導致服務時效性差的問題，極大影響用戶體驗，數據爆發式增長帶來算力短缺，導致使用成本提高，因此有必要對計算機視覺算法部署與推理方式進行新的嘗試。

云邊協同是融合通信、算力、數據存儲、應用服務的分布式開放平臺，相對于云側的全局性、長周期、高時延、大數據的計算特點。邊緣計算的短周期特性可以更好地支持本地業務。因此邊緣側與云側并不是簡單的替代關系，而是互補協同的合作關系。通過對資源協同、數據協同、應用協同、服務協同等協同領域構建統一高效的協同框架，實現云邊互補，資源融合。

云邊協同的推理機制不同于傳統的云邊協同，除業務、數據、服務等協同外增加了算法協同。算法協同具備算力資源分配、準確率驗證、模型分區調用等機制。云邊協同的推理機制彌補邊緣側算力不足導致的低準確率現象，避免數據短時增長帶來的算力波峰，減少云側帶寬壓力，提升服務速率，解決數據不出域問題，有效地提高了系統穩定性和資源的整體使用效率。

本文著重介紹基于AI技術的推理性能優化方法，從系統以及模型等層面闡述推理性能優化的一般方法，并從實際應用出發，給出了具體優化的實踐案例和取得的部分成果以及對未來發展方向的一些展望和思考。

2 主流云側以及邊側計算機視覺推理框架

在過去幾年提出的深度學習模型中，卷積神經網絡（convolutional neural network，CNN）是應用最廣泛的視覺算法模型之一。以往，科研領域往往將云計算作為人工智能深度學習訓練推理的首選方案，得益于云側強大的計算資源，算法被快速迭代驗證，因此準確性更高、功能性更多樣的算法層出不窮。由于更接近數據源，邊緣側可以實現更高的服務吞吐量和資源利用率，有效地減少了數據傳輸帶寬，提高服務執行效率。

2.1 云側推理的現狀與挑戰

深度學習在圖像領域的應用飛速發展。1989年，LeNet[1]中首次提出使用卷積解決圖像分類問題；2012年，AlexNe[2]和VGG[3]通過增加網絡卷積深度，并使用更大的卷積核得到更高精度。2015年，GoogleNet[4]引入Inception結構，開創式地對同一特征圖并行運算不同大小和規模的卷積層。ResNet[5]引入殘差塊的概念，增加了網絡深層與淺層特征連接的shortcut結構，從而有效地緩解深層網絡的梯度消失問題。至此網絡深度首次超過100層。DenseNet[6]提出一種修改后的殘差塊連接方式，通過每層的相互連接實現特征重用，提升網絡效率。SENet[7]在特征圖間添加擠壓和激勵塊以實現比ResNet更高的特征提取效率。

現有的網絡結構和算法性能顯示更深的網絡深度，可以得到更高的模型精度，見表1，隨之而來的是計算資源的指數級增長，云側計算中心數據處理能力也將迅速耗盡。雖然可以在中心云側部署大規模GPU資源池，但是在高并發數據流場景中，實施完善的算力資源池的整合、負載均衡和容災策略仍然是一項重大挑戰。

在數據傳輸方面同樣面臨更高風險，由于遠離數據產生源，需要傳輸大量未經處理的數據至云側服務器，無形間消耗大量網絡帶寬，不能保證較短的通信時延，因此云側推理模型無法適用在實時性要求較高的領域（如合作式自動駕駛等）。

云側推理模式在數據安全與保護方面有著先天性的不足，對于某些數據不出局的業務，云側推理則無法有效滿足需求。同時有數據截獲、數據丟包、網絡病毒等外部因素影響系統穩定性。

表1 云側模型算法資源與精度比較[8]

2.2 邊緣側推理的現狀與挑戰

受限于邊緣側資源限制，深度學習在邊緣側網絡上有以下兩個主要研究優化方向：首先在算法模型規模上嘗試新的模型部署技巧，這類方式可以通過減少網絡中的模型參數實現（如進行模型剪枝與壓縮[9-11]、知識蒸餾[12-13]和使用更高效的算法層[14]）；另一個方向根據邊緣硬件結構重新設計網絡模型[15-16]，實現高效的網絡推理。

比較著名的邊緣側網絡舉例如下。SqueezeNet[17]參考AlexNet進行改進，減少卷積核數量，使用shortcut結構，將參數減少到1/50。SqueezeNext[18]使用可分離卷積模塊替換原有卷積層，網絡參數量減少到AlexNet的/1 112。ShuffleNet[19]提出將圖像不同的部位使用不同的卷積進行運算，以減少卷積的重復計算進而減少整體計算量。CondenseNet[20]使用分組卷積，經過訓練過程學習分組策略并進行參數修剪，去除次要特征圖，實現與ShuffleNet相似的精度，而參數卻減少50%。NASNet[21]提出使用未定義塊結構，通過強化學習確定塊屬性。相似地，PNASNet[22]使用序列模型優化算法確定塊屬性。MNASNet[23]根據特定應用場景自動生成網絡模型，并通過強化學習獲取平衡硬件性能和算法時間復雜度的最佳網絡結構。MobileNet[24]是一個面向邊緣環境的目標檢測網絡，它以較小的精度降低為代價，有效減少權重和計算量。通過減少輸入圖大小和逐點卷積的單核計算實現性能上的優化。MobileNetv2[25]通過使用新的殘差塊有效減少通道數量，減少30%的參數數量和50%的算力消耗，并提高準確率。MobileNetv3[26]發布了兩個版本，分別為MobileNetv3-large（簡稱large版））和MobileNetv3-small版（簡稱small版），large版相對于small版具有更多的瓶頸模塊，使用神經體系結構搜索NAS（neural architecture search）算法[27]和NetAdapt算法[28]改進網絡結構，使large版比small版運行速度提升25%，而在相同運行速度下small版的精度比MobileNetv2高6.6%。

由于邊緣側資源有限，模型在具備準確性外，還要考慮模型的算力消耗、內存占用和能耗優化。與云側算法模型以準確率為導向相比，邊緣側模型需要考慮性能、成本、功耗等多方面的因素[29]。更準確的模型并不一定最適用于邊緣側推理，因此邊緣側的挑戰是如何實時響應來自多個終端設備的請求，同時均衡硬件占用和能耗等資源消耗。這也就導致單純的邊緣側計算不足以完成高精度模型推理。

由于邊緣側注重本網關下的數據處理，不足以完成在大場景（如城市級的交通調度、多網關下的數據處理等）的任務。同時邊緣節點的算法模型加載與更新不具備靈活性，在更換計算任務后需要手動進行算法替換，增加人力和時間成本。

現有邊緣側只是單純執行任務復用，即一個邊緣節點作為一個任務接口，沒有完全發揮計算網絡節點的復用價值，依然存在不同邊緣節點的重復計算而導致算力浪費的情況。

2.3 云側和邊緣側推理優化策略帶來的啟示

由于云側和邊緣側存在以上的種種問題，一種新的推理系統架構開始出現，云側、邊緣側和端側相互延伸、協同運作。云側作為復雜運算和資源調度中心，邊緣側輔助云側進行基礎模型運算或擴展算力進行多任務并行運算。相對于單一的云側推理和邊緣側推理，云邊協同的分布式計算構架有以下幾個優點：

· 云側可以提供更復雜、更精細的預測功能，彌補端側功能單一的特點；

· 緩解由于數據流集中在云側處理，導致計算資源緊缺的問題，有效消除算力波峰；

· 將骨干網絡部署在邊緣側，減少原始數據傳輸對帶寬的壓力；

· 有效提升服務速率與服務反饋速率；

· 滿足對特殊數據的保密性需要。

3 云邊協同推理

隨著應用場景的多樣性，簡單而單一的邊緣側網絡模型已經不能滿足大規模系統部署的要求。如何體現邊緣側靠近數據收集端的優勢，同時具備云側強大的計算能力，是下一代深度學習推理系統的研究方向。云邊協同深度學習的研究從以下幾個切入點進行探討。首先在原有的邊緣側模型基礎上，將云側模型作為補充提高整體模型精度的方案。然后深入探討了根據網絡層進行云邊劃分的分布式部署策略。最后是從性能優化方向，尋求模型分割的最優效率和數據傳輸的最優策略。

圖1 云邊協同分布式網絡形式[30]

3.1 云側對邊緣側進行補充和驗證

Teerapittayanon等[30]提出分布式深度神經網絡（distributed deep neural network，DDNN），該分布式神經網絡可以根據云側、邊緣側和終端側不同節點的地理層級進行擴展與縮放。同時參考文獻[30]中提出了6種不同的分布式深度網絡，如圖1所示。

對云側網絡和邊緣側網絡使用聯合訓練同時進行權重訓練，分別得到各自權重并進行部署。邊緣側網絡使用判定器判斷特征信息是否足以進行準確的推理，當判定為錯誤推理時，邊緣側拋出數據至云側，由云側更復雜的網絡進行推理，得到更準確的推理結果。邊緣側判定器使用正規化熵值確定，定義為：

其中，C為標注值，x為預測值，最終η值分布在[0,1]。設定拋出閾值T，邊緣拋出的分類結果越多，系統準確性越低，但邊緣側算力資源利用率也就越高。為了使系統推理性能和準確性達到平衡，設置T=0.8，此時邊緣拋出率為60%，準確率為97%，系統達到最優的效率和準確性。對于多個邊緣側情況（如圖1（c）、圖1（e）、圖1（f）所示），還提出了3種本地聚合器以聚合不同來源的數據，分別是最大池化（max pooling，MP）、平均池化（average pooling，AP）和串聯（concatenation，CC）。其中，邊緣側使用MP聚合、云端使用CC聚合得到最佳分類準確率。參考文獻[30]雖然提出了一種提高邊緣側模型準確率的方案，但是并未對模型進行優化，同時邊緣側需要進行全部推理計算，某些不通過的結果需要在云側進行重新計算，增加了整體計算量。

3.2 基于模型分割的分布式云邊協同

根據不同的場景需求，邊緣側往往使用查詢的方法從云側下載與場景相對應的完整網絡模型自動部署，然后進行邊緣推理（如fog nods[31]、cloudlet[32]）。此種方式耗費大量的網絡帶寬，更長的模型載入時間導致邊緣側的啟動效率更慢。因此提出將模型進行分割，部分模型部署在邊緣側，另一部分部署在云側的分布式協同網絡。

其中一種以網絡層為單位的分割，確定網絡分割點的過程一般可以分為3個步驟[33]：

（1）測量和建模不同DNN層的資源消耗成本以及中間DNN層之間的傳輸數據；

（2）通過特定的層配置和網絡帶寬預測總成本；

（3）根據時延、能量需求等從候選劃分點中選擇最優的劃分區域。

另一種模型分割是垂直分割，與水平分區相反，垂直分區將圖層融合在一起，并以網格的方式在垂直方向上對其進行分區，從而將CNN圖層劃分為獨立可分配的計算任務。

Jeong等[34]提出IONN結構，不同于傳統的邊緣服務器查詢云端算法將網絡模型從云側發送至邊緣節點的部署方式，IONN將網絡劃分為多個分區逐個發送至邊緣側。在執行推理需求時，優先選取邊緣側原有的模型分區進行復用。為了最優化網絡分區上傳順序，提出使用圖結構的啟發式算法，如圖2所示，以獲得最佳的分區網絡查詢和邊緣加載性能。具體做法是分別預測每層網絡分區在云側的執行時間，和邊緣側執行時間與云邊數據傳輸的網絡延遲時間總和，兩者對比得到每層網絡分區執行的最優策略。如果云側網絡層運行時間短，則數據直接在云側運行。如果邊緣側復用或加載并運行網絡層時間短，則網絡層在邊緣側執行。參考文獻[34]也提出了網絡分層策略。首先確定邊緣側網絡層的最優加載偏好，即網絡分區效率高但開銷小的期望。通過迭代網絡分區，分別計算網絡在云側和邊側的運行效率，提取在運行效率高的網絡分區部署在邊緣側。使用AlexNet、ResNet、GoogleNet和MobileNet分別進行測試。最終效果顯示在剛開始執行IONN時，邊緣側加載全部網絡，整體運行速率較慢，但經過幾次加載后，由于復用邊緣側原有網絡結構，上述模型加載時間全部下降至0.2 s內，加速效果較好。但是由于移動端側可能在短時間內穿越不同網絡網關，系統會經常遇到運行時長峰值，不利于系統穩定運行。

圖2 圖結構啟發式算法

隨后Jeong等[35]提出PerDNN結構，為了解決IONN資源占用波峰問題，提出預測并提前加載模型的機制，以減少移動端更換網關導致邊緣服務器冷啟動對系統運行效率的影響。云側服務器使用移動端側返回的GPS或Wi-Fi地理位置信息，預測移動至下一個未來網關的區域。未來網關區域的邊緣服務器將提前加載當前邊緣服務器中的模型資源。由于邊緣側服務器需要同時處理多個任務，參考文獻[35]提出使用GPU信息來估計資源占用的方法。通過對每個類型層訓練隨機森林模型，預測部署在邊緣側不同層組合的運行時間。由于需要邊緣側進行不斷的模擬預測，因此預測對象需要具備輕量化特點。參考文獻[35]提出將模型數據分為兩部分：一部分是不具備權重數據只包含模型結構和超參數的模型網絡結構文件，另一部分是模型權重。使用模型結構文件可以快速地預測模型推理效率，然后由云端根據邊緣側GPU資源使用量配置運行策略。

Li等[36]提出網絡分層部署邊緣側以減少云側壓力，使用INT網絡量化[37]以減少存儲量、傳輸和算力需求，并提出了一些典型網絡的分區策略，如在Inception中將并行結構作為分區，并輸出INT8和FP32兩種量化標準在云端進行處理。ResNet中將殘差塊作為分區等。記錄每個分區的性能并找到最佳的分區策略。最終得到網絡平均速度增加1.2倍，且精度下降小于0.1%。

Tian等[38]提出MDPO（mobility-included DNN partition offloading）結構，用于處理移動端側的模型加載問題。作者將神經網絡看作有向無環圖（directed acyclic graph，DAG）進行描述，記錄邊緣側網絡運行時間和傳輸時間作為圖的邊，將模型最優分割問題轉化為鏈拓撲的最小切割問題，并使用Yuri Boykov算法[39]解決，最終得到模型最優化分區。同時考慮端側移動導致端側切換網關而產生的邊緣側模型冷啟動問題，參考文獻[38]還提出一種邊緣模型在無線網關間的切換策略。由于并不能預先得知新場景下邊緣側和端側的數據傳輸速度，因此當端側設備移動至新邊緣側網關時，系統會同時執行邊緣對邊緣傳輸和邊緣傳輸至端側再上傳至邊緣側兩種策略。取最短傳輸路徑以確保整體效率最高。

3.3 分布式模型云邊部署的優化策略

使用邊緣計算雖然更接近數據收集端，減少數據傳輸時延，但是如何有效地分配設備集群資源，充分調度分布式算力進行推理仍然是一個充滿挑戰的問題。Zhao等[40]在DeepThings中提出融合切片分區方法，不同于將卷積層按層劃分，參考文獻[40]使用縱向劃分將卷積層劃分為自上而下的可分區的任務，并提出一種邊緣資源分配策略以優化邊緣側的算力使用和存儲復用策略。其論證基于網絡層進行分區時會增加內存的資源占用，因此使用跨層分區結構可以有效減少資源占用和通信開銷。基于YOLOv2的檢測原理設置單階目標檢測網絡，首先將特征圖劃分成不重疊的網格塊，然后在運算過程中遞推延伸網格邊緣寬度，每個網格塊作為切片的分區。由于在推理中延伸出的網格寬度在不同分區存在重疊部分，因此參考文獻[40]設計了一種重疊區域重用機制，計算完成的重疊區域特征將被其他計算節點分享共用，以此來減少由于重復計算而產生的算力浪費。系統通過云側確定每個邊緣節點的資源占用情況，使用動態負載均衡分配每個分塊的執行節點。經過實驗，DeepThings最終將邊緣側的運行內存減少69%，權重參數減少10.3%。但此種方法在使用多邊緣設備時，每增加1臺邊緣側設備，通信開銷呈線性增長8%。因此當有足夠帶寬時，系統可以在大型異構集群網絡中提供更好的拓展性和負載均衡性能。

Huang等[41]提出利用分布式網絡減少權重傳輸時間的調度優化算法。使用式（2）來評價云側和邊緣側的模型精度和硬件空間使用關系：

其中，A是模型精度比例，R是空間剩余率，a、b、c是模型在設備中運行的時間常數。并提出系統運行時間和模型精度比iW，使整體W最小來最優化系統性能：

其中，B是約束帶寬，D是數據量。為使達到最小，參考文獻[41]使用模擬退火重排算法尋求最優方案。首先以每個邊緣節點的數據處理總量最小為標準部署節點集群，然后將每個節點模型進行重排，每經過一次重排便判定系統狀態，如果總消耗減小則繼續進行當前狀態轉移，反之減少該種狀態轉移權重。使用模擬退火算法系統最終減少30%～50%的系統存儲資源，并且減少66%的數據傳輸量。以上方法雖然效果較好，但云側服務器只作為任務分配功能，邊緣缺乏和云側服務器的數據交互，并未充分利用云側計算資源。

2018年Ko等[42]提出一種將卷積層部署在邊緣側的特征空間編碼方式。參考文獻[42]指出，越靠近輸入層，網絡特征圖中特征信息越稀疏，特征信息密度越低。由于特征圖具有較高的零占比，因此使用行程長度壓縮算法和哈夫曼編碼相結合的方式，即JPEG編碼的最后一部分壓縮算法對特征圖進行編碼。最終在沒有精度損失的情況下得到了3～10倍的壓縮率，在1%精度損失情況下實現5～50倍的壓縮效率，有效減少了網絡特征圖在設備間的傳輸壓力。但是并未對使用聯合訓練、訓練校正等方法對高壓縮率導致的精度損失進行改進。同時并未對較深層網絡的分區策略提出解決方案。

參考文獻[43]對云邊緣協同推理網絡的時延和計算強度進行分析，將推理物理層分為云側、邊緣側和端側，分別由上一層為下一層分配任務提供模型。不同基于任務啟動時間來決定優先級的資源分配方式，參考文獻[43]使用基于蟻群優化的啟發式算法來優化邊緣節點的任務調度。將路徑定義為：

其中，τi,j是vj節點的任務ia的信息素，ηi,j是由確定的蟻群啟發信息。

其中，P是當前任務計算資源占總任務比例。算法通過迭代蟻群最佳路徑得到最佳的任務分配策略。并使用拉格朗日算子對網絡分層的延遲、能耗、運行時間等方面進行分析，得到模型加載算法。但使用蟻群迭代算法計算量大，算法延遲高。同時要求網絡延遲低，在迭代過程中如有數據丟包情況出現，則迭代處于等待狀態，這會降低整個切換模型效率。

4 挑戰與展望

由于邊緣計算與云計算優勢互補，云邊協同的模型推理是許多智能應用落地工作的焦點。盡管業界做出了巨大努力，但是仍然存在許多尚未解決的問題和挑戰。更高的推理精度，往往需要使用更復雜的網絡。但是在產業落地過程中需要考慮能耗、性能、成本等諸多問題，具有最佳精度的網絡和部署策略可能并不具備最佳的落地價值，需要權衡效率、性能等多方面的問題。

4.1 數據協同的挑戰

（1）基于模型數據優化的協同方式

目前，云邊協同網絡更多的是將云側模型加載至邊緣側，雖然有部分文獻提到使用邊緣側自動備份轉移的方式，但是根據不同場景優化的備份轉移方式并未過多披露，且無行業統一標準，這致使在不同硬件和網絡環境中無法進行規模性應用。因此，還需結合場景研究更具體的分配方案，并對其進行深度優化和兼容性處理。

（2）基于推理數據流的優化協同方式

越來越多的應用場景將數據安全置于首位，如何在實現功能的同時考慮數據不出域和加密性傳輸是研究重點。而現有方案中雖然有諸如JPEG編碼的方式，但是缺少統一高效的加密和傳輸協議，這些協議將是未來智能云邊協同監控全面推廣面臨的重要問題。

4.2 網絡分區協同的挑戰

現有網絡的分區方案實現的是從網絡層級的橫向或縱向的分區，最終達到和完整網絡接近或相似的性能和準確率。因此，從結果來看，現有方案只相當于把計算資源從云側下放到邊緣側，并未實現性能優化的跨越式發展。近年深度學習中諸如顯著性目標[44]、注意力機制[45]、元學習[46]等方向的研究快速發展，未來如何將上述新方法應用于云邊協同網絡，同時這些新的結合會帶來哪些性能提升，都還需進一步研究。

4.3 業務功能分區的挑戰和機遇

現有方案多數從深度學習的圖像分類領域作為切入點，但對監控領域（如目標檢測、屬性分析、關鍵點檢測、行為分析、運動狀態、重識別等）的研究較少。監控領域更具有商業應用價值，并且具備更高的研究投入回報比。希望未來可以有更多不同場景的云邊協同分布式算法框架出現。

5 結束語

本文從傳統的計算機視覺深度學習網絡切入，以卷積神經網絡為基礎，對云側和邊緣側的網絡推理機制進行了調研和闡述。綜合云側網絡和邊緣側網絡的各自劣勢，預測云邊協同推理方式的發展前景，并分別從云邊互補、網絡分區和策略優化3個主要方向描述云邊協同深度學習推理的發展現狀。云邊協同的算法推理機制可以有效提高云邊資源調用率、減少重復運算導致的算力開支、減少數據帶寬。最后從數據、網絡分區策略和業務功能3個方面提出未來可能面臨的機遇和挑戰。