基于云網邊端協同計算的智能分發網絡研究

黃曉慶，魏旭賓，朱 磊，王 偉，楊光華

(達闥機器人有限公司，上海200245)

0 引言

智能服務機器人將成為社會發展的重要組成部分，它們將協助人類從事嚴重缺乏生產力或者人類不愿從事的重復、高危、困難或不潔凈的工作等。通常智能服務機器人的“大腦”位于機器人的本體上，由機器人本體獨立處理圖像、語音、地圖等信息并完成服務任務。但是機器人本體的“大腦”受到計算能力、存儲空間及能源消耗等因素的制約，無法適應更復雜的應用場景，為此云端機器人應運而生。云端機器人是將云計算技術應用于機器人的技術。運用云計算技術的強大運算和存儲能力，能夠給機器人提供一個更智能的“大腦”[1]，但云端機器人存在分配云與端的計算任務、保證網絡傳輸效果、降低傳輸帶寬成本、云端實時響應等問題需要解決。

在現有云端機器人理論研究的基礎上，本文先通過對“云-網-邊-端”機器人架構的介紹，提出智能分發網絡的概念，解決算力、通信、存儲三大問題，再對智能分發網絡與內容分發網絡的管理對象、管理目標和流量模型進行對比和討論，最后闡述在智能分發網絡架構下機器人的典型應用場景，以激發更多研究和思考，共同促進云端機器人的發展。

1 云端機器人

1.1 智能服務機器人現狀及問題

據《2020中國服務機器人產業發展研究報告》介紹，從市場層面來看，全球范圍內，中國服務機器人行業增速高于全球平均增速，市場規模占全球比例超25%[2]。從技術層面來看，環境感知、運動控制、人機交互、操作系統及芯片幾大技術模塊的技術發展成熟度決定著服務機器人產品的應用落地程度[2]。本文將主要從服務機器人的軟件系統層面進行研究。

智能服務機器人的主要能力包括語言能力、視覺能力、運動能力及情感能力等。智能機器人為實現這些能力，通過感知、推理、執行三步完成[3]。為了實現智能服務機器人全方位的感知，其本體將集成大量的傳感器，例如高清攝像頭、激光雷達、多麥克風陣列及紅外傳感器等。這些部件在正常運行時將產生大量的采集數據，如何處理數據、計算并下發決策將面臨以下三大問題。

首先是計算能力不足問題，業界常用的海量數據處理是完全基于終端的本地化處理，該方法受制于智能終端本體的計算能力、能源消耗、樣本空間的大小，其計算能力及處理結果的準確性都無法達到很高的水平。利用圖形處理器(Graphics Processing unit，GPu)執行更快的基于區域的卷積神經網絡(Faster Region-based Convolutional Neural Networks，Faster R-CNN)算法以進行圖像識別，處理能力可以達到5 fps， 但是功耗達到200 W以上[4]。雖然機器人本體的計算能力不斷增強，但是也很難滿足人工智能(Artificial Intelligence，AI)算法對算力的需求。

其次是網絡通信問題，智能機器人不是信息孤島，需要通過網絡與外界通信來獲取信息。這些過程都受到機器人接入網絡質量的影響，時延、抖動、丟包等因素都可能造成網絡通信不暢通、反映在機器人的響應效果卡頓、無響應等。

最后是數據存儲及數據安全問題，智能機器人本體的存儲空間有限，數據時效性也可能過期，需要及時獲取更新數據。數據在本地的存儲和在網絡中的傳輸都面臨著被盜竊、劫持、篡改的風險。一旦數據泄露或機器人被劫持，將會對用戶的隱私及安全造成巨大的損失。

1.2 智能服務機器人云端化趨勢

通過分析智能服務機器人的問題和挑戰，真正解決智能機器人對算力、通信、存儲等能力的需求與現有機器人架構不完善之間的矛盾，使機器人更好地為人類服務，需要從系統架構的角度把機器人、通信、AI和邊緣計算、云計算技術結合起來，形成一個完整的計算通信體系，將智能機器人最終轉變成云端機器人。利用“云-網-邊-端”架構實現云端機器人的多級智能，將位于終端的“小腦”、位于邊緣的“中腦”和位于云端的“大腦”相結合，串聯多級“腦”組成智能分發網絡(Intelligence Distribution Network，IDN)。目的是利用云端的強大計算能力和存儲能力解決機器人計算能力不足和數據存儲的問題，利用5G和云邊協同技術解決機器人到云端的通信問題。IDN是實現云端智能機器人大規模商用的必經之路和關鍵技術。

2 智能分發網絡(IDN)

2.1 IDN概念

智能分發網絡是構建在現有網絡基礎之上的分布式智能分發和計算系統。在構建的云端、邊緣、終端多級智能架構基礎之上，集中化AI訓練、分布式AI推理，以降低中心云負載和上行網絡帶寬，提高云端機器人的反應速度和云端大腦的智能程度。

IDN的本質是一個基于網絡連接的云、邊、端分布式計算系統。IDN中分發 “智能”的本質是“算法+數據”的AI單元，通過網絡連接，將“智能”在網絡中按需分發。

IDN概念的核心是AI的處理能力被按需分布在不同的中心云、若干邊緣云和智能終端上，智能分發管理平臺和嵌入在各級的管理代理負責動態控制中云、邊緣云和終端的具體分工，以及AI概念模塊的分布。由于將算力從云端逐層下放，減輕了云端壓力，提升了響應速度，降低了上行帶寬，進而降低了運營成本。

例如：云端機器人通過終端側采集，將視頻、音頻、圖像等數據作為IDN的輸入先在終端進行預處理，終端將需要分析的數據上傳至邊緣，邊緣根據預先加載的“智能”進行推理。而預先加載的“智能”計算單元則是經過云端海量數據訓練的AI模型，經過更充足的樣本空間、更強大的GPU計算等資源，訓練出更加精準的模型，預先推送到邊緣。由于每一層級別都根據更加精準的“算法+數據”去推理輸入的數據，從而輸出更加精準的結果。經過研究，IDN較為合理的處理模式分為以下3種。

快速反應模式對于需要快速反應的智能處理，如支持動作或導航有關的智能功能，在智能終端處理可以增加反應速度，擴展應用的適用范圍，該模式中本地計算承擔全部的工作任務。

多層智能處理模式很多智能處理需要經過多層次提煉和聚焦。底層終端偏重數據處理和提煉，高層邊緣云做語義和綜合智能的處理。在這個模式中，形成了全網統一的算力面和數據面。另外，為解決數據在不同的云端或邊緣相互獨立存儲、管理形成數據孤島，多層智能處理模式引入聯邦學習[5]，打破數據屏障的同時，將多參與方在不提供加密形態和底層數據的前提下，多方共同建模，既保護了用戶的隱私數據，又提高了模型的精準度，還突破了計算能力的邊界。

中心高層智能處理模式中心高層的智能處理，基于大規模的模型，需要大量各方匯總的數據和實時數據，經常只能在中心云處理。根據具體的應用場景，所需的AI功能和性能、網絡狀況等，智能分發管理平臺動態地在以上3種模式之間進行選擇和配置，如圖1所示。

圖1 智能分發網絡概念圖Fig.1 Concept of Intelligence Distribution Network

2.2 IDN架構

IDN的技術關鍵在于如何將3種處理模式有效地結合，故將IDN的總體架構體系劃分為資源層、平臺層和應用層三層，并包括縱向貫穿3層、橫向端到端的安全防護體系,如圖2所示。

圖2 IDN的總體架構Fig.2 Architecture of intelligence distribution network

資源層包含計算、存儲、網絡和數據中心等基礎設施資源。平臺層在資源層之上，為智能機器人提供高速、安全、可靠的端到端虛擬網絡連接，提供統一認證，并針對云端智能機器人智能應用分發、運行和管理的要求，提供中心云和邊緣云的統一管理和多云協同能力。應用層支撐智能應用的運行，并能夠根據策略和系統狀態智能編排應用在多云協作分布計算環境下的分發，實現云邊端的協同作業。IDN聚焦于云邊端系統中智能的管理，IDN將智能作為一種可創建、可分發、可回收、可監測、可調配的資源進行全局統一管理，提供給智能機器人進行調用。

IDN架構中充分考慮安全防護問題。大規模服務型機器人的運營體系對整體的安全需求是一個復雜、多樣化、涉及從網絡到應用層面的問題。而隱私數據保護是安全防護的重中之重，為IDN構建一個可靠的、機器人有自主權的身份管理系統是必要的。萬維網聯盟(World Wide Web Consortium，W3C)提出了去中心化標識符(Decentrailized Identifier，DID)[6]的概念，其中DID強調用戶自主的身份管理，用戶身份不屬于任何服務提供商，這構成隱私保護的重要基礎，也是打破傳統的身份管理孤島格局。同時DID對用戶各種證書的管理機制成為整體系統安全的基礎。例如，云端機器人在實現DID的過程中采用了區塊鏈技術[7]，充分利用區塊鏈的不可篡改性和去中心化的特征，為每1個機器人分配一個唯一的DID，機器人接入IDN時使用DID進行身份識別，在IDN的每個節點實現軟件定義邊界(Software Defined Perimeter，SDP)功能[8]，只有認證通過的DID訪問才會得到動態授權訪問IDN，以此來實現零信任接入，達到安全防護的目的。

2.3 IDN的云邊端協同

IDN架構下的云邊端協同包括應用層的智能協同和數據協同，平臺層的編排協同、部署協同、調度協同，資源層協同、安全協同和監控協同。

數據協同是邊緣云或中心云采集智能設備數據，并在本地存儲和分析，中心云與邊緣云之間可以協同配置數據、策略數據、業務數據，以及在智能分發網絡內的IDN節點分布式處理智能應用和數據；智能協同是IDN智能分發網絡分發各智能到邊緣云后，中心云與邊緣云上的智能應用基于“微服務”的架構、分布式方式實現AI能力協作。中心云和邊緣云基于云原生[9]的容器編排技術，在多云環境下由中心云的管理平臺來控制編排、部署、調度策略，協同邊緣云控制器執行，由邊緣云的“容器云”完成編排協同、部署協同和調度協同的流程。此外，中心云統一規劃管理所有環境的資源、管理安全信息以及所有環境的監控告警策略，邊緣云側使用并上報資源狀態，使用并執行安全和進口策略，以實現資源協同、安全協同和監控協同。中心云對邊緣云及終端有總體的管控能力，邊緣云對邊緣節點環境有自治能力。在網絡忠誠連接的情況下，由統一的控制中心完成對中心云、邊緣云和端側的監測和協同管理。

3 IDN與CDN的對比

3.1 CDN概念和架構

內容分發網絡(Content Delivery Network，CDN)是構建在現有網絡基礎之上的智能虛擬網絡，依靠部署在各地的邊緣服務器，通過中心平臺的負載均衡、內容分發及調度等功能模塊，使用戶就近獲取所需內容，降低網絡擁塞，提高用戶訪問響應速度和命中率[10]。CDN的關鍵技術主要有內容存儲和分發技術。如圖3所示，在用戶與原始內容提供的源站之間增加CDN層，通過添加CNAME域名解析的方式將用戶流量劫持，調度系統根據來源用戶的IP地址將流量引導到最優一級Cache節點，Cache節點通過預加載的方式將用戶所需內容預先從源站獲取并本地緩存，如果本地沒有命中則該節點向上級Cache節點或者源站獲取內容并逐級返回，直至將內容返回給用戶。CDN系統通過多級緩存的方式，提升Cache系統的性能、可靠性和減少回到源站獲取內容的次數，以達到減輕源站壓力，快速響應用戶的目的。

圖3 內容分發網絡概念圖Fig.3 Concept of content delivery network

3.2 IDN與CDN的區別

經過20多年的持續發展，CDN技術已經非常成熟，雖然IDN與CDN有共同的分布式計算的理論基礎，但是又存在本質上的不同。本文總結出IDN與CDN具有如下三點不同之處。

① 管理對象不同。CDN中的管理對象為內容資源，內容資源具有全局不變、可重復、允許失效等特點[11]；而IDN中的管理對象為智能，智能是一個或者一系列智能應用及其運行配置、關聯數據的封裝。因此，IDN的智能分發包含智能應用鏡像分發、應用運行配置管理以及應用關聯數據的轉移。智能應用鏡像分發與CDN中的內容下發類似，但還需要考慮應用執行環境差異、分發過程安全性等因素；應用運行配置的管理則需要通過通用模板和個性化參數來實現不同環境的差異化配置管理；關聯數據是智能應用運行時依賴的原始數據。根據智能應用的不同業務特點，關聯數據的來源可以分為終端上傳、中心下發和邊緣產生，這三類數據的數據量、實時性等特點各不相同，而根據這些特點，IDN對于關聯數據的轉移管理包括向上匯聚、向下分發和水平移動等方式。由此可見，IDN的管理對象比CDN更加復雜。

② 管理目標不同。CDN的指導思想是讓數據盡可能貼近終端用戶，以存儲來換時間并降低下行帶寬需求[12]；而IDN的管理目標則是讓特定智能可以更加自由、更加高效地運行在整個“云-網-邊-端”環境中。這里的“自由”是指通過IDN，可以快速地將云端智能下沉到邊緣，以及將邊緣的智能轉移至云端，也可以將IDN延申到終端，通過這種方式來打破云邊端的應用鴻溝。在“自由”的基礎上，IDN將“智能”轉到更貼近業務需要的環境中運行，將云端智能下沉到邊緣來換取帶寬節省、降低時延，將邊緣的智能轉移至云端來換取更強的處理性能、更大的數據集合和數據共享，通過這種方式來實現更“高效”的智能。

③ 網絡流量模型不同。CDN的主要流量是以所服務的源服務器為源頭，自上而下地分發到終端用戶(不排除以上傳流量為主的CDN業務，此為宏觀總體流量)，而IDN的主要流量則是以智能終端為源點，自下而上的網絡流量占據主要。據統計2019年互聯網中下行流量是上行流量的14倍[13]，而IDN的流量模型中自下而上的網絡流量為主要占比，據機器人運營商達闥機器人統計，智能機器的平均上行網絡流量是平均下行網絡流量的10～100倍。達闥機器人運營的不同種類機器人的IDN上下行流量對比，如表1所示。經過IDN的使用，可以有效地降低骨干網上行帶寬，達到提升骨干網帶寬利用率并節省成本的目的。

表1 不同種類機器人上下行帶寬對比表

4 IDN賦能云端機器人

4.1 IDN應用于云端機器人

2020年12月2日，達闥科技發布了云端機器人海睿操作系統HARIX。這也是在電腦操作系統Windows、手機上的安卓操作系統Android和蘋果操作系統IOS之后，全球首個面向機器人的操作系統。

本文以海睿操作系統下的云端服務機器人Ginger為例，在實驗室場景下，進行一次“幫助客人取茶杯”的抓取實驗，通過對比使用IDN前后完成的效果來證明IDN對機器人反應速度的提升。

機器人Ginger的任務是自主完成指令識別、茶杯的尋找和定位、逼近、抓取、遞送等功能，將茶杯從指定的桌子抓取并送到目標人的手中。實驗環境包括： 100 m2的房間、一個茶杯、一張1 m高桌子、一臺Ginger機器人以及IDN系統。

Ginger機器人是達闥機器人自主設計研發的云端服務型機器人。機器人本體通過遠程控制單元(Remote Control Unit，RCU)與云端大腦HARIX連接，RCU與HARIX之間通過智能分發網絡IDN進行連接，IDN包括中心云和邊緣云機器人云端大腦HARIX。HARIX實現了數字孿生技術[14]，在云端虛擬一個和實驗環境相同的虛擬世界，并對環境中所有事物進行掃描和建模，對桌子、茶杯等物體的位置、高度等信息進行了標記。HARIX作為云端大腦還包括各種智能技能：云端自動語音識別技術(Cloud Automatic Speech Recognition，Cloud ASR)、云端自然語言處理(Cloud Natural Lauguage Processing，Cloud NLP)、云端自然語言理解(Cloud Natural Language Understanding，Cloud NLU)、云端同步定位與地圖繪制(Cloud Simultaneous Localization and Mapping，Cloud SLAM)、云端計算機視覺(Cloud Computer Vision，Cloud CV)等，這些智能彼此獨立，既可以單獨對外提供服務，又可以相互調用。IDN的智能管理中心將機器人所需的智能以鏡像加數據模型的方式推送到所需節點，并以服務的方式啟動后對外提供接口。

4.2 云端機器人抓取實驗

本實驗設計了Ginger機器人完成任務所需的流程，并對流程進行詳細拆解，如圖4所示。

圖4 Ginger機器人抓取投遞流程Fig.4 Process of Ginger robot grasping and delivery process

其中語音識別和深度圖像識別在云端進行。而目標的尋找需要調整機器人的頭部并通過深度相機進行拍攝，每200 ms一張高清深度圖像，如果云端未能識別出茶杯則需要調整頭部循環進行，由于機器人尋找物體過程為主要耗時過程，故分析機器人尋物的耗時。機器人尋物總時間公式為：

(1)

式中，T為機器人尋物的總體時間，t1為機器人頭部移動時間，t2為RGBD相機拍攝彩色圖像、深度圖像并合成的時間，t3為一次云端推理的時間(此處為一次圖像識別的時間)，n為尋物嘗試的次數，理想情況下n=1，S為圖像的大小(單位是MByte)，RTT為延遲，Loss為網絡丟包率,此處Loss不為0，MSS為TCP最大報文長度，參數C通常為1，注意此處帶寬計算公式根據Mathis 公式[15]，為理論最大帶寬，且在不受基礎傳輸網絡最大帶寬限制的情況下。為體現IDN對于機器人計算和傳輸方面的效果，文中將機器人的實現消耗進一步細分為機器人本體用時和云端用時。完成一次云端調用所需時間如式(2)所示，此處Loss不為0。

(2)

實驗一所有智能技能部署在中心云。IDN智能管理中心將Cloud ASR、Cloud NLP、Cloud NLU、Cloud SLAM和Cloud CV程序以及數據推送并部署在中心云節點。為模擬機器人在5G接入時實際工作中的場景，設定從終端到云端的平均時延RTT為150 ms，平均丟包率Loss為1×10-6，MSS為1 460 Byte，不設置骨干網傳輸最大帶寬上限。

實驗二IDN智能管理中心將Cloud CV技能推送并部署在邊緣云節點，其他技能在中心云節點。設定從終端到邊緣的平均時延10 ms，從終端到云端的平均時延150 ms，平均丟包率Loss為1×10-6，MSS為1 460 Byte，不設置骨干網傳輸最大帶寬上限。

實驗三IDN智能管理中心將所有智能技能推送并部署在邊緣云，設定從終端到邊緣的時延10 ms，丟包率Loss為1×10-6，MSS為1 460 Byte，不設置骨干網傳輸最大帶寬上限。

實驗總結如表2所示，根據實驗一和實驗二對比所得，將大文件的圖像識別下發到邊緣進行計算，云端調用總時長優化22.99%。根據實驗二和實驗三所得，將小文件的語音識別下發到邊緣進行計算，總優化比僅占3.10%。

表2 實驗結果

因此得出結論：將計算復雜、上傳大文件、調用頻繁的智能運算下發到邊緣更合適；相反，計算簡單、上傳小文件、調用不頻繁的智能運算在云端更合適。雖然實驗三整體的時效性最優，但是考慮實際情況，相當于把全部智能計算在所有的邊緣都部署一整套，在資源消耗方面反而得不償失。由此可見IDN根據云邊端的統一調度，在響應速度與資源消耗方面的優勢。

5 結束語

本文從讓機器人更加智能的目的出發，提出了智能分發網絡IDN概念，總結了智能分發網絡在解決云端機器人計算能力問題、網絡通信問題、數據存儲及安全問題方面的優勢：智能分發網絡IDN，通過站在全局視角的智能分發中心協同云、網、邊、端的計算能力，利用云端更強大的運算能力、存儲能力進行模型訓練，通過私有骨干網絡將訓練后的模型和智能程序在中心節點和邊緣節點傳輸，最終利用運營商5G網絡加速終端訪問和響應。通過對比IDN與CDN的區別，得出IDN在管理對象、管理目標、流量模型的特征，通過服務型機器人在實物抓取場景下使用IDN的應用范例說明IDN對于智能調度的靈活性和必要性。

目前云端智能機器人已經逐漸在服務機器人領域進行了商用。基于這些豐富的機器人設計、開發、運營經驗建設的智能分發網絡IDN，已經成為云端機器人的“神經系統”。這充分說明IDN是實現云端智能機器人大規模商用的必經之路和關鍵技術。在機器人向云端智能發展的大趨勢之下，充分串聯“小腦” “中腦” “大腦”，助力云端機器人更迅速發展的同時，對機器人更可管、更可控、更安全，從而更好地服務于人類。智能分發網絡IDN還處于初級發展階段，還存在很多局限性和不足。未來云端機器人數量將達到百萬、千萬，甚至更高數量級別，如何保障每一臺機器人都可以得到精準的智能調度？期待業界共同研究協作，共同促進云端機器人和智能分發網絡IDN的發展。