云原生在物聯網邊緣計算中的應用

鄭響萍，蔡海軍

(浙江理工大學科技與藝術學院，浙江 紹興 312369)

1 引言(Introduction)

物聯網技術的核心是網絡通信和感知技術，實現人、機、物的泛在連接，提供信息感知、數據傳輸、計算處理等服務。物聯網起源于20 世紀90 年代末，源自美國麻省理工學院，早期以物流系統為背景，把所有物品通過射頻識別等信息傳感設備與互聯網連接起來，實現智能化識別和管理。在2005國際電信聯盟(International Telecommunication Union,ITU)發表的:正式確立了物聯網概念，報告提出信息通訊將發展到實現人與物、物與物之間的連接，無所不在的物聯網通信時代即將來臨。

隨著計算機軟硬件和網絡通信技術的發展，智能化設備已得到普及，現有中心化系統架構已無法支撐快速產生的海量數據的傳輸、存儲和計算，而敏感數據因安全問題也不便傳輸到中心節點。本文提出容器化云原生邊緣計算解決方案，通過邊緣系統就近計算，減少數據傳輸的網絡延遲，解決數據安全問題，降低中心服務器計算和存儲數據量壓力。以冷鏈系統為例，實現快速響應、計算強大、彈性智能的云原生邊緣計算平臺。

2 云原生邊緣計算方案介紹(Introduction to cloud native edge computing solutions)

云原生在2013 年由Pivotal公司的Matt Stine首次提出，用以區分為云而設計的應用和云上部署傳統應用，隨后于2015 年7 月，云原生計算基金會(Cloud Native Computing Foundation,CNCF)成立，致力于云原生應用推廣和普及。CNCF對于原生云的定義為“云原生技術有利于各組織在公有云、私有云和混合云等新型動態環境中，構建和運行可彈性擴展的應用。云原生的代表技術包括容器、服務網格、微服務、不可變基礎設施和聲明式API(Application Programming Interface)。這些技術能夠構建容錯性好、易于管理和便于觀察的松耦合系統。結合可靠的自動化手段，云原生技術使工程師能夠輕松地對系統做出頻繁和可預測的重大變更”。

云原生的核心是微服務、服務網格和容器化技術。業界有不少微服務的實現方案，Spring Cloud是常用的微服務解決方案，其提供了微服務工具集合，如服務注冊、服務發現、負載均衡、API網關等，將微服務通過Docker容器化部署，通過DevOps系列工具，持續交付部署。其整體架構如圖1所示。

圖1 云原生邊緣計算架構圖Fig.1 Architecture diagram of cloud native edge computing

2.1 微服務

系統采用Spring Cloud微服務架構，Spring Cloud是一套完整的微服務解決方案。基于Spring Boot框架實現了微服務容器，包含了一系列簡單易用的微服務組件，例如服務治理、服務網關、配置中心、負載均衡、服務跟蹤等，該系列組件經過Netflix等公司多年實踐經驗總結。

微服務架構的服務提供者，通過Spring Cloud Eureka實現服務注冊和發現。Eureka是Netflix中的一個開源框架，主要提供服務注冊、服務發現和狀態同步三大主要功能。

服務提供者在服務啟動時，會通過Eureka Client向Eureka Server注冊服務信息，Eureka Server會保存該服務提供者的服務信息，為后續服務消費者提供查找服務。服務消費者在服務啟動時，會通過Eureka Client向Eureka Server獲取服務注冊表，并緩存到本地，默認情況下每30 秒更新一次注冊表，以便消費者從本地獲取服務地址，直接調用服務提供者的服務。這種方式可以有效支撐分布式節點的彈性擴容和縮容，服務提供者可根據服務能力的需求調配數量，對于物聯網應用來說，終端數量的增減非常頻繁，彈性擴容能力尤為重要，如圖2所示。

圖2 服務注冊和發現Fig.2 Service registration and discovery

系統服務提供者為分布式微服務部署，多節點服務通過Spring Cloud Ribbon實現負載均衡。Spring Cloud Ribbon是一個基于超文本傳輸協議(Hyper Text Transfer Protocol,HTTP)和傳輸控制協議(Transmission Control Protocol,TCP)的客戶端負載均衡工具，它基于Netflix Ribbon實現。服務消費者從Eureka獲取到服務注冊表后，服務消費者獲得多個服務提供者的服務地址，消費者在發起服務器請求時，Ribbon提供負載均衡能力，將請求分攤到不同的服務提供者，如圖3所示。

圖3 負載均衡Fig.3 Load balancing

Ribbon提供的負載均衡算法有多種，包括輪詢、隨機、最小并發量和最小活躍數等，同時還支持自定義算法，在非異構服務器節點場景下，最常用的是輪詢算法。考慮到物聯網存在多云和異構服務器的情況，需要一種優化算法，而基于動態反饋的負載均衡算法更適合這種場景下使用。根據服務處理反饋，利用滑動窗口算法，動態調配負載任務，有利于集群服務的穩定和性能最大化。

服務的調用基于HTTP協議，Spring Cloud Feign封裝了HTTP調用服務，Feign是基于Netflix Feign實現，整合了Spring Cloud Ribbon和Spring Cloud Hystrix。

Feign提供了快捷、優雅的方式調用服務，就像調用本地方法一樣。通過整合Ribbon負載均衡和Hystrix延遲與容錯服務，讓微服務集群能夠均衡提供服務，且當服務出現單點問題時，不至于產生整體服務雪崩，避免級聯故障，有效提升分布式系統的穩定性。

物聯網邊緣計算服務下，集群環境復雜、集群規模龐大，需要整合多云環境，服務易出現單節點不可用或宕機，當不采取容錯措施時，易產生因單節點故障而引起整個集群不可用現象，如A服務調用B服務，當B服務不可用時，A服務也將不可用，這種級聯現象稱為雪崩效應，級聯層次越多，容錯需求就越大。而Feign在提供HTTP調用服務外，還通過Hystrix提供降級和熔斷，服務B出現超時或不可用現象，可快速返回錯誤信息，通過FallbackFactory等方法，將服務降級為備選方法，保證集群的整體穩定。

該系統集群環境間是隔離的，集群間服務通過統一的服務網關對外提供服務能力，服務網關為Spring Cloud Zuul，Zuul是Netflix開源的API網關服務，提供動態路由、監控、彈性、安全等邊緣服務框架。網關Zuul作為整個集群服務的唯一出口，增加了接口鑒權服務，只有帶有授權信息的消費者才可調用，為整個集群增加了一道防護，如圖4所示。

圖4 服務網關Fig.4 Services gateway

2.2 容器化

本方案通過Spring Cloud微服務化后，服務數量增加至十幾個，物聯網系統服務相對較為復雜，涉及多云環境部署。而隨著業務的發展，應用集群服務節點數可達上百個，傳統部署的成本非常高，一方面單服務器多進程資源利用率低；另一方面，多云異構環境下，服務器配置、操作系統等環境都不盡相同。運維人員需要掌握每一臺服務器的特性，去針對性地優化和配置，運維難度和人力消耗極大。同時隨著服務高峰和低谷的波動，服務器的數量需求是彈性的，動態調整服務數量也是一個極大的難題。

綜上所述，該系統采用Docker容器化技術部署方案。容器化是一種虛擬化技術，用來隔離運行在主機上不同的進程，使進程之間、進程和宿主操作系統相互隔離、互不影響。Docker將異構的服務器環境部署為統一虛擬環境，將應用創建為鏡像服務，部署到任一虛擬環境下。利用Kubernetes等容器編排工具，可實現快速擴容和縮容，提高集群彈性能力。

2.3 DevOps

該系統包含十幾個微服務應用，場景下應用數量將更多，容器化可簡化部署的復雜度，但部署的數量級依舊很大，DevOps可有效解決以上問題。DevOps是指通過工具協助，快速高效地完成應用的生命周期管理，實現應用系統快速交付和部署。DevOps工具很多，本方案采用Jenkins與Kubernetes相結合，使用Docker容器技術，通過Jenkins持續集成工具編譯和構建鏡像，并通過Kubernetes容器化編排工具，部署到Docker容器化集群節點中，實現服務節點的監控、快速部署、擴容和縮容。

2.4 邊緣計算

本方案將傳統單中心系統架構優化為云原生微服務邊緣計算架構。邊緣計算架構是指在需求所在地或數據源頭的附近，提供最近端的服務，把原本中心節點的應用計算服務，移至網絡的邏輯邊緣節點來處理，是一種分散式運算架構。將大型中心節點，拆分成更小、更易管理、處理更快的就近計算節點。就近邊緣計算節點能有效解決中心節點遠程傳輸帶來的網絡延遲、數據安全等問題，在靠近數據源頭處提供智能分析計算，減少時延，提升效率，提高安全隱私保護。邊緣計算獲取海量數據后，快速完成數據清洗和脫敏，將少量有效數據傳輸給中心節點。

3 系統實現(System implementation)

本方案以冷鏈系統為例，包括冷鏈車載系統、冷鏈倉儲系統和冷鏈管理中心系統三部分。由于生鮮、醫療用品等物品對溫度極其敏感，在路途和倉儲中需要嚴格監控溫濕度、運輸管理人員健康情況等指標。系統須在每臺運輸設備和每個冷鏈倉庫安裝多個溫濕度傳感器等智能設備，將溫濕度、人員健康信息、運輸車輛和倉儲數據，實時傳輸到本地系統進行計算和預警，并將匯總數據傳輸至冷鏈管理中心系統，其整體系統設計如圖5所示。

圖5 系統介紹Fig.5 System introduction

3.1 邊緣系統

邊緣系統包括冷鏈運輸車和冷鏈倉庫溫濕控系統。

每一臺冷鏈運輸車部署數個智能溫控設備和一臺主機，智能設備采集運輸物品溫濕度和運輸人員健康信息，將數據傳輸到車載主機部署的溫控系統，溫控系統實時計算獲取到的溫度和濕度數據，保證溫度濕度在合理范圍內。如運輸物品溫濕度或運輸人員健康參數出現不達標，馬上預警給運輸人員和中心云平臺進行調控。溫度和濕度的規則由中心云平臺設定并投放到車載系統，因此冷鏈運輸車的溫濕度采集頻率可以提升到毫秒級，實現實時監控。將溫濕度統計到中心云平臺設定的周期數據后再統一上報，可減小中心云平臺的數據壓力。

冷鏈運輸車車載溫控邊緣系統包括數據收集、規則服務、數據上報、報警服務和數據管理存儲等服務。系統為Spring Cloud微服務化架構，服務間調用通過Feign實現，為便于遠程快速更新升級，服務通過Docker容器化部署，如圖6所示。

圖6 車載溫控系統Fig.6 Vehicle temperature control system

倉庫部署溫濕控邊緣系統包括智能設備、數據采集、監控管理平臺、倉庫管理系統、物流管理系統等。智能溫控設備上傳的數據，同樣在規則服務中完成風控預警計算，而采集到的數據樣本將在本地完成數據清洗和整理，匯總后上報給中心云平臺。

服務為Spring Cloud微服務架構，根據倉庫的大小，安裝一定數量的智能設備。隨著智能溫控設備安裝數量的增加，數據收集服務和規則服務等需要部署多個節點，通過容器化集群部署，只需要增加鏡像進程即可實現服務節點的增加，如圖7所示。

圖7 倉庫智能管理系統Fig.7 Warehouse intelligent management system

3.2 中心化平臺

中心化平臺包括數據收集、數據運算和存儲、數據中臺、業務管理平臺等。邊緣計算系統減少了中心化平臺采集的數據，將采集數據周期從毫秒級數據降低到分鐘級，整體數據運算量減少數倍，但邊緣系統數量多，整體采集的數據依然巨大。數據清洗和計算節點數量隨著運輸車輛和倉庫數量的變化而不斷增加，高峰期與低谷期數量可能會有數倍之多。為使中心化云平臺能具有高彈性計算能力，平臺采用Kubernetes作為容器化編排工具，通過其Replication Controller對Pod副本數的控制能力，可以快速增縮節點數，從而彈性地增加和減少集群的計算能力。中心化平臺容器集群如圖8所示。

圖8 中心化平臺容器集群Fig.8 Centralized platform container cluster

中心化云平臺通過Zuul網關提供數據收集等HTTP接口服務，通過Netflix設定降級和熔斷，避免雪崩效應。

4 應用部署(Application deployment)

本方案采用阿里云服務器ECS部署，采用一臺2核4 GB服務器、四臺2核8 GB云服務器和一臺MySQL關系型數據庫；在2核4 GB服務器上搭建Jenkins環境、Harbor、Maven倉庫和GitLab等管理工具；在四臺2核8 GB服務器上搭建Kubernetes集群環境和容器化環境。

微服務包括冷鏈車載系統、冷鏈倉儲系統和冷鏈管理中心系統三大系統。構建Eureka代碼上傳到GitLab，通過Jenkins拉取Git代碼并打包成Docker鏡像上傳到Harbor，最后Jenkins執行Kubernetes插件，使Kubernetes拉取鏡像創建服務。構建集群Eureka雙節點Eureka1和Eureka2。以同樣的方式搭建Zuul網關雙節點Zuul1和Zuul2，提供8080訪問端口提供服務。基礎服務搭建完成后，部署數據清洗服務Data ETL雙節點，其余業務系統采用同樣方式部署雙節點。

打包部署完成后，在任意兩臺2核8 GB服務器上部署Nignx節點，對外提供80端口，通過反向代理指向Zuul網關的8080端口，其余端口由防火墻控制攔截，防止集群被惡意攻擊。

5 結論(Conclusion)

本方案采用物聯網邊緣計算與云原生的核心服務，構建了一套冷鏈系統，通過Spring Cloud微服務架構和Docker容器化技術，使用Kubernetes、Jenkins等DevOps工具，實現系統的高效部署和快速增縮節點。該系統具有高性能、高穩定性和高擴容性，為物聯網場景提供了一套安全、彈性、高效和穩定的解決方案。