基于改進DRF算法的農業微服務負載均衡

馬志宇 吳穎 夏川 劉飛 吳云志 樂毅 張友華

摘要：微服務作為一種新型的互聯網平臺架構設計，在現代智慧農業中具有細粒度、低耦合度和高可靠性的優勢。在負載均衡智慧農業微服務領域，目前針對復雜農業環境下的特定微服務負載均衡方案的研究較少，而高性能微服務負載均衡策略能夠有效提升農業物聯網的網絡體驗和性能指標。本研究提出一種改進的主導資源公平分配（Dominant resource fairness， DRF）算法，通過引入多角度的性能測評因素，著力于提升在智慧農業平臺的微服務化下實現服務高效負載均衡的性能。經測試，本研究提出的算法相比于目前流行的微服務平臺自帶的負載均衡算法在響應時間、吞吐率和穩定性方面有明顯提升，實現了各個農業生產單位物聯網設備和數據終端以低耦合度的方式接入系統平臺，同時實現高效地利用、治理和規范化來自各個數據源的農情數據，具有較高的實用價值。

關鍵詞：負載均衡;微服務;物聯網;智慧農業;主導資源公平分配（DRF）算法;

中圖分類號：F303.3文獻標識碼：A文章編號：1000-4440（2020）05-1298-07

Abstract：Microservice is a new type of architecture design for internet platform， with the advantages of fine granularity， low coupling degree and high reliability in modern smart agriculture. In the field of load balancing of smart agricultural microservices， there are few researches on load balancing schemes of specific microservice under complex agricultural environments in the current， and load balancing strategies of efficient microservice can effectively improve the network experience and performance index of agricultural internet of things （IOT）. This paper proposed an improved dominant resource fairness （DRF） algorithm and focused on improving the performance of service efficient load balancing under micro-servitization of smart agriculture platform by introducing multi-angle performance evaluation factors. After testing， the algorithm proposed in this paper showed significant improvement in response time， throughput and stability compared with the load balancing algorithms provided by current popular microservice platforms. IOT equipment and data terminal of each agricultural production unit can be connected to the system platform in a mode of low coupling degree， while agricultural data from various data sources can be effectively utilized， managed and standardized. The algorithm proposed in this paper shows good practical value.

Key words：load balancing;microservices;internet of things;smart agriculture;dominant resource fairness （DRF） algorithm

近年來，市場上的智慧農業平臺大都采用單體架構模式（圖1）實現，各個業務邏輯往往互相交叉、依賴，在開發中一個模塊的故障很可能造成整個系統的癱瘓[1]。

傳統的服務端負載均衡方法是通過Nginx之類的工具在服務端對客戶端請求進行轉發從而實現的，由于所有數據均需要訪問同一地點的Nginx服務，對于負載均衡工具本身而言，各地農場大量的并發請求會形成聚集從而形成性能的瓶頸[2]。對于分散在全國各地的用戶來說，所有請求都需要首先訪問單一節點的負載均衡工具，其中網絡延遲和數據多次轉發形成的丟包率使得這種負載均衡方式的運行效果不理想。

面對大型農業生產集團遍布各地的一線生產單元，不同地域的物聯網設備因各自網絡環境的不同，對單點式服務器的訪問性能必然有相當大的差距。如何實現農業數據的穩定高效傳送成為亟需解決的問題。微服務（Microservice）最早由Fowler與Lewis[3]于2014年共同提出，微服務作為一種架構模式，其倡導將系統內各功能解耦到獨立的服務中并在不同的進程中運行。不同服務與業務之間可以采用不同的編程語言與數據存儲技術[4]，大大解決了隨著單一系統業務邏輯復雜度增長而帶來的擴展性、穩定性問題[5]。

在具體農業生產場景中，物聯網傳感器數據源、農業監控攝像頭在大型農業生產主體中往往是離散分布在不同農場甚至不同城市中[6]，大量傳感器和網關會頻繁地與服務器進行實時通信[7]，微服務客戶端負載均衡技術則可以實現由各個用戶根據自身網絡情況自主判斷選擇對其網絡環境最佳的服務器進行通信，從而優化不同地域用戶的網絡感知體驗。

對一線用戶而言，在農業生產的全過程中很難使用同一個廠商的產品，單體架構的農業系統很難做到及時與不同品牌的農業設備兼容，而微服務的設計思想同時可以實現將農業生產全程物聯網設備和數據終端統一接入、共享管理[8]。

對于微服務的負載均衡而言，其算法邏輯在客戶端軟件中執行，客戶端首先在服務注冊中心訂閱消息，注冊中心向客戶端定時推送服務列表，客戶端實時根據最新的服務列表執行負載均衡算法[9]。

1研究框架

針對目前智慧農業信息系統和微服務均衡方案存在的問題，本研究設計了一套基于負載均衡改進主導資源公平分配（DRF）算法的智慧農業開放平臺。本平臺以Spring Cloud微服務框架為基礎，結合了Eureka服務注冊中心、Ribbon負載均衡工具，實現了一套基于客戶端的高性能農業微服務負載均衡解決方案。平臺架構見圖2。

通過構建多個微服務取代傳統MVC[模型（Model， M）-視圖（View， V）-控制器（Controller， C）]設計模式的Model與View層，本研究設計了復用性高、與平臺運行密切相關的數據采集處理服務、用戶管理服務、平臺監控服務、農業物聯網服務作為系統的核心微服務。針對農、林、牧、漁不同行業的專有需求，軟件開發商和開發者可以以微服務的形式獨立開發后與平臺直接對接。

Eureka是一個服務發現技術，可實現在服務中的負載均衡與故障轉移，每個服務在啟動時會主動向服務注冊中心注冊[10]，服務注冊中心將會接收到此服務所在服務器的主機號、端口號和通信協議等信息。當平臺中的各個應用（消費者）需要調用微服務時，首先向服務注冊中心訂閱該微服務，同時注冊中心會返回該服務的地址給消費者。與此同時，各個微服務會定期向注冊中心發送心跳包以報告自己的服務狀態。

Ribbon是一個基于客戶端的負載均衡工具，客戶端的所有請求將通過Ribbon定時從服務注冊中心拉取服務列表[10]，經過負載均衡算法選擇節點后轉發給服務器，該工具自帶數種負載均衡方案，但都普遍缺乏智慧農業以及農業物聯網環境下的針對性?；诒狙芯刻岢龅乃惴ǎㄟ^修改其部分源碼，完成了在Ribbon下的改進DRF算法。

2基于改進DRF算法的微服務負載均衡算法設計

針對農業環境下不同生產單位[如分散在全國各地、使用不同網絡接入方式的農場數據終端、移動個人數字助理（PDA）以及網關傳感器]訪問單一節點的服務可能因為不同因素影響服務的可靠性，因此負載均衡算法需要充分考慮到延遲時間、不同節點當前負載、連通率等指標，確保不同地區、網絡環境和接入方式的用戶能夠獲得最佳體驗。

2.1評價因素的建立

建立負載均衡評價因素集合（X），

令FailureCount=失敗請求次數，

ActiveRequestsCount=當前活躍的連接數，

SuccessiveConnectionFailureCount=連續失敗的連接數，

ResponseTimeStdDev=響應時間標準差，

Latency=從客戶端到主機的延遲時間，

從而得到：

X={FailureCount，ActiveRequestsCount，

SuccessiveConnectionFailureCount，

ResponseTimeStdDev， latency}

2.2評價因素的規范化處理

評價因素體系從不同方面體現了各個節點的性能特征，有的指標從正面說明總體，有的指標相反，因此需要對數據進行趨同化。對于不同性質和單位的指標不能直接計算，其不能反映不同指標因素的共同作用結果，因此還要考慮將所有指標對衡量結果的影響無量綱化，再進行相應計算才可得出正確結果[11]。為了使評價因素無量綱化與同趨化，針對5種不同的評價因素分別進行標準化操作。

Z-score模型算法，也稱作標準分數算法（Standard score），其計算方法為用樣本中一個數與平均數的差除以標準差，能夠真實地反映一個分數距離平均數的相對標準距離，其被看作一個數據點的值和總體平均測量值的標準偏差[12]，轉化后的每個標準分數總分布在0的兩側。指標實際值比平均值大的，其評價值大于0;實際值比平均值小的，其評價值小于0[13]。

2.3Delphi法資源量的確定

Delphi法（德爾菲法）由Dalkey 和 Helmer于1964年發明并首先將其應用于軍事預測分析[14]。通過此方法可以對智慧農業平臺內的服務器集群和各個微服務（如數據上傳、圖像采集和流媒體傳送等業務）的邏輯性能需求進行有效的判斷。此方法采用多輪征詢背對背的通信方式征詢專家組的意見，最后構造出可信度較強的預測意見供DRF權重算法使用。

服務器資源量（TR）、各個微服務所需資源量（N）均可采用Delphi法獲得可觀的評議結果。以各個服務器資源量（TR）的求解為例，具體步驟如下：

（1）確定各個影響因素的相對資源系數ai，i=1，2，…，n，其中n為影響因素的總個數。

（2）邀請各行業的一線開發人員、平臺管理人員和第三方農業軟件或硬件設備開發人員對所提供服務器集群的詳細性能指標進行評估審閱，預先設定1個序列值ai∈{1，2，…，i}，評估人員對每臺主機的評價只可非重復地使用1個序列值。征詢問卷結構包括專家編號、服務器編號、因素編號、資源量最低值、資源量最高值、最可能資源量。

（3）統計分析，進行一致性檢驗。

首先計算本次測試的應答率（Call）=AnswerAttend

其中Answer是完成全部上報的人數，Attend是調查對象的總人數。如果Call<90%則認為本次統計無效，返回步驟（2）。

若應答率符合要求，則繼續計算變異系數（CV）。

變異系數又稱離散系數、標準離差率或單位風險，其優勢在于作為一個無量綱量，統計時不需要考慮數據的平均值[15]。對于每臺服務器每種資源因素的最低、最高、最可能資源量，按照專家的打分分別統計其變異系數（CV）：

其中σ為數據的標準差，μ為數據的平均值。如果超過40%的數據變異系數大于0.5，則將本輪全體評價結果反饋給專家，要求專家再次進行評價，直到滿足要求為止。

（4）求出每臺服務器的資源量。

假設m個完成上報的人員進行了k輪試驗，對第i臺服務器的第j種資源量（Rij），可由以下公式求得：

其中n為上報人員的編號，p為試驗的輪數，max（anpij）為資源量最高值，min（anpij）為資源量最低值，prob（anpij）為最可能資源量。

2.4DRF權重算法的實現

DRF算法是一種通用的多資源分配策略，其根據主導資源所占的最優份額來實現[16]。Ghodsi等[17]提出在分布式集群中使用DRF算法實現集群調度具有更好的吞吐量和公平性，Fan等[18]在Hadoop YARN中通過DRF算法增強了對網絡帶寬資源的分配管理，Meskar等[19]將DRF算法引入移動邊緣計算（MEC）領域，實現了公平分配多種資源。在用戶有異質需求的場景環境中，可以采用DRF算法實現多種分配因素下的資源公平分配。對于智慧農業物聯網以及數據終端來說，不同業務（數值分析、數據上傳、圖像采集、流媒體傳送等）具有不同的性能需求偏好，因此需要實現對有不同需求的用戶在選擇節點時根據其性能特性有針對性的側重。

設各個評價因素種類為R1，R2，…，Rn，系統內資源總量用向量TR=（TR1，TR2，…，TRn）來表示。對于客戶端任務Ci來說，其所需要的因素資源量由向量Ni=（CiR1，CiR2，…，CiRn）構成。

已知客戶端任務Ci，其資源需求向量為Ni，資源總量為TR，則客戶端任務Ci的主導份額（MainResource）計算公式為：

對于上文2.2中的評判矩陣R和2.3中Delphi法確定的服務器資源量、各個微服務所需資源量（N），雖然已經求得對每個服務器節點不同性能評價指標的歸一化數據，但在一線農業應用客戶端選擇節點的過程中，由于對于不同微服務在多資源環境中的各資源因素重要程度不一樣，故影響力也不同，所以在綜合評判時，必須給出各個因素在總評價中的重要程度，用權重集（A）來表示。

根據已求得的主導份額（MainResource），則權重集（A）可以表示為：

這里的12為出現的MainResource所在的權重位置。在每臺設備的實時性能向量中，選中主導份額將其乘以12，即

式中，DRFResi為加權后的實時性能向量，Resi為各個服務器的實時性能向量。

通過以上處理可以達到放大該性能指標對最后評判標準影響的作用。

2.5負載均衡算法整體流程

步驟1：每當微服務服務器集群節點發生變化或平臺上新增微服務時，數據終端客戶端向Eureka更新服務列表，通過Delphi法確定服務器資源量（TR）、各個微服務所需資源量（N）。

步驟2：從Eureka注冊中心拉取服務節點列表，同時新建線程，獲取客戶端到服務端的響應延遲時間。

步驟3：通過Z-score算法計算多因素評判矩陣（R）與各個服務器的實時性能向量（Resi）。

步驟4：通過DRF算法得到客戶端業務的主導份額和權重集，從而得到加權后的實時性能向量（DRFResi）。

步驟5：基于加權后的實時性能向量對每個服務器的性能作出綜合評判，得到評判分數，服務器的編號用j表示，則綜合評判分數記作：

其中rk為DRFResi中不同種類的各個資源因素，n為原因因素的種類數目。

步驟6：將服務器的綜合評判分數按照從小到大的順序排序，選取前50%服務器，分別按照等差遞減的出現比例隨機選取。

步驟7：每隔5 min返回步驟2重新執行。

3性能測試與分析

3.1試驗環境

本試驗構建了1個智慧農業物聯網服務集群來模擬農田物聯網設備和數據終端向服務器上傳傳感器數據（JSON格式）的業務，其中包括1個Eureka服務注冊中心和5個微服務集群。服務器的配置具體包括：

（1）Eureka注冊中心服務器：

處理器：Intel Xeon E5-2682 v4@2.5 GHz;

內存：32 GB DDR4;

操作系統：Windows server 2008;

地理位置：中國上海阿里云。

（2）微服務集群服務器（共5臺）：

處理器：1核;

內存：百度云，2臺為1 GiB，其余4臺為2 GiB;

操作系統：Windows server 2008、Ubuntu 18.04;

地理位置：中國上海阿里云、中國上海騰訊云、中國廣州百度云、中國保定百度云、中國彰化谷歌云。

（3）負載發送壓力主機：

處理器：Intel Core i7-7700HQ@2.8 GHz;

內存：32 GB DDR4;

網卡帶寬：1 000 Mbps;

操作系統：Windows 10 Pro 1909。

（4）客戶端負載均衡服務主機：

處理器：Intel Pentium G4560@3.5 GHz;

內存：4 GB DDR4;

網卡帶寬：1 000 Mbps;

操作系統：Windows 10 Pro 1909。

模擬數據上傳傳感器的業務采用GET方式通過本地主機的URL（統一資源定位器）上傳包含多種類型數據的JSON文本，數據報文的結構如下：

{"DataHead"：{

"Date"："2020-01-01"，

"Time"："20：00：00"，

"FarmId"："001"，

"DataType"："Rain"

}，

"DataBody"：{

"Temperature"："25"，

"Humidity"："50"，

"WindSpeed"："15"，

"Light"："10"，

"isRain"："False"，

"Rainfall"："0"

}}

上述負載均衡邏輯使用Java語言通過繼承Ribbon中的ClientConfigEnabledRoundRobinRule類重寫了public Server choose（Object key） 方法邏輯，通過一系列試驗驗證本算法在客戶端負載均衡中的性能表現。

3.2試驗內容

響應延遲體現了用戶對服務性能的最直觀感受，本試驗設計基于HTTP訪問微服務模擬農業傳感器數據終端上傳數據業務，從而測試試驗過程中的平均響應時間和吞吐量。通過將上述算法所實現的負載均衡邏輯與Ribbon自帶的默認輪詢算法、高可用算法和時間權重算法進行對比，從而比較本算法給用戶體驗帶來的影響。

3.2.1平均響應時間測試對于不同并發量，采用LOCUST這一開源負載均衡測試工具[20]來測試平均響應時間，其完全基于事件驅動，使用Gevent提供的非阻塞IO和Coroutine來實現網絡層的并發請求?；诓煌牟l用戶量進行單輪周期為15 min的測試，測試結果見圖3。

3.2.2TPS（每秒事務數）測試TPS是衡量系統性能的一個非常重要的指標[21]，事務是指客戶機向服務器發送請求直到服務器返回請求的過程。對于分布式系統來說，TPS反映了系統的整體處理能力，采用JMeter測試工具，對2種不同的負載均衡方案的TPS各進行為期15 min的模擬農業物聯網信息上傳壓力測試，結果見圖4。

3.3試驗結果分析

以上試驗結果顯示，基于改進DRF算法的微服務動態負載均衡算法不論是在不同并發線程數的響應時間上還是在壓力測試下的平均響應時間方面都體現出了明顯的優勢。在平均響應時間的測試中，可以看到隨著測試時間的推移，本算法的并發連接數始終能夠保持在較高的水平，相比Ribbon自動的2種常用算法（輪詢算法和時間權重算法），由于前2種算法在內存泄露和流回收方面的弱勢，線程數增大時平均響應時間出現了較大幅度的提升，而本算法在使用JAVA語言實現時通過共用靜態對象、優化代碼、阻塞任務使用多線程并發執行、規避線程不安全代碼等設計，減少了內存開銷，能夠在并發線程數不斷增多時體現出穩定抗壓的特點。

4結語

本研究通過提出一種基于改進DRF算法的客戶端負載均衡策略，引入多角度的性能測評因素，通過Z-Score算法將測評因素標準化，進而結合Delphi算法計算出性能權重，從而在智慧農業平臺的微服務化下實現服務高效負載均衡。通過本算法，實現不同地域、網絡環境下的各個農業生產單位都可以以高性能、低耦合度和簡易的方式接入系統平臺，有效地提升客戶端使用微服務的并發性能、吞吐性能，從而形成更加科學的負載均衡邏輯，在未來該技術可以與5G技術相結合，從而構建出高速農業微服務平臺系統。本算法對后期研究中更多評價因素的引入和基于時間序列的流量峰值預測具有進一步的研究空間和價值，從而使每個用戶獲得高可用性的農業大數據和物聯網微服務體驗。

參考文獻：

[1]李道亮，楊昊. 農業物聯網技術研究進展與發展趨勢分析[J].農業機械學報，2018，49（1）：1-20.

[2]李菁. 改進快速稀疏算法的云計算資源負載均衡[J].微型電腦應用，2019，35（10）：36-38.

[3]FOWLER M， LEWIS J. Microservices[EB/OL]. （2014-03-25）[2020-03-04]. https：//martinfowler.com/articles/microservices.html.

[4]辛園園，鈕俊，謝志軍，等. 微服務體系結構實現框架綜述[J].計算機工程與應用，2018，54（19）：10-17.

[5]龍新征，彭一明，李若淼. 基于微服務框架的信息服務平臺[J].東南大學學報（自然科學版），2017，47（增刊1）：48-52.

[6]李瑾，郭美榮，高亮亮. 農業物聯網技術應用及創新發展策略[J].農業工程學報，2015，31（增刊2）：200-209.

[7]王冉，徐本崇，魏瑞成，等. 基于無線傳感網絡的畜禽舍環境監控系統的設計與實現[J].江蘇農業學報，2010，26（3）：562-566.

[8]陳棟，吳保國，陳天恩，等. 分布式多源農林物聯網感知數據共享平臺研發[J].農業工程學報，2017，33（增刊1）： 300-307.

[9]徐琛杰，周翔，彭鑫，等. 面向微服務系統的運行時部署優化[J].計算機應用與軟件，2018，35（10）：85-93.

[10]辛園園，鈕俊，謝志軍，等. 微服務體系結構實現框架綜述[J].計算機工程與應用，2018，54（19）： 10-17.

[11]徐浪，王青華. 描述統計學[J]. 成都：西南財經大學出版社， 2001.

[12]葉小榕，邵晴. 基于Spark的大規模社交網絡社區發現原型系統[J].科技導報，2018，36（23）：93-101.

[13]葉青. 國家工業現代化水平的實證研究——基于二次現代化理論的視角[J].理論與現代化，2016（5）： 15-23.

[14]SHELTON K， HAYNES C A， CREGHAN K A. Fundamentals of Delphi research methodology[M]. IGI Global： Hershey， 2018： 233-257.

[15]程果. 基于HTTP的動態自適應流媒體技術的研究[D].廣州：廣東工業大學，2017.

[16]柯尊旺，于炯，廖彬. 適應異構集群的Mesos多資源調度DRF增強算法[J].計算機應用，2016，36（5）：1216-1221.

[17]GHODSI A， ZAHARIA M， HINDMAN B， et al. Dominant resource fairness： fair allocation of multiple resource types[C]// USENIX.? 8th USENIX Symposium on Networked Systems Design and Implemention. Boston， USA： USENIX， 2011：24.

[18]FAN X， LANG B， ZHOU Y， et al. Adding network bandwidth resource management to Hadoop YARN[C]// IEEE.? IEEE 2017 Seventh International Conference on Information Science and Technology. Da Nang，Vietnam： IEEE， 2017： 444-449.

[19]MESKAR E， LIANG B. Fair multi-resource allocation with external resource for mobile edge computing[C]// IEEE.? IEEE INFOCOM 2018-IEEE Conference on Computer Communications Workshops （INFOCOM WKSHPS）.Honolulu， USA： IEEE， 2018： 184-189.

[20]COULSON N C， SOTIRIADIS S， BESSIS N. Adaptive microservice scaling for elastic applications[J]. IEEE Internet of Things Journal， 2020， 7（5）： 4195-4202.

[21]VARGAS-SANTIAGO M， MORALES-ROSALES L， POMARES-HERNANDEZ S， et al. Autonomic web services enhanced by asynchronous checkpointing[J]. IEEE Access， 2018（6）： 5538-5547.

（責任編輯：陳海霞）