企業集群系統網絡動態反饋負載均衡算法研究

王茹 劉銳 呂歡歡

摘要：隨著企業科研生產的信息化不斷發展，軟硬件需求不斷增加，如何提高設備利用率，控制作業進程在不同的服務器上合理分配，變成一個亟待解決的問題。文章通過在實際生產系統中的應用測試，比較分析靜態負載均衡、動態負載均衡——最少連接數、動態負載均衡——動態反饋等算法在企業集群中的實用性，進而提出一套基于Linux專業應用軟件的可伸縮、高可用的服務器集群動態反饋機制算法。

關鍵詞：負載均衡;集群;動態反饋;作業調度;LVS

中圖分類號：TN929.52? ? ? 文獻標識碼：A

文章編號：1009-3044（2022）11-0033-03

1 引言

隨著企業科研生產的信息化不斷發展，應用軟件數量增多，硬件設備使用量加大，網絡系統不斷延伸，設備忙閑不均的狀況日益突出。如何提高設備利用率，控制作業進程在不同的服務器上合理分配，變成一個亟待解決的問題。本文擬通過對某款專業軟件在單臺服務器上的壓力測試，來直觀地反映負載不均對設備使用率以及用戶體驗的影響，繼而探索企業集群系統網絡動態負載均衡算法。

2 專業應用軟件壓力測試

以某款科研人員常用的專業軟件E為例，對單臺服務器進行壓力測試。通過向該服務器，同時提交大小相同的一個作業、兩個作業以及多個作業，觀察作業計算過程中的CPU和內存使用情況，并記錄整個作業的cpu-time（計算時間） 和elapsed-time（經歷時間） ，以反映不同的負載情況對生產效率和用戶體驗的影響。

實驗中用到的測試機器硬件配置為8核英特爾Xeon e5-2643處理器，主頻3.30GHz，內存32G。實驗中使用的作業A，數據體的大小為1.4M，計算結果為406M，計算時占用單臺機器的8個CPU核。作業A來自科研生產實際使用數據，它的數據大小和計算使用的核數都是較為普遍的狀況，有很好的參考價值。

圖1分別為提交單個作業前后，測試服務器的系統狀態。作業開始計算后，cpu的使用率迅速攀升至99%以上，并且維持在99%左右，而內存的占用率較小，僅使用0.9%左右。

從作業的日志文件中可以看出（圖2） ，整個作業的cpu-time為705.35秒（約11分鐘） ，elapsed-time為713.42秒（約12分鐘） 。計算時間和經歷時間都在可接受的范圍內。

類似地，將兩個相同的作業A同時提交給服務器，盡管CPU的使用率仍然在99%左右，每個作業分配到原有的cpu資源只有原來的一半，內存使用率相比之前稍高（如圖3） 。而從作業的日志分析來看，每個作業都存在著搶奪CPU資源不成功而處于資源的詢問與等待狀態（如圖4） 。

分別查看兩個作業的日志文件（圖5） ，兩個作業的cpu-time分別為4111.06秒（約68分鐘） 和4660.06秒（約78分鐘） ，作業的elapsed time分別為8105.27秒（約135分鐘） 和8643.46秒（約144分鐘） 。與之前提交單個作業相比，用戶的等待時間超過12倍。這樣的計算效率，甚至不如將提交的作業進行排隊，然后依次發往服務器進行計算。

可想而知，如果作業更復雜、提交作業的用戶數繼續增多，等待時間將被無限延長，計算時間和經歷時間都是不可被接受的。

而這僅是單臺服務器的壓力測試情況，如果放在整個科研生產環境中，大量服務器，大量的科研人員使用，用戶不知道哪臺服務器被占用，哪臺空閑。只能憑著使用習慣進行作業提交，這就會造成負載失衡，可能有的機器超負荷運轉，而有的機器卻在空閑狀態，硬件資源無法得到充分的利用。

因此，將服務器構造成集群，研究對它的負載均衡算法，對內協調資源，對外統一提供服務。可以最大化地利用現有的計算資源，為提高科研生產的工作效率做貢獻。

3 服務器集群的負載均衡

負載均衡集群的成敗關鍵在于算法，好的算法可以科學地衡量各個服務器的負載輕重，動態地平衡整個系統的作業分配，使得整個系統高質高效地完成各類服務請求。負載均衡問題實際上是映射問題，一邊是將要被執行的任務，另一邊是負載集群的服務器節點，每個任務都對應著與它相聯系的服務器，這種聯系就是分發策略。根據分發策略，可以在任務和服務器之間建立了一對一或一對多的聯系（如圖6） 。

靜態負載均衡是根據事先確定好的分配策略來進行分發，不使用集群中實時的負載狀態來決定作業分配。而科研生產實際應用中，作業的性質、體量大小、當前服務器狀態是隨時變化的。因此，通過實時監測整個系統的負載狀態，來進行任務分配，是最貼合應用實際的方法。通過事先預設算法的評價體系，動態計算系統中對應的每一臺服務器的負載值，衡量哪一臺在當前狀態下最適合被用來處理任務，從而平滑整個系統的負擔，輸出高效的服務。以此為出發點，考慮以下動態負載均衡算法：

（1） 最少連接數

這種算法是，調度服務器事先制作作業統計表，統計該系統中每一臺可以提供服務的設備的作業連接數。每當新來一個作業請求，就對照查找到應用連接數最少的服務器，并將這個作業分配給它。此時在調度服務器的作業統計表中，為該服務器的作業數加1[1]。待該作業計算完成，不再占用資源時，再次更新作業統計表，該服務器的作業數減1。

該算法適合作業計算量差距不大且服務器配置接近的應用系統。而實際應用中，應用軟件每次提交的作業數據體量大小不一，設備由于購買批次、種類的不同，處理能力也不盡相同。這就造成可能某一臺服務器目前分配的作業數量較少，但是數據體量大，系統占用資源多，而調度服務器只根據作業數來判斷，還是不停地為該臺服務器分配任務，最終導致響應和處理時間被不斷延長。

（2） 動態反饋負載均衡算法

通過對最少連接數算法的應用實踐，發現存在即使服務器負載過重，甚至出現超載情況時，仍有作業分配的情況。考慮讓調度服務器收集集群系統中各設備的實時負載信息以及應答速率，動態地平衡整個集群系統各服務器之間的作業處理分配，以提高整個系統的運行效率[2]。

如圖7負載均衡調度器動態地收集各服務的內存使用率、CPU使用率、作業數等負載信息，全面監控整個集群系統的負載狀態。監控程序通過動態反饋負載均衡算法，計算一個在該體系下負載值最低的服務器，并將該作業請求送達該選中的服務器。每隔一段時間，集群中每一個節點的負載狀況都會發生變化。因此，我們需要在每隔一個時間段內就重新監控負載狀態，并更新調度器中記錄的信息，以保證任務分配的準確性[3]。

4 企業集群動態反饋負載均衡方法研究

在企業的科研生產環境中，不同的軟件在運行時資源占用情況不同。對CPU、內存、顯卡以及I/O讀寫、網絡性能需求的側重點各有不同。科研硬件設備來自不同的廠商，不同的生產年份，以及不同的配置。應用環境復雜、應用場景多、應用需求各不相同。并且由于各種服務器、工作站的處理能力不同，不同的用戶進行作業的復雜程度、時間長度也各不相同。通過實驗與應用實踐，在企業的生產環境中，使用動態反饋負載均衡算法，對整個集群系統進行作業調度是最合適的方法。

在動態反饋的算法中，每一次調度器輪詢去查找各節點的CPU、內存、I/O、訪問量等信息，都需要額外使用系統資源，尤其當系統節點較多時，這些開銷是不可忽視的。因此，不可能一旦有作業請求，就立刻做一遍資源監控。只能按照事先約定好的時間周期，來進行定時的負載查詢。而對于負載查詢周期的設定，也需要根據應用環境反復實驗、仔細測量，不能為了降低系統開銷，就延長周期，這樣會導致調度器信息滯后，而將大量的作業分配給本已超載的服務器。參考文獻[4]的對這方面的實際測算，將集群負載的查詢間隔設置為1-11s/次是最合適的。為提高調度器收集信息的效率，可以為每臺服務器配置相應的進程，協助調度器收集負載信息。如果調度器與協助進程通訊無回應，則調度器標記該設備不可達，從服務器序列中刪除該臺設備，以防誤分配。待該設備的協助進程重新與調度器建立連接，再更新相應的服務器記錄，保證服務器的狀態始終可達[5]。通過協助進程反饋的負載信息，調度器更新記錄，并在每一次作業送達之時，根據預設算法，計算出最合適的服務器去完成任務。在進行負載均衡計算時，服務節點存在異構的情況，因此不僅要考慮節點的負載量，而且也必須要考慮到節點的處理能力。這樣可以自然地讓性能更強、配置更優的設備完成更多的作業請求，保證資源的物盡其用。

因此，我們將集群中某時刻某臺服務器的處理能力記為S，它主要從這幾個指標考慮：CPU、內存、進程數、I/O速率、網絡能力等，我們分別標記為C、M、P、D、N。根據應用需要，這些指標可以部分或全部納入計算。同時，我們還可以引入參數k（權值） ，來標識每一項指標對某一類作業的決定因素大小。由此，形成當前該服務器對該類作業的處理能力計算函數：

比如，對于本文用來做單臺服務器壓力測試的專業軟件E來說，我們可以這樣調整參數k，k={0.35，0.1，0.3，0.15，0.1}，用以強調節點的CPU處理能力和最大進程數對該項服務的重要性。如果經實際測試，參數k的值不能恰當地反映應用對資源的比重需要，應用系統運維人員或業務人員可以對其不斷修正，直到找到貼近實際情況最優的一組解。

類似地，在動態反饋算法中，我們需要用利用每一個時間周期監控的負載信息作為依據，來計算設備的綜合負載情況，供選擇實際執行任務服務器的最優解。我們將從調度服務器和集群實際服務器中獲得的指標，來分別計算，作為負載選擇的信息支持。以服務器上的進程連接數為例，來說明如何計算服務器的負載估值。計算進程數占用率是單位時間中，服務器處理的新任務占整個所計算周期中平均任務數的比。假設在時間T1和T2時，某臺服務器上的連接數分別為P1和P2。那么在T2-T1的時間內，集群中的服務器Si新收到的任務數為Pi2-Pi1。因此，根據所取時間間隔數需要，我們就可以得到n個在T2-T1時間內，Si收到的新進程數Pi2-Pi1，新進程數占用率可以計算為：

INPUTi=Pi2-Pi1i=1n（Pi2-Pi1）n

除了進程數的多少，集群中各服務器的CPU使用情況、內存使用情況、I/O速率、網絡帶寬能力等，都是該設備負載信息在某一方面的體現，我們分別標記為C、M、D、N，來計算不同的因子對綜合負載情況的影響。類似地，我們還可以引入參數r（權值） [3]，來標識每一項指標對某一類作業的決定因素大小。其中[r（ri=1）] ，不同類型的服務器和應用，可根據需要調整每一項權值的系數大小。因此，某臺服務器的綜合負載L[6]，可以以如下函數計算得出：

同理，對于本文用來做單臺服務器壓力測試的專業軟件E，可將參數設置為r={0.35，0.1，0.3，0.15，0.1}。如果經實際測試，參數r的值不能恰當地反映應用對資源的比重需要，應用系統運維人員或業務人員可以對其不斷修正，直到找到貼近實際情況，最優的一組解。

在實際運行的集群系統中，根據當前計算出的節點負載情況排序，選擇負載最輕的服務器來承擔相應的作業任務。也可以以事先劃分資源池的方式，根據不同應用的實際需要（如：CPU需求型、內存需求型等） ，形成特定用途的集群。每當有作業請求提交時，先將其分配到資源池，再根據負載均衡算法計算出最優的實際服務器，進而提交作業任務。

5 結論

本文結合企業現有集群系統的應用現狀，以某款常用應用軟件E為例，對單臺服務器進行壓力測試，當作業量提高一倍或多倍時，生產效率超倍數地大幅降低，用戶的等待時長超倍數增長。因此，本文通過在實際生產系統中的應用測試，比較分析靜態負載均衡、動態負載均衡——最少連接數、動態負載均衡——動態反饋等算法在企業集群中的實用性，進而提出一套基于Linux專業應用軟件的可伸縮、高可用的服務器集群動態反饋機制算法。

參考文獻：

[1] 王中丹.完全計算機自動化—批處理程序自動執行系統[J].電大理工，2008（4）：39-40.

[2] 周光友，郭慶平，劉鵬，等.一種視頻服務器集群的動態反饋調度算法[J].小型微型計算機系統，2009，30（3）：555-559.

[3] 陶勝，倪曉軍，嚴獻科.基于負載增量動態反饋的動漫渲染機制研究[J].電腦與信息技術，2016，24（6）：4-6.

[4] 陳亮，王加陽.基于粗糙集的負載均衡算法研究[J].計算機工程與科學，2010，32（1）：101-104.

[5] 何濤，李戰懷，劉文潔.均衡負載實時反饋算法的實現[J].微處理機，2009，30（2）：78-81.

[6] 張文昌，夏學知.基于剩余計算能力的動態負載均衡系統[J].計算機與數字工程，2010，38（9）：135-139.

收稿日期：2021-12-27

作者簡介：王茹（1988—） ，女，山西絳縣人，中級職稱，研究方向為計算機應用技術;劉銳（1987—） ，山東壽光人，中級工程師，碩士，研究方向為計算機應用技術;呂歡歡（1987—） ，女，廣西玉林人，中級工程師，碩士，研究方向為海洋工程。