負載均衡的集群文件分發與下載服務設計

葛翔 彭會湘 甘朝輝

摘要：通過介紹通用文件服務器的功能，分析專用文件分發與下載服務器在私密性與傳輸方面的需求。闡述了負載與集群的概念，給出了一種負載均衡的集群的設計方案。通過對集群部署設計、負載均衡和文件傳輸協議等3部分進行研究，整體實現了專用文件分發與下載服務器，為超大文件、多文件、多用戶和多地域的文件分發與下載服務提供了一種設計思路與實現方法。

關鍵詞：文件服務；主動推送；集群系統；負載均衡

中圖分類號：TP393文獻標志碼：A文章編號：1008-1739（2018）14-60-2

Design and Implementation of File Server Cluster System

GE Xiang， PENG Huixiang， GAN Zhaohui

（The 54th Research Institute of CETC， Shijiazhuang Hebei 050081， China）

0引言

當前市場上雖然存在軟件即服務、平臺即服務、基礎設施即服務為代表的云服務，可滿足企業數據的下載需求[1]，但費用較高，且不能實現用戶的定制需求。本系統是針對私密數據對多用戶、跨地域的分發與下載需求，結合現有的相關技術，設計與實現一個在Windows服務器下運行的文件分發與下載服務。文件分發與下載服務需要包涵主動推送與用戶下載2種模式，而通用文件服務例如Windows文件服務器或Server-U都不具備主動推送的功能，只能被動接受用戶下載。文件分發與下載服務的用戶所在的網絡為廣域網，包涵多級路由器和防火墻，網絡環境十分復雜。用戶IP對外不可見，隱藏在路由器后，所以服務器不知道用戶IP，不能直接連接用戶IP進行文件推送，需要提前告知用戶文件服務器所在的IP，進行被動傳輸。已知用戶需求中需要下載的文件數量眾多、單個文件體量大，普通的單臺文件服務器很難滿足其性能要求，使用集群技術就可以大幅提高文件的下載效率。

1負載集群

集群，是2臺或多臺獨立的計算機或節點在一個群組內共同工作，構成一個松耦合的多處理器系統，多臺設備之間通過網絡實現進程間的通信。應用程序可以通過網絡共享內存進行消息傳送，實現分布式計算。與單獨的計算機單處理器相比，集群能夠提供更高的可用性和可擴充性。集群中的每個節點通常都擁有自己的資源（處理器、I/O、內存、操作系統和存儲器），并對自己的用戶負責[2]。服務器集群就是用一組服務器作為一個整體代替單個服務器為用戶提供透明服務。

在集群系統中，一個重要的機制是負載均衡機制。負載均衡是建立在現有網絡結構之上，使用多臺設備以對稱的方式組成一個服務整體，將大量的并發訪問或數據流量分擔到多臺節點設備進行分別處理，減少用戶等待時間，有效擴展網絡服務帶寬，增加吞吐量，加強網絡數據處理能力，提高網絡靈活性和可用性的機制[3]。

2集群部署與設計

分發網絡由分發調度服務、數據分發服務和數據下載客戶端3個部分構成，如圖1所示。分發調度服務主要功能是處理客戶請求和協調數據分發服務器；數據分發服務主要功能是執行分發任務保證文件不丟失；下載客戶端主要功能是申請下載任務接收文件。

在圖1中，分發調度服務與數據下載服務部署在一個網絡，可以靈活配置。數據下載客戶端通過路由器在廣域網與分發調度服務連接，由于數據下載客戶端的IP隱藏在路由器后邊，所以服務器并不知道連接客戶端的真實地址，服務器需要仿照FTP被動連接模式的工作原理[4]，即分發調度提供數據下載服務地址，由客戶端主動連接并下載對應文件。此部署的優勢為集群可以在防火墻后統一安全管理，客戶端不用開放任何端口即可實現下載，為此需要一套基于TCP長連接協議的應用層協議。

（1）命令流程

分發調度服務是處理中心，與客戶端協商好下載任務后，即可根據負載情況選擇數據分發服務器。此命令流程可以使數據下載客戶端與數據分發服務互不影響，只需配置一次，集群可以靈活調整，客戶也可以任意地點登錄，如圖2所示。

圖中數字序號與字母序號對應流程無先后順序，從步驟1開始執行即為客戶端發起下載流程，而從步驟2開始執行即為服務端發起推送流程，系統部署時必須至少保證有一個數據分發服務啟動。

（2）負載均衡

系統采用分發調度服務、數據分發服務和數據下載客戶端3層架構設計。數據下載客戶端可以選擇多個數據產品進行數據下載；分發調度服務可以選擇多個數據產品進行主動推送，并協同安排多個數據分發服務向數據下載客戶端進行數據傳輸，為了提高效率，要發送的數據產品可采用分布式存儲，存儲于多個節點。從多個分發服務同時給一個下載客戶端傳輸文件，這樣可以大大縮短文件的傳輸時間，同時增加傳輸的可靠性，有效避免網絡瓶頸。為提升系統的時效性，發揮網絡應用效能，系統采用負載均衡技術實現數據產品的高效分發。

負載均衡算法采用加權輪詢法，較輪詢法有了一定的進步，它給各節點按照相應的處理能力設定了不同的權值，使其能夠接受相應權值數的服務請求。將該算法應用于請求處理的任務長度大致相同的情況時，是比較簡單、高效的[5]。使用此算法保證所有服務器在工作狀態，且任務數量均衡。算法實現方式為首先實現一個根據任務數量由小到大進行排序的隊列，當新任務到來時使用隊列中第一個服務執行此任務并將此服務移動到隊列中其他相同任務數服務的末端，當有服務完成一個任務時此服務同樣將移動到隊列中其他相同任務數服務的末端，如圖3所示。

（3）文件傳輸協議

為了實現超大文件傳輸和斷點續傳，需要自主研發文件協議，協議如表1所示。

通過上表的數據結構可以完成命令交互與文件傳輸。數據內容為文件路徑與文件內容。傳輸文件時，報文類型為1。命令交互時，報文類型為0，命令內容如圖4所示。

3結束語

目前此負載集群文件分發與下載服務已通過測試進入試用階段。使用過程中數據分發服務器均有任務生成，多客戶端、多任務下載任務正常。網絡異常后，可以斷點續傳節省用戶時間。本系統可以復用在文件傳輸領域，對于二次開發的使用者使用反射機制和動態加載自主設計的分發界面，具有良好的擴展性與穩定性。

參考文獻

[1]李敏.中小企業云服務轉換意愿實證研究[D].合肥：中國科學技術大學，2014..

[2]羅秉安，張立臣.集群系統的技術與應用[J].微型電腦應用， 2003，19（l）：62-64.

[3]黃世權.負載均衡在校園網的應用[J].計算機與現代化，2009（6）：124-126.

[4]周曉林，彭延昌，胡慶梅，等.基于廣域網防火墻技術的FTP被動模式的文件傳輸[J].計算機系統應用，2006（6）：83.

[5]劉恩海，李偉，張素琪，等.集群文件服務系統中的負載均衡算法的研究[J].計算機工程與設計，2013，34（8）：2754-2758.