基于對象存儲的負載均衡存儲策略

熊安萍，劉進進，鄒 洋

（重慶郵電大學 計算機科學與技術學院，重慶400065）

0 引 言

近年來，隨著處理器和網絡等基礎設備性能取得飛速發展，高性能并行技術的應用領域由石油勘探、氣象預測、科學研究等計算密集型領域擴展到國際金融、電信業務等數據密集型領域。需要處理的數據量極大增長的同時，對海量存儲系統的性能也提出了巨大挑戰。

基于對象存儲是一種高性能、為解決海量數據存儲而設計的分布式并行存儲技術?；趯ο蟠鎯w系結構由客戶端（簡稱Client）、元數據服務器（MDS）、對象存儲服務器（OST）（也稱“存儲節點”）3部分構成。將數據通路（讀和寫）和控制通路（元數據）分離的策略，每個對象存儲設備智能地管理自身設備上的數據對象分布，對象存儲體系結構很好地實現了在元數據和文件數據之間的并行性、文件數據在對象存儲設備上的并行性，提高了系統I/O性能。在大文件并行存儲的同時，需要分配各種計算機資源，并且存儲節點性能的差異，作業到達的隨機性，都會導致系統各節點負載和存儲空間的動態變化，為了適應這種無序變化，文件在對象存儲設備上如何均衡、高效存儲，進而提高系統I/O性能，成為學術界研究的熱點。

本文分析了對象存儲技術現有文件存儲策略與機制的優缺點，針對對象存儲體系結構的特性、數據并行存儲的特點提出了一種負載均衡存儲策略，綜合考慮了影響系統存儲性能的因素，并在現有對象存儲文件系統中設計和實現了該存儲策略。實驗表明，該策略在現有異構存儲集群環境下，能一定程度上避免因部分節點過載的再次分配，同時，保證了數據的均衡、高效存儲，提高了系統整體讀寫性能。相比現有存儲策略，本文的存儲負載策略具有更加廣泛的適用性。

1 現有文件存儲策略

目前對象存儲技術普遍采用以下兩種策略將文件數據分配到不同的存儲節點。

第一種策略是順序分配方式，也稱為輪詢放置策略。元數據服務器按照某種規則將存儲節點順序編號，選擇有效的存儲節點，將文件數據劃分成一定大小的數據片輪詢放置到各個存儲節點上。

第二種策略是哈希分配方式，也稱為隨機分配策略。該策略利用哈希函數確定文件的存儲節點。

以上策略均為靜態分配策略，沒有考慮各個對象存儲設備本身負載的實時變化，具體存在以下3個方面的問題：

（1）默認了存儲環境是同構的，但是對象存儲系統往往構建在異構集群環境下。在集群環境下，隨機分配I/O任務時，所有集群節點接受任務的概率相等，在異構環境下，性能較差節點處理任務的能力相對較弱，在任務量一定的情況下，就會出現性能較差節點任務滿載或者超載，性能較好節點相對空閑，影響客戶端響應時間，系統資源得不到充分利用。

（2）未考慮所選存儲節點的I/O負載，假設輪詢或者HASH的方式選擇了一個正在進行大量I/O處理的超載節點，則會大大影響客戶端響應時間。

（3）未考慮所選節點的存儲空間負載的變化。存儲節點通過刪除、創建、修改等操作，會出現文件數據不均衡的分布在各存儲節點中，部分節點存儲空間占用率高，部分節點存儲空間占用率低。而靜態分配方式，仍然會選擇存儲空間滿載的節點，造成分配失敗，導致數據的遷移或者重新分配，增加系統開銷。

總之，當前的數據分配策略沒有綜合考慮對象存儲設備的空間、I/O等負載的實時變化，會導致整個存儲系統性能下降。

2 基于對象存儲的負載均衡存儲策略

本文基于對象存儲的負載均衡存儲策略基本思想綜合考慮了存儲對象節點的動態負載，包括存儲空間、I/O負載。由元數據服務器全局地維護對象存儲節點存儲空間等負載信息。客戶端以2.1節理論為基礎，決定存儲的節點集合，客戶端從元數據服務器獲取該集合中各存儲節點負載信息，選擇剩余空間最大且I/O負載較小的存儲節點進行文件存儲。

2.1 存儲節點數

對象存儲體系結構中的數據分配機制，使得一個完整的數據文件分布存儲在多個存儲設備上，一個客戶端可以同時訪問一個文件的多個部分，同樣，多個客戶端可以同時訪問一個文件的不同部分，提高了系統的整體并行性［3］。但是建立連接的系統開銷對系統整體性能有負面影響，首先，數據同步和文件片段重新拼裝也將花費不少CPU時間；其次，一個客戶端與多個OST交互增加了協議處理開銷［4］。基于此，文獻［2］提出了柔性對象分布策略，從理論上分析了文件分割與網絡傳輸時延的關系，數據文件應該被分割的對象數

式中：Tp——數據文件并行傳輸的時間開銷；T——數據文件串行傳輸的時間開銷；n——數據文件被劃分的對象數；a——在客戶端劃分數據、建立連接等的開銷因子；b——數據傳輸時間，b＝數據大小/網絡帶寬；c—— 一個常數，表示數據校驗、身份認證等額外時間開銷。

該公式的意義是：傳輸數據文件時，總時延為總開銷因子與傳輸時間之和。并行傳輸時，需要建立連接、數據分片等時間開銷是串行傳輸時的n倍，但是數據并行傳輸帶寬是串行傳輸的n倍。Tp/T值越小，說明Tp相對于T而言值越小，并行傳輸的時延相對而言越短，性能相比而言越好。因此求出函數（2）的最小值就是節點n的最優解

考慮到實際應用中，有效的存儲節點數不一定恰好滿足該最優解，例如，可能會有存儲節點因為各種故障而失效，為此，本文對存儲對象節點數目的取值進行以下修正：

取分配節點數n的取值為：

其中：N為存儲體系結構中有效存儲節點個數。［x］表示不大于x的最大整數。

由此可見，當數據文件很小時，a值即在客戶端建立連接等開銷應該很小，不適合分片存儲，因此對小文件而言，無需分片存儲。

2.2 負載因素

對象存儲負載涉及到CPU、內存、網絡、I/O量、硬盤容量等。針對不同作業類型，選擇能準確反映節點綜合負載的負載因素，是設計調度策略時考慮的必要前提。

對象存儲體系結構針對大數據文件采取分片存儲及并行讀寫策略，存儲節點的讀寫操作屬于I/O類作業，需要進行頻繁的磁盤讀寫，并且磁盤I/O讀寫速率與CPU及主存速率之間的差異容易導致I/O成為系統的瓶頸。對象存儲體系環境中，讀寫操作都會涉及到批量數據的讀寫及其在網絡中的傳輸，因此磁盤I/O量和網絡帶寬是影響系統性能的主要因素，而CPU在對象存儲節點中主要完成操作流控制和地址轉換功能，只需進行較少的計算?；谝陨戏治?，本文選擇存儲節點的磁盤剩余空間及I/O負載作為主要負載因素。

2.3 基于對象存儲的負載均衡存儲策略

假定我們已經為某個文件確定了n個存儲節點。設OST＝｛OST0，OST1，OST2，…，OSTn－1｝是該存儲節點集合，S＝｛S0，S1，S2，S3，…，Sn－1｝是該存儲節點剩余存儲容量集合。A＝｛A0，A1，A2，…，－An－1｝是存儲節點剩余空間所占總剩余空間比例。L＝｛Load0，Load1，Load2，…，Loadn－1｝表示存儲節點的I/O負載量

式（3）表示存儲節點剩余磁盤空間占總磁盤剩余空間的比例。

將所有存儲節點存儲空間虛擬為一個邏輯整體，每個存儲節點可用空間是對象存儲系統可用空間的一部分。存儲節點剩余空間比例Ai是整體剩余空間的一部分，存儲節點Ai越大，剩余空間相對其它節點可用空間而言越大。為了均衡利用存儲空間資源、平衡存儲空間負載，優先選擇Ai大的存儲節點

式（4）表示存儲節點I/O負載量，其中 MEMi、IOi、Ni分別代表存儲節點OSTi的內存負載、I/O量和網絡負載。其中wi（i＝1，2，3）表示對應負載因素在影響整個I/O負載情況的重要程度。其中

服務器性能猶如電壓功率一樣，也有自己的I/O負載額定值 MAX（i），定義ui＝LOAD（i）/MAX（i）表示存儲節點OSTi的I/O負載與負載額定值的比例即I/O負載參量。如果ui＞1，說明系統I/O負載大于額定值，該存儲節點的I/O負載處于超載狀態；如果ui＝1，說明存儲節點I/O負載處于飽和狀態；如果ui＜1，說明存儲節點I/O負載小于額定值，表示存儲節點處于相對空閑狀態。隨著系統的運行，任何一個節點的I/O負載狀態將在這3種狀態中轉換，當系統達到穩定平衡時，各節點應該處于I/O負載飽和狀態或者接近飽和狀態。

理論上I/O負載額定值是對系統性能的評估，但是可以在實際運行中根據實際情況動態調整該參數，滿足當前系統運行需求，當某個時刻所有節點都滿負荷了，此時可以適當的增大MAX（i）的值，可以盡可能多的接納用戶的任務量，當系統整體負載較輕時，可以適當降低MAX（i），此時更多節點趨于飽和平衡狀態。動態調整這個參數，動態調整系統運行的狀態，系統運行狀態隨著系統的運行情況而動態變化，不斷滿足用戶需求，實現了應對系統I/O負載的彈性化處理機制，盡量提高系統的吞吐率。

3 基于對象存儲的負載均衡存儲策略實現

基于以上對對象存儲體系中文件存儲策略和異構系統負載特征的研究和分析，結合基于對象存儲系統的特征和負載性質，設計并實現了一種基于對象存儲的負載均衡存儲策略，該實現模塊結構如圖1所示。

圖1 實現模塊結構

3.1 模塊設計

對象存儲體系結構中，負載信息的采集和存儲由元數據服務器全局維護，各個對象存儲節點智能的管理和維護自身負載信息，并且實時的向元數據服務器反饋，客戶端依據這些信息決策所選存儲節點集合，符合軟件設計的模塊化原則，均衡了處理邏輯的任務分布。整個數據分配流程更加合理、靈活、高效。

（1）剩余空間信息鏈表：存儲空間負載監控模塊發現當前存儲節點剩余空間變化較大時，主動通知元數據服務器MDS并且捎帶最新的剩余空間信息，MDS相應的存儲空間負載監控模塊收到消息后，觸發負載信息處理模塊更新該鏈表信息，將鏈表節點信息按照存儲節點剩余空間比例從大到小排序。與傳統的主動接受信息相比，該方法節約了網絡帶寬，保證了存儲空間信息的實時性。

（2）I/O負載信息數組：MDS的I/O負載收集模塊周期性的向各存儲節點發送I/O負載信息請求，存儲節點的I/O負載監控模塊將最新的負載信息反饋給 MDS，觸發MDS運行負載信息處理模塊更新各節點負載信息。

（3）當某個節點失效或者添加節點時，觸發MDS負載信息管理模塊將在剩余空間信息和負載信息從鏈表和數組中刪除或者增加相應節點，并且這種操作對客戶端完全透明，實現了數據存儲的可擴展性。

（4）元數據服務器將存儲空間信息和負載信息分別維護，提高了系統的靈活性和信息的可靠性。

3.2 實現算法描述

其基本思想是：基于本文2.1節理論，決定數據文件的分割粒度，選擇剩余空間最大且負載較輕節點，將數據文件按照給定的放置算法放置到選定的存儲節點上。

輸入：SIZE數據文件大??；B網絡帶寬；N有效存儲節點個數；

輸出：選擇存儲節點集合Q；

步驟1 從MDS獲取各個有效節點剩余空間信息鏈表和負載信息數組；

步驟2 如果SIZE小于數據塊兩倍，選擇存儲節點數設為1，跳轉至步驟6；否則，從步驟3開始

步驟3 計算數據傳輸時間b＝SIZE/B；

步驟5 依據N與n的大小，決定所選存儲節點個數M；

步驟6 遍歷存儲節點剩余空間鏈表，基于存儲節點索引值從負載信息數組中取出負載參量值，判斷其是否小于1，如果小于1，將存儲節點索引號加入集合Q中，否則繼續遍歷，直到集合大小為M，算法結束。客戶端與所選存儲節點進行數據分配存儲。

3.3 算法實現

算法實現所需的核心數據結構：

存儲節點剩余可用空間數據結構，由各對象存儲節點維護：

存儲節點剩余可用空間數據結構，元數據服務器節點維護：

算法所需要的部分函數和鏈表：

Dist＿info＿linklist鏈表：用于存放有效存儲節點存儲容量信息，MDS服務器按照剩余空間比例字段從大到小排序。

Load＿info信息表：用于存放有效存儲節點I/O負載相關信息。

Get＿ratio（idx）：從I/O負載信息數組中得到索引號為idx的存儲節點相應I/O負載參量。

Add＿To＿Set（idx，Q）：將索引號為idx的存儲節點添加到節點所選集合Q中。

M：選擇存儲節點數。

STRIPE＿SIZE：兩倍的數據塊大小。

客戶端負載均衡存儲策略偽代碼如下所示：

輸入：數據文件大小SIZE，網絡帶寬B，有效存儲節點個數N。

算法輸出：選擇的存儲節點集合OST＿SET＝｛｝，初始化為空，集合個數為count，初始化為0

算法開始：

4 實驗及結果分析

測試平臺搭建1個MDS服務器，10個OST服務器，6個客戶端，在對象存儲文件系統Lustre1.4.7版本上實現負載均衡存儲策略，使用IOzone作為文件系統讀寫性能測試工具。

比較現有數據分配算法（TDAA）與本文基于對象存儲的負載均衡算法（OBSLBA），設置數據塊大小固定值為256K，3個客戶端測試大小為64M、128M、256M、1024M、2048M的數據文件的寫性能，在測試過程中，通過不斷的刪除、創建、修改文件、播放視頻等操作模擬系統資源的無序動態變化，最后求其平均值。

實驗結果如圖2所示，本文的負載均衡存儲算法的寫性能比傳統的數據分配算法寫性能要好，系統寫的數據文件越大，兩者性能差異越大。主要原因是現有數據分配算法沒有充分考慮系統存儲資源和系統I/O負載的動態變化，導致數據不合理的分配，部分節點超載或者飽和仍然會收到大量的讀寫任務，影響系統的寫性能，數據文件越大，系統資源需求越大，數據越不均衡的分配，導致系統整體性能越低，相比本文基于對象存儲的負載均衡存儲策略，差別就越明顯。

圖2 寫性能比較

設置數據塊大小為256K，分別采用1、2、4、6個客戶端并發寫2G的數據文件，在測試過程中，通過不斷的刪除、創建、修改文件、播放視頻等操作模擬系統資源無序的動態變化進行測試。

實驗結果如圖3所示，隨著客戶端數量的增加，系統寫性能下降，主要原因是客戶端并發寫時，對系統資源需求越大，系統負載將會越大，影響系統整體吞吐率。本文基于對象存儲負載均衡算法靈活、方便的數據分配機制能均衡使用存儲資源的同時，避免負載不均衡分配，盡量提高了系統的整體性能，并且客戶端越多，相對現有數據分配算法而言，這種優越性越容易體現。

圖3 不同客戶端并發訪問時寫性能比較

由此可見，本文實現的基于對象存儲的負載均衡存儲策略能較好適應系統存儲資源、負載的動態變化，客戶端能夠靈活選擇合理的存儲節點，保證對象存儲系統寫性能的高效性。

5 結束語

本文研究了基于對象存儲技術的數據分配策略，重點分析了這類策略在系統動態變化時的不足，給出了靈活、簡單、高效、并且能滿足存儲資源和I/O負載無規律變化環境的基于對象存儲的負載均衡存儲策略。實驗結果表明，該策略能均衡使用系統的存儲資源，能避免I/O負載超載節點的再次分配，提高了系統的吞吐量，保證了系統高效的讀寫性能，尤其是寫性能。

［1］YU Zhanwu，ZHENG Sheng，LI Zhongmin，et ak.Massive spatial data storage and management based on object－based storage［J］.Geomatics and Information Science of Wuhan University，2008，33（5）：528－532（in Chinese）.［喻占武，鄭勝，李忠民，等.基于對象存儲的海量空間數據存儲與管理［J］.武漢大學學報：信息科學版，2008，33（5）：528－532.］

［2］WANG Fang，ZHANG Shunda，FENG Dan，et al.Hybrid object allocation policy for object storage systems［J］.J Huazhong Univ of Sci ＆Tech：Nature Science Edition，2007，35（3）：46－48（in Chinese）.［王芳，張順達，馮丹，等.對象存儲系統中的柔性對象分布策略［J］.華中科技大學學報：自然科學版，2007，35（3）：46－48.］

［3］Yu Weikuan，Jeffrey Vetter，Shane Canon R，et al.Exploiting lustre file joining for effective collective IO［C］.Rio De Janeiro，Brazil：Seventh IEEE International Symposium on Cluster Computing and the Grid.American：IEEE Computer Society，2007：267－274.

［4］Jeremy Logan，Phillip Dickens.Towards an understanding of the performance of MPI－IO in lustre file systems［C］.Tsukuba：International Conference on Cluster Computing.American：IEEE，2008：330－335.

［5］Sumit Narayan，John A Chandy.Parity redundancy in a clustered storage system［C］.San Diego，CA：Fourth International Workshop on Storage Network Architecture and Parallel I/Os.American：IEEE Computer Society，2008：17－24.

［6］LING Yun，ZHOU Huafeng.Researches on dynamic Loadbalancing technique for heterogeneous cluster system［J］.Computer Engineering and Design，2008，29（12）：3068－3070（in Chinese）.［凌云，周華鋒.面向異構集群系統的動態負載均衡技術研究［J］.計算機工程與設計，2008，29（12）：3068－3070.］

［7］WANG Fang，LV Song，FENG Dan，et al.A general－purpose，intelligent RAID－based object storage device［G］.Lecture Notes in Computer Science 2820：Proceedings of the Second international conference on Embedded Software and Systems，2005：747－756.

［8］Mesnier M，Ganger G，Riedel E.Object－based storage：Pushing more functionality into storage［J］.Potentials，IEEE：2005，24（2）：31－34.

［9］ WEI Li，ZHOU Yuezhi，XIA Nan.Approach to allocate storage space dynamically in network storage system［J］.Computer Engineering，2008，34（5）：33－35（in Chinese）.［韋理，周悅芝，夏楠.用于網絡存儲系統的存儲空間動態分配方法［J］.計算機工程，2008，34（5）：33－35.］

［10］ZHAO Tiezhu，Verdi March，Dong Shoubin，et al.Evaluation of a performance model of lustre file system［C］.Guangzhou，Guangdong China：The Fifth Annual ChinaGrid Conference.A－merican：IEEE Computer Society，2010：191－196.

［11］ZHAO Tiezhu，HU Jinlong.Performance evaluation of parallel file system based on lustre and grey theory［C］.Nanjang，Jiangsu，China：Ninth International Conference on Grid and Cloud Computing.American：IEEE Computer Society，2010：118－123.

［12］LING Bo，WANG Xiaoyu，ZHOU Aoying，et al.A collaborative web caching system based on Peer－to－Peer architecture［J］.Chinese Journal of Computers，2005，28（2）：170－178（in Chinese）.［凌波，王曉宇，周傲英，等.一種基于Peerto－Peer技術的 Web緩存共享系統研究［J］.計算機學報，2005，28（2）：170－178.］

［13］Andrew S Tanenbaum，Maarten Van Steen.Distributed systems principles and paradigms［M］.2nd ed，XIN Chunsheng，CHEN Zongbin，transl.Beijin：Tsinghua University Press，2008：358－360（in Chinese）.［Andrew S Tanenbaum，Maarten Van Steen.分布式系統原理與范性［M］.2版.辛春生，陳宗斌，譯.北京：清華大學出版社，2008：358－360.］

［14］Ananth Rao，Karthik Lakshminarayanan，Sonesh Surana，et al.Load balancing in structured P2Psystems［G］.Lecture Notes in Computer Science 2735：Ion Stoica in PeertoPeer Systems II，2003：68－79.

［15］WANG Fei，XI Hongsheng，YANG Jian.Optimized fileblocking storage scheme in clustered VoD system［J］.Computer Engineering，2008，34（21）：213－215（in Chinese）.［王飛，奚宏生，楊堅.集中式VoD系統中文件分塊存儲策略［J］.計算機工程，2008，34（21）：213－215.］