基于Ceph的分布式存儲系統跨機架修復技術分析

路巖

摘要：詳細介紹了Ceph分布式儲存系統的應用性質與層次結構，通過專業的研究與分析，將該類儲存系統引入到跨機架修復工作中，與修復技術充分融合，實踐運用過程包括設計分級解碼算法、優化糾刪碼、修復系統數據、驗證試驗方案和明確跨機架數據量等，在Ceph分布式儲存系統的持續影響下，高效完成跨機架修復工作，確保各類機架使用質量。

關鍵詞：跨機架修復???糾刪碼???分布式儲存???Ceph

中圖分類號：P208

Analysis?of?Cross-Rack?Repair?Technology?of?the?Distributed?Storage?System?Based?on?Ceph

LU?Yan

（China?Datang?Corporation?Science?and?Technology?General?Research?Institute?Ltd.，Beijing，100040?China）

Abstract：?This?paper?introduces?the?application?property?and?hierarchy?of?the?Ceph?distributed?storage?system?in?detail，?introduces?this?type?of?storage?system?into?cross-rack?repair?through?professional?research?and?analysis，?and?fully?integrates?it?with?repair?technology，?The?practical?application?process?includes?designing?hierarchical?decoding?algorithms，?optimizing?erasure?codes，?repairing?system?data，?verifying?test?schemes，?clarifying?the?cross-rack?data?volumn，?etc.，?and?under?the?continuous?influence?of?the?Ceph?distributed?storage?system，?cross-rack?repair?work?is?efficiently?completed，?so?as?to?ensure?the?use?quality?of?all?kinds?of?racks.

Key?Words：?Cross-rack?repair;?Erasure?code;?Distributed?storage;?Ceph

Ceph分布式儲存系統隨著信息技術的更新可存儲大量數據，對更多數據實行科學處理。跨機架內部系統在正式使用中極易出現各項質量問題，要對系統內部數據進行科學處理，Ceph分布式儲存系統作用到跨機架修復中，極大提升修復效率，幫助跨機架解決更多數據處理問題，滿足修復技術操作需求。

1?Ceph分布式儲存系統的應用性質

Ceph分布式儲存系統在正式使用中存在去中心化、高可用與高性能的應用性質。

1.1去中心化

使用Ceph分布式儲存系統可高效實現去中心化，使系統內部的各項分子擴展靈活，且線性會根據節點的增加而增長。

1.2高可用

高可用屬Ceph分布式儲存系統內部的重要性質。Ceph分布式儲存系統中的副本數字帶有靈活控制特征，并能對系統內部生出的故障進行適當分隔，實現數據一直性。使用Ceph分布式儲存系統時還能設置出多種故障場景，并利用合適的技術手段自行修復故障場景內的更多故障，確保系統應用的安全性。在Ceph分布式儲存系統內，不存在任何單點故障，借助系統的自動管理來增加擴展性。

1. 高性能

影響Ceph分布式儲存系統操作效果的主要因素為性能，而該項系統的性能較佳。例如：使用Ceph分布式儲存系統時，可發現其能主動摒棄此前集中式儲存系統內的數據尋址計劃，利用CRUSH算法來加強數據分布的均衡性。當前Ceph分布式儲存系統可作用在感知機架與跨機房中，高效改變負載副本的應用規則。由于分布式儲存系統的內部數據較多，使用Ceph儲存系統后可適當增加數據節點規模，支持分布式儲存體系內各個級別的數據，其數據范圍可由TB級至PB級。

2?Ceph分布式儲存系統的層次結構

在明確Ceph分布式儲存系統的內在性質后，還要全面研究該儲存系統的層次結構，為此后對該系統的持續性使用增加清晰度。具體來看，當前Ceph分布式儲存系統包含應用層、文件系統接口、MDS元數據服務器、RBD塊儲存接口、RADOS?GW對象儲存接口、LIBRAODS基礎庫與RADOS基礎儲存系統。在RADOS基礎儲存系統中，要明確儲存對象條件，即儲存中的數據要帶有分布式、自動化與可靠等特征，Ceph集群架構與raid10模式較為相近[1]。鑒于可插硬盤中單臺機器的數量有限，可利用網絡通信形式來打破單臺機器限制，即組合成RADOS基礎儲存系統。LIBRAODS基礎庫內部包含大量基礎數據，MDS元數據服務器、RBD塊儲存接口、RADOS?GW對象儲存接口中的數據都可進入到LIBRAODS基礎庫中，并對不同部分數據進行整合分析，確保各個服務器與儲存接口數據的使用效果，提升數據應用的準確性。文件系統接口中的數據類型較多，元數據與普通數據為該系統接口的主要數據來源，利用技術手段將普通數據傳輸到LIBRAODS基礎庫內；將元數據傳輸到MDS元數據服務器中，利用對各項數據的分類操作處理，極大提升數據處理使用的準確性，滿足Ceph分布式儲存系統的數據應用需求。科學探索分布式儲存系統的層次結構后，操作人員要合理觀察系統應用環境，將該系統作用到合適的技術處理中，更好地發揮出系統儲存優勢。

當前跨機架修復工作屬于全新的機架修復形式，極大提升機架修復效率。為提升跨機架修復技術的應用效果，確保修復數據的準確性，操作人員適時引入了Ceph分布式儲存系統，將該系統作用到修復技術中，全面規范該類修復手段的操作過程，使機架修復工作更具持續性。

3?分布式儲存系統修復技術的實踐運用

3.1設計分級解碼算法

為提升Ceph分布式儲存系統在跨機架修復技術中的應用效果，要科學設計分級解碼算法。具體來看，操作人員將跨機架數量設置成3個，將9個編碼塊放置到3個機架內，即各個機架都存在3個編碼塊，將各個編碼塊的容量設置成4MB，且可重新架構6個存活性編碼塊，數據傳輸量可設定在24MB左右，該類數據將利用交換機將各項數據傳輸量傳輸至對應節點中，若系統規模大，且各個編碼塊都要開展恢復工作時，交換機內部生成的0寬帶會極大阻礙編碼解碼效果。在使用Ceph分布式儲存系統后，要利用技術手段，重新設計分級解碼工作，優化解碼算法。分級解碼工作原理主要為率先設置k個數據塊，鑒于RS系統帶有糾刪碼功能，可說明各項原始數據塊即使開展編碼工作，其數據塊中的內部數據也會保持不變。相關人員在明確分級解碼操作原理后，可直接訪問原始數據塊，其編碼過程多將數據矩陣與各項原始數據塊相融合，并對編碼數據庫進行適當檢驗[2]。為增加Ceph分布式儲存系統內部數據的修復功能，可將丟失的數據塊信息進行合理整合，利用修復技術來恢復各個編碼塊，明確解碼結果。當前恢復丟失的板塊數據包含機架數、各級節點，再對各級節點進行分級解碼，將解碼后的數據重新傳輸到Ceph分布式儲存系統中。

3.2優化糾刪碼

優化糾刪碼為Ceph分布式儲存系統跨機架修復技術操作中的重要步驟。操作人員在修復難以恢復的數據時，要及時選擇相同數據帶內的存活節點來開展數據傳輸工作，可將該類存活節點設置成k，k項節點內的各項數據要對恢復數據開展解碼工作，再將解碼后的數據重新傳輸到恢復裝置中。為更好地優化糾刪碼，可采用CHD算法進行數據解碼工作。比如，各個機架中的數據在開展跨機架數據傳輸前，都要依照聚合效應對機架中的各項數據進行分級解碼，再利用網絡中心將該項解碼結果傳輸到其他機架的各個節點中。針對機架A1來說，可在機架內部挑選出2個節點，并用n1、n2表示，2個節點中的數據在進入到其他機架前，要分別開展數據解碼工作，可將n2中的數據傳輸到n1節點內，繼而聚合n1與n2中的內部數據，再將聚合以后的數據結果借助網絡中心傳輸至指定節點中。在完成數據編碼的重新處理后，可發現在優化糾刪碼的過程中，有效縮減機架內部的網絡傳輸量，縮減量可達到50%左右，不斷削弱各項節點內的網絡負擔，降低數據重組時間，提升糾刪碼優化效果。

3.3修復系統數據

操作人員將Ceph分布式儲存系統作用到跨機架修復技術中，要利用全新系統來修復更多數據，而在修復相關數據前，要明確分級解碼流程，對解碼過程中涉及到的更多數據指標進行科學規范。啟動“開始”按鈕后，利用信息技術來標記出已經丟失的數據塊，并借助程序明確可用數據塊的數量，若相關數據塊處在無法修復狀態，則可“結束”相關程序。當數據塊處在可修復范圍中時，則要借助程序挑選出可用數據塊，將該類數據塊依照不同機架開展分組工作[3]。操作人員需借用程序將各個數據節點進行分級解碼，并將解碼結果順利傳輸到不同的主節點內，各個主節點在接收到機架數據后，則要對丟失或存有異常的數據進行高效整合，再啟動“結束”按鈕。在探索主節點內的機架數據時，要全面規范機架信息，將分組后的機架數據依照解碼結果來開展數據傳輸工作，并進行必要的節點緩存，讀取未接收的機架數據。在明確分級解碼過程后，操作人員要合理探索Ceph分布式儲存系統中的通信問題，找尋出影響通信質量的消息函數，再將該類函數數據開展分級解碼工作，合理讀取解碼后的數據，滿足當前跨機架系統數據恢復需求。

3.4驗證試驗方案

利用Ceph分布式儲存系統完成跨機架數據修復工作后，為確保該項修復數據的準確性，要對此前的試驗方案進行重新設計驗證。操作人員要全面評估試驗操作環境，明確評估環境中的主要位置，即帶有RS參數碼的分布系統內。觀察Ceph分布式儲存系統內部數據分布情況時，要事先挑選節點數少的數據量，防止出現修復流量增加等不良現象。試驗驗證方案中的環境評估主要包含修復時間、修復量。針對修復時間而言，要詳細檢測當前跨機架數據修復工作的時間，并與此前傳統修復時間、修復時間標準進行合理比對，通過比對可發現，Ceph分布式儲存系統應用的修復時間較短，且提升修復效率[4]。而對于修復量來說，跨機架網絡下的修復量多作用在CHD算法中，該項算法在實際運用時極大縮減網絡傳輸量，在傳輸數量得到控制的情況下，網絡修復量可得到極大改善。完成操作環境的精準評估后，還要根據Ceph分布式儲存系統的使用狀態設計評估方法。當前操作人員采用的評估方式為CHD算法，在集群內部輸入1000個對象，各個對象都要存在對應條帶，再將各個條帶內的校驗塊、數據塊分布到集群內部的各項節點中，做到每個節點都帶有數據塊。若想更好地評估數據塊內的恢復性能，則需隨意挑選1個節點，并抹去該節點內部的儲存數據，再利用此前設定的CHD算法合理聚合機架內部的各項數據，將抹去數據的節點當成數據源，確保跨機架數據修復效果[5]。

3.5明確跨機架數據量

在確認跨機架數據量的過程中，操作人員仍要合理運用分級解碼形式，關注數據量的具體變化情況。例如：分級解碼方式可將各項數據利用機架傳輸到不同類型的主節點中，并在分級解碼工作開始前，要將分級節點中的更多數據開展聚合活動，再將聚合以后的結果重新利用機架輸送到各個主節點中，確保分級解碼工作的整體效率，不斷縮減網絡傳輸量[6]。將跨機架內部數據傳輸量設計成成M與K兩種參數，要根據該項參數的具體變化來觀察出數據傳輸量的改變范圍。操作人員在相關試驗中逐步增加了M與K參數的變化值，在分級解碼算法的逐步影響下，網絡傳輸量也出現了較大改變。例如：當M與K分別為4、10時，跨機架需要修復的數據量則縮減到70%，引發該項數值的主要變化原因為若機架數確定，隨著M與K值的上升，機架內相同條帶數據塊的數量也會逐步增加，機架中數據聚合后開展的數據傳輸工作，與原始數據量相比，當前數據量則越來越多。若機架出現故障，機架內部的各個存儲節點都存在不可用狀態，利用Ceph分布式儲存系統進行數據修復，仍會修復某個條帶內的數據。

4結語

綜上所述，Ceph分布式儲存系統應用到跨機架修復技術中，可全面規劃跨機架內部數據運行狀態。操作人員借助糾刪碼的優化處理，科學觀察修復數據的具體變化，并通過對試驗方案的持續性驗證來掌握恢復時間、跨機架數量，極大提升跨機架修復技術操作效率，加強數據儲存質量，確保跨機架內部修復項目整體修復效果。

參考文獻

[1] 李嬋，劉煥莉，劉雨晴，等.基于分布式存儲及消息同步技術的元數據管理應用系統[J].軟件，2022，43（12）：60-63.

[2] 崔曉雪，陳文捷，陳敏剛.分布式列存儲數據庫性能測試方法研究[J].信息技術與標準化，2022（11）：34-39.

[3] 楊超，信晟，張悅，等.一種改進的分布式HCI圖像數據管理技術[J].無線互聯科技，2022，19（15）：82-85，93.

[4] 趙愛華，黃少雄，宋光明，等.中壓環境下多種數據的分布式存儲與并行計算系統設計[J].單片機與嵌入式系統應用，2022，22（6）：6-10.

[5] 鄭杰輝.分布式存儲系統的節點修復技術研究[J].太原學院學報（自然科學版），2021，39（1）：48-52.

[6] 楊青霖，吳桂勇，張廣艷.分布式存儲系統中的數據高效緩存方法[J].大數據，2021，7（2）：147-157.