飛行器自主保障系統海量數據存儲設計與研究

曾 發 麻雨欣 梁 君 曾貴明 榮 剛

(1.中國運載火箭技術研究院研發中心，北京 100076； 2.航天材料及工藝研究所，北京 100076)

1 引言

某飛行器長期在軌運行，為對其上各設備進行健康管理、故障預測和分析，在地面設立自主保障信息系統，接收健康診斷的數傳數據和遙測數據，并在全壽命周期內存儲，其中，原碼數據每天約為0.186TB，經解碼后，數據約為2TB，總數據將達1PB，且包含大量非格式化的圖片和視頻文件，重復執行任務時，數據隨任務次數等量增加，存儲系統需要擴容使用，現有單塊磁盤或磁盤陣列的存儲方案，在存儲容量、讀寫速度、數據安全性和存儲擴展性上，都無法滿足要求。本文針對該飛行器自主保障系統海量數據及其應用特點，設計一種采用完全對稱架構和改進哈希算法的數據存儲系統。

2 系統架構

2.1 總體架構

本文設計的數據存儲系統，類似于亞馬遜公司的AWS S3[1]架構，采用去中心化扁平對稱結構，通過軟件定義虛擬化存儲，物理層面使用普通服務器+磁盤陣列來構建冗余可擴展的分布式存儲集群，數據寫入、數據讀出等應用服務器和存儲集群通過光纖交換機相連，飛行器自主保障原碼數據通過測發控系統經光纖交換機寫入，故障推理原碼數據經光纖交換機讀出，再將推理過程數據和結果數據經光纖交換機寫入。自主保障系統數據存儲總體架構見圖1。

圖1 數據存儲總體架構Fig.1 Overall architecture of data storage

2.2 數據組織結構

本文采用無中心節點和扁平化的數據組織結構，將數據存儲系統劃分為三層邏輯結構：賬戶、容器和對象，如圖2所示。賬戶表示一個存儲區域，并對應一個飛行器分系統用戶，若一個分系統切換到另一個分系統下，將看到屬于另一個存儲區域的容器和對象。本文根據該飛行器分系統劃分，設為不同的賬戶，如GNC分系統用戶、遙感分系統用戶、電源分系統用戶、熱控分系統用戶、遙測分系統用戶、綜合電子分系統、結構分系統等。容器是存儲對象的存儲空間，其內部扁平，沒有目錄概念，所有對象直接隸屬于其對應容器；每個飛行器分系統可擁有多個容器；容器內對象數目沒有限制。對象作為存儲對象，由對象元信息、用戶數據和文件名組成，并由容器內唯一的文件名標識，其生命周期從上傳磁盤到被刪除為止，整個周期內，對象信息不可變更。

圖2 數據組織結構Fig.2 Structure of data organization

2.3 存儲架構

本文設計的數據存儲系統通過軟件定義存儲服務，采用完全對稱架構，其軟件邏輯組成見圖3，硬件部署如圖4所示，主要包括四個組成部分：代理服務組件、存儲服務組件、存儲一致性服務組件和哈希環，其中代理服務組件、哈希環部署在代理服務器上，存儲服務組件和存儲一致性服務組件部署在用于數據存儲的物理存儲服務器上。

圖3 軟件邏輯組成Fig.3 Logic composition of Software

圖4 硬件部署Fig.4 Devices deployment

2.3.1 代理服務組件

代理服務組件負責系統其余組件間的相互通信, 并提供系統對外接口的服務進程。對飛行器每個分系統數據存儲請求，代理服務組件在哈希環中查詢賬戶、容器或對象的位置，并相應轉發請求。若某個物理存儲服務器不可用，代理服務組件將查詢哈希環中可用物理服務器，將存儲請求轉發過去。代理服務組件對用戶提供Rest-ful API接口和TCP/IP協議規范，其部署所在服務器相當于一臺對外提供通信交互服務的HTTP服務器。

2.3.2 存儲服務組件

存儲服務組件提供存儲服務器磁盤陣列上的存儲服務，包括三類存儲服務模塊：賬戶服務模塊、容器服務模塊和對象服務模塊。賬戶服務模塊處理對賬戶請求，使用SQLite數據庫文件保存賬戶相關信息。容器服務模塊負責處理對象列表和跟蹤統計對象總數、容器使用情況，同樣使用SQLite數據庫文件保存容器相關信息。對象服務模塊負責處理對對象的請求，直接操作對象，讀寫存儲對象。存儲服務組件組成及工作機制見圖5。

圖5 存儲服務組件組成及工作機制Fig.5 Composition and working mechanism of storage service components

2.3.3 存儲一致性服務組件

存儲一致性服務組件用來查找并解決由數據損壞和硬件故障引起的錯誤，保證對象的最終一致性，主要有三個服務模塊：審計服務模塊、更新服務模塊和副本服務模塊。審計服務模塊檢測每臺物理服務器上的賬號、容器和對象完整性，發現損壞后將數據移動到隔離區域，再由副本服務模塊用一個完好副本替代。更新服務模塊分別更新賬戶列表和對象列表，若賬戶服務模塊和容器服務模塊繁忙，則待其正常后再更新。副本服務模塊保持數據合理副本數，并確認存放位置是否正確，保證各物理服務器面臨故障時保持數據一致性。存儲一致性服務組件組成見圖6，工作機制見圖7。

圖6 一致性服務組件組成Fig.6 Composition of consistency service components

圖7 一致性工作機制Fig.7 Working mechanism for consistency

2.3.4 哈希環

本存儲系統引入哈希環，記錄存儲對象與物理位置間的映射關系，哈希環分布于所有代理服務器，是整個數據存儲系統核心，存取對象都需哈希環參與。哈希環包括賬戶哈希環、容器哈希環、對象哈希環，查詢賬戶、容器、對象信息時，需查詢集群中各自的哈希環信息，并用分區、設備、節點和副本等信息維護映射。哈希環中同一個節點包含3個副本。每個節點的位置由哈希環來維護，并存儲在映射中。系統初始化時創建哈希環，此后增減存儲節點都要更新哈希環中信息，重新達到平衡，以保證最少遷移文件數量。

本文將哈希算法進行改進，哈希環采用分區、設備、浮動虛擬節點、權重和副本來維護映射信息，相關概念見下文。

3 存儲工作機理

一個優秀數據存儲系統需滿足如下幾項要求：增減存儲節點遷移數據少；數據存儲安全；數據訪問安全；存儲資源分配均衡。本文設計的數據存儲系統存儲工作機理主要采用以下幾個概念來滿足這些要求。

3.1 改進哈希算法

本數據存儲系統在普通哈希算法[2～3]的基礎上，采用引入浮動虛擬節點的一致性哈希算法，以在改變物理節點數量時盡量少改變已存在鍵值和物理節點間的映射關系，減少數據遷移量。該算法便于構建冗余可擴展分布式數據存儲系統，適應自主保障數據存儲特點。該算法分六個步驟：

(1)每個物理節點設置2X倍個虛擬節點，并形成一對多映射；

(2)計算每個虛擬節點哈希值，并將其分配到1個0～232的圓環上；

(3)計算存儲對象哈希值，并將其分配到(2)中圓環上，算法與(2)相同；

(4)從數據映射到的位置起順時針查找，將其保存到找到的第1個虛擬節點，若超過232仍未找到，則保存到第1個虛擬節點；

(5)將虛擬節點反射到物理節點，確定對象存儲的物理位置；

(6)根據每個物理節點負載特性，浮動調整X值，以調整虛擬節點數。

為簡化分析，先設每個物理節點對應1個虛擬節點，假設在這個環形哈希空間中存在4個節點，分別為節點1～節點4，若增加1個節點5，根據上述算法，得出節點5被映射在節點3和節點4之間，則僅需將從節點3順時針到節點5之間的數據進行遷移，其分布如圖8所示，圖中節點是虛擬節點，也是物理節點。

圖8 一致性哈希環結構Fig.8 Structure of Consistent Hash Ring

為提高存儲系統擴展性能，進一步減少增減節點引起的數據遷移量，先將每個物理節點的虛擬節點個數設置為25倍數值，使每個物理節點對應多個虛擬節點，即增加圖8中哈希環的節點數。通過兩層映射，將對象與相應物理節點聯系起來，先將對象映射到虛擬節點，再將虛擬節點映射到物理節點，建立對象與相應物理節點的多對多映射關系。對象與虛擬節點的映射關系由一致性哈希算法實現，虛擬節點與物理節點的映射關系主要遵循多個副本應分布在不同物理節點的原則，并由哈希環文件中的Partition Assignment List二維數組實現。引入虛擬節點后的映射關系和哈希環結構如圖9所示。

圖9 引入虛擬節點后的映射關系和哈希環結構Fig.9 Mapping relation and structure of Hash Ring after introducing virtual nodes

實際運行時，因設備性能差異和忙閑隨機性等，各物理節點負載動態變化，且大小不一，為實現不同物理節點間負載均衡，將每個物理節點的虛擬節點個數設置為24～26倍浮動數值，再在某時間間隔內，根據各個虛擬節點訪問量反饋值進行動態調整，并設置闕值決定是否調整。

當飛行器重復執行任務、等量增加數據、數據存儲系統再增設物理節點時，采用改進哈希算法，可減少已有物理節點的數據遷移量。

3.2 副本

若數據在系統中沒有冗余副本，一旦發生故障就可能永久丟失，存儲安全性得不到保障。本存儲系統不采用傳統的RAID磁盤陣列保護數據安全方式，而引入數據副本概念，理論依據源于NWR策略[4,5]，其中：N為同1個數據的副本份數；W為更新1個數據需更新成功的份數；R為讀取1個數據需讀取的副本份數。該策略中，為保證某個數據不同時被不同事務讀和寫，要求W+R>N；為保證兩個事務不能并發寫某個數據，要求W>N/2。本數據存儲系統設置1份數據有3份副本，即N=3，并取W=2，R=2，可知符合NWR策略，系統無單點故障，可保證數據存儲安全。

3.3 分區

若所有物理節點都布置在一個機柜或一個機房時，一旦發生掉電、斷網、怠機等故障，都將造成自主保障系統中飛行器各分系統用戶無法讀寫。因此在哈希環中引入分區概念，把集群的物理節點分配到各個分區中，其中：同一個虛擬節點的副本不放在同一物理節點，也不放在同一分區；分區大小根據自主保障應用需求和硬件基礎自定義，如一個機房或一個機柜、一臺服務器甚至一塊磁盤。根據該飛行器測發控系統特點，存儲設備分別布設在發射場、測控站，構建多個分區。通過分區機制，對存儲設備的物理位置進行隔離，可滿足分區容忍性[6]，確保數據讀寫安全。

3.4 權重

哈希環引入權重的目的是解決未來飛行器任務增加，自主保障系統添加存儲能力更大的物理節點時，可分配到更多的虛擬節點，其權重大小與物理節點容量大小成正比，以此實現存儲資源均衡分配。如40TB容量的物理節點，其虛擬節點數為20TB物理節點的兩倍，可設置40TB節點的權重為4000，而10TB節點的權重為2000。系統運行后，每個物理節點的權重，需根據其分配的全部虛擬節點訪問量反饋值動態修正，動態調整其虛擬節點個數，特別是增減物理節點時，各個權重需更大幅度修正。

4 設計結果與測試

4.1 原理樣機

本文設計的該飛行器自主保障系統的數據存儲原理樣機如圖10所示，由圖可見其存儲原理及算法。

圖10 飛行器自主保障系統數據存儲原理樣機Fig.10 Prototype of data storage for autonomous logistics system of some aerocraft

系統存儲容量為1000TB，將存儲集群分為5個分區，1個分區為1個節點，每個分區為1臺服務器，每臺物理服務器上安裝112塊1.8TB容量7.2K轉速的SAS磁盤，2塊磁盤以RAID1構建操作系統盤，其余磁盤全部作為存儲盤。每臺服務器虛擬成2臺服務器，其中1臺為存儲代理服務器，1臺為數據存儲服務器，作為存儲節點。系統采用完全對稱的架構，每臺服務器硬件和軟件配置完全一樣，并安裝代理服務組件、對象服務組件、容器服務組件和賬戶服務組件等全部存儲服務軟件，以確保其角色完全對等。出于安全和性能考慮，在業務前部署1臺負載均衡服務器，但不屬于數據存儲系統。

圖10中分別有執行存儲和讀取文件的數據流，操作同一個對象，即飛行器上有效載荷CCD拍攝的1個10GB原碼圖片文件Satelite.png。存儲時，有效載荷分系統用PUT寫指令通過負載均衡隨機挑選1臺代理服務器，將寫請求轉發到后者，其代理服務組件通過查詢本地哈希環文件，選擇3個不同分區中的存儲服務器存儲該圖片，然后同時將其發送到這3個存儲節點，存儲服務組件通過預設置的文件切割程序，將其分為21段，每段500MB，并行發送到某個分區下有效載荷分系統所屬容器中。該過程需滿足NWR策略，即3份副本至少寫成功2份，再給有效載荷分系統返回圖片存儲成功消息。下載時，有效載荷分系統用GET讀指令通過負載均衡隨機挑選1臺代理服務器，其代理服務組件中的哈希環文件查詢到該圖片存儲在哪3個節點，再同時向后端查詢，至少有2個節點回信可提供該圖片，最后代理服務器選擇其中1個節點下載該圖片。

4.2 性能測試

本數據存儲系統性能測試針對請求響應、吞吐量、負載均衡3個指標進行，并對算法改進前后進行對比，每個物理存儲節點的配置見表1，測試數據大小介于1KB～5GB之間，隨機選取飛行器自主保障系統中各分系統數據。

表1 物理節點配置Tab.1 Configuration of the physical nodes

表2為哈希算法改進前后集群的用戶請求響應對比情況，可看出，在訪問量不大時，哈希算法改進前后的響應時間基本一致，訪問量逐漸增加后，哈希算法改進后的響應時間略長，因為對象動態復制過程需要一定時間，隨該過程完成，響應時間就明顯短于哈希算法改進前。

表2 哈希算法改進前后對請求響應的影響Tab.2 Influence on request response before and after improving Hash algorithm

表3為哈希算法改進前后集群的吞吐量對比情況，可看出，在訪問量不大時，訪問量逐漸增加后，哈希算法改進前后的吞吐量基本一致，都保持增長，訪問量繼續增加后，哈希算法改進前的吞吐量開始下降，而哈希算法改進后的吞吐量繼續增長，明顯大于改進前。

表4為哈希算法改進前后集群的負載均衡度對比情況，可看出，改進后的均衡度遠比改進前的均衡度小，說明采用改進算法后比改進前能更好保持集群的負載均衡，因為對訪問量大的物理節點，其虛擬節點數動態減小，訪問量減小使其負載減輕，對訪問量小的物理節點，其虛擬節點數動態增加，訪問量增大使其負載加大，而物理節點加入或退出集群時，虛擬節點的訪問頻率影響其到物理節點之間的映射關系，過度負載和過度空閑物理節點間虛擬節點的調整有助于提高集群負載均衡。

表3 哈希算法改進前后對吞吐量的影響Tab.3 Influence on throughput before and after improving Hash algorithm

表4 算法改進前后對負載均衡度的影響Tab.4 Influence on load balancing before and after improving Hash algorithm

由上面測試可知，哈希算法改進后的對象存儲在用戶訪問的響應時間、吞吐量和負載均衡3個性能指標都有所優化，特別是吞吐量和負載均衡有明顯提高。

4.3 性能優勢

結合完全對稱架構的固有優點和上述性能測試結果顯示，本文設計的海量數據存儲系統，性能上具有如下幾個優勢：

(1)數據存儲完全均勻隨機分布，并引入副本概念，默認存儲3個副本，無一個單點，可靠地保證了系統安全性。

(2)采用各節點角色對等的完全對稱架構，可無限擴充存儲容量，只需簡單新增磁盤或存儲服務器，自動完成數據遷移，各節點重新達到平衡。

(3)可將數據切細，并行地存儲到不同磁盤上，讀寫速度快，數據可靠性高，采用改進哈希算法后，讀寫速度明顯提高，負載均衡更好。

5 結束語

針對某飛行器自主保障系統海量數據及其應用特點，設計了一種海量數據存儲系統，通過軟件定義虛擬化存儲，采用完全對稱架構和改進哈希算法，具有很高存儲安全性、容量無限擴展性和良好讀寫速度，很好滿足了該飛行器自保系統海量數據存儲需求。