衛星數據的分布式存儲系統設計與驗證

黃煒

(中國自然資源航空物探遙感中心，北京 100038)

0 引言

我國的衛星遙感技術經過40多年的發展，取得了一系列成績，成功研制了一系列傳感器，發射了50多顆對地觀測衛星，組成了風云、海洋、資源和環境減災四大民用系列對地觀測衛星體系；自主研制和發展了一批核心傳感器，掌握了一批核心遙感技術，形成了系列化產品。如資源三號衛星3年積累的影像數據覆蓋了我國930×104km2的地球表面，接近6×107km2的全球區域，原始數據量超過800 TB[1]。衛星遙感業務逐步建成，隊伍不斷壯大，航空遙感系統平臺不斷改進，技術穩步提高，航空遙感系統日趨完善。遙感衛星地面設施布局不斷優化，效能比不斷提高。國產化地球空間信息系統軟件發展迅速，誕生一批空間信息企業，并研制成功大量軟件產品。一支多學科交叉的研究隊伍和160多家教育科研院所設置“3S”相關專業被組建。同時，適應于產業發展需要的地理空間信息管理制度、標準規范開始建立。應用領域不斷擴展，應用效益與效率顯著提高。

進入21世紀的第2個10年，我國的遙感衛星進入了快速發展的階段，由實驗型向應用型發展，由單星向多星發展，從零散應用到整裝發展；建成了資源衛星系統、環境與減災衛星星座、氣象衛星系統和海洋衛星系統；初步形成了中國對地觀測衛星體系，尤其是高分辨率對地觀測系統重大專項的實施，使我國衛星對地觀測進入亞米級時代。

這些“天眼”神探全天時、全天候不間斷地向地面傳送高分辨率、寬覆蓋、多波段的衛星數據[2]，涵蓋不同空間分辨率、不同覆蓋寬度、不同譜段、不同重訪周期的遙感數據體系，全面應用于國民經濟社會管理各領域。同時，衛星數據量爆發式增長。相關衛星中心每日要處理的數據增量均已經達到TB級，數據總量已經達到了PB級，并且還在不斷快速地增長中[3]。

目前國內外業界普遍采用跨平臺的NFS[4-6]協議的存儲系統儲存衛星數據，主流的衛星平臺處理軟件默認兼容NFS協議。昆騰的StorNext File System(縮寫為SNFS)[7]兼容NFS協議，性能較NFS存儲系統有著極大的提高，被美國國家航空航天局采用，作為其日益龐大的衛星數據存儲系統。但是隨著衛星數據的迅速增長，NFS存儲系統以及SNFS因為元數據管理的瓶頸，不能支持超大規模數據，實時在線擴容支持很弱，不支持多種應用協議接口，并且逐漸不能滿足超高并發下的讀寫性能。

1 需求分析

衛星大數據對存儲應用的需求集中表現在：高分辨率帶來的爆炸性增長的超大存儲容量和高性能需求，容量不斷增長帶來的頻繁在線擴容需求，頻繁小文件訪問的優化需求，數據多樣性帶來的數據分布模式多樣性需求，多樣性應用引發的多種數據協議支持的需求以及多用戶下細粒度的權限需求。

高分辨率引起文件大小和文件總量的巨幅增加，直接帶動了對超大容量存儲和高帶寬的讀寫需求，高并發、極度繁重的作業量使得在線擴容成為必須。描述附加屬性的小文件的大量存在要求系統不僅要滿足高并發高帶寬的大文件讀寫，也要對小文件的存儲和讀寫進行優化。不同的應用造就了數據不同的優先級，有的數據是臨時文件或可再生成，可靠性要求低，有的數據要求高可靠性，這就需要系統提供不同的數據分布模式滿足不同可靠存儲需求。同樣地，不同的應用對數據的接口也存在多樣性，需要系統提供文件接口、塊接口和對象接口。數據的多樣性同樣要求系統提供多種細粒度權限機制保護數據安全。

基于以上需求，本文從衛星數據處理中實際的訪問特點和應用模式出發，有針對性地實現了一個分布式存儲系統，實現超高并發讀寫性能以及讀寫帶寬線性擴展，面向多種不同應用協同工作，提供更加多樣化的存儲協議和權限支持，實現了帶寬和吞吐率的極大提升，有效提高了衛星處理的實際工作效率，降低了服務器成本。

2 存儲系統設計

本文設計的分布式存儲系統，提供統一鏡像，整合多種存儲設備，構建統一存儲空間，實現存儲硬件資源管理和調度、故障檢測及自動修復，同時對衛星接收、生產、歸檔及其他應用系統提供共享、并發、高效、安全、可靠、多協議的存儲接口。

2.1 節點和接口

1)節點設計。如圖1所示，整個系統分為元數據節點、數據節點、管理節點和應用節點(客戶端)。應用節點訪問元數據節點和數據節點，以獲取文件信息和讀寫文件。

圖1 分布式存儲系統節點

元數據節點存儲文件數據屬性、用戶配額等文件描述信息，即元數據，實現文件、目錄、索引、權限等元數據信息管理，實現文件快速檢索。

數據節點存放文件數據，負責文件分段、分節點寫入、并行讀取、數據校驗等數據實體管理，實現文件高速讀寫。

管理節點提供給管理員用以配置管理整個系統。用戶通過管理節點增加刪除元數據節點和數據節點，配置用戶權限、配額等其他系統參數設置。

元數據節點采用集群方式，最大可擴展128臺。文件采用大數據塊存儲，根據副本的不同模式，大數據塊大小從32 MB、64 MB到256 MB不等，相對于傳統文件系統4 KB文件塊，極大減少了元數據的數量，并且將部分數據管理功能下放給數據節點，進一步降低元數據節點壓力，極大擴展了對文件和目錄數量的支持，系統最大可支撐單卷千億級文件的快速檢索需求。數據節點同樣采用集群方式，最大可擴展10 000臺，通過高速網絡和元數據節點緊密配合，實現系統最大容量達到EB級。

集群化的元數據和數據節點以及后文介紹的自動負載均衡使得存儲系統能以最小規模起步(單節點，既是元數據節點，同時兼任數據節點和管理節點)，在線擴容和縮小規模，同時支持在線更換服務器，不僅滿足了衛星數據平臺必需的超大規模的文件數量和容量要求，而且能根據業務在容量和性能的需求在線擴容。

2)接口設計。存儲接口根據目標用途分為面向管理的接口和面向數據的接口。管理接口主要提供給用戶用以管理和計量的功能，方便衛星平臺軟件統計數據容量，分配配額以及權限管理。而數據接口則通過協議轉換的方式，提供塊(iSCSI[8-9])、文件以及對象(S3[10])等豐富的接口給外部應用，支持衛星平臺軟件多種應用場景下的各種功能支持。本文基于POSIX接口，不僅提供專用、高速、安全的分布式文件訪問協議、分布式塊訪問協議以及對象訪問協議，并且可同時提供標準的CIFS[11]、NFS、ISCSI、HTTP、FTP等傳統協議訪問數據，從而滿足衛星遙感數據管理中多種應用類型的需求。

3)網絡協議。本文通過一種自定義的網絡通信協議，實現異構存儲設備之間的互操作，同時也對第三方存儲設備特有的訪問接口提供支持以充分發揮其高級特性，實現更高的效率和靈活性。

自定義的網絡協議雖然提升了系統復雜度，但是精巧的設計提高了每次通信的收益，降低了冗余的通信次數，從而提高了系統的吞吐率。

4)一致性。客戶端采用會話一致性，客戶端打開關閉文件時，檢查數據有效性以及同步臟數據，并且周期性(30 s)訪問元數據節點更新文件屬性。

數據節點的副本一致性是弱化的副本一致性要求，主副本異步復制到從副本，從而在可用性和一致性中尋得平衡。

2.2 總體設計

1)數據讀寫流程。數據讀寫流程見圖2。在寫入數據時，客戶端首先在內存中切片，把數據直接發送到不同的數據節點上，形成一對多的訪問形式。相比服務端切片，這種方式分散了對高速網絡的壓力，避免了NAS[12]頭多對一的訪問瓶頸，極大提高了聚合寫帶寬，有效提升集群寫效率。在讀取數據時，客戶端首先根據元數據信息，直接從所有相關的存儲上獲取所需數據，然后在內存中組裝成完整數據，提升了整體性能，避免服務端組裝數據產生的性能瓶頸。

圖2 存儲系統讀寫數據并發處理流程

管理節點對多個數據節點統一管理，向前端客戶端提供一個大的存儲資源共享池進行數據訪問，并控制、調配每臺數據節點及硬盤。在應用系統讀寫過程中，客戶端基于網絡文件共享協議協調工作，在具體數據讀寫過程中，通過元數據協調多個數據節點并發響應，提升讀寫訪問性能。

2)權限。系統提供多種權限機制，方便管理員根據工作需求和任務級別安排不同用戶訪問對應權限的數據。同時，系統實現了對用戶訪問權限的絕對控制，使得非法用戶即使獲取到操作系統的所有權限，也無法逾越存儲系統的自帶私有權限，加強了數據的安全性。

系統內置讀、寫、刪除、重命名、鏈接、列出(list)和追加寫(append)7種細粒度權限模式，基于用戶和目錄進行設置，用戶對任意目錄做細粒度的權限拆分。所有用戶的數據創建、刪除和重命名操作均被記錄，并可以隨時查詢。

當客戶端訪問文件時，首先訪問元數據節點獲取文件權限信息，客戶端首先校驗操作系統權限模型，然后進行系統私有權限校驗。為了降低元數據節點的壓力，客戶端會緩存該權限信息，并周期性(5 s)地查詢獲取。

3)負載均衡自動探測機制。本文設計了一種負載均衡自動探測機制，對存儲系統中所有數據節點的容量進行均衡分配，確保數據優先寫入負載較輕磁盤，并且可以動態地對現有數據進行遷移，使數據在集群內部均衡分布，提升空間利用率。遷移過程完全自動進行，無須人工參與，可根據業務需求，在線開啟與停止，同時可根據業務壓力負載情況，自動暫停，優先特定業務訪問請求。

2.3 存儲安全設計

1)分布式元數據多副本模式。系統的元數據存儲在不同的元數據節點上，構成一個元數據集群，管理數據節點并向應用客戶端提供高速服務。元數據集群節點對外提供高并發讀取服務，支持海量文件的大量并行查詢，和客戶端機器的海量并發查詢請求。元數據在集群中的分布模式如圖3所示。

圖3 元數據多副本分布存儲模式

為防止單節點故障，元數據節點兩兩配對，互相備份對方的元數據和服務，實時同步元數據更新，這樣任何一個元數據節點損毀或宕機，另一個元數據節點都將自動接管其服務，不會中斷前端應用服務。

2)數據高可靠設計。存儲管理單元對所有節點的硬盤設備進行實時控制，通過硬盤探測機制，可以監控到硬盤的使用狀態以及數據讀寫延遲大小，一旦出現硬盤壞道或訪問不穩定的情況，自動遷移此磁盤上的所有數據到其他正常磁盤上。管理單元同時提供了禁止寫入數據、禁止恢復數據等設置，方便系統化的維護，并且可以根據現有節點狀況實現在線更換所有老舊設備，提升節點可靠性，增強整套存儲系統的可維護性。

分段校驗模式是將文件分段存儲在數據節點集群中，其中每一個文件都會被切片為N個均等的數據段，并且由N個數據段生成一個校驗數據段，與數據段大小一致，并把這N+1個數據段分別存放在N+1臺不同的數據節點上。文件A的segment1、segment2、校驗數據分別存放在3個數據節點的硬盤上，當存放segment1數據的硬盤或數據節點整體失效時，根據segment2與校驗數據繼續對數據進行讀寫，同時存儲管理單元將自動對損失的數據進行恢復，由segment2數據與校驗數據生成損失的數據，存放到正常的數據節點上，形成完整的冗余。數據分段存儲校驗及自動恢復模式如圖4所示。

圖4 分段校驗模式

不同的應用對數據的可靠性有不同的需求。存儲池中不同目錄可以靈活設置不同的校驗數，一般設置2+1校驗模式與4+1校驗模式。

為了能及時恢復失效數據，不影響數據的可靠性和一致性，本文設計了一套自動故障探測機制，多對多數據自動恢復模式，一旦探測到故障就自動啟動數據恢復流程。為了實現無人工干預的自動恢復，恢復過程中無須加入新的硬件。在客戶端節點往數據節點中寫入數據時，所有的數據段與校驗數據段同時寫入；當有數據正在寫入的磁盤或數據節點發生故障時，元數據節點會在正常的數據節點或磁盤中為此數據對象分配新的空間，并繼續進行數據寫入，而之前在失效磁盤上寫入的數據，則會通過其他數據段恢復到相應的磁盤和數據節點上。

一個磁盤上的數據段對應的冗余數據是平均分布在其他所有的數據節點上的，損失的數據也將平均恢復到整個數據節點集群中。數據恢復過程由所有狀態完好的數據節點并發進行，是一個多對多的數據恢復模式。由于數據恢復過程中所有數據節點都共同參與，所以數據節點集群的規模越大，參與恢復的數據節點數量就越多，恢復速度也就越快。

3 存儲系統實現和優化

3.1 存儲架構設計

根據以上提出的設計方案，整個系統包括4部分：功能模塊、應用接口、管理接口、公共模塊。功能模塊是整個分布式存儲系統的核心，負責處理存儲系統中數據分布、集群處理、負載均衡、一致性協議等核心功能。應用接口負責以文件接口、塊接口、對象接口呈現給上層應用。管理接口負責全局節點的部署、刪除等配置。公共模塊處理共用的網絡框架、內存池、任務隊列、全局鎖、壓縮解壓縮、糾刪碼。

3.2 性能優化

1)緩存和預取。客戶端訪問數據時，首先訪問元數據節點獲取文件對應的位置信息，然后根據位置訪問對應的數據節點獲取文件數據。為了減少訪問開銷，客戶端采用緩存(cache)和預取(prefetch)，根據應用特定的訪問模式，文件的位置信息被客戶端緩存起來，并且根據訪問順序把接下來的位置信息預先讀取，這樣客戶端再次尋址時，首先查詢本地緩存，只有緩存不命中或緩存過期，才會真正訪問元數據節點，這樣就會大大降低對元數據節點的訪問壓力。

客戶端不僅對于元數據進行緩存和預取，而且對連續訪問的數據更是如此。高分辨率衛星決定了其數據的大文件存儲，決定了其讀取是大塊連續的方式。客戶端在處理當前讀取的數據時，同時發送預取指令請求接下來的數據。數據節點也根據客戶端的順序訪問模式以及衛星數據的訪問特點預先讀取以后位置的連續塊。這樣客戶端和數據節點的同時預取大大降低了上層應用軟件的訪問延遲，平滑了數據節點的訪問波峰。

2)糾刪碼。系統為了提供高可靠性，引入副本模式，在多個機架或服務器存儲多個副本。但是額外的副本會大大浪費寶貴的磁盤空間，為了降低存儲成本，本文設計了糾刪碼。支持的糾刪碼級別有：N+1、N+2、N+3和N+4，N值可設置為2、4、8、16，對于N+M數據類型，N代表節點或硬盤的數量，M代表在不發生數據丟失的前提下，系統所允許同時發生故障的節點數或磁盤數。例如8+4模式下，只需要額外50%的空間，就可以提供多達4個數據節點或出現故障磁盤數。糾刪碼編碼時會帶來額外的計算壓力，本文采用SSE族指令集，調用CPU的協處理器進行物理計算，極大地解放了CPU，并且逐行代碼分析調試，去除諸如memset等占用內存帶寬的函數。

3)小文件優化。衛星數據文件不僅有連續存放的大文件，更有龐大的小文件。數據節點把小文件聚合成一塊存儲，不僅減輕了小文件存儲負載，而且能加速小文件恢復重建。

小文件的讀寫使用額外的專用緩存，根據應用具體的訪問模式，針對性地修改緩存算法的參數，以獲取更高的緩存命中率。

針對小文件通信訪問的頻率高、數據量小的特點，系統的通信模塊優化成由若干可調的線程集中處理通信，大大降低了系統上下文切換次數，降低CPU壓力，提升系統IOPS，降低延時。

4 實驗與結果分析

4.1 測試環境

本實驗采用8臺數據節點，2臺元數據節點，總存儲容量400 TB，分別進行存儲擴展、性能及安全測試，測試數據是4 TB的高分一號衛星影像數據。數據節點配置為2路4核CPU、64 GB內存、48 TB硬盤、雙口萬兆網卡。

4.2 可靠性測試

對存儲平臺進行節點宕機、磁盤故障和數據恢復測試，以測試存儲可靠性。詳細測試內容及結論見表1。

表1 存儲可靠性測試

4.3 可擴展性測試

對存儲平臺進行在線添加數據節點、在線刪除和負載均衡測試，以測試存儲可擴展性。詳細測試內容及結論見表2。

表2 存儲可擴展性測試

4.4 性能測試

測試存儲系統在不同節點數配置時的讀寫性能表現，測試總數據量為4 TB。隨著節點數的增多，存儲系統的讀寫性能也相應地線性增長，并且能比較穩定地保持線性關系。3個數據節點時的寫性能為5.78 GB/s，讀性能為3.5 GB/s；4個數據節點時的寫性能為6.36 GB/s，讀性能為4.56 GB/s；5個數據節點時的寫性能為7.3 GB/s，讀性能為5.61 GB/s；8個數據節點時的寫性能為11.5 GB/s，讀性能為9 GB/s。測試結果如圖5所示。

圖5 不同節點配置讀寫速度

4.5 實驗結果分析

以上測試結果表明，系統在數據節點宕機、磁盤出現故障后能夠自動進行數據恢復，在線添加和刪除設備后，能夠自動檢測并且正常讀寫數據。原有衛星影像存儲系統聚合讀寫性能是5 GB/s，本文的分布式存儲系統實際測試聚合讀寫性能超過10 GB/s，提升了1倍。業務生產中實現每軌數據SC處理流程寫性能在10 min以內，讀性能在20 min以內(如前端應用改進，可更快)，極大地提高衛星影像大數據生產效率。

5 結束語

本文針對衛星數據訪問模式和具體需求設計了一個分布式存儲系統。元數據節點和數據節點采用集群方式，數據分布采用多副本和糾刪碼多種方式，并根據數據實際的訪問特點進行了小文件聚合、小文件通信模塊優化、大數據塊存儲、數據分片、客戶端和數據節點的緩存預取等多種性能優化，提供了卓越的可擴展性和訪問帶寬、多種訪問接口和7種細粒度權限的支持，滿足了應用多樣性的需求和用戶權限的需求，最后開展了真實的衛星影像數據產品生產實驗。實驗表明，分布式存儲系統在保證高可靠性的同時大大提高了數據讀取性能。后續工作是進一步精細化分析衛星數據訪問模式在數據分布、負載均衡、故障恢復、讀寫性能方面的優化。