一種改進的分布式HCI 圖像數據管理技術

楊 超,信 晟,張 悅,劉 祺

(自然資源部 國土衛星遙感應用中心,北京 100048)

0 引言

隨著我國經濟社會的快速發展和航天科學技術的不斷進步,通過空基規劃、高分專項的全面實施,衛星遙感技術得到了長足的發展。 最近十余年,我國衛星遙感技術突飛猛進,新型傳感器不斷涌現,各項觀測指標大幅提升,應用水平不斷升級,已經實現由單一光學傳感器向雷達、高光譜、激光等多傳感器,由中分辨率向高中分辨率結合,由單系列向多系列遙感衛星的轉變,初步形成了多尺度、多載荷要素觀測、業務穩定運行的衛星對地觀測體系。 遙感衛星的快速發展對衛星遙感地面接收、處理以及應用而言都是挑戰,特別是對存儲系統的容量、性能、擴展、管理、安全、成本、碳中和等多方面都提出了更高的要求。

1 數據存儲技術

1.1 傳統存儲技術

在企業數字化這個概念新興的初期,存儲區域網絡(Storage Area Network,SAN)作為主流技術被大范圍應用,很多企業數字化的建設也是在此基礎上開展的。SAN 的特點就是將存儲硬盤與相關服務器進行直連,打造以數字存儲為中心、高度可擴展的網絡拓撲結構,各存儲節點之間相對獨立,削弱存儲受制于布局結構的壁壘,簡化管理和控制基礎[1]。 在當時的技術條件下,SAN 憑借著更加靈活的網絡+存儲結構和光纖網絡高速的傳輸速度,成為企業數字化的優秀助力[2]。 傳統存儲技術結構如圖1 所示。

圖1 傳統存儲技術架構

隨著信息技術的進步和數字化技術的逐步成熟,各行各業對存儲的依賴和需求也越來越高,曾經的存儲模式的弊端也逐步顯現。 首先,雖然應用服務器與存儲服務器通過光纖網絡鏈接,但是本質上還是兩端獨立的硬件部署設備,這就意味著需要對兩端服務器進行相對獨立的運維,并且由于硬件設備的專業性,硬件的直接成本和運維的間接成本都較為高昂;其次,連接應用服務器與存儲服務器的光纖網絡的傳輸速度會限制大規模存儲與高并發讀寫的使用場景,性能上的優勢也被影響。 此外,因業務不斷增長,存儲空間需不斷擴容,傳統存儲擴容過程復雜同時業務會有影響,并且擴容規模往往都有限制。

1.2 分布式存儲技術

分布式存儲是一種數據存儲技術,它通過網絡使用企業中每臺機器上的磁盤空間,這些分散的存儲資源構成了虛擬存儲設備,數據分布存儲在企業的各個角落,可在多個獨立設備上分發數據。 分布式存儲系統采用可擴展的系統結構,使用多臺存儲服務器共享存儲負載,利用位置服務器定位存儲信息,不僅提高了系統的可靠性、可用性和訪問效率,而且易于擴展。 架構如圖2 所示。 分布式存儲的優點如下。

圖2 分布式存儲技術架構

1.2.1 性能高

分布式存儲通過將熱點區域內數據映射到高速存儲中,來提高系統響應速度,而當這些區域不再是熱點時,分布式存儲系統就會將這些區域轉移到別處儲存,將高速存儲留給一些熱點區域。 這大大地增強了整體存儲的性能,提高了讀寫緩存性能。

1.2.2 分級存儲

分布式存儲允許高速存儲和低速存儲分開部署,在不可預測的業務環境或敏捷應用的情況下,分布式存儲方法的優勢能發揮到最佳,解決了目前緩存分層存儲最大的問題,即當性能池讀不命中后,從冷池提取數據的粒度太大,導致延遲高,從而造成整體的性能抖動。

1.2.3 可擴展性

分布式存儲方式具有很高的可擴展性,能夠添加多個存儲節點,來實現儲存容量的線性擴展。 而且當擴展了多個節點后,存儲的數據就會轉移到新的節點,實現負載均衡,這樣就不會出現單個儲存區域負載過重的情況。

1.2.4 低成本

分布式存儲方式具有自動容錯、自動負載均衡的特性,所以數據可以分布存儲在一些低成本的服務器中。 另外,分布式儲存方式還能線性擴展,使得增加、減少服務器的成本低,實現分布式存儲系統的自動運維。

1.2.5 容災性

在分布式存儲的容災中,一個重要的手段就是多時間點快照技術,使得用戶生產系統能夠實現一定時間間隔下的各版本數據的保存。 特別值得一提的是,多時間點快照技術支持同時提取多個時間點樣本,同時恢復,這對于很多邏輯錯誤的災難定位十分有用,如果用戶有多臺服務器或虛擬機可以用作系統恢復,通過比照和分析,可以快速找到需要回復的時間點,降低了故障定位的難度,縮短了定位時間[3]。 這個功能還非常有利于故障重現,從而進行分析和研究,避免災難再次發生。 多副本技術、數據條帶化放置、多時間點快照和周期增量復制等技術為分布式存儲的高可靠性提供了保障。

2 基于分布式存儲的超融合技術

超融合基礎架構(Hyper-Converged Infrastructure,HCI)是指在同一套單元設備中不僅僅具備計算、存儲、網絡和服務器虛擬化等資源和技術,且多套單元設備可以通過網絡聚合起來,實現模塊化的無縫擴展,形成統一的資源池,可以為數據中心帶來最優的效率、靈活性、規模、成本和數據保護。

基于分布式存儲的超融合技術是通過將傳統業務應用下沉到底層分布式存儲節點的融合部署技術實現方式,存儲服務器在提供存儲服務的同時提供計算服務。 為了避免業務應用對存儲系統帶來的部署環境影響,通常可采用虛擬化技術和集群調度技術進行管理。 同時,軟件系統與硬件服務器之間松耦合的形式讓靈活程度更上一層樓[4],大大解決了傳統架構的兩大困境。 虛擬化超融合與應用超融合成為超融合技術應用的兩種主要方式。

2.1 虛擬化超融合技術分析

虛擬化超融合是使用虛擬化軟件將存儲服務器閑置資源進行池化管理,在保障存儲服務穩定的前提下,通過容器、微服務、云主機等手段對上層業務提供計算服務,達到單臺服務器上運行多個操作系統和應用的目的,提高設備使用率[5]。 虛擬化超融合框架如圖3 所示。

圖3 虛擬化超融合技術框架

虛擬化超融合的技術特點主要體現在以下方面:

(1)弱化對硬件的依賴,降低硬件的直接成本和間接運維成本;

(2)隔離各類業務應用,避免配置環境互相影響;

(3)服務器集群、應用與存儲之間不再依賴網絡,而是形成統一資源池;

(4)虛擬化超融合本身存在硬件資源損耗,需要耗費部分資源,保證系統運行。

2.2 應用超融合技術分析

應用超融合是指將業務應用服務直接部署在存儲服務器上,通過集群調度管理軟件進行集群化管理,每臺服務器提供存儲服務的同時又提供計算服務,充分利用服務器計算資源。 應用超融合框架如圖4 所示。

圖4 應用超融合示意

應用超融合的技術特點主要體現在以下幾個方面:

(1)設備資源高度復用,大大增加設備利用率;

(2)數據存儲有部分切片落盤本機硬盤,應用讀寫效率更高;

(3)計算與存儲在同一層交換機網絡環境下,響應時延更小;

(4)無需額外操作系統環境,消耗硬件資源更少。

2.3 虛擬化超融合與應用超融合技術比較

應用超融合技術不但有著虛擬超融合技術的優勢,還因為省掉了虛擬層,將計算等業務軟件直接部署在分布式存儲的硬件資源上,每一臺存儲服務器同時提供存儲服務和對應用業務軟件的運算服務,不額外占用硬件資源。 但應用超融合可能會對存儲系統服務產生影響,配置不當可能影響整套存儲的穩定性,部署與調試難度較大。 傳統業務模式與超融合業務模式對比如表1 所示。

例1(第7題) 為“賞中華詩詞，尋文化基因，品生活之美”，中央電視臺舉辦了詩詞知識比賽．每場比賽的第一輪為個人追逐賽，有4名選手參加．在第一輪中，每名選手在答題前隨機不放回地抽取第1，2，3，4組題目中的一組題目．已知第一個出場選手在第一輪中擅長第1組和第3組題目，那么他在第一輪能抽到自己擅長題目的概率為

表1 傳統業務模式與超融合業務模式對比

3 應用超融合在遙感數據存儲生產中的應用案例分析

傳統存儲架構已不能滿足遙感技術突飛猛進、新型傳感器不斷涌現、各項觀測指標大幅提升、應用水平不斷升級的業務存儲需求,采用分布式存儲架構已成為各個遙感應用中心的主流方向。 基于有限的物理空間和設備條件進行存儲系統改造,創新性地在分布式存儲系統上應用超融合技術,充分挖掘系統硬件資源,將原有需運行在計算服務器上的自動化應用系統直接部署在分布式存儲的服務器上,通過集群調度管理軟件進行統一調度運行。 計算資源由分布式存儲服務器提供,可實現存儲計算統一管理,增加應用部署的多樣性,靈活調整計算等業務應用系統的資源按需分配[6]。

3.1 應用超融合改造案例分析

按照應用超融合的設計理念,某遙感應用中心2016 年通過分布式存儲替代原有傳統存儲作為核心數據生產存儲,同時采用應用超融合的方式提升了生產計算能力。 改造前的生產網絡模式為計算資源采用獨立的刀片計算集群,存儲資源采用集中式SAN 存儲,計算資源通過IB 網絡(InfiniBand Network)訪問存儲IO服務器的共享存儲服務進行數據交互生產作業。 整個預處理自動化生產環節共使用了300 TB 集中存儲,12臺存儲I/O 服務器,48 臺刀片計算服務器,1 臺IB 交換機,4 臺以太網管理交換機。 改造前的生產過程中,存儲空間受限于集中存儲容量,但擴容成本極高;數據I/O 帶寬受限于12 臺I/O 服務器,增加服務器并不能線性增加帶寬;計算能力受限于計算服務器數量。 改造后,分布式存儲由32 個存儲服務器與2 臺元數據服務器組合核心,提供1.3 PB 容量存儲服務,聚合帶寬更可達到30 GB 以上超大聚合帶寬,同時將全自動化預處理生產任務融合部署于32 臺存儲服務器上,節約了額外的計算服務器。 通過32 個存儲服務器組成高性能計算集群,通過高性能集群調度軟件進行生產調度,避免人工交互可能會影響存儲穩定性的概率。 與改造前綜合環境相比,業務存儲空間提升了4 倍,聚合帶寬提升了6 倍,節約了近一半的服務器節點,機柜占用節約了2/3。 具體對比情況如表2 所示。

表2 改造前后環境對比

此次改造大幅減少了計算系統在網絡獲取上的流量,提高了系統的計算及存儲效率,解決了傳統存儲盤陣的單點故障問題;通過動態資源配置提高對計算業務的靈活適應力;減少計算服務器數量,提供全新的服務器整合的方法,減少多種應用數據處理整體的硬件采購成本;進一步降低機房及機柜空間、網絡、散熱以及電力消耗等成本,最大限度地實現信息化建設節能減排的目標,符合國家碳中和建設目標。

3.2 分布式存儲系統在衛星遙感影像存儲生產中的優勢

分布式存儲系統在衛星遙感影像存儲生產中發揮著重要作用,較傳統架構大大提升了數據吞吐效率、訪問效率、文件檢索效率,滿足了遙感衛星業務對存儲系統在容量、性能、擴展、管理、安全等多方面更高的需求。 經過幾年的平穩運行,應用超融合改造綜合表現能力突出,不僅減少了硬件配置、節省了物理占用空間,同時還增加了生產系統整體的穩定性,不但降低了設備成本,又有效降低了設備故障率和運維管理難度,使經濟效益和社會效益得到提高。 此外,通過改造后幾年的不斷更新迭代,系統已經平穩運行并逐漸發揮出更大的優勢。

3.2.1 存儲空間使用率常年在90%以上,數據安全,業務運行穩定

通過對同時管理的不同品牌存儲系統進行橫向對比,存儲空間使用率通常控制在70%～85%,否則經常會出現不同程度的錯誤甚至宕機問題。 應用超融合部署下的這套分布式存儲系統卻可以常年處于90%以上不影響數據安全和系統性能,一方面歸結于內在軟件機制,另一方面是數據存儲集中適合分布式存儲架構特點。 軟件能夠按照業務特定應用場景不斷提升適應能力,將硬件環境網絡環境運轉到極致,最大程度實現高性價比。

3.2.2 硬盤混插、服務器不同規格

經過多年的運行積累,分布式存儲系統中使用的硬件設備規格復雜多樣,不同硬盤規格共存2TB,4TB,6TB,8TB,10TB,12TB;不同架構存儲服務器共存12 盤位、24 盤位、36 盤位,存儲系統性能和功能仍保持穩定可靠。 實現了“云”的概念,不用強調區分硬件設施,在復雜甚至混亂的硬件設備環境下實現穩定的功能和性能,是信息化必然的趨勢。

3.2.3 不斷電、不影響應用業務情況下,通過更新硬盤實現擴容

改造項目在運行幾年后開展了在線換盤擴容,將原512 塊2 TB 硬盤更換為全新8 TB 硬盤,短期內完成擴容3 PB 容量空間。 過程中既沒有增加服務器,也沒有產生計算等應用業務的間斷,存儲性能和功能仍保持穩定可靠,主要歸功于內在軟件的機制,能夠真正實現軟件定義存儲和軟件定義功能和性能。

4 結語

應用超融合技術在遙感衛星數據管理應用的技術優勢優越、成本優勢明顯。 隨著衛星制造技術的提升,高時間分辨率、高空間分辨率的衛星遙感應用時代正加速到來,存儲性能提升和成本控制也是必然的趨勢。計算機硬件與網絡發展已經為自然資源信息化提供了高效計算和訪問的能力,進一步通過信息化手段實現業務一體化流程,實現系統的最大性價比,更好地完成自然資源數據服務的基礎工作。