風云衛星地面應用系統計算機網絡平臺架構

趙現綱 林曼筠 謝利子 衛蘭 范存群

（國家衛星氣象中心，北京 100081）

0 引言

風云衛星地面應用系統計算機網絡平臺（Computer Network and Storage，以下簡稱CNS）為整個地面應用系統提供計算、網絡、存儲支撐，是風云衛星地面應用系統的基石[1-2]。計算機網絡平臺的架構設計與整個風云地面系統運行的穩定性、可靠性、安全性、時效性等有著直接的關系。

自第一顆風云氣象衛星發射以來，風云衛星地面應用系統計算機網絡平臺架構經歷了30多年的滾動發展和持續改進，計算設備經歷了從大型機到小型機，再到通用X86計算平臺的變革過程。網絡互聯帶寬也由10 MB逐步提升至100 GB。所采用的存儲技術也由單一的磁帶、磁盤發展到目前磁盤陣列、網絡存儲以及分布式存儲等多種存儲技術共存的局面。數據存檔量也由原來的GB級增長到現在的10 PB級。

目前，C N S 通過采用先進的云計算、S D N（Software-Defined Network）網絡互聯、存儲虛擬化、高性能并行計算、資源調度等技術，解決了快速、穩定、實時處理海量衛星觀測數據的難題，實現了平臺高效、可靠運行，很好地支撐了風云氣象衛星的工程建設和業務運行。

1 平臺架構

圖1 CNS架構Fig. 1 Structure of CNS

風云氣象衛星地面系統新一代IT平臺是云計算就緒的基礎平臺，平臺架構如圖1所示。為了兼顧IT資源的共享和安全性，平臺中資源池被設計成專用資源池和共享資源池兩大類。專用資源池更側重安全穩定性，用來保障氣象衛星遙感數據的接收、運行控制和前端數據處理任務穩定運行；共享資源池更側重使用效率和靈活性，為后端產品處理、遙感應用和服務等業務提供高效支撐。新一代風云IT平臺的主要特點是采用云計算、大數據等技術，大量采用通用性強、性價比高的X86服務器替代以往的UNIX小型機，由扁平化SDN網絡實現互聯，以統一的資源管理和作業調度軟件、一體化運維軟件和應用分析與優化軟件等一系列軟件統籌管理。通過這樣軟硬件結合的方式，構建了高效、靈活、可管理、可持續發展的IT基礎平臺設施。該平臺為日益發展的氣象衛星地面應用系統業務運行提供可靠的支撐，能滿足多星、全球、全天候數據接收處理任務以及高時效國內外產品服務等復雜多樣的業務需求。

1.1 計算資源池

目前風云衛星地面系統計算資源規模約為8萬計算核心，其中95%以上都是X86 CPU計算核心。為了充分利用這些計算能力，風云衛星地面系統計算資源采用池化設計理念，池內資源可以為多用戶、多應用共享，計算資源的使用對用戶透明。風云衛星地面系統的應用按照數據流程可分為數據接收與傳輸、運行控制、數據處理、產品生成、數據存檔與服務以及遙感應用等幾個部分，按照各部分業務應用以及硬件設備的特點，劃分為專用和共享兩類計算資源池[3-4]，具體如圖2所示。

圖2 CNS計算資源池設計Fig. 2 CNS computing resource pool design

專用計算資源池主要用于承載各地面站衛星數據接收及運行控制業務。對于衛星數據接收而言，由于其中涉及的專業設備較多，如調制解調、進機分包、信道設備等，目前該資源池內計算資源均為物理裸機加專用設備卡的形式。由于數據接收資源池位于地面數據處理的最前端，其肩負著保證數據完整、數據高質量以及數據傳輸高效三大使命，故而該資源池內所有設備采用“2+1”方式運行，即一主一備雙機運行，同時1機冷備的方式。運行控制系統作為地面系統運行指揮的大腦，其對可靠性要求最高。因此，運行控制資源池主要通過高端服務器雙機HA實現，且應用獨占計算資源。

共享計算資源池主要用于承載衛星數據處理、存檔與服務以及面向社會各類終端用戶的遙感應用服務。數據處理資源池和數據存檔與服務資源池要求保證產品生產、存檔和數據服務的高時效。該資源池規模龐大，通過靈活的資源調度軟件實現了各類產品生產作業實時調度、海量資源的優化分配，該池內同時擁有物理資源和虛擬資源。應用資源池用于支撐各類對外服務業務，通過計算資源虛擬化實現資源的靈活調度以及應用的靈活部署，通過虛擬機動態遷移確保硬件故障下的不間斷服務。

在風云衛星地面系統中部署有自主開發的資源調度系統FYRSS（圖3），該系統實現了用戶使用資源的便捷性，用戶使用底層的資源時就像使用水電一樣方便，只需要通過標準接口向資源池提交作業，不用關心底層資源細節。

圖3 基于資源調度的資源池化技術Fig. 3 Resource scheduling based resource pooling technology

FYRSS實現了用戶服務的標準資源接口，實現了圖形化、命令行和API作業提交及資源管理接口，定義了接口標準規范，用戶使用標準接口提交和管理作業。用戶無需關心作業運行在哪臺機器上，無需考慮硬件故障處理和系統負載均衡。FYRSS設計了資源調度算法，實現跨異構負載均衡調度集群（如UNIX、Linux物理機集群，UNIX、Linux虛擬機集群，大數據、人工智能資源池等）的統一計算資源調度和故障處理。資源調度軟件從地面應用系統各系統的二級業務調度接受其提交的單個作業，根據作業的輸入、輸出和約束條件等生成可運行的作業指令，并根據當前資源實際負載、作業資源需求、資源池特性等情況分配作業到具體的資源池以及計算資源上運行，在作業運行過程中監視作業狀態并根據需要將作業狀態返回給各系統二級調度，將重大作業運行故障或異常上報到運行控制系統，對異常作業和調度故障能夠根據提前定義好的故障處理策略進行自動或半自動處理。

目前該資源調度系統很好地支撐了FY-4A衛星的業務運行，實現了業務與資源的解耦、異構資源的統一調度以及動態計算資源擴展。

1.2 網絡架構

風云衛星地面應用系統中大多數據處理作業都需要并行處理大量數據，屬于IO密集型計算，對網絡帶寬和靈活性要求很高。CNS的網絡平臺設計遵循了滾動設計的原則，以高擴展、高性能和高可靠性為目標，建成了技術先進的網絡系統。

衛星各地面接收站接收到數據后通過專線高速傳輸到北京數據中心進行數據處理和服務，然后再通過專線或內部高速網絡把數據分發給行業內外用戶。

北京數據中心內部網絡采用“VXLAN（Virtual Extensible LAN）+SDN（Software Defined Network）”的網絡架構體系（圖4）。VXLAN用于實現Overlay網絡，實現基于設備無關的部署方式，SDN用于實現網絡統一管理與配置自動下發。網絡系統分為Underlay與Overlay兩部分，Overlay網絡主要通過隧道封裝的方式在物理網絡（Underlay網絡）之上構建一個虛擬網絡，應用系統將源主機發出的原始二層報文封裝后在現有網絡中進行透明傳輸，到達目的地之后再解封裝得到原始報文，轉發給目標主機，從而實現主機之間的二層通信，相當于Overlay疊加在現有的基礎網絡之上[5]。

圖4 網絡系統架構Fig. 4 Network system architecture

這種橫向延伸、分布組網、集中控制的網絡系統實現了“轉發—接入”兩層扁平化拓撲結構，有效縮短了各業務系統之間的信息傳輸路徑。分布式組網模式使網關下移至接入層，采用以太網虛擬專用網絡技術實現同一業務網關在不同接入層設備之間多活，設備接入不再受限于物理位置，從而使跨機房、跨批次、跨型號的設備靈活組網成為可能，為計算和存儲資源池化奠定基礎。采用軟件定義網絡架構將網絡數據平面和控制平面解耦合，通過控制器對上百臺交換機進行統一平面的策略配置和下發，實現對大規模網絡設備的集中管理和靈活控制。

為保障網絡的安全性和靈活性，實現精細化分區管理，根據承載業務特點設計了分區域網絡安全隔離和防護策略，實現了業務區和互聯網物理隔離，具體如圖5和圖6所示。在業務區中設計了用于衛星測控、L0、L1和L2數據處理的生產區，用于工程開發、科學仿真、數據服務和內網辦公的服務區，以及用于平臺監控、系統運維的運維區。對核心生產區進行邊界嚴格管控，其他區對生產區的訪問按需開通，根據業務訪問需求設計網絡服務鏈。同時，生產區同一系統內部互訪不受限制，以保證業務系統的高效運行。對服務區開放訪問，確保科研、開發和辦公用戶的便利使用。對人員流動性較大且會對系統運行造成潛在影響的運維區進行接入授權和行為審計，將運維出現問題后的被動追查轉變為主動的事前防范、事中控制，確保運維安全。

各網絡分區架設了堡壘機、日志審計系統、補丁分發系統、漏洞掃描系統、準入控制系統、安全審計系統、防病毒軟件、網頁防篡改軟件、操作系統加固軟件等安全設備和系統，保證整個網絡的安全性。

1.3 存儲資源池

CNS存儲資源的管理設計，充分從統一管理、分配、靈活配置等方面考慮，通過采用資源池技術和存儲虛擬化技術，對各存儲系統設備進行統一規劃管理，從而簡化存儲管理、提高利用率和效率，改善服務水平。針對地面系統數據處理、服務和存檔等業務對存儲的不同需求，存儲資源池主要由熱數據資源池、溫數據資源池、冷數據資源池三部分組成，其架構如圖7所示。

熱數據資源池采用全閃陣列或高端FC構建，提供高速的IO帶寬和IOPS能力。采用高端盤陣結合磁盤分層技術，提供高性能和高可靠的在線存儲資源，保障業務處理時效和運行成功率；采用數據鏡像技術，確保關鍵數據的安全。該資源池當前規模已達近10 PB，主要用來支撐數據接收、預處理、產品生產等實時業務。

溫數據資源池采用中端FC、分布式存儲、對象存儲等構建，提供一定的IO能力以及海量數據存儲空間。該資源池當前規模已超過10 PB，用來支撐準實時業務、測試仿真以及存檔服務。風云衛星所有觀測資料已經全部整合到該資源池，實現了衛星數據全在線，為數據服務和應用提供了高效的數據支撐。溫數據資源池采用了存儲虛擬化技術，實現了資源靈活配置與統一管理。

冷數據資源池采用磁帶庫、光盤庫構建，實現數據歸檔功能，實現氣象衛星數據的永久保存。高端磁帶庫，采用多驅動器和大容量磁帶技術，提供高可用和高可靠性。該資源池當前規模已超過100 PB，保證了未來幾年內衛星數據安全存檔的需求。

除了本地存儲，CNS中還使用了公有云存儲資源池提供對外數據服務以提升數據分發的效率。

為了保證數據的安全性，CNS在西安建設了異地數據備份和服務支撐平臺，形成了衛星數據異地備份、雙中心服務支撐能力。

圖5 網絡安全分區（業務與辦公區）Fig. 5 Cyber security zone (business and office area)

圖6 網絡安全分區（互聯網區）Fig. 6 Cyber security zone (internet zone)

2 系統管理與運行優化

只有通過高效的軟件才能發揮出硬件的整體性能。CNS系統管理軟件的設計，首先從一體化運維管理著手，保障系統平穩運行和設備故障及時處理；其次，通過應用特征分析軟件為應用運行優化提供決策支持并輔助故障診斷。

圖7 存儲資源池Fig. 7 Storage resource pool

目前，同時在軌業務運行的風云衛星多達7顆，地面系統業務數據量巨大，處理流程復雜，每天運行超過100萬個作業。應用對IT平臺的可靠性、運算能力、存儲容量和網絡帶寬要求都很高。同時，新一代風云IT平臺大量采用了單機功能相對弱化的通用服務器，設備數量劇增，平臺系統管理難度大。為了解決這一問題，CNS設計了一體化運維管理軟件，對IT平臺及其所支撐應用運行信息進行統一收集、處理和存儲，并結合技術人員運維經驗進行分析、報警。該軟件通過定制的配置庫，實現對IT平臺資產信息和配置信息的管理。通過可靈活擴展的采集器插件采集平臺和應用各類信息，實現對各類平臺資源和應用軟件運行狀態的實時、準實時監視。所有運維信息都存儲于ElasticSearch集群中，為智能運維統一提供數據支撐；監視信息以可視化的方式統一展現；系統通過結合運維人員的工作經驗，設置故障報警閾值，實現對各類故障的分級報警與及時上報，有效確保了平臺平穩運行。

應用分析與優化軟件對風云衛星地面應用系統各應用軟件的資源使用合理性進行評估和優化，它通過系統監視和特定采集工具獲取系統運行的特征數據，并在此基礎上融合大數據分析技術對系統資源使用情況分析評估，繼而以知識庫為依據判斷應用使用資源的合理性并形成資源優化建議。

3 風云衛星下一代信息技術展望

未來十年內，氣象衛星數據量還會有上百倍的增長，如何及時、高效、可靠地處理海量數據將會是CNS一直面對的問題。CNS的設計將會一直緊跟信息化技術浪潮，建設技術先進的IT平臺支撐風云氣象衛星業務穩定運行。

人工智能技術目前發展迅速，尤其涉及的一些深度學習算法已經較為成熟[6]。風云衛星IT設備體量大，數據規模大且不斷增長，人工智能技術將來會在數據處理、數據質量控制、智能運維方面得到應用，用以提升系統智能水平和平臺使用效率，為智慧氣象發展提供支撐。

云計算技術已成功應用于CNS中，解決了資源的標準化問題。然而這種以虛擬機為載體的云平臺虛擬資源管理方式存在著諸多弊端。首先虛擬機本身耗費著物理資源，這在一定程度上造成了物理資源的浪費；其次，虛擬機較為重載，不適合細粒度靈活地分配資源[7-8]。

容器是一種內核虛擬化技術，可提供輕量級的虛擬化，使得資源和進程得到隔離，通過對應用組件的封裝、分發、部署、運行等生命周期的管理，可以實現應用的標準化[9]。因此在容器技術的支持下，軟件應用可采用分模塊部署的方式，根據不同模塊的負載進行伸縮性調整，并且實現內部的負載均衡調節，提高服務整體性能[10]，提升應用部署的靈活性。

4 結語

風云衛星地面應用系統計算機網絡系統隨著信息化浪潮歷經了多次技術變革，衛星數據的處理和存儲能力已得到很大程度的提高。隨著風云衛星的發展，對其IT支撐平臺的要求也越來越高，這就需要在合理架構計算機網絡體系的基礎上保持系統的魯棒性，以云計算技術、大數據技術等作為技術核心，并在此基礎上研究容器技術、深度學習技術、軟件定義存儲等前沿技術以進一步應用到計算機網絡系統中，進而為風云衛星地面應用系統提供更為高效穩定的IT支撐環境。