集約化氣象服務柔性生產云平臺設計建設

摘" 要：氣象業(yè)務集約化發(fā)展成為重要趨勢之一。隨著信息技術的快速發(fā)展迭代，華風集團氣象服務業(yè)務的集約化發(fā)展、業(yè)務流程和運行模式的集約設計建設已經成為提升運行效率、降低業(yè)務成本、保障業(yè)務安全的關鍵。文章基于集約化思路開展柔性生產云平臺設計建設，結合業(yè)務特點提出利用混合式軟件架構設計，以滿足氣象服務數據密集型業(yè)務的運行要求；并通過搭建云化支撐平臺、數據供應流水線，開展柔性計算引擎支撐技術研發(fā)，實現業(yè)務支撐環(huán)境的云化改造等，以實現業(yè)務運行效率的大幅提升。該研究為推動企業(yè)信息化、集約化轉型提供支撐，也為相關行業(yè)生產加工的云化建設與改造提供參考。

關鍵詞：云計算；柔性生產；集約化；云存儲

中圖分類號：TP39" " 文獻標識碼：A" " 文章編號：2096-4706（2025）01-0134-06

Design and Construction of the Flexible Production Cloud Platform for Intensive Meteorological Service

Abstract： The intensive development of the meteorological business has become one of the important trends. With the rapid development and iteration of information technology， the intensive development， intensive design and construction of business process and operation mode of meteorological service business in Huafeng Group have become the key to improve operational efficiency， reduce business cost， and ensure business security. This paper carries out the design and construction of the flexible production cloud platform based on the intensive idea， integrates business characteristics and proposes a design utilizing a hybrid software architecture， to meet the operational requirements of meteorological service data intensive business. By building the cloud support platform and data supply pipeline， this paper carries out research and development of flexible computing engine support technology， and realizes the cloud transformation of business support environment， so as to realize the great improvement of the business operation efficiency. This research provides support for promoting enterprise information and intensive transformation， and also provides reference for cloud construction and transformation of production and processing in related industries.

Keywords： cloud computing; flexible production; intensity; cloud storage

0" 引" 言

當前，信息技術革命日新月異，氣象科技創(chuàng)新水平亟待提高[1]。信息技術已經給各行業(yè)帶來了顛覆性變革，正在引發(fā)社會生產方式變革、生產關系再造、經濟結構重組和生活方式改變[2]。加快推進氣象信息化是落實國家信息化發(fā)展戰(zhàn)略、順應現代氣象科技發(fā)展和信息技術變革新形勢的迫切需要[3]。近年來，信息化、集約化已經成為氣象領域重要的發(fā)展趨勢之一，中國氣象局相繼出臺信息系統集約、網絡安全、數據共享等政策舉措，進一步明確了氣象行業(yè)“云+端”的業(yè)務技術體制[4-6]。

華風集團作為氣象部門承擔公共氣象服務的重要載體和平臺，其業(yè)務屬于數據密集型，業(yè)務的發(fā)展建設都與信息技術密切相關。但長期以來各條業(yè)務線獨立發(fā)展、自成體系，缺少統籌規(guī)劃和頂層設計，導致業(yè)務上出現了眾多信息孤島，數據流程冗余龐雜，物理空間、網絡帶寬等資源擠占嚴重。據不完全統計，內部機柜服務器設備的空轉率達50%以上，傳統業(yè)務模式對物理空間資源的浪費，已成為業(yè)務發(fā)展中亟待突破的瓶頸之一，解決發(fā)展中面臨的基礎資源集約化不足問題，消除傳統業(yè)務模式的安全隱患，釋放物理空間資源，強化集約支撐，提升運行效率，并保障數據資源安全，已經成為華風集團信息化發(fā)展的重要任務之一。

1" 架構設計

基于信息技術發(fā)展及其帶來的業(yè)務改革發(fā)展的背景和要求，充分考慮氣象服務業(yè)務數據密集型特點，按照集約化發(fā)展思路，提出適用于氣象服務業(yè)務運行的柔性架構的云平臺設計建設思路。該柔性生產云平臺設計考慮采用混合式軟件架構，大框架是基于構件的軟件架構模式，各部分模塊擬根據不同的功能需求采用不同的架構，以滿足氣象服務業(yè)務的多元需求，避免單一架構業(yè)務瓶頸。目前集團氣象服務主要面臨以下問題：一是集團及子公司服務業(yè)務場景比較復雜，沒有統一的底層基礎業(yè)務支撐環(huán)境，業(yè)務底層安全風險大，與局信息化平臺對接不足，高性能計算資源利用率不高；二是各單位、各新項目都需要硬件來支撐，業(yè)務資源分散不集約，維護成本高；三是數據在集團內部多次搬家，業(yè)務運行時間和硬件、網絡資源占用成本高，且數據安全無法監(jiān)控；四是部分子公司對云化資源應用需求迫切；五是各單位的底層的硬件、網絡、安全以及基礎運維能力參差不齊，國產信創(chuàng)、等級保護不規(guī)范；業(yè)務系統軟件版本不統一，缺乏統一標準，無法實現統一安全維護；六是總體投資分散，算力和存儲不足，且折舊成本高。同時，由于業(yè)務產品、制作、發(fā)布、部署等歷史原因，缺乏業(yè)務技術層面與中國氣象局信息化系統、資源有效銜接。研發(fā)服務業(yè)務遷移中必要的應用技術，以推進下一步服務業(yè)務云化遷移、集約化改造；推進數據網絡運行符合中國氣象局管理要求，推進氣象服務業(yè)務的基礎資源、運行支撐技術，在數據標準、接口標準方面與“天擎”平臺有效銜接，探索實踐氣象業(yè)務云資源社會化服務發(fā)展。柔性生產云平臺建設內容主要包括云化支撐平臺、數據供應流水線、柔性計算引擎支撐技術研發(fā)等，以及安全服務體系和平臺運行標準規(guī)范建設等內容，如圖1所示。從業(yè)務運行角度看，關鍵部分要圍繞氣象服務產品在云化平臺的數據加工、業(yè)務服務等任務的創(chuàng)建、管理和調度。從目前的主流云計算技術發(fā)展看，有微服務架構、面向服務的架構以及云原生架構等[7-8]。

2" 功能設計

2.1" 云化支撐平臺

柔性生產云平臺的基石部分是云化支撐平臺，其主要功能是為數據供應流水線、柔性計算引擎、時空數據可視化服務等業(yè)務流程提供計算、存儲、網絡等資源支撐，將獨立物理機或獨立小集群上的環(huán)境，通過虛擬化方式提供支撐。同時支撐“數算一體”等運行模式，為各業(yè)務流程的云化改造提供測試支撐環(huán)境，實現各單位減少物理設備投入，快速云化轉型。建設內容主要分為8個子系統，如圖2所示。

具體介紹如下：

1）基礎資源管理子系統。基礎資源管理子系統作為云化支撐平臺的底層硬件支撐層，包含基礎網絡與硬件服務器，網絡方面由傳統的三層交換路由架構改為基于Spine-Leaf的兩層架構，其特性是減少延遲（等待時間）、提升流量瓶頸、便于橫向擴展。服務器方面將采用基于傳統Intel X86架構的服務器構建，同時考慮兼容國產化服務器基于ARM的架構，并將程序跨平臺運行驗證[9]。此外，基于AI技術的氣象服務還需要用到GPU異構服務器，也要根據業(yè)務需求進行配置。

2）云網絡子系統。云網絡子系統在Spine-Leaf架構基礎上，通過軟件定義網絡，作為云平臺的核心網絡基礎模塊，為所有在云平臺內業(yè)務對內外訪問的網絡功能支撐，以軟件方式定義邏輯隔離的私有網絡VPC，以租戶形式呈現，租戶內網絡互通，不同租戶間網絡互不相同。可通過路由實現原本互不相同的VPC互訪，為計算資源提供彈性IP、NAT網關、彈性網卡、負載均衡等支撐，讓云平臺內的計算資源實現與私網、業(yè)務內網間的網絡通信，其彈性、映射等功能是計算資源實現動態(tài)遷移、保持網絡不中斷的技術基礎。

3）云存儲子系統。云存儲子系統是一套軟件定義的分布式存儲系統，可以運行在X86、信創(chuàng)等通用服務器上，整合集群內的存儲資源，對外提供塊存儲服務，支持標準ISCSI協議接入。融合了自適應條帶、讀寫緩存、冷熱數據分離、數據冗余、數據平衡、重建、快照、滾動熱升級等諸多技術，能夠滿足各個行業(yè)的關鍵業(yè)務的存儲需求，保證客戶業(yè)務高效穩(wěn)定可靠的運行[10]。通過虛擬化技術“池化”集群存儲卷內通用X86服務器中的本地硬盤，從而實現服務器存儲資源的統一整合、管理及調度，最終向上層提供自有協議/ISCSI存儲接口，供虛擬機根據自身的存儲需求使用存儲空間，功能如圖3所示。

4）云數據庫子系統。云數據庫子系統將常用的MySQL、SQLServer、MongoDB、Redis、PosgreSQL等數據庫服務以產品形態(tài)納入云平臺管理中，無須單獨在主機中安裝數據庫服務，通過整體云平臺可用資源前提下，自動秒級創(chuàng)建指定的數據庫類型，并實現高可用。

5）中間件子系統。中間件子系統通過集成消息隊列Kafka、搜索應用Elasticsearch、協調服務Zookeeper等應用的管控系統，以平臺功能模塊方式提供服務，實現秒級部署指定中間件服務，為今后業(yè)務快速交付上線提供支撐。

6）彈性計算子系統。彈性計算子系統基于Kubernetes和KVM等虛擬化技術，提供虛擬機、容器及裸金屬的彈性伸縮的計算服務，將計算資源以邏輯集合方式形成可跨域的多個高可用組，提供處理能力可彈性伸縮的計算服務。同時，將多組云容器組建成集群方式，通過容器的特性，免除煩瑣的適配、部署、運維、升級等工作，實現業(yè)務應用快速部署、彈性伸縮、跨區(qū)域部署等功能，充分提高資源利用率。

7）云管子系統。云管子系統負責構建統一的運維、運營管理功能，包含目錄服務、標簽管理、日志、監(jiān)控、操作審計、訪問控制IAM、OpenAPI等功能。將用于記錄日常人員操作，實現對整體資源的分割管控，實現業(yè)務部署推送等有記錄可追溯，可以供業(yè)務人員登錄查看，對業(yè)務運行狀態(tài)進行及時了解和調控。

8）云安全子系統。云安全子系統通過建立安全運維、數據安全管理功能，包含威脅感知、漏洞掃描、主機基線掃描、Web應用防火墻、ACL安全組、數據防泄漏、內網域名解析等功能，為整個業(yè)務環(huán)境提供安全保障，整體提高遷移到云平臺環(huán)境的業(yè)務安全性。

2.2 數據供應流水線

為保障服務業(yè)務無感的云化遷移，打通柔性生產云平臺與氣象數據直通鏈路。考慮氣象行業(yè)數據支撐平臺的數據標準和接口標準，為提供實時數據環(huán)境支撐，需要建設研發(fā)消息技術、RPC技術與元數據技術等高效供給技術，建設包括數據標識子系統、數據RPC服務子系統、消息隊列子系統、作業(yè)調度等內容，如圖4所示。

具體介紹如下：

1）數據標識子系統。建立統一標識的管理規(guī)范與體系，主要包含數據信息管理、訪問信息管理、權限信息管理、數據映射管理等功能，打造了對數據標識信息規(guī)范化、可視化、結構化的管理能力。

2）數據RPC服務子系統。建設支持讀寫文件及時空數據庫的遠程RPC調用系統，主要包含數據讀寫服務、數據鑒權服務、訂閱查詢服務、數據訂閱服務等功能，確保數據的一致性和實時性。

3）消息隊列子系統。建設支持數據流水線的消息網關，實現基本的消息通知服務、消息生成服務、消息消費服務、消息訂閱服務等功能，提供異步的交互形式，具有解耦、削峰的功能特點。

4）作業(yè)調度子系統。建設作業(yè)調度整體功能模塊，主要包含任務調度管理、調度日志管理、調度監(jiān)控管理、資源分配管理等功能，確保任務高效、有序地執(zhí)行，保障系統運行效率和可靠性。

2.3" 柔性計算引擎支撐技術

針對氣象服務科研等計算量較大的需求，需建設符合云平臺分布式計算的應用環(huán)境，研究適用于氣象格點數據產品高性能計算的數據處理技術，并保障云平臺業(yè)務的非計算耗時逐步降低。考慮上述因素，云平臺的建設內容還需包括分布計算環(huán)境、高性能分布式計算引擎支撐技術、單機計算環(huán)境、任務編排與調度管理等[11]。

科研業(yè)務的計算環(huán)境適用于分布式計算，以滿足不同任務的并行處理需求。分布式計算環(huán)境建設采用管道過濾器風格來設計建設，屬于經典架構模式，將數據處理過程分解為一系列獨立的過濾組件，這些組件通過管道連接，依次處理數據流。節(jié)點和架構按相應規(guī)則建設，數據輸入節(jié)點用于接收原始數據，數據處理過濾器節(jié)點作為每個過濾器組件負責特定的數據處理任務，例如數據清洗、轉換、計算等。數據輸出節(jié)點將處理后的數據傳遞給其他系統或存儲。任務編排與調度管理則確保數據處理過濾器按照正確的順序執(zhí)行，避免數據流混亂。高性能分布式計算引擎支撐技術是通過并行計算設計，來支持并行計算的算法和數據結構，以充分利用分布式計算資源，按照數據分片和分發(fā)將大規(guī)模數據分片并分發(fā)到不同節(jié)點，實現高效的數據處理。

由于一些計算任務不必使用分布式計算，因此還需要構建單機計算環(huán)境，用于處理較小規(guī)模的計算。最后，通過任務編排與調度管理系統，可對格點數據產品科研任務進行動態(tài)調度，根據任務的優(yōu)先級和資源狀況，合理分配計算資源，避免浪費。

得益于以上技術的創(chuàng)新應用，可顯著提高氣象格點類數據產品的高性能計算處理效率，縮短產品科研時間，有效降低云平臺業(yè)務的非計算耗時，提升資源利用率。

3" 應用成效

華風集團柔性生產云平臺通過流程設計建設與關鍵技術研發(fā)，以柔性計算引擎和分布式計算環(huán)境為核心，實現了資源的集約利用、任務有效管理和調度，以及業(yè)務加工的高效運行和故障實時分析。通過5臺2U機架式服務器構建集群，形成1320核CPU、2.5 TB內存、531 TB存儲的共享資源池，將監(jiān)控、業(yè)務、測試等8項業(yè)務系統，由原本的18臺物理機支撐改為平臺集中支撐，CPU資源占用總資源池的5%、內存占用11%、存儲占用1%，總物理服務器數量僅為原來的1/3左右，機房占用由54U機位下降到15U機位，空間節(jié)省近70%，有效提高了資源的利用率，降低物理成本。通過在專業(yè)服務產品加工業(yè)務、開物平臺、數據中臺等試點業(yè)務的運行測試，取得了顯著成效，實現了三維高分辨集成短中期預報產品等業(yè)務化產品生產時間縮短50%，資源利用率提高30%，故障率降低20%以上。

4" 結" 論

企業(yè)內部業(yè)務流程的信息化、集約化發(fā)展是一種必然趨勢，云技術的發(fā)展為業(yè)務的集約化建設和改造提供了基礎條件和支撐。充分利用云計算等信息技術的發(fā)展成果，結合企業(yè)自身業(yè)務特性，設計建設符合業(yè)務模式和特點的云平臺，對于提升企業(yè)的業(yè)務運行效率，降低業(yè)務和安全成本，都將大有益處。

通過設計建設華風集團混合式柔性生產云平臺，為業(yè)務中利用云技術優(yōu)化加工流程，提高產品加工效率、降低數據安全風險等提供了支撐，實現業(yè)務生產效率、資源利用率和設備故障率的大幅提升，這也為相關行業(yè)的集約化建設轉型提供了參考借鑒。未來，華風集團的柔性生產云平臺還將繼續(xù)以集約化為思路和目標，通過進一步優(yōu)化算法和系統架構，采用更先進的云技術，不斷提升業(yè)務支撐能力，來滿足不同用戶的個性化、定制化需求，不斷促進業(yè)務效率的提升。

參考文獻：

[1] 陳振林.加快推進氣象科技能力現代化和社會服務現代化 [N].中國氣象報，2024-03-28.

[2] 李巧明，李欣欣，李碩，等.新一代信息技術產業(yè)高質量發(fā)展研究 [J].中國工程科學，2024，26（1）：13-22.

[3] 鄭國光.以信息化推進氣象現代化 [J].浙江氣象，2015，36（2）：1-4+24.

[4] 中國氣象.氣象信息化發(fā)展規(guī)劃印發(fā) 構建統籌集約、協同高效、開放共享、安全可靠的氣象信息化體系 [EB/OL].[2024-05-16].https：//www.cma.gov.cn/2011xwzx/2011xqxxw/2011xqxyw/201801/t20180104_459319.html.

[5] 中國氣象局.中國氣象局推進新型業(yè)務技術體制改革試點工作 [EB/OL].[2024-05-18].https：//www.cma.gov.cn/2011xzt/2022zt/20220411/2021032205/202209/t20220929_5110944.html.

[6] 中國氣象局.中國氣象局黨組印發(fā)《新型氣象業(yè)務技術體制改革方案（2022—2025年）》 [EB/OL].[2024-05-21].https：//www.cma.gov.cn/2011xwzx/2011xqxxw/2011xqxyw/202206/t20220615_4907182.html.

[7] 吳朱華.云計算核心技術剖析 [M]，北京：人民郵電出版社，2011.

[8] 章國材.氣象云建設的研究與思考 [J].氣象與環(huán)境科學，2015，38（4）：1-11.

[9] 苑順周，姚曉冬，邢羽.基于超融合技術的數據中心網絡安全設計 [J].網絡安全技術與應用，2021（2）：14-17.

[10] 韋依姍，曹曉梅，王少輝，等.面向云存儲的雙重數據完整性驗證方案 [J].小型微型計算機系統，2024，45（12）：2944-2950.

[11] 聶元丁.國家氣象云資源池智能管理技術應用研究 [J].計算機技術與發(fā)展，2022，32（4）：129-133.