基于IBUS實現省級氣象共享數據中心方法研究

梁心雄，徐美紅，羅勝平

(1.廣東省氣象信息中心，廣東 廣州 510080；2.華南理工大學,廣東 廣州 510640)

基于IBUS實現省級氣象共享數據中心方法研究

梁心雄1，徐美紅1，羅勝平2

(1.廣東省氣象信息中心，廣東 廣州 510080；2.華南理工大學,廣東 廣州 510640)

由于氣象信息數據種類繁多，格式不統一，用戶需求不統一，文中提出Information Buffet Service(信息自助服務)概念。面向全省的氣象業務人員逐步建設統一規范的數據環境和應用基礎平臺，開發統一的通信系統，減少重復建設氣象信息資源數據庫，達到集約化。省級各業務單位之間互聯互通，可以在邏輯上形成唯一的“業務交換中心”。通過氣象信息服務總線，實現省內氣象資料的自由、自助共享，為省級的主要氣象業務提供“集中的”基礎設施框架。

信息自助服務;氣象信息服務總線;資源溶解；數據聯邦

0 引 言

IBUS主體思想是氣象各業務單位以減法為主的數據集約在異構數據庫基礎上提供統一服務，逐漸統一數據庫結構形成數據中心，避免信息孤島的數據諸侯，形成異構數據的數據聯邦和同構數據的數據中心[1]。部署在形式框架為可視規范的軟件組件或應用程序提供了統一數據服務接口和統一應用服務接口，由一個信息整合并轉化為自助式的應用的服務體系,實現一個與平臺和語言無關、松藕合的開放系統集成框架與應用環境,它是目前計算機界研究的熱點[2]問題之一。

1 IBUS結構基本概念

IBUS是指信息自助服務(Information Buffet Service)。省級信息網絡系統從信息流環節和業務類型來看，其組成系統有各自完整的功能、結構和流程。但從頂層設計的高度，從數據應用的角度，全省的信息網絡支撐系統與業務應用系統應當作為一個完整的大系統來設計，應當包含三大塊內容：IBUS省級服務、IBUS核心服務、IBUS流程監控。

1.1 IBUS省級服務

一致性數據服務接口和統一的應用服務接口構成統一公共IT資源服務，這也是構成省級氣象算法云計算平臺的基礎。關鍵在于對有重用價值的信息產品和業務系統功能進行省級集成與分類分解，并作服務化改造，開放服務接口并注冊于服務總線，實現對全省各級氣象業務單位的綜合信息服務[3]。綜合業務服務系統的性能的關鍵在于動態調配和高效負載均衡的虛擬化資源池的建設和應用。

省級服務結構圖如圖1所示。

圖1 省級服務結構圖

省級氣象服務信息服務總線(MISB)是企業服務總線(ESB)在氣象業務中的一種實現。MISB通過支持JMS、TCP、Mcast、FTP、SOAP、MQSeries等協議以及協議轉換，在氣象業務至少實現兩大功能：基于文件和數據流兩種形式并具有實時壓縮能力的數據傳輸功能，基于消息和事件驅動的即時通信功能。實現業務應用系統之間的聯動協同以及氣象短信息的即時共享能力。以MISB為基礎構建省、市、縣各級氣象部門統一通信系統主干；以MISB為通道實現省級綜合服務系統提供的數據、應用和硬件服務的發布。

一致性數據服務接口是氣象數據訪問服務為不同的業務應用提供統一、靈活、可擴展的訪問接口。為達到互操作性目的，使各種業務應用不需要了解數據存放的位置以及數據具體格式，通過統一訪問接口就能訪問和操作數據，實現實時、準確、安全、高效的數據訪問，形成透明和無縫讀寫省級數據環境以及各業務系統之間的協作能力。一致性數據服務接口主要是通過對數據資源進行封裝，面向業務系統和氣象業務內網提供SOAP、REST、OGC等多種協議，安全、透明和快速地存取服務，包括對數據的獲取、計算、存儲以及元數據信息服務等。此外，在此基礎上通過進一步的封裝，為用戶提供腳本調用接口服務。

統一應用服務接口可以獲取應用服務信息。API程序調用接口是支撐業務系統自動獲取數據的主要方式，訂閱應用服務接口主要是支撐氣象業務內網中的訂閱服務。API程序調用接口包含一系列的通用接口和個性化定制接口。訂閱應用服務接口是為氣象業務內網的訂閱服務提供數據訪問接口，按照訂閱不同觸發條件，組織并生成數據文件，推送給目標服務器或共享盤陣目錄。根據各主要業務系統的資料應用特點，在通用數據獲取接口的基礎上，提供業務中常用的任意時段的平均值、總量值、極值、日數、頻率、距平、距平百分率、順位等通用氣象數據統計計算功能[4]，提供給CIPAS、MICAPS、MESIS等業務系統使用。為用戶應用的業務系統開發標準格式的產品存儲接口，使用戶業務系統不需關注底層的具體結構和存儲資源，直接通過該接口，即可完成業務產品的存儲。文件共享應用接口為支撐MICAPS等業務系統直接訪問文件目錄的應用模式設計文件共享服務接口。通過訪問權限的控制和目錄映射等技術，使文件共享服務安全、便捷。按照訪問權限，文件應用服務接口可分為讀寫接口和只讀接口兩類。

產品應用服務系統(業務門戶)基于Portal架構，發布省級所有主要的數據產品和業務產品，提供豐富的在線訪問和交互式分析服務。此外，還面向業務領域(氣象、氣候等)以及個人，提供個性化定制自己業務門戶的服務。主要功能包括：目錄導航和檢索定位服務、數據獲取服務、氣象數據統計計算服務、產品可視化服務、產品交互分析服務和產品輸出服務。此外，用戶還可以實現數據產品多條件檢索和長時間序列下載以及個性化定制構建自己的業務門戶。統一應用服務軟件包括：GIS平臺，部署成熟的GIS平臺及應用軟件，配置多尺度和權威的地理信息數據、高程數據和影像數據等，提供GIS調用服務接口；產品可視化組件，開發和部署氣象數據和產品的通用可視化組件，包括GRIB、NetCDF、HDF等通用格式[5]資料的顯示，雷達資料等自定義格式資料的顯示，動畫顯示，時空剖面顯示，統計圖形顯示，模式資料的對比顯示等；產品輸出組件，對交互分析的結果可轉換成WORD、PDF、GIF等多種格式的產品。

1.2 IBUS核心服務

IBUS核心服務包括個性化的UI界面和各市局的服務接口[4]。UI界面可以提供數據流落地為行為規范數據文件，格式為MICAPS。信息網絡神經系統延伸到各個業務點神經末梢。利用省級網站圖形WEBSERVIC開發各種終端APP；利用數據中心和氣象算法云平臺建立二次開發環境。業務單位獲得省級集約化數據資源平臺軟件開發，為用戶提供動態計算機資源調配及高性能計算。

各市局的服務接口重點是SWAN和GIFT的災害天氣短時臨近預報業務系統，可以實現[5]閾值過濾、區域選擇、鎖定區域、加權平均、凹槽凸脊、系統新生、梯度法修改、手繪跟隨流場、差值調整和中尺度疊加以及腳本公式修改。“中尺度分析”和“強天氣落區預報”兩種預報工作基于MICAPS-SWAN分析平臺，實現以街道辦為最小單元的地質災害精細化分區預警；在QPE/QPF的基礎上，根據地質災害的降雨閾值結合全市的重要地質災害易發區進行預警分區提示，制作與發布分區的地質災害預警。GIFT能夠實現選區控制點進行時間序列調整，獲得任意時刻的控制點的序列值，然后序列值客觀分析到細網格上，這樣也可以獲得精細化的結果。對高分辨的預報基礎進行相對大尺度的調整，能夠接入多模式、多時間尺度的數值預報模式產品及其解釋用產品基于GPU的矩陣運算使得高速高質量的圖形渲染和編輯操作實時動態成為可能，利用時間序列對全場或者選擇區域進行預報值的整體平均值調整。

核心服務結構圖如圖2所示。

圖2 核心服務結構圖

2 IBUS集成關鍵技術

從現狀看，省氣象信息中心大多以結構化關系數據庫(如Oracle,SQL Server)存儲基于站點的觀測與預報數據(如探空觀測資料、自動站觀測資料、風廓線儀探測資料和站點預報等)，而數值預報、雷達數據和衛星資料等規范的多維網格類數據，則按時間點以原始格式方式保存數據文件。前面章節[6]描述的數據存儲系統的功能結構流程并未具體深入到數據存儲格式和管理策略。從應用角度，現代天氣氣候的監測與分析不再是以站點為主的傳統監測方式，而是涉及大數據的多維空間的時序分析，單層單時次的文件存儲管理形式不利于天氣氣候的實時交互分析效率(涉及過多的文件I/O)。此外，氣象計算大多是計算密集型或是數據密集型的計算方式[7]，而擅長事務密集型的關系數據庫也不是最佳存儲方式[7]。因此，適合科學計算和大數據存儲，并內置了時空維度的NetCDF和HDF等格式，可針對實際業務需求，被應用到多時次、多時效的數值預報產品，雷達數據和衛星資料存儲管理中。

2.1 虛擬化集成

虛擬化[8](Virtualization)的演進和高速網絡的發展推動了瘦客戶端的多樣化。服務器虛擬化、桌面虛擬化，乃至用戶應用的虛擬化，在帶來更優的能效，更好的安全性和更高的可靠性的同時，也推動了瘦客戶端的多樣化發展(傳統桌面應用，移動終端的APP，乃至簡單短信，甚至能控制大型服務器科學計算和海量數據的運算以及交互分析)。這為氣象部門信息網絡系統集約化設計提供了思路。虛擬化技術和網絡為中心的面向服務架構[9](Service Oriented Architecture,SOA)從概念走向實用，推動了云計算理念的普及。在云計算模型下，IT硬件資源和軟件資源(算法資源+數據資源)成為按需配置、易于擴展的計算資源池，為氣象部門實現計算密集型(科學計算)、數據密集型(數據挖掘)和事務密集型(并發處理)等高性能計算的普及提供了一條嶄新的方向。

2.2 統一化集成

采用Oracle數據庫與文件庫結合的方式建立了基于站點實時觀測數據資料庫，其他部門也存在自建的數據庫系統，數據各自為政，重復建設，標準規范不一，既不利于資源的統一管理，也不利于信息共享。針對目前業務應用現狀，為保持業務正常平滑過渡[9]采取逐步聯合、數據集中的方式，最終建立統一集中實時歷史資料一體化的氣象數據資源中心，通過統一標準規范的數據接口提供氣象數據服務。氣象信息分類規劃從業務上的需求來分類，省級氣象信息主要可以分成4類[10]：

第一類靜態信息主要包括數字高程模型、GIS信息和氣象站點元數據等。這些資料一般定型后，不會再改變，但會增加信息量。其中一些GIS信息轉為適合柵格保存的NetCDF格式。

第二類歷史資料包括再分析產品、觀測站資料、雷達與衛星資料，經過網格化后，以NetCDF保存，其中衛星資料采用可壓縮的NetCDF4.0格式，觀測資料永久在線保存，存放于高速磁盤陣列。

第三類實時資料主要是指實時觀測信息，以觀測站、雷達和衛星資料為主。其中，站點觀測以Oracle數據庫保存，與質量控制后的歷史資料銜接，雷達和衛星資料存儲于NetCDF文件包中，滾動更新。

第四類預報資料主要包括數值預報和近期省臺開始通過業務流程調整提供的格點化預報產品：精細化氣象要素格點化產品和災害性天氣落區格點產品。為了滿足鎮鎮有預報和村村有服務的需求，預先將精細格點的預報產品插值，并通過規則轉換，生成常規語言表述的站點預報產品，細化到鎮。

2.3 IT資源溶解

第一步是數據庫服務化改造，簡單聯盟，IT資源溶解，對業務單位已經建成并投入全省服務的數據庫系統，進行集約化整合與服務化改造，提供統一標準服務接口；保持信息中心核心數據庫與業務單位數據庫(包括關系數據庫和文件系統)的同步傳輸，確保各業務部門基礎數據具有唯一權威來源。通過負載均衡后端部署多個業務應用連接到多個業務單位數據庫提供應用。加強對業務單位專題數據需求的統一支持，逐漸減少各業務單位自有數據庫中大量重復核心數據庫的內容[11]。

第二步是IP重新部署。把各個部門的應用服務器和數據庫服務器從各自中心比較復雜的網絡中解脫出來，重新部署在較為空閑的網段，并且高速互聯，直接出口，與全省的預報服務應用終端相連。通過公共的業務，逐漸把各單位的自有服務器資源共享出來，產權各自表述，資源共同服務，否則，各部門必然繼續孤島系統的建設，這一步驟可以稱之為“IT資源”溶解過程。

2.4 數據聯邦

建立唯一權威來源的基礎核心庫存儲和管理最為完整的資料數據集[12]，創建服務接口中間件，封裝并連接信息中心核心數據庫和各業務單位的服務接口，形成異構數據庫(數據存儲方式不同、數據庫選型不同、數據庫庫表結構不同)的數據聯邦，統一對外提供數據服務。信息中心不斷豐富針對業務單位需要的實測與預報基礎數據服務接口，逐步減少來自業務單位數據庫服務接口。按照統一的存儲方式、一致的數據庫選型、規范的庫表結構和標準的服務接口，通過提供統一規范的入庫接口逐步將各業務單位數據庫存儲的信息統一整合存儲到信息中心核心數據庫中。對業務單位的異構數據庫進行同構化改造，逐步消除部門間業務數據環境差異，向統一的數據中心過渡。考慮數據服務壓力的均衡分擔，設計從核心數據庫同步數據到專題服務數據庫，所有數據來源于核心數據庫，保證數據的一致性。

3 IBUS形成業務交換中心

3.1 業務交換中心提出高時效服務

氣象災害監測能力是衡量氣象事業發展水平的一個重要尺度，也是一個國家和地區科技創新能力的綜合體現[12]。目前廣東省的氣象監測水平在全國處于領先地位，擁有全國四個氣象衛星地面接收站中最大、功能最全的廣州衛星地面接收站。氣象雷達站網密度達到先進國家水平，基本實現鎮鎮建有自動氣象測站，大氣成分監測網、GPS/MET水汽觀測網、風能資源觀測網、海洋氣象浮標陣列、閃電定位網等專業氣象新監測體系初具規模，初步形成了具有國際影響力的天基、空基和地基一體化氣象綜合探測系統。目對常規氣象災害的監測從原來的3 h 1次提高到1 h 1次，雷達網的監測能力從原來的3 h 1次提高到全天候不間斷監測，基本實現了對重大災害性天氣監測不漏網。衛星、雷達、自動氣象站等產生大容量、高頻次數據，需要及時有效地進行匯集傳輸，滿足對極端天氣的監測和預警的需求；為保障觀測系統穩定運行和開展觀測資料質量控制，需要收集臺站元數據、觀測系統狀態等信息，并對重大觀測設備故障的遠程視頻診斷提供傳輸支持。及時傳輸山洪地質災害防治和中小河流治理的專項建設觀測站、邊遠臺站、基礎設施薄弱地區觀測站、海洋觀測站、應急移動平臺以及實景觀測系統等獲得的觀測資料，需要提高數據通信能力。

3.2 業務交換中心提出敏捷性服務

當代氣象預報技術的發展依賴于高性能計算技術、自動化技術、遙感技術、信息網絡等高科技手段，是衡量科學技術實力的重要標志。近年來，廣東省大力推進氣象科技創新，著力建設一流裝備、一流技術、一流人才、一流臺站，發展完善強對流天氣實時監測和短時臨近預警、定量降水估測預報、氣象要素精細化預報等預報業務體系。自主研發的災害性天氣綜合臨近預報系統“雨燕”(GRAPES-SWIFT)在國內處于領先水平，實現逐6 min自動滾動更新十多種災害性天氣短時臨近預報數值定量產品[13]。數值預報模式業務運行和研發需要充足的計算資源和存儲資源。廣東省為區域中心，承擔區域中尺度模式開發任務，天氣模式、氣候系統模式和集合預報等的業務運行和研發，需要計算資源能力達到100萬億次、數據存儲容量達到1 PB。災害性天氣監測預報迫切需要省際觀測資料實時共享。災害性天氣監測預報迫切需要為省、地級預報提供集約化數據環境支撐，確保雷達資料省內3 min省際5 min、自動站資料2 min送達預報員桌面。交互式的天氣預報系統(GIFT)也對信息系統的應用接口提出了高效、簡便訪問的需求，對大數據量的實時交互訪問，提出了秒級的即時響應要求，對網絡支持提出了應用系統間實時交互、即時通信、協同工作的需求。預報預測系統的網絡化趨勢加快，MICAPS、SWAN等應用將陸續推出WEB版本，對于大并發、高集中的數據服務能力提出了更高的要求。

3.3 業務交換中心提出全方位服務

氣象服務通常分為公益氣象服務、應用氣象服務和商業氣象服務。廣東省作為華南氣象區域中心(全國八大氣象區域中心之一)，不僅負責全省范圍和南海海域的天氣預報、警報的制作發布，還要向政府和公眾提供及時有效的氣象服務。近年來，氣象部門著力在提高公共氣象服務能力上下功夫，服務手段不斷豐富，服務渠道不斷拓寬，服務機制不斷健全，服務能力不斷增強，服務成效愈加顯著。目前基本形成“政府主導、部門聯動、社會參與”的公共氣象服務機制，建立了以廣東為區域中心的華南氣象災害聯防工作機制。服務領域已覆蓋工業、農業、能源、交通、海洋、環境、旅游等領域。目前，全省每天接收氣象服務的公眾已超過6 000萬人次，其中每天接收手機氣象短信的固定用戶達1 590萬。據省社科院省情調查研究中心民意調查結果顯示，氣象服務群眾滿意度在廣東省40個政府公共服務部門中連續3年名列前茅。“廣東天氣”官方微博在2011年新浪微博風云榜“政府影響力排行”中位居全國第3位。氣象信息已成為公眾日常生活的“必需品”，對提高老百姓生活質量發揮了重要作用。提高公共氣象服務水平，需要不斷加強氣象信息網絡系統能力建設和利用自有資源和社會資源的能力。在信息發布手段、時效和覆蓋范圍，重大災情收集與信息上傳的有效性、時效性，以及預報預測產品和氣象頻道信息傳輸等方面需要更多樣化的解決思路。農業氣象、交通氣象等專業氣象的發展對各種觀測資料和預報產品的需求越來越高；專業氣象服務用戶面廣、量大，對服務產品分發方式和時效提出了更高的要求。

4 結束語

IBUS氣象信息服務系統建設完成后，可以實現資源及信息管理集中化[14]，統一部署，統一管理，統一運行，統一維護。通過數據總線實現氣象信息的集中共享，快速處理和分發；通過業務門戶網站實現氣象信息服務門戶化；通過綜合業務管理實現統一監控；通過基礎設施整合實現氣象部門綠色信息中心；通過氣象信息服務總線，實現省內氣象資料的自由、自助共享；通過數據中心的建立開展氣象云計算平臺的研究及應用，最終建立廣東省“智慧”氣象數據中心。構建省、地、縣三級的全流程協作和監視環境，省級各業務單位之間互聯互通，在邏輯上形成唯一的“業務交換中心”，為省級的主要氣象業務提供“集中的”基礎設施框架。

[1] 燕東渭,陳高峰,楊銀見,等.基于SDH線路的省級氣象寬帶網設計[J].計算機系統應用，2008(3):15-18.

[2] 李宏力.計算機網絡綜合布線系統[M].北京:清華大學出版社,2003:221-226.

[3] 王 能.計算機網絡原理[M].北京:電子工業出版社,2002:181-186.

[4] 文遠保,張 炫.單調比率調度算法研究及改進[J].計算機工程與科學,2006,28(10):68-70.

[5] 肖 青,楊長興,楊 煉.一種基于遺傳算法的網格任務調度算法[J].計算機技術與發展,2008,18(8):32-34.

[6] 盧 鵬.計算機網絡安全及其防護策略探析[J].硅谷,2009(12):62-63.

[7] 陳宇寒.網格計算技術研究[J].計算機技術與發展,2008,18(5):82-85.

[8] 姜 巍,秦雅娟,劉 穎.基于IPFIX的用戶網絡行為分析系統模型研究[J].計算機技術與發展,2011,21(9):233-236.

[9] 白 濤.網絡化控制系統的性能分析與調度優化[D].上海:上海交通大學，2005.

[10] 王萬良,蔣一波.網絡控制與調度方法及其應用[M].北京:科學出版社,2009.

[11]ZengYujun.Networkedcontrolsystemsbasedonscheduling[J].Control&Automation,2006,22(31):95-96.

[12]SetoD,LehoczkyJP,ShaL,etal.Ontaskscheduleabilityinrealtimecontrolsystems[C]//ProceedingsoftheIEEEreal-timesystemssymposium.Washington,USA:IEEEPress,2006:13-21.

[13]LeeC,LehoczkyJ,SiewiorekD,etal.Ascalablesolutiontothemulti-resourceQoSproblem[C]//ProceedingsoftheIEEEreal-timesystemssymposium.Phoenix,USA:IEEEPress,1999:315-326.

[14]LimD,AnbukyA.Adistributedindustrialbatterymanagementnetwork[J].IEEETransactionsonIndustrialElectronics,2004,51(6):1181-1193.

Method of Shared Data Center of Provincial Meteorology Based on IBUS

LIANG Xin-xiong1,XU Mei-hong1,LUO Sheng-ping2

(1.Meteorological Information Center of Guangdong,Guangzhou 510080,China; 2.South China University of Technology,Guangzhou 510640,China)

The kind of data of meteorological information is various,the format is not unified,and the user needs are not unified,so the concept of Information Buffet Service is proposed.The unified and standardized data environment and basic application platform is built gradually for the province’s meteorological service personnel,developing unified communication system,reducing duplication of the construction of meteorological information resource database,to achieve intensive.Through the interconnection between the various business units,the only “business exchange center” in logic is formed.By the meteorological information service bus,the free and self-help sharing for province meteorological data is realized,which provides “infrastructure focused” with the main meteorological service at the provincial level.

information buffet service；meteorological information service bus；resources solution；data federal

2014-11-13

2015-05-13

時間：2016-04-00

廣東省科技計劃資助項目(2014GZ0028)

梁心雄(1972-)，男，工程師，通訊作者，研究方向為氣象信息網絡。

http://www.cnki.net/kcms/detail/61.1450.TP.20160322.1517.016.html

TP39

A

1673-629X(2016)04-0148-05

10.3969/j.issn.1673-629X.2016.04.033