基于ETL的政務(wù)云氣象數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建①

許皓皓,廉 亮,姚浩立

1(寧波市氣象網(wǎng)絡(luò)與裝備保障中心,寧波 315012)

2(寧波市氣象服務(wù)中心,寧波 315012)

引言

隨著電子政務(wù)這種信息化環(huán)境下的新型政務(wù)模式的不斷深入發(fā)展,采用云計(jì)算模式建設(shè)的各級(jí)地方政府政務(wù)云應(yīng)運(yùn)而生,減輕了各級(jí)政府機(jī)構(gòu)信息化基礎(chǔ)設(shè)施的建設(shè)和運(yùn)維成本,也為解決信息孤島,實(shí)現(xiàn)部門(mén)間信息共享提供了新的可能,給智慧城市 建設(shè)和電子政務(wù)轉(zhuǎn)型發(fā)展提供了全新的路徑和解決方案[1–3].氣象部門(mén)應(yīng)用系統(tǒng)在向政務(wù)云遷移部署過(guò)程中,存在基礎(chǔ)氣象數(shù)據(jù)缺乏,政務(wù)云網(wǎng)絡(luò)安全策略限制導(dǎo)致應(yīng)用系統(tǒng)開(kāi)發(fā)模式單一等諸多問(wèn)題,制約了氣象服務(wù)類應(yīng)用系統(tǒng)的開(kāi)發(fā)方式,以及進(jìn)一步在政務(wù)云部署應(yīng)用的效果,也無(wú)法滿足公眾對(duì)氣象服務(wù)的需求,因此在政務(wù)云上構(gòu)建一套穩(wěn)定可靠的氣象數(shù)據(jù)倉(cāng)庫(kù)非常有必要性.各地氣象部門(mén)在氣象數(shù)據(jù)倉(cāng)庫(kù)和氣象電子政務(wù)建設(shè)和應(yīng)用領(lǐng)域開(kāi)展了大量的研究.薛勝軍等[4]基于Hadoop建立氣象信息數(shù)據(jù)倉(cāng)庫(kù),實(shí)現(xiàn)了海量氣象數(shù)據(jù)文件的分布式存儲(chǔ)、元數(shù)據(jù)管理以及氣象數(shù)據(jù)的查詢;王紅霞等[5]將數(shù)據(jù)倉(cāng)庫(kù)技術(shù)應(yīng)用于氣象數(shù)據(jù),建立氣象數(shù)據(jù)倉(cāng)庫(kù),利用聯(lián)機(jī)分析的快速數(shù)據(jù)統(tǒng)計(jì)和數(shù)據(jù)挖掘的自動(dòng)知識(shí)發(fā)現(xiàn)技術(shù),提取知識(shí)點(diǎn),為氣象服務(wù)等領(lǐng)域提供決策支持;梁文生等[6]根據(jù)電子政務(wù)的特點(diǎn)及其在氣象部門(mén)中的應(yīng)用,對(duì)電子政務(wù)系統(tǒng)的安全性及其實(shí)現(xiàn)進(jìn)行探討并提出解決方案.

政務(wù)云氣象數(shù)據(jù)倉(cāng)庫(kù)建設(shè)需要解決異構(gòu)氣象數(shù)據(jù)集成、數(shù)據(jù)處理和作業(yè)調(diào)度策略自定義,數(shù)據(jù)倉(cāng)庫(kù)運(yùn)維和故障排查等一系列難題,使用開(kāi)源ETL工具的開(kāi)發(fā)模式在功能性、開(kāi)發(fā)成本、靈活性方面具有明顯優(yōu)勢(shì).基于上述背景,本研究基于Kettle對(duì)氣象數(shù)據(jù)ETL流程進(jìn)行建模,并使用Quartz開(kāi)源作業(yè)調(diào)度框架開(kāi)發(fā)作業(yè)調(diào)度系統(tǒng)實(shí)現(xiàn)ETL流程的自動(dòng)化運(yùn)行,構(gòu)建了地方政務(wù)云氣象數(shù)據(jù)倉(cāng)庫(kù),為氣象網(wǎng)站等各類氣象應(yīng)用系統(tǒng)提供了基礎(chǔ)氣象數(shù)據(jù),補(bǔ)齊了氣象應(yīng)用系統(tǒng)大規(guī)模向政務(wù)云遷移部署的數(shù)據(jù)短板,在合理利用電子政務(wù)資源,減輕氣象部門(mén)信息系統(tǒng)運(yùn)維壓力,以及節(jié)能減排方面也擁有良好的實(shí)用性和經(jīng)濟(jì)效益.

1 需求分析和數(shù)據(jù)同步方案選擇

1.1 需求分析

受限于政務(wù)云網(wǎng)絡(luò)訪問(wèn)策略限制,氣象專網(wǎng)數(shù)據(jù)只能單向傳送至政務(wù)云,而部署在政務(wù)云的應(yīng)用系統(tǒng)無(wú)法反向訪問(wèn)氣象專網(wǎng)的數(shù)據(jù),因此只能在氣象專網(wǎng)將數(shù)據(jù)二次轉(zhuǎn)換成XML等中間格式,再通過(guò)FTP等方式推送至政務(wù)云提供給應(yīng)用系統(tǒng)訪問(wèn),這種模式嚴(yán)重制約了應(yīng)用程序的開(kāi)發(fā)方式,給氣象應(yīng)用系統(tǒng)向政務(wù)云遷移和部署制造了巨大阻力,氣象數(shù)據(jù)融入政務(wù)數(shù)據(jù)共享服務(wù)體系參與跨部門(mén)共享也因此無(wú)法實(shí)現(xiàn).為解決這一問(wèn)題提出建設(shè)政務(wù)云氣象數(shù)據(jù)倉(cāng)庫(kù)的解決方案,其目的是為部署在政務(wù)云的各類氣象應(yīng)用系統(tǒng)提供及時(shí)、高效的數(shù)據(jù)服務(wù),在建設(shè)過(guò)程中要解決異構(gòu)氣象數(shù)據(jù)集成、氣象數(shù)據(jù)處理和同步、數(shù)據(jù)倉(cāng)庫(kù)載體搭建等問(wèn)題,同時(shí)提供一套高效實(shí)用的數(shù)據(jù)倉(cāng)庫(kù)監(jiān)控和故障分析解決方案,此外還要對(duì)數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行優(yōu)化,以保證其性能和穩(wěn)定性.詳細(xì)需求描述如下:

1)異構(gòu)數(shù)據(jù)集成:氣象數(shù)據(jù)由觀測(cè)和業(yè)務(wù)生產(chǎn)系統(tǒng)源源不斷產(chǎn)生,存儲(chǔ)在 SQL Server、Oracle、MySQL等多種數(shù)據(jù)源,數(shù)據(jù)倉(cāng)庫(kù)建設(shè)首先要解決這些異構(gòu)氣象數(shù)據(jù)的集成問(wèn)題,實(shí)現(xiàn)異構(gòu)數(shù)據(jù)源和數(shù)據(jù)倉(cāng)庫(kù)載體的無(wú)縫對(duì)接.

2)數(shù)據(jù)自動(dòng)化提取、處理和同步:基于研究環(huán)境氣象數(shù)據(jù)特性,對(duì)各類氣象數(shù)據(jù)進(jìn)行增量數(shù)據(jù)提取,加工處理后通過(guò)靈活的作業(yè)調(diào)度策略自動(dòng)化同步至政務(wù)云數(shù)據(jù)庫(kù)落地,這是數(shù)據(jù)倉(cāng)庫(kù)建設(shè)需要解決的核心問(wèn)題.

3)數(shù)據(jù)倉(cāng)庫(kù)載體搭建:搭建一套高可用高性能的企業(yè)級(jí)數(shù)據(jù)庫(kù)系統(tǒng),支持分布式擴(kuò)展和實(shí)時(shí)副本同步,滿足高吞吐量數(shù)據(jù)集中存儲(chǔ)和讀取的性能要求,為數(shù)據(jù)倉(cāng)庫(kù)提供載體.

4)數(shù)據(jù)倉(cāng)庫(kù)性能優(yōu)化:對(duì)數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)、ETL流程各環(huán)節(jié)進(jìn)行優(yōu)化,提升數(shù)據(jù)倉(cāng)庫(kù)性能和穩(wěn)定性.

5)數(shù)據(jù)倉(cāng)庫(kù)監(jiān)控和故障分析:支持對(duì)數(shù)據(jù)倉(cāng)庫(kù)中各類數(shù)據(jù)ETL流程運(yùn)行狀態(tài)進(jìn)行監(jiān)控,提供完備的日志管理功能,為故障排查提供精準(zhǔn)化信息.

1.2 數(shù)據(jù)同步方案選擇

政務(wù)云氣象數(shù)據(jù)倉(cāng)庫(kù)建設(shè)首先要解決氣象數(shù)據(jù)如何同步至政務(wù)云這一問(wèn)題,通過(guò)研究和比較Oracle Golden Gate、SQL Server發(fā)布訂閱、Kettle ETL 工具集三種主流的數(shù)據(jù)庫(kù)同步解決方案,并且在業(yè)務(wù)環(huán)境進(jìn)行了測(cè)試,得出Kettle ETL工具集在功能性、開(kāi)發(fā)成本、靈活性方面具有明顯優(yōu)勢(shì).三種解決方案技術(shù)特點(diǎn)比較見(jiàn)表1.

表1 三種解決方案技術(shù)特點(diǎn)比較

ETL是企業(yè)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)中實(shí)現(xiàn)異構(gòu)數(shù)據(jù)集成的一種技術(shù)手段,即數(shù)據(jù)抽取(Extract)、轉(zhuǎn)換(Transform)、裝載(Load)的過(guò)程,目的是將分散、零亂、標(biāo)準(zhǔn)不統(tǒng)一的數(shù)據(jù)整合到一起,在數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建中,ETL貫穿于項(xiàng)目始終,是整個(gè)數(shù)據(jù)倉(cāng)庫(kù)的生命線[7–10].Kettle 是構(gòu)建數(shù)據(jù)集成解決方案的一款開(kāi)源ETL 工具,采用Java 語(yǔ)言編寫(xiě),其官方正式名稱是 PDI(Pentaho Data Integration),可以運(yùn)行在 Windows、Linux、Unix 等操作系統(tǒng).Kettle提供豐富的應(yīng)用對(duì)接方式和數(shù)據(jù)輸出接口,可以方便的和各類開(kāi)發(fā)框架和應(yīng)用系統(tǒng)對(duì)接,為數(shù)據(jù)倉(cāng)庫(kù)建設(shè)全流程提供完備的解決方案.

2 基于ETL的數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)與構(gòu)建

2.1 源數(shù)據(jù)分析

數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建前期,需要對(duì)元數(shù)據(jù)環(huán)境進(jìn)行詳細(xì)分析,著力分析元數(shù)據(jù)源類型、數(shù)據(jù)表類型和數(shù)量、數(shù)據(jù)更新特性、數(shù)據(jù)表結(jié)構(gòu)設(shè)計(jì)和數(shù)據(jù)更新比對(duì)項(xiàng)等內(nèi)容,根據(jù)分析結(jié)論為下一步對(duì)數(shù)據(jù)ETL流程建模和作業(yè)調(diào)度策略設(shè)置提供依據(jù).本研究環(huán)境數(shù)據(jù)分析結(jié)論見(jiàn)表2.

2.2 數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)和流程設(shè)計(jì)

基于ETL流程的建模和調(diào)度來(lái)實(shí)現(xiàn)氣象數(shù)據(jù)的整合和同步,解決了異構(gòu)氣象數(shù)據(jù)集成、增量數(shù)據(jù)抽取、數(shù)據(jù)清洗和轉(zhuǎn)換、數(shù)據(jù)載入這些數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建各環(huán)節(jié)涉及的關(guān)鍵問(wèn)題.引入開(kāi)源ETL軟件Kettle來(lái)對(duì)各類氣象數(shù)據(jù)ETL全流程建模,基于Quartz開(kāi)源作業(yè)調(diào)度框架開(kāi)發(fā)作業(yè)調(diào)度系統(tǒng)實(shí)現(xiàn)ETL流程的自動(dòng)化,搭建SQL Server企業(yè)級(jí)集群作為數(shù)據(jù)倉(cāng)庫(kù)載體.政務(wù)云氣象數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)流程如圖1所示.

表2 數(shù)據(jù)環(huán)境分析

圖1 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)流程圖

2.3 氣象數(shù)據(jù)ETL流程建模

本研究基于Kettle來(lái)實(shí)現(xiàn) ETL流程的建模.Kettle支持豐富的數(shù)據(jù)輸入輸出數(shù)據(jù)源,提供圖形界面和可視化建模控件,可以通過(guò)拖拽控件的方式方便地定義數(shù)據(jù)傳輸?shù)耐負(fù)?使用Kettle對(duì)ETL流程建模流程描述如下:

1)新建一個(gè)新的transformation模型,選擇存儲(chǔ)位置并命名,模型創(chuàng)建完畢后將保存為為ktr文件,該文件可直接在Kettle運(yùn)行環(huán)境執(zhí)行或通過(guò)程序調(diào)用;

2)在Kettle主對(duì)象樹(shù)界面進(jìn)行數(shù)據(jù)庫(kù)連接配置,數(shù)據(jù)庫(kù)配置需填寫(xiě)連接類型、連接方式和連接參數(shù)信息,測(cè)試正常后按數(shù)據(jù)庫(kù)名稱保存,該步驟需要將本次ETL流程涉及的數(shù)據(jù)庫(kù)全部配置完畢;

3)通過(guò)拖拽方式新增Kettle可視化對(duì)象,配置完畢保存為ETL步驟,核心步驟主要包括:① 獲取源數(shù)據(jù)表比對(duì)項(xiàng)值;② 獲取數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)表比對(duì)項(xiàng)值;③通過(guò)比對(duì)項(xiàng)聯(lián)合查詢獲取增量數(shù)據(jù);④ 對(duì)數(shù)據(jù)進(jìn)行清洗和轉(zhuǎn)換操作;⑤ 將最終數(shù)據(jù)存入數(shù)據(jù)倉(cāng)庫(kù).

4)通過(guò)Hops節(jié)點(diǎn)連接模塊,創(chuàng)建連接將之前保存的ETL關(guān)鍵步驟有效連接,形成完整的ETL流程拓?fù)?拓?fù)鋭?chuàng)建完畢后運(yùn)行 transformation 模型,Kettle會(huì)顯示本次ETL過(guò)程的執(zhí)行狀態(tài)、執(zhí)行時(shí)間、數(shù)據(jù)量和日志等各類可視化信息,至此ETL模型創(chuàng)建完畢.

2.4 ETL流程自動(dòng)化和作業(yè)調(diào)度策略設(shè)置

通過(guò)Kettle對(duì)ETL流程建模為數(shù)據(jù)倉(cāng)庫(kù)建設(shè)提供了基礎(chǔ),但是仍然沒(méi)有解決ETL流程自動(dòng)化運(yùn)行問(wèn)題.基于Quartz開(kāi)源作業(yè)調(diào)度框架開(kāi)發(fā)數(shù)據(jù)倉(cāng)庫(kù)作業(yè)調(diào)度系統(tǒng),實(shí)現(xiàn)了各類氣象數(shù)據(jù)ETL流程模型的自動(dòng)化,打通了數(shù)據(jù)倉(cāng)庫(kù)建設(shè)的最后一個(gè)環(huán)節(jié).數(shù)據(jù)倉(cāng)庫(kù)作業(yè)調(diào)度系統(tǒng)基于輕量級(jí)的開(kāi)源Java開(kāi)發(fā)框架Spring MVC開(kāi)發(fā),系統(tǒng)提供靈活的作業(yè)調(diào)度規(guī)則,可實(shí)現(xiàn)類Unix系統(tǒng)下Cron作業(yè)調(diào)度器的功能,支持圖形界面配置,同時(shí)提供作業(yè)調(diào)度狀態(tài)監(jiān)控和故障分析等功能.

由于氣象數(shù)據(jù)種類豐富、各類數(shù)據(jù)更新的頻次和數(shù)據(jù)量不盡相同,因此需要詳細(xì)的分析和測(cè)試不同類型數(shù)據(jù)的特性,制定相應(yīng)的作業(yè)調(diào)度策略,否則很可能會(huì)導(dǎo)致數(shù)據(jù)更新延遲和數(shù)據(jù)溢出等問(wèn)題,影響數(shù)據(jù)倉(cāng)庫(kù)更新速度和數(shù)據(jù)服務(wù)質(zhì)量.對(duì)主要?dú)庀髷?shù)據(jù)的特性分析和作業(yè)調(diào)度規(guī)則設(shè)置情況見(jiàn)表3.

表3 數(shù)據(jù)特性分析和作業(yè)調(diào)度規(guī)則設(shè)置

3 關(guān)鍵技術(shù)研究

3.1 數(shù)據(jù)倉(cāng)庫(kù)載體搭建

從性能、穩(wěn)定性、維護(hù)成本等方面考慮選擇SQL Server數(shù)據(jù)庫(kù)集群作為數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)存儲(chǔ)平臺(tái).本研究搭建的SQL Server集群由一臺(tái)域控服務(wù)器、2臺(tái)集群節(jié)點(diǎn)服務(wù)器、SQL Server故障轉(zhuǎn)移群集專用群集資源組組成,其中故障轉(zhuǎn)移群集專用群集資源組包含網(wǎng)絡(luò)名稱、IP地址、數(shù)據(jù)共享盤(pán)、MSDTC共享盤(pán)、仲裁盤(pán)等內(nèi)容.集群內(nèi)服務(wù)器全部采用虛擬服務(wù)器,操作系統(tǒng)按照微軟官方推薦全部安裝Windows Server 2008企業(yè)版,因?yàn)樵摪娌僮飨到y(tǒng)大大簡(jiǎn)化了Windows 故障轉(zhuǎn)移集群的管理維護(hù).SQL Server集群共有兩個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn),正常運(yùn)行時(shí),只有一個(gè)節(jié)點(diǎn)上的SQL Server實(shí)例進(jìn)程在運(yùn)行,此節(jié)點(diǎn)稱為活動(dòng)節(jié)點(diǎn)(Active Node),而另外一個(gè)節(jié)點(diǎn)則稱為被動(dòng)節(jié)點(diǎn)(Passive Node).集群的虛擬網(wǎng)絡(luò)名字總是映射到當(dāng)前活動(dòng)節(jié)點(diǎn)的IP上,保障數(shù)據(jù)庫(kù)服務(wù)不中斷.SQL Server集群內(nèi)部的狀態(tài)信息會(huì)實(shí)時(shí)記載到集群日志和Windows事件瀏覽器中,一旦集群發(fā)生了異常,可以通過(guò)研究這些信息了解系統(tǒng)狀態(tài)變化的全過(guò)程并針對(duì)性的處理.

SQL Server集群是一套成熟的企業(yè)級(jí)數(shù)據(jù)庫(kù)集群解決方案.集群提供了諸如節(jié)點(diǎn)之間心跳檢測(cè)、故障轉(zhuǎn)移策略管理等特性,可以在單臺(tái)集群硬件和軟件故障時(shí)將故障資源從一個(gè)集群節(jié)點(diǎn)轉(zhuǎn)移到另一個(gè)節(jié)點(diǎn),實(shí)現(xiàn)數(shù)據(jù)庫(kù)雙活功能.SQL Server集群支持橫向擴(kuò)展,也可以通過(guò)虛擬服務(wù)器配置提升實(shí)現(xiàn)縱向擴(kuò)展,滿足數(shù)據(jù)倉(cāng)庫(kù)高可用和高性能需求,也為未來(lái)數(shù)據(jù)倉(cāng)庫(kù)的擴(kuò)容和性能提升提供了保障.

3.2 數(shù)據(jù)倉(cāng)庫(kù)優(yōu)化

數(shù)據(jù)倉(cāng)庫(kù)優(yōu)化主要解決的是性能和穩(wěn)定性兩個(gè)問(wèn)題,并且貫穿在數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)和運(yùn)行過(guò)程中,在此過(guò)程中對(duì)ETL流程SQL語(yǔ)句、ETL流程作業(yè)調(diào)度策略、Kettle軟件運(yùn)行和設(shè)置等內(nèi)容和環(huán)節(jié)進(jìn)行了調(diào)整和優(yōu)化,提升了數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的穩(wěn)定性和運(yùn)行效率,優(yōu)化內(nèi)容和優(yōu)化方式描述如下:

1)SQL語(yǔ)句優(yōu)化:對(duì)ETL流程的SQL語(yǔ)句進(jìn)行優(yōu)化,比如控制聯(lián)合查詢數(shù)量,避免在索引列上使用函數(shù)或計(jì)算等操作,同時(shí)注意正確的創(chuàng)建和使用索引.

2)作業(yè)調(diào)度策略優(yōu)化:對(duì)數(shù)據(jù)庫(kù)存儲(chǔ)過(guò)程、ETL流程執(zhí)行計(jì)劃進(jìn)行調(diào)整,避開(kāi)繁忙時(shí)間段,防止長(zhǎng)時(shí)間運(yùn)行或重復(fù)操作造成死鎖等問(wèn)題.

3)Kettle 軟件優(yōu)化:Kettle 軟件基于 Java 語(yǔ)言開(kāi)發(fā),通過(guò)對(duì)軟件運(yùn)行方式和相關(guān)設(shè)置進(jìn)行調(diào)整優(yōu)化,可以大幅提升ETL流程的運(yùn)行效率,主要策略包含:①優(yōu)化JVM運(yùn)行內(nèi)存大小;② 使用大內(nèi)存方式啟動(dòng)Kettle;③ 運(yùn)行緩存設(shè)置盡量大;④ 調(diào)整抽取和載入過(guò)程中記錄集合內(nèi)記錄數(shù)量;⑤ 優(yōu)化增量更新策略盡量縮小輸入數(shù)據(jù)集大小;⑥ 優(yōu)先使用數(shù)據(jù)庫(kù)連接池方式連接.

3.3 數(shù)據(jù)倉(cāng)庫(kù)監(jiān)控和日志管理

數(shù)據(jù)倉(cāng)庫(kù)運(yùn)行過(guò)程中,由于氣象數(shù)據(jù)具有數(shù)據(jù)源多樣,作業(yè)執(zhí)行周期短、數(shù)據(jù)量大、同步規(guī)則復(fù)雜等特征,極易發(fā)生各類故障,因此對(duì)數(shù)據(jù)倉(cāng)庫(kù)ETL過(guò)程的監(jiān)控和日志管理功能非常有必要.本研究在設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)作業(yè)調(diào)度系統(tǒng)時(shí)集成了監(jiān)控和日志管理功能.監(jiān)控和日志管理基于Kettle強(qiáng)大的日志輸出功能開(kāi)發(fā),Kettle提供沒(méi)有日志(Nothing)、錯(cuò)誤日志(Error)、最小日志(Minimal)、基本日志(Basic)、詳細(xì)日志(Detailed)、調(diào)試日志(Debug)、行級(jí)日志(Row level)7種不同級(jí)別的日志輸出,日志記錄詳細(xì)程度依次遞增.在使用Kettle進(jìn)行復(fù)雜的ETL操作時(shí)輸出日志會(huì)非常多且雜亂,可讀性較差,因此需要在日志管理模塊開(kāi)發(fā)過(guò)程中充分利用Kettle分級(jí)日志的功能,不同場(chǎng)景匹配不同的分級(jí)日志,同時(shí)提取常見(jiàn)異常信息關(guān)鍵字建立故障信息指標(biāo)庫(kù),通過(guò)字符匹配和文本截取等技術(shù)手段,精確提取故障日志信息顯示,避免運(yùn)維人員在故障定位過(guò)程中,耗費(fèi)的大量的時(shí)間閱讀無(wú)效日志.監(jiān)控模塊開(kāi)發(fā)依賴日志管理模塊,提取每種數(shù)據(jù)每次ETL過(guò)程的運(yùn)行狀態(tài)信息在作業(yè)調(diào)度系統(tǒng)上直觀的顯示,方便運(yùn)維人員及時(shí)發(fā)現(xiàn)運(yùn)行異常,并結(jié)合日志管理模塊輸出的錯(cuò)誤日志進(jìn)行處置.需要特別關(guān)注的是在數(shù)據(jù)倉(cāng)庫(kù)ETL運(yùn)行過(guò)程中對(duì)Kettle日志輸出進(jìn)行監(jiān)控和抓取會(huì)影響系統(tǒng)的整體性能,因此選擇日志輸出級(jí)別應(yīng)非常審慎,并且在程序獲取日志完畢后要清空日志緩沖區(qū),避免緩沖區(qū)堆積或溢出造成的系統(tǒng)性能異常.

4 應(yīng)用情況

氣象數(shù)據(jù)倉(cāng)庫(kù)的建成為各類氣象應(yīng)用系統(tǒng)向政務(wù)云的遷移和部署提供了完備的基礎(chǔ)氣象數(shù)據(jù)服務(wù).目前數(shù)據(jù)倉(cāng)庫(kù)除了服務(wù)于市級(jí)氣象門(mén)戶網(wǎng)站以外,還為港口航運(yùn)服務(wù)平臺(tái)、決策氣象APP等系統(tǒng)提供數(shù)據(jù)支撐,此外市級(jí)突發(fā)事件預(yù)警信息發(fā)布平臺(tái)等項(xiàng)目的設(shè)計(jì)和開(kāi)發(fā)也基于政務(wù)云氣象數(shù)據(jù)倉(cāng)庫(kù)開(kāi)展,未來(lái)氣象數(shù)據(jù)倉(cāng)庫(kù)將服務(wù)于更多部署在政務(wù)云的氣象服務(wù)和應(yīng)用系統(tǒng).

政務(wù)云氣象數(shù)據(jù)倉(cāng)庫(kù)也為氣象部門(mén)參與電子政務(wù)數(shù)據(jù)交換和共享打下基礎(chǔ).由寧波市政府推動(dòng)的“E寧波”移動(dòng)智慧社管信息系統(tǒng)已與2017年上半年完成了和政務(wù)云氣象數(shù)據(jù)倉(cāng)庫(kù)的對(duì)接,首期對(duì)接項(xiàng)目包含短期預(yù)報(bào)、天氣預(yù)警、實(shí)況觀測(cè)等資料.“E寧波”作為寧波市政務(wù)網(wǎng)格化管理的統(tǒng)一信息工作平臺(tái),將社會(huì)治理的每項(xiàng)工作都能滲透落實(shí)到網(wǎng)格中,及時(shí)解決群眾最關(guān)心、最直接的利益訴求.此外依托于政務(wù)云氣象數(shù)據(jù)倉(cāng)庫(kù),氣象部門(mén)已經(jīng)完成市大數(shù)據(jù)管理局首批政務(wù)數(shù)據(jù)歸集工作,氣象數(shù)據(jù)將服務(wù)于更多社會(huì)治理領(lǐng)域.

5 結(jié)語(yǔ)

政務(wù)云氣象數(shù)據(jù)倉(cāng)庫(kù)實(shí)現(xiàn)了預(yù)報(bào)、預(yù)警、探測(cè)等60余種氣象資料在政務(wù)云的落地,既服務(wù)于部署在政務(wù)云的氣象應(yīng)用系統(tǒng),也為氣象部門(mén)參與政務(wù)數(shù)據(jù)交換提供條件,具有很高的實(shí)用價(jià)值.氣象數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)是一個(gè)持續(xù)性的工作,根據(jù)中國(guó)氣象局氣象信息化行動(dòng)方案,未來(lái)可以在氣象數(shù)據(jù)倉(cāng)庫(kù)部署標(biāo)準(zhǔn)化氣象數(shù)據(jù)服務(wù)接口,改變以數(shù)據(jù)庫(kù)為中心的傳統(tǒng)開(kāi)發(fā)模式,為各類應(yīng)用系統(tǒng)提供標(biāo)準(zhǔn)化的對(duì)接方式.也可以充分利用政務(wù)云已建成的Hadoop大數(shù)據(jù)分析與處理平臺(tái),開(kāi)展氣象大數(shù)據(jù)分析工作,研究氣象大數(shù)據(jù)和其他行業(yè)大數(shù)據(jù)的關(guān)聯(lián)性,應(yīng)用于防災(zāi)減災(zāi)和社會(huì)治理等領(lǐng)域,讓氣象數(shù)據(jù)發(fā)揮更大的現(xiàn)實(shí)價(jià)值.