多渠道氣象服務(wù)數(shù)據(jù)在線平臺的設(shè)計(jì)

胡娟 李游 張立杰 張凱 鄭慧

（作者單位：深圳市氣象局）

采用移動(dòng)互聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)技術(shù)，通過對氣象服務(wù)大數(shù)據(jù)挖掘，對“深圳天氣”品牌多渠道氣象海量數(shù)據(jù)進(jìn)行挖掘及服務(wù)產(chǎn)品實(shí)時(shí)監(jiān)測與分析，實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)再生，提出了“深圳天氣”服務(wù)品牌在線監(jiān)控與服務(wù)數(shù)據(jù)抓取的技術(shù)指標(biāo)，并初步設(shè)計(jì)實(shí)現(xiàn)了多渠道氣象服務(wù)在線管理平臺。

傳統(tǒng)的氣象服務(wù)方式是主動(dòng)為用戶提供氣象信息服務(wù)，其缺點(diǎn)是服務(wù)方式單一，缺乏多方的參與。隨著移動(dòng)互聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)技術(shù)的出現(xiàn)，深圳市氣象局以“深圳天氣”為品牌陸續(xù)推出了微網(wǎng)頁、微博、智能手機(jī)客戶端、微信公眾服務(wù)平臺、深圳臺風(fēng)網(wǎng)、數(shù)據(jù)開放與共享平臺等一系列渠道服務(wù)，充分滿足深圳市民對氣象服務(wù)的多樣性、個(gè)性化的需求，為實(shí)施科技?xì)庀髴?zhàn)略，推進(jìn)精細(xì)化、科學(xué)化管理，提高氣象公眾服務(wù)的品質(zhì)和水平起到了一定的作用。開展多渠道氣象服務(wù)數(shù)據(jù)在線管理平臺建設(shè)，利用信息技術(shù)整合以“深圳天氣”為品牌的公眾服務(wù)多渠道數(shù)據(jù)，實(shí)現(xiàn)各“孤立”系統(tǒng)的服務(wù)數(shù)據(jù)共享，對各渠道數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，可以為提升“智慧氣象”服務(wù)水平提供決策參考。

1 多渠道氣象服務(wù)管理需求分析

1.1 多渠道氣象服務(wù)數(shù)據(jù)在線管理應(yīng)用場景分析

多渠道氣象服務(wù)在線管理平臺以公有云存儲(chǔ)為基礎(chǔ)，以云計(jì)算為處理核心，建立統(tǒng)一規(guī)范化數(shù)據(jù)格式，形成以海量數(shù)據(jù)業(yè)務(wù)支撐的大數(shù)據(jù)平臺，逐步形成氣象信息服務(wù)“云+端”的運(yùn)行模式，并在實(shí)時(shí)處理領(lǐng)域?qū)崿F(xiàn)秒級突破。對微博、微信公眾號（訂閱號）、智能手機(jī)客戶端、WEB網(wǎng)站數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，可以實(shí)現(xiàn)對“深圳天氣”各個(gè)渠道業(yè)務(wù)數(shù)據(jù)實(shí)時(shí)查看與統(tǒng)計(jì)，方便決策者和氣象服務(wù)人員快速做出響應(yīng)，以適應(yīng)移動(dòng)互聯(lián)網(wǎng)服務(wù)對時(shí)效性的要求，而傳統(tǒng)監(jiān)控基本都是對年、月、周、日的頻次進(jìn)行統(tǒng)計(jì)，已經(jīng)不能滿足個(gè)性化的服務(wù)需要，現(xiàn)今需要實(shí)現(xiàn)24 h在線實(shí)時(shí)監(jiān)控以及管理當(dāng)前實(shí)時(shí)變化的統(tǒng)計(jì)數(shù)據(jù)，最終實(shí)現(xiàn)7×24的用戶實(shí)時(shí)行為監(jiān)測和秒級分析。建立各渠道接入站點(diǎn)的運(yùn)營監(jiān)控流量指標(biāo)如UV（訪客數(shù)，在同一天相同的客戶端只被統(tǒng)計(jì)一次）、PV(頁面瀏覽量或點(diǎn)擊量，刷新一次統(tǒng)計(jì)一次)、IP（獨(dú)立IP，同一天內(nèi)相同IP統(tǒng)計(jì)一次）、新舊訪客數(shù)等，同時(shí)，為提供更好的服務(wù)質(zhì)量，建立服務(wù)質(zhì)量指標(biāo)體系，如用戶訪問停留時(shí)間、訪問次數(shù)、訪問深度、跳出頻次等，對此進(jìn)行立體式匯總與分析，如平均停留時(shí)間、平均加載時(shí)間、跳出率等以方便進(jìn)行全局分析，提升產(chǎn)品的質(zhì)量與體驗(yàn)度，增強(qiáng)用戶的使用粘度。加入一定的用戶的行為分析、網(wǎng)站訪客背景分析、鼠標(biāo)點(diǎn)擊行為等高智能的分析功能，為智慧氣象服務(wù)提供決策數(shù)據(jù)支撐。

1.2 數(shù)據(jù)處理及信息流機(jī)制相關(guān)分析

通過對氣象大數(shù)據(jù)平臺的引入，標(biāo)準(zhǔn)化數(shù)據(jù)處理格式，統(tǒng)一數(shù)據(jù)接入，打通氣象業(yè)務(wù)系統(tǒng)與服務(wù)渠道之間的數(shù)據(jù)交換及數(shù)據(jù)格式的轉(zhuǎn)換，建立一體式氣象業(yè)務(wù)服務(wù)總線，對業(yè)務(wù)數(shù)據(jù)進(jìn)行多渠道、多維度、精細(xì)化分析，挖掘出有價(jià)值的業(yè)務(wù)數(shù)據(jù)信息，以應(yīng)對移動(dòng)互聯(lián)網(wǎng)下的“智慧氣象”的需求。多渠道氣象服務(wù)數(shù)據(jù)在線管理平臺支持多種風(fēng)格的數(shù)據(jù)展現(xiàn)方式，使用當(dāng)前流行的線性、柱形、餅狀分析圖，對不同時(shí)段、不同服務(wù)渠道及服務(wù)訪問量分類展示，引入創(chuàng)新風(fēng)格的熱力圖，更加視覺化的展示多渠道氣象服務(wù)頁面不同位置訪問的密度，增強(qiáng)氣象產(chǎn)品服務(wù)特色體驗(yàn)，并能實(shí)時(shí)反映出公眾感興趣的氣象產(chǎn)品，采用大數(shù)據(jù)屏幕方式展現(xiàn)氣象重要業(yè)務(wù)及實(shí)時(shí)數(shù)據(jù)，既符合現(xiàn)代流行的大數(shù)據(jù)展現(xiàn)方式，同時(shí)也方便氣象服務(wù)產(chǎn)品的服務(wù)監(jiān)督。

2 多渠道氣象服務(wù)數(shù)據(jù)在線管理平臺設(shè)計(jì)

2.1 平臺基本功能

多渠道氣象服務(wù)數(shù)據(jù)在線管理平臺以深圳氣象大數(shù)據(jù)平臺為依托，以氣象大數(shù)據(jù)分析為導(dǎo)向，利用大數(shù)據(jù)分析工具，通過獲取微博、微信公眾號（訂閱號）、智能手機(jī)客戶端、WEB網(wǎng)站等渠道獲得實(shí)時(shí)的氣象數(shù)據(jù)及服務(wù)數(shù)據(jù)。平臺應(yīng)具備幾個(gè)功能點(diǎn)：1）多渠道、多維度分析展現(xiàn)氣象產(chǎn)品服務(wù)訪問指數(shù)，并按移動(dòng)互聯(lián)網(wǎng)主流的圖表進(jìn)行展示；2）根據(jù)用戶的特點(diǎn)分析出公眾感興趣的氣象服務(wù)產(chǎn)品，以公眾為導(dǎo)向，智能推送其感興趣的氣象服務(wù)產(chǎn)品，開展基于位置服務(wù)精細(xì)化智能氣象服務(wù)；3）重要業(yè)務(wù)數(shù)據(jù)及實(shí)時(shí)數(shù)據(jù)以大數(shù)據(jù)服務(wù)監(jiān)督展示，數(shù)據(jù)展現(xiàn)方式以通俗、易懂、易用為主，具有一定的科技性；4）智能移動(dòng)終端可訪問平臺開放的氣象服務(wù)后臺；5）結(jié)合智能決策庫，智能的提供氣象服務(wù)產(chǎn)品，對用戶提出與氣象相關(guān)的問題做出科學(xué)合理回復(fù)；6）對各個(gè)氣象服務(wù)渠道按日、周、月進(jìn)行用戶訪問行為分析，總結(jié)氣象服務(wù)的情況，自動(dòng)生成日、周、月報(bào)；7）制定機(jī)器學(xué)習(xí)規(guī)則，分析出歷史氣候和當(dāng)前的氣候變化，提供科學(xué)性分析與總結(jié)。

2.2 平臺體系結(jié)構(gòu)

多渠道氣象服務(wù)數(shù)據(jù)在線管理平臺總體設(shè)計(jì)框架（圖1）在層次上可劃分為基礎(chǔ)層、應(yīng)用支撐層、數(shù)據(jù)層、應(yīng)用層和用戶層。

圖1 多渠道氣象服務(wù)數(shù)據(jù)在線管理平臺結(jié)構(gòu)圖

基礎(chǔ)層：基礎(chǔ)層即平臺所需的基礎(chǔ)設(shè)施，主要包含主機(jī)、存儲(chǔ)、操作系統(tǒng)、網(wǎng)絡(luò)資源、容器云等基礎(chǔ)資源。

應(yīng)用支撐層：應(yīng)用支撐層即平臺運(yùn)行所需的支撐組件，主要包含應(yīng)用中間件、數(shù)據(jù)庫中間件、數(shù)據(jù)共享交換組件、數(shù)據(jù)存儲(chǔ)組件等。

數(shù)據(jù)層：數(shù)據(jù)層即平臺運(yùn)行所需的基礎(chǔ)數(shù)據(jù)資源，主要包含公共服務(wù)渠道數(shù)據(jù)、產(chǎn)品服務(wù)數(shù)據(jù)、智能監(jiān)控?cái)?shù)據(jù)、效能監(jiān)察數(shù)據(jù)、考核展示數(shù)據(jù)等系統(tǒng)所需的數(shù)據(jù)。

應(yīng)用層：應(yīng)用層即平臺建設(shè)實(shí)際展示和應(yīng)用的系統(tǒng)，主要包含數(shù)據(jù)交換接入系統(tǒng)、氣象公眾服務(wù)渠道在線管理系統(tǒng)、氣象產(chǎn)品服務(wù)在線管理系統(tǒng)、公眾服務(wù)智能監(jiān)控系統(tǒng)和公眾服務(wù)效能檢查系統(tǒng)等。

用戶層：用戶層即系統(tǒng)具體涉及的用戶，主要包含系統(tǒng)管理人員、相關(guān)領(lǐng)導(dǎo)、工作人員等。

2.3 系統(tǒng)整體架構(gòu)及技術(shù)選型

基于微服務(wù)的設(shè)計(jì)思路，將業(yè)務(wù)系統(tǒng)按功能拆分成多個(gè)獨(dú)立的服務(wù)，如用戶統(tǒng)一授權(quán)及管理服務(wù)、氣象核心產(chǎn)品服務(wù)、后臺管理服務(wù)、海量數(shù)據(jù)分析與檢索服務(wù)，分布式調(diào)度服務(wù)，分布式文件存儲(chǔ)服務(wù)等等。這些獨(dú)立的服務(wù)運(yùn)行在Docker容器中，各個(gè)服務(wù)之間通過消息中間件（例如KafKa）或RPC通信，服務(wù)治理使用Zookeeper。

圖2 多渠道氣象服務(wù)數(shù)據(jù)在線管理平臺微服務(wù)架構(gòu)

使用這種架構(gòu)（圖2）主要基于以下幾點(diǎn)考慮：1）系統(tǒng)之間的耦合度（包括服務(wù)層與表現(xiàn)層）大大降低，各個(gè)服務(wù)可以獨(dú)立開發(fā)、獨(dú)立部署、獨(dú)立測試，服務(wù)與服務(wù)之間邊界明確；2）系統(tǒng)利于橫向和縱向擴(kuò)展；3）系統(tǒng)中流量分散，可承載更高的負(fù)載；4）服務(wù)的復(fù)用性更高，各個(gè)系統(tǒng)可以共享服務(wù)。

2.4 實(shí)現(xiàn)海量數(shù)據(jù)處理及存儲(chǔ)

首次應(yīng)用氣象大數(shù)據(jù)技術(shù)進(jìn)行設(shè)計(jì)以適應(yīng)未來氣象業(yè)務(wù)的高速發(fā)展，使用分布式數(shù)據(jù)庫HBase對海量數(shù)據(jù)存儲(chǔ)，可以提高數(shù)據(jù)的并發(fā)訪問量，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫提供讀寫分離的方式，但是帶來數(shù)據(jù)延時(shí)；對于越來越多的海量數(shù)據(jù)，傳統(tǒng)數(shù)據(jù)庫采用的是分庫分表，實(shí)現(xiàn)起來比較復(fù)雜，后期需要不斷進(jìn)行數(shù)據(jù)遷移維護(hù)；高可用和伸縮性方面，傳統(tǒng)數(shù)據(jù)庫采用的是主備、主從、多主的解決方案，增加節(jié)點(diǎn)和宕機(jī)需要進(jìn)行數(shù)據(jù)遷移。對于上述問題，分布式數(shù)據(jù)庫HBase有一套完善的解決方案，適用于高并發(fā)海量數(shù)據(jù)存取的需求。使用分布式計(jì)算對業(yè)務(wù)數(shù)據(jù)進(jìn)行分析計(jì)算，使用ElasticSearch搜索引擎對海量數(shù)據(jù)進(jìn)行檢索，并以圖表形式展現(xiàn)出來。

2.5 實(shí)現(xiàn)多種并行展示方式

通過互聯(lián)網(wǎng)等信息傳播途徑，當(dāng)用戶通過瀏覽器瀏覽網(wǎng)站或網(wǎng)頁時(shí)，與后臺的WEB服務(wù)器和氣象信息數(shù)據(jù)庫服務(wù)器不斷進(jìn)行通信，根據(jù)不同的用戶的不同需求，系統(tǒng)提供以文本、地理信息圖像、三維動(dòng)畫、智能手機(jī)客戶端等多種方式將所需信息展現(xiàn)出來，滿足不同用戶的個(gè)性化需求。

· 提供全新的氣象服務(wù)模式，通過人機(jī)互動(dòng)，以用戶需求、用戶習(xí)慣為向?qū)楣娞峁﹤€(gè)性化氣象服務(wù)；

· 為用戶提供實(shí)時(shí)的氣象信息服務(wù)，提供多維度多渠道數(shù)據(jù)分析；

· 提供更精確的氣象數(shù)據(jù)，讓數(shù)據(jù)更及時(shí)，更精確，適應(yīng)氣象日益增長的氣象業(yè)務(wù)管理需求；

· 提供多渠道的服務(wù)方式，用戶可通過智能手機(jī)客戶端和互聯(lián)網(wǎng)絡(luò)等多種方式獲得精細(xì)化的氣象信息服務(wù)；

· 通過機(jī)器學(xué)習(xí)，記錄用戶操作行為習(xí)慣而提供其關(guān)注的服務(wù)內(nèi)容及數(shù)據(jù)，逐步形成氣象的專家系統(tǒng)，提供更加智能的氣象服務(wù)；

· 建全電子考評機(jī)制，提供科學(xué)化的考評方案；

· 在應(yīng)對重特大應(yīng)急事件時(shí)，更好、更及時(shí)、更精準(zhǔn)地為公眾提供及時(shí)、準(zhǔn)確的信息服務(wù)，同時(shí)為領(lǐng)導(dǎo)提供科學(xué)的公眾氣象決策支持服務(wù)。

2.6 平臺涉及的關(guān)鍵技術(shù)

多渠道氣象數(shù)據(jù)在線管理平臺的建設(shè)涉及到海量數(shù)據(jù)與產(chǎn)品，管理的用戶數(shù)據(jù)是千萬量級，不同的渠道技術(shù)架構(gòu)完全迥異，因此建立多渠道氣象數(shù)據(jù)在線管理平臺需要突破以下關(guān)鍵技術(shù)：1）基于網(wǎng)絡(luò)技術(shù)開發(fā)專用網(wǎng)絡(luò)爬蟲，在不影響渠道服務(wù)性能的情況下采集用戶信息及服務(wù)信息，無需修改渠道源代碼，為用戶行為分析奠定數(shù)據(jù)基礎(chǔ)；2）利用AI技術(shù)開發(fā)客戶行為分析模型，為智能推送服務(wù)提供基礎(chǔ)支持；3）基于并行計(jì)算技術(shù)，實(shí)現(xiàn)多源數(shù)據(jù)采集與同步推送，實(shí)現(xiàn)海量數(shù)據(jù)再分析與展示；4）基于可視化技術(shù)和消息樹技術(shù)解決前臺展示難題，實(shí)現(xiàn)系統(tǒng)不間斷運(yùn)行與監(jiān)控，并提升用戶體驗(yàn)。

3 展望

通過多渠道氣象數(shù)據(jù)在線管理平臺的建設(shè)，將有助于提高公眾獲得信息資源的能力，提供個(gè)性化，多樣化的氣象信息的服務(wù)，及時(shí)滿足公眾的氣象信息的需求，對于當(dāng)今“智慧城市”的建設(shè)，乃至“數(shù)字政府”的建設(shè)起到里程碑的作用。目前，深圳市已實(shí)現(xiàn)突發(fā)事件預(yù)警信息的13種發(fā)布渠道的一鍵式發(fā)布，預(yù)警信息1 min之內(nèi)可服務(wù)于公眾。實(shí)現(xiàn)手機(jī)預(yù)警短信面向公眾最小以街道為單元的分區(qū)精準(zhǔn)靶向發(fā)布，全網(wǎng)短信發(fā)布從原來的8～9 h 提升至2～3 h完成，覆蓋來深漫游用戶。實(shí)現(xiàn)重大天氣電視電臺整點(diǎn)播報(bào)，平安大廈、京基100等高樓外墻視頻播放臺風(fēng)預(yù)警信號，將臺風(fēng)預(yù)警信息推送至全體市民的機(jī)頂盒開機(jī)頁面。

目前多渠道氣象數(shù)據(jù)在線管理平臺還存在很多不足，這些不足和改進(jìn)的思路主要表現(xiàn)在以下幾個(gè)方面：1）缺乏完備的數(shù)據(jù)流監(jiān)管與告警，以雷達(dá)圖為例，作為一份公共產(chǎn)品被各渠道引用，產(chǎn)品一旦在某個(gè)環(huán)節(jié)出現(xiàn)問題，由于加工與傳輸?shù)逆湕l較長，人工快速定位與排除故障周期太長，很容易降低用戶體驗(yàn)，因此需要在平臺對各產(chǎn)品從原始數(shù)據(jù)獲取、產(chǎn)品加工、產(chǎn)品傳輸、前臺調(diào)用等各環(huán)節(jié)進(jìn)行狀態(tài)監(jiān)管并及時(shí)告警，迅速給出故障定位；2）基于大數(shù)據(jù)的客戶畫像還停留在原始階段，各渠道的用戶行為數(shù)據(jù)沒有集中存儲(chǔ)，客戶畫像的特征向量沒有經(jīng)過全面的客觀評估與檢驗(yàn)，下一步需要進(jìn)一步統(tǒng)合用戶行為數(shù)據(jù)，建立統(tǒng)一的客戶行為機(jī)器學(xué)習(xí)模型，在實(shí)踐中加以改進(jìn)；3）平臺還需要在評選用戶最喜歡的產(chǎn)品與服務(wù)上下功夫，按照客戶類型、時(shí)間段、地點(diǎn)等分類動(dòng)態(tài)評選客戶最喜歡的產(chǎn)品排名，為管理者優(yōu)化各渠道的產(chǎn)品和服務(wù)提供決策依據(jù)。

深入閱讀

賀佳佳, 吳蔚, 孫石陽, 2010. 深圳大運(yùn)會(huì)公共氣象服務(wù)建設(shè)芻議.廣東氣象, 32(3): 49-51.

張承福, 1994. 人工神經(jīng)網(wǎng)絡(luò)在天氣預(yù)報(bào)中的應(yīng)用研究. 氣象,20(6): 43-47.

章國才, 2006. 防御和減輕氣象災(zāi)害. 氣象, 3(3): 3-5.