氣象行業(yè)數(shù)據(jù)中間測(cè)試平臺(tái)的設(shè)計(jì)與開(kāi)發(fā)

曹龍全，蔡 然，吳啟星，劉 葉

(深圳市氣象服務(wù)中心，廣東 深圳 518000)

0 引言

隨著氣象信息化和氣象大數(shù)據(jù)的高速發(fā)展，全國(guó)各地氣象事業(yè)的發(fā)展呈現(xiàn)出高度信息化、集約化的現(xiàn)象。尤其是近年來(lái)，新型智慧城市建設(shè)與智慧氣象建設(shè)進(jìn)一步融合，氣象部門(mén)逐漸開(kāi)發(fā)建立了各種各樣的信息系統(tǒng)[1-4]，同時(shí)也迫切需要吸引更多的社會(huì)力量參與到氣象數(shù)據(jù)的增值服務(wù)與開(kāi)發(fā)中。然而，原有的氣象數(shù)據(jù)及研發(fā)管理模式已經(jīng)無(wú)法適應(yīng)當(dāng)前形式[5-8]：一方面是研發(fā)網(wǎng)絡(luò)與辦公和業(yè)務(wù)網(wǎng)絡(luò)混用、通訊系統(tǒng)監(jiān)控缺失、數(shù)據(jù)的交換機(jī)制不全、研發(fā)與測(cè)試環(huán)境缺乏等現(xiàn)象，都給信息安全的管理帶來(lái)了隱患；另一方面是生產(chǎn)環(huán)境與測(cè)試環(huán)境混用，眾多氣象業(yè)務(wù)系統(tǒng)在開(kāi)發(fā)過(guò)程中直接利用實(shí)際業(yè)務(wù)數(shù)據(jù)，這對(duì)數(shù)據(jù)安全造成了極大的威脅，一旦出錯(cuò)將直接影響實(shí)際業(yè)務(wù)應(yīng)用。因此，當(dāng)前迫切需要開(kāi)展氣象行業(yè)大數(shù)據(jù)采集研發(fā)的中間測(cè)試環(huán)境服務(wù)，搭建一個(gè)有效的中間測(cè)試平臺(tái)，將研發(fā)網(wǎng)絡(luò)與辦公、業(yè)務(wù)網(wǎng)絡(luò)分離，避免測(cè)試數(shù)據(jù)與實(shí)際業(yè)務(wù)數(shù)據(jù)混用，加強(qiáng)系統(tǒng)監(jiān)控，對(duì)維護(hù)氣象業(yè)務(wù)的穩(wěn)定運(yùn)行，保證氣象行業(yè)數(shù)據(jù)的安全，都會(huì)起到積極作用[9-10]。

1 平臺(tái)架構(gòu)設(shè)計(jì)及原則

氣象行業(yè)數(shù)據(jù)中間測(cè)試平臺(tái)(以下簡(jiǎn)稱(chēng)“中試平臺(tái)”)的主要建設(shè)內(nèi)容應(yīng)包括數(shù)據(jù)梳理、數(shù)據(jù)預(yù)處理、建立測(cè)試應(yīng)用庫(kù)和測(cè)試用戶庫(kù)及文件系統(tǒng)、數(shù)據(jù)存儲(chǔ)入庫(kù)(數(shù)據(jù)同步)、數(shù)據(jù)使用規(guī)劃、監(jiān)控系統(tǒng)等6個(gè)部分。

中試平臺(tái)在規(guī)劃和建設(shè)方面遵循了可靠性、安全性、健壯性等原則，具體如下：

可靠性：系統(tǒng)應(yīng)具有完整的可用性，在運(yùn)行期間，需要確保系統(tǒng)故障率低于國(guó)家標(biāo)準(zhǔn)。

安全性：許多檔案資料具有保密性，系統(tǒng)必須能保障數(shù)據(jù)的安全性，防止其被非法獲取或破壞，在存儲(chǔ)過(guò)程中，還應(yīng)在硬件損壞情況下保障數(shù)據(jù)不被破壞，并能快速恢復(fù)系統(tǒng)。

健壯性：本系統(tǒng)需要在發(fā)生各種突發(fā)事件時(shí)均能正常運(yùn)行，支持?jǐn)?shù)據(jù)各種各樣的數(shù)據(jù)的采集和處理，支持多種類(lèi)型的查詢方式，并支持將來(lái)業(yè)務(wù)流程及管理手段的更新。

易用性：系統(tǒng)設(shè)計(jì)中，充分考慮人性化的設(shè)計(jì)思路，包括用戶界面、用戶流程等。

可擴(kuò)展性：系統(tǒng)設(shè)計(jì)中，考慮今后系統(tǒng)的擴(kuò)展性，預(yù)留二次開(kāi)發(fā)的空間，并可根據(jù)需要產(chǎn)生不同的報(bào)表，以達(dá)到系統(tǒng)再次開(kāi)發(fā)增值的目的。

2 技術(shù)路線與功能開(kāi)發(fā)

2.1 平臺(tái)開(kāi)發(fā)語(yǔ)言

本平臺(tái)主要采用Python和JAVA兩種開(kāi)發(fā)語(yǔ)言，兼顧了軟件易用性和數(shù)據(jù)采集、分析效率。Python的設(shè)計(jì)風(fēng)格清晰劃一，這使得Python成為一門(mén)易讀、易維護(hù)，并且被大量用戶所歡迎的、用途廣泛的語(yǔ)言。Python和其他大多數(shù)語(yǔ)言(如C語(yǔ)言)的區(qū)別在于，一個(gè)模塊的界限，完全是由每行的首字符在這一行的位置來(lái)決定的(而C語(yǔ)言是用一對(duì)花括號(hào){}來(lái)確定模塊的邊界，與字符的位置毫無(wú)關(guān)系)。不可否認(rèn)的是，Python通過(guò)強(qiáng)制程序員們縮進(jìn)字符(包括if，for和函數(shù)定義等所有需要使用模塊的地方)，確實(shí)使得程序更加清晰和美觀。另外，Python本身被設(shè)計(jì)為可擴(kuò)充的，并非所有的特性和功能都集成到語(yǔ)言核心。Python提供了豐富的API和工具，以便程序員能夠輕松地使用C語(yǔ)言、C++、Cython來(lái)編寫(xiě)擴(kuò)充模塊。Python編譯器本身也可以被集成到其它需要腳本語(yǔ)言的程序內(nèi)。

本平臺(tái)采用先進(jìn)的數(shù)據(jù)庫(kù)連接池技術(shù)，加快數(shù)據(jù)庫(kù)訪問(wèn)速度并支持多用戶同時(shí)訪問(wèn)：數(shù)據(jù)庫(kù)連接池技術(shù)不必在需要連接時(shí)才建立連接、運(yùn)算完畢后關(guān)閉連接，因而極大地加快了數(shù)據(jù)庫(kù)的訪問(wèn)速度；同時(shí)數(shù)據(jù)庫(kù)連接池支持多線程運(yùn)行，不同的用戶可以使用連接池中不同的連接進(jìn)行數(shù)據(jù)訪問(wèn)，避免個(gè)別用戶占滿連接數(shù)的情況，極大地提高了系統(tǒng)的適應(yīng)性能。此外，本平臺(tái)使用了SSL數(shù)據(jù)安全層密鑰，使數(shù)據(jù)連接更加安全可靠，JAVA語(yǔ)言與APPLICATION SERVER為SSL安全連接提供了自然支持。

2.2 平臺(tái)開(kāi)發(fā)功能

氣象行業(yè)大數(shù)據(jù)采集及中試環(huán)境服務(wù)主要包含兩大系統(tǒng)功能，一是數(shù)據(jù)處理，包括數(shù)據(jù)梳理、數(shù)據(jù)預(yù)處理、建立測(cè)試應(yīng)用庫(kù)和測(cè)試用戶庫(kù)及文件系統(tǒng)、數(shù)據(jù)存儲(chǔ)入庫(kù)(數(shù)據(jù)同步)和數(shù)據(jù)使用規(guī)劃。二是監(jiān)控平臺(tái)建設(shè)，包括接口監(jiān)控子平臺(tái)和硬件監(jiān)控子平臺(tái)。

數(shù)據(jù)處理主要從以下幾個(gè)部分展開(kāi)，一是數(shù)據(jù)梳理，聚集氣象局各個(gè)業(yè)務(wù)系統(tǒng)的相關(guān)數(shù)據(jù)并進(jìn)行詳細(xì)的統(tǒng)計(jì)分析，并且形成數(shù)據(jù)字典，其中包括數(shù)據(jù)的數(shù)量、組成及類(lèi)型等相關(guān)信息。二是數(shù)據(jù)預(yù)處理，根據(jù)數(shù)據(jù)分析的情況，把所有待處理入庫(kù)的數(shù)據(jù)按照數(shù)據(jù)類(lèi)型進(jìn)行歸納整合，并判斷是否需要設(shè)計(jì)新的數(shù)據(jù)表結(jié)構(gòu)；如果需要設(shè)計(jì)新的數(shù)據(jù)表，則將根據(jù)分析結(jié)果設(shè)計(jì)并形成結(jié)構(gòu)清晰、存儲(chǔ)合理且擁有良好數(shù)據(jù)接口的數(shù)據(jù)表結(jié)構(gòu)。三是建立測(cè)試應(yīng)用庫(kù)和測(cè)試用戶庫(kù)及文件系統(tǒng)，即在中試平臺(tái)服務(wù)器上建立測(cè)試數(shù)據(jù)庫(kù)。四是數(shù)據(jù)存儲(chǔ)入庫(kù)(數(shù)據(jù)同步)，其中，氣象局中心庫(kù)數(shù)據(jù)儲(chǔ)存到測(cè)試應(yīng)用庫(kù)，氣象局用戶庫(kù)數(shù)據(jù)儲(chǔ)存到測(cè)試用戶庫(kù)，氣象局文件系統(tǒng)數(shù)據(jù)儲(chǔ)存到文件系統(tǒng)。五是數(shù)據(jù)使用規(guī)劃，對(duì)測(cè)試數(shù)據(jù)庫(kù)的數(shù)據(jù)，前期梳理之后打上標(biāo)簽，業(yè)務(wù)系統(tǒng)使用數(shù)據(jù)需要設(shè)定使用權(quán)限和標(biāo)簽數(shù)據(jù)流向，并進(jìn)行監(jiān)控。

監(jiān)控平臺(tái)建設(shè)包括接口監(jiān)控子平臺(tái)和硬件監(jiān)控子平臺(tái)，其中接口監(jiān)控子平臺(tái)通過(guò)接口調(diào)用數(shù)據(jù)，從而設(shè)定數(shù)據(jù)使用權(quán)限，同時(shí)要根據(jù)前期數(shù)據(jù)梳理階段的數(shù)據(jù)標(biāo)簽進(jìn)行數(shù)據(jù)流向監(jiān)控，數(shù)據(jù)使用各個(gè)環(huán)節(jié)嚴(yán)格把關(guān)，以保證數(shù)據(jù)使用的安全性；硬件監(jiān)控子平臺(tái)通過(guò)第三方監(jiān)控軟件(zabbix)監(jiān)控中試平臺(tái)所有硬件(如服務(wù)器等設(shè)備)的運(yùn)行情況，從而能及時(shí)發(fā)現(xiàn)和處理故障。

氣象行業(yè)大數(shù)據(jù)中間測(cè)試平臺(tái)建設(shè)總體功能如圖1所示。

圖1 中間測(cè)試平臺(tái)建設(shè)總體功能圖Fig.1 Overall function diagram of intermediate test platform construction

3 應(yīng)用實(shí)例與成果檢驗(yàn)

深圳市氣象服務(wù)中心開(kāi)發(fā)建設(shè)了中試平臺(tái)，于2018年投入使用。該中試平臺(tái)為各開(kāi)發(fā)廠商提供了一個(gè)完全封閉的開(kāi)發(fā)測(cè)試環(huán)境。開(kāi)發(fā)廠商必須通過(guò)虛擬云桌面使用中試平臺(tái)，利用接口調(diào)取氣象數(shù)據(jù)，且廠商調(diào)取的數(shù)據(jù)僅能儲(chǔ)存在虛擬云桌面上，因此，整個(gè)開(kāi)發(fā)測(cè)試環(huán)境與外界完全隔離。氣象局通過(guò)zabbix監(jiān)控服務(wù)器的運(yùn)行情況，通過(guò)數(shù)據(jù)監(jiān)控接口監(jiān)控用戶每小時(shí)、每天、每個(gè)月的數(shù)據(jù)調(diào)用量以及調(diào)用的數(shù)據(jù)類(lèi)型等指標(biāo)。

中試平臺(tái)應(yīng)用庫(kù)(ORACLE)數(shù)據(jù)來(lái)源于深圳市氣象局中心庫(kù)，中試平臺(tái)用戶庫(kù)(ORACLE)數(shù)據(jù)來(lái)源于氣象局用戶庫(kù)，中試平臺(tái)應(yīng)用庫(kù)(MYSQL)數(shù)據(jù)來(lái)源于廠商MYSQL數(shù)據(jù)庫(kù)，中試平臺(tái)文件系統(tǒng)數(shù)據(jù)來(lái)源于氣象局文件系統(tǒng)服務(wù)器。

中試平臺(tái)共使用了4臺(tái)服務(wù)器，其中中試平臺(tái)應(yīng)用庫(kù)(ORACLE)和中試平臺(tái)用戶庫(kù)(ORACLE)各占用一臺(tái)，中試平臺(tái)應(yīng)用庫(kù)(MYSQL)和文件系統(tǒng)共同占用一臺(tái)，接口平臺(tái)和監(jiān)控平臺(tái)共同占用一臺(tái)。整個(gè)平臺(tái)的邏輯架構(gòu)如圖2所示。

圖2 中間測(cè)試平臺(tái)邏輯架構(gòu)圖Fig.2 Logical architecture diagram of intermediate test platform

中試平臺(tái)搭建完成投入使用后，軟件開(kāi)發(fā)廠商入駐中試平臺(tái)進(jìn)行開(kāi)發(fā)測(cè)試，需要執(zhí)行申請(qǐng)、調(diào)試、配置接口、測(cè)試(測(cè)試內(nèi)容包括了功能測(cè)試、壓力測(cè)試、回歸測(cè)試、用戶測(cè)試、業(yè)務(wù)流程測(cè)試以及文檔檢查等)、合格判定等步驟。

自2018年中試平臺(tái)建立應(yīng)用以來(lái)，極大提升了氣象大數(shù)據(jù)支撐應(yīng)用和共享服務(wù)能力：一是提升了平臺(tái)業(yè)務(wù)支撐能力，利用中試平臺(tái)規(guī)范各業(yè)務(wù)系統(tǒng)及各開(kāi)發(fā)公司管理模式，實(shí)現(xiàn)“測(cè)試、開(kāi)發(fā)、生產(chǎn)”場(chǎng)景分離，明確數(shù)據(jù)、網(wǎng)絡(luò)權(quán)限管理機(jī)制，嚴(yán)格把控?cái)?shù)據(jù)接口使用規(guī)則，保障全局業(yè)務(wù)系統(tǒng)安全穩(wěn)健運(yùn)行。二是增強(qiáng)了數(shù)據(jù)開(kāi)放共享服務(wù)能力，匯集氣象數(shù)據(jù)資源并進(jìn)行產(chǎn)品整合，融合跨行業(yè)數(shù)據(jù)，建立氣象服務(wù)主題庫(kù)，定制化氣象數(shù)據(jù)產(chǎn)品，協(xié)同創(chuàng)新數(shù)據(jù)共享機(jī)制，推動(dòng)實(shí)現(xiàn)普惠氣象服務(wù)水平，進(jìn)一步提升氣象數(shù)據(jù)使用價(jià)值。三是提高了數(shù)據(jù)智能化應(yīng)用能力，著力將大數(shù)據(jù)、云計(jì)算等技術(shù)運(yùn)用到多維氣象綜合觀測(cè)、精準(zhǔn)氣象預(yù)測(cè)預(yù)報(bào)和高效公共服務(wù)業(yè)務(wù)中，提升氣象數(shù)據(jù)在線加工、挖掘分析能力，將觀測(cè)、預(yù)測(cè)、服務(wù)數(shù)據(jù)與氣象大數(shù)據(jù)云平臺(tái)對(duì)接，實(shí)現(xiàn)硬件“入云”、數(shù)據(jù)“接云”、服務(wù)“云端”的氣象云生態(tài)模式，加快氣象產(chǎn)品智能化應(yīng)用步伐。總的來(lái)說(shuō)，中試平臺(tái)對(duì)內(nèi)實(shí)現(xiàn)了大數(shù)據(jù)規(guī)范化管理，保障基礎(chǔ)平臺(tái)運(yùn)行高效、穩(wěn)定；對(duì)外提升了氣象數(shù)據(jù)使用價(jià)值和數(shù)據(jù)共享服務(wù)能力，打通了氣象數(shù)據(jù)與行業(yè)、科研機(jī)構(gòu)及氣象愛(ài)好者的服務(wù)鏈路。

2019年4月，深圳市某公司為深圳市氣象局緊急開(kāi)發(fā)一個(gè)深圳市城市安全氣象決策支持平臺(tái)，平臺(tái)以現(xiàn)有的氣象觀測(cè)數(shù)據(jù)為基礎(chǔ),為政府相關(guān)部門(mén)應(yīng)對(duì)各類(lèi)氣象災(zāi)害天氣的減災(zāi)防災(zāi)及快速聯(lián)動(dòng)提供決策服務(wù)依據(jù)。該平臺(tái)基于“以風(fēng)險(xiǎn)為中心”的公共安全管理理念，整合各類(lèi)信息資源，并在此基礎(chǔ)上通過(guò)相關(guān)風(fēng)險(xiǎn)評(píng)估最終為城市安全決策、事故應(yīng)急處置提供可靠的信息支撐，涉及數(shù)據(jù)交互、用戶表單存儲(chǔ)、資料分揀、信息識(shí)別等方面的內(nèi)容。該平臺(tái)在開(kāi)發(fā)期間恰逢持續(xù)暴雨天氣過(guò)程，在以往的開(kāi)發(fā)過(guò)程中，此類(lèi)功能開(kāi)發(fā)完成后，需在沒(méi)有天氣過(guò)程的時(shí)候進(jìn)行測(cè)試，以免影響正常的業(yè)務(wù)系統(tǒng)運(yùn)行及數(shù)據(jù)傳輸。由于該平臺(tái)的整個(gè)開(kāi)發(fā)過(guò)程完全在中間測(cè)試平臺(tái)進(jìn)行，且通過(guò)接口調(diào)取測(cè)試庫(kù)數(shù)據(jù)，因此并未受到天氣過(guò)程影響，也并未對(duì)其他業(yè)務(wù)系統(tǒng)造成任何影響，最終從開(kāi)發(fā)到上線用時(shí)不到一周，有效提高了開(kāi)發(fā)效率，同時(shí)也為數(shù)據(jù)傳輸安全等方面的工作起到了極大的保障作用。

4 結(jié)論

氣象行業(yè)數(shù)據(jù)中間測(cè)試平臺(tái)的建立，實(shí)現(xiàn)了數(shù)據(jù)和產(chǎn)品格式的統(tǒng)一化，將專(zhuān)用格式解析為通用格式，由專(zhuān)家級(jí)數(shù)據(jù)利用轉(zhuǎn)變?yōu)楣こ處熂?jí)數(shù)據(jù)利用，在降低數(shù)據(jù)使用門(mén)檻的同時(shí)便于進(jìn)行集中管理；同時(shí)中試平臺(tái)搭建的測(cè)試環(huán)境規(guī)范了數(shù)據(jù)使用和開(kāi)發(fā)流程，有效的解決了數(shù)據(jù)混用的問(wèn)題，為今后更大范圍的數(shù)據(jù)共享、數(shù)據(jù)合作的安全性方面起到了有力的參考作用。該平臺(tái)的成功經(jīng)驗(yàn)，也將向周邊兄弟單位進(jìn)行有效的推廣。

隨著氣象災(zāi)害預(yù)警系統(tǒng)功能模塊的不斷更新和豐富，以及開(kāi)發(fā)上線業(yè)務(wù)系統(tǒng)逐漸增多，中試平臺(tái)無(wú)論在開(kāi)發(fā)環(huán)境的承載量，還是在測(cè)試數(shù)據(jù)承載力和存儲(chǔ)讀寫(xiě)方面的壓力都會(huì)不斷增大。因此，我們還將繼續(xù)開(kāi)展更多中間測(cè)試環(huán)境服務(wù)的升級(jí)，為將來(lái)更加復(fù)雜的開(kāi)發(fā)和測(cè)試業(yè)務(wù)需求做好充分的準(zhǔn)備。