基于氣象數(shù)據(jù)收集分發(fā)系統(tǒng)的RDBMS設(shè)計分析

周永吉,黃 博，孟祥龍

（1.黑龍江省氣象數(shù)據(jù)中心，黑龍江 哈爾濱 150030；2.呼蘭區(qū)氣象局，黑龍江 哈爾濱 150500）

1 引言

氣象數(shù)據(jù)收集與分發(fā)系統(tǒng)簡稱CTS，是全國氣象數(shù)據(jù)在傳輸與共享過程中的主體承載系統(tǒng)， 不但承擔(dān)從基層臺站到省級節(jié)點再到國家級節(jié)點的縱向通信業(yè)務(wù)，也承擔(dān)省際之間的數(shù)據(jù)傳輸共享業(yè)務(wù)，這使得其中衍生的氣象觀測數(shù)據(jù)及各尺度產(chǎn)品在量級上呈現(xiàn)指數(shù)倍增長，對后臺數(shù)據(jù)庫的壓力與需求巨大，傳統(tǒng)的數(shù)據(jù)存儲管理技術(shù)力有不逮， 因此建立在RDBMS（關(guān)系數(shù)據(jù)庫管理系統(tǒng)）基礎(chǔ)上的合理設(shè)計顯得尤為重要[1]。 在數(shù)據(jù)庫整體設(shè)計上，對于收發(fā)信息、節(jié)目表、處理日志、用戶信息、管理信息、統(tǒng)計信息以及各種數(shù)據(jù)字典等，采用RDBMS 進(jìn)行存儲，RDBMS設(shè)計的好壞直接關(guān)系到系統(tǒng)執(zhí)行的效率和系統(tǒng)的穩(wěn)定性。 在軟件開發(fā)過程中，數(shù)據(jù)庫設(shè)計應(yīng)遵循必要的數(shù)據(jù)庫范式理論，以確保數(shù)據(jù)的一致性與完整性，同時也要適當(dāng)增加冗余，達(dá)到以空間換時間的目的，提高數(shù)據(jù)庫的運行效率。

2 RDBMS分布式管理

在數(shù)據(jù)收集分發(fā)系統(tǒng)數(shù)據(jù)庫的總體建設(shè)上引入了Oracle 關(guān)系數(shù)據(jù)庫技術(shù)， 關(guān)系型數(shù)據(jù)可以滿足氣象數(shù)據(jù)以及各類日志數(shù)據(jù)、 信息數(shù)據(jù)在子數(shù)據(jù)庫的結(jié)構(gòu)層面能夠保持清晰的邏輯關(guān)系， 同時在面向用戶的過程中又能完整呈現(xiàn)。 在前臺用戶的眼中，Oracle RDBMS 的存儲架構(gòu)是不可見的， 是一個整體，因此對于軟件層面的調(diào)度完全可以看做是對單一數(shù)據(jù)庫的操作， 而實際上后臺的多個子庫則在Oracle RDBMS 的合理設(shè)計下協(xié)調(diào)運作，保證子庫間相對獨立安全的數(shù)據(jù)環(huán)境，從而可以做到邏輯嚴(yán)密、架構(gòu)清晰、協(xié)調(diào)統(tǒng)一、安全獨立。

3 設(shè)計原則與容量評估

針對氣象數(shù)據(jù)收集與分發(fā)系統(tǒng)， 考慮到氣象數(shù)據(jù)的特殊性，在RDBMS 設(shè)計中需要遵守如下幾條原則：

（1）在名稱設(shè)計上，數(shù)據(jù)庫、表、索引等命名要體現(xiàn)氣象要素的規(guī)范性， 從整體設(shè)計上制定統(tǒng)一規(guī)范,并沿用全國， 在面向各級分系統(tǒng)工程師的過程中要有對應(yīng)的詳細(xì)說明，以滿足部署和運維需求。 表名分為兩個部分，中間以下劃線分割。 第一個部分分四種類型，分別為 TB(業(yè)務(wù)表)、TW(監(jiān)控表)、TD(字典表)、TS(統(tǒng)計表)。 第二個部分對數(shù)據(jù)表的具體功能描述，功能分割用下劃線。索引的命名為IDX_表_字段縮寫(字段 1，字段 2……)。

（2）在設(shè)計數(shù)據(jù)的過程中，應(yīng)當(dāng)分析選擇適用的設(shè)計工具。

（3）詳細(xì)調(diào)研分析業(yè)務(wù)特征，對數(shù)據(jù)庫進(jìn)行合理分區(qū)。 并進(jìn)行必要的表單拆分，預(yù)估出合理的表單調(diào)用頻率，拆分設(shè)計。 同時優(yōu)化索引算法[2]。

根據(jù)數(shù)據(jù)收集與分發(fā)系統(tǒng)的業(yè)務(wù)特點以及各種信息在數(shù)據(jù)庫中的存取頻度、存儲生命周期、數(shù)據(jù)的穩(wěn)定性等屬性， 同時也為了增強數(shù)據(jù)庫結(jié)構(gòu)的可讀性， 在設(shè)計過程中RDBMS 從邏輯上被分為4 個子庫，包括：收發(fā)業(yè)務(wù)子庫、配置與系統(tǒng)管理子庫、系統(tǒng)監(jiān)控子庫、統(tǒng)計分析子庫。

以收發(fā)業(yè)務(wù)子庫為例， 其容量估算主要是根據(jù)需求階段對進(jìn)入數(shù)據(jù)收集與分發(fā)系統(tǒng)的數(shù)據(jù)量的調(diào)研，國家級CTS 每天約有200 萬個文件收發(fā)。將數(shù)據(jù)表中每個字段的長度相加，得出每條記錄的大小。 通過記錄數(shù)和記錄大小的乘積， 算出每個數(shù)據(jù)庫表每天的存儲容量， 收發(fā)業(yè)務(wù)子庫每天產(chǎn)生基本數(shù)據(jù)55 G[3]。

同樣的算法加以沿用可以估算出配置與系統(tǒng)管理子庫產(chǎn)生基本數(shù)據(jù)為64 M， 系統(tǒng)監(jiān)控子庫每天產(chǎn)生基本數(shù)據(jù)9 G， 統(tǒng)計分析子庫每天產(chǎn)生基本數(shù)據(jù)883 M。

根據(jù)以上對四個邏輯存儲區(qū)域的容量估算匯總，平均每天增長的容量約為64 G，為了保證數(shù)據(jù)管理的性能，每月清除一次數(shù)據(jù)，這樣數(shù)據(jù)庫的存儲容量為64G/d*30 d=1.9 T，按30%的冗余量，存儲容量約為2.5T[3-5]。

4 結(jié)論

綜上所述， 針對氣象數(shù)據(jù)尤其是海量的觀測數(shù)據(jù)以及數(shù)據(jù)產(chǎn)品，Oracle RDBMS 的存儲架構(gòu)可以有效解決邏輯管理和并發(fā)訪問的業(yè)務(wù)需求， 在結(jié)構(gòu)設(shè)計和容量估算方面加以合理分析， 可以大大提高訪問效率， 從而實現(xiàn)數(shù)據(jù)收集與分發(fā)業(yè)務(wù)系統(tǒng)的高效穩(wěn)定運轉(zhuǎn)。