大型數據存儲與管理系統設計與實現

單德華，楊紅艷，孫鴻雁

（遼寧省地震局，沈陽 110031）

0 引言

2006年～2008年中國地震局在1個國家中心和41個省地震局及直屬單位（以下簡稱區域中心）建立了暢通高效的臺站－區域－國家數據流平臺，采用了SAN和NAS的相結合的存儲結構，具有易擴容以及安全容錯存儲機制； 為數據庫集群應用提供了高速、共享、穩定、大容量的共享磁盤存儲；搭建存儲局域網絡，且具有故障自動切換功能。為各業務系統提供了基礎存儲平臺。

國家中心通過150T的SAN+NAS存儲系統、備份系統搭建了臺網中心數據系統的基礎設施，完成了匯集、入庫等數據庫應用系統開發和部署，建成了“十五”觀測數據集成存儲和管理的平臺，每天匯集、存儲、管理的觀測數據量達到35G以上，對1021個測震臺站、超過70個前兆臺站數據進行了匯集和管理，數據庫容量超過1500萬條。

區域中心通過8.5T的SAN+NAS存儲系統搭建了區域中心數據系統的基礎設施，完成了匯集、入庫等數據庫應用系統開發和部署，建成了“十五”區域觀測數據集成存儲和管理的平臺，每個區域中心平均每天匯集、存儲、管理的觀測數據量達到2G以上，對區域內測震臺站和前兆臺站數據進行了匯集和管理，數據庫容量超過30萬條。

大中城市節點、縣級節點和臺站節點采用144G的PC服務器搭建了本節點范圍內的地震觀測儀器數據采集和交換平臺，有條件的節點將本地區及臨近地區的測震實時數據匯集到節點的服務器中，形成虛擬觀測臺網，每個節點平均每天數據流量超過400M。

通過在國家中心和區域中心安裝雙機Oracle數據庫，實現應用集成、綜合共享和數據建模功能；在臺站安裝單機Oracle數據庫用于存放綜合在線監控類數據、前兆觀測數據及其元數據，也可根據需要選擇存放分析預報和研究需要的其它基礎數據（如地震目錄）和產出結果、速報臺所需的測震觀測數據和元數據等；在大中城市節點安裝單機Oracle數據庫用于存放本市及臨近地區的震情和災情數據、地震信息服務系統匯集的綜合信息、應急指揮系統匯集的數據等；在縣節點安裝單機版Oracle數據庫，用于存放本地及臨近地區的震情和災情數據、地震信息服務軟件必要的后臺基礎數據等。在國家中心和區域中心安裝的數據庫采用Oracle10g的RAC技術。

1 數據存儲

在中國地震臺網中心和區域中心部署數據存儲系統，主要包括以下功能：數據存儲、數據管理、數據安全與備份。

1.1 國家中心數據存儲子系統

國家中心數據存儲子系統集成國務院抗震救災指揮部技術系統、國家數字測震臺網中心、國家地震前兆臺網中心、國家地震分析預報系統和國家地震信息網絡中心5個子項目的數據存儲需求。

中國地震臺網中心數據存儲系統拓撲如圖1所示。

圖1 數據存儲系統整體拓撲示意圖

中國地震臺網中心數據存儲系統結構如圖2所示。

圖2 國家中心數據存儲系統結構圖

中國地震臺網中心數據存儲系統設計包括存儲架構設計，磁盤陣列存儲系統設計，備份系統設計三個部分。

數據的存儲訪問模式分為數據庫系統和歸檔文件系統兩類。數據庫系統訪問通過SAN結構來實現，歸檔文件系統訪問通過網絡共享方式實現。

存儲系統各主要技術指標: 存儲系統配置4Gb/s主機接口卡，4Gb/s端口的光纖交換機，4Gb/s端口的磁盤陣列，支持4Gb/s的磁盤通道實現端到端的全4Gb/s光纖通道存儲。

1.2 區域中心數據存儲子系統

區域中心數據存儲子系統拓撲如圖3所示。

圖3 區域中心數據存儲系統整體拓撲示意圖

區域中心中心數據存儲系統包括存儲架構設計，磁盤陣列存儲系統設計，備份系統設計三個部分。

2 數據管理

數據管理主要完成從業務庫（測震、前兆）到信息庫的數據交換和歸檔，數據匯集與管理如圖4所示。

圖4 數據匯集與管理物理結構圖

服務層：不同服務集成在服務網站上，如：元數據查詢、臺站參數查詢、WEBSERVICE訂閱、波形數據等服務，統一集成在服務界面上，地震數據服務層僅負責服務請求和展現。

緩沖、調度層：負責服務調度管理，緩沖文件系統、臨時庫的管理等，數據一般是臨時存儲。為了提高服務的穩定和高效性，引人了調度管理的策略，不同的服務可以有不同的調度管理策略，根據服務性質不通，有不同的緩沖和調度策略。

圖5 國家中心備份系統物理拓撲圖

數據源層: 可以不同的數據源，如不同的數據庫系統、文件系統。

根據實際的業務特點，在國家中心和區域利用備份軟件和磁盤陣列的SnapView鏡像軟件，制定了信息數據庫及其文件系統的備份策略與規劃。國家中心和區域中心具體策略如表1所示。

3 結論

在1個國家中心和41個區域中心采用Oracle RAC雙機系統，具有高可靠性、負載均衡和故障自動切換機制；為海量數據的準實時接收和匯聚的數據提供了可靠的數據容器，大中城市、縣級節點、臺站節點均采用標準版Oracle。

在國家中心和區域中心基于測試和驗證，設計了測震10分鐘等時的數據結構（原始數據格式為512字節），使數據紀錄數縮小為原來的1/200，可提供3個月在線波形數據的高效存儲和有效訪問，采用了基于日期映射的分區技術，BLOB和CLOB存儲類型單獨存儲的策略提高了數據匯集入庫、存儲管理和檢索數據訪問效率。

[1] Ken Henderson.SQL Server 存儲過程、XML和HTML高級指南[M].北京:清華大學出版社,2002,231-238.

[2] Stephen Coffin.Unix系統V第4版參考大全[M].北京:科學出版社,2005,213-217.