福建省氣象CIMISS存儲系統(tǒng)擴容的設計

楊志勇 段 卿 朱添福

（福建省氣象信息中心，福建 福州 350001）

[關鍵字] CIM ISS；擴容；ORACLE；氣象

1 引言

新一代天氣雷達信息共享平臺[1]，又稱全國綜合氣象信息共享平臺，其英文標識為：CIM ISS（China Integrated Meteorological Information Service System）。新一代天氣雷達信息共享平臺是氣象發(fā)展規(guī)劃中的重要業(yè)務系統(tǒng)，是新一代天氣雷達數(shù)據(jù)和其它氣象數(shù)據(jù)的采集、處理、管理、分發(fā)和共享的業(yè)務平臺。CIM ISS可通過多種方式實現(xiàn)與各種氣象觀探測數(shù)據(jù)和氣象業(yè)務系統(tǒng)的實時數(shù)據(jù)采集、分發(fā)以及氣象行業(yè)內(nèi)部的高效獲取，同時面向水利、海洋、農(nóng)業(yè)、航空、交通等不同行業(yè)用戶提供數(shù)據(jù)的共享服務。

隨著信息化技術的發(fā)展，氣象業(yè)務信息數(shù)據(jù)采集、處理、共享等平臺的不斷完善和建設，為氣象業(yè)務、應用、科研以及服務提供了豐富的氣象資料。伴隨福建省氣象局（以下稱“省氣象局”）氣象信息數(shù)據(jù)近幾年出現(xiàn)了迅速增長，經(jīng)過多年的信息化建設積累，福建省氣象局新一代天氣雷達信息共享平臺(CIM ISS)上存儲大量信息數(shù)據(jù)，對存儲設備的容量、性能和數(shù)據(jù)安全都提出了更高的要求，同時在數(shù)據(jù)備份上也面臨著同樣的問題。CIM ISS系統(tǒng)未來五年系統(tǒng)數(shù)量仍將持續(xù)高速增長，現(xiàn)有的數(shù)據(jù)存儲平臺在空間容量和性能上都無法滿足未來業(yè)務發(fā)展的需求，故需要對現(xiàn)有的數(shù)據(jù)存儲平臺進行升級改造，以滿足氣象業(yè)務數(shù)據(jù)的存儲的需要。

2 CIM ISS系統(tǒng)的現(xiàn)狀

目前，福建省氣象局現(xiàn)有的CIM ISS平臺基礎硬件支撐平臺部分由20余臺服務器、若干套存儲系統(tǒng)、磁帶庫以及光纖交換機等設備組成，系統(tǒng)架構環(huán)境如圖1所示。

圖1 CIM ISS系統(tǒng)架構圖

數(shù)據(jù)庫系統(tǒng)包含ORACLE-SMDB、ORACLE-BDB兩大平臺數(shù)據(jù)庫系統(tǒng)，每個數(shù)據(jù)系統(tǒng)平臺均部署了兩臺聯(lián)想服務器，通過ORACLERAC技術部署并行數(shù)據(jù)庫。存儲區(qū)域網(wǎng)絡由2臺浪潮DS5100B光纖交換機組成，目前的大部分端口運行帶寬為4Gb/s。存儲系統(tǒng)由1套Inspire EMC CX 480存儲和1套Inspire VNX5300組成。Inspire EMCCX480配置了84塊7.2K的1TB硬盤，通過RAID5（4D+1P）方式配置了多個RAID組，實際可用容量為67T,主要提供給ORACLE-BDB和GPFS使用，Inspire VNX 5300配置了4.5T的可用容量，主要為ORACLE-SMDB提供數(shù)據(jù)存儲。其中，浪潮EMC CX480存儲已分配磁盤LUN中，使用率較高和目前主要為ORACLE BDB和fsys3，fsys3空間已使用79%，ORACLE BDB數(shù)據(jù)庫存儲使用空間達90%。

隨著CIM ISS系統(tǒng)在福建省氣象部門的業(yè)務化和本地業(yè)

務系統(tǒng)對接CIM ISS，CIM ISS平臺中管理和存儲的氣象資料的種類和數(shù)據(jù)量日益增多，現(xiàn)有存儲環(huán)境已無法滿足業(yè)務系統(tǒng)的增長，因此需要對CIM ISS的存儲系統(tǒng)進行擴容，從而提升數(shù)據(jù)存儲和共享服務能力。

3 總體架構設計

圖2 總體架構圖

根據(jù)總體建設需求，總體架構圖2，系統(tǒng)的整體框架設計如下：

3.1 數(shù)據(jù)庫支撐環(huán)境設計

在計算資源池方面，本次設計新增2臺四路服務器，用于BDB數(shù)據(jù)庫平臺使用，搭建Oracle RAC將原有BDB數(shù)據(jù)庫改造遷移至新購置的四路服務器上。

3.2 業(yè)務存儲系統(tǒng)設計

業(yè)務數(shù)據(jù)存儲系統(tǒng)為重要數(shù)據(jù)存儲系統(tǒng)，對系統(tǒng)性能、可靠性及可用性各方面都提出了更高的要求，此次主業(yè)務存儲系統(tǒng)建設，采用先進理念集中存儲，采用分層存儲技術，并配置為統(tǒng)一的核心存儲系統(tǒng)、統(tǒng)一管理業(yè)務數(shù)據(jù)，保證數(shù)據(jù)的集中，同時為未來系統(tǒng)建設打下基礎。各種類型數(shù)據(jù)集中存儲在磁盤陣列中，將數(shù)據(jù)庫存儲空間和文件存儲空間分配獨立的存儲分區(qū)，確保兩類不同特點的數(shù)據(jù)互不爭用存儲資源，特別是存儲緩存資源不會發(fā)生爭用。為保障業(yè)務系統(tǒng)的可靠性，要求業(yè)務存儲系統(tǒng)采用高端四控存儲，可靠性在六個九以上的存儲系統(tǒng)，實現(xiàn)業(yè)務支撐。

目前的RUN文件系統(tǒng)占用空間為4TB，但實際使用率僅為9%，所以可以直接劃分4TB的SSD盤給RUN文件系統(tǒng)，滿足RUN文件系統(tǒng)的業(yè)務需求。其余的GPFS的數(shù)據(jù)存儲空間直接放置在SATA層上，并利用分層技術實現(xiàn)熱點數(shù)據(jù)自動遷移至SSD層，SATA層使用RAID6（6D+2P）配置完陣列后，可用空間可達165TB，剩余的SSD層，可以劃分大約3TB的空間用來做動態(tài)分層，以滿足GPFS的熱數(shù)據(jù)需求。Oracle數(shù)據(jù)庫（BDB）存儲直接使用SSD存儲，SSD層做完RAID 5(4D+1P)后，可用空間可達25.6TB，現(xiàn)有的數(shù)據(jù)庫使用空間為12TB，數(shù)據(jù)庫表空間實際占用的空間不到5TB，所以，在數(shù)據(jù)庫規(guī)劃方面，可以給數(shù)據(jù)庫分配12TB的SSD盤空間，把數(shù)據(jù)庫全部放在SSD盤上運行。

3.3 備份系統(tǒng)擴容

備份系統(tǒng)主要利舊使用現(xiàn)有EMCCX4-480磁盤陣列存儲和TSM備份軟件進行數(shù)據(jù)備份。為保證備份數(shù)據(jù)流速度，數(shù)據(jù)備份采用LANFREE方式，直接從主存儲到備份存儲，充分利用SAN網(wǎng)絡的速度。

4 系統(tǒng)采用的技術路線

4.1 控制器集群技術

信息技術行業(yè)是一個快速發(fā)展的行業(yè)，IT存儲系統(tǒng)產(chǎn)品每年都在迭代更新，產(chǎn)品更新?lián)Q代也比較快，新產(chǎn)品的配置和性能都遠遠優(yōu)于上代產(chǎn)品，且很多軟件硬件版本基本都不一樣。這種情況下傳統(tǒng)的雙控制器存儲，在出現(xiàn)單個控制器故障的情況下，存儲承載業(yè)務系統(tǒng)通過冗余控器雖可以正常保持運行，但所有業(yè)務流量均通過冗余控制器，對控制器性要求更高，此時需要及時對故障控制器進行更換。但更換過程往往會出現(xiàn)軟硬件版本匹配問題，從而故障處理周期將變長，此時單控制器運行存在很大單點故障隱患。尤其是設備使用達到一定年限，各配置模塊和備件的匹配都需要更大的時間成本，也就意味著更長周期的風險持續(xù)。因此，本次業(yè)務存儲使用控制器集群技術，在存儲系統(tǒng)配置了四個控制器，各控制器間通過網(wǎng)狀架構互聯(lián)，提高系統(tǒng)的整體可用性，MPIO自動負載均衡和故障切換技術，可以在某條鏈路出現(xiàn)故障時，自動切換到其它可用通道，并通過高帶寬和低延遲的高性能的背板，將存儲系統(tǒng)統(tǒng)一套高可用，控制器集群技術的架構系統(tǒng)單臺性能遠遠超過了傳統(tǒng)的存儲。

4.2 數(shù)據(jù)分類處理技術

存儲數(shù)據(jù)流上大致可分為控制類數(shù)據(jù)流和數(shù)據(jù)類數(shù)據(jù)流，在數(shù)據(jù)處理器上有ASIC架構和X86架構，兩種處理器各有優(yōu)劣勢。ASIC處理器數(shù)據(jù)流量無需經(jīng)過CPU處理，由集成芯片直接處理數(shù)據(jù)，完成數(shù)據(jù)存取，擁有較高的性能表現(xiàn)，但開發(fā)成本和技術要求高。X86處理器實際則為CPU加操作系統(tǒng)的架構，通過操作系統(tǒng)架構使系統(tǒng)擁有更靈活的編程能力，但如果純依靠CPU計算，資源占用率高，數(shù)據(jù)處理效率較低。因此，在技術選擇與使用上考慮使用ASIC+X86的混合架構，擁有更高的數(shù)據(jù)處理性能的同時，又能夠提供更豐富的業(yè)務功能。

本次存儲系統(tǒng)采用的是磁盤存儲系統(tǒng)，通過ASIC+X86混合工作負載，提升了存儲系統(tǒng)的性能和數(shù)據(jù)存取效率，整個數(shù)據(jù)處理工作過程中，通過ASIC提供數(shù)據(jù)庫類緩存，通過X86提供控制類緩存，避免不必要的資源爭奪，從而提升數(shù)據(jù)存儲效率。

通過數(shù)據(jù)分類，當不同類型的數(shù)據(jù)同時進入存儲控制節(jié)點時，不同的控制器和不同類別的緩存處理不同的工作需求，由于X86架構的控制處理器處理數(shù)據(jù)的控制信息，控制處理器計算出數(shù)據(jù)存放方式和地點后，由ASIC處理器承擔數(shù)據(jù)的實際存儲搬運工作，兩種不同架構的處理器并發(fā)工作，發(fā)揮各自的優(yōu)勢，大大提高了存儲處理數(shù)據(jù)的效率。

4.3 新一代數(shù)據(jù)存儲技術

傳統(tǒng)存儲只能按照單塊物理磁盤為單位，而實際往往需要通過多個磁跨柜的組合，并根據(jù)推薦磁盤最大數(shù)量進行磁盤RAID組的創(chuàng)建，磁盤規(guī)劃方式直接影響存儲的性能和數(shù)據(jù)安全，整個過程對實施部署工程師技術要求較高，很多時候規(guī)劃出來的磁盤組由于磁盤數(shù)量及陣列的要求，都存在一定程度的空間浪費。

新存儲系統(tǒng)采用了全新的新一代數(shù)據(jù)存儲技術，在進行資源池組建的過程中，每個磁盤空間不需要再通過復雜的磁盤規(guī)劃，系統(tǒng)自動將每個物理磁盤劃分成為1G左右的存儲單元小塊，在資源池創(chuàng)建時系統(tǒng)將自動選擇分布于各個磁盤中。

系統(tǒng)根據(jù)不同的磁盤類型，可以將1G的存儲單位放入不同的資源池進行管理，所有業(yè)務系統(tǒng)使用的邏輯卷由存儲資源池中的很多1G存儲塊組成。該管理方式可以提供靈活的存儲空間管理，同時擴容起來也較為簡單，邏輯卷的存儲空間均勻分布在存儲的各塊磁盤上，極大地提升了系統(tǒng)性能和利用率。

通過新一代數(shù)據(jù)存儲技術進行磁盤管理方式，對邏輯卷的擴容變得更加方便，如圖3所示：

圖3 邏輯卷擴容圖

4.4 數(shù)據(jù)分層存儲技術

常見的存儲數(shù)據(jù)加速方式有SSD緩存加速、數(shù)據(jù)分層存儲以及熱點數(shù)據(jù)遷移等技術實現(xiàn)最優(yōu)的數(shù)據(jù)存儲性能，選用哪種技術往往取決于生產(chǎn)實際數(shù)據(jù)環(huán)境特點，以CIM ISS為例，該系統(tǒng)有數(shù)據(jù)庫數(shù)據(jù)和三個文件系統(tǒng)，其中一個RUN文件系統(tǒng)存儲基本為小文件，但存儲頻率高、密度大，對IOPS要求高，基于此文件系統(tǒng)特點，我們選用規(guī)劃SSD存儲層，用于存儲高IO需要的業(yè)務數(shù)據(jù)，其余兩個文件系統(tǒng)則采用大容量NLSAS磁盤方式進行存儲，同時通過配置一部分SSD資源給NLSAS層，通過熱點數(shù)據(jù)遷移功能，將活動數(shù)據(jù)調(diào)整到SSD磁盤上；將不活躍的數(shù)據(jù)存放在NLSAS磁盤上，實現(xiàn)存儲設備的智能分層存儲，使存儲空間需求和性能需求兩者都得到了很好的滿足。

4.5 DG數(shù)據(jù)容災備份技術

Oracle DataGuard是Oracle提供的數(shù)據(jù)災難備份的技術，其原理是利用Oracle歸檔日志文件，將生產(chǎn)環(huán)境的數(shù)據(jù)庫歸檔日志傳輸?shù)綖膫鋽?shù)據(jù)庫，然后在災備數(shù)據(jù)庫服務器上應用這些日志文件，從而使災備數(shù)據(jù)庫與生產(chǎn)數(shù)據(jù)庫保持數(shù)據(jù)一致，在出現(xiàn)生產(chǎn)環(huán)境的災難情況下，可以快速切換到災備環(huán)境為生產(chǎn)提供數(shù)據(jù)庫服務的高可用性的災難備份技術。

DataGuard歸檔日志文件傳輸保護模式有三種，分別為最大保護、最大可用性以及最大性能，可根據(jù)災備環(huán)境以及業(yè)務影響程度進行選擇，最大可用性對主備環(huán)境要求高，若災備主機環(huán)境配置低將直接影響主庫的性能，但數(shù)據(jù)可以保持高度的一致性，最大性能模式是一種異步模式，生產(chǎn)數(shù)據(jù)庫日志歸檔后，傳輸給災備數(shù)據(jù)庫，邏輯備庫模式下，災備數(shù)據(jù)庫接收到日志后將日志轉(zhuǎn)換成SQL語句，然后在災備數(shù)據(jù)庫服務器上執(zhí)行SQL語句實現(xiàn)同步。

5 結(jié)束語

本文針對福建省氣象局CIM ISS存儲系統(tǒng)的需求進行研究分析，設計了整體設計方案。實踐證明，該設計方案具有高性能、高負載能力、靈活性和可擴展性等特點，達到CIM ISS預期的效果，提供高IO的數(shù)據(jù)處理和應用響應能力，確保應用系統(tǒng)和數(shù)據(jù)服務系統(tǒng)的高效運行，可滿足氣象業(yè)務數(shù)據(jù)未來五年內(nèi)的存儲需求。