高性能氣象數(shù)據(jù)存儲集群及在線擴(kuò)展技術(shù)應(yīng)用

作者簡介：趙春燕（1984—），女， 北京人，工程師，研究方向：高性能計算系統(tǒng)管理維護(hù)、軟件配置管理（E-mail：zhaocy@cma.gov.cn）；孫英銳（1973—），男，河北遷交人，高級工程師，碩士，研究方向：氣象數(shù)據(jù)存儲管理。

摘要：為了滿足氣象數(shù)據(jù)快速增長和高效應(yīng)用的業(yè)務(wù)需求，設(shè)計采用基于SAN和GPFS的高性能存儲集群進(jìn)行數(shù)據(jù)存儲，并隨著數(shù)據(jù)量的快速增長，實現(xiàn)靈活在線擴(kuò)展以滿足數(shù)據(jù)存儲需求。結(jié)合國家級氣象資料存儲檢索系統(tǒng)、省級風(fēng)能資源數(shù)據(jù)庫共享服務(wù)系統(tǒng)和風(fēng)能資源數(shù)值模擬系統(tǒng)的存儲設(shè)計，闡述基于SAN和GPFS技術(shù)的存儲集群架構(gòu)，并重點介紹存儲集群的在線擴(kuò)展技術(shù)的實現(xiàn)。基于SAN和GPFS的存儲集群在線擴(kuò)展技術(shù)包含在線擴(kuò)展服務(wù)器節(jié)點、在線擴(kuò)展存儲容量和在線擴(kuò)展文件系統(tǒng)容量三方面，實現(xiàn)了氣象數(shù)據(jù)存儲系統(tǒng)隨著業(yè)務(wù)數(shù)據(jù)變化的靈活擴(kuò)展，使系統(tǒng)具備優(yōu)秀的擴(kuò)展性和適應(yīng)性。

關(guān)鍵詞：氣象數(shù)據(jù)存儲；存儲集群；SAN；GPFS集群；在線擴(kuò)展

中圖分類號：TP399文獻(xiàn)標(biāo)識碼：A

1引言

隨著氣象事業(yè)和科技水平的迅速發(fā)展，氣象數(shù)據(jù)的種類、數(shù)量也隨之迅速增長，目前氣象數(shù)據(jù)的存儲采用數(shù)據(jù)庫和共享文件系統(tǒng)兩種技術(shù)，根據(jù)數(shù)據(jù)特點和服務(wù)方式將數(shù)據(jù)按照在線、近線和離線三種方式進(jìn)行存儲。由于氣象數(shù)據(jù)種類多、數(shù)量大、格式多樣，除通用數(shù)據(jù)庫、專題數(shù)據(jù)庫存儲的數(shù)據(jù)之外，還有大量的數(shù)據(jù)采用高性能的共享文件系統(tǒng)實現(xiàn)在高速磁盤陣列上的直接在線存儲，以滿足業(yè)務(wù)應(yīng)用、服務(wù)和安全備份的需求。隨著業(yè)務(wù)的不斷豐富，數(shù)據(jù)量呈現(xiàn)快速增長，大量數(shù)據(jù)庫系統(tǒng)也采用高性能共享文件系統(tǒng)作為底層存儲，如何高效的訪問存儲，保障業(yè)務(wù)應(yīng)用的數(shù)據(jù)訪問效率，同時考慮滿足不斷增長的數(shù)據(jù)存儲需求，靈活的在線擴(kuò)展，成為存儲系統(tǒng)設(shè)計和實現(xiàn)中必須考慮的問題。

我國氣象部門應(yīng)用廣泛采用GPFS（General Parallel File System）[1]、NFS（Network File System）[2]等共享文件系統(tǒng)。GPFS是一個可擴(kuò)展、高性能、安全的通用并行文件系統(tǒng)，在性能和安全性上優(yōu)于NFS[3]，結(jié)合SAN（Storage Area Network）[4] 高速高可靠網(wǎng)絡(luò)互聯(lián)技術(shù)，構(gòu)成高性能的數(shù)據(jù)存儲集群[5]，實現(xiàn)大容量數(shù)據(jù)庫存儲和直接的在線存儲，廣泛的應(yīng)用于氣象信息系統(tǒng)數(shù)據(jù)庫、共享數(shù)據(jù)存儲系統(tǒng)建設(shè)中。

針對基于SAN和GPFS的存儲集群架構(gòu)，探討了在數(shù)據(jù)計算和處理能力、存儲容量、文件系統(tǒng)容量變更等三方面的在線擴(kuò)展技術(shù)，對氣象數(shù)據(jù)存儲系統(tǒng)的靈活擴(kuò)展具有重要意義。

2高性能氣象數(shù)據(jù)存儲集群設(shè)計

基于SAN和GPFS的存儲集群物理架構(gòu)包含三層，1）存儲層：高速磁盤陣列；2）SAN存儲網(wǎng)絡(luò)層：冗余鏈路配置的高速SAN存儲區(qū)域網(wǎng)；3）服務(wù)器層：至少兩臺的服務(wù)器作為冗余的數(shù)據(jù)訪問處理節(jié)點。

2.1存儲集群架構(gòu)設(shè)計

2.1.1.物理架構(gòu) 本實例采用三臺服務(wù)器作為集群節(jié)點，配置兩臺冗余SAN光纖交換機(jī)，四臺磁盤陣列。每臺服務(wù)器配置兩塊HBA卡，冗余連接至兩臺SAN交換機(jī)。每臺光纖交換機(jī)配置2個控制器，每個控制器兩個端口，將每個控制器冗余連接到兩臺SAN交換機(jī)。如圖1所示，為存儲集群的物理架構(gòu)，冗余配置保證了在Zone劃分后集群的高可靠性。服務(wù)器節(jié)點間通過以太網(wǎng)連接，服務(wù)器節(jié)點和存儲之間的連接鏈路采用光纖線，磁盤陣列采用高端磁盤陣列，構(gòu)成高性能數(shù)據(jù)存儲管理集群，根據(jù)業(yè)務(wù)數(shù)據(jù)訪問性能需求和磁盤陣列的光纖出口速率，可對集群性能進(jìn)行精細(xì)化分析，在此不詳細(xì)探討。

2.1.2邏輯架構(gòu)

使集群節(jié)點訪問存儲設(shè)備的路徑唯一，需要對連接到SAN中的服務(wù)器和存儲劃分Zone，實現(xiàn)設(shè)備的隔離。Zone劃分好以后，配置GPFS集群，形成邏輯上的存儲集群。存儲集群的邏輯架構(gòu)如圖2所示，GPFS將物理磁盤映射形成虛擬設(shè)備NSD（Network Share Disk），將一個或多個NSD作為邏輯文件設(shè)備掛載到服務(wù)器節(jié)點上提供給文件系統(tǒng)使用。

2.2存儲集群構(gòu)建

2.2.1物理結(jié)構(gòu)配置

1）將三臺服務(wù)器連接至以太網(wǎng)絡(luò)，配置光纖交換機(jī)，配置Domain。

SAN1：Domain為1，SAN2：Domain為2

2）規(guī)劃服務(wù)器節(jié)點和存儲占用的交換機(jī)端口，并按規(guī)則為每個控制器進(jìn)行編號，在交換機(jī)中配置。

（1）服務(wù)器節(jié)點

控制器A：I-SRV-1-A-1：1，1 ；

控制器B：I- SRV-1-B-2：2，1 ；

各項含義為：交換-服務(wù)器-服務(wù)器編號-控制器-Domain：Domain，端口號

（2）磁盤陣列

控制器A：I-DS42-1-A-1：1，4 ；

控制器A：I-DS42-1-A-2：2，4 ；

控制器B：I- DS42-1-B-1：1，5 ；

控制器B：I- DS42-1-B-2：2，5 ；

各項含義為：交換-陣列名稱-陣列編號-控制器-Domain：Domain，端口號

3）物理連線：按照圖1所示結(jié)構(gòu)和端口規(guī)劃，用光纖線連接服務(wù)器、SAN交換機(jī)和磁盤陣列。

4）Zone劃分：創(chuàng)建Zone，并指定該Zone所包含的端口，將Zone添加到配置中，保存配置，并使其生效。

5）LUN Mapping：基于存儲管理軟件，將LUN與集群節(jié)點的端口進(jìn)行綁定，使LUN與主機(jī)建立一對一或者多對一的映射關(guān)系。

2.2.2GPFS集群構(gòu)建

如圖3所示，在物理架構(gòu)搭建后，對各個服務(wù)器節(jié)點做互信配置，并在每個節(jié)點上安裝GPFS軟件包，創(chuàng)建GPFS集群。根據(jù)應(yīng)用需求創(chuàng)建文件系統(tǒng)，提供給文件存儲使用或數(shù)據(jù)庫應(yīng)用，則構(gòu)成GPFS高性能存儲集群。

3存儲集群在線擴(kuò)展技術(shù)

圖2所示GPFS存儲集群的邏輯結(jié)構(gòu)分為三層，服務(wù)器節(jié)點層、文件系統(tǒng)層、磁盤存儲層。GPFS存儲集群的擴(kuò)展包含這三方面：在線擴(kuò)展服務(wù)器節(jié)點、在線擴(kuò)展磁盤容量和在線擴(kuò)展文件系統(tǒng)。

3.1在線擴(kuò)展服務(wù)器節(jié)點

風(fēng)能資源數(shù)值模擬系統(tǒng)[6，7，8]基于SAN和GPFS的集群架構(gòu)，由7臺服務(wù)器節(jié)點構(gòu)成高性能數(shù)據(jù)存儲處理集群，但風(fēng)能資源數(shù)值模擬業(yè)務(wù)涉及大量的計算和數(shù)據(jù)處理，隨著業(yè)務(wù)計算需求的增加，7個節(jié)點的處理能力逐漸顯得不足，需要在不影響現(xiàn)有應(yīng)用的情況下在線擴(kuò)展集群節(jié)點至16個。圖4所示，將G07至G15節(jié)點在線增加至GPFS集群，流程與新建GPFS集群流程相似，如圖5所示，在物理連接配置環(huán)節(jié)，將新增的節(jié)點逐一加入到已有的Zone中，并使配置生效，在集群配置環(huán)節(jié)將節(jié)點增加至集群。集群節(jié)點的擴(kuò)展包括剔除節(jié)點，直接執(zhí)行最后一個環(huán)節(jié)：從GPFS集群刪除節(jié)點操作。

3.2在線擴(kuò)展磁盤容量

國家級氣象資料存儲檢索系統(tǒng)[9，10]（簡稱“存儲系統(tǒng)”）中采用了基于SAN和GPFS的集群架構(gòu)，提供高性能計算機(jī)用戶無法在高性能計算機(jī)上長期在線保存而又需要保存的各類數(shù)據(jù)以及需要備份和歸檔的數(shù)據(jù)。

擴(kuò)容前存儲能力為337.8TB，可用磁盤容量以所有文件系統(tǒng)平均90%為可用上限計算為304.02TB，僅有20TB左右的余量，無法滿足數(shù)據(jù)量的增長，通過在線擴(kuò)展磁盤陣列，實現(xiàn)系統(tǒng)無業(yè)務(wù)影響擴(kuò)容80TB，如圖6所示。

集群中存儲容量的擴(kuò)展，需要將新增的磁盤設(shè)備用光纖連線加入SAN中，并加入Zone的配置使其生效，將LUN與集群中的節(jié)點進(jìn)行綁定。

流程如圖7所示，將已連接集群的該存儲設(shè)備創(chuàng)建為虛擬的NSD，并創(chuàng)建文件系統(tǒng)，分配這些空閑的NSD給掛載的文件系統(tǒng)。

3.3在線擴(kuò)展文件系統(tǒng)容量

省級風(fēng)能資源數(shù)據(jù)庫共享服務(wù)系統(tǒng)[11，12]基于基礎(chǔ)地理信息、風(fēng)能資源專業(yè)觀測網(wǎng)數(shù)據(jù)、詳查區(qū)數(shù)值模擬結(jié)果與綜合評估數(shù)據(jù)，為決策部門、業(yè)務(wù)用戶、行業(yè)用戶以及公眾用戶提供不同層次的風(fēng)能數(shù)據(jù)共享服務(wù)，其數(shù)據(jù)庫存儲基于SAN和GPFS的集群架構(gòu)設(shè)計實現(xiàn)。

表1所示為省級風(fēng)能資源數(shù)據(jù)庫共享服務(wù)系統(tǒng)文件系統(tǒng)容量擴(kuò)展前的參數(shù)值，系統(tǒng)共建立四個文件系統(tǒng)，業(yè)務(wù)流程調(diào)試過程中發(fā)現(xiàn)/dev/gpfs_DB文件系統(tǒng)容量預(yù)估過小，不能滿足應(yīng)用需求，擬在不影響現(xiàn)有系統(tǒng)數(shù)據(jù)存儲的情況下，對系統(tǒng)進(jìn)行調(diào)整。

表2所示調(diào)整后情況，與表1所示調(diào)整前文件系統(tǒng)容量分布比較可以看出，/dev/gpfs_mysql文件系統(tǒng)容量由調(diào)整前的5.5TB縮減為2.2TB，/dev/gpfs_DB文件系統(tǒng)的容量由調(diào)整前的2.2TB，增加至5.5TB，而調(diào)整前后系統(tǒng)總?cè)萘课锤淖儭Ｕ{(diào)整過程在線進(jìn)行，對用戶和應(yīng)用透明，未對現(xiàn)有數(shù)據(jù)發(fā)生影響。

該方法是在線實現(xiàn)容量調(diào)整的，但在實踐中需要注意三點：1）GPFS在刪除磁盤前會自動遷移走該盤上的數(shù)據(jù)，前提是該刪除的磁盤是好的、可用的；2）除去要刪除的磁盤之外，是否剩余足夠的磁盤空間存儲文件系統(tǒng)中的數(shù)據(jù)。3）在執(zhí)行調(diào)整命令后留出一定的時間供GPFS元數(shù)據(jù)同步，防止元數(shù)據(jù)不一致導(dǎo)致的性能下降的問題。

3.4系統(tǒng)擴(kuò)展效果

以上三套系統(tǒng)所采用的基于SAN和GPFS架構(gòu)的存儲集群，其分層的存儲架構(gòu)和靈活的在線擴(kuò)展技術(shù)使得系統(tǒng)具有良好的業(yè)務(wù)適應(yīng)性，能夠提供高效的數(shù)據(jù)存儲訪問，并能夠隨著業(yè)務(wù)需求變化而快速、安全、無縫的擴(kuò)展。

4總結(jié)

本文介紹了國家級氣象資料存儲檢索系統(tǒng)、省級風(fēng)能資源數(shù)據(jù)庫共享服務(wù)系統(tǒng)和風(fēng)能資源數(shù)值模擬系統(tǒng)的存儲架構(gòu)和在線擴(kuò)展的實施，闡述了基于SAN和GPFS技術(shù)的高性能氣象數(shù)據(jù)存儲集群架構(gòu)及其在線擴(kuò)展技術(shù)，實現(xiàn)了存儲集群數(shù)據(jù)處理能力、數(shù)據(jù)存儲容量及文件系統(tǒng)容量隨著氣象數(shù)據(jù)和業(yè)務(wù)需求變化的靈活擴(kuò)展。經(jīng)過實踐的檢驗，該存儲架構(gòu)具備靈活的可擴(kuò)展性和適應(yīng)性，能夠在不影響已有數(shù)據(jù)應(yīng)用服務(wù)的前提下實現(xiàn)在線擴(kuò)展，適用于快速增長的氣象數(shù)據(jù)存儲管理的需求。

參考文獻(xiàn)

[1]楊昕. GPFS文件系統(tǒng)原理和模式IO優(yōu)化方法[J]. 氣象科技，2006，S1：27-28.

[2]張媛， 盧澤新，劉亞萍. NFS over Lustre性能評測與分析[J]. 計算機(jī)工程，2007，（10）：474-475.

[3]楊發(fā)毅，李東升. 典型商用并行文件系統(tǒng)分析[J]. 計算機(jī)與現(xiàn)代化，2006，（5）：5-7.

[4]蔣麗娟. 基于SAN/NAS網(wǎng)絡(luò)架構(gòu)的存儲整合技術(shù)[J]. 計算機(jī)系統(tǒng)應(yīng)用，2011，（11）：155-157.

[5]范中磊. 網(wǎng)絡(luò)存儲技術(shù)漫談之三：集群存儲[J].. 記錄媒體技術(shù)，2010，（3）：52-53.

[6]朱蓉， 何曉鳳， 周榮衛(wèi)，等. 區(qū)域風(fēng)能資源的數(shù)值模擬評估方法[J]. 風(fēng)能，2010，（4）：50-51.

[7]張德， 朱蓉， 羅勇，等. 風(fēng)能模擬系統(tǒng)WEST在中國風(fēng)能數(shù)值模擬中的應(yīng)用[J]. 高原氣象，2008，（1）：202-203

[8]周榮衛(wèi)， 何曉鳳， 朱蓉. MM5/CALMET模式系統(tǒng)在風(fēng)能資源評估中的應(yīng)用[J]. 自然資源學(xué)報，2010，（12）：2101-2102.

[9]沈文海， 趙芳， 高華云，等. 國家級氣象資料存儲檢索系統(tǒng)的建立. 應(yīng)用氣象學(xué)報， 2004，15（6）：727-736.

[10]劉昊鈺，馬強(qiáng)，常飆，等.國家級氣象資料存儲檢索系統(tǒng)監(jiān)視分系統(tǒng)的設(shè)計和實現(xiàn)[J]. 應(yīng)用氣象學(xué)報，2007，（2）：251-254.

[11]王英， 趙建民，陳慧，等. 內(nèi)蒙古風(fēng)能資源數(shù)據(jù)庫共享服務(wù)系統(tǒng)[J]. 電子設(shè)計工程，2012，（17）：32-33.

[12]艾艷，胡英媚，王甫棣，等. 風(fēng)能資源觀測數(shù)據(jù)省級傳輸系統(tǒng)[J]. 氣象與環(huán)境科學(xué)，2010，（4）：75-77.