某工程數據存儲系統功能性與可靠性分析

劉立杰

(綏中縣水資源辦公室，遼寧 綏中125200)

1 工程概況

遼寧省大伙房水庫輸水工程是遼寧省重點工程項目，該輸水工程是將渾江上桓仁水庫的發電尾水，利用西江、鳳鳴兩座電站作為調節池，由輸水隧洞自流引水至蘇子河匯入大伙房水庫，經大伙房水庫反調節后，經輸水管線為撫順、沈陽、遼陽、鞍山、營口、盤錦6 個城市提供生活用水和工業用水。該工程同時也考慮以后大連市用水需求，是一項惠及超千萬人口的重要民生工程［1］。

2 網絡系統建設內容

大伙房水庫輸水工程建設節點包括沈陽總調度中心、沈陽1 配水站分中心、撫順取水頭部分中心、撫順配水站分中心、沈陽2 配水站分中心、遼陽配水站分中心、鞍山加壓泵站分中心、營盤配水站分中心。信息自動化系統網絡系統建設包括如下內容:

2.1 視頻監控系統

包括攝像機、編碼器、解碼器、矩陣、畫面分割器、監控相關軟件及服務器、配套設備等。

2.2 計算機網絡系統

包括路由器、交換機、網管系統、網絡安全設備等。

2.3 程控交換系統

包括程控交換機、DDN 接入設備等。

2.4 通信電源系統

包括UPS 電源、直流電源設備、蓄電池、高頻開關及其它配套設備。

2.5 存儲系統

包括存儲服務器、磁盤陣列及相關軟件。

2.6 大屏顯示系統

包括顯示屏、切換矩陣及控制設備等。

2.7 其它設備

測試儀表及備品備件。

3 數據存儲系統功能性分析

3.1 SAN 邏輯隔離

SAN 邏輯隔離是指在SAN 交換機上劃分ZONE。進行ZONE 的劃分后，可以將連接在SAN 網絡中的主機從邏輯上劃分為不同的區域，使各區域的設備相互間不能訪問，實現網絡中的主機和設備間相互隔離。ZONE 的劃分對主機及設備來說是透明的，在SAN 交換機上完成相應配置后，主機及設備會“以為”SAN 網絡中只有同一個ZONE 中的幾臺設備，根本沒有其他的設備存在。按大伙房水庫數據存儲系統的訪問安全要求，本次劃分以下ZONE:

3.1.1 業務網MIS 服務器(視頻監控服務器)

MIS 系統與視頻管理服務器復用，所存儲監控視頻數據與其它系統無關，將單獨劃分ZONE 進行隔離以提高安全性。

3.1.2 業務網其它PC 服務器

除MIS 服務器(視頻監控服務器)外，業務網內其它各系統可整合為同一系統，因此可劃分為同一個ZONE。

3.1.3 業務網數據庫服務器

業務網數據庫服務器為IBM 小型機，與WINDOWS 平臺服務器為異構平臺，為防止數據訪問混亂，將業務網數據庫服務器單獨劃分為一個ZONE。

3.1.4 郵件服務器

郵件服務器部署與DMZ 區，需要對其進行隔離以提高安全性，因此將郵件服務器單獨劃分為一個ZONE。

3.1.5 控制網AIX 服務器

控制網與業務網完全物理隔離，因此需要為控制網服務器單獨劃分ZONE，對存儲進行邏輯隔離。

要實現這種SAN 網絡中ZONE 的劃分，主要有2 種方法:①在名字服務器(NameServer)中隔離;②在數據轉發時過濾數據包從而達到隔離。前者被稱為SoftwareZone，后者則被稱為HardwareZone。針對大伙房數據存儲系統的特殊環境(多區服務器共享存儲)情況，將采用HardwareZone。

3.2 多路徑負載均衡

沈陽總調中心服務器通過2 條4GbpsFC 鏈路連接至SAN 交換機，每臺SAN 交換機通過2 條4GbpsFC 鏈路連接至磁盤;沈陽2 備調中心服務器通過1 條4GbpsFC 鏈路連接至SAN 交換機，單臺SAN 交換機通過4 條4GbpsFC 鏈路連接至磁盤。因為在主機與磁盤陣列間存在多條FC 路徑，因此需要在主機上安裝多路徑軟件，多路徑軟件將提供以下2個主要功能:

3.2.1 多路徑選路

為主機和磁盤陣列間提供多條FC 路徑，實現故障保護以提高其可用性。

3.2.2 負載均衡

數據流可以同時分布在主機和磁盤陣列之間的多條路徑上，提高網絡的性能。

當任一條路徑故障時，通過多路徑軟件可以透明地把業務切換到其他路徑上，避免由此導致的業務中斷。

3.3 SAN 資源規劃

為提高磁盤可靠性與訪問性能，需要劃分RAID。劃分RAID 的過程中，要避免使用基于主機的RAID(如Windows 的動態卷或者AIX 的條帶化)，因為這將消耗掉主機大量資源，因此RAID 的劃分由磁盤陣列系統直接完成。各級別RAID 中，RAID0 具有最佳性能，但沒有數據冗余;RAID1 有效可用空間只有實際容量的一半，具有理想的可靠性;因為結合了RAID0 條帶，所以RAID10 比RAID1 的性能更高，有效空間僅一半;RAID5 具有較好的讀取性能和冗余，并且它只需要一個額外的磁盤來提供冗余。除此外，影響RAID 讀數據的關鍵因素還有Cache 大小、Cache 命中率及應用的IO 類型等因素。在同等條件下，RAID5 與RAID10 讀性能本身沒有太大差別，但是對于寫數據的一些應用，尤其是小I/O 頻繁寫入的一些應用，如OA、郵件等系統，RAID10 相比RAID5 性能要更好一些。而大型文件存儲，如視頻等系統則從空間利用的角度，建議采用RAID5。以上主要基于性能考慮RAID 的規劃，除此以外還需要考慮空間利用率等因素。RAID 磁盤空間劃分需要根據實際系統容量需求，以滿足容量為主進行劃分，在劃分過程中，還應考慮將磁盤IO 盡可能的平均分派給RAID 組中的各個磁盤［2］。

3.4 備份系統分析

磁盤陣列的備份系統只能在數據層對應用系統的數據進行備份，要建成一個完備的備份中心，還需在部署應用軟件時做仔細考慮，并結合有效的管理，才能更有效的保護業務［3］。

3.4.1 備份系統應用場景

磁盤陣列保存了所有重要系統的數據，盡管磁盤陣列系統在硬件設計時己經最大化的考慮了冗余性需求，但是為確保出現緊急情況時數據不丟失，我們還需要部署備份系統。基于磁盤陣列的備份系統主要用于以下場景:

3.4.1.1 單系統故障

當總調中心的某一系統由于服務器損壞等原因宕機時，我們不需要啟用整個備用系統，僅啟用相應的備用服務器，并將數據從備陣列上掛載至備用服務器，此時如果軟件部署模式及網絡訪問條件允許，備用服務器將接管服務。

3.4.1.2 站點故障

當沈陽總調中心因為自然災害、停電或者其它不可抗力因素導致整個站點離線，并且短時間內無法修復系統時，此時啟用沈陽2 備調中心的備份系統，并盡快對總調中心進行修復。

3.4.1.3 陣列故障

當主陣列因為設備故障或者掉電等原因宕機時，此時雖然總調中心應用系統仍然可訪問，但數據無法正常寫入主陣列，因此需要啟用沈陽2 備調中心的備份系統。

3.4.1.4 故障恢復

當主站點恢復，需要接管業務時，需要恢復至主站點繼續業務，此時需要將備陣列上的數據與主陣列進行一次同步，保證故障期間更改數據同步至主陣列，并將備陣列重新降級為備陣列，啟用總調中心備系統。啟用備份系統并不僅是啟用備陣列，而需要軟件與網絡等多個系統的配合。當啟用備陣列，首先需要將存儲空間映射至備用服務器，并保證操作系統正常識別，其次需要備用服務器上的應用軟件能正確識別所有數據，用戶對備用系統軟件的訪問應該正常，用戶訪問備用服務器的網絡應當暢通，如此備份系統才能正確保障業務持續運行。同時，基于磁盤陣列的數據復制并不能保障由于軟件錯誤、人為誤操作時所導致的數據丟失，因此我們建議建立完善的系統管理機制，更有效的規避系統故障風險［4］。

3.4.2 定時復制功能

正常情況下，以沈陽總調中心的磁盤陣列為主陣列，以沈陽2 備調中心磁盤陣列為備陣列，主陣列連接沈陽總調中心服務器，備陣列連接沈陽2 備調中心備用服務器。主陣列正常時，通過IP 網絡向備陣列進行數據復制。當沈陽總調中心出現上節所述情況時，可以自動或者人工干預將沈陽2 備調中心備陣列升級為主陣列。主陣列將自動被標識不可用或降級為備陣列。如果主陣列被標識為降級，則主陣列數據變為只讀，兩臺陣列仍通過IP 網絡連接進行數據數據，但數據流向變為從備陣列向主陣列進行復制。根據本項目中備份數據量及實際帶寬，并考慮設備性能因素，我們將采用設定時間點的復制策略，在主備兩臺磁盤陣列間進行數據復制［5］。

3.4.3 數據一致性

磁盤陣列在進行數據復制過程中還支持快照代理插件，確保在進行數據遠程容災復制過程中的數據一致性，具體的實現原理為:當主機應用程序正常運行時，部分數據并未寫到后端磁盤上，而是駐留在主機內存中。如果此時對磁盤中的數據進行復制操作，就往往會發現某個時間點出來的數據與預期中的數據有不一致的現象。磁盤陣列為用戶提供了快照代理功能，通過安裝在主機上的客戶端軟件，保證了用戶在設定了主備陣列間的數據復制策略后，磁盤陣列在按照指令執行這些操作時會自動與主機端的快照代理聯動，自動通知快照代理將應用程序暫留在內存中的數據“刷”到磁盤上，由此保證了復制出來的數據保持嚴格的數據一致性和數據完整性［4］。

4 數據存儲系統可靠性分析

4.1 設備可靠性分析

大伙房水庫項目中所有PC 服務器、小型機、SAN 交換機及磁盤陣列均對硬件設備的可靠性進行了考慮，主要的設備可靠性將通過如下方式進行保障:

4.1.1 電源冗余

除PC 機及工作站外，所有PC 服務器、小型機及SAN 環境中設備均配置雙電源，并分別連接至獨立的UPS 供電以提高電源可靠性。

4.1.2 本地磁盤冗余

在PC 服務器上對本地硬盤配置RAID1，以提高服務器本地磁盤可靠性，降低操作系統由于磁盤故障的宕機可能，在小型機上為硬盤配置磁盤鏡像或者克隆磁盤，達到與PC 服務器類似功能。

4.1.3 磁盤陣列系統冗余

采用雙電源設計，配置雙控制器以提高控制器冗余性。此外，磁盤陣列的所有關鍵組件，如控制器電池、風扇等均設計為可在線更換式，以減少停機時間。

除硬件可靠性外，所有操作系統均進行安全加固，關閉所有不必要端口、阻斷所有非必須接，以防止人為誤操作故障。

4.2 鏈路可靠性

大伙房水庫內各業務系統的用戶在訪問數據時，依次需要經過大樓局域網、服務器與交換機連接網、服務器與存儲相連的SAN 存儲區域網。對大樓局域網的鏈路保障，由相應網絡系統來進行保障。在后兩段網絡中，通過以下形式進行鏈路可靠性保障:

4.2.1 服務器至交換機連接

沈陽總調中心業務網服務器均通過雙鏈路分別上連至各自所在網絡的兩臺核心交換機，兩條鏈路為主備模式，結合交換機的VRRP 網關進行鏈路保障，兩條鏈路的其中一條為主，當主鏈路故障時，將自動由備份鏈路接管;沈陽總調中心控制網服務器采用與業務網相同的上連模式;沈陽2 備調中心業務網由于僅有一臺核心交換機，因此所有服務器通過雙鏈路上連至同一臺交換機，鏈路部署模式為主備模式;沈陽2 備調中心控制網服務器均通過雙鏈路上連至兩臺控制網核心交換機，鏈路部署模式為主備模式［2］。

4.2.2 SAN 存儲區域網絡

沈陽總調中心所有服務器均采用雙鏈路分別連接至兩臺SAN 交換機，兩臺SAN 交換機通過各自兩條鏈路連接至磁盤陣列，多條鏈路通過安裝在主機端的SAN 客戶端軟件(多路徑軟件)進行選路及負載均衡;沈陽2 備調中心的服務器僅采用單鏈路連接至單臺SAN 交換機，SAN 交換機通過4 條鏈路連接至磁盤陣列，同樣通過SAN 客戶端軟件進行選路。

通過以上設計，數據存儲系統將結合網絡系統的相關鏈路保障技術，最大化保護鏈路，避免鏈路中斷造成的業務訪問中斷。

4.3 數據可靠性

數據可靠性主要針對磁盤陣列所存儲的數據，數據的安全需要從各個層面進行考慮，包括數據的訪問安全、數據的存放、數據的備份等，本系統中主要涉及以下可靠性保障需求:

1)ZONE 的劃分:本系統中存在異構系統(Windows 主機與AIX 主機)與多網數據共存于同一存儲網絡的情況，因此如果不進行邏輯上的隔離，將極大的降低數據的訪問安全性。劃分ZONE 將解決上述問題，提高數據的訪問安全性。有關ZONE 劃分的詳細情況，請參見SAN 邏輯隔離部分內容;

2)磁盤陣列RAID 劃分:磁盤陣列硬件系統本身在設計時己經最大化的考慮了冗余性，保障數據可靠性的主要方法是劃分相應級別的RAID 以防硬盤損壞導致的數據丟失。有關RAID 的規劃，請參見磁盤空間劃分部分內容;

3)Hotspare(熱備)盤:除設置RAID 外，還需要設置Hotspare 盤以備RAID 組中出現硬盤損壞時，損壞盤能由Hotspare 盤自動接管，從而保持RAID 的完整性，進一步降低數據丟失風險;

4)數據備份系統:利用磁盤陣列的IP 復制功能，主備兩臺磁盤陣列可以通過廣域網進行數據的復制與同步。主調中心的數據將在備調中心生成一份副本，在主調中心受損時，可以通過備調中心系統繼續支撐業務運行。磁盤陣列系統的數據復制技術對IP 網絡有很好的適應性，而且提供多種技術(如差量掃描、壓縮等)來提高鏈路帶寬利用率。

通過以上各種數據保障技術，結合嚴格的數據管理及容災計劃，將能有效確保業務數據安全。

4.4 軟件可靠性

沈陽總調中心業務網內部署了包括MIS、GIS、OA、文件及模擬仿真系統在內共五臺服務器(PC 服務器)及一臺數據庫服務器(IBM 小型機)。為保障軟件系統可靠性，在沈陽2 備調中心業務網內為以上除文件服務器外的服務器均設置了備份服務器，當需要啟用備用系統時，可以通過主備倒換操作啟用沈陽2 備調中心備用系統，有關主備倒換的詳情請參見備份系統分析。在沈陽總調中心的控制網內部署兩臺IBM 小型機，用于擔任數據庫服務器。兩臺小型機部署為雙機集群模式，通過IBMHACMP 軟件來實現集群的資源管理與狀態切換。正常應用時，兩臺服務器的數據庫中僅有一臺運行，另一臺處于在線熱備狀態。當一臺數據庫服務器宕機時，HACMP 會自動將宕機服務器的IP 地址、外接存儲等系統資源遷移至備用服務器，并自動啟動備用服務器上的數據庫，繼續提供服務。除此以外，在沈陽2 備調中心還部署同樣結構的兩臺數據庫服務器，當沈陽總調中心出現故障時，可通過啟用沈陽2 備調中心控制網數據庫服務器繼續提供服務。有關其它軟件可靠性設計，可參考備份系統功能分析部分［3］。

5 結 語

通過以上綜合分析，遼寧省大伙房水庫輸水工程信息自動化系統網絡系統建設在數據存儲系統的功能性和可靠性上來看，該數據存儲系統的配備設備和網絡處理具有可行性，是輸水工程信息自動化的關鍵環節，起到著關鍵性作用，為該輸水工程有效解決遼寧省中部地區6 個城市供水問題，促進遼寧省中部地區經濟社會發展起到基礎保障作用。

［1］賀楊.石佛寺水庫3G 視頻監控系統設計與實現［J］.中國水能及電氣化，2014(04):50－53.