建立面向應用的存儲系統

文/于耳

建立面向應用的存儲系統

文/于耳

上海公安高等專科學校信息化建設進入了快速發展期，大量與公安業務相關的校內信息化應用和培訓平臺推出，使得服務器和存儲需求急劇增長。

我校信息中心多數的服務器系統是基于X86標準化平臺搭建，對于關鍵應用、數據庫交易密集型應用以及系統資源消耗大的應用系統，放在物理機環境中運行；對于業務量存在較大波峰波谷的應用、相對不重要的系統則在虛擬機環境下運行。中心已經部署了50多臺基于2、4路 CPU的物理機和80多臺虛擬機，虛擬機主要運行在12臺4路Intel 75系列CPU服務器上，并配置了64G-192G的大內存。根據我們日常對應用系統性能的統計和分析，服務器處理能力已經不是應用發展的瓶頸，而存儲系統伴隨信息化建設的不斷推進，不斷遭遇到存儲性能、功能上的挑戰。

過去以容量為先的方法已經無法滿足高校應用系統對存儲性能和存儲功能的需求，因此探索出一條適合公安培訓業務特點的校園級數據中心存儲規劃之道，科學地進行存儲選型和規劃，建設能滿足應用需求，真正為應用系統量體打造的存儲系統顯得尤為重要。

目前我校的信息系統硬件邏輯架構示意如圖1所示。目前我校有兩套存儲系統，其中一套是一臺EMS NS960磁盤陣列組成的4 Gb/s FC-SAN存儲環境，配置了15000轉高速FC磁盤；另外一套基于DELL EqualLogic 對等存儲的PS5000E磁盤陣列和PS6000E磁盤陣列合并成一臺存儲構成千兆IP-SAN存儲環境，這兩臺DELL EqualLogic存儲均配置了7200轉大容量SATA磁盤。這兩套存儲為學校130多臺物理和虛擬服務器提供存儲服務。在我校信息化建設中，我們發現存儲系統要解決好如下問題:

（1）存儲的前后端連接技術是否滿足應用對性能不斷增長的需求；

（2）磁盤RAID規劃,如何為不同的應用分配合適的存儲空間；

（3）針對應用不斷變化的需求和運行情況，如何規劃好數據生命周期管理；

（4）如何更有效地為應用分配空間，降低總體采購成本；

（5）如何更好地保護數據；

（6）如何在未來升級或設備、技術更新時保護投資。

存儲前端連接技術

當前如DELL、EMC等存儲廠商的最新產品均提供FCoE接口。從協議報文角度看，這些技術本質上都是運行SCSI數據包，從性能角度和協議效率從低到高依次是1Gb iSCSI、4Gb FC、8Gb FC、10Gb iSCSI、10Gb FCoE。因此從存儲前端連接技術看，大部分業務應該考慮10Gb iSCSI或FcoE接口技術。另外對于少量文件型NAS應用，可以采用廉價的單獨NAS設備，總成本會更低。

存儲后端連接技術

當前主流存儲廠商如EMC、DELL、HDS等均已經放棄了FC技術作為后端存儲連接方法，紛紛采用點對點的SAS技術。我們也注意到，從性能角度1個SAS2.0端口可提供4通路6Gb性能，高達24Gb，也遠遠超越當前主流的4Gb FC磁盤接入速度。從磁盤廠商的公布數據看，FC磁盤和SAS磁盤性能和可靠性是完全相同的，因為我們認為采用SAS2.0技術的新一代后端接入技術是最佳選擇。

存儲磁盤選擇

對磁盤的性能角度看，最重要的就是IO吞吐量。一個IO所用的時間＝尋道時間＋數據傳輸時間。IOPS＝IO并發系數/（尋道時間＋數據傳輸時間），由于尋道時間相對傳輸時間，大幾個數量級，所以影響IOPS的關鍵因素，就是降底尋道時間。而在連續IO的情況下，尋道時間很短，僅在換磁道時候需要尋道。在這個前提下，傳輸時間越少，IOPS就越高。顯然，每秒IO吞吐量＝IOPS乘以平均IO SIZE。IO速率越大，IOPS越高，每秒IO吞吐量就越高。設磁頭每秒讀寫數據速度為V，V為定值，則IOPS＝IO并發系數/（尋道時間＋IO SIZE/V），代入可得每秒I O吞吐量＝I O并發系數乘IO SIZE乘V/（V乘尋道時間＋IO SIZE）。我們可以看出影響每秒I O吞吐量的最大因素，就是IO 速率和尋道時間，IO 速率越大，尋道時間越小，吞吐量越高。從硬盤廠商資料找到不同硬盤的尋道時間，并參考相關存儲廠商的最佳實踐文檔，計算后可以得到IOPS性能，可以得到表1。

因此我們在規劃整套存儲系統時，還應該根據應用對性能需求，規劃合理的高速和低速磁盤配備。

RAID性能分析

磁盤陣列對于磁盤是經過RAID處理，劃分LUN后提供給應用使用的，所以RAID的規劃也是非常重要的。我們以常用的RAID10和RAID5來分析，為了簡化分析過程，我們按照4塊盤為例，不考慮其他因素。

表1 硬盤吞吐性能

根據以上分析，我們認為如果應用對寫性能要求較高，應該盡量分配RAID10空間；如果應用對寫性能要求不高，可以盡量采用RAID5技術，以實現空間最大化。

當然如果僅僅是讀數據，是和RAID級別沒有關系的。如果不考慮RAID保護性的可靠性，我們認為對于某些“只讀”的數據應該盡量存放在RAID5空間中。

圖2 RAID5可以提供更多的有效數據空間

1．讀操作

因為raid5(3數據盤，1個校驗盤)與raid10的磁盤都可以提供服務，所以在讀方面它們基本是沒有差別的。如果是讀為主的應用，我們在選擇這兩張RAID上應該優先考慮RAID5以提供更多的有效數據空間

2．連續寫

連續寫的過程，因為這個時候的校驗是在Cache中完成，如4塊盤的raid5，可以先在內存中計算好校驗，同時寫入3個數據+1個校驗。而raid10只能同時寫入2個數據+2個鏡相。顯然這種應用我們也應該選擇RAID5.

3．離散寫

數據庫大部分操作就是離散寫，如每次寫一個數據塊的數據以及數據庫的REDO LOG等。這種情況對于raid10，我們可以看到，同樣的單個操作，最終raid10只需要2個IO，而raid5需要4個IO。考慮到性能和安全性因素，這種應用我們更應該選擇RAID10。

數據生命周期管理問題

我們發現日常只有不到2 0%的數據被頻繁訪問，超過80%的數據，在最初的幾次訪問后就很少被訪問了，我們的郵件數據尤其如此。因此建立起一套行之有效的數據生命周期管理策略，能夠在業務變化時以簡單的方式自動調整而又不對現有系統造成影響，是存儲建設中必須考慮的問題。

存儲應該能夠提供容量超配功能

作為校園級存儲規劃，不同業務系統統計出來的容量需要和實際差異可能很大，容量超配各廠商已經提出多年,技術上已經成熟，我們認為存儲系統應該配置超配功能，真正實現按需寫入，節約存儲的購買成本，簡化存儲的規劃和部署時間。

如何解決邏輯錯誤和物理錯誤

目前學校已經建立起面向應用的一百多套業務系統，各部門IT技術水平肯定存在差異，這么多系統集中存儲，如何在故障發生后能夠快速恢復數據越發成為存儲系統規劃中的重頭戲。

磁盤陣列廠商提供傳統的快照技術雖然可以有限解決部分人為誤操作以及病毒等邏輯錯誤問題，但大多需要進行復雜的定義或存在碎片問題影響到整體性能，而且快照數量是有限的，無法達成RPO和RTO的數據恢復要求。因此我們希望能夠通過CDP（持續數據保護）的機制實現數據保護，徹底解決邏輯錯誤導致的數據損壞問題。

對于物理錯誤，我們希望建立起有效的容災機制，能夠針對應用的不同級別提供不同的QoS保障，并結合本地的CDP機制避免邏輯錯誤的傳遞問題。

投資保護問題

系統選擇時如何避免系統更新換代時候的斷層式升級和數據遷移的風險，以及如何在新技術出現時可以采用直接或平滑升級，都是校園級存儲中心規劃中要考慮到的問題。

從上面的分析結論可以看出，存儲規劃和選型上，之前以容量為先的方法是無法滿足應用對性能、對功能的需求。因此從存儲前后端連接技術、存儲磁盤選擇、RAID規劃與設計、數據保存和生命周期管理、存儲高級功能、數據高可用、投資保護等角度去考慮問題，以業務需求為出發點，集合存儲系統的架構、配置和軟件功能，才能規劃出更適合學校業務特點滿足業務需要的存儲系統。

另外，無論是校園級數據中心還是針對某些應用建立的單獨存儲系統，都應該具備良好的性能監控能力，及時發現應用造成的帶寬、I/0、延時等問題，并提供統一的圖形化管理功能和常規的匯總報表能力，以利于日常的使用和維護。

(作者單位為上海公安高等專科學校)