網(wǎng)絡(luò)存儲(chǔ)管理系統(tǒng)性能的優(yōu)化

陳廣旭 董啟雄 龔瀛

摘要:存儲(chǔ)架構(gòu)與存儲(chǔ)資源日益的復(fù)雜性,使得系統(tǒng)管理者必須花更大的精力投入到如何更有效的管理存儲(chǔ)資源上。如何設(shè)計(jì)一個(gè)廉價(jià)簡(jiǎn)單易用的存儲(chǔ)管理系統(tǒng)成為存儲(chǔ)界關(guān)注的焦點(diǎn)。本文對(duì)網(wǎng)絡(luò)存儲(chǔ)管理系統(tǒng)性能的優(yōu)化進(jìn)行了探討。

關(guān)鍵詞:網(wǎng)絡(luò)存儲(chǔ) 管理系統(tǒng) 性能優(yōu)化

針對(duì)存儲(chǔ)管理系統(tǒng)的具體應(yīng)用,我們主要從文件系統(tǒng)、網(wǎng)絡(luò)性能和服務(wù)性能方面對(duì)網(wǎng)絡(luò)存儲(chǔ)管理系統(tǒng)進(jìn)行優(yōu)化。

一、網(wǎng)絡(luò)存儲(chǔ)管理系統(tǒng)性能瓶頸

存儲(chǔ)管理系統(tǒng)嵌入在一個(gè)存儲(chǔ)網(wǎng)絡(luò)環(huán)境之中,想知道它的瓶頸必須先了解整個(gè)存儲(chǔ)網(wǎng)絡(luò)系統(tǒng)的結(jié)構(gòu)。存儲(chǔ)網(wǎng)絡(luò)系統(tǒng)由存儲(chǔ)設(shè)備、網(wǎng)絡(luò)設(shè)備和客戶(hù)端主機(jī)三個(gè)部分組成。存儲(chǔ)設(shè)備是指該系統(tǒng)中采用的NAS、SAN、IP-SAN等磁盤(pán)陣列設(shè)備,這些設(shè)備在存儲(chǔ)管理系統(tǒng)的管理下向客戶(hù)端主機(jī)提供服務(wù);網(wǎng)絡(luò)設(shè)備主要是指FC交換機(jī)或以太網(wǎng)交換機(jī);客戶(hù)端主機(jī)是指安裝了以太網(wǎng)卡、FC HBA卡,并安裝了一定應(yīng)用軟件的主機(jī)設(shè)備。

存儲(chǔ)系統(tǒng)的瓶頸分析主要是看這三個(gè)部分中哪一種會(huì)首先達(dá)到其性能的最大值。存儲(chǔ)設(shè)備成為整個(gè)系統(tǒng)的瓶頸,是指存儲(chǔ)設(shè)備的帶寬達(dá)到最大值,或IOPS達(dá)到最大值,存儲(chǔ)設(shè)備限制了系統(tǒng)性能的進(jìn)一步提升,甚至影響了整個(gè)系統(tǒng)的正常運(yùn)行。由于不同業(yè)務(wù)系統(tǒng)對(duì)存儲(chǔ)的性能要求不同,一般小文件(小于1MB)讀寫(xiě)型的系統(tǒng)中對(duì)I/O的要求較高,大文件的讀寫(xiě)型系統(tǒng)對(duì)存儲(chǔ)設(shè)備帶寬的要求比較高。不用應(yīng)用模式下系統(tǒng)對(duì)存儲(chǔ)設(shè)備的要求不同,瓶頸點(diǎn)出現(xiàn)的位置和特點(diǎn)也不一樣。

應(yīng)用模式1:

小型網(wǎng)站系統(tǒng),應(yīng)用大多集中于遠(yuǎn)程用戶(hù)對(duì)WEB頁(yè)面訪問(wèn),網(wǎng)站內(nèi)部為WEB服務(wù)器和數(shù)據(jù)庫(kù)之間的讀寫(xiě),應(yīng)用系統(tǒng)對(duì)存儲(chǔ)的壓力非常小,差不多所有類(lèi)型、所有檔次的存儲(chǔ)設(shè)備都可以作為核心存儲(chǔ),存儲(chǔ)設(shè)備的帶寬和IOPS很難會(huì)達(dá)到極限。在這樣的系統(tǒng)中,與存儲(chǔ)設(shè)備連接的網(wǎng)絡(luò)設(shè)備以太網(wǎng)交換機(jī)和接入網(wǎng)部分的可用帶寬最有可能成為存儲(chǔ)網(wǎng)絡(luò)的瓶頸。

應(yīng)用模式2:

如果該網(wǎng)站是一個(gè)大型的網(wǎng)絡(luò)視頻系統(tǒng),支持大量用戶(hù)在線(xiàn)進(jìn)行視頻節(jié)目播放和下載,這種類(lèi)型的網(wǎng)站前端接入網(wǎng)一般都在2Gb/s以上。一般來(lái)講,由于NAS設(shè)備的帶寬和IOPS相對(duì)較小,因此NAS比SAN和IP-SAN設(shè)備更容易成為系統(tǒng)的瓶頸,而SAN和IP-SAN較難成為瓶頸。瓶頸還經(jīng)常會(huì)出現(xiàn)在負(fù)責(zé)節(jié)目播放和下載功能的視頻服務(wù)器處。如果視頻服務(wù)器配置的數(shù)量不足,或視頻服務(wù)器之間無(wú)法正常地實(shí)現(xiàn)自動(dòng)地網(wǎng)絡(luò)負(fù)載均衡,那么整個(gè)系統(tǒng)的性能壓力瓶頸就會(huì)出現(xiàn)在視頻服務(wù)器,使用整個(gè)視頻網(wǎng)站無(wú)法給遠(yuǎn)程用戶(hù)提供流暢的節(jié)目畫(huà)面。

應(yīng)用模式3:

非線(xiàn)性編輯制作系統(tǒng)。在非線(xiàn)性編輯制作網(wǎng)絡(luò)中,所有工作站共享式地訪問(wèn)核心存儲(chǔ)系統(tǒng),每臺(tái)工作站同時(shí)以50-200Mb/S的恒定碼率訪問(wèn)存儲(chǔ)設(shè)備。業(yè)務(wù)系統(tǒng)對(duì)帶寬的壓力非常大,而IOPS壓力較小。存儲(chǔ)設(shè)備內(nèi)部設(shè)計(jì)時(shí),一般會(huì)通過(guò)增加磁盤(pán)數(shù)量、增加擴(kuò)展柜數(shù)量、跨擴(kuò)展柜創(chuàng)建RAID組、增加主機(jī)通道數(shù)量等方式最大限度地利用存儲(chǔ)控制器前端和后端的總可用帶寬,使得磁盤(pán)、磁盤(pán)通道、主機(jī)通道等的總帶寬大于控制器的總帶寬,這樣在工作站訪問(wèn)時(shí)存儲(chǔ)設(shè)備時(shí),才能最大地發(fā)揮出控制器的帶寬性能。帶寬瓶頸在控制器部位才能說(shuō)明是最好的存儲(chǔ)系統(tǒng)設(shè)計(jì)方案。 從上面的四種典型的應(yīng)用模式中,在存儲(chǔ)網(wǎng)絡(luò)當(dāng)中,對(duì)于存儲(chǔ)管理系統(tǒng)最可能出現(xiàn)的瓶頸一般表現(xiàn)在三個(gè)方面:網(wǎng)絡(luò)性能、存儲(chǔ)服務(wù)性能(比如NAS或SAN)和文件系統(tǒng)。

二、網(wǎng)絡(luò)存儲(chǔ)管理系統(tǒng)優(yōu)化思路

對(duì)于網(wǎng)絡(luò)性能的優(yōu)化,首先優(yōu)化與網(wǎng)絡(luò)設(shè)備有關(guān),網(wǎng)絡(luò)設(shè)備(例如網(wǎng)卡、集線(xiàn)器、網(wǎng)關(guān)和路由器)的選擇對(duì)網(wǎng)絡(luò)的性能表現(xiàn)有很大的影響,選擇合適的網(wǎng)絡(luò)硬件是非常必要的,而對(duì)于網(wǎng)絡(luò)設(shè)備帶寬參數(shù)是最重要的,由于存儲(chǔ)網(wǎng)絡(luò)中有大數(shù)據(jù)量的傳輸操作和高頻率的I/O請(qǐng)求,因此在存儲(chǔ)網(wǎng)絡(luò)中應(yīng)該選擇帶寬高的網(wǎng)絡(luò)設(shè)備。其次是網(wǎng)絡(luò)設(shè)計(jì)本身,我們采用IP accounting技術(shù)來(lái)定位網(wǎng)絡(luò)設(shè)計(jì)的瓶頸,然后通過(guò)網(wǎng)絡(luò)分割和DNS負(fù)載均衡等技術(shù)來(lái)提高網(wǎng)絡(luò)性能。

對(duì)于服務(wù)性能,主要是提高基于WEB GUI訪問(wèn)方式Apache服務(wù)器的性能和涉及NAS服務(wù)的NFS服務(wù)器性能和Samba服務(wù)器性能。對(duì)于WEB GUI訪問(wèn)方式的優(yōu)化,最重要的就是優(yōu)化Apache Web服務(wù)器的性能。而提高Apache服務(wù)器的方法主要有三種:第一種,通過(guò)確定已經(jīng)編譯好的HTTP模塊哪些模塊的需要的,哪些模塊的是不必要的,刪除不必要模塊可以使Apache服務(wù)器更加專(zhuān)用,更加高效,從很大程度上提升Apache服務(wù)器的性能;第二種,通過(guò)調(diào)整Apache配置文件,用相關(guān)命令來(lái)調(diào)整Apache服務(wù)器的參數(shù)設(shè)置,使得Apache更加適合存儲(chǔ)管理系統(tǒng)的應(yīng)用;第三種,針對(duì)具體的使用環(huán)境,通過(guò)加載相關(guān)的模塊來(lái)加速Web應(yīng)用。

對(duì)于文件系統(tǒng),存儲(chǔ)管理系統(tǒng)采用的文件系統(tǒng)一般是Ext3。對(duì)于Ext3文件系統(tǒng)里的平均文件大小,默認(rèn)設(shè)置的塊尺寸太小可能導(dǎo)致尋道時(shí)間增加,fsck檢查文件系統(tǒng)速度相對(duì)較慢,并且產(chǎn)生更多文件碎片。通過(guò)實(shí)驗(yàn)來(lái)確定文件系統(tǒng)里文件的平均大小,依據(jù)平均大小值來(lái)調(diào)整文件系統(tǒng)的塊尺寸大小,這樣就可以大大的提高文件系統(tǒng)的訪問(wèn)速度。另外一種優(yōu)化方法就是通過(guò)Ext3文件系統(tǒng)磁盤(pán)工具來(lái)調(diào)整文件系統(tǒng)的相關(guān)設(shè)置來(lái)優(yōu)化性能。

網(wǎng)絡(luò)存儲(chǔ)管理系統(tǒng)的優(yōu)化思路就是針對(duì)具體的存儲(chǔ)應(yīng)用環(huán)境,找出可能稱(chēng)為系統(tǒng)瓶頸的地方,通過(guò)調(diào)整相關(guān)設(shè)置,使得我們的設(shè)計(jì)沒(méi)有瓶頸,盡量使設(shè)備發(fā)揮最大性能。

三、網(wǎng)絡(luò)存儲(chǔ)管理系統(tǒng)優(yōu)化具體方法

(一)網(wǎng)絡(luò)性能的優(yōu)化

除了硬件的選擇,網(wǎng)絡(luò)還剩下什么可以?xún)?yōu)化呢?當(dāng)然是網(wǎng)絡(luò)設(shè)計(jì)本身。本節(jié)將討論如何為存儲(chǔ)管理系統(tǒng)設(shè)計(jì)高性能的網(wǎng)絡(luò)。

1.網(wǎng)絡(luò)分割技術(shù)優(yōu)化以太局域網(wǎng)或廣域網(wǎng)

單一的以太網(wǎng)分段結(jié)構(gòu),通過(guò)一組集線(xiàn)器堆疊的方式互聯(lián),這就意味這所有的計(jì)算機(jī)共享著一個(gè)通道。這樣就造成了網(wǎng)絡(luò)帶寬的瓶頸。基于以上問(wèn)題,我們?cè)O(shè)計(jì)不同應(yīng)用的計(jì)算機(jī)被分割在不同的IP網(wǎng)絡(luò)中,并通過(guò)一個(gè)網(wǎng)關(guān)進(jìn)行互聯(lián),該網(wǎng)關(guān)可以是啟用IP forwarding功能的Red Hat Linux系統(tǒng),并通過(guò)一些靜態(tài)路由完成標(biāo)準(zhǔn)的路由方針。

2.用交換機(jī)取代集線(xiàn)器可以大幅度的提升網(wǎng)絡(luò)的性能

以太網(wǎng)集線(xiàn)器與交換機(jī)最大不同在于交換機(jī)的每個(gè)端口都是自身的邏輯劃分。一臺(tái)連接到交換機(jī)某一端口的單獨(dú)計(jì)算機(jī)享有全部帶寬,不需要跟其他計(jì)算機(jī)競(jìng)爭(zhēng),從而避免了沖突。

傳統(tǒng)的以太網(wǎng)是10/100Mbps的,在現(xiàn)在的商業(yè)化環(huán)境下是遠(yuǎn)遠(yuǎn)不夠的,現(xiàn)代化的商業(yè)環(huán)境以電子郵件為基本的通信手段,廣泛的應(yīng)用Internet,視頻會(huì)議和其他高帶寬的作業(yè)。因此首先配備1000Mbps的高速交換機(jī),為計(jì)算機(jī)購(gòu)買(mǎi)10/100/1000Mbps的自適應(yīng)網(wǎng)卡。擁有交換性能的高速以太網(wǎng)能給局域網(wǎng)帶來(lái)很高的性能表現(xiàn)。

3.通過(guò)IP accounting來(lái)提高網(wǎng)絡(luò)性能

IP accounting可以幫助我們了解IP報(bào)文如何在網(wǎng)絡(luò)中傳遞。一般情況下,我們?cè)贚inux網(wǎng)關(guān)系統(tǒng)上使用IP accounting技術(shù)。

假定要在192.168.1.0(eth0)、192.168.2.0(eth1)和202.96.128.68(eth2)三個(gè)網(wǎng)絡(luò)之間使用網(wǎng)關(guān)。前兩個(gè)是內(nèi)部部門(mén),第三個(gè)是Internet服務(wù)提供商的上行網(wǎng)絡(luò)。

下面建立IP accounting規(guī)則如下:

/sbin/iptables–A FORWARD–i eth2–d 192.168.1.0/24

/sbin/iptables–A FORWARD–o eth2–s 192.168.1.0/24

第一行指明添加一個(gè)新規(guī)則到FORWARD鏈,這樣所有發(fā)往192.168.1.0的報(bào)文在通過(guò)網(wǎng)關(guān)的eth2時(shí)都被記錄。Eth2接口是服務(wù)提供商網(wǎng)絡(luò)連接的(可能經(jīng)由路由器、數(shù)字環(huán)線(xiàn)DSL或者電纜調(diào)試解調(diào)器Cable Modem。第二行指明添加個(gè)一個(gè)規(guī)則到FORWARD鏈,以便記錄源自192.168.1.0網(wǎng)絡(luò)并經(jīng)由eth2接口的IP報(bào)文。這兩條規(guī)則有效地監(jiān)控了所有在192.168.1.0網(wǎng)絡(luò)和Internet間傳遞的IP報(bào)文。

總之,網(wǎng)絡(luò)性能的表現(xiàn)是綜合作用的結(jié)果,受到操作系統(tǒng)、網(wǎng)絡(luò)設(shè)備、帶寬以及所選擇的構(gòu)造網(wǎng)絡(luò)的總體設(shè)計(jì)方案的影響。我們針對(duì)上述幾項(xiàng)采用了不同的方法來(lái)優(yōu)化我們網(wǎng)絡(luò)的整體性能。

(二)服務(wù)性能的優(yōu)化

存儲(chǔ)管理系統(tǒng)要對(duì)外提供NAS的一些常用的服務(wù),這些服務(wù)的性能不僅與服務(wù)軟件本身有關(guān)系,還受底層的操作系統(tǒng)的影響,可以對(duì)網(wǎng)絡(luò)存儲(chǔ)管理系統(tǒng)提供服務(wù)方面的機(jī)制進(jìn)行優(yōu)化。

1.Web服務(wù)器性能

在當(dāng)今的Linux操作系統(tǒng)上,默認(rèn)的Web服務(wù)器大多數(shù)是Apache。依照Apache開(kāi)發(fā)小組的理解,Apache的首要任務(wù)是成為一個(gè)精確的HTTP協(xié)議服務(wù)器,而性能卻是次要的。但是從技術(shù)的角度來(lái)講,對(duì)Apache Web服務(wù)器進(jìn)行正確調(diào)整,可以提高它的性能,增強(qiáng)它的適應(yīng)性。

2、NFS服務(wù)器的性能

一個(gè)NFS系統(tǒng)的主要瓶頸是NFS服務(wù)器的磁盤(pán)I/O速度。該速度取決于NFS服務(wù)器是采用哪種磁盤(pán)。我們存儲(chǔ)管理系統(tǒng)的硬件采用應(yīng)該是Intel Xeon 3.0、6個(gè)帶有RAID5的SATA硬盤(pán)。下一個(gè)硬件瓶頸就是網(wǎng)絡(luò)本身。我們使用獨(dú)立的高帶寬連接入內(nèi)部網(wǎng)絡(luò)方法可以減少性能降低。建立一個(gè)NFS主干網(wǎng)專(zhuān)門(mén)用于傳送NFS信息報(bào)文會(huì)很大幅度的提高NFS服務(wù)的性能。

(三)文件系統(tǒng)性能優(yōu)化

Linux缺省情況下使用的文件系統(tǒng)為Ext2,Ext2文件系統(tǒng)的確高效穩(wěn)定。但是,隨著Linux系統(tǒng)在關(guān)鍵業(yè)務(wù)中的應(yīng)用,Linux文件系統(tǒng)的弱點(diǎn)也漸漸顯露出來(lái)了;其中系統(tǒng)缺省使用的Ext2文件系統(tǒng)是非日志文件系統(tǒng)。這在關(guān)鍵行業(yè)的應(yīng)用是一個(gè)致命的弱點(diǎn)。

Ext3文件系統(tǒng)是直接從Ext2文件系統(tǒng)發(fā)展而來(lái),目前Ext3文件系統(tǒng)已經(jīng)非常穩(wěn)定可靠。它完全兼容Ext2文件系統(tǒng)。用戶(hù)可以平滑地過(guò)渡到一個(gè)日志功能健全的文件系統(tǒng)中來(lái)。Ext3日志文件系統(tǒng)有以下特點(diǎn):高可用性;數(shù)據(jù)的完整性;文件系統(tǒng)的速度;數(shù)據(jù)轉(zhuǎn)換;多種日志模式。

基于以上優(yōu)點(diǎn)和特性,在存儲(chǔ)管理系統(tǒng)中采用Ext3文件系統(tǒng),對(duì)于Ext3文件系統(tǒng),主要用兩種手段來(lái)提升文件系統(tǒng):一種是將默認(rèn)的塊尺寸從1024改為多倍1024處理(一般不超過(guò)4096),使之更好的為大型文件的服務(wù)器服務(wù)。另外一種是通過(guò)Ext3文件系統(tǒng)磁盤(pán)工具調(diào)整文件系統(tǒng)。

本文從存儲(chǔ)管理系統(tǒng)要向用戶(hù)提供IP SAN和NAS的服務(wù)談起,首先對(duì)服務(wù)性能很有大影響的就是網(wǎng)絡(luò),通過(guò)操作系統(tǒng)、網(wǎng)絡(luò)設(shè)備、帶寬以及所選擇的網(wǎng)絡(luò)構(gòu)造的總體設(shè)計(jì)方案的改進(jìn)來(lái)對(duì)我們提供服務(wù)的環(huán)境進(jìn)行改善;其次,從存儲(chǔ)管理系統(tǒng)提供的最常見(jiàn)的應(yīng)用著手,分別介紹和分析如何優(yōu)化Web服務(wù)器、Email服務(wù)器、Samba服務(wù)器和NFS服務(wù)器性能,從而提高服務(wù)的質(zhì)量。

參考文獻(xiàn):

[1]余勝生,劉念,周敬利.一種基于光纖通道存儲(chǔ)網(wǎng)的存儲(chǔ)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).小型微型計(jì)算機(jī)系統(tǒng),2002,23(4):401～404

[2]蔡皖東.基于SAN的高可用性網(wǎng)絡(luò)存儲(chǔ)解決方案.小型微型計(jì)算機(jī)系統(tǒng),2001,21(3):284～287