基于對象存儲系統的服務質量框架研究

摘要：簡要介紹了基于對象存儲系統的框架結構，并分析了系統的特點。在結合網絡QoS和存儲QoS的基礎上，討論了整個系統的QoS要求。針對這些要求，提出基于對象存儲系統的QoS框架，分別在對象屬性、OSD命令和OSD設備上得以實現。

關鍵詞：QoS； 基于對象存儲； 屬性

中圖法分類號：TP333文獻標識碼：A

文章編號：1001－3695(2007)01－0080－03

1引言

基于對象的存儲系統（以下稱OBS系統）已成為下一代互聯網信息存儲的核心技術，這種提供對象接口的方案完美地結合了SAN和NAS的優勢，在系統性能、可擴展性、安全性、跨平臺能力等方面都有了較大的提升。存儲網絡工業協會（SNIA）[1]已于20-04年提出了基于對象存儲協議（OSD協議）第九修訂版，協議規定：對象是可變長的，對象中包含屬性，用來描述對象的特征。對象的屬性可以分為兩種：①協議已經規定的，如1h為用戶對象信息，3h為用戶對象的時間戳；②協議為用戶和其他標準的定義所預留的，屬性頁號80h~7FFFh為用戶定義的，8000h~EFFFh可以給其他標準定義。因此，可以利用這些自定義的屬性來實現QoS。

系統所要求的QoS體現在從客戶端到終端的過程中。例如，對于分組交換網的QoS問題，人們利用基于業務分類、定義優先級、資源預留、加權公平排隊等策略的DiffServe，MPLS等現有技術來實現[2]。對于終端磁盤的QoS問題，人們采用磁盤調度策略來加以保障。而在基于對象的存儲系統中，有必要將網絡的QoS和存儲的QoS結合起來考慮，根據OSD協議和iSCSI協議規范，有針對性地定義對象的屬性，使QoS貫穿在建立連接、傳送數據、存儲數據的整個過程中。

2OBS系統結構及特點

如圖1所示，OBS系統主要由四大部分組成，即客戶端、元數據服務器、智能磁盤設備 （OSD）和互聯網絡。客戶端負責向元數據服務器發起應用請求，如文件的創建、刪除、打開、關閉、讀寫等；服務器在對客戶進行身份確認后，將文件的元數據信息返回給客戶端，包括文件的對象號、設備號、操作碼等；然后客戶端用得到的證書向ＯＳＤ設備發送命令，建立連接；ＯＳＤ設備在對證書的完整性和正確性驗證之后，就可以與客戶端進行數據傳輸[3]。

OBS系統的特點之一是提供了對象接口，對象由數據、屬性和元數據構成。由于對象屬性的加入，使得OSD可以掌握豐富的對象信息，從而實現優化高效的數據組織、自主的對象管理。最重要的是，智能存儲設備還可以通過對象屬性了解外部環境，合理地對資源進行分配和預留，顯著提高服務的質量[4]。

3OBS系統的QoS要求

與傳統的基于塊的存儲系統不同，對象接口提供了足夠豐富的屬性來描述數據的特征，因此傳統的提供最大努力的服務機制已經不能滿足OBS系統的應用要求。OSD協議可以根據具體的應用來提供不同的等級、不同種類的QoS。此外，OBS系統也將面臨著更加復雜的外部環境，如一個OSD設備是與多個客戶端互連的，每個客戶端的請求都有不同的QoS要求，同一個客戶端的請求也有不同的QoS要求，甚至同一個對象相對應不同的操作也會有不同的QoS 要求，這些都需要智能OSD設備能根據對象的QoS要求，實時監測系統的I/O條件和負載能力，采取相應的準入策略[5]。

結合OBS系統的特點，總結出三類QoS需求：

（1）對象操作的QoS。針對整個對象的操作，在這里定義的QoS屬性為靜態屬性，即從對象的創建到對象的傳輸、存儲、定義的屬性都將伴隨著這個對象，直到最后對象被刪除才消失。例如，一個流媒體的文件對象，它從客戶端傳輸到OSD設備需要很高的帶寬，很低的抖動以及較低的時延，這些QoS要求在對象創建時就要建立，并且當OBS系統的環境滿足這些屬性定義時，對象開始傳送、存儲。

（2）數據操作的OoS，主要保證對象中數據的操作。這些QoS屬性是動態屬性，只有當某些應用需要對對象的數據進行操作時，才暫時在OSD命令中定義。例如，文件對象已經儲存在OSD設備上，如果要作文件對象拷貝時，需要一個高帶寬的磁盤I/O通道，就需要動態定義磁盤的帶寬要求。再例如，在作增量備份時，客戶端需要修改文件對象的一部分數據，修改過程的網絡帶寬要求、響應時間等也是動態定義的屬性要求。

（3）屬性操作的QoS。對象中包括數據和屬性，這類的QoS針對對象屬性的操作，同樣也是動態屬性。例如在數據庫的應用中，需要在規定時間內檢索出符合一定要求（如修改時間）的對象ID，并修改成客戶定義的值，這個操作的響應時間就是需要動態定義的屬性要求。

一般來說，一個對象的屬性應始終包含對象操作的QoS，但是不同的對象自定義的QoS會根據不同的應用而有所區別，如流媒體需要確保帶寬，減少抖動，減少延時;商務應用應該保證響應時間以及數據的安全性和完整性，而數據操作的QoS和屬性操作的QoS是在對這個對象具體操作時所定義的，有時可能會與對象操作的QoS沖突，此時應該以數據操作的QoS或屬性操作的QoS為準。

4OBS系統的QoS框架

上面分析了OBS系統的QoS要求，然后將基于這些要求提出OBS系統的QoS框架。

4．1QoS的屬性定義

OBS系統的一個特點就是對象屬性可以自定義，因此可以用這些自定義的屬性來豐富文件的特性，當然其中也包括整個對象的QoS需求。但是由于具體的應用所要求的QoS不盡相同，各個文件的屬性定義也不一樣，現以比較常見的流媒體為例子來說明對象QoS屬性的結構。

首先確定流媒體文件的QoS屬性需求：①平均帶寬。用來確保整個對象的傳輸速度，平均帶寬可以通過公式計算出，平均帶寬＝文件對象大小平均傳輸進間。②峰值帶寬。由于流媒體的傳輸是通過傳送相鄰幀之間的差別而將視頻壓縮，根據圖片細節的不同，所要傳送的數據量隨著時間的變化而變化。有時峰值帶寬會遠遠大于平均帶寬[6]，峰值帶寬的確定可以使應用程序留出足夠的緩沖區來滿足QoS需求。③抖動。分組的時延變化用來確保流媒體的播放質量，如抖動太劇烈將使畫面不平滑，甚至出現停頓的現象。

根據OSD協議，我們定義流媒體的QoS屬性頁如表1所示，屬性頁的格式如表2所示。

在OSD協議中規定，屬性頁號從8000h~EFFFh是給其他標準保留的，現定義8000h為QoS屬性頁碼號，同時也希望這個定義能被OSD協議所規范。

表1QoS屬性頁

4．2OSD命令

上面分析了OBS系統的QoS要求，具體的每個文件對象都會有其固定的QoS屬性，即靜態屬性。同時，對這個對象具體操作時，如對數據操作或對屬性操作，同樣地要對這些操作定義QoS屬性，這些屬性為動態屬性。當對象既有靜態屬性又有動態屬性時，需要通過某些機制來保證實現哪個等級的QoS。

客戶端發送CDB（Command Description Block，命令表述塊）給OSD設備，可以通過擴展CDB命令第11個字節的定義來實現靜態屬性和動態屬性的區別。具體定義如表3所示。11個字節的第4位和第5位的值為01b時，表示后面的屬性為QoS動態屬性。

表3Get and Set Attributes CDB format Code Values

動態屬性應該有有效時限，OBS系統只是在這個期間內保證這些QoS的動態屬性，為此定義一個標志位來表示這個期間的開始和結束。同樣利用CDB命令的第11個字節來定義第6位、第7位的值，當值為11b時，表示動態屬性有效時限的開始；值為00b時，表示有效時限的結束;值為01b和10b保留。

只有當11個字節的第4位和第5位值為01b時，第6位和第7位的值才有意義。

4．3OSD設備端的QoS策略

OSD是一個智能設備，包括處理器、RAM內存、網絡接口、存儲介質如磁盤等，OSD可以根據處理器的計算能力來制定優化策略，保證設備端的QoS性能。在這里，簡單討論一下準入策略和資源預留策略。

4．3．1準入策略

由于多個客戶端有可能同時連接一個OSD設備要求讀寫對象，那么每個客戶的QoS不是都能保證的，OSD設備采用準入策略。當一個新的客戶請求到來時，OSD設備先判斷網絡條件和磁盤條件是否滿足，在應答信息中告知客戶端。準入策略有三類[7]：

（1）最大努力策略。努力滿足所有客戶的請求，當OSD設備性能達到極限時，整個系統的QoS惡化，最大努力策略將首先降低不重要應用的QoS。

（2）確定策略。OSD設備根據客戶請求的QoS判斷接受哪些請求，拒絕哪些請求。這種方式一般都假設最壞情況，它可能會導致較低的網絡和磁盤利用率。例如，對流媒體對象，如果根據QoS屬性的峰值帶寬來確定是否準入，那么肯定會有一定比例網絡帶寬的浪費。確定策略一般是QoS的硬件保證。

（3）統計策略。OSD設備實時檢測系統的性能，用軟件的方式來實現QoS[8]。系統可以結合確定策略和統計策略來提高系統的利用率，用確定策略來保證一些重要應用的QoS，用統計策略來實現其他應用的QoS。

4．3．2資源預留策略 

因為對象的QoS性質由屬性定義，OBS系統可以提前根據這些屬性來分配網絡資源和磁盤的I/O資源。資源預留策略只是為不同的QoS需求分配不同比例的傳輸帶寬。例如，當多個客戶端要同時對同一個對象文件進行讀寫操作（即熱點數據），系統就需要為這個熱點數據預留較多的磁盤I/O帶寬，并且當預留的資源沒有被充分利用時，系統應該可以回收這些多余的資源，進行再分配，資源預留過程是動態的。對整個系統來說，負載比較少時，資源預留策略能較好地提供QoS，負載增加，它提升性能的能力急劇下降。提升系統QoS性能的幅度與系統負載成反比。

5結束語

隨著技術的發展，用戶對應用的QoS要求將會越來越高。OBS系統的QoS要求可分為三個方面，即對象的QoS操作、數據的QoS操作和屬性的QoS操作，三者各有聯系，也各有區別。作為下一代互聯網信息存儲的核心技術，OBS系統在保證應用的QoS方面體現出更多的優勢。屬性的靈活定義使用戶應用的QoS范圍得到大大的擴展，OSD命令的擴展確定了對象靜態屬性和動態屬性的作用期限，而OSD設備作為智能設備也提供了高于一般磁盤設備的QoS性能保證。

參考文獻：

［1］Object Based Storage Devices Command Set (OSD)[EB/OL].http：//www.t10.org/drafts.htm T10 Working draft，20-0401.

［2］趙慧玲， 徐向輝.QoS的下一代網絡結構框架的研究[EB/OL]. http：//www.chinatelecom.com.cn，200302.

［3］M Mesnier， G R Ganger， E Riedel.Objectbased Storage[J]. IEEE Communications Magazine，2003，41(8):8490.

［4］D Ellard， et al.Passive NFS Tracing of an Email and Research Workload[C].San Francisco:Conf.File and Storage Tech.，2003.203205.

［5］Yingping Lu，David H C Du，Tom Tuwart.QoS Provisioning Framework for an OSDbased Storage System[C]. Proceedings of the MSST，2005.

［6］Larry L Peterson， Bruce S Davie. Computer Networks a Systems Approach(2nd edition)[M]. China Machine Press， 2000.1823.

［7］Z Dimitrijvic， R Rangaswami.Quality of Service Support for Realtime Storage Systems[C]. Stefan:Proc. ofIntl. IPSI Conference，2003.

［8］Z Dimitrijvic， R Rangaswami， E Chang. The XTREAM Multimedia System[C].Proceedings of the IEEE Conference on Multimedia and Expo.，2002.545548.

作者簡介：

馮丹，女，博導，主要研究方向為計算機系統結構、磁盤陣列技術、海量存儲、網絡存儲；

張羚，男，碩士研究生，主要研究方向為網絡存儲系統、磁盤驅動；

覃靈軍，男，博士研究生，主要研究方向為網絡存儲、虛擬存儲、海量存儲技術。

注:本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文