OpenStack云環境下多節點塊存儲研究

曹嶸暉，李秦偉，呂曉丹（.貴州大學 大數據與信息工程學院，貴州 貴陽 55005；.貴州大學　計算機科學與技術學院，貴州　貴陽　55005）

OpenStack云環境下多節點塊存儲研究

曹嶸暉1，李秦偉2，呂曉丹2
（1.貴州大學 大數據與信息工程學院，貴州 貴陽 550025；2.貴州大學計算機科學與技術學院，貴州貴陽550025）

基于OpenStack本身的塊存儲設計，在云計算平臺中實現了多節點塊存儲的 iSCSI SAN配置，為虛擬機提供了跨網段、跨節點的獨立塊存儲服務，并在不同節點間、虛擬機上分別對其進行測試，對學習和實際構建云平臺中跨網段多節點的塊存儲服務有參考價值。

OpenStack；多節點塊存儲；iSCSI SAN

0　引言

隨著云計算的不斷發展，各種云計算管理平臺應運而生，如 Eucalyptus、OpenStack。而在各種各樣的云計算管理平臺中只有 OpenStack是完全開源的，而開源的云計算管理平臺則一致被業界和學術界認為是未來云計算發展的方向［1］。

OpenStack是由 Rackspace和 NASA共同開發的云計算平臺，幫助服務商和企業內部實現類似于AmazonEC2和 S3的云基礎架構服務（Infrastructureasa Service，IaaS）。前者是 NASA開發的虛擬服務器部署和業務計算模塊；后者是 Rackspace開發的分布式云存儲模塊，兩者可以一起用，也可以分開單獨用。OpenStack是一個開源項目，除了有 Rackspace和 NASA的大力支持外，后面還有包括 Dell、Citrix、Cisco、Canonical這些重量級公司的貢獻和支持，其發展非常之迅速［2］。

1　OpenStack塊存儲服務

OpenStack創建出來的實例是沒有永久存儲的，關閉實例后數據都會丟失，所以需要存儲卷來保存每個instance的數據。這項工作由 nova-volume實現，提供類似亞馬遜EBS的塊存儲服務。

其中，nova-volume專門管理卷的創建、刪除、掛載等，這些卷基于 lvm管理，使用 iSCSI提供服務，并通過libvirt與虛擬機交互。存儲池在 libvirt中分配的 id標志著它成為 libvirt可管理的對象，生成卷組 vg（volume group，OpenStack中必須nova-volumes）就有了可劃分存儲卷的存儲池，狀態為活躍（active）狀態才可以執行劃分存儲卷的操作，其流程如圖1所示。

在單機塊存儲中，一個塊設備指一個磁盤分區。以Linux操作系統為例，在設備目錄/dev/下會看到掛載的塊存儲設備。再通過 fdisk分區工具將磁盤分區。

但是，在當前海量數據存儲和超高任務訪問量的需求下，單機的塊存儲已經遠遠不能滿足大數據量的要求。通過光纖通道存儲（SAN）將不同種類、性能和大小的存儲設備集合在一起統一向外提供服務，能夠滿足性能和價格方面的需求［3］。

圖1　nova-volume工作流程

而OpenStack云平臺中只提供類似于EBS塊存儲的API框架，當前的實現方式是Ceph。它并沒有實現對多個節點塊設備的管理和實際服務的提供。

OpenStack目前作為商業應用云計算平臺并不多見，而將多節點的物理存儲資源在 OpenStack上進行統一管理是商業應用必需的［4］。

為此本文引入光纖通道存儲局域網技術（Fibre Channel Storage Area Network，FC SAN）。這是一種用可靠的小型計算機系統接口（Small Computer System Interface，SCSI）協議將存儲設備與相關的服務器連接起來的高速子網。

2　iSCSI存儲服務

iSCSI把 SCSI命令封裝在 TCP包中，通過 TCP/IP協議連接Initiator（發起端）與 Target（目標端），利用 TCP連接傳送控制信息、SCSI命令、參數和數據［5］。

3　多節點塊存儲實現步驟

本文中實驗環境為1臺控制節點，3臺計算節點，1臺存儲服務器，由于控制節點本身帶塊存儲服務，所以將存儲服務器并入 OpenStack云平臺中以提供多節點塊存儲服務。表1為各個節點基本配置參數。

表1　各個節點基本配置參數

3.1準備存儲服務器

由于搭建 OpenStack云平臺開始前須先用 Ubuntu-12.04.2-server-amd64.iso做為底層操作系統，因此存儲服務器在安裝操作系統對硬盤進行分區時，分出15 TB的空間掛載在 nova-volume上，為提供塊存儲服務作資源準備。

3.2iSCSI的配置

3.2.1開啟 iSCSI target服務

在 Ubuntu環境下安裝 iSCSI target相關的軟件 tgt、iscsitarget、iscsitarget-source、iscsitarget-dkms。修改 iSCSI target的配置文件：將ISCSITARGET_ENABLE的值改成true。

創建 target，id=1，iqn=iqn.33.cinder，iqn是 target在局域網內的唯一描述符。給指定的target增加一個 lun，通過 tid來制定 target，這里將/dev/sdb添加到 tid=1的target中，并使其能被initiator訪問。

3.2.2iSCSI initiator端的配置

安裝open-scsi并發現 iscsi target。

其顯示信息為：192.168.3.3：3260 iqn.33.cinder。通過下面指令使用target：

sudoiscsiadm-mnode—targetnameiqn.33.cinder-p 192.168.3.3--login

執行上述操作后，使用df╞h查看控制節點磁盤信息就可以看到在本地主機上多出一個/dev/sdb。

3.3存儲卷軸的管理與操作

分區格式化后，可以看到多出來的/dev/sdb1。對其進行物理卷和卷組的創建，卷組名稱為：nova-volume。通過 vgdisplay可以看到卷組信息，如圖2所示。

圖2　nova-volume卷組信息

在 openStack的 Horizion操作平臺上點擊“create volume”即可對存儲服務器上提供的 15 TB存儲資源進行管理與操作。

4　基于iSCSI的多節點存儲的 OpenStack云平臺性能評測

針對搭建好的 OpenStack云平臺的存儲性能研究可以分為節點測試和虛擬機測試兩個方面。節點測試是對物理層面上的存儲資源性能的評測指標，虛擬機測試則是確定云平臺提供服務以及云存儲性能研究的層次。

4.1節點測試

本文提供存儲服務采用的存儲服務器為Dell的R510。此存儲服務器具有最多 12個硬盤，可提供超大內部存儲容量，本實驗為9個做raid5的2 TB硬盤，提供的可用存儲容量為 16 TB。

在存儲節點上對其提供存儲服務的存儲區/dev/sdb1進行讀寫測試，測試結果如圖3所示。

圖3　存儲節點上對存儲資源讀寫測試

可以看到直接插在服務器上的硬盤2 s讀取了17 214 MB的緩存，約合 8 615.97 MB/s。在 3.02 s讀取了828 MB磁盤（物理讀），讀取速度約合274 MB/s。

回到控制節點，通過 iSCSI的Initator端指令找到其提供存儲服務的存儲資源，并使用它。由于其存儲資源大于 2 TB，因此采取 GPT分區的方式。分區完成后使用mkfs.ext3格式化。對其進行物理卷和卷組的創建。并對其進行相同的硬盤測試，測試結果如圖4所示。

圖4　控制節點上讀寫測試

這時看到在使用其存儲服務的控制節點上對其提供的存儲資源的讀取測試中，其2 s讀取了12 268 MB的緩存，約合6 140.78 MB/s。在3.34 s中讀取了334 MB磁盤（物理讀），讀取速度約合110.72 MB/s。

對比其本地資源的讀取，其速度有明顯下降。由于其存儲節點與控制節點間是交換機連接的，并且處于不同的網段，因此網絡是存儲節點性能的一個制約因素，其速度下降值在可以接受的范圍之內，不影響控制節點對其存儲資源的正常使用。

在控制節點創建用以提供給虛擬機使用的物理卷軸，大小為1 TB，具體信息如圖5所示。

圖5　物理卷軸信息

將其掛載在虛擬機上，隨后對其進行測試。

4.2虛擬機測試

在 OpenStack云平臺上創建 4核、8 GB內存、100 GB硬盤的虛擬機。其鏡像為windows2008server。虛擬機啟動后再將之前創建的 1 TB的物理卷掛載在虛擬機上，對其格式化分區后如圖6所示。

使用 HD Tune Pro工具。分別選取 512 KB、16 MB、64 MB、512 MB大小的文件對其掛載的 1 TB硬盤進行讀寫測試，測試結果如圖7所示。

從4組測試結果可以看到，不同大小文件對其掛載的1 TB的硬盤均在 512 GB～8 192 GB的區間達到峰值。說明其不同大小的文件讀取對其提供的存儲服務在讀寫區間沒有區別。同時其讀取速度4次取平均值為讀取109.6 MB/s、寫入105.7 MB/s，結果如圖8所示。

圖6　windows2008server磁盤管理

圖7　各個大小文件的硬盤讀寫測試

圖8　硬盤讀寫平均值

對比其在控制節點上對存儲資源的測試，其讀取速度沒有變化，不受云平臺本身的影響。同時對不同大小的文件的讀寫也沒有明顯的區別，足以說明此種方案的可信性。

5　結論

本文在分析 OpenStack云平臺其自身塊存儲服務基礎上給出了 Linux下通過 iSCSI協議實現多節點存儲的實現方案，在此實現的基礎上研究了節點與虛擬機兩方面對多節點塊存儲管理與應用，并給出了相應的實驗測試。通過測試結果發現，在物理層上不同節點間的存儲資源的使用是受其網絡性能的影響，而在 OpenStack本身的云平臺內，其物理層的網絡設置對塊存儲服務的影響幾乎微乎其微。如果節點間網絡配置不當，就會嚴重影響存儲服務的性能；反之，就能充分發揮其基于 iSCSI協議塊存儲的優越性。

［1］汪楠.基于OpenStack云平臺的計算資源動態調度及管理［D］.大連：大連理工大學，2013.

［2］OpenStack［EB/OL］.［2014-09-16］.http：//openstack.org/.

［3］張江陵，馮丹.海量信息存儲［M］.北京：科學出版社，2003.

［4］Marc Farley.SAN存儲區域網絡［M］.孫功星，蔣文保，范勇，譯.北京：機械工業出版社，2001.

［5］iSCSI Draft［EB/OL］.（2003-01-xx）［2014-09-16］.http：//www. ietf.org/int-ernet-drafts/draft-ietf-ips-iscsi-20.txt，2003-01.

The research of multi-node block storage in OpenStack Cloud environment

Cao Ronghui1，Li Qinwei2，Lv Xiaodan2
（1.College of Big Date and Information Engineering，Guizhou University，Guiyang 550025，China；2.College of Computer Science and Technology，Guizhou University，Guiyang 550025，China）

Based on the design of block storage in OpenStack，this paper achieves the configuration of iSCSI SAN that multinode block storage in Cloud computing platform.It provides the independent block storage service that cross-network segment and cross-node for virtual machine.Test is completed in different node and virtual machine respectively，on the learing and practical construction of the multi-node block storage service that corss-network in Cloud platform has some reference value.

OpenStack；multi-node block storage；iSCSI SAN

TP27

A

1674-7720（2015）02-0022-03

（2014-09-26）

曹嶸暉（1988-），男，碩士研究生，主要研究方向：云計算。

李秦偉（1961-），男，教授，碩士生導師，主要研究方向：網絡安全，信息安全，現代密碼學。