基于Nutanix平臺的云媒資探索

劉彬

（大眾報業集團 信息技術部，山東 濟南 250014）

基于Nutanix平臺的云媒資探索

劉彬

（大眾報業集團 信息技術部，山東 濟南 250014）

傳統的云計算與虛擬化平臺實質上僅實現了服務器的虛擬化，介紹了一種新型的將計算和存儲進行聚合、基于軟件定義存儲架構的Nutanix虛擬平臺。以山東大眾網構建云媒資系統為例，介紹了Nutanix平臺工作原理，包括節點架構、NDFS文件系統的數據讀寫機制、壓縮技術和平臺的容錯與可靠性，并討論了媒資系統在此平臺上的部署與優化等相關工作。

存儲虛擬化；虛擬化平臺；云計算；媒資系統

隨著大眾網新建演播室和數據中心的投入使用，視音頻類節目與文字、圖片的新聞內容將會規模級增長，為了對眾多類型的素材內容進行管理，最大限度上發揮這些“媒體資產”的價值，網站需要從零開始搭建一個媒體資產管理系統。與廣播電視臺的應用不同，網站的制作內容具有多元化的表現形式，除了各種常見格式的大容量素材、成片的高清視頻外，網站資源中更多的是低碼率的flv和mp4視頻文件，以及集團數字報pdf文件、doc文件、gif動畫、jpg圖片、html靜態頁面等，這些輕量級的文件甚至只有KB級別大小，針對小文件被頻繁訪問的特性，在系統的存儲性能上對I/O速率提出了極高的要求。

1 傳統虛擬化平臺的弊端

基于虛擬化的云計算技術近年來逐漸成為各個行業中的應用熱點，在虛擬化平臺上搭建的云媒資系統[1]在廣電行業內也成為主流應用，傳統的虛擬化平臺通過在服務器級別上部署虛擬化軟件，僅僅完成了計算資源的虛擬化，而在服務器后端通常采用集中式存儲架構，如SAN（存儲區域網絡）或NAS（網絡連接存儲），為所有虛擬機提供共享存儲，傳統的平臺架構如圖1所示。

圖1 傳統的虛擬化平臺架構

為保證系統存儲的安全性，傳統架構方式在存儲網絡和硬盤陣列上往往采取雙機熱備的冗余設計，存在過于復雜的系統架構、較高的成本代價、不便利的系統擴展等缺點，而對于網站應用最致命的一點是，針對小文件被頻繁讀取、寫入的需求，對存儲設備有極高的I/O性能要求，目前即使是FC SAN（光纖存儲網）和光纖盤陣，在極端的超大量多并發訪問的情況下，存儲網絡存在的性能瓶頸會影響整個系統的正常運行。

2 Nutanix平臺

Nutanix[2]是一個將存儲、計算資源、網絡和虛擬化高度集成的虛擬計算平臺，放棄了傳統的集中化存儲架構，真正實現了存儲的虛擬化，采用融合式的架構將計算資源和本地存儲整合在單一設備中，將共享存儲整合到服務器層中以提供更高的I/O性能，為網站云媒資的實現提供了小文件讀寫性能上的保證。

2.1 節點邏輯架構

一組Nutanix服務器組成的集群中，每個服務器節點邏輯結構如圖2所示，每個節點都運行著一個VM監控程序和VM控制器，后者負責處理本地虛擬機監控程序的所有I/O操作和節點之間的所有通信任務，不僅為虛擬機管理程序管理作為中央數據存儲的集群與服務器，還管理眾多客戶虛擬機，存儲資源通過傳統接口與VM監控程序對接，被整合并提供給所有客戶虛擬機服務，這種將計算和存儲融合為一體的技術可為虛擬化平臺提供靈活、可伸縮的體系架構。

圖2 節點邏輯結構

Nutanix節點為虛擬化的環境開創了極其簡便、極具擴展性的存儲架構，各節點都運行一個虛擬存儲控制器以提升系統可擴展性和恢復能力，本地存儲包含了可提供極高IOPS以實現高性能的閃存設備、讀寫高速容量略小的固態硬盤SSD以及實現低成本、高容量的硬盤驅動器HDD，存儲控制邏輯智能地實現服務器內部分布式存儲，并將本地存儲轉換成為集群共享。

2.2 NDFS文件系統

NDFS文件系統是Nutanix虛擬計算平臺的核心，它管理所有元數據和數據，并實現分布式資源調度功能，NDFS可以將全部節點間的本地存儲聚集起來，創建可分割成一個或多個數據存儲的統一的存儲池，使用標準的網絡文件系統協議為所有托管的VM虛擬機提供存儲，基于無網絡化的NDFS文件系統通過集群內高速內部總線訪問其數據，而且所有讀寫操作都在節點本地進行，計算資源運算的數據不需訪問外部存儲，這樣消除了網絡時延，加快了數據存取的I/O速度。

2.2.1 數據讀寫機制

當虛擬機需要寫入數據時，數據會同步地復制在集群內相鄰的主機節點上，只有當用戶數據和與之關聯的元數據被復制完成后，主機才接收將數據寫入本地存儲器的指令。數據的同步復制通過文件系統的操作日志Oplog來實現，OpLog存儲在虛擬控制器的SSD層上以便提供快速的寫入I/O性能，用來處理突發性的數據寫入，Oplog將多個寫入指令合并，然后將數據按順序排入盤區存儲。為了保證數據可用性，數據寫指令在提交給VM控制器并得到確認之前，OpLog會將寫入同步復制到另一個VM控制器，且集群內所有VM控制器都會參與復制，根據節點和存儲盤區的負載進行動態選擇寫入路徑，這種機制確保了同一數據至少存在于集群內兩個完全獨立的節點中，以此實現系統容錯。

對于數據讀取指令，可通過本地存儲控制邏輯發送請求，NDFS利用分層存儲技術將最常調度的“熱門數據”駐留在性能最高的閃存卡上，常用的數據存在固態硬盤SSD上，隨著訪問量下降而變為“冷門數據”則被轉到更加經濟但容量較大的HDD磁盤上；但若任意節點的冷門數據再度變為熱點數據，即VM控制器的請求更加頻繁時，NDFS就會自動將該數據重新裝入閃存或固態硬盤中，盡可能保證最快的性能。所有讀取、寫入均由本地VM控制器提供服務，在其控制下虛擬機的數據將保存在本地節點中，當發生HA事件使虛擬機移動到其他一個節點并請求讀取舊數據時，由新的VM控制器將I/O請求轉發到遠程控制器，NDFS將數據在后臺進程的控制下遷移到本地。

2.2.2 數據壓縮技術

與傳統存儲架構對整個LUN或磁盤執行壓縮不同，Nuta?nix平臺對存儲的扇區級別利用內聯壓縮、后處理壓縮兩種策略，在提高壓縮效率并保證系統性能前提下，對池化的各存儲資源層的容量進行最大化提升：對于順序化I/O數據操作，當數據寫入磁盤時進行同步壓縮，以保證計算資源的性能，稱作內聯壓縮策略；而為了處理隨機或批處理的數據時獲得高性能，熱門數據寫入PCIe接口的固態硬盤等高速存儲介質時并不進行數據壓縮，只有降低成了冷門數據而向低速存儲介質轉移時，在保證數據和計算資源處于可用狀態而并不影響正常的I/O操作時，才對數據進行壓縮，這種方式稱為后處理壓縮策略。Nutanix平臺利用基于數據類型動態變化的Snappy算法，針對VM虛擬機和文件級別進行本機壓縮，幾乎可獲得最高性能的壓縮、解壓的效果，對于以虛擬機為中心的工作流程更加適應。

2.4 Nutanix平臺優勢

2.3 平臺容錯機制與可靠性

作為一個基于軟件實現的全分布式平臺，Nutanix平臺的保護功能以及針對各個組件的自修復功能，可從容地應對VM控制器、磁盤或者服務器節點的故障，甚至可以防止災難性硬件故障，確保群集從整個物理設備的故障中恢復而不會造成數據或服務損失，確保數據和訪問始終可用。

1）某個節點上的VM控制器發生軟件故障時，平臺會通過數據路徑冗余機制來保證服務的高可用性，平臺的自動選路功能會自動將訪問請求從主機重新路由，選擇集群內其他運行正常的節點的VM控制器并交予托管，由于集群對節點上的所有數據副本都具有訪問權限，新VM控制器可以立即響應所有的I/O請求，直到故障得到解決才停止托管，這種機制實際上也是為所有虛擬機提供的一種多路完整的容錯故障轉移機制。

2）當磁盤故障時，傳統平臺的RAID陣列的數據恢復必須經歷一個漫長的重建過程，CPU的超負荷運轉會導致系統I/O性能嚴重降低。Nutanix平臺自動檢測到磁盤故障后，會將該磁盤標記為離線狀態，并立即將其從存儲池中掛起，通過確定存儲在磁盤故障的扇區位置啟動相關聯的數據副本的重復制，平臺以后臺進程方式進行，且集群內所有節點均參與數據重建，隨著集群規模的增長，可調用的CPU資源也逐漸增多，用戶的故障數據在集群中各個節點上存有副本，因此重建的時間大大縮短，體現出存儲虛擬化的優勢。

3）當更嚴重的服務器節點失效時，平臺利用其支持的多個虛擬軟件的高可用性服務（如VMware的HA功）將虛擬機遷移到其他節點，讀取或寫入請求將被發送到遷移后的VM控制器，VM控制器將不在本地的數據臨時復制到資源占用較小的某個節點，并將請求轉發到當地VM控制器，數據通過集群節點間的內部10GbE網絡發回本地。本地VM控制器通過監控管理程序將數據發送到虛擬機，并保存在本地供后續訪問，同時平臺再次復制整個集群數據以便將全集群恢復到原容錯狀態。

扁平化的Nutanix架構保證了平臺可靠性：系統故障點的數量顯著減少，減少了物理連接光纜的數量，從而減少布線錯誤和避免由于電纜意外斷開而造成的網絡資源失效；將控制邏輯分布于集群中各節點的容錯保障機制，在VM控制器失效時的自動選路和托管過程對管理程序和虛擬機完全透明；相比SAN架構中硬件控制器故障后的設備更換及再初始化的漫長故障周期，基于軟件驅動自修復的控制器失效后僅需要重啟就可在后臺自動修復。

Nutanix平臺將控制邏輯和數據存儲融合到各個節點，低延時地提供數據I/O，性能更快，靈活性更高；平臺不再需要昂貴的集中式存儲或專用存儲網絡以及傳統的存儲陣列，顯著降低了虛擬化成本，同時消除了集中式SAN和NAS存儲的性能瓶頸，更利于虛擬應用的性能最優化；平臺摒棄了傳統存儲的邏輯單元號LUN、卷或RAID組的配置操作，轉而實施了文件系統層的數據保護，大大簡化了部署操作并提升系統容錯能力，且具有強大而簡便的橫向擴展能力；軟件支持VMware、KVM、MS Hyper-V等多個虛擬化部署，支持實時VM遷移、高可用性、分布式資源調度以及容錯技術等強大功能。

3 云媒資的部署與數據庫優化

考慮到新聞網站內容生產的特點，媒資系統必須采用B/S部署結構，以方便同網站CMS、VMS進行有效整合，實現適合網站媒體資產的工作流程。Nutanix平臺的B/S應用系統部署簡便，根據大眾網媒資工作流程描述（如圖3所示）和系統各組件的服務功能分析和負載均衡，在平臺上建立以下4個VM虛擬機并配置媒資系統組件，同時設置使用帶冗余鏈路的低延時10GbE內部交換機。

圖3 媒資系統工作流程

1）Web服務應用：提供B/S界面和實現Server端應用，控制操作頁面的顯示和整體流程的實現，提供媒體資產入庫與出庫流程的業務支持，在Nutanix平臺設置需分配8 Gbyte內存。

2）數據庫應用：負責媒資系統中元數據、人員信息記錄和系統配置信息的存儲，安裝MS SQLServer 2008數據庫軟件，需分配8顆vCPU和16 Gbyte獨享內存，初始時18 Tbyte存儲空間，存儲配置中選中CTR-RF2-VM-01（所有虛擬機和數據使用統一的容器）。

3）轉換引擎應用：提供素材轉碼與格式轉換、合成和碎片化服務，分配16 Gbyte獨享內存。

4）檢索與流媒體應用：負責向用戶提供數據檢索、節目編目服務和視頻流媒體服務支持，實現視頻的簡單編輯功能，設置分配8 Gbyte內存。

數據庫應用是整個媒資系統中最核心的組件，為保證數據庫級組件服務的高性能，必須對MS SQLServer數據庫進行優化設置，運行在Nutanix平臺的數據庫可初始設置如下：數據硬盤設置為分區簇大小為64 kGbyte的NTFS格式；數據庫TraceFlag跟蹤標志設置為834和1118，開啟大頁面緩沖池分配并減少TempDB的SGAM頁爭搶；用來存儲臨時對象的TempDB數據文件設置為初始50 Mbyte，自動增長容量默認為10%，禁止壓縮TempDB文件，同時設置為分解成8個文件進行讀寫I/O；主數據Database文件允許自動增長，直到達到80%的磁盤容量，并關閉數據和日志文件的自動壓縮功能。

SQLServer緩存池中會對數據頁面加輕量級的latch數據鎖，隨著應用時間的增長，在多用戶并發情況下會經常發生PAGEIOLATCH類型的I/O等待，說明此時的數據庫相關配置已經不能滿足需要，成為性能瓶頸所在，因此需要動態調整數據庫配置以及擴大分配給此應用服務器的Nutanix平臺的獨享內存。日常應用中需經常使用BPA工具檢測數據庫潛在的問題，積極利用第三方的數據備份工具經常創建快照和備份點，以防應用層面的數據錯誤的恢復。

4 小結

大眾網云媒資系統的構建，在硬件設備和軟件架構上都考慮了先進和可靠的技術，系統配置簡便、易于操作和管理維護，同時充分考慮了隨網站業務發展帶來的未來升級需要，對于大眾網的云媒資系統來說，初期建立的規模較小，盡管在存儲容量上有限，但強大的線性橫向擴展能力在后期可方便地進行按需擴展。基于Nutanix平臺的云媒資系統部署后，在大眾網應用效果良好，初步滿足了網站日常工作對媒資系統的要求。

[1] 樊磊，姜殿斌.基于云計算架構下的全媒體資產管理系統[J].電視技術，2012，36（22）：78-81.

[2] Nutanix-The Virtual Computing Platform[EB/OL].[2014-10-15].http：//www.nutanix.com.

Exploration of Media Asset Management System Based on Nutanix Virtual Computing Platform

LIU Bin
（IT Department,Shandong Dazhong News Group,Jinan 250014,China）

The conventional platform of cloud computing and virtualization essentially just actualize virtualization for servers.The working mechanisms of the Nutanix virtual computing platform are introduced taking the construction of media asset management system in DZWWW for an example,including node’s architecture,mechanism of data reading, writing and compression for NDFS file system,fault tolerance and reliability of the platform.The deployment, optimization and other related work of media asset management system on the platform are also discussed.

storage virtualization;virtual computing platform;cloud computing;media asset management system

【本文獻信息】劉彬.基于Nutanix平臺的云媒資探索[J].電視技術，2015，39（6）.

TN948 文獻標志碼：B DOI：10.16280/j.videoe.2015.06.017

閆雯雯

2014-12-08