王國輝
(鄭州廣播電視臺,河南 鄭州 450018)
隨著廣播電臺對數字音頻網絡的依賴性越來越強,數據已經成為業務的核心。隨著音頻數據量的不斷增長,當達到數十TB時,數據備份和恢復操作對服務器硬件的依賴和影響就越來越大。另外,普通存儲陣列容量的擴展,會造成業務系統的停機,對于要求7×24小時服務的關鍵網絡系統來說,降低了整個系統的高可用性。
各類業務的全面網絡化使得數據規模越來越大,相關的數據流占用了過多的資源,選擇合適的系統架構具有非常重要的意義[1]。鄭州廣播電視臺自2003年開始構建數字音頻網絡系統,歷經了DAS,NAS,SAN等多種架構。媒體融合的快速發展對廣播技術系統提出了新的更高的要求,這些傳統的技術架構已經不能滿足廣播業務快速發展的需求。廣播和互聯網的融合越來越緊密,媒體融合的主戰場已經到了互聯網,這就要求廣播的技術平臺具有高效、靈活、安全等特性,以高可用音頻服務器為中心,為音頻編輯站、音頻管理站和音頻播出站提供查詢、播出及儲存等服務。電臺開展業務的技術架構,由原有的物理方式轉向虛擬化平臺,但是普通的虛擬化架構成本較高,不利于廣播中心的推廣使用。為進一步降低數據中心的復雜性并提升擴張能力,鄭州廣播電視臺采用了VMware超融合架構解決方案,較好地滿足了廣播電臺業務發展的技術需求。
服務器虛擬化即將服務器物理資源抽象成邏輯資源,使一臺服務器變成幾臺甚至上百臺相互隔離的虛擬服務器或者將多臺服務器虛擬成一臺服務器,不再受限于物理上的界限,使CPU、內存、磁盤、I/O等硬件部分能夠根據實際情況合理調配資源,充分整合資源、利用資源、集約化管理。這就是服務器虛擬化的意義。
VMware超融合架構是VMware公司根據廣播電視臺的特點,基于服務器虛擬化和分布式存儲技術,將計算、存儲和網絡集成于X86服務器之中,為電視臺提供硬件與軟件一體、產品與服務一體的超融合存儲[2]。它不僅構建了一個隨需擴展的數據存儲中心,還整合了數據庫、域控、安全及備份等功能模塊,并進行統一管理,大幅度降低規劃難度,提升效率,節省成本[3]。該架構主要有5個方面的特點。
(1)高擴展性。架構采用領先的分布式存儲系統,支持500個以上的存儲網關線性擴展,單一文件系統容量可擴展至32 PB;每個系統節點可以單獨擴容、分布實施,充分利用之前的硬件設備,系統彈性好。
(2)高可用性。通過硬盤冗余、數據冗余等安全技術,提高了系統整體可用性,保證了業務連續性。
(3)可靠高效的數據保護技術。系統采用數據冗余技術且使用分布式存儲,如果出現故障,能夠迅速恢復業務,充分保證數據安全。
(4)統一協議存儲。存儲網關本身融合有文件服務器,支持NFS、FTP、SMB等標準網絡協議[4]。
(5)易管理。通過虛擬化軟件,能夠根據具體業務的需求變化,及時對硬件資源統一分配管理,方便快捷,易于維護。
鄭州廣播電視臺廣播中心之前歷經了DAS,NAS,SAN等多種架構,采用服務器+磁盤陣列的方式提供存儲服務。在日常使用中,假如磁盤陣列或服務器宕機,會造成業務長時間中斷,數據恢復困難,同時也給安全播出帶來了巨大的挑戰。作為省級的廣播臺,隨著媒體融合的不斷發展,鄭州廣播電視臺對業務系統的快速改變上線應用的要求也越來越高。因此,對整個廣播業務系統架構的設計,既要滿足目前的使用需要,又要能夠靈活調整、彈性擴容,為多業務的并行運行保駕護航。
在系統整體升級更新后,鄭州廣播電視臺廣播自動化播出系統采用VMware超融合技術。本次方案的服務器部分由于采用了虛擬化技術,支持動態擴容,包括計算資源(CPU)、緩存(memory)、存儲(硬盤、陣列)等的動態添加;支持應用服務器的CPU、內存、存儲資源“按需分配”、動態調整。后續業務有增加的情況下,可以直接在現有平臺上添加一個“應用服務器”即可,不需另外單獨購買硬件服務器。整體架構及網絡拓撲分別如圖1和圖2所示。下面詳細敘述具體實現。

圖1 超融合整體架構

圖2 鄭州廣播電視臺基本網絡拓撲圖
為保證生產環境的正常運行以及在特殊情況下業務的連續性,關鍵業務服務器一般要求至少有2臺,為“主+備”狀態。特殊情況如硬件故障、掉電、其他原因引起的宕機等,在主業務服務器不能正常提供服務的情況下,要求備服務器能夠盡快接管業務,保證系統的正常運行。
關鍵業務服務器包含制作服務器2臺,廣告服務器2臺,媒資服務器2臺。
由于存儲部分涉及制作、廣告、媒資的視音頻的存儲,要求存儲容量越大越好。存儲部分具體分為制作網存儲,廣告網存儲以及媒資網存儲。
業務服務器、工作站等需要以FTP、CIFS等方式讀寫文件,因此還需要提供FTP服務器、SMB服務器等,提供標準的FTP、CIFS訪問服務。根據實際情況,制作網、廣告網及媒資網均需配置FTP服務器和SMB服務器。
具體架構是:采用2臺高性能物理服務器EDI-9000熱備,通過“虛擬化技術”虛擬出6臺應用服務器,采用基于Web的界面對存儲設備進行配置管理。系統配置工作簡單明了,流程清晰。系統能夠提供遠程告警。存儲部分,同時采用最先進的分布式存儲技術,將2臺物理服務器上的所有大容量硬盤管理起來,形成統一存儲池。擴容后新增存儲物理容量48 TB,數據經過多極冗余,分布式備份存儲,提高安全性,多個副本同時在線。強大的備份恢復機制,確保數據的安全,對廣播業務至關重要。對于廣播電臺高可用性的要求,VMware硬件層基于RAID技術,組建RAID5+1后,有效容量約40 TB,軟件層基于SDS文件系統、文件多副本技術冗余后,實際可用容量約20 TB,這是一個高可用性、易擴展的系統。鄭州廣播電視臺采用這種架構,有利于系統的縱向及橫向擴展,前期投資建設時系統可部署得比較小,根據后期業務的發展和系統資源使用情況,可以非常方便地在線擴容,數據無需離線,保障了系統的正常使用。
基于算法的快速定位技術,系統能夠迅速查找定位問題數據,從根本上解決元數據管理這一難題,從而獲得近乎無限規模的線性高擴展性,同時也大幅提高了系統性能和可靠性。集群中任何節點,只需要相對路徑和文件名就可以對數據進行快速定位和讀寫,無元數據交互過程,文件定位可以獨立并行化進行。系統配置了8個千兆網口,實際帶寬可達400 MB·s-1以上。原有存儲可作為“備存儲”來使用,通過EDI-9000超融合存儲的“備份模塊”自動同步主存儲數據,原有的系統作為二級備份。采用超融合架構以后,使用簡單的統一資源管理,改變了傳統的IT運維模式,配置管理變得簡單,降低了技術人員的勞動強度,提高了工作效率。更重要的是能及時響應快速變化的業務需求,新的應用可以快速部署到超融合系統中。
鄭州廣播電視臺建設的這套系統,支持Windows、Linux環境下提供高穩定性、可靠性數據存儲能力,特別適合電臺音視頻文件系統的傳輸存儲。以前系統的瓶頸在于多種系統間文件系統不一致,多種傳輸協議資料存儲協議共存相互轉換,降低了系統整體的性能。而VMware超融合架構所使用的是存儲設備自己的文件系統、TCP/IP over GbE數據傳輸協議,統一了協議標準,提高了數據存取效率。存儲網絡和用戶網絡可采用10 GbE聚合,保證素材讀寫流暢,不卡頓、不丟幀。存儲素材量巨大、多人協同制作時,單個節點可以提供1 GB或更高的讀寫帶寬,能夠保證帶寬需求。這有利于對電臺媒資庫進行大容量音頻數據資料調取使用時,可以跳過客戶機的文件系統進行存取,降低了服務器磁盤塊(Block)I/O的存取壓力[5]。
采用超融合架構后,客戶端主機的中央處理器只用處理應用業務系統,脫離了文件系統和硬件系統,簡化了數據流程,縮短了數據程序流程的執行時間。同時,采用超融合系統架構,硬件層面通過集群管理,軟件層面通過多副本、分布式存儲,消除了系統的單點故障,單個設備出問題不影響業務的正常開展[6]。這對于廣播電臺的播出、審聽等實時音頻流的應用非常有利,提升了客戶端音頻上傳、下載、審聽等使用場景的體驗感,提高了工作的效率。
本方案中,對于數據存儲,有如下安全保護策略。
(1)使用集群和多副本冗余保護模式,用戶根據應用業務類型綜合考慮來選擇配置模式,從而可以實現數據高可靠和存儲服務持續化。
(2)集群節點故障后,正常節點將自動接管故障節點的連接,保證業務不中斷,并通過系統修復策略管制,可確保節點故障對業務性能無影響。單塊硬盤出現故障時,系統監測到故障盤后,熱備硬盤自動替換并開始恢復數據。
(3)集群之間可實現自動或手動負載均衡,保證各個節點容量與性能基本一致。系統可實現不停機的在線擴展,大大縮減或消除計劃內的停機時間。
(4)多副本技術可以以正常數據為源數據,復制并恢復丟失或損壞的數據副本;糾刪碼保護技術可以通過存儲的冗余數據信息來重建丟失或損壞的數據,進一步加強對數據的保護。
(5)系統設計以負載均衡模式工作,如果某個設備故障,其他節點自動接管,保證業務的連續性。此過程中,數據存取正常,客戶端感受不到任何變化。
(6)可以對用戶或用戶組設置存儲容量配額,調整靈活,管理方便。
這些安全保護策略,確保了電臺最重要的數據資源的安全可靠,提高了系統整體的可用性。
在廣播業務快速發展的當下,基于IT技術發展而來的“超融合技術”,滿足了鄭州廣播電視臺不斷發展的業務需求,通過計算、存儲虛擬化技術和管理,降低了系統復雜度,使得技術維護人員能夠方便地管理。通過圖形化管理工具,能夠圖形化直觀顯示計算、存儲、網絡等資源配置,簡化了技術操作流程,降低了維護復雜度,提升了工作效率,同時也節約了系統軟硬件成本,能夠推動媒體融合業務的快速發展。