基于FiSEC的存儲系統及其在山東教育電視臺的應用

馮懷成

(山東教育電視臺，山東 濟南 250014)

基于FiSEC的存儲系統及其在山東教育電視臺的應用

馮懷成

(山東教育電視臺，山東 濟南 250014)

以山東教育電視臺對存儲系統升級應用為例，分析并探討了基于FiSEC的存儲系統技術特點，從數據復制、重復數據刪除、災難恢復和文件管理系統等方面做了相關介紹，并對存儲系統升級中遇到的系統帶寬設計、設備選型和應用配置等問題進行了探討。

存儲系統；FC SAN；FiSEC

山東教育電視臺每天9點至23點的教育新聞、專題欄目、影視劇等支柱節目的不間斷播出，在節目采、編、播的高強度工作需求下，采用常規SAN架構的核心存儲光纖磁盤陣列目前承擔著巨大的負載壓力。核心存儲的60 Tbyte光纖磁盤陣列采用日立公司的HDS2500，系統非編上下載，日常節目編、制、審和送播，衛星收錄，演播室回采，總編室電視劇和移動審片等多種核心業務的存儲都完全依賴于此盤陣，目前有效容量僅僅剩余12 Tbyte，且每天盤陣機動容量不足3 Tbyte。隨著山東教育電視臺節目量的急增和高清電視劇節目的大量引進，技術運維人員每天不得不定時清理大量素材以保持盤陣穩定；在重大活動和節假日時，存儲系統更加無法滿足各欄目的需要，HDS2500盤陣已處于不穩定狀態，中心存儲隨時會進入故障高發期，存在對電視臺的節目生產造成災難性和致命性損害的風險。如何在災難來臨時避免丟失關鍵數據而導致生產中斷和恢復數據的大量重復勞動，是山東教育電視臺需要面臨和解決的首要問題。

1 系統改造目標

針對山東教育電視臺網絡存儲系統現狀，對高清網存儲系統進行雙備份改造和升級已經刻不容緩，不但需要對現有SAN架構的存儲進行在線的容量擴容，還需為日常操作中的誤刪素材進行有效的備份，在系統中心主盤陣出現故障之后系統可迅速切換到備盤陣上，實現數據不丟失及實時熱切換。存儲系統設計以高可用性、高安全性、高性能、可管理性為目標，能夠實現主備存儲數據實時備份、存儲故障的自動切換以及存儲故障恢復后的數據同步功能，確保網絡用戶的數據安全及業務流程安全。

2 FiSEC網絡存儲技術

基于FiSEC[1]技術的存儲系統由主備控制服務器、同步服務器、文件存儲驅動程序等單元組成，是一個高可靠性的文件存儲環境，適合網絡非編、制作、包裝、采集、編目等各種應用的存儲，支持主備存儲數據實時備份、存儲故障的自動切換以及存儲故障恢復后的數據同步功能，以確保數據安全及業務流程順利執行，FiSEC技術體系架構如圖1所示。

圖1 FiSEC技術體系架構圖

2.1 數據復制

FiSEC采用了分布式存儲常用的IRP驅動復制技術，當存儲控制服務器獲取到到用戶寫入請求時，為了充分保護數據，使數據在硬盤掉線時也始終可用，FiSEC控制服務器會將此請求復制，并同時將數據分別寫入到多個物理存儲路徑中，實現存儲之間的數據備份與復制，形成分布式的軟件存儲架構。系統在提交任何一個寫數據操作之前，數據向相鄰的路徑節點進行同步復制，當只有用戶數據以及系統元數據被周邊路徑節點復制后，FiSEC控制服務器才將收到指令進行數據寫入，這種容錯技術保證了同一份數據至少在兩個不同路徑的存儲空間中保存。FiSEC控制服務器可根據數據訪問頻度，自動對數據存儲鏈路進行優化，以便對熱門訪問數據進行快速高效的尋址，對于典型的數據讀取操作，可通過客戶機程序的本地存儲資源控制器發送請求。

2.2 重復數據刪除

為充分利用系統空間，獲得更高的存儲容量性價比，FiSEC系統通過刪除重復數據來有效增加磁盤層容量，并同時增強高性能存儲的工作效率，而且純粹由軟件定義實現的重復數據刪除解決方案，不依賴于任何定制的專用集成電路和超大規模可編程專用集成電路，此功能對于存儲控制服務器是完全透明的。FiSEC系統提供了兩種對重復數據進行刪除的機制：一種稱作內聯性能數據刪除，可以減少應用程序工作集的緩存占用，從而大幅提高存儲性能；另一種稱作全局性的MapReduce數據刪除技術，利用了經典的Google矢量編程模型，在插入數據時使用SHA-1映射算法提取數據指紋并將數據指紋存儲在FiSEC元數據層，FiSEC定期對元數據進行全局性規約處理，將高聚類性的數據指紋認作是重復數據，依據相同指紋的多個副本進行刪除并應用到文件系統層。而對于正被讀取的數據，數據會保存到內容緩存中，對具有相同指紋的數據的任何后續請求都將直接從緩存中提取，這樣在可以增加FC SAN的有效存儲容量的同時，用SAN存儲控制服務器芯片的硬件輔助功能，最大程度地降低存儲數據刪除操作的性能開銷。

2.3 災難恢復

FiSEC主備控制器之間采用心跳檢測機制，發生系統災難故障時自動執行數據切換功能，通過數據路徑冗余實現服務的高可用性，當主存儲損壞或故障掉線時，FiSEC控制服務器把主存儲的物理路徑切換指向備存儲以實現自動切換，整個切換操作對應用層用戶完全透明，不需對應用程序做改動調整，使正在進行的讀寫操作不中斷，因而不影響本地應用的運行。主存儲故障排除后，由FiSEC同步服務器自動將備存儲的數據同步鏡像回主存儲，以確保主備數據的一致性。FiSEC技術基于文件級的存儲訪問控制策略，對節目采集、編輯過程中存儲的數據進行讀取智能分流，數據讀取時分別從多個卷讀出，實現了多倍讀帶寬和負載均衡，兼顧讀寫存儲的可靠性和可用性，同時還極大地提高了讀取效率。

2.4 文件管理系統

FiSEC采用了基于SAN的FiShare[2]共享文件管理系統，對節目的元數據與文件數據分離存儲，通過對元數據進行雙備份來提高存儲安全性，并支持分區容量在線擴展、自動碎片整理、多數據卷自動擴展等功能，操作管理更加簡易。FiShare文件系統對視頻文件進行了專門優化設計，采用智能優化的存儲策略，將視頻文件劃分為較大的多個連續片段，極大提高數據讀寫效率，提高采、編、播的存儲效率和可靠性和保障網絡視音頻應用的安全高效運行，滿足廣大收視用戶對高帶寬與響應快速的需求。

3 存儲系統改造方案

3.1 系統帶寬分析

根據山東教育電視臺日常工作需求，高碼率采用 50 Mbit/s 的MPEG2-IBP格式，低碼率采用4 Mbit/s的 MPEG-4 格式，非編站視頻編輯按4層計算，系統滿負荷運轉時所需存儲帶寬分析如表1所示。其中視頻文件的生成按照并發4路碼流計算，并支持2路節目的并發，視頻數據讀取(從SAN到下載工作站)和寫入(上傳工作站到SAN)均要求1 000 Mbit/s帶寬。讀操作合計需6.36 Gbit/s帶寬，寫操作需1.3 Gbit/s帶寬。

由此可見，系統并發訪問帶寬需1 100 Mbit/s，現系統混合(讀操作約占70%、寫操作約30%)帶寬約為1 500 Mbit/s，在原存儲系統滿負荷運轉情況下，工作帶寬已達到在線存儲帶寬總能力75%以上，系統帶寬也急需擴容，以保證原系統正常運轉。

3.2 設備選型與設計

山東教育電視臺高清綜合制播一體化網絡系統包括衛星收錄、節目采編、節目演播室直播回采、媒資資產管理、總編室編單和移動審片等多個子系統，若將所有的素材數據放在一個存儲上，數據丟失風險會加大，故新存儲系統架構采用主存儲加備存儲結構。原核心存儲為日立HDS2500光纖盤陣，設計應用60 Tbyte，并邏輯劃分為分別存放高、低碼流素材的X、Y盤，且所有的主盤X、Y均從主存儲盤陣HDS2500中劃分，為保證存儲系統升級后的兼容性，系統備存儲選擇了34 Tbyte的HDS的AMS系列盤陣，備盤陣劃分為M、N兩個盤，M盤容量大小為24 Tbyte，專門用于總編室存儲上載的高清電視劇，N盤容量10 Tbyte，用于新聞上載素材的備份。

表1 系統存儲帶寬分析

訪問類型業務類別涉及設備設備數量/臺視頻碼率/(Mbit·s-1)視頻流數量帶寬需求/(Gbit·s-1)讀視頻編輯低碼率編輯工作站544008讀視頻遷移下載工作站11讀視頻編輯精編工作站155043讀視頻編輯無卡工作站3544056讀配音配音工作站350406讀生成650412寫視頻遷移上傳工作站11寫生成650103

為降低成本，系統采用臺里現有的8 Gbit/s主機光纖通道與盤陣進行直連，配置雙控雙活控制器，并配置共58塊600 Gbyte較低速的7 500轉SATA磁盤，其中兩塊磁盤用來當作熱備盤，系統根據現有的網絡結構進行IP規劃和配置，存儲控制器采用冗余電源、冗余風扇配置以提高安全性。

原配置的獨立磁盤冗余陣列RAID5技術，通過在各個磁盤上交叉的存取數據和奇偶校驗信息，這種技術在實際操作中有“寫損失”的缺點，即每一次數據寫入操作將產生四個實際的讀、寫操作，其中兩次是讀取舊的文件數據及奇偶校驗信息，兩次寫入新的文件數據及奇偶校驗信息，因而RAID5的數據寫入性能較差，對數據傳輸的并行性效率不高，且當其中硬盤出現故障掉線后，整個陣列的性能將大大降低。鑒于電視臺節目播出的安全性，原HDS2500的60 Tbyte主盤陣改用了RAID5+1技術，即帶奇偶校驗信息加雙備份機制，在RAID5基礎上外加一個熱備盤，當系統里有硬盤掉線后，系統自動將熱備盤加入陣列。

3.3 服務器配置

原存儲系統FC-SAN高清網絡中有172.16.50.44和172.16.50.45兩臺全網監控服務器，利用這兩臺服務器安裝并配置FiSEC-MCE中心控制引擎服務器端，其中服務器172.16.50.44配置為提供FiSEC-MCE中心控制引擎服務，172.16.50.45做其服務器熱備使用。將主備盤陣盤符映射到服務器172.16.50.44上，讓它可以同時監測到X、Y、M、N這4塊邏輯盤。在這兩臺服務器上安裝FiSEC-MCE服務程序，并設置好服務器本地IP。對于其他服務器設置在有權限存取主盤X、Y的同時可存取備盤M、N，并配置MDS存儲管理主備服務器(配置FiShare軟件)1臺，NAS控制服務器4臺，高清轉標清的接口服務器2臺，CLIP遷移服務器6臺，RENDER后臺打包服務器6臺。

為循環利用光纖盤陣的有效存儲空間，通過設置存儲占用“水位線”或者存儲時間先后為條件自動刪除文件來優化系統存儲容量，通過設置主備存儲的異步恢復與刪除，當造成主存儲人為誤刪除的情況下，在較短時間內可以在備存儲中找回并恢復到原存儲中，以免造成不必要的素材損失，文件刪除設置用于備存儲上的定期刪除文件，因備存儲上教育新聞的實效性和可行性，設計保留機制只留存48 h內的新聞素材。

3.4 客戶端應用

總編室客戶端共5臺高清工作站，其中3臺有卡工作站通過光纖直接連接主盤陣，2臺無卡工作站通過NAS連接，為保證總編室上載、編輯電視劇更加方便簡單，把新加盤陣24 Tbyte的M盤配置給總編室獨立使用，5臺工作站全都獲取存取M盤權限，用于存儲電視劇節目，并將總編室存儲高碼率的素材盤配置映射到HDS AMS的M盤，低碼率新聞素材仍然存放在原HDS2500盤陣的Y盤上，這樣原HDS2500盤陣的X盤只存放新聞高清素材。

山東教育電視臺高清新聞系統共有12臺非編有卡工作站，并通過光纖交換機與中心主盤陣直接連接，37臺無卡非編工作站和兩臺編目工作站，通過NAS控制服務器與中心主存儲相連。為保證主備存儲數據一致性，在需要進行數據備份、讀寫分流和切換盤符的站點上的網絡內，所有的有卡工作站和無卡工作站全部安裝了FiSEC客戶端軟件，并配置好相應服務器的IP地址。

客戶端工作站可進行本機的實時備份，備份任務是由控制服務器創建并統一發送給客戶端，再由客戶端程序執行完成的。當客戶端收到任務指令后，在寫主存儲的同時，由FiSEC存儲控制器實時備份到備用存儲上，整個操作對客戶端工作站用戶來說是透明的。

編輯工作人員對每天上載的教育類新聞素材進行實時備份，一但當天的主盤陣發生故障，系統可以實時切換到備盤陣中，使素材不至于丟失，還能保持新聞的完整性、可靠性和實效性。當存儲盤陣HDS2500發生故障、存儲控制器查詢不到邏輯硬盤X盤時，客戶端程序會向控制器發起請求切換，當請求數達到預先設置閾值時引發切換指令，FiSEC控制器在較短時間內將切換主存儲X盤符到備存儲M盤的物理路徑，完成切換操作，以保證X盤符始終有效，讓寫入操作可以繼續下去。

當發生主盤陣與備盤陣的切換后應及時恢復故障的盤陣，不可使備盤長期承擔主盤工作，硬件故障恢復后，要待FiSEC服務器和MDS先恢復正常啟動后再重啟客戶端工作站，FiSEC才會自動恢復網絡盤的映射，主存儲故障排除后，由FiSEC專用的數據同步服務器將備存儲的數據同步到主存儲，確保主備存儲的數據一致。

4 小結

在新技術層出不窮的今天，電視節目制作的實時性、可靠性和安全性顯得尤為重要，電視臺的數據安全越來越成為工作中的重中之重。為保證數據在任何情況下不受到損失、最大限度地保護數據資產，山東教育電視臺存儲系統應用的FiSEC技術具有主備存儲數據實時備份、存儲故障的自動切換以及故障恢復后的自動恢復功能，并對應用層透明，即使中心控制引擎器發生故障也不會造成電視臺應用的重大故障，從而大大減低了整個存儲系統的故障率，使我臺網絡存儲系統具有了安全保障。

[1] FiSEC安全增強軟件[EB/OL].[2015-06-20]. http://www.sobey.com/html/product/soft/show_415.html.

[2] FiShare共享文件管理系統[EB/OL].[2015-06-20]. http://www.sobey.com/html/product/soft/show_414.html.

[3] 王春建.電視非編網素材的實時備份[J].廣播電視信息，2011(11)：91-94.

責任編輯：哈宏疆

Storage System Based on FiSEC and Application in SDETV

FENG Huaicheng

(SDETV,Jinan 250014,China)

The technical features of the storage system based on FiSEC are introduced taking the application and upgrading for storage system in SDETV for an example, inculding data replication,duplicate data deletion, disaster recovery, the file management system and so on. The design of network bandwidth, equipment selection and configuration in storage system’s upgrading are also discussed.

Storage system; FC SAN; FiSEC

TN948

B

10.16280/j.videoe.2015.20.022

2015-03-06

【本文獻信息】馮懷成.基于FiSEC的存儲系統及其在山東教育電視臺的應用[J].電視技術,2015，39(20).