十二運IBC賽事信息共享系統(tǒng)全鏡像架構(gòu)設(shè)計

粟迎南

（遼寧廣播電視臺 網(wǎng)絡(luò)技術(shù)部，遼寧 沈陽 110003）

第十二屆全運會（簡稱十二運）IBC賽事信息共享系統(tǒng)是IBC公共信號制作的核心系統(tǒng)，系統(tǒng)主要為各持權(quán)轉(zhuǎn)播商提供賽事公共信號資源，同時提供節(jié)目制作平臺。該系統(tǒng)完成賽事公共信號的收錄、場記，并支持以場記點為基礎(chǔ)的查詢檢索，支持高清節(jié)目制作，并提供多種格式及文件方式的上、下載。系統(tǒng)存儲了所有全運會制作的賽事資源，不僅在賽事期間供持權(quán)轉(zhuǎn)播商查詢調(diào)用，還需要在賽事結(jié)束后，使用離線介質(zhì)備份后存檔，作為組委會的媒體資產(chǎn)長期保留，待以后需要時調(diào)用。體育比賽無法重復(fù)，所以存儲的數(shù)據(jù)不容有失，系統(tǒng)的數(shù)據(jù)安全非常重要。系統(tǒng)必須按照廣電總局的標準提供安全文檔的數(shù)據(jù)服務(wù)[1]。

十二運IBC賽事信息共享系統(tǒng)首次將存儲訪問的全鏡像設(shè)計應(yīng)用于大型賽事信息管理系統(tǒng)，在文件系統(tǒng)層面實現(xiàn)賽事素材數(shù)據(jù)和元數(shù)據(jù)全鏡像存儲與共享管理，并利用應(yīng)用軟件的功能實現(xiàn)數(shù)據(jù)在文件系統(tǒng)間的備份，確保賽事數(shù)據(jù)安全。系統(tǒng)配置4臺相同配置的光纖存儲和2組文件系統(tǒng)服務(wù)器，任意一臺存儲故障，不需要調(diào)整系統(tǒng)和配置即可自適應(yīng)使用。客戶端可以同時訪問4臺存儲的全部數(shù)據(jù)，網(wǎng)絡(luò)帶寬成倍提升，并實現(xiàn)了多臺存儲間的負載均衡。

1 傳統(tǒng)的IBC數(shù)據(jù)安全機制

在以往IBC的備份方案中，主要采用2種備份方式，數(shù)據(jù)遷移式備份和文件系統(tǒng)數(shù)據(jù)級備份。

1.1 數(shù)據(jù)遷移式備份

這種備份方式采用備用的存儲搭建一套備份文件系統(tǒng)，通過備份服務(wù)器將文件定期從主文件系統(tǒng)復(fù)制到備份文件系統(tǒng)中。當主存儲出現(xiàn)故障導(dǎo)致主文件系統(tǒng)不能訪問時，客戶端掛載起備份文件系統(tǒng)，應(yīng)用程序切換到備份文件系統(tǒng)繼續(xù)工作。這種基于文件復(fù)制的方案，解決了盤陣整體故障后數(shù)據(jù)徹底丟失不能訪問的問題，但從應(yīng)用容災(zāi)的角度看主要有幾個問題：1）業(yè)務(wù)中斷；2）數(shù)據(jù)丟失；3）業(yè)務(wù)恢復(fù)時間長。

1.2 文件系統(tǒng)數(shù)據(jù)級備份

這種備份方式是基于文件系統(tǒng)的功能來實現(xiàn)的，在十二運之前的幾次國內(nèi)大型賽事的IBC存儲網(wǎng)絡(luò)都使用這種數(shù)據(jù)備份方式[2]，其數(shù)據(jù)結(jié)構(gòu)如圖1所示。

圖1 文件系統(tǒng)數(shù)據(jù)結(jié)構(gòu)

2套在線存儲中只有1套元數(shù)據(jù)卷（META-LUN），而數(shù)據(jù)卷（DATA-LUN）是完全鏡像的，這種方式的缺點顯而易見，如果存儲2出現(xiàn)存儲級故障，數(shù)據(jù)不會丟失，也不會對應(yīng)用造成影響，如果存儲1出現(xiàn)故障，則元數(shù)據(jù)卷丟失，存儲2中的數(shù)據(jù)卷也無法訪問，所以這種數(shù)據(jù)存儲方式不能保證安全，元數(shù)據(jù)卷所在存儲成為故障單點。

2 全鏡像架構(gòu)設(shè)計

本次全運會的賽事信息共享系統(tǒng)采用了一種全新的網(wǎng)絡(luò)架構(gòu)設(shè)計，徹底解決了以前使用的網(wǎng)絡(luò)架構(gòu)在數(shù)據(jù)備份方面存在的問題，系統(tǒng)采用的全鏡像架構(gòu)是一種高安全的存儲網(wǎng)絡(luò)架構(gòu)，其網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖2所示。

圖2 存儲網(wǎng)絡(luò)架構(gòu)示意圖

全鏡像架構(gòu)采用FC-SAN結(jié)構(gòu)，它是一種存儲網(wǎng)絡(luò)架構(gòu)，包含存儲、交換設(shè)備、文件系統(tǒng)服務(wù)器、客戶端、網(wǎng)絡(luò)文件系統(tǒng)、應(yīng)用軟件等諸多軟硬件要素，這些要素根據(jù)IBC的應(yīng)用需求組合在一起，共同形成一個高帶寬、高安全級別的存儲網(wǎng)絡(luò)。

全鏡像架構(gòu)在文件系統(tǒng)服務(wù)層實現(xiàn)高可用，通過文件系統(tǒng)的功能實現(xiàn)在鏡像存儲組內(nèi)的存儲間的數(shù)據(jù)和元數(shù)據(jù)全鏡像，對安全級別要求一般的數(shù)據(jù)，系統(tǒng)提供在1個存儲組內(nèi)2個鏡像存儲之間的備份，對安全級別要求最高的數(shù)據(jù)，可以通過應(yīng)用軟件的任務(wù)設(shè)置實現(xiàn)數(shù)據(jù)在2個鏡像存儲組之間的備份，即可實現(xiàn)文件系統(tǒng)級的備份。

1）存儲設(shè)計：系統(tǒng)包括4個存儲，存儲之間兩兩鏡像，構(gòu)成2個鏡像存儲組，鏡像的存儲配置完全一致。

2）光纖交換設(shè)計：系統(tǒng)包括4個核心光纖交換機和2個級聯(lián)光纖交換機，每臺核心光纖交換機與所有的4個存儲的主機端口連接，用來連接核心設(shè)備，級聯(lián)交換機只連接備線。

3）以太交換設(shè)計：5臺以太網(wǎng)交換機堆疊成環(huán)，同一設(shè)備的不同以太網(wǎng)接口連接在不同交換機上。

4）文件服務(wù)器設(shè)計：系統(tǒng)配備2組文件服務(wù)器，每組文件服務(wù)器管理1個鏡像存儲組，每個文件服務(wù)器組包括2臺文件服務(wù)器，文件服務(wù)器工作于主備的高可用模式。

5）網(wǎng)絡(luò)文件系統(tǒng)設(shè)計：全鏡像架構(gòu)依靠文件系統(tǒng)來實現(xiàn)存儲級的容災(zāi)，確保即使一個存儲損壞，也不會對應(yīng)用造成影響。

系統(tǒng)集成的文件系統(tǒng)利用自身提供的位于文件系統(tǒng)和數(shù)據(jù)塊之間的虛擬映射機制，實現(xiàn)數(shù)據(jù)的文件級鏡像，在文件系統(tǒng)層利用文件系統(tǒng)相關(guān)信息，以文件為粒度進行RAID1鏡像，并將文件存放于不同存儲設(shè)備中，借此實現(xiàn)了存儲系統(tǒng)的實時容災(zāi)功能[3]。

在客戶端往存儲寫數(shù)據(jù)時，采取同步鏡像的方式，只有“寫”操作在原始磁盤和鏡像磁盤上都完成后，才向客戶端通報“寫”操作成功。在客戶端讀取存儲數(shù)據(jù)時，文件系統(tǒng)會以數(shù)據(jù)塊為單位在鏡像存儲間做負載均衡。

如圖3所示，客戶端的寫請求，在文件系統(tǒng)服務(wù)器的管理下，會同時寫入到兩個鏡像存儲中，包括數(shù)據(jù)和元數(shù)據(jù)。

圖3 存儲系統(tǒng)框圖

在本次IBC系統(tǒng)中，每套文件系統(tǒng)管理一組鏡像存儲，當一個存儲整體出現(xiàn)故障不能正常工作時，文件系統(tǒng)仍然能正常訪問，其上正在運行的業(yè)務(wù)不會中斷，從而實現(xiàn)了存儲系統(tǒng)的全鏡像配置，徹底消除單點故障，保證了存儲系統(tǒng)的數(shù)據(jù)可靠性和可用性。

6）應(yīng)用軟件設(shè)計：根據(jù)IBC應(yīng)用的特點，系統(tǒng)的絕大部分數(shù)據(jù)都來自于收錄服務(wù)器的實時收錄，因此可以通過收錄軟件的設(shè)置來實現(xiàn)數(shù)據(jù)安全級別的選擇。

對于普通數(shù)據(jù)，選擇使用1臺收錄服務(wù)器進行收錄，收錄的數(shù)據(jù)存放在1套文件系統(tǒng)管理的1組鏡像存儲中，實現(xiàn)存儲級的容災(zāi)，1臺存儲故障不會導(dǎo)致數(shù)據(jù)丟失，也不會影響應(yīng)用。

對于高安全需求的數(shù)據(jù)，可以選擇2臺收錄服務(wù)器同時收錄，這2臺收錄服務(wù)器的路徑分別指向不同文件系統(tǒng)服務(wù)器管理的不同存儲組中，實現(xiàn)文件系統(tǒng)級別的容災(zāi)，1套文件系統(tǒng)故障不會導(dǎo)致高安全數(shù)據(jù)的丟失。

3 全鏡像架構(gòu)的數(shù)據(jù)安全體系

全鏡像架構(gòu)是由多種功能的軟硬件共同組成的一套存儲網(wǎng)絡(luò)，其安全體系也由多層結(jié)構(gòu)共同組成，如圖4所示。

圖4 全鏡像架構(gòu)數(shù)據(jù)安全體系

4 全鏡像架構(gòu)的特點

憑借網(wǎng)絡(luò)架構(gòu)的設(shè)計和應(yīng)用軟件的功能，全鏡像架構(gòu)具備以下特點：

1）零業(yè)務(wù)中斷：客戶端應(yīng)用程序的數(shù)據(jù)讀寫在單個存儲整體故障的情況下仍能持續(xù)進行，最大可能地保證業(yè)務(wù)連續(xù)性。

2）零數(shù)據(jù)丟失：單個存儲故障不會導(dǎo)致數(shù)據(jù)丟失，如果采用備份收錄策略，可以確保即使一個文件系統(tǒng)故障也不會導(dǎo)致數(shù)據(jù)丟失。

3）對應(yīng)用程序完全透明：冗余功能在文件系統(tǒng)內(nèi)部實現(xiàn)，所以可以做到對外接口仍然使用標準的文件系統(tǒng)接口，在單個存儲體故障時，應(yīng)用程序不需要做任何修改。

4）數(shù)據(jù)安全級別自由選擇：數(shù)據(jù)安全是以占用更多的存儲空間為代價來實現(xiàn)的，為了節(jié)省空間，并不是所有的數(shù)據(jù)都需要最高的安全級別，通過對應(yīng)用軟件的設(shè)置，系統(tǒng)可以方便地選擇數(shù)據(jù)使用存儲級容災(zāi)還是文件系統(tǒng)級容災(zāi)。

：

[1]國家廣播電影電視總局令第62號：廣播電視安全播出管理規(guī)定[EB/OL].[2013-08-20].http://www.gov.cn/gongbao/content/2010/content_1629143.htm.

[2]顧建國.十全十美十運會國際一流IBC——十運會IBC賽事資料共享系統(tǒng)[J].廣播與電視技術(shù)，2006（6）：53-54.

[3]楊德志，許魯，張建剛.藍鯨分布式文件系統(tǒng)元數(shù)據(jù)服務(wù)[J].計算機工程，2008（12）：4-6.