廣電監測數據存儲中心（IDC）的設計與應用

（山東省廣播電視監測中心，濟南 250014）

摘 要：本文首先介紹了我省廣播電視監測數據存儲中心的項目背景，然后就存儲技術發展、方案選型設計及具體應用實施做了闡述，最后總結了項目的實施效果和應用前景。

關鍵詞：廣播監測;IDC;監測網絡

0 引言

隨著廣播電視事業的全面發展，廣電安全工作日益受到重視。借助高新技術手段，建立起數字化、網絡化、智能化、快速有效的廣電監測反應機制，有效保障人民群眾的收聽收看權益，對建設功能完備的數據存儲系統提出了挑戰。針對我省廣電監測省、市、縣三級貫通的發展趨勢，設計建設技術先進、穩定可靠的監測數據存儲中心（IDC：Internet Data Center），為全省17市（地）廣播電視監測視/音頻數據全天候海量并發寫入、多用戶并發查詢等實際需求提供技術支撐，成為當務之急。

1 存儲技術的發展與比較

1.1 存儲技術的發展

網絡化的數據存儲技術發展至今，大致分為直接外掛存儲（DAS：Direct Attached Storage）、網絡附加存儲（NAS：Network Attached Storage）、存儲區域網絡（SAN：Storage Area Network）三個階段。

直接外掛存儲（DAS）：各存儲單元通常以SCSI（Small Computer System Interface 小型計算機系統接口）接口，通過電纜實現服務器和設備的互聯。網絡內的數據讀取（I/O）操作，直面存儲單元。

網絡附加存儲（NAS）：磁盤柜集成了處理器和操作系統，網絡內的數據讀取（I/O）經由系統內的TCP/IP網絡，通過文件存取協議實現。

存儲區域網絡（SAN）：存儲體系里的各存儲單元，通常由以光纖通道（Fibre Channel）的獨享底層網絡實現RAID陣列連接互聯，服務器和訪問端的訪問以SCSI命令而非TCP/IP，優勢是高帶寬、“塊級”（block level）數據處理。

1.2 存儲技術的比較

直接外掛存儲（DAS）：存儲設備和服務器直接互連，服務器需要獨立的磁盤陣列，且數據冗余保護和I/O吞吐能力較強。

網絡附加存儲（NAS）：可將小型、分布的數據整合為大型的數據中心，實現了存儲設備與服務器分離，從而釋放帶寬、提高性能、集中管理數據，有效降低了成本。

NAS與DAS比較：通俗理解，DAS可以理解為本地磁盤;NAS可以理解成網上鄰居。NAS一般用于網絡文件服務，在大文件傳輸速率方面優勢明顯，通過網絡交換機訪問方便，容易被多臺服務器共享使用。DAS僅能直接連接少量服務器，屬于經濟型型的存儲方案，速度尚可，比較適用于中小企業環小型存儲網絡環境的一般數據庫存儲要求。

存儲區域網絡（SAN）：SAN的底層傳輸網絡是光纖通道，與外部TCP/IP網絡物理隔離，專有的存儲區域網絡， IP+SAN的實際架構模式，實現了基于TCP/IP網絡、SCSI協議傳輸的設備互聯，各磁盤陣列和服務器之間，采用的是伸縮式的網絡拓撲互聯，任意節點之間數據路由自由，且數據存儲區域相對獨立。該系統實現了多種操作系統下標準化光傳輸協議體系下的跨平臺數據共享、優化、容量以及RAID規劃。

SAN和NAS：SAN以高帶寬、高速率實現數據的塊狀傳輸，實現了統一平臺下的諸如數據庫規劃、集中存取、管理備份等的靈活部署，且服務器訪問數據時不占用LAN的資源;NAS結構的服務器需要和文件服務器交互實現請求響應，因此更適合辦公環境下文件級別的小文件客戶需求的共享與應用，SAN存儲系統更適合數據的集中管理和備份。

2 數據存儲中心（IDC）方案設計

2.1 方案選型

如用DAS方式，同時對存儲資源進行I/O操作，就要為各模塊的設備提供獨立連接的磁盤陣列，成本過高，存儲容量的靈活擴展及規劃有局限，且各模塊直接無法數據共享。

NAS的優點是易操作、容量大且性價比高，但數據通信的響應速率受制于網絡提供的帶寬資源。本系統設計容量可達240TB以上，該型存儲系統，提供如此海量的存儲的基礎是設備規模龐大，容易造成實施成本過高且不易維護。

SAN的優點是穩定可靠、容量大、高速率，基于光速的存儲網絡體系，響應了廣電監測視/音頻數據全天候并發寫入、多用戶并發查詢等的實際要求。

SAN服務器訪問數據時，不占用存儲系統外的帶寬資源，實現了存儲系統對TCP/IP網絡的物理隔離。

SAN存儲體系，可實現統一平臺下的存儲資源部署、動態監管等。

因此，我們選擇SAN來規劃存儲系統。一個SAN存儲架構的、可擴展的基礎存儲系統，輔以必要的存儲安全管理方案，通過冗余鏈路完成數據的備份和容災管理，提供快速恢復和容災機制。

2.2 方案要求

數據存儲中心（IDC），由核心服務器及存儲系統夠成。核心存儲系統，由存儲服務器和磁盤陣列柜成，可實現對全省監測數據的災備存儲。具備容災鏈路措施，保證在斷電及災備情況下，數據存儲安全，設計要求（如圖1）如下：

前提要求：覆蓋全省的廣電監測系統網絡，采集工作站眾多，系統要滿足視/音頻數據流的并發連續寫入、多用戶并發查詢的要求。

安全可靠：在數據存儲中心（IDC）的各個環節，尤其是關鍵部件，需具備容錯特性或備件策略，允許設備熱拔插;設備的通用部件（磁盤、服務器及板卡等），要求技術成熟、性能穩定，售后服務好。

容量要求：全省17市（地）的視/音頻數據，要循環存儲30天，同時滿足永久性數據的存儲要求，存儲系統設計裸容量可達到240T。可用熱擴展方式，在存在容量擴展要求時實現容量的平滑擴展。

易于維護：要求系統支持遠程管理，對綜合存儲系統的各個設備單元，實現日常運行實時監控，以及故障的自我診斷、隔離、排除。

性價比高：數據的安全策略，要符合廣電監測對象主要為視/音頻信號的特點，在滿足監測級別的數據安全及備份要求的前提下，又要避免特殊行業對存儲數據苛刻性的要求，以免投資浪費。

3 技術應用與硬件配置

監測數據存儲中心（IDC）（如圖2），具備可靠、易擴展、易于管理等特點。提高存儲空間穩定可靠性的同時，實現統一管理、靈活擴展和豐富的數據管理功能，以滿足監測存儲系統對節目持續錄制和超大容量存儲的需求。利用系統內置的RAID保護技術、熱備盤保護技術、數據寫CACHE操作鏡像保護（雙控制器）、斷電CACHE數據保護技術（通過電池來實現）等保障數據安全。

3.1 技術應用

采用IP+SAN的架構：Fiber Channel（光纖通道），采集工作站將視/音頻信號采集、壓縮、編碼、封裝成為適合于TCP/IP網絡傳輸的數據流，傳輸到存儲服務器，最終以符合FC-SCSI（Fiber Channel-Small Computer System Interface 光纖通道-小型計算機系統專用接口）協議的數據包，分別接入IP+SAN架構的存儲網絡。

存儲接入擴展（1-N）：可實現靈活的不同操作系統下的數據存儲系統的接入。

數據遠程容災設備：通過遠程容災鏈路，實現本地數據在異地存儲設備上的容災備份。

存儲服務器雙機容錯：采用雙機容錯的集群工作模式，切換由集群管理系統實現，同時提供數據遠程容災鏈路及設備。

光纖通道的動態管理：SAN網絡中，每臺設備有兩條等價開銷的光纖鏈路，以均衡負載方式提高SAN網絡的處理能力及可靠性。

磁盤陣列規劃： 磁盤陣列組以RAID5（5D+1P）級別提高磁盤利用率，讀寫速率及數據恢復時間適中;主磁盤陣列實現了全局熱備份磁盤（Hot Spare Disk）自動熱備份，故障磁盤熱拔插（Hot Swap）。

3.2 硬件配置

存儲架構： IP+SAN存儲系統，Fiber Channel，支持iSCSI協議;

磁盤驅動：支持SAS、SATA磁盤混插，支持熱拔插及在線維護;

擴展容量：最大支持磁盤數≥336，考慮系統全天候24小時視/音頻并發寫入，及對新媒體的監測擴展性需求，系統設計容量可擴展至240T以上;

存儲控制器： 64位雙核處理器，雙控制器。

控制器緩存：標配緩存≥16GB，最大緩存≥32GB;支持寫緩存鏡像，寫緩存支持斷電保護≥100小時。

后端磁盤通道：后端帶寬≥72Gb;控制器上每個SAS磁盤通道的帶寬12Gb，SAS磁盤通道數≥6;每磁盤柜支持2個SAS通路，支持故障切換;

前端主機通道：控制器主機接口≥16，支持斷口捆綁，可組建SAN;

主機連接：SAN存儲環境中，最大主機連接數≥256;帶寬≥1440Mb/s;

可靠性：支持RAID0、RAID1、RAID5、RAID10;冗余設備在故障時，保證自動切換。保證單一部件故障，不影響整個系統的正常運行;

操作系統兼容性： Windows、Solaris、HP-UX、AIX、Linux，etc;

數據管理和保護：支持數據鏡像，可為數據卷加完全一致的鏡像卷;鏡像卷可與源鏡像卷分離，用于測試、備份;支持通過IP網絡容災鏈路，將指定數據卷上發生變化的數據，傳輸到容災/備份中心的磁盤上，實現遠程容災。

系統管理軟件：提供完整的系統管理軟件，支持集中式GUI監控、性能分析，支持SNMP;支持性能監測和報告的軟件以及多路徑軟件;安全訪問控制軟件;環境監測、故障預測和報警功能;支持事件報告的方式。

4 總結

全光纖通道（Fiber Channel）、IP+SAN存儲架構的廣電監測數據存儲中心（IDC），以全省SDH（Synchronous Digital Hierarchy 同步數字系列）廣電專屬網為底層傳輸網絡，建成以來，讀取速度快、運行安全穩定，易于維護和擴展，實用性與先進性兼具，滿足了基于全省17市（地）廣播電視監測視/音頻數據全天候海量并發寫入、多用戶并發查詢的網絡化監測需求，與互聯網視/音頻監測系統等多個監測系統的擴展性融合良好。

參考文獻：

[1]張偉.發展中的廣播電視監測業務[M].中國廣播技術發展論壇，2003（10）：30-35.

[2]王建剛.數字存儲技術在衛星廣播電視監測中的應用[M].廣播與電視技術，2005（09）：99-102.

[3]IEEE Standard Test Access Port and Boundary-Scan Architecture，IEEE Standard 1149.1，2001.

[4]董燕.中央監測資源集成平臺的軟件架構設計思路[M].廣播與電視技術，2007（11）：105-108.