程智源,嚴 瑾
(中鐵二院工程集團有限責任公司,成都 610036)
鐵路是國家重要的交通基礎設施,是關系國家發展和經濟命脈的重大基礎建設,兼具便民、安全、經濟、高效等特點,加快鐵路發展已經成為社會各方面的共識。隨著鐵路路網規模的不斷擴大,鐵路的建設逐漸演變成為一個集成化的綜合工程,鐵路運輸指揮、生產管理、設備監控等都離不開視頻監控系統。隨著各業務部門的視頻需求不斷增加,視頻監控系統向數字化、高清化的不斷發展,使得視頻存儲硬件設備和存儲數據量激增;同時,鐵路視頻監控數據的重要程度越來越高,視頻數據的丟失所帶來的損失與影響巨大,因此如何有效地管理視頻監控系統的數據及設備成為鐵路建設的重點和難點。
隨著物聯網和大數據技術的發展,視頻監控存儲技術也在不斷的發生改變。目前,鐵路綜合視頻存儲系統的部署主要采用服務器+ 存儲區域網絡(Storage Area Network,SAN)存儲架構,前端采集的監控數據通過服務器中的管理模塊存儲到 SAN設備中。由于 SAN 存儲采取了集中管控的方式,數據的接入、存儲和轉發都依托于服務器,對服務器的承載負荷面臨著十分巨大的挑戰; 另一方面,鐵路綜合視頻監控系統具有海量視頻數據隨機讀寫、單站前端圖像并發壓力大等特點,傳統的 IP- SAN存儲系統由于單一設備的局限性, 一旦發生集中回放,單一節點容易出現性能瓶頸,并且目前的存儲方式無法實現存儲單元之間的數據共享冗余,無法形成一個整體的安全防護系統管理。因此,傳統的存儲系統逐漸無法完全滿足鐵路綜合視頻監控系統不斷發展的多樣化需求。
云存儲是一個以數據存儲和管理為核心的云計算系統,通過并行計算、分布式、虛擬化等網絡技術的融合,實現海量數據與資源的集中供給、多維數據融合,具有彈性擴展,負載均衡及高級別可靠性等顯著優勢,能夠有效滿足存儲容量擴展、便捷共享以及統一管理等需求,可有效解決傳統存儲方式無法解決的一些問題,作為一種新型存儲技術,云存儲在鐵路綜合視頻監控系統的建設有著可觀的應用前景。
視頻監控系統的數據及設備管理是鐵路建設的重點和難點,隨著視頻監控系統朝著數字化、網絡化、智能化方向的發展,視頻監控存儲技術也在不斷的發生改變。
早期的監控系統采用的是盒式磁帶錄像機(Video Cassette Recorder,VCR )存儲,實現最基本的影像功能和記錄功能;第二代存儲是DVR(Digital Video Recorder,硬盤錄像機), DVR 通過計算機及網絡技術,采用數字化視頻圖像處理方式將視頻存儲在硬盤上,實現了存儲的數字化以及遠程網絡管理功能。
第三代存儲是網絡存儲,分為網絡硬盤錄像機(Network Video Recorder,NVR)和SAN 存儲。網絡存儲由存儲器件和內嵌的系統軟件組成,允許用戶在網絡上進行數據的存取,通常占有局域網 (Local Area Network,LAN)上的節點,網絡存儲大大降低了應用或企業服務器的負載,集中管理和處理網絡上的所有數據,可有效降低用戶成本。
服務器+SAN 存儲架構基于以太網技術,通過TCP/IP 協議標準進行數據傳輸,一般適用于集中數據信息存儲。由于服務器+SAN 架構的存儲系統建設成本低、技術配置簡單、可靠穩定,并且擁有良好的兼容性、可擴展性、硬件平臺通用、數據共享等優點。因此,服務器+SAN 存儲的架構在大規模、網絡化、數字化的視頻存儲被廣泛應用,在鐵路視頻監控系統的應用中處于主流存儲地位。
隨著視頻監控系統在公共安全領域的價值不斷的凸顯,用戶需要監控的范圍及對錄像存儲的時間變得越來越大,因此視頻監控系統產生的錄像文件也變得越來越多。同時基于傳統操作系統的文件式存儲受限于系統索引個數的限制,以及單文件系統對硬盤的讀寫IO 較慢,因此不再適應未來的發展要求。
云存儲是具有數據存儲和管理功能的云計算系統,不僅是具有超高性能的新技術、新設備存儲模型,也是一種創新型服務模式。云存儲采用集群、分布式計算、虛擬化等技術,將多個存儲設備通過網絡連接在一起,集合所有存儲設備構成共享的統一存儲資源池,共同對外提供高性能、高可靠性的數據存儲、訪問、處理等服務,云存儲統一的資源池便于集中管理,災備冗余、靈活擴展、有效利用。
云存儲系統的物理架構如圖1 所示,主要由存儲層、基礎管理層、應用接口層、訪問層構成。

圖1 云存儲系統架構模型Fig.1 Architecture model for cloud storage system
存儲層主要由相關硬件設施組成,包括中心節點、元數據節點、存儲節點。存儲層設備往往分布于不同地區且數量龐大,通過廣域網、光纖通道或互聯網進行數據傳輸。元數據節點主要負責云存儲系統的數據管理、索引、訪問及處理,實現并發訪問、集中管理、災備冗余等功能;基礎管理層是云存儲系統最為核心的部分,主要通過集群、分布式文件、虛擬化、高性能網絡計算等技術,實現存儲層設備間的協同工作,構成統一的存儲資源池,共同對外提供海量數據管理、訪問、分析等服務;應用接口層是在存儲層和基礎管理層之上構建的服務接口,各運營單位可根據自身需求提供不同的應用接口和服務,是云存儲系統中最為靈活多變的部分;訪問層可按照使用者的不同需求提供相應的訪問服務接口。
相較于傳統的視頻存儲技術,云存儲的優勢十分顯著。云存儲可將視頻數據分散存儲至多個節點,通過負載均衡技術將各節點的存儲數據按需分布于各個節點上,有效避免了存儲資源冗余及浪費,可有效預防元數據處理能力出現瓶頸。在數據安全和恢復方面,云存儲可提供多種保護機制 ,通過數據自愈、災備冗余等手段,可有效實現多節點保護功能,即使單一節點的存儲設備發生損壞,云存儲系統也不會發生傳統存儲手段發生的數據全部損壞,對于未損壞部分的數據仍然可讀、可用。
目前,華為、海康、中科曙光等多家廠商提供的云存儲系統架構、設備類型各有不同,在構建鐵路綜合視頻監控系統的過程中,為了實現不同廠家平臺、設備互聯互通、有效利舊、資源共享,需要對視頻云存儲技術標準和設計原則進行規范。
云存儲方案的設計應當能夠滿足鐵路綜合視頻監控業務使用需求,同時還應具備一定的先進性、兼容性和穩定性,使系統具有容量擴容及升級換代的可能。結合云存儲的技術特點,在方案設計時建議符合以下3 個方面的原則。
1)系統的可擴展性,支持500PB 級單卷數據存儲,并在項目設計方案中考慮冗余,以滿足后續升級的需求。
2)采用標準化的部件,利于靈活替換和容量擴展,在擴展系統容量時,應當確保系統的性能得到線性提升。
3)系統的設計需符合存儲技術以及IT 行業的發展趨勢,確保系統技術水平和處理能力達到業內領先。
1)需支持國際通用的網絡標準協議、國際標準應用開放協議,支持多種業務應用接入。
2)采用業界主流的硬件平臺、操作系統、數據庫,確保各節點服務器間的相互兼容。
3)接口層可以與第三方應用集成,根據客戶需求提供定制化服務。
4)系統應具備彈性擴展能力,滿足今后擴容需求。
鐵路綜合視頻監控系統的數據具有用戶數量大、范圍廣、實時性強的特點,為確保系統運行可靠,數據不丟失,應增強系統安全防護能力。建議符合以下原則:
1)系統采用分布式存儲架構,具有較強伸縮性;
2)系統支持存儲系統集群,滿足高可靠性;
3)系統具備充分的災備冗余、數據容錯能力,防止數據丟失、損壞;
4)系統具有標準的技術保障體系,在硬盤、服務器等設備發生損壞時,讀寫業務不會中斷,不會造成已有數據的丟失;
5)系統具備數據自愈能力,在數據損壞時不會造成數據丟失。
為規范視頻監控系統的統一管理,最大限度發揮視頻監控系統在運輸生產中的作用,目前的鐵路綜合視頻設計分為三級架構,視頻核心節點位于國鐵集團,視頻區域節點位于各鐵路局集團公司,Ⅰ類、Ⅱ類視頻接入節點位于各站段內。根據既有綜合視頻系統設置方案及云存儲的特性,本文提出鐵路綜合視頻監控系統云存儲平臺的方案架構。
根據云存儲系統物理結構,云平臺的邏輯架構如圖2 所示。

圖2 云平臺邏輯架構Fig.2 Logical architecture of cloud platform
邏輯架構自下而上分為以下4 層。
1)基礎設施層
基礎設施層為云平臺提供基礎能力,主要由通用服務器、存儲設備、網絡設備等物理基礎設施構成。
2)資源池層
通過虛擬化軟件對物理資源進行虛擬化,提供統一的計算、存儲和網絡資源池。資源池層同時具有一定的運維能力,包括對本地設備狀況的監測、告警、分析、預測等。
3)服務層
服務層通過虛擬數據中心(Virtual Data Center,VDC)進行靈活的資源分配,數據中心通過云主機、物理機、網絡IP 按需提供各項服務,例如數據索引、信息融合等。
4)管理層
管理層提供運維、運營功能,通過管理多個數據中心的資源池,實現資源融合共享、統一管理,包括布控預警、統計報表、性能分析、服務審批等功能。
通過調研分析多個鐵路局集團公司綜合視頻監控系統的運維情況,考慮到既有設備設施情況,建議將各鐵路局視頻監控業務區域節點改造成為云數據中心,依托于數據中心構建云平臺。鐵路綜合視頻監控系統云平臺架構如圖3 所示。
由于云存儲系統需要足夠大帶寬的網絡進行前端數據的傳輸,考慮到目前各路局區域節點處網絡帶寬、機房空間、維護人員等多種因素,建議將云數據中心設置于各鐵路局集團公司區域節點。
通過區域節點作為統一入口時,因網絡帶寬等原因,仍然無法在物理數據中心完成實時視頻流、告警信號等數據的存儲和轉發,為解決該問題,需要引入云計算中的分布式技術構建虛擬數據中心。
VDC 是一種邏輯隔離技術,在物理資源池化后,按照使用者的業務需求,將資源池內的資源靈活分配給不同部門;管理員可以將VDC 內的資源進行自主分配,包括云主機、云磁盤、物理機、彈性IP 和各項應用服務。
通過構建虛擬數據中心,云存儲平臺實現物理分散、邏輯統一功能,便于資源池的統一調度和管理。虛擬數據中心包括服務中心和運維中心,服務中心提供統一的運營管理,實現入口、服務以及支撐流程的統一;運維中心有機連接各個數據中心,實現鐵路綜合視頻監控云平臺系統的整體運營和統一運維。

圖3 鐵路綜合視頻監控系統云平臺架構Fig.3 Cloud platform architecture of railway integrated video monitoring system
對于視頻云平臺的部署, 需根據運營單位的需求在管轄段內設立不同的段級云平臺,實現段級的集中管理和調度。對于單一數據中心,可以部署一個或多個段級云平臺,各平臺包括元數據服務器和數據節點2 類設備。
分布式云平臺的架構由數據中心和多個段級云平臺組成,根據需求定制化路局管理業務組織,并提供統一管理服務進行整體調度,實現視頻資源的共享分配。全局統一管理服務負責承載整個視頻云平臺多個段級云平臺的統一管理和數據共享,實現統一入口、全局信息統一管理、容災及業務請求管理、歷史日志查詢等功能。
隨著人工智能、大數據、物聯網等技術的發展,前端設備芯片的計算能力日趨提升,使得智能分析業務逐漸向前端設備轉移,大規模的并行計算和神經網絡算法等技術使得視頻前端設備的圖像處理能力、人工智能程度不斷提升;另一方面云存儲具有極高的開放性,除了基本的視頻管理、分析、檢索等業務服務,還會搭載統一的算法、應用等接口,云平臺可根據場景需求快速集成新算法,同時支持第三方業務的快速上線,“端云協同”的視頻架構可使智能化效率達到最大。
視頻云存儲系統具有高性能、彈性擴展、易于管理、高可靠性等特點,可以滿足高清視頻海量數據信息的存儲需求。本文針對視頻云存儲的設計原則及總體架構進行闡述,提出基于云存儲的鐵路綜合視頻監控系統建設方案與建議,為鐵路綜合視頻監控系統下一步的發展提供了一定的參考方向。