云存儲技術在鐵路視頻監控系統的應用

崔圣青，王毅勇

（中國鐵路濟南局集團有限公司濟南通信段，山東濟南250001）

0 引言

鐵路綜合視頻監控系統自建設以來經過了十幾年的發展，建設規模不斷擴大，應用范圍越來越廣泛，重要程度逐步提高，在鐵路行車指揮、生產組織、客貨運輸服務、作業監控、搶險救援以及治安防范等方面發揮了不可替代的作用。

隨著技術發展水平提高和設備更新速度加快，用戶對視頻監控系統的體驗和需求不斷發生變化。攝像機從標清模擬到高清IP數字，分辨率CIF（352×288）、4CIF（704×576）/D1（720×576）、720P（1 280×720）、1080P（1 920×1 080）、4K（4 096×2 160）……逐步提高，編解碼格式經歷了MPEG4、H.264、H.265等；視頻碼流從單路4CIF、25幀/s標清視頻流2 Mb/s提升到單路1080P、25幀/s高清視頻流6 Mb/s（采用H.264）、4 Mb/s（采用H.265）［1-3］等。伴隨圖像清晰度的提高和視頻路數的增加，直接引起視頻數據流量的海量劇增，原有的硬盤錄像機、網絡視頻錄像機（NVR）、磁盤陣列等存儲模式及網絡附屬存儲（NAS）、開放系統的直連式存儲（DAS）、IP構建存儲局域網絡（IPSAN）等存儲架構不再適合大容量數據的存儲、調用和管理［4-5］。

1 鐵路視頻監控系統應用現狀

目前中國國家鐵路集團有限公司（簡稱國鐵集團）管內綜合視頻監控系統攝像頭計上萬路，存儲時間分別為30、15、3 d［3］。

鐵路視頻監控系統存儲架構大多采用IP-SAN技術，通過存儲服務器的獨立冗余磁盤陣列（Redundant Arrays of Independent Disks，RAID）卡將多塊物理磁盤邏輯化成為1個磁盤分區，并通過小型計算機系統接口（Internet Small Computer System Interface，ISCSI）協議將邏輯磁盤分區導出至前端攝像機，進行視頻錄入。普速線路的Ⅱ類節點接入幾十路平均視頻，其中，高清攝像機數量約占總數的10%，其余為模擬攝像機。

2 云存儲關鍵技術

2.1 數據保護機制

2.1.1 糾刪碼

云存儲系統可同時提供文件級及塊級數據保護，用戶可根據需要設置不同的保護級別，糾刪碼數據保護機制采用N+M數據保護模式，其中N代表原始數據被切片的數量，數值為2、4、8、16；M代表生成的校驗數據數量，數值為1、2、3、4。當系統配置的存儲服務器（存儲集群）臺數≥N+M時，可以允許M臺存儲服務器同時損壞；當配置的存儲服務器（存儲集群）臺數＜N+M時，系統自動將冗余保護機制從服務器級別降為磁盤級別，可以允許M塊磁盤同時損壞。M為4代表存儲系統最多允許4臺存儲服務器或4塊磁盤同時損壞［6］。

4+2糾刪碼數據冗余模式見圖1，當N+M為4+2時，數據在存儲時按照文件寫入粒度將文件切分成4個片段并生成2個校驗數據，再將6個片段分別存儲至不同存儲服務器，允許同時損壞的存儲服務器或跨存儲服務器損壞的磁盤數量為2。

圖1 4+2糾刪碼數據冗余模式

當系統存儲服務器≥6臺時，允許2臺存儲服務器同時損壞，這2臺存儲服務器上可損壞任意數目的磁盤；當3臺≤系統存儲服務器＜6臺時，支持1臺存儲服務器損壞或跨存儲服務器2塊磁盤同時損壞；當系統存儲服務器=2臺時，支持跨存儲服務器的2塊磁盤同時損壞。同時損壞2臺存儲服務器數據保護機制見圖2。

圖2 同時損壞2臺存儲服務器數據保護機制

2.1.2 參數配置

N+M糾刪碼不同數據保護模式下的具體參數見表1。

表1 N+M不同數據保護模式下的參數表

實施案例1:某站有視頻352路，4M碼流，存儲90 d，可用容量為1 521 TB。可以采用8+2保護模型，空間利用率為80%；也可以采用4+1保護模型，空間利用率也為80%。實施中多數人選擇8+2保護模型，配備存儲服務器總臺數≥10臺。實施案例2:某站有視頻40路，其中10路為高清攝像機，存儲10 d；剩余30路為模擬攝象機，存儲7 d，4M碼流，可用容量為27 TB。實施中多數人選擇2+1保護模型，配備3臺12盤位2 TB的存儲服務器，空間利用率為66.7%；當存儲服務器損壞1臺后自動降級為磁盤級4+2模型進行保護。

2.1.3 副本

副本數據保護機制是將文件按照規則分段存儲至存儲服務器，其中每一段都會有2個以上（可根據需求設置2、3、4個副本）的有效副本存放至不同的存儲服務器。如1個文件file A被切分成segment1-N個片段，文件file A的segment2片段的2個副本分別存放至存儲服務器S1的磁盤D1和存儲服務器S2的磁盤D1，當S1宕機或者S1的D1失效時，用戶依然可以從S2的D1上讀取file A的segment2片段，同時系統將會自動在另一臺存儲服務器如S3的D2上產生segment2的新副本。副本數據保護機制見圖3。

圖3 副本數據保護機制

2.1.4 保護效果差異

云存儲系統中，糾刪碼保護和副本保護利用不同的機制對數據進行保護，主要區別體現在存儲空間利用率。副本保護機制存儲空間利用率較低，不同重要程度、不同應用場景下使用不同副本機制，空間利用率最大為50%；而糾刪碼保護機制存儲空間利用率較高，根據不同數據模型選擇和存儲服務器配置，存儲空間利用率可達50%～94%。

2.2 負載均衡

將文件按照一定方式進行切片，采用數據智能均衡算法，將所有數據讀寫壓力平均分配至云存儲系統的存儲服務器所有磁盤，實現所有磁盤的壓力均衡，提升并發訪問效率，降低硬件負載壓力和損耗程度，形成一個高性能的共享存儲池，為前端提供高聚合帶寬讀寫訪問，避免壓力分配不均衡造成的設備性能降低。

云存儲系統根據設備可用容量、負載情況、接入任務數以及讀寫性能等，自動進行存儲服務器級和磁盤級的負載均衡和資源分配。負載均衡系統通過提供智能IP管理，實現存儲服務器IP地址的自動添加和遷移。

當存儲服務器在線擴容時，可將數據自動均衡至新添加的存儲服務器，實現數據均衡的同時，數據安全級別允許同時損壞存儲服務器節點和磁盤數量增加，提高了存儲系統整體數據安全保護級別。

2.3 數據自愈

云存儲系統內置自動故障探測機制，當探測到某個存儲服務器或存儲服務器磁盤發生故障時，會自動觸發數據自愈恢復流程。在正常設備中分配新的空間，重新恢復存儲設備中有效的受損數據，區別于傳統存儲系統對整個磁盤所有塊的數據恢復，可以有效減少數據恢復過程中的數據傳輸量。

在云存儲系統中，1個磁盤的數據段對應冗余數據平均分布在存儲集群的其他存儲服務器上，損失的數據也將平均恢復至整個存儲集群，數據恢復過程由正常狀態的存儲服務器并發進行，是一種多對多的數據恢復模式。

由于數據恢復過程中所有存儲服務器共同參與，所以存儲服務器集群的規模越大，參與恢復的存儲服務器數量就越多，整個系統的恢復速度也越快，安全程度就越高，傳統的IP-SAN設備數據恢復依托于硬件RAID卡，若數據恢復過程中硬件RAID卡出現故障，會造成數據丟失，且只有損壞磁盤的這1臺盤陣設備進行盤陣內數據恢復，與云存儲系統的所有服務器均參與數據恢復相比較，時間較長。

當數據恢復完成，整個系統立即成為最高安全狀態，這時再發生設備失效不會導致數據丟失；在系統負載較小時，也可選擇手動進行數據自愈恢復［7］。

2.4 在線擴容

云存儲系統中的元數據服務器集群和存儲服務器集群支持在線動態擴容。存儲服務器集群擴展包括:存儲服務器、存儲服務器中磁盤擴展，擴展的容量可即插即用。而且隨著存儲服務器數量增多，存儲系統的聚合帶寬也會呈線性增長。

元數據服務器集群擴展帶來文件存儲數量的增長，整個擴展過程對應用平臺完全透明，擴展的元數據服務器立刻能夠提供服務，前端應用無需進行手動配置。隨著元數據服務器數量增多，存儲系統提供的元數據服務能力也會呈線性增長，可管理的文件總數也線性增加［8］。

當需要進行存儲資源擴展時，只需要在集群內添加新增存儲設備的IP地址，系統會自動辨別新增設備，對其進行虛擬化整合，容量融入集群；同時，擴展過程中，用戶的正常業務不中斷，實現存儲資源在線擴容。

2.5 跨站數據同步

云存儲系統具有數據同步功能，實現業務自動切換，保證業務正常運行和數據安全。具體包括:支持遠程備份，自動進行小文件打包、大文件合并等多樣備份需求，能同時進行無限制的并發備份，提供高效并發備份機制；具有遠程復制加密傳輸功能，可保證數據隱私和數據完整；利用掉電保護技術確保備份數據不丟失；能快速備份、及時恢復、性能自動調優及保證業務連續性；對重復數據進行對比篩查，進行增量備份，節省存儲空間；可完全兼容傳統的備份環境。

2.6 面向云存儲系統的“三員管理”

云存儲系統中分系統管理員、安全管理員、安全審計員3類角色。系統管理員主要負責存儲系統的日常運維工作；安全管理員主要負責對用戶進行權限分配以及對客戶端的授權，對訪問云存儲系統用戶的行為進行審計；安全審計員主要負責對云存儲系統的2類管理員行為進行審計。“三員管理”存在三員的約束條件，三員必須獨立，不能由1個人兼任三員中的2個或以上角色，同時，系統管理員、安全管理員和審計管理員不能以任何其他身份登錄云存儲系統，不可以對云存儲系統的日志進行修改。

3 云存儲應用

3.1 分布式云存儲

為了驗證云存儲系統方案可行性，國鐵集團相關部門申請了科研項目，2019年組織云存儲廠家及既有綜合視頻監控系統平臺廠家進行了云存儲的各項功能驗證。選取相鄰的2個Ⅱ類視頻接入節點，每站采集點約為40路，每路數據平均流量為4 Mb/s，站間距約40 km。

采用糾刪碼方案，在兩站的通信機房分別部署3臺存儲服務器。服務器級采用2+1糾刪碼數據保護模式；存儲磁盤級采用4+2糾刪碼數據保護模式。兩站云存儲系統設備分別接入既有視頻管理平臺，既有視頻流直接寫入相應車站的云存儲系統的存儲服務器。兩站的視頻流與云存儲服務器通過光纖設備交叉互連實現容災，構建成1套云存儲系統。云存儲系統架構示意見圖4。

圖4 云存儲系統架構示意圖

3.2 功能驗證

為進行功能驗證，對云存儲系統工程應用前后進行對比（見表2）。由表2對比可知:

表2 云存儲系統工程應用前后對比

（1）鐵路點多線長、網絡帶寬有限，在不改變既有鐵路綜合視頻監控系統結構的條件下，云存儲系統設備可以替代目前鐵路視頻監控系統中的IP-SAN存儲設備［9］，符合Q/CR 575—2017《鐵路綜合視頻監控系統技術規范》的相關要求［3］。

（2）通過采用數據分段切片、虛擬化分散均衡存儲、副本/糾刪碼數據保護、數據自愈恢復等技術，采用多種安全權限管理，云存儲技術可明顯提高鐵路視頻監控系統整體安全性。

（3）云存儲技術能夠實現鐵路視頻監控系統存儲容量動態在線擴容，可根據需要實現即插即用，并且存儲服務能力、聚合帶寬呈線性增長，系統正常運行不受影響。

（4）云存儲系統采用糾刪碼數據保護機制，在部分存儲服務器損壞、存儲系統內多塊磁盤同時損壞時，仍然可以保證數據安全性以及存儲系統正常讀寫訪問，存儲容量利用率為66.7%。

4 結論

云存儲技術可滿足鐵路視頻監控系統中大量的視頻數據存儲、分析和應用需求。云存儲技術解決方案得到越來越廣泛應用，具體應用應考慮在具備4 GE或10 GE［10］良好傳輸條件的前提下，大量數據相對集中存儲，充分發揮云存儲技術的負載均衡、數據保護機制、數據自愈能力等特點，云存儲系統的安全可靠性越高，服務能力越強，技術優勢才能夠充分體現。