城市軌道交通視頻云存儲系統架構及功能模塊設計

蔡京軍 劉曉宇 王珊珊 沈 強 潘 皓

(1.北京市軌道交通建設管理有限公司，100068，北京；2.城市軌道交通全自動運行系統與安全監控北京市重點實驗室，100068，北京；3.北京市軌道交通運營管理有限公司，100068，北京；4.北京全路通信信號研究設計院集團有限公司,100160，北京//第一作者，高級工程師)

1 云存儲系統介紹

分布式存儲系統組成集群資源池，資源共享，管理統一，擴展靈活，這類存儲系統被業界稱為云存儲[1]。北京大興國際機場線(以下簡稱“大興機場線”)視頻監視系統存儲系統應用的是視頻云存儲系統，該系統有別于傳統存儲技術，在數據可靠性、空間擴展性、統一管理能力、動態負載均衡、集群性能、智能運維等方面均可達到傳統存儲無法比擬的水平。

云存儲系統采用了基于云架構的分布式集群設計和虛擬化設計，在系統內部實現了多設備協同工作、性能和資源的虛擬整合，可最大限度利用硬件資源和存儲空間。整個系統從邏輯上由設備接入層、第三方接入、流媒體服務、圖片服務、分布式文件系統組成。提供從前端數據采集、存儲、轉發于一體的數據層解決方案。同時，通過開放透明的應用接口和簡單易用的管理界面，為整個視頻監視系統提供高效、可靠的數據服務。本文介紹視頻云存儲系統的構架選型及功能模塊設計，其系統構架及功能模塊如圖1所示。

2 視頻云存儲系統架構選型

按照元數據的管理方式，云存儲集群文件系統可分為對稱式和非對稱式。對稱式云存儲集群文件系統中每個節點的角色均等，共同管理和維護元數據，節點間通過高速網絡進行信息同步和互斥鎖等操作。非對稱式云存儲集群文件系統中有專門的一個或者多個節點負責管理元數據，其他節點需要頻繁與元數據節點通信以獲取最新的元數據，如目錄列表、文件屬性等。下文分別從系統可用性和擴展性方面對兩種架構進行比較分析。

1)系統可用性。對稱式架構中，節點間的耦合性非常緊密，一旦某個節點出現問題，比如響應延遲，向其加鎖就會遲遲得不到應答，會影響整個集群的性能。因此，如果某個節點把文件系統元數據破壞，整個集群系統都會受到影響，輕則丟失數據或元數據不一致，重則系統整體癱瘓。非對稱式架構中，節點間采用松耦合機制，數據節點故障可以得到很好的隔離，系統的健壯性更強。

2)系統擴展性。對稱式架構中，節點數量不能太多，否則節點間相互的通信量將迅速激增，達到瓶頸。比如：系統中有10個節點，每個節點可能同時在與其他9個節點通信，此時系統連接總數近似為10×10；如果100個節點，則連接總數為99×99。隨著節點數量增加，信息同步復雜度呈幾何級數增長，節點性能奇差。非對稱式構架中，由專用的服務器維護元數據，節點增加帶來的元數據復雜度是線性的，因而集群性能能夠實現線性增長。

架構選型建議：視頻監視系統每路存儲碼流為6 Mbit/s(《北京市軌道交通視頻監視系統應用規范》[2]要求)、存儲時長為90 d(《中華人民共和國反恐怖主義法》要求)，所需數據空間大、節點多、安全性要求高，因此建議視頻云存儲系統采用非對稱式架構。

圖1 視頻云存儲系統的架構及功能模塊示意圖

3 視頻云存儲系統功能模塊設計

3.1 統一管理功能模塊

云存儲使用分布式文件系統，將硬盤、服務器等設備進行集群，系統應支持對分布部署的存儲設備的統一配置管理，方便接收存儲設備告警上報。單站系統由多個節點機、控制設備等構成的空間體現為一個大的存儲空間，提供存儲服務時空間命名及IP地址應唯一。因此，云存儲系統中應至少設計統一資源池管理模塊，對全局的文件的元數據信息進行統一管理，并提供出bucket(存儲對象的容器)，讓用戶將文件按bucket組織。元數據的信息中記錄文件的組織信息，即:一個文件存儲在哪些節點上，有哪些數據塊組成。在系統一致性檢測時，就可以通過比較發現元數據記錄的信息和節點上記錄的數據塊信息的差異，用于修正差異。通過統一資源管理，可以方便有效地共享文件。整個系統的文件最終是統一使用所有存儲節點所提供的存儲空間，讓彈性擴展更加簡單高效。

統一管理功能模塊包括集群管理、智能硬盤管理和時間同步3個模塊。

1)集群管理模塊。管理和識別系統中的所有數據節點，為負載均衡、數據恢復、客戶端升級資源提供數據源，并負責節點在集群中的生命周期管理以及處理節點的擴容變更等操作。在節點第一次注冊加入到集群，就為該節點分配身份ID，即使修改節點的網卡的IP也仍能識別到該節點，避免由于節點IP的修改而導致數據遷移,進而觸發大量的數據恢復等問題。集群管理模塊識別處理按節點的重復加入、下線、刪除等操作。在節點長時間下線，系統觸發針對該節點上的數據塊進行恢復，避免真正由于節點網絡問題或者硬件問題導致數據恢復延時而丟失。

2)磁盤管理模塊。直接管理數據節點內的磁盤。將每個磁盤抽象成一個磁盤對象，并將磁盤對象交由磁盤管理模塊統一管理，形成數據節點內部的存儲層，為數據塊在節點的統一存儲和管理提供便利，實現所有磁盤相關的管理操作對外無感知。磁盤管理模塊能感知磁盤的熱插拔事件、磁盤異常損壞、磁盤變慢盤、觸發磁盤自動上下線，對于新盤可以自動感知格式化，對于同一集群磁盤可以自動上線加載磁盤內的數據索引。對于熱插拔事件，在節點出現異常時，通過磁盤漂移現數據快速恢復，也可以根據該特性實現新擴容之后，使節點容量快速均衡。對于磁盤故障事件，能感知到異常損壞或者慢盤，可提前觸發系統進行恢復，實現免維護。

3)時間同步模塊。在大規模部署的時候，為了保證數據的一致性需要保證使每個節點統一時間，通過NTP(網絡時間協議)時間同步功能，避免運行過程中因調整時間導致數據丟失的風險。運維獲取到NTP時鐘源IP地址后，各個節點通過NTP協議獲取到NTP時鐘源時間，并與本地時間做對比，進行時間同步。

3.2 動態負載均衡功能模塊

視頻業務正常工作情況下，存儲系統應根據各節點承擔的業務壓力動態調整各節點的業務負荷，使系統始終處于均衡穩定狀態中，避免單節點過載。在故障及數據恢復工作情況下，要求系統自動將流量重新分配到其他的節點機上，且各個節點機分配流量均衡一致，同時不能影響正常的視頻存儲業務。

一個存儲集群內部，眾多存儲節點組建形成的一個統一空間，從整體性能、避免單點故障、數據熱點瓶頸等方面都需要一個良好的動態負載均衡功能。動態負載均衡指集群內部自動根據各存儲節點的IO(輸入輸出)負載、空間容量、CPU、內存負載等因素，調度數據流向，實現IO讀寫的負載均衡。

視頻云存儲系統設計采用兩級負載均衡調度。首先由元數據服務器選擇一個負載輕的數據節點作為當前請求的讀寫節點，同時節點內部還會根據每個硬盤的負載選擇最合適的硬盤參與數據寫入。因此動態負載均衡功能模塊包括高可靠的系統級數據分布策略管理模塊、元數據服務集群負載均衡模塊和數據節點內磁盤級負載均衡模塊。

1)系統級數據分布策略管理模塊。根據數據分布算法將數據塊分布存儲，以滿足節點級容錯以及硬盤級容錯，即支持N+M:B(N為原數據模；M為校驗模塊；B為備用模塊)。通過在集群負載均衡模塊之上接入數據分布策略管理模塊，能使負載均衡模塊選擇出分布更加合理的數據節點。

數據分布策略管理模塊讓系統可以支持多種N+M：B的策略。另外，當系統規模小，不滿足節點容錯的時候也可以通過N+M：0讓數據分布降級為支持磁盤級容錯，使系統逐步擴容而不用修改任何配置，后續所有新寫入的數據可以自動提升為最優的容錯數據分布，使數據分布從磁盤級容錯提升節點級容錯(節點級容錯可以自動提升直至到最高的冗余數所相對應的節點數)。

2)元數據服務集群負載均衡模塊。元數據服務器針對集群中所有節點匯報的實時負載壓力(如CPU占用率、內存使用情況、網絡流量大小、磁盤IO數據)進行匯聚，收集到集群負載均衡模塊內，做統一的調度，優化節點間的負載，讓所有節點均衡均攤系統壓力，提升系統的整體讀寫性能，實現各個節點的容量均衡，使得系統能夠支持異構容量和性能的數據節點。集群負載均衡模塊為文件寫入分配隨機節點，滿足N+M的節點級容錯。

3)數據節點內磁盤級負載均衡模塊。通過實時收集磁盤的負載、磁盤空間使用情況，調度寫入到該節點內的數據流，均衡地分布到各個低負載、高可用容量的磁盤，使寫入更加平滑，最大粒度發揮磁盤的順序寫入能力，并在長期負載下使得各個磁盤的容量能最終達到均衡，實現系統容忍異構的磁盤。

3.3 集群性能功能模塊

視頻云存儲系統采用數據離散技術，使得客戶端可以有效利用眾多存儲節點提供的聚合網絡帶寬，實現高速并發訪問。客戶端在訪問云存儲時，首先訪問元數據服務器，獲取將要與之進行交互的數據節點信息，然后直接訪問這些數據節點完成數據存取。

客戶端與元數據服務器之間只有控制流，而無數據流，這樣就極大地降低了元數據服務器的負載，使之不成為系統性能的一個瓶頸。客戶端與數據節點之間直接傳輸數據流，同時由于文件被分散到多個節點進行分布式存儲，客戶端可以同時訪問多個節點服務器，從而使得整個系統的IO高度并行，系統整體性能得到提高。

分布式系統由于數據分散存放在不同的節點，因而出現磁盤故障或者節點故障時不可避免地會進行跨節點的數據重構。當追求重構速度時，節點間的數據交互壓力很大。為了避免網絡擁塞，拖慢整個系統，需要將業務網絡和存儲網絡分離。業務網絡和存儲網絡分別使用不同的物理網卡以達到從網絡上相互隔離的目的，可以根據現有網絡狀況選擇千兆和萬兆連接。前端IPC(進程間通信)接入的數據流走單獨的業務網絡，后端數據離散流和控制信令流走單獨的存儲網絡，以滿足不同場景的組網需求。無論哪種組網，系統中所有節點網絡都是冗余的，任何單一網口故障或者單一交換機故障均不影響系統使用。

3.4 數據可靠性功能模塊

數據是業務系統核心應用的最終保障，其可靠性至關重要。云存儲系統的核心是一個分布式文件系統，設計時假設任意機框、任意節點、任意硬盤都可能出現故障，通過分布式的數據冗余、數據操作日志、元數據主備冗余、數據自動恢復等多種機制來處理這些故障。

云存儲系統針對視頻數據主要采用Erasure Code(糾刪碼或者叫擦除碼)算法，以較小的數據冗余實現較高的可靠性，而沒有采用互聯網采用的多副本和監控領域常用的數據備份方式，存儲空間利用率高。數據可靠性功能模塊包括一致性保護模塊和智能恢復模塊，對數據進行可靠性保障。

1)一致性保護模塊。系統長期運行過程中，由于斷電、人為破環、寫入異常、程序bug等原因，都可能導致寫入的文件出現損壞。針對可能出現的數據和寫入時不一致，通過讀寫加入校驗值記錄和判斷內部周期性檢測數據塊是否和記錄的校驗值不一致，當發現不一致時，匯報給元數據服務器，由智能恢復模塊進行數據恢復，從而保證數據一致性。在分布式系統中，由于各種各樣的原因，會有小概率的集群內多臺節點數據塊和元數據服務內管理數據塊信息出現的差異。為了解決該問題，通過周期性觸發數據節點進行全量匯報，報告自身擁有數據塊索引信息，使元數據可以據此不斷修正自身記錄的信息，從而使外部讀取文件正常或者感知到文件缺失時能觸發自動恢復功能，以保障云存儲系統的可靠性。

2)智能恢復模塊。實時感知文件在云存儲中出現的異常塊，對于出現異常塊的文件按照調優適合視頻監視系統特點的恢復策略進行恢復，盡量讓時間最近、文件損壞更嚴重的優先恢復。并針對冗余度高、可靠性高的文件，在出現可容忍的少量數據塊損壞時，可以減少恢復(比如：如果12個存儲器中壞了3個，由于本身已經很可靠，則可以不進行恢復)。同時為了支持更加緊急的數據文件，在自動恢復策略之上引入優先恢復隊列，用于在某些特殊情況下人工判斷某天的數據需要優先恢復。優先恢復會打斷自動恢復，優先完成指定的某一天內的數據文件。智能恢復模塊能根據當前系統的負載壓力實時調整恢復速度，在保證讀寫不受影響的情況下，高速完成異常文件的快速恢復。

3.5 智能運維功能模塊

云存儲系統運行過程中出現比較嚴重的問題時，如果不能及時感知，可能會造成系統停止服務，甚至數據丟失的嚴重問題。為了使管理人員能夠及時發現云存儲故障，需要設計智能化運維管理模塊，使系統輪詢各個節點的監控項，使運維人員能第一時間介入恢復系統。同時綜合應用多種技術延長系統生命期，比如硬盤休眠技術，支持硬盤分時上電，達到節能、延長硬盤壽命目的。智能運維功能模塊包括系統健康度管理模塊和系統異常告警模塊。

1)系統健康度管理模塊。針對系統的各個節點，一起參與系統多維度的數據收集，并匯總分析系統整體運行狀況。系統健康度集成在運維管理模塊中，提供實時流量、設備在線率、系統服務狀態、硬件信息檢測、歷史流量波動、平均IOPS(磁盤性能評價指標)、IO平均延時、系統容量變化等信息，并通過圖表展示給運維人員。

2)系統異常告警模塊。對系統的流量波動、磁盤容量達到使用閥值、節點上下線、磁盤告警、各個節點的CPU溫度、內存使用量、風扇轉速、系統盤使用量、ssd(存儲介質)磨損程度、網卡速率波動、網線異常等進行實時告警，可以使技術支持人員快速感知到當前云存儲系統存在的風險，快速響應，減少因為系統錯誤累計超過系統能容忍的閥值而引發的異常事件，從而保障系統高可靠地持續運行。

3 結語

為了保證云存儲系統各個優勢功能實現，針對大興機場線云存儲系統，主要設計的系統功能模塊包括元數據服務集群負載均衡模塊、數據節點內磁盤負載均衡模塊、高可靠數據分布策略管理模塊、數據節點的磁盤管理模塊、智能恢復模塊、一致性保護模塊、系統運維管理模塊等。在系統實際配置中選用數據可靠性及系統擴展性更好的非對稱式架構，采用專門的元數據服務器對元數據進行管理。同時，采用1+1冗余配置元數據服務器，進一步保障元數據相關功能高可用性。

通過統一資源池管理模塊、集群管理模塊、磁盤管理模塊，從系統、節點、硬盤三個級別實現統一管理；通過高可靠的數據分布策略，將負載均衡能力深入到系統級、元數據節點級和磁盤級；通過各系統功能模塊的設計，保障云存儲系統的集群性能和智能管理水平。

視頻云存儲系統在城市軌道交通領域的應用提高了數據可靠性，為視頻深化應用提供了高可用及在線擴容等保證，可將視頻監視系統的價值水平帶入新的階段。