云存儲(chǔ)技術(shù)在公安領(lǐng)域的應(yīng)用

文/褚蘭超

云存儲(chǔ)技術(shù)在公安領(lǐng)域的應(yīng)用

文/褚蘭超

云存儲(chǔ)是分布式存儲(chǔ)技術(shù)與虛擬化技術(shù)結(jié)合的產(chǎn)物，是分布式存儲(chǔ)技術(shù)的最新發(fā)展。本文解析了鎮(zhèn)江公安信息化建設(shè)面臨的挑戰(zhàn)，并介紹了云存儲(chǔ)的含義和架構(gòu)，并且和傳統(tǒng)存儲(chǔ)的優(yōu)缺點(diǎn)進(jìn)行了對(duì)比分析。在視頻監(jiān)控和執(zhí)法記錄等業(yè)務(wù)中的應(yīng)用，解決容量和性能擴(kuò)展困難等問(wèn)題。

分布式存儲(chǔ) 云儲(chǔ)存 SAN+共享軟件

某市道路監(jiān)控系統(tǒng)已接入千余路視頻、日過(guò)車圖片量達(dá)200萬(wàn)，該系統(tǒng)在視頻專網(wǎng)所記錄的視頻及圖片是基于傳統(tǒng)磁盤(pán)陣列進(jìn)行存儲(chǔ)，隨著城市規(guī)模不斷擴(kuò)大和新的安全管理需要，道路監(jiān)控規(guī)模逐年增大，原有系統(tǒng)存在諸如容量和性能擴(kuò)展困難等問(wèn)題。同時(shí)，公安內(nèi)網(wǎng)中執(zhí)法記錄及審訊等需要大存儲(chǔ)空間的應(yīng)用系統(tǒng)也均存在著存儲(chǔ)空間與性能不足，急需擴(kuò)容的需求。

1 原系統(tǒng)存在問(wèn)題

1.1 缺少存儲(chǔ)空間

視頻專網(wǎng)：道路新增擴(kuò)容后每日過(guò)車量將增加到600萬(wàn)。按照視頻保存1個(gè)月，圖片保存2年的要求，將現(xiàn)有所有點(diǎn)位接入后共需5000TB的存儲(chǔ)空間與54臺(tái)視頻接入服務(wù)器。而現(xiàn)有存儲(chǔ)空間僅928TB。

公安內(nèi)網(wǎng)：僅現(xiàn)采集的警情執(zhí)法記錄月增長(zhǎng)量約為8TB左右，每年產(chǎn)生約100TB的執(zhí)法記錄數(shù)據(jù)。

1.2 設(shè)備單點(diǎn)故障問(wèn)題

原有數(shù)據(jù)接收服務(wù)器無(wú)高可用設(shè)計(jì)、存儲(chǔ)也是由單臺(tái)磁盤(pán)陣列提供，系統(tǒng)存在很大的設(shè)備故障風(fēng)險(xiǎn)：如果數(shù)據(jù)接收服務(wù)器故障將導(dǎo)致整個(gè)區(qū)域數(shù)據(jù)無(wú)法接收和保存下來(lái)，ISCSI磁盤(pán)陣列故障也將導(dǎo)致整個(gè)區(qū)域數(shù)據(jù)無(wú)法接收和保存下來(lái)。

1.3 存儲(chǔ)容量和性能擴(kuò)展性問(wèn)題

隨著使用量規(guī)模的擴(kuò)大，原有傳統(tǒng)磁盤(pán)陣列的存儲(chǔ)模式在性能和容量方面很難有效擴(kuò)容以適應(yīng)規(guī)模的增長(zhǎng)。在大規(guī)模視頻、圖像接入和用戶高并發(fā)訪問(wèn)時(shí)，由于存儲(chǔ)系統(tǒng)的瓶頸而導(dǎo)致的讀寫(xiě)性能問(wèn)題日益突顯出來(lái)。

2 云存儲(chǔ)的架構(gòu)設(shè)計(jì)

鑒于現(xiàn)有系統(tǒng)對(duì)存儲(chǔ)系統(tǒng)的需求，同時(shí)考慮到未來(lái)的項(xiàng)目建設(shè)方向。方案設(shè)計(jì)采用分布式云存儲(chǔ)系統(tǒng)，分別在視頻專網(wǎng)和公安內(nèi)網(wǎng)部署云存儲(chǔ)。如圖1。

2.1 各模塊設(shè)計(jì)

2.1.1 性能設(shè)計(jì)

每一個(gè)過(guò)車記錄都會(huì)產(chǎn)生一張過(guò)車圖片數(shù)據(jù)，很快產(chǎn)生的碎小文件數(shù)可達(dá)百億級(jí)，方案采用全對(duì)稱分布式架構(gòu)，無(wú)獨(dú)立元數(shù)據(jù)服務(wù)器設(shè)計(jì)，避免獨(dú)立元數(shù)據(jù)服務(wù)帶來(lái)的單點(diǎn)故障和性能瓶頸問(wèn)題，即使大量數(shù)據(jù)存儲(chǔ)的情況下，仍能保持良好的存儲(chǔ)性能，確保在海量文件中能夠快速讀取需要的文件。

2.1.2 可靠性設(shè)計(jì)

系統(tǒng)提供M+N節(jié)點(diǎn)級(jí)冗余保護(hù)級(jí)別。云存儲(chǔ)系統(tǒng)內(nèi)置完整的故障恢復(fù)流程，消除了單點(diǎn)故障。集群中的硬件故障和人為誤操作都會(huì)以正常的恢復(fù)流程進(jìn)行自動(dòng)處理，整個(gè)流程對(duì)用戶完全透明。高可用機(jī)制保證了該系統(tǒng)能夠7×24h不間斷的提供穩(wěn)定的存儲(chǔ)服務(wù)。

2.1.3 遠(yuǎn)程數(shù)據(jù)同步設(shè)計(jì)

云存儲(chǔ)系統(tǒng)內(nèi)置全局文件系統(tǒng)，具備跨廣域網(wǎng)的卷同步功能。全局文件系統(tǒng)負(fù)責(zé)統(tǒng)一管理分布存儲(chǔ)在物理上完全獨(dú)立的各個(gè)數(shù)據(jù)中心中的所有數(shù)據(jù)，智能決策數(shù)據(jù)在各個(gè)數(shù)據(jù)中心的布局以及數(shù)據(jù)在數(shù)據(jù)中心之間的自動(dòng)遷移，充分發(fā)揮由各個(gè)數(shù)據(jù)中心構(gòu)成的整體平臺(tái)架構(gòu)的服務(wù)能力。

全局文件系統(tǒng)的基本目標(biāo)有兩個(gè)：

（1）為在分布式環(huán)境下的應(yīng)用提供簡(jiǎn)單的訪問(wèn)環(huán)境，本套系統(tǒng)完全可以采用本地訪問(wèn)的模式使得應(yīng)用在分布式環(huán)境下高效運(yùn)行。

（2）為高效的存儲(chǔ)提供智能化的存儲(chǔ)及管理支撐，通過(guò)全局文件系統(tǒng)的功能可實(shí)現(xiàn)跨地域的統(tǒng)一管理，滿足業(yè)務(wù)未來(lái)對(duì)存儲(chǔ)系統(tǒng)的要求。

2.1.4 擴(kuò)展性設(shè)計(jì)

圖1：方案設(shè)計(jì)圖

圖2：整合后用戶應(yīng)用的示意圖

存儲(chǔ)系統(tǒng)具有彈性能力，意味著可以根據(jù)業(yè)務(wù)需要靈活地增加或縮減數(shù)據(jù)存儲(chǔ)以及增刪存儲(chǔ)池中的資源。考慮到系統(tǒng)未來(lái)系統(tǒng)的擴(kuò)容，服務(wù)器及存儲(chǔ)硬件擴(kuò)容要求不受品牌鎖定和限制，連接存儲(chǔ)的服務(wù)器客戶端要求沒(méi)有數(shù)量限制。

2.1.5 整合利舊性設(shè)計(jì)

云存儲(chǔ)管理平臺(tái)采用掛載IP-SANFCSANNAS等其它存儲(chǔ)空間的方式，整合IPSANFC-SANNAS等原有存儲(chǔ)資源，實(shí)現(xiàn)舊有設(shè)備的再次利用以及存儲(chǔ)資源的池化，進(jìn)而實(shí)現(xiàn)對(duì)存儲(chǔ)資源統(tǒng)一管理、統(tǒng)一規(guī)劃、統(tǒng)一分配和資源共享。云存儲(chǔ)整合磁盤(pán)陣列存儲(chǔ)示意圖如下：原陣列存儲(chǔ)的卷空間分別分配到云存儲(chǔ)的各個(gè)節(jié)點(diǎn)上，實(shí)現(xiàn)負(fù)載的均衡。

整合后用戶應(yīng)用的示意圖如圖2。

3 和傳統(tǒng)存儲(chǔ)架構(gòu)的對(duì)比分析

傳統(tǒng)存儲(chǔ)架構(gòu)主要包括直連存儲(chǔ)(DAS)、存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN)、網(wǎng)絡(luò)附加存儲(chǔ)(NAS)以及在他們基礎(chǔ)上衍生的一些新技術(shù)。存儲(chǔ)架構(gòu)最根本的區(qū)別在于：存儲(chǔ)格式，如塊數(shù)據(jù)或文件；存儲(chǔ)與應(yīng)用之間的控制流和數(shù)據(jù)流方式。存儲(chǔ)格式定義了訪問(wèn)方式，以及訪問(wèn)共享數(shù)據(jù)時(shí)的機(jī)制、同步和安全。控制/數(shù)據(jù)流方式則定義了為帶寬準(zhǔn)備的并發(fā)機(jī)制。存儲(chǔ)架構(gòu)不同最終決定了存儲(chǔ)系統(tǒng)的性能和擴(kuò)展性。

3.1 SAN+共享軟件捆綁NAS功能

SAN+共享軟件的實(shí)現(xiàn)方式。該架構(gòu)將集群分為計(jì)算節(jié)點(diǎn)和I/O節(jié)點(diǎn)。I/O節(jié)點(diǎn)作為一個(gè)整體通過(guò)IP網(wǎng)絡(luò)為所有計(jì)算節(jié)點(diǎn)提供數(shù)據(jù)存儲(chǔ)服務(wù)，I/O節(jié)點(diǎn)之間采用節(jié)點(diǎn)間共享的SAN存儲(chǔ)，因此需要配置SAN共享的軟件。

采用SAN+共享軟件的實(shí)現(xiàn)方式，雖然可以滿足聚合存儲(chǔ)帶寬的目的，但是不能滿足公安行業(yè)應(yīng)用系統(tǒng)對(duì)高擴(kuò)展性、高安全性的要求。

3.2 通用NAS解決方案

通用NAS存儲(chǔ)實(shí)現(xiàn)方式。該架構(gòu)實(shí)現(xiàn)比較簡(jiǎn)單，部署1臺(tái)或多臺(tái)NAS磁盤(pán)陣列，作為文件服務(wù)器，連接至LAN以太網(wǎng)，供前端服務(wù)器共享訪問(wèn)。此方式雖然可以滿足管理簡(jiǎn)便，易于使用的目的，但由于此架構(gòu)的限制只能做到RAID級(jí)別冗余，不能滿足公安行業(yè)對(duì)高可靠性、高安全性、高性能的要求。因此，此種方案同樣也不適合本項(xiàng)目建設(shè)需要。

4 云存儲(chǔ)解決方案的價(jià)值

云存儲(chǔ)系統(tǒng)主要優(yōu)勢(shì)是高速，即聚合所有硬盤(pán)及網(wǎng)絡(luò)帶寬，提供存儲(chǔ)服務(wù)。還有就是安全，可實(shí)現(xiàn)節(jié)點(diǎn)級(jí)安全；除此之外，結(jié)合項(xiàng)目情況與云存儲(chǔ)系統(tǒng)特點(diǎn)，本方案的價(jià)值如下：

4.1 海量文件高速讀寫(xiě)檢索

云存儲(chǔ)系統(tǒng)可支持EB級(jí)存儲(chǔ)空間，高效的管理上百億個(gè)文件，單目錄可以高效支持千萬(wàn)級(jí)的文件數(shù)量。

4.2 擴(kuò)展性價(jià)值

采用基于橫向擴(kuò)展機(jī)制設(shè)計(jì)的的分布式云存儲(chǔ)系統(tǒng)，可擴(kuò)大容量；同時(shí)，存儲(chǔ)系統(tǒng)處理性能呈線性增長(zhǎng)，也可實(shí)現(xiàn)在不影響前端業(yè)務(wù)應(yīng)用的情況，進(jìn)行無(wú)縫的擴(kuò)容。

4.3 對(duì)整套方案架構(gòu)的價(jià)值

實(shí)現(xiàn)存儲(chǔ)層數(shù)據(jù)同步，減少網(wǎng)絡(luò)中數(shù)據(jù)流占用的帶寬及應(yīng)用主機(jī)過(guò)多的處理數(shù)據(jù)交換問(wèn)題，有效地提高網(wǎng)絡(luò)及應(yīng)用主機(jī)的使用效率，為緊急事件爭(zhēng)取了寶貴的時(shí)間。

4.4 長(zhǎng)遠(yuǎn)角度分析對(duì)老舊設(shè)備進(jìn)行整合的價(jià)值

基于云存儲(chǔ)技術(shù)可實(shí)現(xiàn)對(duì)老舊設(shè)備的整合，保護(hù)原有投資，提高資源利用率。

5 結(jié)論

面對(duì)海量數(shù)據(jù)的增長(zhǎng)，企業(yè)如何提供足夠的空間去存儲(chǔ)數(shù)據(jù)？對(duì)于資源有限的單位或企業(yè)來(lái)說(shuō)，云存儲(chǔ)是一個(gè)很好的解決方案。云存儲(chǔ)是一個(gè)以數(shù)據(jù)存儲(chǔ)和管理為核心的云計(jì)算系統(tǒng)。云存儲(chǔ)系統(tǒng)將多種存儲(chǔ)設(shè)備、多應(yīng)用、多服務(wù)協(xié)調(diào)工作，不同存儲(chǔ)設(shè)備之間通過(guò)集群技術(shù)、分布式文件系統(tǒng)等，實(shí)現(xiàn)多個(gè)存儲(chǔ)設(shè)備之間的協(xié)調(diào)工作，對(duì)外提供同一種數(shù)據(jù)訪問(wèn)服務(wù)，并提供更大更好的海量數(shù)據(jù)訪問(wèn)性能，提高數(shù)據(jù)的安全性，整合現(xiàn)有計(jì)算和存儲(chǔ)資源，降低數(shù)據(jù)的管理成本，滿足未來(lái)的彈性部署擴(kuò)展。

作者單位 鎮(zhèn)江市公安局 江蘇省鎮(zhèn)江市 212000

褚蘭超（1980-），男，江蘇省鎮(zhèn)江市人。大學(xué)本科學(xué)歷。研究方向?yàn)橛?jì)算機(jī)。