一種適合電力行業(yè)海量異構數(shù)據(jù)存儲的 全分布式文件

汪 同 葉有名

（1.國網四川省電力公司信息通信公司，成都 610041；2.國網四川省電力公司，成都 610041）

隨著科技的不斷進步，在物聯(lián)網、云計算、移動互聯(lián)網等發(fā)展的推動下，數(shù)據(jù)發(fā)生了“大爆炸”[1]。在巨大的需求推動下，存儲網技術、存儲系統(tǒng)架構、數(shù)據(jù)保護技術等方面得到一系列重大進展。電力企業(yè)的數(shù)據(jù)也已告別以往數(shù)據(jù)類型較為單一、增長較為緩慢的時代[2]，隨著智能變電站、輸變電線路、營銷營業(yè)廳所的大規(guī)模建設，數(shù)據(jù)量以幾何級增長的速度在增長（由TB 級向PB 級轉變），數(shù)據(jù)來源更加復雜和多樣（結構化、非結構化和半結構化）。

目前，四川電網接入變電站1300 個，營業(yè)廳800 個，調度、信息、通信機房300 個，輸電線路100 余條，接入2 萬多個IP 攝像頭、2000 多個視頻處理單元、各類感知信息的傳感器4 萬多個。圖像監(jiān)視、安全警衛(wèi)、火災報警、主變壓器消防、給排水、采暖通風、門禁、通信電源、動力環(huán)境監(jiān)視等輔助生產系統(tǒng)以及設備狀態(tài)、開關狀態(tài)等在線監(jiān)測設備等各種異構信息的存儲處理成為亟待解決的問題。

1 網絡數(shù)據(jù)存儲現(xiàn)狀及存在問題

網絡存儲技術主要是網絡附屬存儲（Network Attached Storage，NAS）和存儲區(qū)域網（Storage Area Network，SAN）兩種架構[3]。IP SAN 是基于IP 網絡的存儲解決方案，通過存儲協(xié)議iSCSI 提供了在IP 網絡上封裝塊級請求的方法，IP SAN 不但提供了較高的系統(tǒng)傳輸速度，而且可以進行長距離的全局數(shù)據(jù)存儲。

分布式文件系統(tǒng)（Distributed File System）將來自客戶端的數(shù)據(jù)操作請求分布在集群中的計算機結點上進行處理[4]，現(xiàn)有的監(jiān)控存儲領域，解決方案大多基于文件系統(tǒng)實現(xiàn)。

在電力系統(tǒng)領域中，海量數(shù)據(jù)主要是以大量原始音視頻圖片等多媒體數(shù)據(jù)和傳感器感知、系統(tǒng)設備、運行狀態(tài)等數(shù)據(jù)組成。原始音視頻圖片存儲量大，訪問頻率小，且主要以檢索回放、備份存儲為主；而信息數(shù)據(jù)存儲空間小，訪問頻率高，實時性高，以報表或查看為主。由于文件系統(tǒng)考慮的是滿足通用的存儲需求，所以結構復雜，針對電力行業(yè)的實際需求，現(xiàn)有文件系統(tǒng)及存儲技術存在以下不足：

1）空間利用率低：由于監(jiān)控業(yè)務的并發(fā)突發(fā)、以及視頻大文件多，圖片小文件多等特點，傳統(tǒng)通用的文件系統(tǒng)不適合安防監(jiān)控業(yè)務，造成磁盤的碎片過多，累積導致空間利用率不高。

2）分布式檢索效率不高：存儲系統(tǒng)內的文件數(shù)量增長到數(shù)千萬以上時，文件的檢索查找等操作將會給文件系統(tǒng)帶來巨大的壓力，特別是一個目錄下面存放的文件超過一定數(shù)量甚至會造成文件查找效率急劇下降。

3）數(shù)據(jù)安全性不足：傳統(tǒng)的文件系統(tǒng)索引區(qū)集中在一起，在大量的寫文件操作時，造成索引區(qū)為訪問熱區(qū)，造成壞盤，故數(shù)據(jù)的穩(wěn)定性、可靠性、容錯性等均需要針對安防監(jiān)控的業(yè)務特點進行優(yōu)化和提高。

4）存儲技術的融合不夠：在局域網環(huán)境中，NAS 技術可以完全實現(xiàn)異構平臺之間的文件級共享，這是NAS 一個明顯優(yōu)于SAN 的特點[5]。但是，目前通用的主機或分布式文件系統(tǒng)以及一般的安防監(jiān)控類專用文件系統(tǒng)都沒考慮存儲融合問題。如何在一個文件系統(tǒng)中將SAN 和NAS 結合在一起進行存儲，更好的擴展系統(tǒng)的存儲特性，就是需要解決的問題。

2 一種適合電力海量數(shù)據(jù)存儲的全分布式 塊文件系統(tǒng)架構

對于目前主流的本地或分布式文件系統(tǒng)來說，還沒有一種適合電力海量數(shù)據(jù)存儲系統(tǒng)的文件系統(tǒng)，無法同時滿足穩(wěn)定、海量文件集中式管理、對海量圖片小文件的磁盤利用率高、能夠進行海量視頻文件按照存儲時間快速檢索與回放、與元數(shù)據(jù)分離等要求。

為了解決上述問題，設計并實現(xiàn)了一種適合電力海量異構數(shù)據(jù)的全分布式塊文件系統(tǒng)（UniMAS）。該塊文件系統(tǒng)架構既可以作為NAS 的文件系統(tǒng)，與NAS 結合進行存儲，也可以使用iSCSI 直接進行塊文件網絡存儲。本系統(tǒng)服務器客戶端、元數(shù)據(jù)服務器集群、智能存儲集群三大部分組成。

圖1 系統(tǒng)架構組網圖

元數(shù)據(jù)集群由兩臺以上專用服務器組成，管理數(shù)據(jù)中心的文件系統(tǒng)的元數(shù)據(jù)（包括文件目錄樹組織、屬性維護、文件操作日志記錄、授權訪問、檢索映射等），管理整個存儲系統(tǒng)的命名空間，對服務器客戶端提供單一的系統(tǒng)映像。

智能存儲集群由3 臺以上專用存儲服務器（深藍色的DataNode 節(jié)點）組成，是實際存儲數(shù)據(jù)的單元，是UniMAS 的存儲資源提供者。服務器客戶端安裝于用戶需要使用存儲資源的應用服務器，提供標準的POSIX 接口，對UniMAS 的存儲資源進行讀寫訪問。

UniMAS 的所有元數(shù)據(jù)服務器同時在線提供服務，并且每兩臺元數(shù)據(jù)服務器為一組，每組元數(shù)據(jù)服務器內部相互之間會進行交叉?zhèn)浞荩ＷC一組內，任何一個元數(shù)據(jù)出現(xiàn)問題，另一臺元數(shù)據(jù)也擁有這組元數(shù)據(jù)服務器的完整數(shù)據(jù)，并且接管服務，不中斷業(yè)務。

3 UniMAS 的本地塊文件存儲方案

該塊文件系統(tǒng)采用全分布式架構，采用管理服務器和存儲服務器分離的架構，將元數(shù)據(jù)（目錄等）和存儲數(shù)據(jù)分離；在專用存儲服務器上采用高效的塊文件存儲方案，將元數(shù)據(jù)（數(shù)據(jù)塊位圖）與安防原始文件分離并分散在整個磁盤陣列上。與現(xiàn)有分布式通用文件系統(tǒng)相比，不僅徹底避免了本地文件系統(tǒng)的訪問熱區(qū)，避免文件系統(tǒng)鎖死或出現(xiàn)一些壞塊，增強數(shù)據(jù)可靠性，同時簡化了文件讀寫的操作步驟和層次，提高讀寫效率。UniMAS 的本地塊文件實際存儲格式為如圖2所示。

圖2 元數(shù)據(jù)冗余流

圖3 UniMAS 塊文件存儲格式

系統(tǒng)塊文件格式包括三大部分，第一部分是格式化信息，描述格式化完成后索引區(qū)的目錄索引個數(shù)以及數(shù)據(jù)區(qū)Slice 個數(shù)等信息，即格式化后不變信息。第二部分是索引信息區(qū)域，描述數(shù)據(jù)區(qū)空間的使用情況以及記錄用戶目錄和文件信息等。最后一部分是數(shù)據(jù)區(qū)，數(shù)據(jù)區(qū)分成了若干個Slice，每一個Slice 大小為64M 大小。

索引區(qū)和數(shù)據(jù)區(qū)完全分離，索引區(qū)的大小根據(jù)實際的存儲空間的大小來確定，由于索引和數(shù)據(jù)分離，可以把索引和數(shù)據(jù)存儲到不同的資源上，且對索引數(shù)據(jù)使用更可靠的raid1，系統(tǒng)會更可靠。由于索引更新有更小IO 和更隨機的寫入方式，減少了緩存使用和使用存儲性能更好的本地磁盤。而數(shù)據(jù)區(qū)大可以通過保證順序讀寫來提高IO 的吞吐量。把大量隨機寫轉為一個存儲空間上實現(xiàn)順序寫，這樣空閑的存儲空間實現(xiàn)了休眠，實現(xiàn)了節(jié)能，也減少了磁頭的轉動，增加了盤的使用壽命。

本文件系統(tǒng)架構同時對索引區(qū)進行了優(yōu)化，使用多個卷索引，每30G 數(shù)據(jù)區(qū)大小有兩個卷索引，且每一個卷索引都是另一個卷索引的備份，進一步提高了索引的可靠性。目錄索引和文件索引被分成多個文件，一個索引描述2G 大小的數(shù)據(jù)區(qū)。這樣可以提高查找文件和目錄的速率。

數(shù)據(jù)區(qū)被分成了以64M 為單位的數(shù)據(jù)單元，在存儲用戶文件時按64M 為單位進行分配，減少了文件碎片，提高了文件順序寫入長度。當不足64M 時，先存在緩存中，可以使用索引區(qū)的信息進行區(qū)分，從而可以對多個小文件進行合并，合并后再更新索引區(qū)信息，充分利用了磁盤空間，大大減少了磁盤碎片。

同時隨著數(shù)據(jù)產生后，存儲安全問題也亟需保證。對于結構/半結構化的數(shù)據(jù)，實際分布式數(shù)據(jù)庫本身就存在安全機制，同時對于各級平臺的中心數(shù)據(jù)庫，我們采用了數(shù)據(jù)庫定期備份、雙機等保證我們的數(shù)據(jù)保存與運行安全。

對于視頻錄像數(shù)據(jù)，我們的UniMAS 系統(tǒng)采用磁盤陣列技術保證數(shù)據(jù)的冗余安全，同時對于特別的數(shù)據(jù)，提供計劃和手動的N+M 備份方案；比如ISCSI 的雙直存，本級平臺存儲一份高清的主碼流，上級平臺存儲一份標清的輔碼流；對于ONVIF 等不支持ISCSI 的設備，采用實況流轉存的方式；或者采用備份服務器對已有的視頻錄像進行同步備份。

4 結論

針對電力行業(yè)存儲數(shù)據(jù)的類型和應用場景，需要對海量異構數(shù)據(jù)的存儲模式和性能提出以下的要求。

1）更高的存儲空間：隨著安防監(jiān)控中的高清視頻和圖像的數(shù)據(jù)量增大，特別是電力行業(yè)中各種視頻和圖像數(shù)據(jù)、以及多元異構網絡中的各種設備數(shù)據(jù)每天都在以驚人的加速態(tài)勢增長，這對存儲的空間提出了更高的要求，存儲管理空間需達到PB、甚至是ZB 級別。

2）更高效的空間利用率：由于電力系統(tǒng)中需存儲的業(yè)務的并發(fā)突發(fā)，音視頻存儲數(shù)據(jù)大小具有不確定性，同時各種告警聯(lián)動的存儲文件海量，且需周期性刪除，這需要提高存儲空間的利用率，有效減少磁盤碎片。

3）快速的檢索效率：良好的存儲系統(tǒng)架構，還必須擁有海量數(shù)據(jù)的快速檢索效率。

4）更好的可靠性：安防監(jiān)控需要存儲的數(shù)據(jù)能夠安全可靠，同時具有異常恢復、冗余等性能，且由于電力系統(tǒng)對各種動環(huán)、傳感器等數(shù)據(jù)為主，音視頻存儲為輔的特點，需要在異常恢復時，盡量減少對現(xiàn)有業(yè)務的影響，同時又更快速安全的恢復。

針對以上的需求，本文研究了網絡存儲技術和文件系統(tǒng)技術，最終本項目中采用了成本較低且技術成熟的基于IP 網絡的IP-SAN 技術，實現(xiàn)了存儲的集中管理；針對海量文件存儲背景，支持海量視頻文件按照存儲時間快速檢索與回放，實現(xiàn)了元數(shù)據(jù)與存儲數(shù)據(jù)全分布式的塊文件系統(tǒng)，提高了磁盤的利用率，支持管理空間可達ZB 級別。在保證了較高數(shù)據(jù)安全性能的基礎上，盡量減少了異常對業(yè)務的影響，保障了電力系統(tǒng)業(yè)務的穩(wěn)定性和可靠性。

[1] 何文娜.大數(shù)據(jù)時代基于物理網何云計算的地質信息化研究[D].華南理工大學,2010.

[2] 楊德勝,陳江江,張明.電力大數(shù)據(jù)高速存儲及檢索關鍵技術研究與應用[J].測試工具與解決方案,2014(3).

[3] 陳可峰,姚棟宇,洪衛(wèi)軍.基于IP 技術的視頻安防存儲設計[J].吉林公安高等專科學校學報,2010(1): 55.

[4] 王怡豐.面向非結構化分布式存儲系統(tǒng)的性能分析系統(tǒng)研究[D].上海: 復旦大學,2010.

[5] 張健.電力企業(yè)核心業(yè)務數(shù)據(jù)存儲方案設計[D].成都: 電子科技大學,2010.