分布式系統(tǒng)下的元數(shù)據(jù)管理研究

西安武警工程大學(xué) 楊濟(jì)華

分布式系統(tǒng)下的元數(shù)據(jù)管理研究

西安武警工程大學(xué) 楊濟(jì)華

網(wǎng)絡(luò)，通信，計(jì)算機(jī)等電子技術(shù)的飛快發(fā)展加快了信息化建設(shè)的腳步，而直線上升的信息量在給我們工作生活帶來(lái)便利和財(cái)富的同時(shí)，也讓我們陷入了深深的數(shù)據(jù)迷霧當(dāng)中，隨著移動(dòng)終端的發(fā)展，使人們對(duì)于網(wǎng)絡(luò)信息的依賴程度逐漸加深，因此對(duì)于信息資源的管理顯得尤為重要，元數(shù)據(jù)，就在海量信息管理的難題中應(yīng)運(yùn)而生。

元數(shù)據(jù)；分布式系統(tǒng)；元數(shù)據(jù)分布策略

1.元數(shù)據(jù)的產(chǎn)生背景

元數(shù)據(jù)是為了解決雜亂無(wú)章網(wǎng)絡(luò)數(shù)據(jù)而提出的，因此當(dāng)前元數(shù)據(jù)就是為了解決數(shù)據(jù)管理問題。

區(qū)穎薇、吳開華、趙慧勤、王曄等人分別在自己的文章中對(duì)數(shù)據(jù)產(chǎn)生背景進(jìn)行了論述，他們的觀點(diǎn)基本一致。他們指出網(wǎng)絡(luò)的出現(xiàn)使大量的信息以一種新的方式涌現(xiàn)在我們面前。而對(duì)這些無(wú)序的數(shù)字化信息的進(jìn)行有效的檢索與控制是目前各界人士都十分關(guān)注的一個(gè)問題。目前網(wǎng)絡(luò)資源的管理、檢索有兩種類型，一種是機(jī)讀目錄（MARC），它是“用計(jì)算機(jī)識(shí)別與閱讀的目錄”。另一種是搜索引擎（Search engine），它是“一類自動(dòng)搜索、組織網(wǎng)絡(luò)的信息資源，并提供檢索服務(wù)的信息服務(wù)系統(tǒng)”。數(shù)據(jù)制定簡(jiǎn)單、方便，特別是它更新快，能幫助人們及時(shí)找到最新信息，但不夠精確，查全、查準(zhǔn)率低。

在數(shù)據(jù)管理方式不夠健全的背景下，為了將數(shù)據(jù)有序化，提高查詢效率，元數(shù)據(jù)作為一種新的概念被提出。

2.元數(shù)據(jù)概念

關(guān)于元數(shù)據(jù)概念的認(rèn)識(shí)，雖然存在層次高低的區(qū)別，但對(duì)其基本特性意見基本一致，劉嘉博士在她的論文中對(duì)元數(shù)據(jù)這一概念作了最有深度的探討，對(duì)元數(shù)據(jù)的含義作了詳盡的闡述， 認(rèn)為“元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù)，關(guān)于結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)。”在文件系統(tǒng)中，元數(shù)據(jù)就是描述系統(tǒng)文件的屬性信息，記錄文件位置的數(shù)據(jù)，我們可以理解為“一本書的目錄”。

元數(shù)據(jù)記錄了數(shù)據(jù)集群的特征信息和相對(duì)信息的映射，保證了查詢的準(zhǔn)確性和數(shù)據(jù)定位的效率。

3.元數(shù)據(jù)的類型

根據(jù)不同標(biāo)準(zhǔn)，可以將元數(shù)據(jù)劃分沖不同的類型

從數(shù)據(jù)組織上劃分，可以分為四類：

（1）知識(shí)描述型元數(shù)據(jù)（Intellectual Metadata）用來(lái)發(fā)現(xiàn)、鑒別和描述信息，如都柏林核心（Dublin Metadata Core Element Set，DC）、MARC是描述信息資源的特征信息；

（2）結(jié)構(gòu)型元數(shù)據(jù)（Sturctural Metadata），用來(lái)描述數(shù)據(jù)的內(nèi)部特征，比如位置信息（目錄、章節(jié)等）；

（3）存取控制型元數(shù)據(jù)（Access Control Metadata）用來(lái)描述信息資源的權(quán)限，如使用條件，使用期限等；

（4）評(píng)價(jià)型元數(shù)據(jù)（Critical Metadata）用來(lái)評(píng)價(jià)和管理數(shù)據(jù)在整個(gè)系統(tǒng)中的位置

從結(jié)構(gòu)化程度上劃分，可以分為三類：

（1）非結(jié)構(gòu)化元數(shù)據(jù)，如Yahoo；

（2）簡(jiǎn)單結(jié)構(gòu)化元數(shù)據(jù)，指其字段較少，如DC；

（3）高度結(jié)構(gòu)化元數(shù)據(jù)，如MARC；

從功能上劃分，可以分為三類：

（1）描述型元數(shù)據(jù)，是用來(lái)描述基本信息，用來(lái)查詢的元數(shù)據(jù)；

（2）結(jié)構(gòu)型元數(shù)據(jù)，是記錄數(shù)據(jù)的結(jié)構(gòu)；

（3）管理型元數(shù)據(jù)，是用來(lái)詳細(xì)記錄數(shù)據(jù)信息的元數(shù)據(jù)。

4.分布式系統(tǒng)下的元數(shù)據(jù)

分布式系統(tǒng)是應(yīng)對(duì)海量數(shù)據(jù)存儲(chǔ)管理，高擴(kuò)展，高可靠的數(shù)據(jù)系統(tǒng)。而當(dāng)今社會(huì)數(shù)據(jù)量在TB、PB 甚至 EB數(shù)量級(jí)的數(shù)據(jù)中心越來(lái)越多，因此需要大量的存儲(chǔ)資源來(lái)存儲(chǔ)和管理這些數(shù)據(jù)，而高效簡(jiǎn)潔的數(shù)據(jù)組織管理更是必不可少目前分布式文件系統(tǒng)（如GFS、HDFS、Dynamo）由于其內(nèi)在設(shè)計(jì)的簡(jiǎn)潔性和通用性已成為解決大數(shù)據(jù)存儲(chǔ)管理的有效技術(shù)途徑。而對(duì)文件系統(tǒng)數(shù)據(jù)操作均要涉及到對(duì)元數(shù)據(jù)的操作，系統(tǒng)文件的訪問，首先就是要訪問其元數(shù)據(jù)進(jìn)行定位，而后對(duì)服務(wù)器的數(shù)據(jù)塊進(jìn)行訪問修改等。雖然元數(shù)據(jù)尺寸較小，大概占整個(gè)數(shù)據(jù)空間的0.1%～1%，但訪問頻率占所有數(shù)據(jù)訪問的50%—80%，可以看出，元數(shù)據(jù)在系統(tǒng)訪問中是十分重要的。

5.元數(shù)據(jù)管理方式

元數(shù)據(jù)的管理算法總的來(lái)說有兩種：第一種是子樹劃分，第二種是哈希算法，下面對(duì)這兩種算法進(jìn)行介紹。

子樹劃分分為靜態(tài)和動(dòng)態(tài)兩種，但動(dòng)態(tài)子樹劃分不適合命名空間樹的性質(zhì)因而很少使用，在這里不做介紹，主要介紹靜態(tài)子樹劃分。

靜態(tài)子樹法是一種比較簡(jiǎn)單的劃分方法，常出現(xiàn)在早期的分布式文件系統(tǒng)中，如NFS、AFS，而近來(lái)的分布式文件系統(tǒng)如HDFS也使用了靜態(tài)子樹劃分法，該方法一般需要系統(tǒng)管理員來(lái)決定如何將命名空間樹劃分并將每一個(gè)子樹賦給指定的元數(shù)據(jù)服務(wù)器。其優(yōu)點(diǎn)是元數(shù)據(jù)訪問數(shù)據(jù)服務(wù)器數(shù)量較少，因此重復(fù)訪問的效率高。而缺點(diǎn)則是無(wú)法動(dòng)態(tài)分布數(shù)據(jù)，容易產(chǎn)生局部負(fù)載過高的“熱點(diǎn)”問題，還有子樹的遷移比較麻煩。

基于散列函數(shù)映射的方法是將散列函數(shù)應(yīng)用于文件的路徑名或文件名去定位文件的元數(shù)據(jù)服務(wù)器。這種方式不但可以減輕元數(shù)據(jù)服務(wù)器間工作負(fù)載不平衡，這種方法的主要問題是元數(shù)據(jù)訪問的局部性無(wú)法得以很好地保持。另外，路徑名的修改會(huì)導(dǎo)致大量的文件元數(shù)據(jù)在MDS集群中遷移，增大了網(wǎng)絡(luò)負(fù)載。

子樹散列混合法，是將兩種方法融合，子樹劃分對(duì)局部訪問負(fù)載問題無(wú)法解決，散列算法無(wú)法處理存儲(chǔ)負(fù)載，將兩種方法混合，Brandt等基于這個(gè)想法提出了一種名為懶惰更新的混合策略（Lazy Hybrid，LH）。利用散列函數(shù)實(shí)現(xiàn)元數(shù)據(jù)服務(wù)器集群中元數(shù)據(jù)分布均勻，通過命名空間子樹實(shí)現(xiàn)對(duì)信息資源的分布均勻，而兩者同時(shí)使用的后果是網(wǎng)絡(luò)的通訊開銷增大。

6.小結(jié)

本文對(duì)元數(shù)據(jù)的背景，概念，分類及元數(shù)據(jù)在分布式系統(tǒng)中的作用和管理方式，而面對(duì)當(dāng)前數(shù)據(jù)量的激增，無(wú)序化數(shù)據(jù)的管理存在巨大的挑戰(zhàn)，這促使我們隊(duì)元數(shù)據(jù)進(jìn)行更加深入，細(xì)致的研究。

［1］劉仲，周興銘.基于目錄路徑的元數(shù)據(jù)管理方法［J］.軟件學(xué)報(bào)，2007，18（2）：236-245.

［2］黃斌，彭宇行，彭小寧，云計(jì)算環(huán)境中高效可擴(kuò)展的元數(shù)據(jù)管理方法［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2014，35（9）：2991-2994.

［3］Xu L，Huang ZL，Jiang H，et al.VSFS：a searchable distributed file system［C］//Proceedings of the 9th Parallel Data Storage Workshop，2014：25-30.

楊濟(jì)華（1992—），男，陜西西安人，武警工程大學(xué)碩士研究生在讀，研究方向：武警信息化。