基于NoSQL數(shù)據(jù)庫(kù)的大數(shù)據(jù)存儲(chǔ)技術(shù)的研究與應(yīng)用

孫中廷

摘 要： 實(shí)際工程中采集和處理的數(shù)據(jù)量特別大，這對(duì)傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)提出巨大挑戰(zhàn)。針對(duì)傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ)速度慢、對(duì)硬件要求高的缺點(diǎn)，提出一種以NoSQL數(shù)據(jù)庫(kù)為基礎(chǔ)的大數(shù)據(jù)處理方法，打破了傳統(tǒng)數(shù)據(jù)庫(kù)的關(guān)系模型，數(shù)據(jù)以一種自由的方式存儲(chǔ)，而不依賴固定的表結(jié)構(gòu)。該方法主要是將經(jīng)驗(yàn)?zāi)B(tài)分解并與NoSQL數(shù)據(jù)庫(kù)技術(shù)相結(jié)合，應(yīng)用于大型結(jié)構(gòu)件的變形監(jiān)測(cè)中，構(gòu)建出一個(gè)基于NoSQL數(shù)據(jù)庫(kù)系統(tǒng)的大型結(jié)構(gòu)件變形監(jiān)測(cè)系統(tǒng)。仿真結(jié)果表明，該方法可以實(shí)現(xiàn)大型結(jié)構(gòu)件變形監(jiān)測(cè)數(shù)據(jù)的實(shí)時(shí)處理，在計(jì)算收斂性、算法穩(wěn)定性和處理速度上都優(yōu)于傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)。

關(guān)鍵詞： NoSQL數(shù)據(jù)庫(kù)； 經(jīng)驗(yàn)?zāi)B(tài)分解； 關(guān)系模型； 變形監(jiān)測(cè)； 大型結(jié)構(gòu)件

中圖分類號(hào)：TP392 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1006-8228（2014）07-07-03

Abstract： In engineering practice， the large amount of data acquisition and processing has challenged traditional database technology. To deal with the disadvantages of low storing speed and high hardware requirement of traditional relational database， a large data processing method based on NoSQL database is presented. The traditional relational model database is broken and data is stored in a free manner， while do not rely on fixed table structure. This method is mainly the empirical mode decomposition and NoSQL database technologies combine applied deformation monitoring of large structural parts to construct a large-scale structure deformation monitoring system based on NoSQL database system. Simulation results show that the proposed NoSQL database based on the large data processing method can achieve real-time processing of large structural deformation monitoring data and it is better than the traditional database technology on the convergence and stability of the algorithm and processing speed.

Key words： NoSQL database； empirical mode decomposition； relationship model； deformation monitoring； Large-Scale structure

0 引言

計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)的快速發(fā)展以及硬件的不斷升級(jí)和更新?lián)Q代，使得數(shù)據(jù)呈現(xiàn)爆炸式增長(zhǎng)，向海量數(shù)據(jù)和大數(shù)據(jù)邁進(jìn)。越來(lái)越多的數(shù)據(jù)屬于非結(jié)構(gòu)化數(shù)據(jù)，如圖片、聲音和視頻等文件[1]。

面對(duì)海量數(shù)據(jù)的存儲(chǔ)和處理要求，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)已無(wú)法滿足用戶需求，甚至制約著海量數(shù)據(jù)的存儲(chǔ)和處理。本文基于這種形勢(shì)研究NoSQL數(shù)據(jù)庫(kù)在大型結(jié)構(gòu)件變形監(jiān)測(cè)數(shù)據(jù)存儲(chǔ)和處理中的應(yīng)用。

1 大型結(jié)構(gòu)件變形監(jiān)測(cè)

工程建筑中，橋梁、地鐵隧道等大型結(jié)構(gòu)件在經(jīng)濟(jì)發(fā)展中有重要作用，因此通過(guò)實(shí)時(shí)監(jiān)測(cè)大型結(jié)構(gòu)件的實(shí)際狀態(tài)和環(huán)境狀況，實(shí)時(shí)監(jiān)測(cè)和診斷結(jié)構(gòu)性能，及時(shí)發(fā)現(xiàn)結(jié)構(gòu)損傷，對(duì)比理論值和實(shí)際檢測(cè)值，有助于識(shí)別和預(yù)計(jì)可能出現(xiàn)的災(zāi)害，及時(shí)發(fā)現(xiàn)災(zāi)害隱患并進(jìn)行處理[2-3]。

2 變形監(jiān)測(cè)技術(shù)

由于GPS測(cè)量技術(shù)具有高精度的三維定位能力，同時(shí)可以實(shí)現(xiàn)實(shí)時(shí)連續(xù)觀測(cè)，因此GPS為監(jiān)測(cè)大型結(jié)構(gòu)件的動(dòng)態(tài)和靜態(tài)變形提供了非常有效的手段。GPS測(cè)量技術(shù)不但精度高，而且不受天氣條件影響，可以實(shí)現(xiàn)全天候觀測(cè)測(cè)量，自動(dòng)計(jì)算和記錄，因此GPS技術(shù)被廣泛地應(yīng)用于大型結(jié)構(gòu)件的監(jiān)測(cè)。圖1為某大橋的GPS連續(xù)監(jiān)測(cè)系統(tǒng)框圖[4]。

GPS監(jiān)測(cè)到的數(shù)據(jù)，需要進(jìn)行實(shí)時(shí)處理和診斷，做到及時(shí)識(shí)別和判斷，其中涉及到大量的數(shù)據(jù)存儲(chǔ)和計(jì)算處理，由于NoSQL數(shù)據(jù)庫(kù)克服了傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的缺點(diǎn)，具有存儲(chǔ)速度快和硬件限制要求低的優(yōu)點(diǎn)[5]，本文將經(jīng)驗(yàn)?zāi)B(tài)分解技術(shù)和NoSQL數(shù)據(jù)庫(kù)結(jié)合起來(lái)，進(jìn)行大型結(jié)構(gòu)件變形監(jiān)測(cè)數(shù)據(jù)的存儲(chǔ)和處理研究。

5 結(jié)束語(yǔ)

本文以NoSQL數(shù)據(jù)庫(kù)為基礎(chǔ)，結(jié)合EMD分解技術(shù)，實(shí)現(xiàn)了大型結(jié)構(gòu)件實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)的存儲(chǔ)和處理。仿真結(jié)果表明，本文算法在收斂性、穩(wěn)定性和處理速度上都優(yōu)于傳統(tǒng)的EMD技術(shù)，從而驗(yàn)證了NoSQL數(shù)據(jù)庫(kù)技術(shù)可以克服傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)的缺點(diǎn)，具有處理速度快，對(duì)硬件限制要求低的優(yōu)點(diǎn)，因此NoSQL數(shù)據(jù)庫(kù)技術(shù)可以同其他技術(shù)相結(jié)合，應(yīng)用于海量數(shù)據(jù)處理和大數(shù)據(jù)處理領(lǐng)域，提高速度和存儲(chǔ)量。

參考文獻(xiàn)：

[1] 呂明育，李小勇.NoSQL數(shù)據(jù)庫(kù)與關(guān)系數(shù)據(jù)庫(kù)的比較分析[J].微型電腦應(yīng)用，2011.10：61-64

[2] 李莉莎.關(guān)于NOSQL的思考[J].中國(guó)傳媒科技，2010.4：42-43

[3] 陳敏敏.基于MongoDB云存儲(chǔ)平臺(tái)的論壇信息抽取與存儲(chǔ)研究[D].上海交通大學(xué)，2011.

[4] Feng Youle，Zhu Liuzhang. Analysis and Improvement of CEPH Dynamic Metadata Management[J].Electronic Technology，2010.47（9）：1-3

[5] Zhu Wei-ping， Chen Huan， Li Ming-xin.Using MongoDB toImplement Textbook Management System instead of MySQL[R]. Proceedings of 2011 IEEE 3rd International Conference on Communication Software and Networks（ICCSN 2011） VOL02，2011.

[6] Karen Egiazarian， Alessandro Foi， and Vladimir Katkovnik， Compressed sensing image reconstruction via recursive spatially adaptive filtering. （Preprint， 2007）.

[7] Marco Duarte， Mark Davenport， Dharmpal Takhar， Jason Laska，Ting Sun， Kevin Kelly， and Richard Baraniuk，Single-pixel imaging via compressive sampling. IEEE Signal Processing Magazine，2008.25（2）：83-91

[8] Michael Wakin， Jason Laska， Marco Duarte， Dror Baron， Shriram Sarvotham， Dharmpal Takhar， Kevin Kelly， and Richard Baraniuk，An architecture for compressive imaging. Int. Conf. on Image Processing （ICIP）， Atlanta， Georgia， October 2006.

[9] Herodotou H，Borisov N.Babu S.Query optimization techniques forpartitioned tables[c]//Proc of the 2011 ACM SIGMOD Int Conf on Management of Data.New York：ACM，2011：49-60

[10] shvachko K， Kuang H，Radia S，et a1. The Hadoop distributed file system[c]//Proc of the Symp on Mass Storage Systems and Technologies.Piscataway，NJ：IEEE，2010：1-10