大數(shù)據(jù)處理技術(shù)發(fā)展現(xiàn)狀及其應(yīng)用展望

余濤

摘 要：大數(shù)據(jù)本身并不是一種新技術(shù)，也不是一種新的產(chǎn)品，而是這個(gè)時(shí)代出現(xiàn)的一種現(xiàn)象，是近年來(lái)研究的新技術(shù)熱點(diǎn)。以互聯(lián)網(wǎng)企業(yè)為主的信息通信企業(yè)是大數(shù)據(jù)應(yīng)用的領(lǐng)先企業(yè)，它們具有較好的信息化能力并擁有數(shù)據(jù)優(yōu)勢(shì)，進(jìn)而可以從技術(shù)能力、組織架構(gòu)、業(yè)務(wù)應(yīng)用等多個(gè)層面共同發(fā)展大數(shù)據(jù)。

關(guān)鍵詞：大數(shù)據(jù);信息通信;應(yīng)用現(xiàn)狀;協(xié)調(diào)發(fā)展

1、定義

大數(shù)據(jù)處理流程主要包括數(shù)據(jù)收集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理與分析、數(shù)據(jù)展示、數(shù)據(jù)可視化和數(shù)據(jù)應(yīng)用等環(huán)節(jié)，其中數(shù)據(jù)質(zhì)量貫穿于整個(gè)大數(shù)據(jù)流程，每一個(gè)數(shù)據(jù)處理環(huán)節(jié)都會(huì)對(duì)大數(shù)據(jù)質(zhì)量產(chǎn)生影響作用。通常，一個(gè)好的大數(shù)據(jù)產(chǎn)品要有大量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)處理、精確的數(shù)據(jù)分析與預(yù)測(cè)、優(yōu)秀的可視化圖表以及簡(jiǎn)練易懂的結(jié)果解釋。

2、大數(shù)據(jù)的技術(shù)

技術(shù)是大數(shù)據(jù)價(jià)值體現(xiàn)的手段和前進(jìn)的基石。我將分別從云計(jì)算、分布式處理技術(shù)和存儲(chǔ)技術(shù)的發(fā)展來(lái)說(shuō)明大數(shù)據(jù)從采集、處理、存儲(chǔ)到形成結(jié)果的整個(gè)過(guò)程。

2.1云技術(shù)

大數(shù)據(jù)常和云計(jì)算聯(lián)系到一起，因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集分析需要分布式處理框架技術(shù)來(lái)實(shí)現(xiàn)，所以云計(jì)算充當(dāng)了信息革命時(shí)期的發(fā)動(dòng)機(jī)的角色。簡(jiǎn)單來(lái)說(shuō)，云計(jì)算就是給數(shù)百甚至數(shù)萬(wàn)的電腦分配工作，而大數(shù)據(jù)在這個(gè)過(guò)程中充當(dāng)電的角色。Facebook、Amazon、Google等一批互聯(lián)網(wǎng)企業(yè)引領(lǐng)下，做成公用事業(yè)提供給用戶。如今，在這種發(fā)展情況下，一種行之有效的模式出現(xiàn)了：云計(jì)算提供基礎(chǔ)架構(gòu)平臺(tái)，大數(shù)據(jù)應(yīng)用運(yùn)行在這個(gè)平臺(tái)上。但是云計(jì)算的計(jì)算能力再?gòu)?qiáng)大，如果沒(méi)有大數(shù)據(jù)的信息積淀，這種模式也無(wú)法運(yùn)作起來(lái)。業(yè)內(nèi)形容兩者的關(guān)系也終究只是鏡花水月。但是大數(shù)據(jù)的信息積淀再豐富，如果沒(méi)有云計(jì)算的處理能力，這種模式也找不到用武之地。分布式處理需要用比如虛擬化技術(shù)，那么大數(shù)據(jù)到底需要哪些云計(jì)算技術(shù)呢？這里暫且列舉一些，實(shí)時(shí)流數(shù)據(jù)處理、智能分析技術(shù)等。

2.2分布式處理技術(shù)

分布式處理系統(tǒng)可以將不同地點(diǎn)的或具有不同功能的或擁有不同數(shù)據(jù)的多臺(tái)計(jì)算機(jī)，用通信協(xié)調(diào)地完成信息處理任務(wù)。這就是分布式處在控制系統(tǒng)的統(tǒng)一管理控制下，網(wǎng)絡(luò)連接起來(lái)，處理系統(tǒng)的定義。以此例進(jìn)行說(shuō)明，Yahoo的Hadoop模式能夠?qū)Υ罅繑?shù)據(jù)MapReduce進(jìn)行處理的技術(shù)，它是一個(gè)實(shí)現(xiàn)了Hadoop進(jìn)行分布式處理的軟件框架，是以一種可靠、高效、可伸縮的方式進(jìn)行處理的方式。其包含的一種云計(jì)算的核心計(jì)算模式，是一種分布式運(yùn)算技術(shù)。它的特性，第一，它是可靠的，因?yàn)樗僭O(shè)計(jì)算元素和存儲(chǔ)會(huì)失敗，也不會(huì)影響其計(jì)算結(jié)果。其次，確保能夠針對(duì)失敗的節(jié)點(diǎn)重新分布處理。維護(hù)多個(gè)工作數(shù)據(jù)副本，是高效的。PB 能夠處理還是可伸縮的，Hadoop 通過(guò)并行處理加快處理速度。因?yàn)樗圆⑿械姆绞焦ぷ鳎蕾囉谏鐓^(qū)服務(wù)器，因此它的成本比較低，任何人都可以使用Hadoop 級(jí)數(shù)據(jù)。此外，Hadoop +HBase（文件系統(tǒng)，數(shù)據(jù)存儲(chǔ)技術(shù)相關(guān)）=HDFS的構(gòu)成，Hadoop你也可以這么理解數(shù)據(jù)庫(kù)=數(shù)據(jù)處理+Map+Reduce

2.3存儲(chǔ)技術(shù)

大數(shù)據(jù)存儲(chǔ)的目的是支持大數(shù)據(jù)分析。這兩者的關(guān)系是：大數(shù)據(jù)可以抽象的分為大數(shù)據(jù)存儲(chǔ)和大數(shù)據(jù)分析，大數(shù)據(jù)存儲(chǔ)致力于研發(fā)還是兩種截然不同的計(jì)算機(jī)技術(shù)領(lǐng)域：到目前為止，撐大數(shù)據(jù)分析。EB甚至PB可以擴(kuò)展至大數(shù)據(jù)分析。關(guān)注在最短時(shí)間內(nèi)處理大量不同類級(jí)別的數(shù)據(jù)存儲(chǔ)平臺(tái)型的數(shù)據(jù)集。集成電路的復(fù)雜性就增加一倍。提到存儲(chǔ)，有一個(gè)著名的摩爾定律相信大家都聽(tīng)過(guò)：成本的不斷下降也造就了大數(shù)據(jù)的可存?zhèn)€月就下降一半。比如，還在不斷擴(kuò)展的Google萬(wàn)塊硬盤，而且100萬(wàn)臺(tái)服務(wù)器和其中很多的擴(kuò)展都是基于在廉價(jià)服務(wù)器和普通存儲(chǔ)硬盤的基礎(chǔ)上，升級(jí)其計(jì)算能力和存儲(chǔ)能力，這大大降低了其服務(wù)成本，因此可以將更多的資金投入到技術(shù)的研發(fā)當(dāng)中。該服務(wù)旨在讓開(kāi)發(fā)人員能 Internet是一種面向Amazon S3舉例，Amazon以Amazon S3更輕松的進(jìn)行網(wǎng)絡(luò)規(guī)模計(jì)算。在服務(wù)界面上，用戶可通過(guò)它隨 Web 提供一個(gè)簡(jiǎn)明的此服務(wù)讓所有開(kāi)發(fā)人員都能訪問(wèn)同上的任何位置存儲(chǔ)和檢索的任意大小的數(shù)據(jù)。Web是在用它來(lái)運(yùn)行其全球的Amazon 一個(gè)具備高擴(kuò)展性、可靠性、安全性和快速價(jià)廉的基礎(chǔ)設(shè)施，S3再看看網(wǎng)站網(wǎng)絡(luò)的可用性，并能夠承受兩個(gè)設(shè)施中的數(shù)據(jù)同時(shí)丟失。99.99% S3云的存儲(chǔ)對(duì)象已達(dá)到萬(wàn)億級(jí)別，而且性能表現(xiàn)相當(dāng)良好。S3很成功也確實(shí)卓有成效，S3目前全球的對(duì)象執(zhí)行請(qǐng)求也達(dá)到百萬(wàn)的峰值數(shù)量。AWS同時(shí)云已經(jīng)擁萬(wàn)億跨地域存儲(chǔ)對(duì)象，運(yùn)行自己的全部或者部分日常業(yè)務(wù)。AWS范圍內(nèi)已經(jīng)有數(shù)以十萬(wàn)計(jì)的企業(yè)在通過(guò)這些企業(yè)用戶的身影。Amazon多個(gè)國(guó)家，幾乎世界上的每個(gè)角落都有遍布。

3、大數(shù)據(jù)處理技術(shù)的展望

3.1對(duì)于企業(yè)

對(duì)于企業(yè)的大數(shù)據(jù)，外部數(shù)據(jù)的重要性日益提高。這里尤其有兩個(gè)明顯的現(xiàn)象：最終形成“數(shù)據(jù)供應(yīng)鏈”單一企業(yè)的內(nèi)部數(shù)據(jù)與整個(gè)互聯(lián)網(wǎng)數(shù)據(jù)比較起來(lái)在互聯(lián)互通的互聯(lián)網(wǎng)時(shí)代，超過(guò)內(nèi)部數(shù)據(jù)。能提供包括數(shù)據(jù)供應(yīng)、數(shù)據(jù)整合與加工、數(shù)據(jù)應(yīng)用等多環(huán)節(jié)服務(wù)的公司只是滄海一粟：會(huì)有明顯的綜合競(jìng)爭(zhēng)優(yōu)勢(shì)。成功轉(zhuǎn)向了軟件和服務(wù)，而這次將遠(yuǎn)離服務(wù)與PC舉例，上一個(gè)十年，他們拋棄了IBM的執(zhí)行總裁羅睿蘭認(rèn)為，IBM更多地專注于因大數(shù)據(jù)分析軟件而帶來(lái)的全新業(yè)務(wù)增長(zhǎng)點(diǎn)。

3.2 對(duì)于個(gè)人

可由本人授權(quán)提供第三與個(gè)人相關(guān)聯(lián)的各種有價(jià)值數(shù)據(jù)信息被有效采集后，個(gè)人的大數(shù)據(jù)方可進(jìn)行處理和使用，并獲得第三方提供的數(shù)據(jù)服務(wù)。每個(gè)用戶可以在互聯(lián)網(wǎng)上注冊(cè)個(gè)人的數(shù)據(jù)中心，未來(lái)，用戶可確以存儲(chǔ)個(gè)人的大數(shù)據(jù)信息。并通過(guò)可穿戴設(shè)備或植入芯片等感知技術(shù)來(lái)采集捕獲個(gè)人的大數(shù)定哪些個(gè)人數(shù)據(jù)可被采集，比如，牙齒監(jiān)控?cái)?shù)據(jù)，心率數(shù)據(jù)，體溫?cái)?shù)據(jù)，視力數(shù)據(jù)，記憶能力，地理位置信息，社購(gòu)物數(shù)據(jù)等等。用戶可以將其中的牙齒監(jiān)測(cè)數(shù)據(jù)授權(quán)給飲食數(shù)據(jù)，會(huì)關(guān)系數(shù)據(jù)，運(yùn)動(dòng)數(shù)據(jù)，牙科診所使用，由他們監(jiān)控和使用這些數(shù)據(jù)，進(jìn)而為用戶制定有效的牙齒防治和維護(hù)計(jì)劃由他們監(jiān)測(cè)自己的身體運(yùn)動(dòng)機(jī)能，也可以將個(gè)人的運(yùn)動(dòng)數(shù)據(jù)授權(quán)提供給某運(yùn)動(dòng)健身機(jī)構(gòu)，還可以將個(gè)人的消費(fèi)數(shù)據(jù)授權(quán)給金融理財(cái)機(jī)構(gòu)，并有針對(duì)地制定和調(diào)整個(gè)人的運(yùn)動(dòng)計(jì)劃。他們幫你制定合理的理財(cái)計(jì)劃并對(duì)收益進(jìn)行預(yù)測(cè)。比如罪案預(yù)防監(jiān)控中心可以實(shí)時(shí)的監(jiān)控本地授權(quán)，即可提供給國(guó)家相關(guān)部門進(jìn)行實(shí)時(shí)監(jiān)控的每個(gè)人的情緒和心理狀態(tài)，以預(yù)防自殺和犯罪的發(fā)生。

隨著互聯(lián)網(wǎng)及計(jì)算機(jī)技術(shù)的飛速發(fā)展，各類應(yīng)用層出不窮，引發(fā)了數(shù)據(jù)規(guī)模的爆發(fā)式增長(zhǎng)，數(shù)據(jù)分析和數(shù)據(jù)滲透到了當(dāng)前的各行各業(yè)中，大數(shù)據(jù)時(shí)代已經(jīng)來(lái)臨，相信在不遠(yuǎn)的將來(lái)，大數(shù)據(jù)必將給我們的生活帶來(lái)深刻的變革。