大數(shù)據(jù)技術(shù)及其應(yīng)用前景

李曉田

摘要：大數(shù)據(jù)是繼物聯(lián)網(wǎng)、云計(jì)算技術(shù)之后的又一新型信息技術(shù)，是計(jì)算機(jī)數(shù)據(jù)數(shù)字化和互聯(lián)網(wǎng)數(shù)據(jù)網(wǎng)絡(luò)化相結(jié)合的產(chǎn)物，現(xiàn)在正被廣泛地應(yīng)用到生活中的多個(gè)領(lǐng)域。大數(shù)據(jù)不僅是一種技術(shù)創(chuàng)新，它更是一種基礎(chǔ)性資源，潛藏著巨大的應(yīng)用價(jià)值，政治、經(jīng)濟(jì)、管理等領(lǐng)域應(yīng)用它來分析預(yù)測(cè)判斷，以作出正確的決策。本文分析了大數(shù)據(jù)的相關(guān)技術(shù)及特點(diǎn)，并指出了大數(shù)據(jù)技術(shù)的應(yīng)用前景及面臨的挑戰(zhàn)。

關(guān)鍵詞：大數(shù)據(jù) 技術(shù) 應(yīng)用

中圖分類號(hào)：TP311.13 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2016）07-0245-01

1 大數(shù)據(jù)相關(guān)技術(shù)分析

1.1 大數(shù)據(jù)處理通用技術(shù)架構(gòu)

大數(shù)據(jù)基本處理流程不同于傳統(tǒng)的數(shù)據(jù)處理流程，大數(shù)據(jù)所處理的數(shù)據(jù)具有大量化、非結(jié)構(gòu)化特點(diǎn)，在每個(gè)環(huán)節(jié)都可以采用并行處理方式，目前，大數(shù)據(jù)對(duì)各環(huán)節(jié)的處理所采用的是以Wapreduce為代表的分布式處理方法，MapReduce分布式方法包括有分布式文件系統(tǒng)GFS、分布式編程環(huán)節(jié)和分布式大規(guī)模數(shù)據(jù)庫(kù)管理系統(tǒng)Bigrable，是一套軟件框架，由Map和Reduce兩階段組成，可以對(duì)海量的數(shù)據(jù)進(jìn)行分割、任務(wù)分解和結(jié)果匯總等處理，其工作原理是“先分后合”，將數(shù)據(jù)分解成多個(gè)部分并分配給多臺(tái)處理器處理，也即是“Map”的含義；“Reduce”意即“合并”，就是將各處理器的處理結(jié)果匯總后得出最終結(jié)果。用戶只須用自己的Map函數(shù)和Reduce函數(shù)就可以在集群上進(jìn)行大規(guī)模的分布式數(shù)據(jù)處理。

1.2 大數(shù)據(jù)采集

大數(shù)據(jù)的采集就是利用數(shù)據(jù)庫(kù)接收來自Web、App或傳感器的數(shù)據(jù)，能夠接受龐大的訪問戶來并行訪問和操作。比如淘寶平臺(tái)，每天都有龐大的訪問量，如果采用傳統(tǒng)的數(shù)據(jù)采集工具則很容易就會(huì)導(dǎo)致整個(gè)淘寶網(wǎng)站癱瘓。大數(shù)據(jù)的采集方法主要有系統(tǒng)日志采集、網(wǎng)絡(luò)數(shù)據(jù)采集、數(shù)據(jù)庫(kù)采集及其他數(shù)據(jù)采集。

1.3 大數(shù)據(jù)分享

大數(shù)據(jù)的數(shù)據(jù)分享是通過數(shù)據(jù)集市和開放數(shù)據(jù)平臺(tái)的方式來實(shí)現(xiàn)的，開放數(shù)據(jù)平臺(tái)可以提供涵蓋本地服務(wù)、娛樂、餐飲、教育、交通等方面的數(shù)據(jù)集合，用戶既可以通過API訪問，也可以通過SDK集成到移動(dòng)應(yīng)用中。在線集成數(shù)據(jù)除了可以為用戶提供下載功能，也可以為用戶提供上傳和數(shù)據(jù)交換功能，，既可以提供數(shù)據(jù)給用戶使用，也可以給數(shù)據(jù)設(shè)計(jì)提供在線設(shè)計(jì)開發(fā)功能。

1.4 大數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理就是對(duì)采集到的數(shù)據(jù)進(jìn)行清洗、填補(bǔ)、平滑、合并、規(guī)格化及檢查一致性等處理，并對(duì)數(shù)據(jù)的多種屬性進(jìn)行組織，從而為數(shù)據(jù)的存儲(chǔ)、分析和挖掘做準(zhǔn)備，數(shù)據(jù)預(yù)處理通常包括數(shù)據(jù)清理、數(shù)據(jù)集成變化變換和數(shù)據(jù)規(guī)約幾個(gè)部分。

1.5 大數(shù)據(jù)存儲(chǔ)于及管理

大數(shù)據(jù)的存儲(chǔ)和管理要有效，才能實(shí)現(xiàn)數(shù)據(jù)的利用價(jià)值，大數(shù)據(jù)的存儲(chǔ)和管理包括分布式文件系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)和非關(guān)系型數(shù)據(jù)庫(kù)等三類主要技術(shù)。

1.6 大數(shù)據(jù)分析及挖掘

大數(shù)據(jù)的分析與挖掘是一種決策支持過程，它綜合人工智能、機(jī)器學(xué)習(xí)、模式識(shí)別、數(shù)據(jù)挖掘、數(shù)據(jù)庫(kù)等技術(shù)實(shí)現(xiàn)對(duì)大數(shù)據(jù)的分析推理，挖掘提取有用的信息。相比較于傳統(tǒng)的數(shù)據(jù)，其有著以下特點(diǎn)：采用并行處理方式、對(duì)實(shí)時(shí)處理有較高的要求，常用的方法是機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、模式識(shí)別、統(tǒng)計(jì)分析和并行處理。

1.7 大數(shù)據(jù)檢索

實(shí)時(shí)檢索包括數(shù)據(jù)庫(kù)實(shí)時(shí)檢索和實(shí)時(shí)搜索引擎。數(shù)據(jù)庫(kù)實(shí)時(shí)檢索，就是在數(shù)據(jù)庫(kù)等大型數(shù)據(jù)存儲(chǔ)平臺(tái)或在多個(gè)不同結(jié)構(gòu)的數(shù)據(jù)存儲(chǔ)平臺(tái)間快速的查詢、檢索不同結(jié)構(gòu)的數(shù)據(jù)。實(shí)時(shí)搜索引擎，就是對(duì)互聯(lián)網(wǎng)上的大量數(shù)據(jù)和信息進(jìn)行實(shí)時(shí)、快速，實(shí)現(xiàn)快速搜索，即搜即得的效果。

1.8 大數(shù)據(jù)可視化

大數(shù)據(jù)的呈現(xiàn)方式比較直觀、清晰，且呈現(xiàn)方式多樣化，可以將錯(cuò)綜復(fù)雜的數(shù)據(jù)關(guān)系通過圖片、映射、表格等方式智能化地呈現(xiàn)給用戶。通過數(shù)據(jù)訪問接口或商業(yè)智能門戶，可以將數(shù)據(jù)直觀的表達(dá)出來。通過交互可視界面來進(jìn)行分析、推理和決策，從海量、動(dòng)態(tài)、不確定甚至相互沖突的數(shù)據(jù)中整合信息，挖掘數(shù)據(jù)信息更深層次的價(jià)值，可以幫助人們對(duì)未來走勢(shì)進(jìn)行預(yù)測(cè)，理解并解釋一些復(fù)雜的現(xiàn)象。

2 大數(shù)據(jù)應(yīng)用及面臨的挑戰(zhàn)

目前，大數(shù)據(jù)技術(shù)得到了廣泛的關(guān)注，也逐漸被應(yīng)用到生活中的各個(gè)領(lǐng)域中，使得一些傳統(tǒng)的產(chǎn)業(yè)發(fā)生了重構(gòu)。在商業(yè)領(lǐng)域，不少企業(yè)將大數(shù)據(jù)技術(shù)作為一種分析預(yù)測(cè)的手段，用于優(yōu)化企業(yè)的運(yùn)營(yíng)狀況，比如沃爾瑪通過運(yùn)用大數(shù)據(jù)挖掘來重塑并優(yōu)化供應(yīng)鏈，卓越、亞馬遜、淘寶、阿里巴巴等通過對(duì)龐大的數(shù)據(jù)量進(jìn)行分析和預(yù)測(cè)，為用戶提供更加專業(yè)化和個(gè)性化的服務(wù)；在社會(huì)治理領(lǐng)域中，政府正在打造基于大數(shù)據(jù)技術(shù)應(yīng)用的管理模式和管理方法，著力于打造智慧城市，促進(jìn)政府職能的轉(zhuǎn)變；在教育領(lǐng)域，通過大數(shù)據(jù)技術(shù)分析人們對(duì)知識(shí)的需求，對(duì)教育方面的需求，重構(gòu)知識(shí)體系，整合、組織網(wǎng)絡(luò)教育資源，從而改變?nèi)藗兊慕逃砟詈蛯W(xué)習(xí)方式。但大數(shù)據(jù)應(yīng)用在涉及到個(gè)人隱私方面則比較令人擔(dān)憂，比如人們用手機(jī)收發(fā)的短信、在互聯(lián)網(wǎng)上的聊天內(nèi)容、存放在網(wǎng)絡(luò)上的圖片，這些都有可能被泄露出去，所以在大數(shù)據(jù)時(shí)代，對(duì)隱私的保護(hù)更要靠行業(yè)的自律，而非單單只靠法律。由上述可見，大數(shù)據(jù)技術(shù)在商業(yè)、政治、文化、教育等方面有著廣泛的應(yīng)用前景，會(huì)對(duì)這些領(lǐng)域產(chǎn)生深遠(yuǎn)的影響，改變著人們的思維模式和行為習(xí)慣。

3 結(jié)語(yǔ)

大數(shù)據(jù)技術(shù)是繼云計(jì)算、物聯(lián)網(wǎng)后的又一戰(zhàn)略資源，世界多個(gè)國(guó)家都將大數(shù)據(jù)技術(shù)的應(yīng)用作為一種戰(zhàn)略布局上升到了國(guó)家安全層面，并通過大數(shù)據(jù)頂層設(shè)計(jì)，制定了戰(zhàn)略規(guī)劃。因此，大數(shù)據(jù)時(shí)代下，我們要充分掌握大數(shù)據(jù)相關(guān)的技術(shù)，高瞻遠(yuǎn)矚地認(rèn)識(shí)到其廣闊的應(yīng)用前景及面臨的挑戰(zhàn)，以更好的將大數(shù)據(jù)技術(shù)應(yīng)用到社會(huì)生活的各個(gè)領(lǐng)域。

參考文獻(xiàn)

[1]陳超.大數(shù)據(jù)技術(shù)推動(dòng)網(wǎng)絡(luò)營(yíng)銷發(fā)展[J].商情，2013（42）：21.

[2]張小豐.淺析計(jì)算機(jī)數(shù)據(jù)技術(shù)在信息管理系統(tǒng)中的應(yīng)用[J].消費(fèi)電子，2014（18）：18.