簡要分析大數(shù)據(jù)的發(fā)展現(xiàn)狀與挑戰(zhàn)

馬彬彬

摘要：近年來，隨著科學(xué)技術(shù)的迅猛發(fā)展，國家政府（航空航天，國防）、學(xué)術(shù)界（生物醫(yī)療工程，天文學(xué)，高能物理和光學(xué)研究）、產(chǎn)業(yè)界（互聯(lián)網(wǎng)，金融，供應(yīng)系統(tǒng)）不斷產(chǎn)生海量數(shù)據(jù)，人們早已進(jìn)入網(wǎng)絡(luò)化的大數(shù)據(jù)（Big Data）時(shí)代。該文簡要概述了大數(shù)據(jù)發(fā)展的重要意義及國內(nèi)外現(xiàn)狀，并對大數(shù)據(jù)系統(tǒng)和其挑戰(zhàn)做了簡略分析。

關(guān)鍵詞：大數(shù)據(jù) 并行系統(tǒng) MapReduce 大數(shù)據(jù)系統(tǒng)

中圖分類號：TN919 文獻(xiàn)標(biāo)識碼：A 文章編號：1672-3791（2016）04（a）-0142-02

1.大數(shù)據(jù)的重要意義

被稱為信息時(shí)代新“石油”的大數(shù)據(jù)隱含著巨大的社會(huì)、經(jīng)濟(jì)和科研價(jià)值，引起了政府部門、科研界及產(chǎn)業(yè)界的高度關(guān)注。

據(jù)國際數(shù)據(jù)公司IDC報(bào)道，2011年產(chǎn)生和復(fù)制的數(shù)據(jù)超過1.8ZB，是過去5年數(shù)據(jù)增長的9倍，并將以每兩年翻倍的速度增長，而這些數(shù)據(jù)約75%來自干與互聯(lián)網(wǎng)，物聯(lián)網(wǎng)相關(guān)的人類社會(huì)，因而，對大數(shù)據(jù)的處理和解析將直接或間接地關(guān)系到國家的信息空間安全和社會(huì)穩(wěn)定甚至一個(gè)國家數(shù)據(jù)主權(quán)的競爭力。其次，大數(shù)據(jù)對各類產(chǎn)業(yè)結(jié)構(gòu)升級及新戰(zhàn)略的制定都有著不可忽視的影響，進(jìn)入大數(shù)據(jù)時(shí)代以來，各類企業(yè)決策的制定和優(yōu)化越來越依賴大數(shù)據(jù)的處理和解析；計(jì)算機(jī)行業(yè)將自身的關(guān)注點(diǎn)由追求計(jì)算速度轉(zhuǎn)移到對大數(shù)據(jù)的處理機(jī)制，云計(jì)算也轉(zhuǎn)為分析即服務(wù)（Aaas）的Cloud 2.0時(shí)代；同時(shí)大數(shù)據(jù)的處理對生物、醫(yī)療、能源、金融和教育的發(fā)展應(yīng)用有著重大意義如百度每天要處理大約幾十PB數(shù)據(jù)，F(xiàn)acebook注冊用戶超過10億，每月上傳照片超過10億張，每天生成300TB以上的日志數(shù)據(jù)。……