大數(shù)據(jù)的問題與挑戰(zhàn)

韓佩佩

摘 要

大數(shù)據(jù)在社會(huì)政治、經(jīng)濟(jì)、文化等人類生活的各方面產(chǎn)生了深遠(yuǎn)影響，可謂是“得數(shù)據(jù)者得天下”。然而大數(shù)據(jù)技術(shù)還是不成熟的，面臨許多問題，解決這些技術(shù)上的難題對(duì)我們而言無疑是巨大的挑戰(zhàn)。文章主要介紹了大數(shù)據(jù)面臨的問題以及解決問題需要應(yīng)對(duì)的挑戰(zhàn)，為大數(shù)據(jù)的發(fā)展起到了一定的推動(dòng)作用。

【關(guān)鍵詞】大數(shù)據(jù) 問題 挑戰(zhàn)

如今，我們正處在一個(gè)數(shù)據(jù)爆炸性增長的“大數(shù)據(jù)”時(shí)代，收集海量的各種類型的數(shù)據(jù)，并快速獲取影響未來的信息的能力，這正是大數(shù)據(jù)技術(shù)的魅力所在。大數(shù)據(jù)從產(chǎn)生至今，一直在不斷的發(fā)展進(jìn)步，整個(gè)社會(huì)對(duì)大數(shù)據(jù)技術(shù)的關(guān)注程度非常高。大數(shù)據(jù)技術(shù)對(duì)人類社會(huì)具有巨大的價(jià)值，在社會(huì)經(jīng)濟(jì)、政治、文化等人類生活的各方面產(chǎn)生了深遠(yuǎn)影響。但是目前大數(shù)據(jù)技術(shù)還是不成熟的，技術(shù)發(fā)展面臨許多問題，解決這些技術(shù)上的難題對(duì)我們而言無疑是巨大的挑戰(zhàn)。

1 大數(shù)據(jù)所面臨的問題

1.1 數(shù)據(jù)存儲(chǔ)難題

爆發(fā)式的數(shù)據(jù)增長不僅讓數(shù)據(jù)量大大增加，數(shù)據(jù)的類型也在變得更加復(fù)雜。不同類型的數(shù)據(jù)如何有效的存儲(chǔ)在同一個(gè)系統(tǒng)內(nèi)。這對(duì)存儲(chǔ)系統(tǒng)的結(jié)構(gòu)和性能提出了新的問題。當(dāng)今，數(shù)據(jù)中心使用的傳統(tǒng)引導(dǎo)驅(qū)動(dòng)器不僅故障率高，而且具有較高的維修和更換成本。這使得數(shù)據(jù)的存儲(chǔ)成本居高不下。僅僅提高硬件的性能不能滿足復(fù)雜數(shù)據(jù)對(duì)存儲(chǔ)系統(tǒng)的要求。如何提高存儲(chǔ)系統(tǒng)的性價(jià)比，令數(shù)據(jù)存儲(chǔ)更加便利更加有效，為以后的數(shù)據(jù)處理分析做好基礎(chǔ)工作，是大數(shù)據(jù)技術(shù)的一大問題。

1.2 數(shù)據(jù)分析結(jié)果未合理利用

運(yùn)用大數(shù)據(jù)的預(yù)測(cè)判斷來影響人類的潛在行為，雖說在很大程度上可以幫助政府企業(yè)做出更好的決策決定，更好的管理社會(huì)。但從某些方面來說，這是對(duì)自由意志的一種褻瀆，是對(duì)公平公正的一種損害，同時(shí)也輕視了決策過程中個(gè)人深思熟慮的重要性。

1.2.1 數(shù)據(jù)分析影響人們的選擇

大數(shù)據(jù)的預(yù)測(cè)通過對(duì)用戶數(shù)據(jù)的深度分析，可以了解獲知用戶的行為喜好，個(gè)人習(xí)慣，潛在行為等。企業(yè)通過這種分析預(yù)測(cè)，對(duì)用戶加以引導(dǎo)以實(shí)現(xiàn)自己的目的，這在一定程度上違背了人類的自由意志，人們的行為變成了一種人為地操控。企業(yè)利用發(fā)達(dá)的數(shù)據(jù)挖掘技術(shù)正日益精準(zhǔn)地揣摩著消費(fèi)者心態(tài)，并運(yùn)用各種手段對(duì)我們進(jìn)行“循循善誘”。例如，我們?cè)谏暇W(wǎng)購物時(shí)，輸入自己想買的商品，很多商家都彈出了相關(guān)的推薦商品，更可怕的是，有的企業(yè)利用人們的搜索記錄和地理位置，在我們?yōu)g覽網(wǎng)頁時(shí)植入符合我們需求的精準(zhǔn)廣告。這無疑在很大程度上影響了人們的選擇，左右了人們的決定。

1.2.2 數(shù)據(jù)分析影響政府決策

政府對(duì)數(shù)據(jù)的分析利用與企業(yè)相比，有過之而無不及，政府需要通過分析收集上來的數(shù)據(jù)，制定政策，法律法規(guī)。問題隨之而來，用時(shí)如果得當(dāng)，大數(shù)據(jù)分析應(yīng)用，會(huì)是政府合理決策過程中的有力武器；倘若運(yùn)用不當(dāng)，它就可能會(huì)變成政府統(tǒng)治約束民眾的工具，輕則傷害公民的利益，重則損害公民的人身安全。

1.3 分析處理能力不足

從龐雜無章的數(shù)據(jù)中獲取有價(jià)值的信息，無疑是一項(xiàng)非常具有挑戰(zhàn)性的工作，人類社會(huì)很早就開始利用數(shù)據(jù)，使用數(shù)據(jù)，但是從來沒有像今天這樣，需要面對(duì)如此龐大復(fù)雜的數(shù)據(jù)。分析利用數(shù)據(jù)，首先需要技術(shù)上的支持。在進(jìn)行大數(shù)據(jù)分析之前，還需對(duì)數(shù)據(jù)先進(jìn)行預(yù)處理，包括處理無效值和缺失值、刪除重復(fù)值等，對(duì)大數(shù)據(jù)來說，這些都是海量數(shù)據(jù)的“噪聲數(shù)據(jù)”，利用傳統(tǒng)的數(shù)據(jù)分析軟件來清理這些“噪聲”，處理分析數(shù)據(jù)，難度較大。除此之外，還需要快速把大數(shù)據(jù)中的核心數(shù)據(jù)提取出來，要想高效快速的準(zhǔn)確分析這些核心數(shù)據(jù)，就需要建立高級(jí)的分析模型，只有對(duì)核心數(shù)據(jù)進(jìn)行準(zhǔn)確分析，發(fā)現(xiàn)數(shù)據(jù)中的趨勢(shì)和隱藏的信息，使大數(shù)據(jù)真正發(fā)揮作用。大數(shù)據(jù)處理分析需要軟硬件結(jié)合，這對(duì)軟件、硬件的性能和人才知識(shí)水平的都提出了更高的要求。這也是人們不得不面對(duì)的一個(gè)大問題。

2 大數(shù)據(jù)所面臨的挑戰(zhàn)

大數(shù)據(jù)給我們帶了許多不得不面對(duì)的問題，如何解決這些問題，對(duì)我們而言是一個(gè)個(gè)巨大的挑戰(zhàn)，突破這些挑戰(zhàn)將會(huì)把大數(shù)據(jù)技術(shù)推上一個(gè)新的高度，給人類社會(huì)帶來的效益不可估量。本節(jié)針對(duì)上文提出的諸多問題，介紹了相應(yīng)的解決方法，并總結(jié)解決過程中遇到的挑戰(zhàn)。

2.1 數(shù)據(jù)儲(chǔ)存

巨量數(shù)據(jù)存儲(chǔ)所耗費(fèi)的成本，會(huì)給企業(yè)造成巨大的負(fù)擔(dān)，甚至令許多企業(yè)望而卻步。數(shù)據(jù)量的爆發(fā)式增長，對(duì)存儲(chǔ)技術(shù)提出了巨大的挑戰(zhàn)，急需設(shè)計(jì)新型數(shù)據(jù)庫與性能更高的存儲(chǔ)硬件。

2.1.1 開發(fā)高效率、低成本的大數(shù)據(jù)存儲(chǔ)系統(tǒng)

重復(fù)數(shù)據(jù)刪除技術(shù)已經(jīng)進(jìn)入到存儲(chǔ)市場，而且該技術(shù)還可以處理更多更復(fù)雜的數(shù)據(jù)類型，這都可以為大數(shù)據(jù)的存儲(chǔ)應(yīng)用帶來更多的價(jià)值，提升了存儲(chǔ)效率。在數(shù)據(jù)量不斷增長的信息化的大環(huán)境下，通過減少后端存儲(chǔ)的消耗，哪怕僅僅是降低幾個(gè)百分點(diǎn)，都能夠獲得非常明顯的投資回報(bào)。刪除冗余信息，提高存儲(chǔ)效率，創(chuàng)新存儲(chǔ)模式，降低存儲(chǔ)成本，開發(fā)成本更低的存儲(chǔ)硬件，效率更高的存儲(chǔ)系統(tǒng)，才能真正做到了節(jié)省成本。才能為大數(shù)據(jù)的發(fā)展提供動(dòng)力。但是數(shù)據(jù)刪除技術(shù)難以保證有效信息不被刪除，我們有時(shí)候也無法鑒別哪些信息是有效的，如何高效的鑒別信息的有效性，對(duì)我們來說是一個(gè)巨大挑戰(zhàn)。

2.1.2 提高數(shù)據(jù)存儲(chǔ)系統(tǒng)的靈活性

大數(shù)據(jù)存儲(chǔ)系統(tǒng)的基礎(chǔ)設(shè)施規(guī)模通常都很大，因此必須經(jīng)過仔細(xì)設(shè)計(jì)，才能保證存儲(chǔ)系統(tǒng)的靈活性，使其能夠隨著應(yīng)用分析軟件一起擴(kuò)容及擴(kuò)展。在大數(shù)據(jù)存儲(chǔ)環(huán)境中，已經(jīng)沒有必要再做數(shù)據(jù)遷移了，因?yàn)閿?shù)據(jù)會(huì)同時(shí)保存在多個(gè)部署站點(diǎn)。一個(gè)大型的數(shù)據(jù)存儲(chǔ)基礎(chǔ)設(shè)施一旦開始投入使用，就很難再調(diào)整了，因此它必須能夠適應(yīng)各種不同的應(yīng)用類型和數(shù)據(jù)場景。存儲(chǔ)系統(tǒng)的穩(wěn)定性靈活性的提升是數(shù)據(jù)存儲(chǔ)重要的一個(gè)改革點(diǎn)。應(yīng)該建立高效新型的存儲(chǔ)結(jié)構(gòu)，以適應(yīng)復(fù)雜的數(shù)據(jù)類型，巨量的數(shù)據(jù)。

但是，如此大型的數(shù)據(jù)存儲(chǔ)系統(tǒng)一是難以設(shè)計(jì)，二是價(jià)格肯定會(huì)非常昂貴，難以普及。如何保證大型系統(tǒng)的故障率不會(huì)隨著系統(tǒng)的復(fù)雜性的提高而提高，這對(duì)我們來說是一個(gè)難以解決的挑戰(zhàn)。

2.2 科學(xué)利用數(shù)據(jù)分析結(jié)果

2.2.1 對(duì)于數(shù)據(jù)分析結(jié)果，理性看待

企業(yè)商家利用大數(shù)據(jù)的分析結(jié)果對(duì)人們消費(fèi)行為進(jìn)行干預(yù)引導(dǎo)，這對(duì)企業(yè)商家來講，絕對(duì)是有利的，但是對(duì)我們消費(fèi)者而言，可能會(huì)做出一些跟風(fēng)消費(fèi)的現(xiàn)象，購買自己不需要的東西，但自己的渾然不知。自由人的行為選擇竟然在很大程度上由他人決定，這就衍生了一些問題。對(duì)于商家企業(yè)的引導(dǎo)宣傳，我們應(yīng)理性看待。由此，我們應(yīng)該想到，大數(shù)據(jù)的分析結(jié)果正確與否，我們暫且不論，其結(jié)果肯定會(huì)對(duì)我們的行為產(chǎn)生影響，這種影響可能是正面的也可能是負(fù)面的。所以，作為普通公民的我們，需要提高自己的警惕，不能隨波逐流，要有自己的理性判斷，不能過分依賴數(shù)據(jù)。

2.2.2 預(yù)防預(yù)測(cè)偏差

對(duì)于政府企業(yè)，大數(shù)據(jù)無疑是一件極好的工具，但是，該技術(shù)畢竟是一門新生技術(shù)，原數(shù)據(jù)的正確與否都很難確定，更不用說分析結(jié)果的正確性了。一旦政府企業(yè)利用錯(cuò)誤的數(shù)據(jù)進(jìn)行分析，或者分析方法不當(dāng)，得到的結(jié)果必定是有偏差的，這種偏差會(huì)影響政府企業(yè)的決策，錯(cuò)誤的決策所帶的損失必定是巨大的。

為了避免或減少這種由數(shù)據(jù)利用不當(dāng)帶來的損失，政府企業(yè)應(yīng)規(guī)范自己利用大數(shù)據(jù)分析結(jié)果做決策的流程，建立一套完整的機(jī)制，避免盲目決策，錯(cuò)誤決策。提高政府企業(yè)工作人員的科學(xué)素養(yǎng)，保證對(duì)該技術(shù)的理性認(rèn)識(shí)，不迷信大數(shù)據(jù)技術(shù)，堅(jiān)持實(shí)事求是。

思維的轉(zhuǎn)變是非常重要的一點(diǎn)。確定好大數(shù)據(jù)技術(shù)為人類服務(wù)的定位，不是“奴役”人類的工具。這一轉(zhuǎn)變對(duì)我們來說，也是一個(gè)巨大的挑戰(zhàn)。

2.3 強(qiáng)化數(shù)據(jù)分析工具

數(shù)據(jù)的分析、處理涵蓋了許多方面，這也使得大數(shù)據(jù)的分析、處理技術(shù)面臨巨大的挑戰(zhàn)。

2.3.1 急需強(qiáng)大的數(shù)據(jù)分析工具。

目前，我國的數(shù)據(jù)處理技術(shù)基礎(chǔ)薄弱，篩選與分析大數(shù)據(jù)的能力遠(yuǎn)遠(yuǎn)不及理想中水平。對(duì)低密度有價(jià)值的數(shù)據(jù)快速分析和處理能力不足，難以滿足大數(shù)據(jù)大規(guī)模應(yīng)用的需求。如果把大數(shù)據(jù)比作石油，那數(shù)據(jù)分析工具就是進(jìn)行石油勘探、油田鉆井、原油提煉、加工等環(huán)節(jié)必須的東西。所以，必須研發(fā)新的大數(shù)據(jù)分析技術(shù)！擁有強(qiáng)大的數(shù)據(jù)分析工具，才能將大數(shù)據(jù)資源轉(zhuǎn)化為價(jià)值。在短時(shí)間內(nèi)研發(fā)出高端的新技術(shù)，是對(duì)我們的大挑戰(zhàn)。

2.3.2 如何令云計(jì)算更好的服務(wù)于大數(shù)據(jù)

無處不在的信息感知設(shè)備和信息采集終端設(shè)備為我們采集了海量的數(shù)據(jù)，而以云計(jì)算為代表的計(jì)算技術(shù)的不斷進(jìn)步和發(fā)展，為我們提供了強(qiáng)大的計(jì)算能力，這就圍繞個(gè)人以及組織的行為構(gòu)建起了一個(gè)與物質(zhì)世界相平行的數(shù)字世界。借助云計(jì)算等有效工具，深度挖掘數(shù)據(jù)的價(jià)值，可幫助政府企業(yè)更好的運(yùn)作。但是云計(jì)算技術(shù)還不是非常成熟，如何令云計(jì)算高效的與大數(shù)據(jù)結(jié)合，更好的完成數(shù)據(jù)分析處理工作，這將是提升大數(shù)據(jù)技術(shù)的一個(gè)重要突破點(diǎn)。快速發(fā)展云計(jì)算技術(shù)，并順利將其應(yīng)用與大數(shù)據(jù)中，是大數(shù)據(jù)發(fā)展中重要的一個(gè)環(huán)節(jié)。

3 結(jié)束語

本文主要介紹了目前大數(shù)據(jù)技術(shù)存在的問題，并針對(duì)這些問題提出了解決方案，以及解決問題時(shí)面臨的挑戰(zhàn)，為大數(shù)據(jù)的發(fā)展起到了一定的推動(dòng)作用。

參考文獻(xiàn)

[1] 維克托·邁爾·舍恩伯格.大數(shù)據(jù)時(shí)代[M].浙江：浙江人民出版社，2012：1-135.

[3] 維克托·舍恩伯格.刪除：大數(shù)據(jù)取舍之道[M].浙江：浙江人民出版社，2013：27-103.

[4] 徐繼華，馮啟娜.智慧政府：大數(shù)據(jù)治國時(shí)代的來臨[M].北京：中信出版社，2014：18-89.

[5] 李金勝.大數(shù)據(jù)時(shí)代的挑戰(zhàn)、價(jià)值與應(yīng)對(duì)策略[J].數(shù)字化用戶，2014：10-72.

[6] 許小樂.“大數(shù)據(jù)”與政府統(tǒng)計(jì)改革[J].調(diào)研世界，2013：56-93.