大數(shù)據(jù)：機(jī)遇和挑戰(zhàn)并存

Craig Brown Charles

IT領(lǐng)導(dǎo)們應(yīng)該清楚地知道大數(shù)據(jù)帶來的機(jī)遇，只有這樣他們才能克服各種挑戰(zhàn)，在不斷發(fā)展的以數(shù)據(jù)為中心的經(jīng)濟(jì)環(huán)境中走在競爭的最前沿。

數(shù)字?jǐn)?shù)據(jù)指數(shù)式的爆炸增長迫使研究人員去尋找觀察和分析世界的新方法。這涉及到在海量的數(shù)據(jù)中采集、搜索、共享、存儲、分析和呈現(xiàn)數(shù)據(jù)。“大數(shù)據(jù)”就是這樣誕生的。大數(shù)據(jù)這一概念是在數(shù)字基礎(chǔ)上存儲大量的信息。

盡管對大數(shù)據(jù)還沒有具體或者通用的定義。作為一個復(fù)雜的術(shù)語，其定義因感興趣的社區(qū)、用戶或者服務(wù)提供者而有所不同。采用跨學(xué)科方法可以理解不同參與者的行為：工具的設(shè)計者和提供者（計算機(jī)科學(xué)家）、用戶（管理人員、企業(yè)家、政治決策者和研究人員），以及專業(yè)人員。

大數(shù)據(jù)是一種具有雙面性的技術(shù)系統(tǒng)。的確，它既有好處也有挑戰(zhàn)。很多文章把大數(shù)據(jù)的到來描述為一場新的工業(yè)革命，類似于蒸汽（19世紀(jì)早期）、電力（19世紀(jì)晚期）和計算機(jī)科學(xué)（20世紀(jì)晚期）的發(fā)明。還有些文章把這一現(xiàn)象描述為第三次工業(yè)革命的最后階段，也就是“信息時代”。總而言之，大數(shù)據(jù)被認(rèn)為是對社會造成徹底顛覆的來源之一。

大數(shù)據(jù)在各行各業(yè)越來越受歡迎，但開展大數(shù)據(jù)項目并非易事。據(jù)NewVantage Partners的一項研究，在接受調(diào)查的《財富》1000強(qiáng)企業(yè)中，95%的企業(yè)在過去五年里都開展了一個大數(shù)據(jù)項目，但只有48.4%的企業(yè)從這些項目中獲益。

以下是企業(yè)面臨的一些大數(shù)據(jù)挑戰(zhàn)：

管理數(shù)據(jù)的增長

顯然，要克服的最大的大數(shù)據(jù)挑戰(zhàn)就是存儲并分析所有信息。據(jù)“數(shù)字宇宙”的報告，IDC估計，全球計算機(jī)系統(tǒng)中存儲的信息量每兩年就會翻一番。大多數(shù)此類數(shù)據(jù)都是非結(jié)構(gòu)化的，這意味著它們并沒有存儲在數(shù)據(jù)庫中。很難對照片、文檔、視頻和音頻文件進(jìn)行分析。

為了克服這一挑戰(zhàn)，企業(yè)可以使用不同的技術(shù)來管理數(shù)據(jù)的不斷增長。在存儲方面，融合和超融合的基礎(chǔ)設(shè)施以及軟件定義的存儲都證明能夠簡化硬件的擴(kuò)展。壓縮、重復(fù)數(shù)據(jù)刪除和分層等技術(shù)也減少了存儲大數(shù)據(jù)所需的空間和成本。在管理和分析方面，企業(yè)可以使用NoSQL、Hadoop、Spark等大數(shù)據(jù)分析軟件，以及商業(yè)智能軟件、人工智能和機(jī)器學(xué)習(xí)等工具來獲得所需的深度分析結(jié)果。

快速獲得深度分析結(jié)果

企業(yè)不只是想存儲他們所生成的大數(shù)據(jù)，他們更感興趣的是利用大數(shù)據(jù)來實(shí)現(xiàn)他們的目標(biāo)。據(jù)NewVantage Partners的研究，大數(shù)據(jù)項目的主要目標(biāo)是減少開支、實(shí)現(xiàn)數(shù)據(jù)驅(qū)動的文化、創(chuàng)新、加快部署新功能和服務(wù)，以及推出新產(chǎn)品和服務(wù)。盡管這些不同的目標(biāo)使企業(yè)更具競爭力，但他們還需要獲得深度分析能力，并迅速加以利用。

為了幫助加快速度，企業(yè)使用了新一代的分析工具，能夠顯著減少生成報告所需的時間。他們在分析工具上投入大量資金，幫助他們實(shí)時獲得結(jié)果。這樣，他們就能對市場的發(fā)展盡快做出反應(yīng)。

招聘大數(shù)據(jù)人才

為了能夠開發(fā)并管理產(chǎn)生深度分析結(jié)果的應(yīng)用程序，企業(yè)需要具備大數(shù)據(jù)技能的專業(yè)人員。事實(shí)上，對大數(shù)據(jù)專家的需求急劇上升，企業(yè)提供的工資也水漲船高。

為了解決缺乏大數(shù)據(jù)人才的問題，企業(yè)有多種選擇。他們可以在招聘和留用方面增加預(yù)算，加大投入。其他可以考慮的選擇是培訓(xùn)現(xiàn)有員工，讓他們學(xué)習(xí)和掌握大數(shù)據(jù)——從企業(yè)內(nèi)部培養(yǎng)大數(shù)據(jù)人才。最后，很多企業(yè)開始轉(zhuǎn)向技術(shù)。他們購買專為沒有數(shù)據(jù)科學(xué)學(xué)位的專業(yè)人士而設(shè)計的自助分析解決方案或者機(jī)器學(xué)習(xí)軟件。這些工具可以幫助企業(yè)克服其大數(shù)據(jù)挑戰(zhàn)，甚至不用聘請合格的專家就能實(shí)現(xiàn)目標(biāo)。

整合多元化大數(shù)據(jù)源

數(shù)據(jù)的多樣性使得整合成為大數(shù)據(jù)面臨的最大挑戰(zhàn)。事實(shí)上，數(shù)據(jù)來自不同的來源：業(yè)務(wù)應(yīng)用程序、社交網(wǎng)絡(luò)、電子郵件、員工文檔，協(xié)調(diào)地組合所有這些數(shù)據(jù)，并使用它們來創(chuàng)建報告，對于那些高級用戶來說，還要實(shí)現(xiàn)數(shù)據(jù)驅(qū)動的深度分析和業(yè)務(wù)決策支持解決方案——這一切可能非常困難。為了解決這一問題，不同的供應(yīng)商提供了旨在簡化流程的整合工具。然而，很多企業(yè)承認(rèn)他們還沒有克服這一挑戰(zhàn)。

數(shù)據(jù)驗證

數(shù)據(jù)驗證也是大數(shù)據(jù)面臨的一個主要挑戰(zhàn)。很多企業(yè)從不同的系統(tǒng)接收類似的數(shù)據(jù)，而這些數(shù)據(jù)有時是相互矛盾的。例如，電子商務(wù)系統(tǒng)的日常銷售是某種水平，而企業(yè)資源規(guī)劃（ERP）系統(tǒng)的銷售水平可能稍有不同。

為了協(xié)調(diào)這些數(shù)據(jù)，企業(yè)必須使用數(shù)據(jù)治理（可以在這里為SEO做內(nèi)部鏈接）。數(shù)據(jù)治理也帶來了各種挑戰(zhàn)，事實(shí)上，據(jù)AtScale 2016年的“大數(shù)據(jù)成熟度調(diào)查”，數(shù)據(jù)治理是受訪者所關(guān)注的增長最快的領(lǐng)域。

解決數(shù)據(jù)治理挑戰(zhàn)絕非易事。這既需要技術(shù)，也需要政策改革。而有一些嘗試則包括了分配一組人員來監(jiān)視數(shù)據(jù)、定義規(guī)則和過程。另一種選擇是投資于數(shù)據(jù)管理解決方案，目的是針對大數(shù)據(jù)準(zhǔn)確性和存儲等問題而簡化數(shù)據(jù)治理。

保護(hù)大數(shù)據(jù)

安全也是大數(shù)據(jù)領(lǐng)域的一個重要問題。黑客們對業(yè)務(wù)數(shù)據(jù)很感興趣。然而，據(jù)IDG的一項研究，只有39%的企業(yè)對他們的數(shù)據(jù)存儲庫加強(qiáng)了安全措施。一些最流行的加強(qiáng)措施包括訪問和身份控制、數(shù)據(jù)加密和數(shù)據(jù)隔離等。

組織結(jié)構(gòu)上的阻力

大數(shù)據(jù)除了面臨技術(shù)挑戰(zhàn)，員工方面也有挑戰(zhàn)。想要啟動大數(shù)據(jù)項目的企業(yè)所面臨的主要挑戰(zhàn)中，三個主要問題包括組織協(xié)調(diào)性不足、管理者不能理解、理解不夠，還有業(yè)務(wù)上的阻力等。

因此，為了解決這些挑戰(zhàn)，有必要說服業(yè)務(wù)領(lǐng)導(dǎo)們相信大數(shù)據(jù)是有用的，并任命一名首席數(shù)據(jù)官。

同樣重要的是，高管、董事和經(jīng)理們應(yīng)該清楚地知道大數(shù)據(jù)帶來的機(jī)遇，只有這樣他們才能克服各種挑戰(zhàn)，在不斷增長的以數(shù)據(jù)為中心的經(jīng)濟(jì)環(huán)境中保持競爭力。

Craig Brown博士一名作家、創(chuàng)新和技術(shù)領(lǐng)域的領(lǐng)導(dǎo)者、執(zhí)行導(dǎo)師和資深高管，在數(shù)據(jù)驅(qū)動和以數(shù)據(jù)為中心的能力方面有豐富的專業(yè)知識。