大數據：機遇和挑戰并存

Craig Brown Charles

IT領導們應該清楚地知道大數據帶來的機遇，只有這樣他們才能克服各種挑戰，在不斷發展的以數據為中心的經濟環境中走在競爭的最前沿。

數字數據指數式的爆炸增長迫使研究人員去尋找觀察和分析世界的新方法。這涉及到在海量的數據中采集、搜索、共享、存儲、分析和呈現數據。“大數據”就是這樣誕生的。大數據這一概念是在數字基礎上存儲大量的信息。

盡管對大數據還沒有具體或者通用的定義。作為一個復雜的術語，其定義因感興趣的社區、用戶或者服務提供者而有所不同。采用跨學科方法可以理解不同參與者的行為：工具的設計者和提供者（計算機科學家）、用戶（管理人員、企業家、政治決策者和研究人員），以及專業人員。

大數據是一種具有雙面性的技術系統。的確，它既有好處也有挑戰。很多文章把大數據的到來描述為一場新的工業革命，類似于蒸汽（19世紀早期）、電力（19世紀晚期）和計算機科學（20世紀晚期）的發明。還有些文章把這一現象描述為第三次工業革命的最后階段，也就是“信息時代”。總而言之，大數據被認為是對社會造成徹底顛覆的來源之一。

大數據在各行各業越來越受歡迎，但開展大數據項目并非易事。據NewVantage Partners的一項研究，在接受調查的《財富》1000強企業中，95%的企業在過去五年里都開展了一個大數據項目，但只有48.4%的企業從這些項目中獲益。

以下是企業面臨的一些大數據挑戰：

管理數據的增長

顯然，要克服的最大的大數據挑戰就是存儲并分析所有信息。據“數字宇宙”的報告，IDC估計，全球計算機系統中存儲的信息量每兩年就會翻一番。大多數此類數據都是非結構化的，這意味著它們并沒有存儲在數據庫中。很難對照片、文檔、視頻和音頻文件進行分析。

為了克服這一挑戰，企業可以使用不同的技術來管理數據的不斷增長。在存儲方面，融合和超融合的基礎設施以及軟件定義的存儲都證明能夠簡化硬件的擴展。壓縮、重復數據刪除和分層等技術也減少了存儲大數據所需的空間和成本。在管理和分析方面，企業可以使用NoSQL、Hadoop、Spark等大數據分析軟件，以及商業智能軟件、人工智能和機器學習等工具來獲得所需的深度分析結果。

快速獲得深度分析結果

企業不只是想存儲他們所生成的大數據，他們更感興趣的是利用大數據來實現他們的目標。據NewVantage Partners的研究，大數據項目的主要目標是減少開支、實現數據驅動的文化、創新、加快部署新功能和服務，以及推出新產品和服務。盡管這些不同的目標使企業更具競爭力，但他們還需要獲得深度分析能力，并迅速加以利用。

為了幫助加快速度，企業使用了新一代的分析工具，能夠顯著減少生成報告所需的時間。他們在分析工具上投入大量資金，幫助他們實時獲得結果。這樣，他們就能對市場的發展盡快做出反應。

招聘大數據人才

為了能夠開發并管理產生深度分析結果的應用程序，企業需要具備大數據技能的專業人員。事實上，對大數據專家的需求急劇上升，企業提供的工資也水漲船高。

為了解決缺乏大數據人才的問題，企業有多種選擇。他們可以在招聘和留用方面增加預算，加大投入。其他可以考慮的選擇是培訓現有員工，讓他們學習和掌握大數據——從企業內部培養大數據人才。最后，很多企業開始轉向技術。他們購買專為沒有數據科學學位的專業人士而設計的自助分析解決方案或者機器學習軟件。這些工具可以幫助企業克服其大數據挑戰，甚至不用聘請合格的專家就能實現目標。

整合多元化大數據源

數據的多樣性使得整合成為大數據面臨的最大挑戰。事實上，數據來自不同的來源：業務應用程序、社交網絡、電子郵件、員工文檔，協調地組合所有這些數據，并使用它們來創建報告，對于那些高級用戶來說，還要實現數據驅動的深度分析和業務決策支持解決方案——這一切可能非常困難。為了解決這一問題，不同的供應商提供了旨在簡化流程的整合工具。然而，很多企業承認他們還沒有克服這一挑戰。

數據驗證

數據驗證也是大數據面臨的一個主要挑戰。很多企業從不同的系統接收類似的數據，而這些數據有時是相互矛盾的。例如，電子商務系統的日常銷售是某種水平，而企業資源規劃（ERP）系統的銷售水平可能稍有不同。

為了協調這些數據，企業必須使用數據治理（可以在這里為SEO做內部鏈接）。數據治理也帶來了各種挑戰，事實上，據AtScale 2016年的“大數據成熟度調查”，數據治理是受訪者所關注的增長最快的領域。

解決數據治理挑戰絕非易事。這既需要技術，也需要政策改革。而有一些嘗試則包括了分配一組人員來監視數據、定義規則和過程。另一種選擇是投資于數據管理解決方案，目的是針對大數據準確性和存儲等問題而簡化數據治理。

保護大數據

安全也是大數據領域的一個重要問題。黑客們對業務數據很感興趣。然而，據IDG的一項研究，只有39%的企業對他們的數據存儲庫加強了安全措施。一些最流行的加強措施包括訪問和身份控制、數據加密和數據隔離等。

組織結構上的阻力

大數據除了面臨技術挑戰，員工方面也有挑戰。想要啟動大數據項目的企業所面臨的主要挑戰中，三個主要問題包括組織協調性不足、管理者不能理解、理解不夠，還有業務上的阻力等。

因此，為了解決這些挑戰，有必要說服業務領導們相信大數據是有用的，并任命一名首席數據官。

同樣重要的是，高管、董事和經理們應該清楚地知道大數據帶來的機遇，只有這樣他們才能克服各種挑戰，在不斷增長的以數據為中心的經濟環境中保持競爭力。

Craig Brown博士一名作家、創新和技術領域的領導者、執行導師和資深高管，在數據驅動和以數據為中心的能力方面有豐富的專業知識。