大數(shù)據(jù)項目工具選擇

引言： 數(shù)據(jù)已成為單位的重要元素，市面上有多種不同的軟件模式，，現(xiàn)在開展大數(shù)據(jù)分析項目時，開發(fā)者、架構(gòu)師及數(shù)據(jù)科學(xué)家要在眾多軟件中進行選型，尋找合適的工具對提高項目成功率及避免落入常見陷阱至關(guān)重要。本文為在大數(shù)據(jù)分析項目中進行產(chǎn)品選型的五個建議。

從簡單的小規(guī)模起步

企業(yè)構(gòu)建數(shù)據(jù)分析項目常見的最大錯誤往往是貪大求全。特別是如果項目是從上往下推，執(zhí)行團隊很有可能會被要求構(gòu)建一套既沒有明確成效卻又十分復(fù)雜的解決方案，造成項目成本高昂且工期很長。企業(yè)不如從規(guī)模較小的項目起步，讓決策者很快可以看到成效，提升他們對同類項目的信心。利用現(xiàn)代化開源技術(shù)，企業(yè)不但不用作大量的前期投資，更可以讓開發(fā)者迅速投入工作，在幾天或幾周內(nèi)就能構(gòu)建出所需的應(yīng)用程序或是原型。

及早考慮可擴展性

即使只是構(gòu)建一個框架，也應(yīng)盡早測試其可擴展性。很多項目之所以失敗，全因應(yīng)用程序在構(gòu)建時并沒有測試其擴展性，也可能是因為其所選技術(shù)并不是為處理大數(shù)據(jù)而設(shè)計的。確保性能測試不是事后的事。先預(yù)計在這段時間內(nèi)將會產(chǎn)生多少數(shù)據(jù)，并進行測試和評估，構(gòu)建合適的架構(gòu)，同時確保當數(shù)據(jù)量增加并需要橫向擴展時，也不會影響業(yè)務(wù)。

數(shù)據(jù)的實時性很重要

時至今日，任何不能實時響應(yīng)的事情我們都不能接受。企業(yè)要確保所用的軟件不但能處理大量數(shù)據(jù)，還要有能力實時響應(yīng)這些請求。建議使用具備聚和與地理位置分析功能且能與實時搜索相結(jié)合的數(shù)據(jù)分析軟件。

采用靈活的數(shù)據(jù)模式

現(xiàn)今的系統(tǒng)主要包括結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。但不要被那些為結(jié)構(gòu)化圖表及數(shù)據(jù)而設(shè)計的關(guān)系型數(shù)據(jù)庫所限制。這類數(shù)據(jù)庫很難被加上索引，解析、搜索及分析這些日積月累的大量數(shù)據(jù)往往很難。企業(yè)應(yīng)采用具備通用數(shù)據(jù)結(jié)構(gòu)的軟件。很多用于數(shù)據(jù)分析的軟件包括NoSQL數(shù)據(jù)庫及Elasticsearch等均采用JSON作為數(shù)據(jù)格式，支持文字、數(shù)字、字符串、布爾值、數(shù)組和哈希等結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)類型。

挑選開發(fā)者易于使用的工具

現(xiàn)今數(shù)據(jù)流量之多讓企業(yè)或開發(fā)者在應(yīng)對大數(shù)據(jù)分析項目時，很難去使用不包含開放API接口的軟件。API接口被用作數(shù)據(jù)錄入、索引及數(shù)據(jù)分析，這些數(shù)據(jù)一般來自不同的數(shù)據(jù)源。企業(yè)應(yīng)提供給開發(fā)者一套擁有豐富、開放及資料完整的應(yīng)用程序API接口，讓他們更快速有效地解決問題。久而久之，當項目壯大時，開發(fā)者亦能不斷創(chuàng)新及改進這套應(yīng)用程序。