大數據推動IT基礎架構的創新

大數據改變了人們對于數據結果的認識，拋卻了對數據精確的要求，而更注重結果的“明確”和“準確”。比如，很多電商或商業企業利用大數據來優化自己的庫存，在構建這個應用的同時，必須把商品需求彈性的問題考慮進去，如果想很有效地控制成本，還需要考慮產品的供給彈性，否則很難做到“明確”和“準確”。為實現這一目的，要求底層的IT基礎架構必須有足夠的彈性，而且足夠靈活，可以支持應用的創新。新一代的基礎架構應該由商業環境的復雜性和大數據使用者對于創新應用的不斷探索共同決定的。

大數據考驗底層架構

現實的市場環境是競爭激烈的，更是多變的，以Hadoop為代表的非結構化數據技術的誕生更是加劇了這種競爭。商業行為中每一個細小的變化對應的都是一次數據的補充、一次算法的調整，結果造成了一次數據流的加速，而提升數據的利用率也是提升商業價值最有效的方法。而從另一個角度來說，很多商業企業更熱衷于用增加有創造性的大數據應用來強調自己的競爭優勢，眾所周知的亞馬遜產品推薦就是相當典型的一個例子。

面對大數據時代，大數據的使用者通常會選擇在追求數據的多樣性的同時，采用有創造性的算法，來實現對于多來源、多格式數據的價值提取。這種以“數據為核心”的思考方式，決定了將運算推到數據方的產業技術趨勢。

大數據基礎架構必須學會“海納百川”。在大數據的來源上，大多使用的是廣泛存在于我們周圍的數據，比如來自互聯網、社交網絡等移動應用的數據，或是企業在商業活動過程中積累下來的業務數據，就連抽樣數據痛恨不已的錯誤數據，大數據也照單全收！這個并不難理解，從唯物主義角度講，數據沒有絕對的完整，更沒有絕對的完美，錯誤數據也是數據的一部分。所以對于一個大數據基礎架構來說，必須保證各種數據都能夠存儲下來，并且隨時以供調用，而在很多有創意的應用中，這一點甚至會比架構的數據存儲量更重要，因為在大多數情況下，考慮的因素越多，結果就會更加“準確”。

同時大數據基礎架構應該是性能卓越、身手敏捷的，無論多么有想法的應用都需要通過算法實現，都需要有一個能令自己大展身手的平臺，在復雜數據融合復用的前提下，更加強調了大數據基礎架構對于數據的適應能力和數據利用的效率。

合適才是最好

對于我們來說，大數據的應用可以說“只有想不到，沒有做不到”，再加上復雜多樣的數據，注定大數據年代沒有通用的底層平臺產品，而只有符合創新應用需求和“全數據”處理的大數據基礎架構。

且不說應用算法，就在Hadoop族群本身也有很挑剔的角色：如果和Hive配合的計算密度不夠，會造成集群大面積宕機；Hbase能輕而易舉地拿下任何格式的數據，存再多都沒問題，但面對表單交互運算卻無能為力；而storm＼Spark、內存數據庫，種種大數據處理技術層出不窮，從基礎平臺、分析、存儲到事實運算等不同層面發揮著自己的優勢，在大數據這個大話題里，平臺與應用之間沒有對錯，只有是否合適、是否相得益彰，每一個大數據的使用者都需要視自己應用的需求，選擇適合自己的基礎架構。

另外，由于以Hadoop為代表的大數據處理技術，大多來自互聯網，在對技術優化的同時，卻在一定程度上欠缺了企業用戶必不可少的安全、穩定和可管理性，在一方面我們還有很長的路要走。

面對數據的不斷增長、應用的不斷翻新，大數據不斷挑戰我們創造力的極限，在這個產業生態系統中，底層基礎平臺如何不斷刷新創新應用和海量數據的價值，也一定將會是相當重要的環節之一。