Hadoop一體機降低大數據門檻

近年來，有關大數據的話題逐漸增多。最大限度挖掘大數據中的有價值的信息已經成為眾多企業的共同需求，特別是在互聯網、電信、銀行、保險等信息化水平較高的企業，這一需求表現得尤為迫切。響應市場的需求，廠商們推出了各種各樣的大數據解決方案，而一體化的解決方案在其中獨樹一幟，并因其部署簡單、上線快而受到用戶歡迎。

日前，來自中國臺灣的精誠集團在京發布了Hadoop一體機產品Etu(Etu 的命名是直譯中文“意圖“的讀音，品牌中文即為”知意圖”)。Etu是一款將軟件與硬件集成并優化的端到端一站式解決方案產品，能夠幫助用戶從大數據中提取有價值的信息，提升用戶在商業環節中的價值。這是繼Oracle推出一體化大數據機之后的又一款一體機產品。

“大數據需求很普遍，比如網頁瀏覽數據就是一種典型的大數據，其中包含大量的用戶行為信息，處理起來很不容易。同樣，電信企業要進行IP地址溯源等業務分析也需要用到大數據的相關技術，這也是一件費時費力的工作。”精誠運中心暨Etu負責人蔣居裕表示。

大數據處理之所以困難，是因為它有別于傳統關系型數據。數據量大（Volume）、速度生成快（Velocity）、數據類型多（Variety）、價值密度低（Value）是大數據的4大特點，即“4V”。尤為值得一提的是，大數據雖然量大，但與關系型數據相比，其同等數據量的經濟價值要小得多，如果還像傳統數據那樣投入就得不償失。

“大數據并不適合用傳統數據處理技術進行存儲和分析，因而我們需要一種新的技術，而Hadoop正是這樣一種數據處理技術。”Hadoop China發起人、中科院計算所查禮博士表示。據悉，Hadoop是一種開源軟件架構，能夠自由部署在x86平臺上，其獨特的分布式和可擴展性都非常適合大數據的處理。這幾年Hadoop市場發展迅猛，且出現很多開源版本，如Cloudera公司的Distribution Including Apache Hadoop是其中頗有影響力的一個。

然而，作為一種新型架構，Hadoop的技術門檻較高，從部署到數據分析處理，以及價值挖掘都有很高的技術含量，這也往往令實力一般的企業對其望而卻步，并在一定程度上妨礙了Hadoop的普及和推廣，而一體化Hadoop設備有望降低其中的技術門檻。實踐證明，軟硬一體化是一種非常好的軟件部署和應用方式。

據蔣居平介紹，Etu一體機由主節點和工作節點組成。在這種計算和存儲一體的設備中，預裝了操作系統和Hadoop的相關支持軟件，包括集群管理、服務管理和監控管理等。正是得益于這種一體化的設計和專業技術，使得Etu一體機能夠在10分鐘內部署100個節點。同時，運行在該設備中的Hadoop與運行在同類配置的硬件平臺上相比，性能提升4倍。而且，其內嵌的容錯機制以及備份技術使得用戶不必擔心數據丟失和適當程度的硬件故障。

“通過這種一體化的設備，企業可以快速部署并及時開展業務，設備的軟硬技術支持窗口實現了統一，可以迅速定位和排除故障。同時也可以輕松擴容，比如，在不停機的情況下最多可增加到2000個工作節點。通過這些技術可以確保用戶輕松降低總擁有成本，并迅速搭建支持各種復雜數據類型的大數據處理平臺。”蔣居裕總結說。