曙光“方舟”破解大數據三大難題

郭濤

大數據不是少數專業技術人員的專利，而是一個大眾化的工具，大數據越向前發展，這種趨勢會越明顯。以曙光方舟大數據融合分析平臺為開端，曙光也在順潮流而行。

12月9日，曙光正式推出方舟大數據融合分析平臺，“方舟”這個名字讓記者首先聯想到的是“水能載舟亦能覆舟”這句名言。在這里，“舟”當然是指方舟大數據融合分析平臺，而“水”則是指用戶。用戶的海量數據采集、分析和展現需要一個成熟、高效、簡單易用的大數據平臺；反過來，一個端到端的大數據分析平臺可以更有效地幫助用戶從數據里“淘金”，實現價值創新。

像許多新興的技術一樣，大數據一開始也是由概念驅動。經過最近幾年的市場培育，大數據在落地的過程中，其核心任務已經從大數據基礎平臺的建設轉向大數據的分析、展現和深度加工，畢竟從數據中獲取價值才是大數據的最終目標。曙光的大數據產品創新之路也順應了這一變化趨勢，從以前主要提供大數據基礎設施，包括服務器、存儲、大數據一體機等，逐漸向大數據的軟件、分析平臺延伸。

從硬件到軟件，從大數據基礎設施到大數據分析，說是“跨界”也好，自然延伸也罷，總之，大數據的落地必須更加貼近應用、貼近用戶。中科曙光總裁助理、江蘇曙光信息技術有限公司總裁王海榮回憶說：“在開發方舟大數據融合分析平臺之前，我們曾經走訪過大量用戶，發現大數據落地的最大障礙是技術和應用門檻高，大數據工具本身晦澀難懂。如果有一款大數據工具能夠降低使用成本，讓用戶像使用Windows應用程序一樣簡單那該多好。方舟大數據融合分析平臺應運而生。”

大數據應用到底有多難？

舉個例子，如果你的筆記本電腦的存儲空間幾乎耗盡，你是選擇對數據進行整理，刪除冗余數據，還是用移動硬盤將數據進行轉移，甚至購買一臺新的電腦？可能很多人寧愿采購新的硬件設備，也不想刪除長年積累的數據。這其實就是大數據興起的一個原因。巨量的數據、數據類型多樣化、數據價值密度低、處理效率差……所以人們更迫切需要一個高效的大數據工具。

但是，一開始展現在用戶面前的都是專業的“高大上”的大數據工具和平臺，比如Hadoop。用戶“垂涎”Hadoop的強大，但是又“畏懼”Hadoop的高技術門檻。怎么辦？一大堆Hadoop的商業發行版充斥市場，一些提供Hadoop專業實施服務的企業開始冒頭，很多人干脆將Hadoop與大數據劃上了等號。慢慢地，當人們對大數據有了更深入的了解后，才發現Hadoop并不是大數據的全部，而只是分布式數據處理的一個技術平臺。還是王海榮說的對，用戶需要的是一款涵蓋大數據全生態系統的標準化大數據工具。方舟大數據融合分析平臺也正是從這一點切入的，它為用戶提供了大數據融合、分析的一站式解決方案。

隨著用戶對大數據應用興趣點的轉移（或者說用戶需求的變化），市場上的大數據產品和解決方案的熱點也在發生變化。從Hadoop商業發行版到大數據操作系統，再到今天一站式的大數據平臺，大家都在朝著“大而全”的方向發展，從底層的分布式數據處理到分布式資源管理，再到上層的數據采集、數據挖掘，形成了一條龍的解決方案和服務。而這樣做的唯一目的是，將大數據的前后臺技術進行封裝，對用戶屏蔽大數據的技術難度，用戶只需要通過鼠標的拖拽，就可以輕松操作大數據工具，獲得自己想要的大數據分析結果。

以前，企業中只有既懂業務，又會建模的數據科學家才有能力操作大數據工具，而現在人人都可以成為數據科學家。這里的“人人”包括企業中最普通的、沒有受過IT專業訓練的人員，比如銷售人員、文秘等。只有達到了這樣的效果，才能真正展示出大數據的強大和價值。

王海榮在介紹方舟大數據融合分析平臺時也反復強調，曙光開發這一產品的主要目的也是為了降低大數據的應用成本和使用難度，而方舟大數據融合分析平臺所具有的自動建模、高度的可視化等功能，使得即使是非專業人員也能輕松上手。

國外知名的大數據廠商，比如Tableau、Qlik，以及國內的大數據廠商永洪科技等，也都把實現“人人都是數據科學家”作為努力的方向。大數據不是少數專業技術人員的專利，而是一個大眾化的工具，大數據越向前發展，這種趨勢會越明顯。以方舟大數據融合分析平臺為開端，曙光也在順潮流而行。

一站式到底有多難？

無獨有偶，就在曙光推出方舟大數據融合分析平臺前幾天，永洪科技剛剛發布了最新一代產品Yonghong Z-Suite V7.0，其最大賣點也是通過一站式平臺實現完整的大數據體驗。

一站式、端到端、完整的應用體驗，雖然大數據廠商都表示在朝這個方向努力，但是每個廠商的能力不同，所能達到的深度和廣度也不盡相同。將各種硬件或軟件簡單地疊加在一起，其實并不難，難的是降低用戶學習和使用大數據分析平臺的成本。

聽了江蘇曙光信息技術有限公司大數據研發中心項目經理趙本杰的介紹，記者最突出的感覺是方舟大數據融合分析平臺沒有辜負“一站式”這個稱謂。

方舟大數據融合分析平臺提供從數據匯聚、數據管理、數據標準化管控到數據建模分析、數據挖掘、數據可視化的全套支持，可有效解決各行業在從GB級到PB級數據分析方面遇到的各種運維管理難題。該平臺還通過用戶友好的管理界面，向用戶提供數據同步、集群管理、任務調度、監控和預警等多方面的一站式支持。趙本杰表示：“簡言之，方舟大數據融合分析平臺就是一整套支持從數據匯集到數據分析、分析建模的全生態系統。”

中科曙光大數據研發經理郭慶補充說：“在方舟大數據融合分析平臺上，各行各業的人員都可以通過可視化界面自行實現對異構生產環境中的結構化和非結構化數據的匯聚整合、數據共享、交互式檢索、建模分析、數據挖掘、可視化展示，以及對數據進行全面的管理和任務調度，從而獲得一站式大數據功能體驗。”

方舟大數據融合分析平臺為客戶提供了廣泛的計算、存儲、分析、展示和管理能力，客戶無需切換平臺即可完成從數據融合到數據共享、構建分析模型、結果可視化展示的過程，并提供豐富的組件庫和環境，支持大數據全生命周期的方法論和最佳實踐。

借助方舟大數據融合分析平臺，曙光的最終目標是建立一體化的大數據分析生態體系，從而實現大數據可視化應用的快速發布，更加具有針對性和時效性，同時基于任務流調度機制也使得數據分析更為便捷。總之，通過一體化大數據資源的提供，可以大幅提升大數據分析應用創建的靈活度，降低使用難度。

數據與業務的融合難在哪？

方舟大數據融合分析平臺在正式發布前就已經在多個行業得到了成功部署和應用，在江蘇省通信管理局大數據分析平臺、徐州公安智能警務大數據平臺、鎮江國稅大數據融合分析平臺、泰州市檢察院大數據融合分析平臺中都可見曙光方舟大數據融合分析平臺的身影。公安、醫療、軍工、電力、政務、國企等將是方舟大數據融合分析平臺重點突破的行業。

舉例來說，將方舟大數據融合分析平臺用于警務大數據處理，通過展示目標人詳細信息和多維度分析，可以實現同案人員的推送、隱性涉毒人員的挖掘，另外還可以通過時間序列模型、案件增長趨勢，建立時間序列等深度分析模型，進行犯罪趨勢的預測。據趙本杰介紹，基于方舟大數據融合分析平臺構建的開封市公安局警務深度應用平臺對套牌車進行分析，準確率超過70%。

王海榮概括說，方舟大數據融合分析平臺具有兩大突出特色：第一，實現了數據與業務的融合；第二，更加貼近用戶的需求。方舟大數據融合分析平臺將業務分析需求與易用分析工具緊密結合，大大縮短了數據價值變現的周期。

其實，對于用戶來說，大數據不僅僅是一種工具，用戶要在應用大數據的過程中，慢慢將大數據變成自己的一種能力，一種數字化運營的能力，這也是未來數字化企業所必須具備的一種能力。

要實現這一目標，就要將大數據與企業自身的業務需求緊緊聯系在一起。為此，方舟大數據融合分析平臺打造了“數據集市”和“應用集市”的概念，目的是將各業務系統的數據、匯聚的數據、經過清洗建模的數據，以及創建的可視化應用推送至統一對外的“集市”中，實現數據和應用的全行業共享。

“方舟大數據融合分析平臺還可通過將數據、建模工具、可視化模板對基層業務人員開放，激發用戶對數據匯聚和數據建模的熱情，讓數據和業務真正融合。”郭慶表示。

政府已經明確提出，要以推行電子政務、建設新型智慧城市等為抓手，以數據集中和共享為途徑，建設全國一體化的國家大數據中心，推進技術融合、業務融合、數據融合。方舟大數據融合分析平臺的推出可謂恰逢其時。以曙光為代表的大數據“中國隊”已經整裝待發。