BI廠商日漸巨無霸化,與全球范圍內各行業的數據增長不無關系,也顯示出如今企業級數據倉庫規模、強大功能和復雜性。
經過2007年野蠻瓜分式并購,BI(Business intelligence,商業智能)市場上的前三名突然全部消失—Hyperion被甲骨文以33億美元收購,BO以70億美元被SAP收歸麾下,IBM用50億美元并購Cognos。
如今,四大綜合性BI提供商—IBM、SAP、微軟、甲骨文正在成為市場主流,他們更愿意提供端到端的綜合解決方案,甚至提供整合BI功能的業務軟件或者管理軟件,使得BI市場看來更像是這四大巨頭的天下。環顧四周,專業化BI市場好像環境劇變后的白堊紀,僅存數據倉庫廠商Teradata及以前端數據挖掘分析見長的SAS軟件。

因此,今年在拉斯維加斯召開的Teradata合作伙伴大會上,碩果僅存的兩大專業廠商宣布結成戰略合作伙伴,并推出創新合作計劃也就不足為奇了。今年早些時候,兩家公司曾啟動在Teradata環境中提供“數據庫內”(in-database)智能分析功能的第一階段;而此次名為“優勢計劃”(Advantage Program) 的戰略合作包含新的產品以及套裝式服務,涵蓋分析(Analytics)、防洗錢(Anti-Money Laundering)、信用風險(Credit Risk)、企業智能(Enterprise Intelligence)、優化服務(Optimization Services)等內容,客戶可以根據分析結果迅速做出業務決策并采取行動。
龐大:PB級用戶
BI廠商日漸巨無霸化,與全球范圍內各行業的數據增長不無關系,也顯示出如今企業級數據倉庫規模、強大功能和復雜性。目前Teradata有五家客戶擁有超過1PB(1024TB)的超海量數據倉庫環境,每天處理的數據量達數十或數百TB。
這五家PB級用戶包括一家Teradata數據倉庫環境擁有5PB數據的在線拍賣網站、一家數據量達到2.5PB的零售巨鱷、兩家數據量分別達到1.5PB和1.4PB的大型金融服務機構以及一家數據倉庫環境擁有1PB數據的制造型企業。此外,總共有35家Teradata客戶擁有超過100TB的數據,而這一數字仍在繼續增長。
“存儲成本的持續下降使得企業可以更加自由地憑借商業智能的決策分析獲得利潤。”Teradata首席營銷官Darryl McDonald表示,“零售商收集消費者信息和庫存數據進行客戶關系管理以及供應鏈優化;制造企業和運輸企業也收集更多有關供應鏈和物流的信息來進一步提高效率;金融機構很顯然則在醞釀規模更大的風險管理項目。通過分析網站點擊和交易成交量等海量數據來獲得運營和競爭優勢變得越來越切實可行了。”
但僅僅“存儲”PB級數據并不能幫助企業領先于競爭對手快速發展。“Teradata系統可以進行密集數據挖掘數字運算并生成數百個復雜報表,同時支持一萬名用戶的并發業務查詢,而所有這一切都基于同樣的數據,”McDonald自豪地說,“我們就是數據管理領域的瑞士軍刀。”
盡管eBay數據倉庫5PB級的數字令人印象深刻,但eBay架構及運營部高級主管Oliver Ratzesberger表示最重要的數字還是投資回報率(ROI),“智能分析已經自下而上、自上而下地滲透到了我們的DNA中,成本雖然昂貴但潛在的投資回報率卻也是很高的。”
McDonald表示:“許多新客戶可能是看中了Teradata巨大的數據容量,而大多數客戶則是為ROI所吸引,而大多數情況下這在短時間內就實現了。”例如,Teradata一家大型金融服務機構客戶在安裝數據倉庫僅四個月后就宣布其投資回報率達到了100%,而一年后這個數字則上升到了300%。
迅猛:eBay速度
2.3億用戶,一億多個在線產品,每秒超過5000個產品搜索需求,eBay的平臺要應對極大的交易量需求。在Alexa統計中,eBay頁面訪問量居前10位,日頁面訪問量約10億,具有最大的網上交易系統,其數據量超過美國納斯達克股市處理量,同時維護并保證網站運營無故障時間高于99.94%。
每秒5500個產品搜索,一天24小時,相隔萬里,不同膚色的人們在eBay網上體驗著買賣的樂趣。按動鼠標的時候沒有多少人知道支撐這一動作的是世界上最好的數據倉庫,最穩定的交易平臺。
作為全球最大的在線交易網站,eBay上馬了基于Teradata平臺、容量達5PB的全球最大商用企業級數據倉庫(EDW)。通過Teradata平臺業界知名的海量并行處理能力,eBay將數據集市的便捷和易用與集中式數據倉庫的優勢結合在了一起。這為eBay提供了一個先進的自助服務模型,使其用戶可以利用虛擬系統來滿足個人或部門的需求,而成本卻低于建立任一數據集市或部署多級系統所需的費用。
對于eBay現有的2.3億個注冊客戶,他們的體驗感受會直接影響到后端的研發,前端“快速響應,良好體驗”的需求對研發工作提出了挑戰,因此速度與質量成為研發管理的首要問題。現在,50多個eBay業務部門可在任意時間運行EDW上的測試環境,測試的有效期可達90天。使用分析服務來快速構建原型使eBay團隊能夠通過實驗迅速檢驗其設想和快速學習,從而縮短上市時間。eBay架構及運營部高級主管Oliver Ratzesberger指出:“因為企業級數據倉庫中已經儲存了主要數據,所以我們無需任何成本就能為業務部門提供原型環境。這有助于eBay維持自身的競爭優勢。”
“企業數據量在不斷增加而商業周期卻在逐漸縮短,這種現象在電子商務領域尤為明顯。因此,企業各個部門都越來越希望能夠即時獲取信息,因而他們也就迫切需要規模更大的系統。當其他企業還在討論PB級規模的系統或宣稱其實驗室測試系統創下所謂的PB級記錄時,Teradata已經在真實的商業世界與eBay及其他Teradata PB級數據倉庫用戶一起部署這樣的系統了。”McDonald表示。
野心:云計算腳步
云計算的出現帶給BI行業新的啟示:BI也可以作為網絡服務提供給用戶,BI的網絡化和服務化將成為這一行業新的趨勢。eBay公司過去在公司內部運行巨大的數據倉庫來進行內部BI分析,后來與Teradata合作將這一業務拿到公司防火墻之外,將其作為一項服務服務提供給感興趣的公司。
這一領域的先行者是Amazon網絡服務,這些服務中最有名的是Elastic Compute Cloud(EC2)應用托管服務和其S3存儲托管服務。
由于基于Teradata的數據倉庫能夠在僅僅5秒鐘里提供5TB數據,eBay利用這種速度使業務分析師能夠構建他們自己的“虛擬”數據集市。這個虛擬數據集市為eBay中100個小組中的大約5000名業務分析師所使用。Ratzesberger說,這些數據集市復制中央數據倉庫,但是在沒有中央IT人員的幫助下創建的。
業務分析師利用標準Web和分析工具(如那些來自Business Objects、SAS和Microstrategy的工具甚至Microsoft的Excel)來創建他們自己的迷你數據倉庫。這使分析師可以迅速創建和測試他們認為自己需要的IT分析的原型。90天后,成功的原型交給數據倉庫管理員,后者只需經過很小的改寫將它們轉換到生產數據集市中。Ratzesberger說:“我們將建設數據集市所需時間至少減少了一半,在一些情況下,甚至減少3至5倍。”
Ratzesberger承認將它的數據倉庫變為一種可以為外部訂戶公司使用的公用工具,一個問題是設法最大限度地減少客戶將大量的數據加載到eBay的數據倉庫所需時間。
他說,“如果你將分析功能作為一個平臺產品組合在一起,并且數據生成部分緊靠著平臺”,這個問題就可以解決。大部分自助BI功能已經內置到它運行的Teradata數據倉庫軟件中。