Rohan+Pearce著+Charles譯

對于在ASX上市的保險集團IAG而言,采用開源軟件和開源方法進行開發和創新將在其未來發展中扮演越來越重要的角色。
IAG最近轉向開源OpenStack云平臺,幫助整合了20多個數據倉庫,這一過程節省了數百萬美元的成本。
該公司在澳大利亞、新西蘭、泰國、越南和印度尼西亞都有業務,前段時間開展了一個宏偉的項目,旨在整合其核心保單和索賠平臺,把32個系統遷移到兩個系統中。
據該公司的數據工程和數據運營負責人Eddie Satterly講,在OpenStack推出之前,IAG自2000年成立之后,經過一系列的收購,造成了這一跨國保險公司有23種不同數據倉庫的局面,而且這些數據倉庫采用了10種不同的技術。
Satterly說:“一些倉庫是建立在IBM技術之上的,有些是Oracle,有些是Informix,有些則是MS SQL。”
情況“非常復雜”,需要加以簡化,以確保該保險公司能夠很好的使用其龐大的數據量。做出的決定是采用開源技術,著眼于利用社群驅動的創新,而不是通過商業軟件供應商或者完全自己去開發所有的一切。
Satterly說:“在此基礎上,我們開始研究他們有什么,有什么樣的資產,經過驗證的工作負載是什么,我們想要遷移的工作負載的基本情況怎樣——包括一些開源工具,例如,Apache Kafka、Solr和Cassandra,以及Apache Storm,等等。”
他還補充道:“數據和分析部門希望有一半平臺使用大量的開源產品,另一半真的是圍繞傳統的數據倉庫,使用現有的在用Greenplum環境。”
IAG測試比較了幾個不同平臺的性能,以支持數據倉庫的整合,包括SAN和vSAN支持的SAN、VMware環境中的直接計算,還采用了兩種不同版本的OpenStack:HP Enterprise的Helion和RedHat的OpenStack發行版。
Satterly說:“我們在所有環境中對工作負載進行了實際測試,以發現哪些最適合我們,在數據移動的所有過程中,哪些最擅長處理我們非常高的IO工作負載。”
新的私有云是基于Red Hat OpenStack平臺,由Dell R730xd機架服務器和EMC ScaleIO提供支持。Satterly說,這一設置為IAG的數據工作負載提供了“極好的性能”。
這一舉措在財務上也得到了回報:上一財年,IAG通過把數據工作負載遷移到OpenStack,硬件和軟件成本降低了270萬美元。
Satterly說:“我們能夠取消一個價值100萬美元的SAN,轉而采用一個價值2萬美元的超融合節點。最初是一個雙機架系統——而我們現在有6個機架,我們已經把大部分數據工作負載遷移到了它上面,還遷移了一些對于處理工作非常重要的核心工作負載。”
該公司已經整合到了11個數據倉庫,最終目標只有3個。IAG還縮短了部署時間,該公司最近將交付新數據服務的時間從3個月減少到5天。
IAG最初于2016年6月開始使用Helion測試OpenStack。Satterly說:“大概在10月份左右開始使用Red Hat套件。”今年1月,該保險公司采用OpenStack開始了現場工作。
他說:“這是一個為期半年的試用過程,采用了不同的配置,不同的工作負載,以及不同的后端存儲,真的是要找到最終指標,使我們更加敏捷,能夠快速開發新東西,測試新東西,實現的IO能夠滿足在我們環境中經常要移動40到80TB數據的要求。”
OpenStack環境被用作IAG原型,采用了一系列新技術進行開發,包括利用Solr和Cassandra為客戶提供單一視圖。
Satterly說:“這樣,我們能夠開發新應用,嘗試新東西,現在,我們可以在IAG內部開發一些開源技術,并在外部共享這些技術。”
不久前,IAG開源了數據管道:一款基于Python的應用程序,能夠把數據從源數據庫復制到目標數據庫,以幫助實現數據的實時分析,同時對原始數據庫的影響最小。
一些保險相關的核心工具現在運行在IAG的OpenStack上,該公司有可能將其核心索賠平臺的部分工作遷移到該平臺上。Satterly說,不過,該保險公司采取了謹慎的態度。
他說:“在這方面,我們肯定要努力進行測試,看看他們是否能做到這一點,至少從產品準備投產前開始,直到最終的生產。”
Satterly補充說,使用OpenStack是打造“開源文化”大量工作中的一部分。在首席客戶官Julie Batch的領導下,目前已經在IAG客戶實驗室展開了這項工作,開發一種“內部源”方法,基于新興的開源功能快速進行原型設計,然后,在其上進行開發,最后再回到開源項目上。endprint