Rohan+Pearce著+Charles譯

對(duì)于在ASX上市的保險(xiǎn)集團(tuán)IAG而言，采用開(kāi)源軟件和開(kāi)源方法進(jìn)行開(kāi)發(fā)和創(chuàng)新將在其未來(lái)發(fā)展中扮演越來(lái)越重要的角色。

IAG最近轉(zhuǎn)向開(kāi)源OpenStack云平臺(tái)，幫助整合了20多個(gè)數(shù)據(jù)倉(cāng)庫(kù)，這一過(guò)程節(jié)省了數(shù)百萬(wàn)美元的成本。

該公司在澳大利亞、新西蘭、泰國(guó)、越南和印度尼西亞都有業(yè)務(wù)，前段時(shí)間開(kāi)展了一個(gè)宏偉的項(xiàng)目，旨在整合其核心保單和索賠平臺(tái)，把32個(gè)系統(tǒng)遷移到兩個(gè)系統(tǒng)中。

據(jù)該公司的數(shù)據(jù)工程和數(shù)據(jù)運(yùn)營(yíng)負(fù)責(zé)人Eddie Satterly講，在OpenStack推出之前，IAG自2000年成立之后，經(jīng)過(guò)一系列的收購(gòu)，造成了這一跨國(guó)保險(xiǎn)公司有23種不同數(shù)據(jù)倉(cāng)庫(kù)的局面，而且這些數(shù)據(jù)倉(cāng)庫(kù)采用了10種不同的技術(shù)。

Satterly說(shuō)：“一些倉(cāng)庫(kù)是建立在IBM技術(shù)之上的，有些是Oracle，有些是Informix，有些則是MS SQL?！?/p>

情況“非常復(fù)雜”，需要加以簡(jiǎn)化，以確保該保險(xiǎn)公司能夠很好的使用其龐大的數(shù)據(jù)量。做出的決定是采用開(kāi)源技術(shù)，著眼于利用社群驅(qū)動(dòng)的創(chuàng)新，而不是通過(guò)商業(yè)軟件供應(yīng)商或者完全自己去開(kāi)發(fā)所有的一切。

Satterly說(shuō)：“在此基礎(chǔ)上，我們開(kāi)始研究他們有什么，有什么樣的資產(chǎn)，經(jīng)過(guò)驗(yàn)證的工作負(fù)載是什么，我們想要遷移的工作負(fù)載的基本情況怎樣——包括一些開(kāi)源工具，例如，Apache Kafka、Solr和Cassandra，以及Apache Storm，等等。”

他還補(bǔ)充道：“數(shù)據(jù)和分析部門希望有一半平臺(tái)使用大量的開(kāi)源產(chǎn)品，另一半真的是圍繞傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)，使用現(xiàn)有的在用Greenplum環(huán)境?！?/p>

IAG測(cè)試比較了幾個(gè)不同平臺(tái)的性能，以支持?jǐn)?shù)據(jù)倉(cāng)庫(kù)的整合，包括SAN和vSAN支持的SAN、VMware環(huán)境中的直接計(jì)算，還采用了兩種不同版本的OpenStack：HP Enterprise的Helion和RedHat的OpenStack發(fā)行版。

Satterly說(shuō)：“我們?cè)谒协h(huán)境中對(duì)工作負(fù)載進(jìn)行了實(shí)際測(cè)試，以發(fā)現(xiàn)哪些最適合我們，在數(shù)據(jù)移動(dòng)的所有過(guò)程中，哪些最擅長(zhǎng)處理我們非常高的IO工作負(fù)載?！?/p>

新的私有云是基于Red Hat OpenStack平臺(tái)，由Dell R730xd機(jī)架服務(wù)器和EMC ScaleIO提供支持。Satterly說(shuō)，這一設(shè)置為IAG的數(shù)據(jù)工作負(fù)載提供了“極好的性能”。

這一舉措在財(cái)務(wù)上也得到了回報(bào)：上一財(cái)年，IAG通過(guò)把數(shù)據(jù)工作負(fù)載遷移到OpenStack，硬件和軟件成本降低了270萬(wàn)美元。

Satterly說(shuō)：“我們能夠取消一個(gè)價(jià)值100萬(wàn)美元的SAN，轉(zhuǎn)而采用一個(gè)價(jià)值2萬(wàn)美元的超融合節(jié)點(diǎn)。最初是一個(gè)雙機(jī)架系統(tǒng)——而我們現(xiàn)在有6個(gè)機(jī)架，我們已經(jīng)把大部分?jǐn)?shù)據(jù)工作負(fù)載遷移到了它上面，還遷移了一些對(duì)于處理工作非常重要的核心工作負(fù)載?！?/p>

該公司已經(jīng)整合到了11個(gè)數(shù)據(jù)倉(cāng)庫(kù)，最終目標(biāo)只有3個(gè)。IAG還縮短了部署時(shí)間，該公司最近將交付新數(shù)據(jù)服務(wù)的時(shí)間從3個(gè)月減少到5天。

IAG最初于2016年6月開(kāi)始使用Helion測(cè)試OpenStack。Satterly說(shuō)：“大概在10月份左右開(kāi)始使用Red Hat套件?！苯衲?月，該保險(xiǎn)公司采用OpenStack開(kāi)始了現(xiàn)場(chǎng)工作。

他說(shuō)：“這是一個(gè)為期半年的試用過(guò)程，采用了不同的配置，不同的工作負(fù)載，以及不同的后端存儲(chǔ)，真的是要找到最終指標(biāo)，使我們更加敏捷，能夠快速開(kāi)發(fā)新東西，測(cè)試新東西，實(shí)現(xiàn)的IO能夠滿足在我們環(huán)境中經(jīng)常要移動(dòng)40到80TB數(shù)據(jù)的要求?！?/p>

OpenStack環(huán)境被用作IAG原型，采用了一系列新技術(shù)進(jìn)行開(kāi)發(fā)，包括利用Solr和Cassandra為客戶提供單一視圖。

Satterly說(shuō)：“這樣，我們能夠開(kāi)發(fā)新應(yīng)用，嘗試新東西，現(xiàn)在，我們可以在IAG內(nèi)部開(kāi)發(fā)一些開(kāi)源技術(shù)，并在外部共享這些技術(shù)?！?/p>

不久前，IAG開(kāi)源了數(shù)據(jù)管道：一款基于Python的應(yīng)用程序，能夠把數(shù)據(jù)從源數(shù)據(jù)庫(kù)復(fù)制到目標(biāo)數(shù)據(jù)庫(kù)，以幫助實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)分析，同時(shí)對(duì)原始數(shù)據(jù)庫(kù)的影響最小。

一些保險(xiǎn)相關(guān)的核心工具現(xiàn)在運(yùn)行在IAG的OpenStack上，該公司有可能將其核心索賠平臺(tái)的部分工作遷移到該平臺(tái)上。Satterly說(shuō)，不過(guò)，該保險(xiǎn)公司采取了謹(jǐn)慎的態(tài)度。

他說(shuō)：“在這方面，我們肯定要努力進(jìn)行測(cè)試，看看他們是否能做到這一點(diǎn)，至少?gòu)漠a(chǎn)品準(zhǔn)備投產(chǎn)前開(kāi)始，直到最終的生產(chǎn)。”

Satterly補(bǔ)充說(shuō)，使用OpenStack是打造“開(kāi)源文化”大量工作中的一部分。在首席客戶官Julie Batch的領(lǐng)導(dǎo)下，目前已經(jīng)在IAG客戶實(shí)驗(yàn)室展開(kāi)了這項(xiàng)工作，開(kāi)發(fā)一種“內(nèi)部源”方法，基于新興的開(kāi)源功能快速進(jìn)行原型設(shè)計(jì)，然后，在其上進(jìn)行開(kāi)發(fā)，最后再回到開(kāi)源項(xiàng)目上。endprint