王永

“re：Invent，中文可以理解為重塑，是亞馬遜云科技一直以來(lái)堅(jiān)持的‘精神內(nèi)核’，將客戶需求作為技術(shù)重塑的源泉，賦能各個(gè)行業(yè)的業(yè)務(wù)創(chuàng)新同樣是亞馬遜云科技追求的目標(biāo)?！?亞馬遜云科技大中華區(qū)產(chǎn)品部總經(jīng)理陳曉建日前在re：Invent中國(guó)媒體溝通會(huì)上表示，今年是亞馬遜云科技第11年舉辦re：Invent，來(lái)自全球的5萬(wàn)多客戶和合作伙伴參加了在拉斯維加斯舉辦的線下盛會(huì)，超過(guò)30萬(wàn)人線上參會(huì)。

其中不乏寶馬集團(tuán)、拳頭游戲、納斯達(dá)克以及西門子等行業(yè)“翹楚”，同時(shí)，許多獨(dú)角獸和初創(chuàng)企業(yè)也都在使用亞馬遜云科技實(shí)現(xiàn)創(chuàng)新。Pitchbook的數(shù)據(jù)顯示，全球有超過(guò)1千家獨(dú)角獸，其中83%都在用亞馬遜云科技；Cloud 100榜單上超過(guò)90%的初創(chuàng)企業(yè)都將他們的業(yè)務(wù)放在亞馬遜云科技上運(yùn)營(yíng)。

那么，云是怎樣幫助大家在當(dāng)今不確定環(huán)境下保持探索的？亞馬遜云科技CEO Adam Selipsky認(rèn)為，通過(guò)思考和總結(jié)人類過(guò)去的探索方式，將為今天應(yīng)對(duì)不確定性提供寶貴的經(jīng)驗(yàn)和教訓(xùn)?！叭祟愒?jīng)探索過(guò)各種各樣的環(huán)境，有些浩瀚無(wú)垠，有些深不可測(cè)，有些充滿著極端的挑戰(zhàn)，但有些也充滿著無(wú)限可能。當(dāng)我們使用正確的工具，人類就可以自信地去戰(zhàn)勝各種環(huán)境的挑戰(zhàn)，不斷地發(fā)現(xiàn)新的可能性?！?/p>

如今，像星空一樣廣袤的數(shù)據(jù)“大爆炸”成為現(xiàn)實(shí)，分析師判斷：未來(lái)5年所產(chǎn)生的數(shù)據(jù)是整個(gè)數(shù)字時(shí)代所產(chǎn)生數(shù)據(jù)的重量?jī)杀哆€要多。如何去管理海量數(shù)據(jù)，挖掘數(shù)據(jù)的價(jià)值，對(duì)每個(gè)企業(yè)來(lái)說(shuō)既是挑戰(zhàn)，同樣也蘊(yùn)含無(wú)限的價(jià)值。

“雖然數(shù)據(jù)是整個(gè)應(yīng)用程序業(yè)務(wù)邏輯的核心，但處理數(shù)據(jù)非常棘手，這也是亞馬遜云科技一直致力于建設(shè)云原生的數(shù)據(jù)戰(zhàn)略的原因?！标悤越ㄕJ(rèn)為，亞馬遜云科技希望提供工具，讓客戶在整個(gè)數(shù)據(jù)全生命周期從存儲(chǔ)到最后的AI，每個(gè)環(huán)節(jié)都能幫助用戶把數(shù)據(jù)利益最大化，通過(guò)提供完整全面的數(shù)據(jù)解決方案，幫助客戶更安全、更高效的去挖掘數(shù)據(jù)價(jià)值。

也就是說(shuō)，亞馬遜云科技提供了一個(gè)端到端的數(shù)據(jù)戰(zhàn)略，幫助客戶從數(shù)據(jù)的攝入、存儲(chǔ)、查詢、分析，到可視化展現(xiàn)以及人工智能，在各個(gè)方面通過(guò)安全、合規(guī)的方式幫助客戶實(shí)現(xiàn)數(shù)據(jù)的共享和輸出。

在陳曉建看來(lái)，構(gòu)建云原生的數(shù)據(jù)戰(zhàn)略有三個(gè)關(guān)鍵因素：建立面向未來(lái)的云原生數(shù)據(jù)基礎(chǔ)設(shè)施；實(shí)現(xiàn)高效、跨組織的數(shù)據(jù)一體化融合以及借助教育和工具，使數(shù)據(jù)普惠化。

其中，建立面向未來(lái)的云原生數(shù)據(jù)基礎(chǔ)設(shè)施時(shí)需要注意的是：首先，面對(duì)不同類型的工作負(fù)載，提供合適的工具。從亞馬遜云科技的統(tǒng)計(jì)數(shù)據(jù)看，前1，000 名亞馬遜云科技客戶中有94%使用超過(guò)我們的10項(xiàng)數(shù)據(jù)庫(kù)和分析服務(wù)。

“亞馬遜云科技一直致力于來(lái)構(gòu)建專門構(gòu)建的云原生服務(wù)，為了特定場(chǎng)景而定制化開發(fā)最合理的工具?！标悤越ㄍ嘎?，亞馬遜云科技擁有完整的關(guān)系型數(shù)據(jù)庫(kù)和專用數(shù)據(jù)庫(kù)，為客戶的分析負(fù)載提供最全面的服務(wù)：包括EMR的大數(shù)據(jù)分析、Amazon OpenSearch的交互式的日志分析等，同時(shí)提供了大量人工智能的工具支持深度學(xué)習(xí)框架可以更輕松建立AI/ML的Amazon SageMaker服務(wù)，具備內(nèi)置機(jī)器學(xué)習(xí)功能的AI服務(wù)，例如Amazon Transcribe和Amazon Polly。

此外，亞馬遜云科技不僅宣布推出適用于Apache Spark 的 Amazon Athena，讓用戶使用Athena來(lái)調(diào)用Spark，在短短一秒內(nèi)即可開始在Apache Spark運(yùn)行交互式數(shù)據(jù)分析任務(wù)，用戶無(wú)需準(zhǔn)備基礎(chǔ)架構(gòu)配置。同時(shí)，客戶還只需為使用的資源付費(fèi)。

還宣布了針對(duì) Apache Spark 的新 Amazon Redshift 集成預(yù)覽，通過(guò)這一功能，客戶可以通過(guò)Amazon EMR 或者Amazon Glue這樣的Spark引擎來(lái)消費(fèi)Amazon Redshift中的數(shù)據(jù)。與現(xiàn)有的 Amazon Redshift-Spark連接器相比，這種集成使Spark引擎對(duì)Amazon Redshift的數(shù)據(jù)抽取速度提高了10倍。

除了發(fā)布新特性，亞馬遜云科技也在持續(xù)優(yōu)化性能，現(xiàn)在，客戶在 Amazon EMR、Amazon Glue、Amazon SageMaker、Amazon Redshift和Amazon Athena 上運(yùn)行經(jīng)過(guò)優(yōu)化的Spark runtime，可以獲得比開源版本 Spark 快 3 倍的性能。

其次，為保持大規(guī)模運(yùn)行下的的高性能，Amazon Aurora的自動(dòng)擴(kuò)展功能可以將每個(gè)數(shù)據(jù)庫(kù)實(shí)例可自動(dòng)擴(kuò)展到最大128TB，而只有其他傳統(tǒng)企業(yè)級(jí)數(shù)據(jù)庫(kù)大概1/10的 使用成本；DynamoDB在2022年的Amazon Prime Day期間每秒處理超過(guò)一億次的請(qǐng)求。

在這些強(qiáng)大能力的基礎(chǔ)上，本次re：Invent再次發(fā)布了多項(xiàng)數(shù)據(jù)庫(kù)新特性，包括：Amazon DocumentDB Elastic Clusters，將Amazon DocumentDB集群彈性擴(kuò)展到支撐百萬(wàn)級(jí)讀寫每秒和PB級(jí)存儲(chǔ)容量的規(guī)模；Amazon RDS寫優(yōu)化，將數(shù)據(jù)寫入吞吐量最高提升兩倍；Amazon RDS讀優(yōu)化，將數(shù)據(jù)查詢性能最高提升50%。

再次，以智能化手段和工具為客戶降低運(yùn)營(yíng)復(fù)雜性，有效提高工作效率，亞馬遜云科技通過(guò)自動(dòng)化和機(jī)器學(xué)習(xí)的內(nèi)置智能來(lái)減少手動(dòng)任務(wù)。例如，DevOps Guru 使用 ML 在數(shù)據(jù)庫(kù)問(wèn)題影響客戶之前自動(dòng)檢測(cè)和修復(fù)它們；Amazon S3 智能分層通過(guò)自動(dòng)將不常訪問(wèn)的數(shù)據(jù)放入成本較低的存儲(chǔ)類來(lái)減少日常維護(hù)，迄今為止為用戶節(jié)省了7.5 億美元。Amazon SageMaker降低了機(jī)器學(xué)習(xí)的的使用門檻。

新發(fā)布的Amazon SageMaker 現(xiàn)在支持新的地理空間機(jī)器學(xué)習(xí)功能，客戶只需單擊幾下即可從Amazon SageMaker訪問(wèn)不同的數(shù)據(jù)源上的地理 空間數(shù)據(jù)。

最后，數(shù)據(jù)庫(kù)升級(jí)往往是數(shù)據(jù)安全的隱患，每一次數(shù)據(jù)庫(kù)升級(jí)涉及到許多操作，而且會(huì)涉及不可避免的數(shù)據(jù)庫(kù)停機(jī)時(shí)間。為提供最高級(jí)別的可靠性和安全性，保護(hù)數(shù)據(jù)存儲(chǔ)，亞馬遜云科技新發(fā)布了Amazon RDS藍(lán)/綠部署，客戶開辟一個(gè)測(cè)試環(huán)境進(jìn)行補(bǔ)丁或者新配置的測(cè)試，當(dāng)測(cè)試成功之后快速將測(cè)試環(huán)境切換為生產(chǎn)環(huán)境。 這樣的功能極大地節(jié)省了數(shù)據(jù)庫(kù)團(tuán)隊(duì)運(yùn)維中的操作壓力，同時(shí)提升運(yùn)維效率，保證數(shù)據(jù)零損失。

實(shí)現(xiàn)高效、跨組織的數(shù)據(jù)一體融合比較關(guān)鍵的地方在于連接數(shù)據(jù)的能力與云原生數(shù)據(jù)基礎(chǔ)設(shè)施同樣重要。從自動(dòng)化數(shù)據(jù)路徑到數(shù)據(jù)治理工具。這種一體化融合不僅是數(shù)據(jù)，還包括組織部門、團(tuán)隊(duì)和個(gè)人。

“ETL是挖掘數(shù)據(jù)價(jià)值，進(jìn)行機(jī)器學(xué)習(xí)建模的必要前置步驟。在現(xiàn)實(shí)情況中，絕大多數(shù)數(shù)據(jù)都是多源異構(gòu)的，ETL將把分散、零 亂、標(biāo)準(zhǔn)不統(tǒng)一的數(shù)據(jù)整合到一起，通過(guò)抽取、清洗轉(zhuǎn)換之后加載到分析服務(wù)?！标悤越ū硎?，作為自化數(shù)據(jù)路徑之一，亞馬遜云科技提出“零ETL”的未來(lái)，客戶無(wú)需再次手動(dòng)構(gòu)建數(shù)據(jù)管道。

為此，亞馬遜云科技在本次大會(huì)上發(fā)布了多項(xiàng)全新的集成功能，幫助客戶實(shí)現(xiàn)“Zero-ETL”（零ETL）。例如，Amazon Redshift流式注入功能正式可用，日志數(shù)據(jù)無(wú)需從MSK進(jìn)入Amazon S3再通過(guò)代碼拷貝進(jìn)入Amazon Redshift做分析；Amazon MSK和Amazon Redshift可以直接打通，同時(shí)把數(shù)據(jù)同步從分鐘級(jí)別提高到了秒級(jí)，極大地提升了實(shí)時(shí)性。

同時(shí)，針對(duì)客戶越來(lái)越依賴于外部第三方各種各樣的數(shù)據(jù)源，亞馬遜云科技新增22個(gè)新的Amazon AppFlow 連接器，現(xiàn)已總計(jì)支持 50 多個(gè)連接器?？蛻舨槐鼐帉懭魏未a，就可以通過(guò)Amazon AppFlow在數(shù)分鐘內(nèi)輕松設(shè)置數(shù)據(jù)流，抽取像Facebook Ads和Google Ads等新的營(yíng)銷數(shù)據(jù)；MailChimp、SendGrid等客戶服務(wù)等營(yíng)銷數(shù)據(jù)，以及Microsoft Teams、Zoom Meetings和 GitHub 等業(yè)務(wù)運(yùn)營(yíng)解決方案等。抽取完成之后，Amazon Appflow會(huì)把數(shù)據(jù)連接到S3數(shù)據(jù)湖，Amazon Redshift等數(shù)據(jù)分析服務(wù) 中進(jìn)行后續(xù)分析。

當(dāng)然，強(qiáng)大的數(shù)據(jù)存儲(chǔ)、分析和處理能力，也需要完整的數(shù)據(jù)治理和規(guī)范化管理能力的加持

Amazon DataZone是一項(xiàng)數(shù)據(jù)管理服務(wù)，助力客戶更快、更輕松地對(duì)存儲(chǔ)在亞馬遜云科技、客戶本地和第三方來(lái)源的數(shù)據(jù)進(jìn)行編目、發(fā)現(xiàn)、共享和治理，同時(shí)提供更精細(xì)的控制工具，管理和治理數(shù)據(jù)訪問(wèn)權(quán)限，確保數(shù)據(jù)安全。

機(jī)器學(xué)習(xí)治理工具Amazon SageMaker ML Governance由3個(gè)新工具組成：Role Manager，幫助用戶定義諸如算法工程師、運(yùn)維工程師的權(quán)限；Model Cards，發(fā)現(xiàn)并自動(dòng)填寫訓(xùn)練數(shù)據(jù)集或者模型構(gòu)建環(huán)境，還可以輸入模型的預(yù)期用途、風(fēng)險(xiǎn)評(píng)級(jí)和評(píng)估結(jié)果等等信息供使用者參考；Model Dashboard，通過(guò)統(tǒng)一的儀表板監(jiān)控所有部署的模型。

借助教育和工具實(shí)現(xiàn)數(shù)據(jù)普惠化，亞馬遜云科技新發(fā)布了Amazon QuickSight Q，不僅僅預(yù)備了預(yù)測(cè)的能力，而且還能揭示數(shù)據(jù)背后的原因。

推出低代碼機(jī)器學(xué)習(xí)Amazon SageMaker Data Wrangler、Amazon SageMaker Canvas、Amazon SageMaker AutoPilot、Amazon SageMaker JumpStart，它們可以幫助使用者從數(shù)據(jù)準(zhǔn)備到模型構(gòu)建和開發(fā)，到訓(xùn)練和調(diào)整直到部署和運(yùn)營(yíng)管理，全生命周期的每個(gè)階段輕松上手，快速進(jìn)行業(yè)務(wù)需要的機(jī)器學(xué)習(xí)。

對(duì)未知的海底世界進(jìn)行探索需要安全做支撐，在數(shù)字化轉(zhuǎn)型中也一樣。只有有了強(qiáng)有力的安全做保證，企業(yè)才能在業(yè)務(wù)拓展中走得更好，更遠(yuǎn)。

亞馬遜云科技幫助客戶處理海量的請(qǐng)求，同時(shí)追蹤和監(jiān)測(cè)千萬(wàn)億量級(jí)的事件（15個(gè)0），需要從中找出可能的威脅事件并解決他，并快速讓全球所有的客戶受到同等級(jí)別的保護(hù)。

“安全是亞馬遜云科技的Job Zero，從未停止腳步，在云自身的安全和云中的安全上持續(xù)創(chuàng)新?！标悤越ū硎荆瑏嗰R遜云科技樹立了安全的四大目標(biāo)：幫助用戶快速提升安全水平、降低安全成本、減少安全事件的處理時(shí)間以及提高企業(yè)安全的效率，幫助企業(yè)提高整體安全態(tài)勢(shì)。

為此，亞馬遜云科技新發(fā)布Amazon Verified Permissions，通過(guò)將授權(quán)與業(yè)務(wù)邏輯分離，加速應(yīng)用程序開發(fā)，通過(guò)權(quán)限集中和策略生命周期管理，節(jié)省時(shí)間和資源，使用自動(dòng)化分析來(lái)確認(rèn)權(quán)限是否按預(yù)期執(zhí)行，從而大規(guī)模簡(jiǎn)化合規(guī)性審計(jì)工作，通過(guò)動(dòng)態(tài)、實(shí)時(shí)授權(quán)決策構(gòu)建支持零信任架構(gòu)的應(yīng)用程序。

針對(duì)數(shù)據(jù)湖安全，亞馬遜云科技發(fā)布Amazon Security Lake專門構(gòu)建的安全數(shù)據(jù)湖，客戶只需幾次單擊就可以創(chuàng)建，實(shí)現(xiàn)對(duì)數(shù)據(jù)的聚合、規(guī)范和存儲(chǔ)，更快地響應(yīng)安全事件，同時(shí)支持不同的分析工具。

數(shù)據(jù)的增長(zhǎng)會(huì)驅(qū)動(dòng)用戶在安全上的持續(xù)投入。亞馬遜將持續(xù)在安全上投入，通過(guò)更好的配置、更好的工具、更智能的分析、以及更好的監(jiān)控與警告機(jī)制幫助用戶在云中提高安全態(tài)勢(shì)。

在底層架構(gòu)服務(wù)方面，本次2022 re：Invent更新包括三個(gè)方面：極致性能的自研芯片戰(zhàn)略，包括四代虛擬化定制芯片 Nitro；三代基于ARM架構(gòu)的通用處理器芯片Graviton；兩款用于機(jī)器學(xué)習(xí)的訓(xùn)練和推理的芯片、極速構(gòu)建的云原生應(yīng)用以及面向極限未來(lái)的HPC需求。

值得一提的是，Amazon Nitro 系統(tǒng)的研發(fā)可以追溯到2012年，在過(guò)去10年間共發(fā)布了4代Nitro芯片。Nitro最大的創(chuàng)新點(diǎn)在于可將架構(gòu)演進(jìn)與技術(shù)復(fù)雜性進(jìn)行了解耦。類似于云原生架構(gòu)的思想，服務(wù)原子化，封裝功能到模塊內(nèi)部，接口標(biāo)準(zhǔn)化，從而大大降低了系統(tǒng)的復(fù)雜性，并且提升了系統(tǒng)的可擴(kuò)展性。

Nitro V5的發(fā)布，讓晶體管數(shù)量大約是上一代Nitro芯片的兩倍。Nitro V5 每秒的數(shù)據(jù)包能力提高了60%，延遲減少30%，每瓦特性能提升40%。

Graviton3E 處理器的發(fā)布，專門為浮點(diǎn)和向量指令運(yùn)算而優(yōu)化，這在高性能計(jì)算工作負(fù)載里非常重要；相比于 Graviton3 實(shí)例，Graviton3E在 HPL（線性代數(shù)的測(cè)量工具）上性能提升35%，在 GROMACS（分子運(yùn)動(dòng)）上性能提升 12%，在金融期權(quán)定價(jià)的工作負(fù)載上性能提升 30% 。

機(jī)器學(xué)習(xí)訓(xùn)練和推理芯片方面，新發(fā)布了Amazon EC2 Trn1n，一款基于Trainium的網(wǎng)絡(luò)優(yōu)化型訓(xùn)練實(shí)例。該實(shí)例將網(wǎng)絡(luò)帶寬進(jìn)一步增加一倍，每個(gè)Trn1n實(shí)例支持1.6Tbps EFA 網(wǎng)絡(luò)帶寬，強(qiáng)大的網(wǎng)絡(luò)吞吐能力也使亞馬遜云科技能夠?qū)⒊^(guò)1萬(wàn)個(gè)Traniumn芯片構(gòu)建在一個(gè)超大規(guī)模集群里，實(shí)現(xiàn)對(duì)超大模型的并行訓(xùn)練。

“我們一直在探討，亞馬遜云科技應(yīng)該如何通過(guò)不斷地創(chuàng)新，將更多更好的云服務(wù)為客戶創(chuàng)造價(jià)值——從大量復(fù)雜的數(shù)據(jù)中獲得洞察，充滿信心地探索未知領(lǐng)域，有足夠的安全感承受外部壓力，在最極端的環(huán)境下能夠有信心應(yīng)對(duì)挑戰(zhàn)，以及擁有無(wú)限可能的想象力。我想云的出現(xiàn)，恰恰為實(shí)現(xiàn)這一切提供了堅(jiān)實(shí)有力的基礎(chǔ)。”陳曉建表示，亞馬遜云科技在每年的re：Invent全球大會(huì)上都會(huì)發(fā)布許多重磅的新服務(wù)、功能和應(yīng)用，來(lái)支持遍及全球各地、來(lái)自千行百業(yè)的客戶進(jìn)行不斷的創(chuàng)新和重塑。面臨全球經(jīng)濟(jì)的不確定性，各種規(guī)模的客戶都希望能進(jìn)一步削減成本、增強(qiáng)業(yè)務(wù)的靈活性并加速創(chuàng)新。亞馬遜云科技希望能通過(guò)技術(shù)的不斷創(chuàng)新，讓全球包括中國(guó)的客戶能凌云馭勢(shì)、重塑未來(lái)。