菱俊丘

在近期舉辦的2022亞馬遜云科技re：Invent全球大會上，亞馬遜云科技首席執(zhí)行官Adam Selipsky發(fā)表了“如何借助云的力量，在未知領域抓住機遇并茁壯成長”的主題演講。在演講中，Adam重點圍繞數(shù)據(jù)、安全、計算性能和行業(yè)應用等4個主題發(fā)布了多項重磅信息，助力云上客戶快速實現(xiàn)數(shù)字化轉(zhuǎn)型，提高創(chuàng)新速度。

數(shù)據(jù)之浩瀚

Adam提到，正如宇宙探測一樣，我們要用多個工具才能夠深切地了解到深不可測的宇宙，我們需要把不同系統(tǒng)、不同部門的各種深刻見解整合在一起，才能去尋找各種可能。同樣，數(shù)據(jù)領域也是如此，管理數(shù)據(jù)的規(guī)模和增長既是一個巨大的挑戰(zhàn)，也是一個機遇，我們需要一套完整的工具來應對數(shù)據(jù)的規(guī)模和種類。

企業(yè)需要對數(shù)據(jù)做到很好地管理，來保證數(shù)據(jù)是安全的，同時還要去理解這些數(shù)據(jù)，然后探索這些數(shù)據(jù)可以給企業(yè)帶來的各種潛力。亞馬遜云科技專注于構(gòu)建所有這些功能，亞馬遜云科技倡導在數(shù)據(jù)管理領域需要有：

恰當?shù)墓ぞ撸?/p>

有效的數(shù)據(jù)集成；

規(guī)范數(shù)據(jù)治理；

深入的業(yè)務洞察力；

端到端的數(shù)據(jù)服務。

推出Amazon OpenSearch Serverless版本

為了幫助客戶更好的管理和處理數(shù)據(jù)、提取數(shù)據(jù)價值，亞馬遜云科技打造了多款數(shù)據(jù)分析的工具，客戶可以使用不同工具來應對數(shù)據(jù)的不同規(guī)模和多樣性。亞馬遜云科技擁有的每個數(shù)據(jù)庫解決方案都是針對客戶的特定需求而推出的，每個數(shù)據(jù)分析解決方案在其產(chǎn)品組合中都有著清晰的定位。

面對日益增長的客戶需求，Adam宣布正式推出Amazon OpenSearch Serverless版本，新解決方案簡化了運行PB級搜索和分析工作負載的過程，而無需配置、管理或擴展OpenSearch集群。OpenSearch Serverless自動調(diào)配和擴展底層資源，為最苛刻和最不可預測的工作負載提供快速數(shù)據(jù)接收和查詢響應。使用OpenSearch Serverless，客戶只需支付所消耗的資源。至此，亞馬遜云科技所有關鍵的數(shù)據(jù)分析服務均已提供無服務器選項。

除了提供數(shù)據(jù)分析服務以外，亞馬遜云科技對專家級的從業(yè)者提供非常強有力的實用平臺，助力每一個數(shù)據(jù)開發(fā)者簡化繁雜工作、提升工作效率。還將數(shù)據(jù)分析與機器學習能力做了有效的集成，通過Amazon SageMaker，進一步挖掘數(shù)據(jù)的價值，促進企業(yè)增長。

數(shù)據(jù)集成

在數(shù)據(jù)集成方面，Adam重點提到了ETL，它包括數(shù)據(jù)提取、轉(zhuǎn)換和加載，以及重復性無差別的繁重工作。在這方面，亞馬遜云科技的Redshift、Athena和Data Exchange以及SageMaker集成可以提供更好的幫助。Adam宣布Amazon Aurora將首次支持與Amazon Redshift的Zero-ETL集成，以實現(xiàn)對Aurora PB交易數(shù)據(jù)的近實時分析和機器學習。

Zero-ETL集成

這種集成將事務數(shù)據(jù)與分析功能結(jié)合在一起，消除了在Aurora和Redshift之間構(gòu)建和管理自定義數(shù)據(jù)管道的所有工作。用戶不必構(gòu)建和維護復雜的數(shù)據(jù)管道來執(zhí)行提取、轉(zhuǎn)換和加載（ETL）操作。Adam強調(diào)：“數(shù)據(jù)進入Aurora幾秒鐘后，就可以在Redshift內(nèi)無縫提供，您可以在同一個Redshift實例中復制來自多個Aurora數(shù)據(jù)庫的數(shù)據(jù)。整個系統(tǒng)是無服務器的，且可根據(jù)數(shù)據(jù)量動態(tài)地上下擴展，因此，沒有需要管理的基礎設施。您在Aurora中真正實現(xiàn)了快速、可擴展事務的兩全其美，以及Redshift中的可擴展分析，都在一個無縫系統(tǒng)中?！眮嗰R遜云科技堅信zero-ETL必將是最終目標，亞馬遜云科技正在努力構(gòu)建一個完全無需ETL的未來！

Amazon Redshift與Apache Spark集成

此外，Adam還宣布了Amazon Redshift與Apache Spark集成，以幫助數(shù)據(jù)工程師構(gòu)建和運行Spark應用程序，這些應用程序可以從Amazon RedShift集群消費和寫入數(shù)據(jù)。“今天，如果你在EMR工作，可以使用Spark對數(shù)據(jù)進行分析。但如果你想對Redshift中的數(shù)據(jù)運行Spark查詢，則必須將數(shù)據(jù)移動到S3，要么查找、下載并配置緩慢的開源容器到Redshift的連接器。更好的方法是只在Redshift對數(shù)據(jù)運行一個Spark查詢?！盇dam在他的主題演講中說道：“所以我們希望快速無縫，我很高興為Apache Spark引入Amazon Redshift集成?！?/p>

如果客戶正在使用亞馬遜云科技的分析和機器學習服務，如Amazon EMR，Amazon Glue，Amazon SageMaker，他們現(xiàn)在可以構(gòu)建Apache Spark應用程序，并在不影響應用程序性能或數(shù)據(jù)的事務一致性的情況下，讀取和寫入Amazon Redshift數(shù)據(jù)倉庫。

Adam表示：“現(xiàn)在在亞馬遜云科技的Amazon Redshift上運行Apache Spark應用程序非常容易，不再需要移動任何數(shù)據(jù)，也不再需要構(gòu)建或管理任何連接器?！贬槍pache Spark的Amazon Redshift集成最大限度地減少了設置Spark Redshift開源連接器的繁瑣且通常是手動的過程，并減少了準備分析和ML任務所需的時間。

數(shù)據(jù)合規(guī)與可控

接下來討論使數(shù)據(jù)可訪問但又合規(guī)和可控的方法。合規(guī)可控與可訪問性之間的平衡很難實現(xiàn)，建立正確的數(shù)據(jù)治理機制，是給人信任和信心，是鼓勵創(chuàng)新，而不是限制創(chuàng)新。然而，在所有團隊和職能部門之間建立企業(yè)范圍的治理是一項艱巨但關鍵的任務。

Amazon DataZone

亞馬遜云科技宣布推出的Amazon DataZone，是一項用于分類、發(fā)現(xiàn)、共享和管理數(shù)據(jù)的數(shù)據(jù)管理服務，可以集成Redshift、Athena和QuickSight，以及對第三方數(shù)據(jù)源提供API接口，可實現(xiàn)細粒度數(shù)據(jù)管理，其中包含由機器學習填充的數(shù)據(jù)目錄，易于使用業(yè)務術(shù)語進行搜索。

Adam表示：“DataZone使數(shù)據(jù)管理員能夠輕松管理對數(shù)據(jù)的管理訪問，從而使您能夠在整個組織中安全地釋放數(shù)據(jù)。它使數(shù)據(jù)工程師、數(shù)據(jù)科學家、產(chǎn)品經(jīng)理、分析師和其他業(yè)務用戶能夠輕松地發(fā)現(xiàn)、使用和協(xié)作這些數(shù)據(jù)，為您的業(yè)務提供見解?！?/p>

Amzon Quicksight Q

數(shù)據(jù)的第4個部分就是實現(xiàn)業(yè)務洞察，Adam宣布使用Amzon Quicksight Q應用探索新的基于機器學習的預測服務正式發(fā)布，以探索更廣闊的數(shù)據(jù)領域。使用Q進行基于機器學習的預測，用戶可以在不涉及任何分析師或數(shù)據(jù)科學家的情況下查看業(yè)務績效預測。QuickSight Q還將支持自然語言“為什么”問題，允許非分析師深入研究數(shù)據(jù)并找出導致特定結(jié)果的因素。

“您需要所有工具來處理海量且不斷擴大的數(shù)據(jù)量。當擁有所有這些時，就擁有了完整的端到端數(shù)據(jù)策略?！盇dam表示，亞馬遜云科技是實現(xiàn)這一目標的助力，因為我們在“整個數(shù)據(jù)之旅”中做了大量投入，目標是幫助客戶更好地釋放數(shù)據(jù)的價值。亞馬遜云科技在數(shù)據(jù)服務領域的版圖已經(jīng)變得更清晰、更全面，企業(yè)將在亞馬遜云科技的助力下，擁有各種各樣的工具來輕松應對以往經(jīng)常面臨的數(shù)據(jù)類型多樣性、業(yè)務需求和使用場景復雜性的難題。

安全之深不可測

安全性是客戶選擇亞馬遜云科技的主要原因之一，亞馬遜云科技提供的安全性是其他的云提供服務商所難以比擬的。管理數(shù)據(jù)安全是我們工作的重中之重，為客戶提供包括從醫(yī)療服務、銀行還有其他的金融機構(gòu)等各個領域最安全的云服務，并致力于提升系統(tǒng)的彈性和柔韌度。我們能夠為客戶提供高級而安全的服務，幫助客戶去識別、探測、減輕各種網(wǎng)絡安全的威脅。

Amazon GuardDuty

Amazon GuardDuty這樣一個組件就具有檢測并且響應安全威脅的功能，Adam正式宣布了Container runtime threat detection for GuardDuty。更新版的GuardDuty能檢測容器內(nèi)部可能存在的安全風險，識別那些試圖訪問控制節(jié)點的的操作，支持與Amazon EKS集成。

它能夠在運行時間去探測到這些威脅，不僅是監(jiān)測它，更重要的是去提升系統(tǒng)的功能，同時加固網(wǎng)絡之間的連接。在不同計算機的節(jié)點中，它的安全性如何，在各個不同的容器之間它是怎么樣來實現(xiàn)互聯(lián)的？Adam表示：“對此我們提供了數(shù)千個不同的安全解決方案，同時我們也把數(shù)千第三方的安全解決方案集成到亞馬遜云科技服務的云端服務的平臺上，確保您的安全。”

Amazon Security Lake

Adam宣布推出Amazon Security Lake，可以自動將來自云、本地和自定義來源的安全數(shù)據(jù)集中到存儲在用戶賬戶中的專用數(shù)據(jù)湖中。Security Lake使分析安全數(shù)據(jù)變得更加容易，以便用戶可以更全面地了解整個組織的安全性，可以自動收集和管理您跨賬戶和區(qū)域的所有安全數(shù)據(jù)。用戶可以使用自己習慣的分析工具，同時保留對安全數(shù)據(jù)的控制和所有權(quán)。Security Lake采用了開放式網(wǎng)絡安全架構(gòu)框架（OCSF），這是一種開放標準。它有助于規(guī)范化和組合來自亞馬遜云科技和廣泛的企業(yè)安全數(shù)據(jù)源的安全數(shù)據(jù)。

這是一個巨大的勝利，從長遠來看，對于打擊不良行為者和創(chuàng)建更易于管理的網(wǎng)絡安全運營生命周期來說將是一個重大的福音。

計算性能之極限

在極端的環(huán)境里面，足夠好，有時候還是夠好，所以我們準備好克服各種各樣的困難，在亞馬遜云科技應對的是各種極端的環(huán)境。比如，F(xiàn)1賽車有5億個不同的數(shù)據(jù)點需要得到監(jiān)控，從60 h減少到12 h的時間，Epic Game需要支持上億個不同的玩家，他們需要處理成億的不同的要求，我們也可以給他們提供非常小的延遲。Nielsen每天有數(shù)十億的數(shù)據(jù)需要處理。所以亞馬遜云科技一直在創(chuàng)新，長期為客戶提供所有數(shù)據(jù)分析的可用工具。亞馬遜云科技現(xiàn)在有600多種實例類型來滿足幾乎任何類型的需求或使用案例，其中許多實例使用的是特別定制的芯片。

Hpc6id

以HPC客戶的需求為例，首先要根據(jù)他們確切的工作負載來確定他們的性能的規(guī)模；第二，就是要提供簡易使用的工具，確?？蛻艨梢远喾絿L試，用更少的時間來管理他們的基礎設施。HPC就是一個很好的選擇，它可以將管理擴展到數(shù)百萬的用例上面，最大程度地優(yōu)化客戶的工作負載。

基于此，亞馬遜云科技正式發(fā)布了用于高性能計算（HPC）的新亞馬遜彈性計算云（Amazon EC2）Hpc6id實例，基于Amazon Nitro系統(tǒng)構(gòu)建的EC2 Hpc6id實例，它提供200 Gbit/s彈性結(jié)構(gòu)適配器網(wǎng)絡，用于高吞吐量節(jié)點間通信，使客戶HPC工作負載能夠大規(guī)模運行。Adam表示：“Hpc6id實例旨在為數(shù)據(jù)、內(nèi)存密集型HPC工作負載、更高的內(nèi)存帶寬、更快的本地SSD存儲和彈性結(jié)構(gòu)適配器增強的網(wǎng)絡提供領先的性價比。使用EC2 Hpc6id實例，您可以降低HPC工作負載的成本，同時利用亞馬遜云科技的彈性和可擴展性?！?h3>多樣化的強大實例

今天的機器學習模型已經(jīng)發(fā)展到使用1 000億個參數(shù)，在短短幾年內(nèi)增加了一百倍。這大大推高了訓練機器學習模型的成本。隨著企業(yè)構(gòu)建的機器學習模型越來越復雜，訓練和運行這些模型的成本成為一個現(xiàn)實問題。亞馬遜云科技創(chuàng)建了一系列創(chuàng)新實例來幫助用戶降低成本，Adam提到Trn1實例專為高性能訓練而構(gòu)建，同時與同類基于GPU的實例相比，可節(jié)省高達50 %的訓練成本。Trn1實例對流行的NLP模型進行深度學習訓練時提供最高性能。同時宣布推出EC2 Inf2實例預覽版，旨在以最低的成本為推理應用程序提供高性能。與Inf1實例相比，Inf2實例提供高3倍的計算性能、高4倍的吞吐量和低10倍的延遲。

除了主要的產(chǎn)品升級以外，亞馬遜云科技還致力于打造面向特定行業(yè)或者特定應用場景的解決方案，以幫助客戶快速適配自己的應用場景，加速創(chuàng)新與縮短產(chǎn)品上市時間。

新服務

Amazon SupplyChain

Adam首先推出了Amazon SimSpace Weaver，只需要簡單的幾個操作就能在云端運行大規(guī)模空間模擬工作，支持主流3D引擎，包括Unreal Engine和Unity。該服務旨在將仿真開發(fā)人員從他們自己的硬件限制中解放出來。Adam表示：“使用SimSpace Weaver，可以創(chuàng)建無縫的虛擬世界，其中包含數(shù)百萬個對象，這些對象可以實時交互，而無需管理后端基礎設施。”

Amazon CleanRooms

基于Amazon Connect的呼叫中心已經(jīng)廣泛獲得了客戶的認可，每天支撐超過1 000萬次互動。Adam宣布了Connect新功能：新的機器學習驅(qū)動的預測、容量規(guī)劃和調(diào)度，他表示：“如今，數(shù)以萬計的客戶使用Connect每天支持超過1 000萬次互動，僅3周就可以快速部署可用的連接。比如，Convoy在不到一分鐘的時間內(nèi)接聽的升級呼叫的百分比提高了50 %，Priceline使1 000多名座席能夠使用Connect在家工作?！?h3>新方案

Amazon SimSpace Weaver

除此之外，Adam還宣布推出客戶期待已久的供應鏈解決方案Amazon Supply Chain：“許多亞馬遜云科技的客戶問我們，是否愿意采用亞馬遜供應鏈技術(shù)、亞馬遜云科技基礎設施和機器學習來幫助他們解決供應鏈問題。”Amazon Supply Chain是一個基于云的新應用程序，可幫助供應鏈領導者減輕風險并降低成本，以提高供應鏈彈性。Amazon Supply Chain統(tǒng)一了供應鏈數(shù)據(jù)，提供了基于ML的可操作見解，并提供了內(nèi)置的上下文協(xié)作，所有這些都有助于用戶通過減少缺貨來提高客戶服務水平，同時幫助降低積壓成本。

Amazon Supply Chain提供了一個實時可視化地圖功能，顯示了每個地點的庫存水平和健康狀況，并提供了目標觀察列表，以提醒潛在的風險。當風險被發(fā)現(xiàn)時，Amazon Supply Chain供應鏈提供庫存再平衡建議和內(nèi)置的上下文協(xié)作工具，使跨團隊協(xié)調(diào)實施解決方案更加容易。Adam表示：“這只是一個開始。我們將繼續(xù)在這里投資，努力解決您最困難的供應鏈問題?！?h3>功能升級的Amazon Connect服務

在廣告營銷領域，Adam宣布推出Amazon Clean Rooms，用于在共享營銷數(shù)據(jù)上進行安全協(xié)作并維護用戶的數(shù)據(jù)隱私。通過分析組合的數(shù)據(jù)集，可以提升對客戶提供各種服務的質(zhì)量和水平，在查詢數(shù)據(jù)的同時可以把數(shù)據(jù)進行加密。

生物醫(yī)療

在生物醫(yī)療領域，Adam正式宣布了Amazon Omics，幫助用戶存儲、查詢、分析基因組數(shù)據(jù)并從中生成見解。

Amazon Omics通過幾次的點擊就可以進行相關的科學分析，Amazon Omics有各種各樣的功能，也是一個安全的環(huán)境，并且符合相關的監(jiān)管規(guī)定。用Amazon Omics來幫助更有目標地針對某一種疾病進行研究。

零售行業(yè)

談到零售業(yè)，Adam提到了亞馬遜的Just Walk Out技術(shù)，一種可以用手掌支付，而不需要錢包或手機的技術(shù)。他說：“我們已經(jīng)看到了西雅圖水手隊的例子，他們報告說，在安裝了Just Walk Out技術(shù)后，水手商店的交易增加了3倍以上。”

最后，Adam總結(jié)道，幫助有想法的人去創(chuàng)造機遇，實現(xiàn)轉(zhuǎn)型和創(chuàng)新發(fā)展，最重要就是“云的力量”，亞馬遜云科技就是這樣一個馭云賦能的角色。