James Kobielus

與幾年前的行業(yè)應(yīng)用相比，今天的大數(shù)據(jù)分析市場(chǎng)已經(jīng)截然不同。未來(lái)十年，這一全球性行業(yè)的各個(gè)領(lǐng)域都將掀起變革、創(chuàng)新和顛覆的浪潮。

在最近發(fā)布的市場(chǎng)研究年度更新報(bào)告中，SiliconAngle媒體分析集團(tuán)Wikibon發(fā)現(xiàn)，全球大數(shù)據(jù)分析市場(chǎng)2017年比前一年增長(zhǎng)了24.5%。這比上一年報(bào)告中預(yù)測(cè)的要快得多，主要原因是公有云的部署和應(yīng)用比預(yù)期要強(qiáng)，以及平臺(tái)、工具和其他解決方案的加速融合。而且，企業(yè)通過(guò)大數(shù)據(jù)分析更快地走出試驗(yàn)和概念驗(yàn)證階段，并從部署中獲得了更高的業(yè)務(wù)價(jià)值。

展望未來(lái)，Wikibon預(yù)測(cè)到2027年，大數(shù)據(jù)分析市場(chǎng)整體年增長(zhǎng)率將達(dá)到11%，全球達(dá)到1030億美元。未來(lái)幾年市場(chǎng)的大部分增長(zhǎng)是依靠物聯(lián)網(wǎng)（IoT）、移動(dòng)和其他邊緣計(jì)算等應(yīng)用領(lǐng)域采用大數(shù)據(jù)分析來(lái)維持的。

未來(lái)十年大數(shù)據(jù)分析發(fā)展的主要趨勢(shì)

正如Wikibon研究所證實(shí)的，未來(lái)十年將推動(dòng)大數(shù)據(jù)分析行業(yè)發(fā)展的主要趨勢(shì)如下：

·公有云提供商正在擴(kuò)大其影響范圍。大數(shù)據(jù)行業(yè)匯聚了三大主要公有云提供商——亞馬遜網(wǎng)絡(luò)服務(wù)、微軟Azure和谷歌云平臺(tái)，大多數(shù)軟件供應(yīng)商開發(fā)的解決方案都是在這些平臺(tái)上運(yùn)行的。這些和其他大數(shù)據(jù)公有云提供商，包括IBM和Oracle這些老牌的大數(shù)據(jù)供應(yīng)商，提供托管IaaS和PaaS數(shù)據(jù)湖，鼓勵(lì)客戶和合作伙伴在其上開發(fā)新的應(yīng)用程序，并遷移老的應(yīng)用程序。結(jié)果，純數(shù)據(jù)平臺(tái)/NoSQL供應(yīng)商似乎變得平淡無(wú)奇，在多元化公有云提供商占據(jù)主導(dǎo)地位的大數(shù)據(jù)領(lǐng)域被逐步邊緣化了。

·公有云相對(duì)于私有云的優(yōu)勢(shì)在繼續(xù)擴(kuò)大。公有云正在成為每一客戶群首選的大數(shù)據(jù)分析平臺(tái)。這是因?yàn)楣性平鉀Q方案比本地堆棧更為成熟，增加了更豐富的功能，而且在總體擁有成本上更有競(jìng)爭(zhēng)力。相對(duì)于為本地部署所設(shè)計(jì)的大數(shù)據(jù)分析解決方案工作環(huán)境，公有云能夠更迅速地?cái)U(kuò)展其應(yīng)用程序編程接口生態(tài)支持系統(tǒng)，增強(qiáng)其管理工具。

·企業(yè)大數(shù)據(jù)工程在全面部署公有云的過(guò)程中，中間會(huì)采用混合云作為過(guò)渡。很多大型企業(yè)的大數(shù)據(jù)計(jì)劃都會(huì)考慮混合云，但主要是作為一種過(guò)渡策略。這是因?yàn)槠髽I(yè)越來(lái)越傾向于把更多的大數(shù)據(jù)資產(chǎn)放在公有云上。認(rèn)識(shí)到這一趨勢(shì)后，傳統(tǒng)的大數(shù)據(jù)供應(yīng)商正在針對(duì)混合應(yīng)用情形優(yōu)化其產(chǎn)品。出于同樣的原因，正在重新設(shè)計(jì)基于本地的大數(shù)據(jù)平臺(tái)以便在公有云中部署。

·基于云的大數(shù)據(jù)孤島融合幫助企業(yè)加速實(shí)現(xiàn)時(shí)間價(jià)值。用戶開始加快將其孤立的大數(shù)據(jù)資產(chǎn)整合到公有云中。公有云提供商成為主流，打破了迄今為止一直困擾企業(yè)私有大數(shù)據(jù)架構(gòu)的跨部門孤島。同樣重要的是，不論基于云的還是基于本地的大數(shù)據(jù)解決方案都正在融合為集成產(chǎn)品和服務(wù)，以降低復(fù)雜度，加速實(shí)現(xiàn)時(shí)間價(jià)值。更多的解決方案提供商正在提供標(biāo)準(zhǔn)化的API，目的是簡(jiǎn)化訪問(wèn)、加速開發(fā)，在其大數(shù)據(jù)解決方案堆棧中實(shí)現(xiàn)更全面的管理。

·創(chuàng)新的大數(shù)據(jù)初創(chuàng)公司把越來(lái)越復(fù)雜的人工智能應(yīng)用推向了市場(chǎng)。創(chuàng)新的應(yīng)用程序提供商借助于人工智能解決方案，開始顛覆大數(shù)據(jù)競(jìng)爭(zhēng)格局。對(duì)于新進(jìn)入市場(chǎng)的企業(yè)，其大部分創(chuàng)新都是針對(duì)公有云或者混合云部署而設(shè)計(jì)的，在每一個(gè)大數(shù)據(jù)領(lǐng)域都掀起了競(jìng)爭(zhēng)浪潮。過(guò)去幾年中，很多數(shù)據(jù)庫(kù)、流處理和數(shù)據(jù)科學(xué)新初創(chuàng)公司進(jìn)入了市場(chǎng)。

·顛覆性的大數(shù)據(jù)方法正在成為既有平臺(tái)的可行替代方案。不久之后，融合了物聯(lián)網(wǎng)、區(qū)塊鏈和流計(jì)算的下一代技術(shù)領(lǐng)域?qū)⒊霈F(xiàn)新一代的“ 獨(dú)角獸”大數(shù)據(jù)平臺(tái)提供商。大部分這些下一代大數(shù)據(jù)平臺(tái)將針對(duì)機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和人工智能的管理端到端DevOps流水線進(jìn)行優(yōu)化。而且，大數(shù)據(jù)平臺(tái)正在被設(shè)計(jì)成用于人工智能微服務(wù)以及邊緣設(shè)備中。

·Hadoop正在成為一個(gè)大數(shù)據(jù)難題。我們看到的跡象表明，市場(chǎng)把Hadoop視為一種傳統(tǒng)的大數(shù)據(jù)技術(shù)，而不是顛覆性的業(yè)務(wù)應(yīng)用戰(zhàn)略平臺(tái)。然而，Hadoop是一種成熟的技術(shù)，廣泛應(yīng)用于很多用戶IT部門中的非結(jié)構(gòu)化信息提取等關(guān)鍵應(yīng)用情形中，在很多企業(yè)中仍然有很長(zhǎng)的使用壽命。從長(zhǎng)遠(yuǎn)考慮，供應(yīng)商通過(guò)在獨(dú)立開發(fā)的硬件和軟件組件之間實(shí)現(xiàn)更平滑的互操作性，來(lái)增強(qiáng)他們的產(chǎn)品服務(wù)。

·用戶在開放的生態(tài)支持系統(tǒng)中越來(lái)越多地混合部署多家供應(yīng)商的大數(shù)據(jù)產(chǎn)品并進(jìn)行匹配。很少有大數(shù)據(jù)供應(yīng)商提供采用了私有、非標(biāo)準(zhǔn)，或者非開源組件的解決方案?？蛻粽卯?dāng)今競(jìng)爭(zhēng)激烈的市場(chǎng)，借助大數(shù)據(jù)分析供應(yīng)商不斷增強(qiáng)自己。反之，供應(yīng)商則將他們的工具分散到模塊化體系結(jié)構(gòu)中，在這種架構(gòu)中，客戶可以在各種功能級(jí)別上交換組件。在鎖定一家全堆棧供應(yīng)商已經(jīng)成為過(guò)去的市場(chǎng)上，對(duì)于希望持續(xù)獲得市場(chǎng)份額的供應(yīng)商而言，這是最好的方法。

·采用創(chuàng)新方法對(duì)數(shù)據(jù)庫(kù)進(jìn)行解構(gòu)和重組。從架構(gòu)的觀點(diǎn)來(lái)看，我們所熟悉的數(shù)據(jù)庫(kù)越來(lái)越少了。展望未來(lái)，流、內(nèi)存和無(wú)服務(wù)器大數(shù)據(jù)分析基礎(chǔ)設(shè)施將占據(jù)絕對(duì)主導(dǎo)地位。供應(yīng)商正在探索新的方法來(lái)重新構(gòu)建核心數(shù)據(jù)庫(kù)功能，以滿足新出現(xiàn)的需求，例如自動(dòng)機(jī)器學(xué)習(xí)流水線和面向邊緣的認(rèn)知物聯(lián)網(wǎng)分析等。在這一演進(jìn)過(guò)程中，越來(lái)越多的高性能業(yè)務(wù)分析功能被集成到各種類型的數(shù)據(jù)平臺(tái)中，導(dǎo)致分析和應(yīng)用數(shù)據(jù)庫(kù)開始融合。此外，數(shù)據(jù)庫(kù)存儲(chǔ)引擎正在成為主要用于機(jī)器數(shù)據(jù)的存儲(chǔ)庫(kù)，通過(guò)關(guān)鍵值索引和對(duì)象模式等可選結(jié)構(gòu)對(duì)這些數(shù)據(jù)進(jìn)行尋址。

大數(shù)據(jù)增強(qiáng)型編程會(huì)越來(lái)越復(fù)雜。開發(fā)人員能夠使用越來(lái)越多的不同DevOps工具，自動(dòng)完成機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、人工智能和其他人工智能資產(chǎn)等各種任務(wù)的開發(fā)、部署和管理。越來(lái)越多的這些解決方案是利用專門的機(jī)器學(xué)習(xí)算法來(lái)推動(dòng)超參數(shù)調(diào)整等機(jī)器學(xué)習(xí)開發(fā)功能。

·封裝好的大數(shù)據(jù)分析應(yīng)用程序變得更加普及。在未來(lái)十年中，更多的用戶將通過(guò)預(yù)構(gòu)建、預(yù)訓(xùn)練和模板化云服務(wù)的形式獲得大數(shù)據(jù)分析解決方案。更多的這些服務(wù)將自動(dòng)適應(yīng)并調(diào)整它們的嵌入式機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和人工智能模型，以不斷交付最佳業(yè)務(wù)成果。更多的這些服務(wù)將結(jié)合經(jīng)過(guò)預(yù)先訓(xùn)練的模型，客戶可以對(duì)其進(jìn)行調(diào)整和擴(kuò)展，以滿足自己的具體需求。

大數(shù)據(jù)分析演進(jìn)和部署面臨的障礙

盡管針對(duì)大數(shù)據(jù)分析應(yīng)用的預(yù)測(cè)看起來(lái)很樂(lè)觀，但仍然一直有一些問(wèn)題，這些問(wèn)題使得用戶很難最大限度地發(fā)揮出這些技術(shù)的投資價(jià)值。其中最主要的有：

·過(guò)于復(fù)雜。大數(shù)據(jù)分析環(huán)境和應(yīng)用仍然過(guò)于復(fù)雜。供應(yīng)商應(yīng)繼續(xù)簡(jiǎn)化這些環(huán)境的接口、體系結(jié)構(gòu)、特性和工具。這樣做將使得復(fù)雜的大數(shù)據(jù)分析功能能夠被主流用戶和開發(fā)人員所使用，很多這類人員所在的企業(yè)缺乏具有必要專業(yè)技能的IT員工。

·繁瑣的開銷。對(duì)于很多IT專業(yè)人員而言，大數(shù)據(jù)分析管理和治理過(guò)程仍然過(guò)于孤立，不但成本高而且效率低。供應(yīng)商需要建立經(jīng)過(guò)預(yù)封裝的工作流程，幫助大批專業(yè)人才更有效、迅速、準(zhǔn)確地管理數(shù)據(jù)、元數(shù)據(jù)、分析和服務(wù)功能。

·過(guò)長(zhǎng)的流水線。大數(shù)據(jù)分析應(yīng)用開發(fā)和運(yùn)營(yíng)流水線仍然太耗時(shí)，而且是由人工完成的。供應(yīng)商需要加強(qiáng)工具的自動(dòng)化功能，以便提高用戶技術(shù)人員的工作效率，同時(shí)確保即使是技術(shù)能力不太高的人員也能處理復(fù)雜的任務(wù)。

·客戶應(yīng)用。大數(shù)據(jù)分析專業(yè)服務(wù)仍然是開發(fā)、部署和管理很多自定義應(yīng)用程序的基礎(chǔ)。對(duì)于跨混合云的數(shù)據(jù)驅(qū)動(dòng)應(yīng)用來(lái)說(shuō)，這一點(diǎn)尤其適用，因?yàn)檫@些應(yīng)用涉及到不同的平臺(tái)和工具，并包含了難以理解的復(fù)雜的數(shù)據(jù)過(guò)程。供應(yīng)商應(yīng)針對(duì)普通大數(shù)據(jù)分析應(yīng)用加強(qiáng)經(jīng)過(guò)預(yù)封裝的應(yīng)用內(nèi)容，同時(shí)給用戶提供自助服務(wù)和可視化工具，在沒(méi)有外部幫助的情況下也能夠完成具體的復(fù)雜業(yè)務(wù)邏輯。

對(duì)于企業(yè)IT，Wikibon的主要建議是開始將更多的大數(shù)據(jù)分析開發(fā)工作遷移到公有云環(huán)境中。這將有助于提高利用亞馬遜網(wǎng)絡(luò)服務(wù)、微軟、谷歌、IBM和其他公有云提供商提供的快速成熟、低成本服務(wù)的能力。企業(yè)應(yīng)該考慮構(gòu)建企業(yè)混合云，以確保在未來(lái)幾年順利過(guò)渡到公有云。

James Kobielus是SiliconAngle Wikibon的人工智能、數(shù)據(jù)科學(xué)以及應(yīng)用開發(fā)首席分析師。

原文網(wǎng)址

https：//www.infoworld.com/article/3261145/big-data/big-data-analytics-the-cloud-fueled-shift-now-under-way.html