陳振華

2016年1月20日，2016云棲大會(huì)-上海蜂會(huì)在上?？萍拣^舉行，阿里云展示新產(chǎn)品，計(jì)DT未來的體驗(yàn)再次觸手可及。

羅金鵬飛快敲擊鍵盤的節(jié)奏被電話打亂了。他接到的是一通測試報(bào)警電話，這說明數(shù)據(jù)在測試的時(shí)候可能出現(xiàn)了異常。他停下手中的活，立馬去處理這個(gè)異常。

這就是羅金鵬每天的工作狀態(tài)。他是阿里巴巴數(shù)據(jù)技術(shù)及產(chǎn)品部高級(jí)技術(shù)專家。像他這樣從事著看似枯燥卻非常重要的工作的工程師，在阿里巴巴有數(shù)千。

正是這些技術(shù)人員日復(fù)一日的謹(jǐn)慎小心，才保障了這個(gè)中國最大的電商平臺(tái)的正常運(yùn)行，使之可以實(shí)現(xiàn)2016財(cái)年電商交易額突破3萬億元這一里程碑式的業(yè)績。

這些技術(shù)人員所維護(hù)的，可能是這個(gè)時(shí)代最復(fù)雜、運(yùn)算量最大的系統(tǒng)之一。在這個(gè)系統(tǒng)上，大數(shù)據(jù)和云計(jì)算成為最鮮活的技術(shù)手段。

包括阿里巴巴在內(nèi)的所有電商平臺(tái)，也是依托著這些最先進(jìn)的技術(shù)不斷拓展輻射的深度和廣度，不斷地開辟藍(lán)海。

“今天，我們把大數(shù)據(jù)和云計(jì)算定位成一個(gè)商業(yè)的基礎(chǔ)設(shè)施。但大數(shù)據(jù)成為新經(jīng)濟(jì)的石油，云計(jì)算成為新經(jīng)濟(jì)的引擎，真正產(chǎn)生成果，還需要一個(gè)過程?！卑⒗锇桶图瘓F(tuán)CEO張勇告訴《瞭望東方周刊》。

當(dāng)他們?cè)谥袊@個(gè)巨大的市場和消費(fèi)人群中歷練過后，電商平臺(tái)的技術(shù)實(shí)力，已經(jīng)不僅僅能夠?yàn)樽约禾峁┓?wù)，也已具備了輸出的可能性。

“互聯(lián)網(wǎng)成為基礎(chǔ)設(shè)施，數(shù)據(jù)成為生產(chǎn)資料，而計(jì)算成為公共服務(wù)。通過數(shù)據(jù)和計(jì)算，拓展全新的領(lǐng)域，才是數(shù)據(jù)產(chǎn)生價(jià)值更重要的發(fā)展方向。”阿里巴巴集團(tuán)CTO王堅(jiān)在接受《瞭望東方周刊》采訪時(shí)表示。

實(shí)際上，技術(shù)的發(fā)展可以分為三步：首先是為了保障系統(tǒng)的運(yùn)轉(zhuǎn)正常;第二步，是從大數(shù)據(jù)中挖掘商業(yè)規(guī)律和價(jià)值，為商業(yè)判斷提供參考;第三步，則是挖掘出大數(shù)據(jù)潛在的價(jià)值，并對(duì)外輸出技術(shù)能力，用技術(shù)拓展商業(yè)的邊界。

確保峰值不崩潰

技術(shù)的最基礎(chǔ)功能，是保證系統(tǒng)正常運(yùn)行。但這對(duì)于天貓和淘寶這種日成交額動(dòng)輒數(shù)十億元的電商平臺(tái)來說，并不是件簡單的事。

3月21日下午14時(shí)58分37秒，阿里巴巴中國零售交易市場2016財(cái)年商品交易即時(shí)總額累計(jì)突破3萬億元。

3萬億元背后的成交高峰，出現(xiàn)在“雙11”——當(dāng)天全天交易額達(dá)912.17億元，全天支付筆數(shù)達(dá)7.1億筆。

如此大規(guī)模的交易量和支付量，是對(duì)技術(shù)的“大考”。而最難的“題”，則是確保峰值來臨時(shí)不能崩潰。

“‘雙11之所以能順利通過考驗(yàn)，靠的是阿里巴巴多年的技術(shù)沉淀，有賴于4個(gè)主要技術(shù)單元的通力合作。在當(dāng)天其實(shí)最緊張的就是技術(shù)支持團(tuán)隊(duì)，面對(duì)那么大的交易洪峰，一點(diǎn)差錯(cuò)都不能出?！蓖鯃?jiān)說。

在阿里巴巴主要的4個(gè)技術(shù)單元中，數(shù)據(jù)技術(shù)及產(chǎn)品部是負(fù)責(zé)將數(shù)據(jù)進(jìn)行流式計(jì)算并實(shí)時(shí)呈現(xiàn)在媒體大屏幕上的關(guān)鍵團(tuán)隊(duì)。

在“雙11”之前，這個(gè)團(tuán)隊(duì)與上下游技術(shù)團(tuán)隊(duì)共同進(jìn)行了數(shù)十次大大小小的壓力測試。只有通過最嚴(yán)苛的壓力測試，才能保障雙十一期間的系統(tǒng)性能和穩(wěn)定性。

當(dāng)天00：05：01，阿里巴巴系統(tǒng)交易創(chuàng)建達(dá)到14萬筆/秒的峰值;00：09：02，支付量達(dá)到8.59萬筆/秒峰值。在2015年的“雙11”，共有超過200家銀行與支付寶共同支撐了支付洪峰。

這是什么概念？Visa在實(shí)驗(yàn)室測試的支付峰值是5.6萬筆/秒，實(shí)際支付峰值是1.4萬筆/秒;而MasterCard實(shí)驗(yàn)室測試的支付峰值是4萬筆/秒。

從歷史數(shù)據(jù)來看，2015年的交易峰值，是2014年“雙11”交易峰值3.85萬筆/秒的2.23倍。而相比2009年的首屆“雙11”，訂單創(chuàng)建峰值增長了350倍，支付峰值增長了430倍。

從“坐車”到“造車”

2008年，中國的電子商務(wù)開始了井噴式發(fā)展。

在駛?cè)肟燔嚨赖耐瑫r(shí)，阿里巴巴也敏銳地意識(shí)到它可能會(huì)面臨的瓶頸——其購買的軟硬件已經(jīng)不能滿足交易的高速增長，因?yàn)楫?dāng)時(shí)的數(shù)據(jù)規(guī)模已經(jīng)超過了全球傳統(tǒng)軟硬件巨頭的技術(shù)極限。

一個(gè)更大的背景，是阿里巴巴IT發(fā)展策略的變更：從依賴“商業(yè)軟件”，到擁抱“開源軟件”，轉(zhuǎn)而靠自主創(chuàng)新，提升技術(shù)研發(fā)實(shí)力。

而這一變化，始于2008年王堅(jiān)加入阿里巴巴。

“成本降低是我們投入技術(shù)研發(fā)最先能夠看到的，因?yàn)橘徺I許可是非常貴的。但更重要的原因在于，以IOE 為代表的傳統(tǒng)IT企業(yè)架構(gòu)，無法滿足互聯(lián)網(wǎng)業(yè)務(wù)的極速擴(kuò)張，約束了企業(yè)長遠(yuǎn)的發(fā)展?！蓖鯃?jiān)總結(jié)道。

在王堅(jiān)看來，直面這一前所未有的挑戰(zhàn)，最好的解決方式是采用云計(jì)算。2009年，王堅(jiān)牽頭成立了阿里云。

阿里云的代表作之一便是超級(jí)計(jì)算引擎MaxCompute（原名ODPS）。2013年底，這一工具已經(jīng)開始支撐包括淘寶、天貓、支付寶、菜鳥等電商平臺(tái)所有的大數(shù)據(jù)業(yè)務(wù)。

不過，所有的新生事物都非一帆風(fēng)順，研發(fā)自有技術(shù)難度之大超乎想象，并且從一出生就在與外部的PK中殘酷成長。

阿里云大數(shù)據(jù)專家李淼告訴《瞭望東方周刊》，在2010?2011年，與業(yè)界開源產(chǎn)品Hadoop相比，它大概三四個(gè)小時(shí)就能做完的，MaxCompute可能需要近30個(gè)小時(shí)，毫無優(yōu)勢。

而現(xiàn)在，MaxCompute比Hadoop系統(tǒng)的處理速度要快數(shù)倍。2015年“雙11”之前不久，MaxCompute參加了排序基準(zhǔn)評(píng)估競賽SortBenchmark，把100TB數(shù)據(jù)的排序時(shí)間縮短到了377秒，而此前的紀(jì)錄是1406秒。MaxCompute獲得4項(xiàng)世界冠軍。

在加入阿里巴巴之前，李淼的頭發(fā)還是烏黑的，如今，他的頭發(fā)已經(jīng)花白。而阿里巴巴的“去IOE”行動(dòng)，被業(yè)界認(rèn)為是成功的。

“我們相當(dāng)于從坐車的變成自己造車。這種領(lǐng)先，有技術(shù)和架構(gòu)上的原因，但更多是技術(shù)經(jīng)驗(yàn)的積累，要一點(diǎn)一滴地不斷打磨?！崩铐蹈嬖V本刊記者。

這期間，阿里云的工程師對(duì)開源數(shù)據(jù)庫進(jìn)行了大量的升級(jí)工作，并于2015年1月進(jìn)入由Facebook、Google、Twitter和Linkedin四家公司發(fā)起的WebScaleSQL組織，開創(chuàng)了中國公司在全球開源項(xiàng)目中的先河。

除了不斷進(jìn)化地應(yīng)用他人已有的技術(shù)成果，阿里的自主研發(fā)技術(shù)也開始結(jié)出成果，用于替代開源數(shù)據(jù)庫的自主研發(fā)數(shù)據(jù)庫OceanBase開始應(yīng)用于支付寶。這是全球首個(gè)應(yīng)用在金融業(yè)務(wù)的分布式關(guān)系數(shù)據(jù)庫。

2014年，OceanBase承擔(dān)了支付寶10%的流量，而在2015年，它支撐了“雙11”時(shí)支付寶100%的核心交易流。目前，OceanBase已經(jīng)在支付寶、淘寶、天貓等多處使用。

在李淼看來，“對(duì)技術(shù)而言，金融系統(tǒng)的難度是最大、也是要求最高的。以前，技術(shù)的增長根本沒能力承擔(dān)這么大的業(yè)務(wù)量?！?/p>

實(shí)際上，阿里巴巴在2015年“雙11”期間所創(chuàng)造的紀(jì)錄，正是阿里云與淘寶、天貓、支付寶共同構(gòu)建的全球最大規(guī)模混合云實(shí)踐。

打破數(shù)據(jù)壁壘

在硬件和基礎(chǔ)技術(shù)準(zhǔn)備成熟后，用王堅(jiān)的話來說，就是對(duì)數(shù)據(jù)這一“生產(chǎn)資料”進(jìn)行價(jià)值生產(chǎn)。

而在此之前，阿里巴巴還率先做了業(yè)界的又一件大事。從2013年起，阿里云自主研發(fā)的MaxCompute開始成熟，阿里巴巴集團(tuán)自有的數(shù)據(jù)業(yè)務(wù)開始采用這一技術(shù)平臺(tái)，使之成為統(tǒng)一底層，該計(jì)劃取名為“登月計(jì)劃”。

漫長的“登月”，困難重重。

“大規(guī)模數(shù)據(jù)的搬遷，一定會(huì)出現(xiàn)小概率的數(shù)據(jù)丟失或損壞，就好像買彩票一定會(huì)有人中五百萬一樣，我們需要做的工作就是，把這個(gè)中了500萬的人規(guī)避掉?！崩铐嫡f。

“登月”之難還在于，需要校驗(yàn)數(shù)據(jù)的正確性。李淼打了個(gè)比方，比如復(fù)制100萬個(gè)視頻文檔，得保證不丟失，同時(shí)還得把這100萬個(gè)視頻全部打開，從第一秒看到最后一秒。

又因?yàn)榘⒗锇桶图瘓F(tuán)內(nèi)需要整合的業(yè)務(wù)數(shù)據(jù)單元太多了，于是這個(gè)計(jì)劃中就從“登月一號(hào)”取名，二號(hào)、三號(hào)，一直到數(shù)字排不下，換成字母排到xyz，最后排到登月Z1，Z2……

整個(gè)數(shù)據(jù)搬遷的過程，直到2015年年初才差不多結(jié)束。

羅金鵬告訴本刊記者，由于不同的數(shù)據(jù)源會(huì)造成格式或者邏輯上的差異，用戶使用起來成本非常高，并且容易造成資源上的浪費(fèi)。

“只有當(dāng)全集團(tuán)所有的數(shù)據(jù)放在一起，才能打通數(shù)據(jù)，進(jìn)而挖掘更多的價(jià)值?！绷_金鵬說，阿里數(shù)據(jù)技術(shù)及產(chǎn)品部建立的統(tǒng)一數(shù)據(jù)公共層，直接帶來數(shù)以億計(jì)的資源節(jié)約。

據(jù)他介紹，阿里巴巴的數(shù)據(jù)公共層分為離線數(shù)據(jù)公共層和實(shí)時(shí)數(shù)據(jù)公共層。此舉不僅帶來更為可控的成本，而且極大提高了下游分析人員使用數(shù)據(jù)的效率，也減少了數(shù)據(jù)質(zhì)量問題出現(xiàn)的頻率。

“我們以O(shè)neData體系建立的集團(tuán)數(shù)據(jù)公共層，從設(shè)計(jì)、開發(fā)、部署和使用上保障了數(shù)據(jù)口徑的規(guī)范和統(tǒng)一，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)全鏈路管理，提供標(biāo)準(zhǔn)數(shù)據(jù)輸出?！绷_金鵬說。

大數(shù)據(jù)如何賦能商業(yè)

對(duì)于電商平臺(tái)來說，大數(shù)據(jù)分析最直接的作用是描摹出用戶的特征和消費(fèi)偏好，更好地營銷。

典型的例子是淘寶的“千人千面”。

“每個(gè)買家登錄的淘寶頁面，都是不一樣的。‘千人千面看起來簡單，實(shí)際上的技術(shù)挑戰(zhàn)不小。我們根據(jù)用戶的不同數(shù)據(jù)，給他們打上不同的標(biāo)簽，再推薦出買家搜索過或與買家消費(fèi)能力和喜好匹配的不同商品?！绷_金鵬說。

據(jù)他介紹，目前標(biāo)簽有300多種，如此多的標(biāo)簽，都是為了更精準(zhǔn)地定位用戶，從而實(shí)現(xiàn)更好的精準(zhǔn)營銷。

“技術(shù)和業(yè)務(wù)的關(guān)系是相輔相成的。你能承受多大的業(yè)務(wù)體量，你的技術(shù)才能有多強(qiáng)大。也只有數(shù)據(jù)技術(shù)做好了，才能做好精準(zhǔn)營銷，為賣家提供更及時(shí)的策略，消費(fèi)者體驗(yàn)也能更好，自然也會(huì)反哺三萬億元的GMV增長?！绷_金鵬說。

據(jù)他介紹，他們已經(jīng)將阿里的數(shù)據(jù)能力通過產(chǎn)品對(duì)外孵化。目前已經(jīng)對(duì)商家提供的數(shù)據(jù)產(chǎn)品“生意參謀”，能提供多維度的數(shù)據(jù)服務(wù)，幫助商家通過數(shù)據(jù)分析來進(jìn)行商業(yè)決策。

“比如店鋪瀏覽量多少，從哪個(gè)入口進(jìn)來，不同區(qū)塊和圖片點(diǎn)擊量多少，成交量多少，可能喜歡什么東西等，為下一步的商業(yè)決策提供參考?！?/p>

在阿里巴巴的數(shù)據(jù)系統(tǒng)里，ID匹配月調(diào)用次數(shù)多達(dá)200多億次，ID畫像月調(diào)用次數(shù)近20億。而統(tǒng)一用戶畫像還依賴統(tǒng)一的用戶ID，這在阿里巴巴內(nèi)部代號(hào)為OneID。羅金鵬透露，在2016年，阿里巴巴數(shù)據(jù)技術(shù)及產(chǎn)品部下一個(gè)要攻克的難關(guān)是One ID。

“實(shí)現(xiàn)One ID，能讓廣告主能更精確的投放廣告，同時(shí)避免對(duì)用戶的過度騷擾。這項(xiàng)技術(shù)國內(nèi)外都沒有成熟的經(jīng)驗(yàn)可供借鑒，多是靠我們自己摸索?！绷_金鵬說。

王堅(jiān)的目光更長遠(yuǎn)，在他看來，2016年是數(shù)據(jù)元年。

“數(shù)據(jù)本身是沒有價(jià)值的，它需要開發(fā)和挖掘價(jià)值。就好像原油本身沒有用，經(jīng)過煉油才能為人類所用?！蓖鯃?jiān)對(duì)本刊記者說，現(xiàn)在，產(chǎn)生數(shù)據(jù)價(jià)值的技術(shù)已逐漸成熟了。

技術(shù)輸出時(shí)代來臨

阿里巴巴的技術(shù)實(shí)力已不僅僅為己所用。

當(dāng)技術(shù)已發(fā)展成熟到能很好地服務(wù)集團(tuán)內(nèi)部時(shí)，阿里巴巴就會(huì)將技術(shù)封裝成工具，通過阿里云這一平臺(tái)對(duì)外提供服務(wù)，這被稱為“技術(shù)對(duì)外開放”。

在2011年7月，阿里云自主研發(fā)的“飛天”開始以公共云計(jì)算服務(wù)的方式對(duì)外提供云計(jì)算商業(yè)服務(wù)。

2016年初，阿里云又發(fā)布了大數(shù)據(jù)平臺(tái)“數(shù)加”，對(duì)外開放阿里巴巴十余年累積的大數(shù)據(jù)技術(shù)。該平臺(tái)集合計(jì)算引擎、開發(fā)套件、可視化工具和行業(yè)解決方案，是全球首個(gè)囊括前、中、后臺(tái)的大數(shù)據(jù)一站式開發(fā)平臺(tái)。

阿里云的MaxCompute也已經(jīng)商用：12306網(wǎng)站用阿里云承接春運(yùn)高峰期75%的余票查詢流量;華大基因用阿里云進(jìn)行基因測序;螞蟻金服旗下的螞蟻小貸也是阿里云的客戶。

螞蟻小貸是王堅(jiān)看好的一個(gè)項(xiàng)目，它完全基于大數(shù)據(jù)，通過阿里巴巴平臺(tái)上積累的信用與行為數(shù)據(jù)，最終實(shí)現(xiàn)了“3分鐘申請(qǐng)、1秒放款、0人工干預(yù)、最小貸款額為1元”等多方面的金融借貸領(lǐng)域突破。

“除了挖掘傳統(tǒng)的數(shù)據(jù)價(jià)值，比如商業(yè)洞察、營銷推廣等，我認(rèn)為通過數(shù)據(jù)和云計(jì)算，拓展全新的領(lǐng)域，是數(shù)據(jù)產(chǎn)生價(jià)值更重要的發(fā)展方向?！蓖鯃?jiān)說。

這也是王堅(jiān)對(duì)阿里云的期待：成為輸出計(jì)算能力和大數(shù)據(jù)技術(shù)的平臺(tái)，為這些夢想要?jiǎng)?chuàng)新的“獨(dú)角獸們”提供更好的服務(wù)和支持。

云計(jì)算市場潛力巨大，阿里云先后擴(kuò)建了位于美國西岸和香港的數(shù)據(jù)中心，并將在美國東岸、中東、歐洲等地建立新的數(shù)據(jù)中心，不斷完善“全球網(wǎng)”布局。

2013年11月11凌晨，位于杭市的阿里巴巴集團(tuán)淘寶總部員工在崗位上忙碌

在2015年第四季度財(cái)報(bào)中，阿里云營收8.19億元，比去年同期增長126%，連續(xù)第三個(gè)季度保持三位數(shù)增長。

外界評(píng)論普遍認(rèn)為，云計(jì)算市場的第一梯隊(duì)已基本形成，并且會(huì)不斷固化。研究機(jī)構(gòu)IDC最新的統(tǒng)計(jì)數(shù)據(jù)顯示，截至2015年上半年，全球公共云計(jì)算市場占有率最高的前五家服務(wù)商分別為亞馬遜、微軟、IBM、RackSpace和阿里云。

有業(yè)內(nèi)人士認(rèn)為，云計(jì)算全球市場或已形成“3A鼎立”的格局（AWS、Aliyun、Azure）。

而在王堅(jiān)看來，計(jì)算能力或?qū)⒊蔀槠髽I(yè)乃至國家的核心競爭力。

“在未來，我們?cè)u(píng)估一個(gè)國家或企業(yè)的發(fā)展時(shí)，可能不是看消耗了多少電，多少石油，而是看消耗了多少計(jì)算能力，從數(shù)據(jù)中挖掘了多少價(jià)值。計(jì)算經(jīng)濟(jì)，是實(shí)現(xiàn)彎道超車非常重要的機(jī)遇。”王堅(jiān)說。