Kevin Xu

中國科技公司是典型的早期采用者—不是因?yàn)橼s時(shí)髦，而是確實(shí)有必要這么做?！爸袊揭?guī)模”讓中國的互聯(lián)網(wǎng)經(jīng)濟(jì)成為了高質(zhì)量軟件，特別是基礎(chǔ)設(shè)施軟件工程的成長沃土，這在開源技術(shù)上得到了充分體現(xiàn)。國內(nèi)開發(fā)者和企業(yè)向各大開源基金會(huì)貢獻(xiàn)了越來越多的開源項(xiàng)目，而我們對(duì)國外的開源項(xiàng)目也產(chǎn)生了越來越大的影響。

我87歲的祖母住在沈陽郊區(qū)的一所老房子里。雖然她年歲已高，但卻很有技術(shù)悟性。平常她會(huì)用京東、拼多多、淘寶等App進(jìn)行網(wǎng)購。這三個(gè)App剛好是由中國電商市場(chǎng)的三巨頭開發(fā)的，其規(guī)模遠(yuǎn)遠(yuǎn)超出了千禧一代和Z世代的受眾總和。

購物節(jié)狂歡

電子商務(wù)是中國互聯(lián)網(wǎng)經(jīng)濟(jì)增長最快的垂直領(lǐng)域之一，同時(shí)也帶動(dòng)了數(shù)字支付和物流配送的發(fā)展?；A(chǔ)設(shè)施技術(shù)在這一領(lǐng)域經(jīng)受了最為殘酷的考驗(yàn)。

“雙11”是最為典型的案例，這是由阿里巴巴提出的一個(gè)網(wǎng)購節(jié)日，每年的11月11 日，淘寶和天貓都會(huì)如期慶祝這個(gè)節(jié)日。2017年“雙11”總銷售額為253億美元，2018年增長到了308億美元。

中國第二大電子商務(wù)平臺(tái)京東也有自己的年中購物節(jié)，即“618”，這是一個(gè)為期18天的促銷活動(dòng)，截至6月18日，這天剛好是京東的成立紀(jì)念日。2017年，618的總銷售額為176億美元，2018年增長到了284億美元。

美國亞馬遜的年中購物節(jié)Prime Day在2018年和2017年分別創(chuàng)造了41.9億美元和24.1億美元的銷售額。美國感恩節(jié)購物季在2018年和2017年的銷售額分別為178億美元和196.2億美元。

對(duì)于工程師來說，有趣的不是令人瞠目結(jié)舌的銷售數(shù)據(jù)，而是如何構(gòu)建可以應(yīng)對(duì)這些工作負(fù)載的基礎(chǔ)設(shè)施。

2017年，阿里巴巴公布了“雙11”期間系統(tǒng)的高峰吞吐量：每秒25.6萬筆交易和每秒4200 萬次查詢。

不難想象，在這些促銷活動(dòng)期間，肯定會(huì)不可避免地出現(xiàn)大量的事務(wù)、查詢、數(shù)據(jù)一致性問題、實(shí)時(shí)分析容量和其他難以想象的邊緣情況。

除了這些公司，所有其他想要搭上這些促銷活動(dòng)順風(fēng)車的電子商務(wù)公司、所有為用戶在線購物提供電子支付解決方案的銀行，以及所有的物流中心和倉儲(chǔ)中心—他們都需要有好的基礎(chǔ)設(shè)施技術(shù)來應(yīng)對(duì)新的工作負(fù)載和流量增長。

由于這種增長速度，以及由此產(chǎn)生的競(jìng)爭壓力，中國科技公司在采用新技術(shù)方面具有相當(dāng)強(qiáng)的風(fēng)險(xiǎn)承受能力。

一家公司找到合適的產(chǎn)品市場(chǎng)，然后在不到兩個(gè)月的時(shí)間內(nèi)采用未經(jīng)證實(shí)但很有前景的新技術(shù)為高速增長的流量提供服務(wù)，這種事情并非聞所未聞。

京東在2016年初開始采用Kubernetes，當(dāng)時(shí)離谷歌開源Kubernetes還不到一年的時(shí)間，因?yàn)樗麄儽仨毥鉀Q可伸縮性問題，而OpenStack沒能幫他們實(shí)現(xiàn)這一目標(biāo)。目前，京東擁有全球最大的Kubernetes集群，運(yùn)行在2萬臺(tái)裸機(jī)上。

更大的規(guī)模，更大的責(zé)任

中國擁有世界上最多的互聯(lián)網(wǎng)用戶，而龐大的用戶規(guī)模也帶來了不可預(yù)知的行為，這種不可預(yù)知的行為也促使科技公司必須認(rèn)真對(duì)待每一項(xiàng)技術(shù)。而生存下來的技術(shù)會(huì)變得更強(qiáng)大、更有彈性，也更值得被用在其他地方。

但是很多行為是不可能在構(gòu)建模式下進(jìn)行預(yù)測(cè)或測(cè)試的。如何通過Paxos或Raft來模擬系統(tǒng)達(dá)到100倍查詢峰值時(shí)的網(wǎng)絡(luò)流量？當(dāng)一件商品、一首歌或一段視頻突然變得像病毒一樣迅速傳播，所有用戶都在試圖訪問它們，而更糟糕的是，有價(jià)值的廣告收入取決于系統(tǒng)不能崩潰。在這種情況下，你該如何處理數(shù)據(jù)熱點(diǎn)問題？當(dāng)數(shù)據(jù)增長率為每天數(shù)TB時(shí)，應(yīng)該如何擴(kuò)展存儲(chǔ)容量？

所有這些情況，在很多中國科技公司中時(shí)有發(fā)生。他們正在迅速地尋找新的解決方案，以迎接這些挑戰(zhàn)—這為考驗(yàn)這些創(chuàng)新技術(shù)提供了一片沃土。

“中國式規(guī)?！币呀?jīng)催生了一些由中國原創(chuàng)的基礎(chǔ)設(shè)施技術(shù)。去年，云原生計(jì)算基金會(huì)（CNCF）接受了其中的三個(gè)項(xiàng)目：Harbor、TiKV 和DragonFly。

由螞蟻金服開發(fā)的分布式關(guān)系數(shù)據(jù)庫，最初用于支持支付寶。支付寶在中國已經(jīng)無處不在。此后，OceanBase逐漸成為阿里巴巴所有關(guān)鍵電子商務(wù)平臺(tái)（如淘寶和天貓）的核心交易數(shù)據(jù)庫。它也是一個(gè)獨(dú)立的產(chǎn)品，南京銀行就是它的用戶之一。

2014年以來，它經(jīng)歷了五次“雙11”的考驗(yàn)。可惜的是，它是一個(gè)閉源產(chǎn)品，在中國以外沒有得到廣泛采用，所以與其架構(gòu)、設(shè)計(jì)或工程方面相關(guān)的信息并不多。

一個(gè)開源的、兼容MySQL的NewSQL分布式數(shù)據(jù)庫，由PingCAP于2015年創(chuàng)建。它采用了分層架構(gòu)，SQL處理層（左邊的TiDB集群）和可水平伸縮的存儲(chǔ)層（中間的TiKV集群）被分隔開來。（注：TiKV也由PingCAP發(fā)起，但現(xiàn)在由CNCF托管）。這個(gè)設(shè)計(jì)靈感來自于谷歌的Spanner和基于Spanner構(gòu)建的F1項(xiàng)目。

PD（Placement Driver）集群保存元數(shù)據(jù)，提供一些負(fù)載均衡支持，并提供時(shí)間戳（作為系統(tǒng)事務(wù)模型的一部分）。TiSpark集群是一個(gè)可選組件，用戶可以直接基于保存在TiKV中的數(shù)據(jù)運(yùn)行Spark作業(yè)。

此外，PingCAP現(xiàn)已提供TiDB的企業(yè)版和云服務(wù)，同時(shí)也在維護(hù)開源社區(qū)版本。目前，中國已經(jīng)有幾百家公司在生產(chǎn)環(huán)境中部署了 TiDB，如摩拜、北京銀行和愛奇藝。國外也有一些大型互聯(lián)網(wǎng)公司使用了TiDB，如Shopee和 BookMyShow。

一個(gè)快速的OLAP（在線分析處理）引擎，最初由eBay中國團(tuán)隊(duì)開發(fā)，在2014年貢獻(xiàn)給 Apache基金會(huì)，并在2015年底成為頂級(jí)項(xiàng)目。Kylin主要被用在Hadoop生態(tài)系統(tǒng)中，為數(shù)百億行數(shù)據(jù)的分析查詢帶來可觀的速度提升。

用戶先定義數(shù)據(jù)模型，然后利用Hadoop的分布式特性并行運(yùn)行多個(gè)MapReduce作業(yè)，用以預(yù)構(gòu)建必要的多維模型（也稱為“MOLAP”）。最后，Kylin將預(yù)先計(jì)算的模型存儲(chǔ)在HBase中，供用戶查詢。它還使用Zookeeper來協(xié)調(diào)和管理這個(gè)過程的不同部分。

作為大數(shù)據(jù)分析引擎，Kylin集成了 Tableau、MicroStrategy、Excel等流行的BI 工具。它還提供了一個(gè)RESTful API，方便與第三方應(yīng)用程序連接。除了eBay，它還在OPPO、百度、中國太平洋保險(xiǎn)等公司經(jīng)受過實(shí)戰(zhàn)考驗(yàn)，三星和摩根大通也是它的用戶。

一個(gè)相對(duì)較新的開源應(yīng)用程序性能監(jiān)控（APM）工具，用于在基于容器的環(huán)境中監(jiān)控微服務(wù)。2017年底，它成為Apache基金會(huì)的孵化器項(xiàng)目。

Skywalking通過服務(wù)網(wǎng)格從微服務(wù)中提取指標(biāo)，并利用Jaeger等流行工具來跟蹤信息，并可以查詢和分析這些指標(biāo)和信息，還可以使用團(tuán)隊(duì)開發(fā)的UI進(jìn)行可視化。它還提供了一個(gè)可插拔的存儲(chǔ)接口，借助這個(gè)接口，可以將信息保存在一些流行的數(shù)據(jù)庫中，比如 Elasticsearch、MySQL和TiDB。

盡管這個(gè)項(xiàng)目成立還不到兩年，但中國的一些大型公司已經(jīng)在使用它，如華為、小米和貝殼等。

中國之外

除了本土技術(shù)，國外的一些技術(shù)也有了“中國式規(guī)?！钡奈兜?。

京東是Prometheus、Vitesse、Jenkins和GitLab等技術(shù)的用戶，百度是CockroachDB（另一個(gè)受Spanner啟發(fā)的開源數(shù)據(jù)庫，類似于 TiDB）的用戶。Alluxio，一個(gè)分布式文件系統(tǒng)統(tǒng)一層，可以以內(nèi)存速度運(yùn)行（源自加州大學(xué)伯克利分校AMPLab的一個(gè)名為Tachyon的研究項(xiàng)目），也在百度、中國聯(lián)通和滴滴出行等企業(yè)中得到采用。

中國公司不僅在大規(guī)模采用這些技術(shù)，有時(shí)候甚至直接收購它們。

開源數(shù)據(jù)流平臺(tái)Apache Flink由柏林技術(shù)大學(xué)于2009年創(chuàng)建，作為Stratosphere研究項(xiàng)目的一部分。而阿里巴巴最終收購了由Flink 創(chuàng)始人創(chuàng)辦的dataArtisan。

有價(jià)值的權(quán)衡？

作為工程師，我們知道沒有什么技術(shù)是絕對(duì)的，它們總是存在權(quán)衡。我們總是在吞吐量和延遲、數(shù)據(jù)一致性和響應(yīng)時(shí)間、新特性和系統(tǒng)穩(wěn)定性之間做出權(quán)衡。我們很少能魚與熊掌兼得，我們也不相信把自己標(biāo)榜得太高的技術(shù)。

市場(chǎng)的選擇也是如此。在中國互聯(lián)網(wǎng)經(jīng)濟(jì)大環(huán)境中，有一些問題一定要考慮到，特別是信息審查方面的問題。

比如，對(duì)侵犯知識(shí)產(chǎn)權(quán)行為的法律追索仍然不太可靠，有關(guān)企業(yè)使用個(gè)人數(shù)據(jù)的監(jiān)管尚處于初級(jí)階段。但如果你是一名開發(fā)者，正在尋找一些穩(wěn)定可靠的技術(shù)，那么那些已經(jīng)在中國互聯(lián)網(wǎng)環(huán)境中經(jīng)受過實(shí)戰(zhàn)考驗(yàn)的技術(shù)將是安全的選擇。