騰訊科技網(wǎng)絡(luò)平臺(tái)部網(wǎng)絡(luò)解決方案架構(gòu)師 | 馬志強(qiáng)

互聯(lián)網(wǎng)公司新一代骨干網(wǎng)架構(gòu)探析

騰訊科技網(wǎng)絡(luò)平臺(tái)部網(wǎng)絡(luò)解決方案架構(gòu)師 | 馬志強(qiáng)

信息的爆炸式增長(zhǎng)已使互聯(lián)網(wǎng)公司的現(xiàn)有網(wǎng)絡(luò)架構(gòu)難以適應(yīng)形勢(shì)的發(fā)展，試探自建新型的骨干網(wǎng)成為新的焦點(diǎn)。

互聯(lián)網(wǎng)上有兩大主要元素“內(nèi)容和眼球”，“內(nèi)容”是互聯(lián)網(wǎng)公司（或稱ICP）提供的網(wǎng)絡(luò)服務(wù)，如網(wǎng)頁(yè)、游戲、即時(shí)通信等，“眼球”則是指海量的互聯(lián)網(wǎng)用戶。“內(nèi)容”與“眼球”之間的橋梁是網(wǎng)絡(luò)運(yùn)營(yíng)商?；ヂ?lián)網(wǎng)公司的內(nèi)容分布在運(yùn)營(yíng)商多地的IDC中，二者的合作密不可分。但信息爆炸使得網(wǎng)絡(luò)資源日趨緊張，互聯(lián)網(wǎng)公司與運(yùn)營(yíng)商之間的緊耦合關(guān)系弊端日益增多，嘗試新型網(wǎng)絡(luò)架構(gòu)的自建模式成為互聯(lián)網(wǎng)企業(yè)的最新關(guān)注點(diǎn)。

國(guó)內(nèi)互聯(lián)網(wǎng)公司的網(wǎng)絡(luò)架構(gòu)

互聯(lián)網(wǎng)公司主要是根據(jù)用戶服務(wù)體驗(yàn)的覆蓋經(jīng)驗(yàn)，向運(yùn)營(yíng)商租用IDC機(jī)架和網(wǎng)絡(luò)出口資源，在不同的運(yùn)營(yíng)商、不同的省份/城市，批量部署業(yè)務(wù)服務(wù)器對(duì)外提供服務(wù)，并為業(yè)務(wù)模塊間通信而建立IDC內(nèi)部網(wǎng)絡(luò)、城域網(wǎng)和廣域網(wǎng)，同時(shí)通過(guò)自建CDN或CDN專業(yè)服務(wù)公司對(duì)服務(wù)盲點(diǎn)進(jìn)行覆蓋。其網(wǎng)絡(luò)架構(gòu)如圖1所示。

IDC網(wǎng)絡(luò)通常用于承載上千臺(tái)服務(wù)器的通信，滿足日益增多的東西向通信需求，要求扁平化、易擴(kuò)展，現(xiàn)階段較為流行的架構(gòu)方式為CLOS架構(gòu)，以“核心＋接入”的方式提供上千臺(tái)服務(wù)器的網(wǎng)絡(luò)接入，甚至無(wú)阻塞通信。

城域網(wǎng)主要是應(yīng)分布在多個(gè)IDC中業(yè)務(wù)之間需要通信而產(chǎn)生的，通常由于其以匯聚出口帶寬為主要目的，采用大容量的以太網(wǎng)交換設(shè)備、通過(guò)租用運(yùn)營(yíng)商裸光纖實(shí)現(xiàn)互聯(lián)，更有超前的互聯(lián)網(wǎng)公司出于提高網(wǎng)絡(luò)可靠性和質(zhì)量、降低投資成本等考慮，自行鋪設(shè)DWDM傳輸系統(tǒng)，基本上打造了運(yùn)營(yíng)商級(jí)別的傳輸系統(tǒng)。

廣域網(wǎng)主要是由于跨全國(guó)部署業(yè)務(wù)，滿足業(yè)務(wù)模塊間內(nèi)網(wǎng)通信需求而鋪設(shè)的長(zhǎng)途網(wǎng)絡(luò)，廣域網(wǎng)的范圍和網(wǎng)絡(luò)帶寬視互聯(lián)網(wǎng)公司業(yè)務(wù)規(guī)模和覆蓋模式不同而不同，有些互聯(lián)網(wǎng)公司業(yè)務(wù)眾多且部署范圍廣，那么通過(guò)租用運(yùn)營(yíng)商長(zhǎng)途線路，組建2.5G/10G級(jí)別的廣域骨干網(wǎng)就非常重要。

CDN的形式有兩種，一是自建；二是外包，將CDN選址、網(wǎng)絡(luò)鋪設(shè)、服務(wù)器部署、CDN分發(fā)系統(tǒng)交由服務(wù)公司完成，雙方僅需簽訂服務(wù)合同。CDN是互聯(lián)網(wǎng)通過(guò)IDC之外改善用戶體驗(yàn)的一種補(bǔ)充，對(duì)視頻、下載等業(yè)務(wù)具有非常重要的作用。

現(xiàn)有架構(gòu)面臨三大瓶頸

圖1 互聯(lián)網(wǎng)公司網(wǎng)絡(luò)架構(gòu)圖

在現(xiàn)有的架構(gòu)下，內(nèi)部基礎(chǔ)設(shè)施不僅要支持大規(guī)模服務(wù)器和網(wǎng)絡(luò)建設(shè)，更要能以更低、更精簡(jiǎn)的團(tuán)隊(duì)保障其良好運(yùn)營(yíng)，因此需對(duì)架構(gòu)重新審視。同時(shí)，外部環(huán)境的變化，如運(yùn)營(yíng)商IDC資源供給速度放緩、運(yùn)營(yíng)商網(wǎng)絡(luò)擴(kuò)容速度緩慢且網(wǎng)絡(luò)質(zhì)量不穩(wěn)定、全球IPv4地址耗盡等，都要求我們對(duì)互聯(lián)網(wǎng)公司下一代網(wǎng)絡(luò)架構(gòu)進(jìn)行認(rèn)真思考。

IDC資源日益匱乏

在飛速發(fā)展的互聯(lián)網(wǎng)時(shí)代，ICP面臨激烈競(jìng)爭(zhēng)，公司業(yè)務(wù)要求“敏捷迭代、小步快跑”，對(duì)IDC資源、網(wǎng)絡(luò)資源的供給量要求非常大，同時(shí)供給速度必須保障足夠快，可稱之為“爆發(fā)式需求”。以某互聯(lián)網(wǎng)公司為例，2011年其服務(wù)器新建量就已與此前的服務(wù)器總量持平；再以某互聯(lián)網(wǎng)公司的合作伙伴業(yè)務(wù)服務(wù)器需求量為例，短短3個(gè)月時(shí)間里，其業(yè)務(wù)服務(wù)器需求量從0激增到了1000多臺(tái)，這給IDC機(jī)房、服務(wù)器、網(wǎng)絡(luò)帶寬等基礎(chǔ)設(shè)施造成了巨大沖擊。

在現(xiàn)有IDC供給模式和網(wǎng)絡(luò)架構(gòu)下，需大量向運(yùn)營(yíng)商租用IDC資源（機(jī)房、服務(wù)器機(jī)架、網(wǎng)絡(luò)出口帶寬等），但從東南沿海到中西部城市，可快速批量供應(yīng)的IDC數(shù)量并不充足，再加上長(zhǎng)達(dá)3個(gè)月的建設(shè)周期，基本上無(wú)法滿足業(yè)務(wù)的爆發(fā)式需求。從現(xiàn)實(shí)情況看，IDC資源已成為互聯(lián)網(wǎng)公司業(yè)務(wù)發(fā)展瓶頸。

所以我們需要探討更好的網(wǎng)絡(luò)架構(gòu)，以更快速支撐業(yè)務(wù)覆蓋。

運(yùn)營(yíng)商網(wǎng)絡(luò)強(qiáng)耦合困境

互聯(lián)網(wǎng)公司基本上不會(huì)通過(guò)一個(gè)運(yùn)營(yíng)商的IDC覆蓋全國(guó)用戶，因?yàn)楝F(xiàn)實(shí)情況是，國(guó)內(nèi)運(yùn)營(yíng)商網(wǎng)絡(luò)間互聯(lián)互通質(zhì)量不容樂(lè)觀。

即便是想在同一個(gè)運(yùn)營(yíng)商內(nèi)，挑選優(yōu)質(zhì)的運(yùn)營(yíng)商省網(wǎng)/城域網(wǎng)的IDC進(jìn)行業(yè)務(wù)部署，用于覆蓋該運(yùn)營(yíng)商全國(guó)用戶，也并非易事，因?yàn)楹芏噙\(yùn)營(yíng)商省網(wǎng)/城域網(wǎng)發(fā)展并不均衡，擴(kuò)容速度慢，通常以半年/年為擴(kuò)容周期，省網(wǎng)/城域網(wǎng)出口帶寬、骨干網(wǎng)鏈路帶寬利用率普遍偏高，一旦長(zhǎng)途傳輸鏈路中斷，必然會(huì)導(dǎo)致骨干鏈路擁塞，通信時(shí)延和丟包率急劇上升。

所以對(duì)于互聯(lián)網(wǎng)公司而言，用一個(gè)省網(wǎng)/城域網(wǎng)的IDC來(lái)覆蓋用戶，一旦遇到運(yùn)營(yíng)商網(wǎng)絡(luò)質(zhì)量波動(dòng)，基本上業(yè)務(wù)就會(huì)受到影響，而互聯(lián)網(wǎng)公司業(yè)務(wù)和網(wǎng)絡(luò)架構(gòu)本身沒(méi)有手段可以進(jìn)行冗余規(guī)避，只能等待運(yùn)營(yíng)商網(wǎng)絡(luò)故障盡快恢復(fù)。

所以同樣，我們需要探索更好的網(wǎng)絡(luò)架構(gòu)，以擺脫對(duì)運(yùn)營(yíng)商網(wǎng)絡(luò)的強(qiáng)耦合依賴關(guān)系。

出口資源和IPv4資源緊縮

互聯(lián)網(wǎng)公司提供服務(wù)主要是通過(guò)租用租用運(yùn)營(yíng)商IDC機(jī)架、網(wǎng)絡(luò)出口、合法IP地址等資源。具體租用模式隨運(yùn)營(yíng)商和互聯(lián)網(wǎng)公司規(guī)模、雙方合作緊密程度等有所不同，通常租用IDC機(jī)架和網(wǎng)絡(luò)出口配備2～3個(gè)C甚至更多的合法IPv4地址。

然而全球合法IPv4地址正日益緊缺。2011年2月，IAIA宣布不再有任何IPv4地址可分配給五大區(qū)域互聯(lián)網(wǎng)注冊(cè)管理機(jī)構(gòu)，而運(yùn)營(yíng)商骨干網(wǎng)、省網(wǎng)/城域網(wǎng)留存的合法IPv4地址數(shù)量預(yù)計(jì)也僅能堅(jiān)持到2012年上半年，運(yùn)營(yíng)商開(kāi)始收緊合法IPv4地址的發(fā)放。屆時(shí)，互聯(lián)網(wǎng)公司能否在國(guó)家政策、運(yùn)營(yíng)商整體改造就緒的情況下迅速向IPv6轉(zhuǎn)型，根據(jù)目前的趨勢(shì)判斷并不樂(lè)觀，勢(shì)必會(huì)面臨商務(wù)成本挑戰(zhàn)，合法IPv4地址的使用成本必將提升，而不是像現(xiàn)在一樣隨帶寬附帶購(gòu)買或收取稍許費(fèi)用。

所以，互聯(lián)網(wǎng)公司在國(guó)內(nèi)國(guó)際的IDC出口網(wǎng)絡(luò)使用自行申請(qǐng)的合法IPv4地址與運(yùn)營(yíng)商進(jìn)行BGP路由互聯(lián)，某種程度上可以緩解IPv4地址的壓力，但這無(wú)法從根本上解決IPv4地址稀缺的問(wèn)題，而且互聯(lián)網(wǎng)公司通常擁有的合法IPv4地址數(shù)量并不多，所以全新的骨干網(wǎng)絡(luò)或互聯(lián)模式或許不能完全或長(zhǎng)期解決IPv4地址不足的問(wèn)題。

骨干網(wǎng)架構(gòu)創(chuàng)新需求猛增

隨著互聯(lián)網(wǎng)公司及其業(yè)務(wù)的蓬勃發(fā)展，成本并不一定作為第一要素進(jìn)行考慮，更多從更好地面向用戶提供服務(wù)、改善用戶體驗(yàn)等方面出發(fā)。要緩解IDC資源、網(wǎng)絡(luò)等面臨的巨大壓力，必然要通過(guò)更加靈活的方式進(jìn)行構(gòu)建，擁有自己強(qiáng)健的骨干網(wǎng)絡(luò)，有能力承擔(dān)為改善用戶體驗(yàn)而迂回流量，在運(yùn)營(yíng)商網(wǎng)絡(luò)出現(xiàn)質(zhì)量下降時(shí)保障用戶服務(wù)的牽引流量，逐步走向ICP和ISP的混合體，這期間構(gòu)建成本的適當(dāng)增加是可預(yù)見(jiàn)的。

從技術(shù)的角度看，互聯(lián)網(wǎng)公司首先要擁有合法的AS號(hào)碼和IP地址，其次通過(guò)租用城域或長(zhǎng)途專線構(gòu)建自己的骨干網(wǎng)絡(luò)，我們稱之為ICP Internet Backbone，這區(qū)別于用于業(yè)務(wù)內(nèi)部交互用的城域網(wǎng)和廣域網(wǎng)（當(dāng)然，最終的組網(wǎng)模式可以是單獨(dú)的物理骨干網(wǎng)絡(luò)，也可以是在現(xiàn)有城域網(wǎng)和廣域網(wǎng)的基礎(chǔ)上形成的業(yè)務(wù)承載網(wǎng)，邏輯上形成單獨(dú)的骨干網(wǎng)），其特點(diǎn)是帶寬需求量大。另外更重要的是有能力，包括業(yè)務(wù)規(guī)模、業(yè)務(wù)吸引力、商務(wù)洽談等多方面能力，實(shí)現(xiàn)與運(yùn)營(yíng)商的BGP協(xié)議互聯(lián)，當(dāng)然這個(gè)過(guò)程可以從與中小型運(yùn)營(yíng)商的互聯(lián)做起，隨著能力的增強(qiáng)逐步實(shí)現(xiàn)與大型運(yùn)營(yíng)商的互聯(lián)，或者通過(guò)IXP、NAP點(diǎn)等提供Public Peering的互聯(lián)點(diǎn)做起都可以，典型的例子就是Google（在大中型IXP的客戶列表中，Google常以自有AS號(hào)碼與ISP進(jìn)行對(duì)等互聯(lián)）。

自建模式大幅降低成本

很多互聯(lián)網(wǎng)公司的同仁仍然堅(jiān)信按照既有的“資源多點(diǎn)部署模式”，也就是在各處部署服務(wù)器資源更加合算。

在此模式下，如圖2所示，在運(yùn)營(yíng)商A城域網(wǎng)IDC部署業(yè)務(wù)X和Y，可輕松滿足城域網(wǎng)A或周邊省網(wǎng)/城域網(wǎng)的用戶訪問(wèn)需求，如果要滿足省網(wǎng)/城域網(wǎng)B的通信需求，則需依賴于運(yùn)營(yíng)商城域網(wǎng)A和城域網(wǎng)B之間骨干網(wǎng)絡(luò)的帶寬情況、利用率情況、擴(kuò)容頻度、穩(wěn)定性情況等諸多因素，如果用戶體驗(yàn)不好，就需在城域網(wǎng)B的IDC中部署同樣一套的業(yè)務(wù)X和Y。對(duì)于互聯(lián)網(wǎng)公司而言，這里的成本就是在城域網(wǎng)B的IDC中部署業(yè)務(wù)X和Y所需的機(jī)架、服務(wù)器等方面的成本。

根據(jù)我們的經(jīng)驗(yàn)，這種模式的初始投資比較大，包括租用機(jī)架費(fèi)用、服務(wù)器費(fèi)用，長(zhǎng)期投資包括機(jī)架電力費(fèi)用、運(yùn)行維護(hù)費(fèi)用等。

圖2 資源多點(diǎn)部署模式

但是，如果采用“自建骨干網(wǎng)模式”（圖3），其差異在于如圖紅星標(biāo)出的位置，互聯(lián)網(wǎng)公司的IDC外網(wǎng)部分通過(guò)自己的骨干網(wǎng)互聯(lián)，各IDC仍然保持與運(yùn)營(yíng)商的互聯(lián)，形成多出口互聯(lián)的模式，并不要求IDC A和B部署的業(yè)務(wù)完全一樣，運(yùn)營(yíng)商用戶對(duì)不同業(yè)務(wù)的訪問(wèn)，完全可以通過(guò)互聯(lián)網(wǎng)公司自己的骨干網(wǎng)或運(yùn)營(yíng)商骨干網(wǎng)進(jìn)行合理引導(dǎo)，并且在運(yùn)營(yíng)商網(wǎng)絡(luò)質(zhì)量不好時(shí)完全通過(guò)互聯(lián)網(wǎng)公司自己的骨干網(wǎng)進(jìn)行迂回，保障用戶體驗(yàn)。

圖3 自建骨干網(wǎng)模式

這種模式下，一次性和長(zhǎng)期的投入只是骨干網(wǎng)鏈路成本，根據(jù)經(jīng)驗(yàn)計(jì)算，假設(shè)部署業(yè)務(wù)X和Y所需的服務(wù)器數(shù)量為1000臺(tái)，每機(jī)架15臺(tái)服務(wù)器，每臺(tái)服務(wù)器對(duì)外服務(wù)吞吐流量5Mbit/s，模式一的初始投資和一年運(yùn)營(yíng)成本約合1400萬(wàn)元，模式二的一年運(yùn)營(yíng)成本約合720萬(wàn)元。

按需實(shí)現(xiàn)靈活業(yè)務(wù)調(diào)度

還有一點(diǎn)相當(dāng)重要，就是合理的流量引導(dǎo)策略，不同的流量引導(dǎo)方式，會(huì)導(dǎo)致完全不同的用戶體驗(yàn)和成本。

圖4 “冷土豆”模式

圖5 “熱土豆”模式

圖4和圖5展示了完全不同的流量引導(dǎo)方式，都是在鏈路和網(wǎng)絡(luò)質(zhì)量正常情況下的流量引導(dǎo)，但是有“冷土豆”、“熱土豆”之分，這里用“土豆”比喻流量，實(shí)現(xiàn)了多地互聯(lián)的ISP和ICP骨干網(wǎng)，兩種流量模式實(shí)現(xiàn)了完全不同的效果。

“熱土豆”：由于是三地互聯(lián)，三地用戶對(duì)本地內(nèi)容的訪問(wèn)直接通過(guò)互聯(lián)鏈路穿透實(shí)現(xiàn)，而運(yùn)營(yíng)商三地對(duì)異地內(nèi)容的訪問(wèn)，例如運(yùn)營(yíng)商BJ用戶對(duì)互聯(lián)網(wǎng)公司GZ業(yè)務(wù)的訪問(wèn)，不論ICP側(cè)如何進(jìn)行策略引導(dǎo)，ISP側(cè)都會(huì)像持燙手的熱土豆一樣將流量從BJ的互聯(lián)點(diǎn)丟給ICP側(cè)，然后穿透ICP的骨干網(wǎng)到GZ業(yè)務(wù)去，這樣對(duì)ISP側(cè)骨干網(wǎng)的資源占用最少。

“冷土豆”：差別僅在于運(yùn)營(yíng)商對(duì)穿透骨干網(wǎng)的流量不太敏感，就像放在手心的冷土豆一樣，可以任由BJ用戶對(duì)互聯(lián)網(wǎng)公司GZ業(yè)務(wù)訪問(wèn)的流量穿透自己的骨干網(wǎng)，再經(jīng)過(guò)GZ的互聯(lián)點(diǎn)進(jìn)入到ICP側(cè)，這樣對(duì)ICP側(cè)骨干網(wǎng)的資源占用最少。

兩種流量引導(dǎo)模式?jīng)]有好壞之分，也不可能ISP側(cè)采用“冷土豆”而ICP側(cè)采用“熱土豆”，讓一方吃虧一方占便宜，是需要雙方本著對(duì)等和服務(wù)優(yōu)先的原則進(jìn)行洽談，兩種模式都是在鏈路和網(wǎng)絡(luò)質(zhì)量正常情況下，選擇更好的方式保障用戶服務(wù)和改善用戶體驗(yàn)。

新型架構(gòu)顯現(xiàn)三大優(yōu)勢(shì)

事實(shí)上，現(xiàn)有的“資源多點(diǎn)部署模式”沒(méi)有絕對(duì)的缺點(diǎn)，是互聯(lián)網(wǎng)公司經(jīng)過(guò)多年摸索形成的一種可行模式。但是隨著公司業(yè)務(wù)的發(fā)展，用戶體驗(yàn)和靈活性成為重中之重，采用新型模式架構(gòu)將帶來(lái)三大優(yōu)勢(shì)。

其一，極大地減輕對(duì)運(yùn)營(yíng)商網(wǎng)絡(luò)質(zhì)量的依賴，提高業(yè)務(wù)流量的靈活調(diào)度能力。當(dāng)遇到運(yùn)營(yíng)商骨干網(wǎng)絡(luò)故障或質(zhì)量問(wèn)題，可以及時(shí)切換到自有骨干網(wǎng)絡(luò)進(jìn)行流量迂回。

其二，適當(dāng)減輕了IDC資源的需求。當(dāng)需要對(duì)某一特定運(yùn)營(yíng)商的特定區(qū)域進(jìn)行用戶體驗(yàn)改善時(shí)，無(wú)需等待IDC機(jī)房、電力、機(jī)架的建設(shè)，僅需簡(jiǎn)單的網(wǎng)絡(luò)設(shè)備及專線即可完成，通過(guò)自有骨干網(wǎng)絡(luò)的承載完成業(yè)務(wù)覆蓋。

其三，當(dāng)運(yùn)營(yíng)商無(wú)法提供充足的IPv4地址時(shí)，通過(guò)自有骨干網(wǎng)絡(luò)使用自有IPv4地址，一定程度上緩解了地址資源緊缺。

但是，互聯(lián)網(wǎng)公司建設(shè)骨干網(wǎng)絡(luò)，不會(huì)在短時(shí)間內(nèi)建設(shè)完成，而必然是一定時(shí)期內(nèi)兩種模式并存，逐步按需建設(shè)。最初驅(qū)動(dòng)力可能是運(yùn)營(yíng)商網(wǎng)絡(luò)能力與互聯(lián)網(wǎng)公司業(yè)務(wù)需求差距巨大而不可調(diào)和、運(yùn)營(yíng)商IPv4地址嚴(yán)重緊缺而又沒(méi)有解決辦法、海外運(yùn)營(yíng)商充分競(jìng)爭(zhēng)環(huán)境等情況，屆時(shí)，互聯(lián)網(wǎng)公司作為ICP與ISP的界限將更加模糊，而互聯(lián)網(wǎng)公司的業(yè)務(wù)靈活調(diào)度能力、用戶體驗(yàn)改善情況將大幅提升。