陳達忠 楊煉
隨著三網(wǎng)融合進程加速,我國電信、廣電服務提供商正全力投入高帶寬網(wǎng)絡建設,但產(chǎn)業(yè)人士提出:如果只是增加帶寬而不對流量加以疏導,不僅會造成網(wǎng)絡資源浪費,還會因網(wǎng)絡擁堵而大大降低業(yè)務質(zhì)量,而內(nèi)容分發(fā)網(wǎng)絡CDN技術的應用,正是解決該問題的關鍵。
隨著三網(wǎng)融合時代漸行漸近,視頻作為電信、廣電服務商的主流業(yè)務將得到大規(guī)模推廣,這無疑將為業(yè)務承載網(wǎng)絡帶來壓力,而高清網(wǎng)絡電視的推廣則更將對現(xiàn)有承載網(wǎng)絡提出巨大挑戰(zhàn)。眾所周知,視頻業(yè)務的占空比為1,未來以視頻為主的內(nèi)容將給骨干承載網(wǎng)絡以百倍的擴容壓力。而骨干承載網(wǎng)擴展能力的發(fā)展速度遠低于接入網(wǎng)的發(fā)展速度。
內(nèi)容分發(fā)網(wǎng)絡CDN(Content Distribution Network)是一種提高網(wǎng)絡內(nèi)容、特別是提高流媒體內(nèi)容傳輸服務質(zhì)量、節(jié)省骨干網(wǎng)絡帶寬的技術,其采用高速緩存、負載均衡和內(nèi)容重定向等技術,在一定的網(wǎng)絡架構基礎上實現(xiàn)內(nèi)容加速、內(nèi)容分發(fā)、減少網(wǎng)絡帶寬和用戶響應時間。CDN內(nèi)容分發(fā)網(wǎng)絡的關鍵技術包括內(nèi)容分發(fā)、內(nèi)容路由、內(nèi)容存儲和內(nèi)容管理等。
CDN網(wǎng)絡總體架構
典型的CDN網(wǎng)絡通常由三個部分構成:內(nèi)容管理平臺、內(nèi)容路由系統(tǒng)、Cache節(jié)點網(wǎng)絡。
其中,內(nèi)容管理平臺主要負責整個CDN系統(tǒng)的管理,特別是內(nèi)容管理,如內(nèi)容的注入和發(fā)布、內(nèi)容的分發(fā)、內(nèi)容的審核、內(nèi)容的服務等。內(nèi)容路由系統(tǒng)負責將用戶的請求調(diào)度到適當?shù)脑O備上,內(nèi)容路由通常通過負載均衡系統(tǒng)來實現(xiàn)。Cache節(jié)點網(wǎng)絡是CDN的業(yè)務提供點,是面向最終用戶的內(nèi)容提供設備。
從功能平面的角度,這三個部分分別構成了CDN的管理平面、控制平面和數(shù)據(jù)業(yè)務平面。從完整的CDN內(nèi)容提供的角度,CDN還應包括內(nèi)容源(媒體資源庫、直撥源等)和用戶終端(媒體播放器)。從CDN運營的角度,CDN還應考慮SP接口和管理、用戶認證、授權和計費AAA、內(nèi)容版權管理DRM等相關功能。
CDN網(wǎng)絡分層模型。CDN網(wǎng)絡從系統(tǒng)功能上可以分為四層:管理支撐層、內(nèi)容控制層、內(nèi)容分發(fā)層和用戶接入層。
CDN系統(tǒng)層次結(jié)構
管理支撐層作為整個CDN系統(tǒng)的管理平面,承擔平臺的管理支撐功能,包括系統(tǒng)的認證、計費、統(tǒng)計分析、系統(tǒng)管理、用戶管理、SP管理、內(nèi)容策略管理、DRM管理,以及和其他系統(tǒng)之間的接口適配功能(如運營商現(xiàn)有運營支撐系統(tǒng)的接口等)。其中,內(nèi)容管理、DRM、接口適配是CDN的業(yè)務管理功能模塊,其它模塊是運營支撐功能模塊,可納入運營商現(xiàn)有綜合運營支撐系統(tǒng)。
內(nèi)容控制層是系統(tǒng)的控制平面,從管理平面的角度看,它是運營支撐系統(tǒng)內(nèi)容管理的策略執(zhí)行點,從內(nèi)容分發(fā)的角度看,它是整個內(nèi)容分發(fā)系統(tǒng)內(nèi)容數(shù)據(jù)流向的控制點。內(nèi)容控制層包括內(nèi)容路由、內(nèi)容發(fā)布、內(nèi)容注入、內(nèi)容分發(fā)和內(nèi)容服務的控制。
內(nèi)容分發(fā)層是系統(tǒng)的數(shù)據(jù)平面,主要承擔實際的內(nèi)容數(shù)據(jù)流的承載工作。主要包括媒體資源庫、直播源、CDN骨干點和CDN POP點。其中CDN POP點主要有本地負載均衡設備SLB和Cache構成。CDN POP點直接面向用戶提供內(nèi)容服務。CDN骨干點不直接面向用戶服務,而主要提供未命中的處理和內(nèi)容分發(fā),通過CDN骨干點的連接,所有的CDN POP可以構成一個CDN服務和分發(fā)樹。內(nèi)容的分發(fā)從骨干(根)逐級到各個CDN POP點,內(nèi)容的服務(在未命中時)從POP點向上到骨干點。
用戶接入層主要指用戶終端設備。
CDN網(wǎng)絡功能模型。CDN網(wǎng)絡主要包含幾個方面的元素:CDN節(jié)點網(wǎng)絡,CDN負載均衡系統(tǒng),CDN媒體資源庫,CDN管理支撐系統(tǒng)。
媒體資源庫包括媒體制作、內(nèi)容存儲和內(nèi)容發(fā)布;節(jié)點網(wǎng)絡包含CDN的骨干節(jié)點和CDN POP節(jié)點;負載均衡系統(tǒng)包括全局負載均衡和本地負載均衡;管理支撐系統(tǒng)包括內(nèi)容管理、DRM、AAA、系統(tǒng)管理、網(wǎng)絡管理、接口適配等功能。整個CDN系統(tǒng)需要和SP/CP、現(xiàn)有綜合運營支撐系統(tǒng)接口。
CDN網(wǎng)絡總體部署架構。對于服務全國的CDN網(wǎng)絡運營商, CDN網(wǎng)絡可由全國核心節(jié)點、省骨干節(jié)點和邊緣節(jié)點構成。
CDN系統(tǒng)節(jié)點構成
節(jié)點指CDN物理節(jié)點(在組網(wǎng)層面上)。邏輯上一個完整的節(jié)點包括多個CDN功能實體,主要包含兩個部分:CDN節(jié)點網(wǎng)絡(分發(fā)平面)和CDN管理支撐系統(tǒng)(管理和控制平面)。其中,CDN節(jié)點網(wǎng)絡由媒體資源庫、CDN骨干點和CDN POP點構成; CDN管理支撐系統(tǒng)由管理支撐平臺和負載均衡系統(tǒng)構成。
從全國CDN的角度,節(jié)點分為三類:全國核心節(jié)點、省骨干節(jié)點(位于各省省會)、地市邊緣節(jié)點。根據(jù)組網(wǎng)方式不同,各類節(jié)點的數(shù)量、分布、節(jié)點之間的關系也有所不同。
對于管理支撐系統(tǒng)而言,它主要承擔管理平面和控制平面的工作。其中,管理支撐系統(tǒng)復雜業(yè)務的開展和運營,以及系統(tǒng)的管理;負載均衡系統(tǒng)負責整個CDN的內(nèi)容路由。
對于節(jié)點網(wǎng)絡而言,它主要承擔數(shù)據(jù)(媒體)流的轉(zhuǎn)發(fā)工作,由媒體資源庫、CDN骨干點、CDN POP點構成,它們的功能有明確的區(qū)分。
CDN骨干點:位于CDN網(wǎng)絡核心,主要承擔如下的功能:內(nèi)容逐級分發(fā)、未命中處理功能(針對POP點)、服務備份(針對POP點)和反向Cache(針對媒體資源庫)。在設計上,CDN骨干點要求支持逐級分發(fā)的能力、邊緩存邊播放的能力、部分緩存的能力,要求具有安全性、穩(wěn)定性和可靠性。
CDN POP點:主要承擔用戶訪問服務功能,要求能夠支持大規(guī)模的用戶訪問,滿足靈活的業(yè)務需求,足夠的網(wǎng)絡覆蓋以提高CDN內(nèi)容服務性能。CDN POP主要包括SLB設備和多臺Cache設備,具有針對本地設備和內(nèi)容的管理和監(jiān)測功能。
媒體資源庫充當內(nèi)容的存儲功能和內(nèi)容源的功能,媒體資源庫通過海量網(wǎng)絡存儲支持大規(guī)模的內(nèi)容存儲。在設計上,全國的媒體資源庫存放全國SP內(nèi)容(以及全國自營內(nèi)容),省媒體資源庫存放省SP內(nèi)容(以及省、地市本地自營內(nèi)容)。媒體資源庫作為內(nèi)容源還需要具有內(nèi)容發(fā)布功能(Web server)和媒體流輸出功能(media/real server)。
CDN網(wǎng)絡演進方案
傳統(tǒng)的CDN技術仍然是一種客戶機-服務器(C/S)的計算模式。盡管傳統(tǒng)CDN將服務能力和服務內(nèi)容在網(wǎng)絡上進行了分布,可以在一定程度上加速流媒體內(nèi)容的分發(fā),提高服務質(zhì)量。但由于其核心仍然是基于C/S的架構,其服務的擴展能力取決于分布節(jié)點的不斷部署,由此造成了CDN服務能力擴展的成本非常高,需要不斷的投資。同時,用戶訪問是具有隨意性,突發(fā)性等特點的,而傳統(tǒng)CDN系統(tǒng)不具備彈性動態(tài)擴展的能力,難以從根本上提升CDN系統(tǒng)的效率。伴隨著Web 2.0的興起,傳統(tǒng)系統(tǒng)架構中Server-Client模式受到挑戰(zhàn),各種Client不在僅僅作為接受Server服務的被動者,而是成為網(wǎng)絡服務的積極提供者,網(wǎng)絡各節(jié)點對等化將成為Web 2.0時代下技術發(fā)展的主流方向之一。下一代的CDN不但要求做到把內(nèi)容復制到網(wǎng)絡的最邊緣,使內(nèi)容請求點和響應點間的距離縮至最小,還需要對用戶請求的內(nèi)容進行分析,智能地調(diào)度和分配資源,最好地利用資源。
為滿足流媒體等大容量內(nèi)容的高效分發(fā),在Web 2.0時代,傳統(tǒng)的CDN網(wǎng)絡結(jié)構模型存在以下問題:
在傳統(tǒng)的CDN網(wǎng)絡中,邊緣節(jié)點從內(nèi)容存儲中心通過Push或Pull方式獲取內(nèi)容,內(nèi)容存儲中心與邊緣節(jié)點之間的關系是不對稱的。在Web 2.0理念中,邊緣節(jié)點向原有內(nèi)容存儲中心和其他邊緣節(jié)點的內(nèi)容流動的可能也是存在的,CDN作為積極參與網(wǎng)絡服務的提供者,邊緣節(jié)點如何參與到整個網(wǎng)絡服務的結(jié)構中去。隨著用戶規(guī)模的迅速增長,不斷增加部署的邊緣節(jié)點的數(shù)量和服務能力,即網(wǎng)絡擴容,對運營商來講,其成本往往是高昂的,效率是低下的。
作為運營商時,在Web 2.0時代下,特別是P2P(Peer to Peer)的出現(xiàn),通過簡單的P2P網(wǎng)絡,以很低的成本就會實現(xiàn)用戶規(guī)模越大,網(wǎng)絡效率越高的效果,當然如果僅僅以純粹的P2P網(wǎng)絡來提供服務,由于每個參與P2P網(wǎng)絡的peer可以直接從其他peer上獲取數(shù)據(jù),無法做到身份有效認證,用戶和資源等不可能有效管控,從而對P2P網(wǎng)絡的電信運營商帶來不利影響。大規(guī)模的P2P用戶也必然加大對骨干網(wǎng)絡流量對沖,由于電信網(wǎng)絡不同于互聯(lián)網(wǎng),其QoS是需要得到保證的,P2P網(wǎng)絡中的各peer之間的頻繁數(shù)據(jù)交換,將大大消耗骨干網(wǎng)的數(shù)據(jù)流量,影響電信其他業(yè)務運營。因此P2P網(wǎng)絡的QoS也是無法得到保證的。
隨著網(wǎng)絡技術的發(fā)展,現(xiàn)有的各種網(wǎng)絡,如數(shù)據(jù)網(wǎng)、電信網(wǎng)、移動網(wǎng)、廣播電視網(wǎng)都將融入下一代網(wǎng)絡NGN。屆時,網(wǎng)絡上的應用將更加豐富,只有將用戶需要訪問的內(nèi)容盡可能分布到離用戶最近的地方才能有效地提高網(wǎng)絡的利用率,為用戶提供更高品質(zhì)的服務,這些都為CDN提供了無限的發(fā)展空間??梢灶A見,CDN技術將隨著網(wǎng)絡技術的發(fā)展而不斷前進,并成為Internet及未來NGN網(wǎng)絡中不可分割的一部分。CDN 和P2P模式的融合是媒體分發(fā)技術發(fā)展的重要趨勢
CDN和P2P是當前互聯(lián)網(wǎng)上實現(xiàn)內(nèi)容分發(fā)傳遞的兩種主流技術,CDN高成本和高復雜性制約了其規(guī)模擴展的能力,P2P則在網(wǎng)絡的友好型、可靠性和可管理性上有較大問題。
CDN和P2P各有所長,技術上基本可以互補,如果將兩種技術融合起來,構建統(tǒng)一的內(nèi)容承載平臺,將會有可能實現(xiàn)大規(guī)模流媒體直播、大型文件下載、高清視頻等高帶寬占有率業(yè)務的進一步普及。通過P2P擴展CDN的容量,CDN可以克服P2P動態(tài)性、引導P2P內(nèi)容分發(fā)實現(xiàn)對ISP和主干網(wǎng)的友好性,形成一種更加完善的內(nèi)容分發(fā)應用模式。因此CDN 和P2P內(nèi)容分發(fā)應用模式的融合是媒體分發(fā)技術發(fā)展的重要趨勢。
CDN內(nèi)容分發(fā)融合模式
基于CDN網(wǎng)絡和P2P融合的不同,可將內(nèi)容分發(fā)的融合模式分為邊緣融合模式、中心融合模式,以及同時具有邊緣和中心融合特征的混合模式。
邊緣融合模式。將整個網(wǎng)絡化分為兩個大層次:“中心層”集中管理整個網(wǎng)絡的資源和內(nèi)容;“邊緣層”負責就近的,并為用戶提供服務。用戶所訪問的內(nèi)容都存放在內(nèi)容中心,但是為了保證效率,用戶一般不直接訪問內(nèi)容中心,而是訪問被推送到不同邊緣節(jié)點的內(nèi)容。從以上功能定位來看,影響用戶規(guī)模增長的因素包括邊緣節(jié)點的數(shù)量和服務能力。
在邊緣融合模型中,將邊緣節(jié)點對等節(jié)點化,這樣邊緣節(jié)點管轄自身范圍內(nèi)組成了一個獨立的P2P自治域網(wǎng)絡,其網(wǎng)絡效能可以大大提升。該模式中的網(wǎng)絡分發(fā)和控制通過下述方式實現(xiàn):中心層負責控制邊緣節(jié)點以上層次的資源和內(nèi)容,其嚴格遵守Server-Client模式,邊緣節(jié)點受中心控制;邊緣節(jié)點內(nèi)組成的P2P自治域,其資源和內(nèi)容在邊緣節(jié)點是充分共享的。同樣地,在邊緣自治域范圍內(nèi),也會存在一個實在和虛擬的Control Center,負責各Peer的資源與內(nèi)容的智能管理。
此模式將CDN的管理機制和服務能力引入P2P網(wǎng)絡,形成以CDN為可靠內(nèi)容核心、以P2P為服務邊緣的結(jié)構,由于所有的內(nèi)容請求都集中到了一個或少數(shù)幾個核心點,這就很容易對用戶的行為進行監(jiān)視和管理,也很容易對該網(wǎng)絡中的內(nèi)容進行控制,具有很好的查詢效率。該結(jié)構目前主要應用于IPTV內(nèi)容分發(fā)網(wǎng)絡中。由于引入了P2P技術,相比Server-Client模式的網(wǎng)絡電視系統(tǒng),極大的節(jié)省了帶寬開銷。這種結(jié)構提高了內(nèi)容的可控性,增強了P2P的穩(wěn)定性,然而這種P2P與CDN的混合只是利用了其各自的外部特性,從本質(zhì)上而言,P2P自身沒有改造,CDN也沒有優(yōu)化,自身架構沒有發(fā)生融合,只相當于把兩種技術的服務方式做了疊加,并沒有有效地實現(xiàn)兩種技術的優(yōu)劣互補。
中心融合模式。在傳統(tǒng)CDN中,從中心到邊緣服務器之間的數(shù)據(jù)鏈路需要相當大的投資,同時資源的效率不高、帶寬復用率低;另外在跨ISP等情況下,鏈路的暢通也難以得到保障。針對這一問題,可以以P2P技術對CDN網(wǎng)絡進行優(yōu)化、改造。在中心融合模式中,對業(yè)務網(wǎng)絡劃分了同樣的結(jié)構層次,不過P2P方式不是采用在邊緣節(jié)點內(nèi)部,而是邊緣節(jié)點之間,每個邊緣節(jié)點類似P2P網(wǎng)絡中的一個Peer,也就是說邊緣節(jié)點可以不必從中心獲取內(nèi)容服務,邊緣節(jié)點之間可以相互提供內(nèi)容服務,利用P2P的目錄服務和多點傳輸能力,實現(xiàn)CDN節(jié)點設備之間的內(nèi)容交換、互相備份,大大減輕了對中心層的壓力,增強從中心到邊緣節(jié)點的CDN網(wǎng)絡的內(nèi)容傳送效率、使系統(tǒng)冗余性得以提高,從而提升CDN的內(nèi)容分發(fā)能力。;而且邊緣節(jié)點的內(nèi)容也可以被聚合到了中心層,并可為其他邊緣節(jié)點分享。
與P2P網(wǎng)絡不同的是,雖然邊緣節(jié)點可以自由的交換內(nèi)容,但其仍然受核心節(jié)點控制。該模型的網(wǎng)絡智能提高下述方式實現(xiàn):每個邊緣節(jié)點聚合的內(nèi)容,都通過中心注冊方式,實現(xiàn)內(nèi)容中心總控制;邊緣節(jié)點的資源能力由核心節(jié)點總控制。
這種模式減輕了內(nèi)容分發(fā)時對中心服務器造成的壓力。其P2P節(jié)點是服務器,即Server to Server。邊緣服務器之間距離較遠且網(wǎng)絡環(huán)境相差較大,服務器間傳輸會有一定的瓶頸限制。
混合模式。以邊緣融合模式和中心融合模式為基礎,可以衍生出很多更加復雜的CDN與P2P的融合模式,比如多個邊緣節(jié)點參與同個P2P自治域,同時各個邊緣節(jié)點之間,組成一個較高層次的P2P自治域,這樣整個網(wǎng)絡的放大效能可以提升很多。而且內(nèi)容之間的流動可以更加自由和多樣化。
綜上提及的CDN與P2P融合模式,并不只是簡單的把兩種技術疊加,而是一方面從CDN網(wǎng)絡中心到邊緣層采用P2P技術進行優(yōu)化,用P2P技術重新組織原有C/S架構的各服務節(jié)點,另外在P2P網(wǎng)絡中也融入CDN技術的一些優(yōu)點,使其在可控、可管理性上得以提高。
在兩種技術充分融合、滲透、改造之后,將兩者統(tǒng)一,形成一個真正優(yōu)化的(上層CDN經(jīng)過P2P化改造,提升了分發(fā)能力,下層P2P可控性強,有管理能力)的CDN與P2P完整融合的流媒體內(nèi)容分發(fā)平臺。