梅濤 李奇濤 韓芹
摘 要:為解決學校人口密度大、上網(wǎng)時間集中,而校園網(wǎng)網(wǎng)絡帶寬有限造成的網(wǎng)速慢的問題,文章介紹了一種Cache(緩存)系統(tǒng)。通過將網(wǎng)絡熱門資源本地化,避免了校園網(wǎng)用戶直接對外網(wǎng)的訪問,減少了校園網(wǎng)內(nèi)部用戶訪問熱門資源的等待時間,大幅度改善用戶上網(wǎng)體驗,節(jié)省了大量帶寬資源。同時介紹了Cache(緩存)系統(tǒng)在對外經(jīng)濟貿(mào)易大學的部署案例,說明了系統(tǒng)應用效果。
關鍵詞:Cache;校園網(wǎng);帶寬;優(yōu)化
中圖分類號:TP393文獻標志碼:A 文章編號:1673-8454(2014)12-0072-04
一、引言
隨著互聯(lián)網(wǎng)用戶數(shù)的不斷增加,為滿足用戶的正常上網(wǎng)應用體驗,需要對網(wǎng)絡進行不斷的優(yōu)化和升級。尤其是對學校這樣一個人口密度大、上網(wǎng)時間集中的單位,為滿足全校萬名師生正常上網(wǎng)需求,需要不斷地更新網(wǎng)絡設備和增加帶寬。
以筆者所在的對外經(jīng)濟貿(mào)易大學為例,全校師生共計1.9萬人,高峰期在線用戶數(shù)達到1萬余人,帶寬峰值持續(xù)時間長,而且時間集中,主要分布在中午以及晚上8點以后,而學校帶寬出口只有1200M,同時受到學校千兆核心出口設備的限制,因此平均到每個師生身上只有不到0.1M,很難給師生一個較好的上網(wǎng)體驗,在學校的BBS平臺也經(jīng)常有學生反映網(wǎng)速較慢。
二、解決辦法
解決這一問題的方法很多,比如更新設備、利用帶寬嵌套技術合理控制用戶帶寬、采用智能DNS技術及多鏈路負載均衡技術等等,但是考慮到網(wǎng)絡設備更新頻率以及學校用于信息化建設的規(guī)劃和投入,設備的及時更新有一定困難。另一方面,學校的用戶群中用于觀看Web視頻、P2P下載與Http下載的帶寬占據(jù)學校網(wǎng)絡出口90%以上的份額,而Web視頻、P2P下載應用增加了對學校網(wǎng)絡資源的濫用。無論學校如何增加網(wǎng)絡帶寬,這些應用總是會盡力搶占所有可用的資源,因此需要對網(wǎng)絡流量進行控制和管理。而實際上學校也對這些Web視頻、P2P下載應用進行了限制,但這同時也導致其用戶滿意度下降,進而間接導致對學校網(wǎng)絡管理部門產(chǎn)生不滿。為了緩解這一矛盾,既要充分利用有限的信息化建設資金,同時又要優(yōu)化師生上網(wǎng)體驗,我校采取一種Cache(緩存)系統(tǒng)來優(yōu)化學校網(wǎng)絡。
三、Cache緩存介紹
Cache(緩存)系統(tǒng)通過緩存Http、視頻和P2P內(nèi)容,縮短用戶對內(nèi)容的訪問距離,將互聯(lián)網(wǎng)內(nèi)容本地化。Cache(緩存)系統(tǒng)能實現(xiàn)自動按需緩存內(nèi)容,在網(wǎng)絡使用高峰期通過將校園網(wǎng)用戶訪問轉(zhuǎn)向本地來減少Http下載、視頻下載和P2P下載對校園網(wǎng)骨干的流量壓力,幫助用戶獲得更高的網(wǎng)絡帶寬使用效率。
對于經(jīng)常使用P2P下載和觀看在線視頻的用戶,他們可以用更快的速度透明地從系統(tǒng)中訪問到已緩存到本地的內(nèi)容,而無需占用學校骨干帶寬。系統(tǒng)通過疏導的方式而不再通過限制和禁止等手段來控制Http下載、視頻觀看和P2P下載對網(wǎng)絡的影響,把之前校園網(wǎng)用戶通過出口訪問外網(wǎng)資源變成了訪問校園網(wǎng)內(nèi)部的資源,達到外網(wǎng)資源內(nèi)網(wǎng)化,以此來提高校園網(wǎng)用戶訪問的速度,提升用戶的上網(wǎng)體驗。[1]
1.流程圖
Cache(緩存)系統(tǒng)運用Http協(xié)議中的重定向功能來實現(xiàn)用戶訪問加速,可以實現(xiàn)校園網(wǎng)內(nèi)Http下載、視頻觀看、P2P下載、移動下載的加速。雖然實現(xiàn)的加速種類頗多,但整體的工作機制是一致的,下面就Cache(緩存)系統(tǒng)的工作原理簡單介紹一下。[2]
Cache(緩存)系統(tǒng)的整個工作流程可以用圖1表示。
(1)客戶端發(fā)起Http請求從目標網(wǎng)站下載文件或視頻。
(2)交換機將Http請求鏡像到Cache監(jiān)聽網(wǎng)卡,Cache截獲了用戶的訪問請求。
(3)如果Cache已經(jīng)緩存有該用戶請求的資源,Cache通過通信網(wǎng)卡向客戶端發(fā)出Http重定向,客戶端執(zhí)行重定向動作,發(fā)起新的Http請求到Cache下載;如果Cache上沒有緩存該用戶請求的資源,則執(zhí)行第4步。
(4)如果Cache尚未緩存該用戶請求的資源,屬于訪問未命中,Cache不會給用戶發(fā)送任何報文,也不影響用戶從外網(wǎng)正常下載,而是在系統(tǒng)中增加一次訪問請求記錄;Cache上有一個觸發(fā)緩存的閾值,當Cache監(jiān)測到大于或者等于閾值的用戶數(shù)請求同一個資源時,會觸發(fā)Cache對該資源進行緩存,緩存后如果再有用戶請求,就進行第3步,引導用戶直接從Cache下載該資源。
2.實施部署
Cache(緩存)系統(tǒng)采用旁路部署,系統(tǒng)部署在校園網(wǎng)出口設備后,以端口鏡像、流鏡像等方式監(jiān)聽獲取來自于核心交換設備的流量信息。
Cache(緩存)系統(tǒng)的部署位置圖如圖2表示。
3.云緩存,各校共享
Cache(緩存)系統(tǒng)緩存了大量的熱點資源,但是由于受制于性能及硬盤容量,同時為實現(xiàn)地區(qū)內(nèi)兄弟院校之間資源共享,可以采用云緩存技術來滿足不同學校之間相互訪問資源,互通有無,提高緩存命中率和服務效率。
4.熱點自動緩存和被動下載
Cache(緩存)系統(tǒng)提供了熱點自動緩存和被動下載功能。所謂熱點自動緩存,是指系統(tǒng)自動探測網(wǎng)絡上一些熱門的資源內(nèi)容,比如一些熱點視頻、門戶網(wǎng)站首頁視頻等等,這些資源往往訪問量大,時效性高,通過主動將這些資源緩存到本地,當用戶訪問這些資源的時候,通過訪問本地鏈接,就能很快的打開相應資源。
被動下載是指Cache(緩存)系統(tǒng)按照用戶的訪問請求來下載相應的資源,當達到某一閾值的用戶訪問同一資源時,系統(tǒng)將該資源緩存到本地,當其他用戶訪問相同資源時,Cache(緩存)系統(tǒng)會引導用戶從本地下載。
四、校園網(wǎng)應用案例
為了能夠有效的解決校園網(wǎng)用戶反映的網(wǎng)速慢等問題,同時緩解校園網(wǎng)出口帶寬壓力,2013年8月,我校在校園網(wǎng)骨干網(wǎng)絡上部署了Cache(緩存)系統(tǒng),至今系統(tǒng)運行穩(wěn)定,為學校節(jié)省了大量帶寬。為了能夠更有效地說明系統(tǒng)的可靠性和效率,現(xiàn)將系統(tǒng)的部署和運行效果向大家做一個簡單介紹。
1.部署
我校網(wǎng)絡出口帶寬共1.2G,其中教育800M,鐵通400M。網(wǎng)絡高峰并發(fā)上網(wǎng)人數(shù)高達1萬余人,同時由于受到出口設備限制,部分帶寬沒能充分利用。
學校出口設備依次為防火墻、流控設備、ACE網(wǎng)關設備和核心交換機。其中核心交換機三臺,分別對應宿舍、辦公和計算機中心,三臺核心設備分別與出口設備相連。為確保網(wǎng)絡穩(wěn)定,Cache(緩存)系統(tǒng)采用旁路部署方式,通過鏡像分別與三臺核心交換機連接。
部署后學校網(wǎng)絡拓撲圖如圖3所示。
配置流程如下:
(1)在核心交換機上分別設置端口鏡像,將上行流量復制給Cache(緩存)系統(tǒng)。在網(wǎng)絡交換機上設置端口鏡像功能,將指定端口或VLAN的數(shù)據(jù)復制一份到鏡像端口,從而得到被鏡像端口的數(shù)據(jù)流量。
(2)給Cache(緩存)系統(tǒng)配置IPv4/IPv6地址、掩碼和網(wǎng)關參數(shù)信息。
(3)在設備管理界面上配置要加速校園網(wǎng)內(nèi)IP地址段。完成此步驟,即可快速開啟緩存功能。
通過上述簡單的配置,就實現(xiàn)Cache(緩存)系統(tǒng)簡單的緩存功能。
2.各種策略配置
Cache(緩存)系統(tǒng)能夠?qū)崿F(xiàn)校園網(wǎng)內(nèi)Http下載、視頻觀看、P2P下載、移動下載的加速,但是為了達到最優(yōu)加速效果,還需要對系統(tǒng)的各種加速策略進行簡單配置。
(1)加速網(wǎng)段設置
只有處于加速網(wǎng)段的用戶,才能夠享受到Cache的緩存加速服務。因此為了使全校所有用戶都能使用此加速功能,需要對全校所有的IP段進行匯總,然后添加到系統(tǒng)的加速設置服務中。同時,在內(nèi)網(wǎng)網(wǎng)絡中,如果某些地址是內(nèi)網(wǎng)用戶通過NAT(Network Address Translation)轉(zhuǎn)換而來的,或者為優(yōu)化一些重要部門網(wǎng)絡,為了保證服務質(zhì)量,可以將這些地址加入優(yōu)先緩存服務中。同理,也可以對一些地址段進行禁止加速設置,限制其只能從外網(wǎng)獲取資源。
(2)Http加速設置
為了能夠?qū)崿F(xiàn)對Http下載進行加速,控制同時下載的文件個數(shù)以及下載時間,此時可以通過Http加速設置進行配置以達到相應效果。
Http加速的基本配置包括:
設置緩存文件大小、同時下載任務數(shù)信息。緩存文件大小是指系統(tǒng)從外網(wǎng)下載文件的限制,大于這一區(qū)間或者小于這一區(qū)間都不會下載;同時下載任務數(shù)是指下載隊列中可以同時存在的任務數(shù)量。
緩存時間設置。通過緩存時間設置可以避開校園網(wǎng)用戶上網(wǎng)高峰期,在比較空閑時間下載信息,比如凌晨1:00-6:00。
防病毒設置,用于設置下載的文件出現(xiàn)病毒時如何處理??梢酝ㄟ^病毒庫來對下載的文件進行病毒掃描。
黑白名單設置,用于控制文件提供服務的高級屬性。可以通過設置白名單來避免病毒庫誤操作刪除非病毒文件,設置黑名單來隔離我們不需要的文件。
(3)視頻觀看、P2P下載、移動下載加速設置
視頻、P2P、移動資源的下載配置,基本上與Http下載加速配置一致,也主要包括緩存文件大小、緩存時間、病毒庫等等,需要特別指出的是視頻加速中包括預緩存網(wǎng)站設置,可以通過設置預緩存網(wǎng)站來優(yōu)先下載相應的視頻資源。
(4)其他輔助系統(tǒng)功能設置
除了上文提到的配置內(nèi)容,還有一些需要設置的輔助系統(tǒng)功能,例如路由設置、硬盤設置、日志設置、報表設置等等,通過這些設置可以查看系統(tǒng)的硬盤使用情況、使用日志以及將來生成報表以供展示。
3.效果
通過Cache(緩存)系統(tǒng)的部署,有效的實現(xiàn)了對Http下載、視頻媒體、P2P資源等的加速,實現(xiàn)熱點資源本地化,節(jié)省了帶寬資源。
截止到2014年1月,Cache(緩存)系統(tǒng)共下載資源(緩存到本地的資源)41TB,提供服務資源共計172.4TB。日平均節(jié)省帶寬數(shù)為147.7M,最高為522M,相當于為學校增加了100多兆的帶寬。學校峰值在線用戶約為10000,通過Cache下載用戶數(shù)峰值為3.8k,相當于每天全校有40%的用戶通過Cache下載資源。
在Cache(緩存)系統(tǒng)提供的172.4TB資源中,觀看視頻和P2P下載資源共計125.9TB,占到總服務流量的73%,Http下載占到資源總量的24%,約為41.4TB,剩下的為移動下載。通過將這些本應通過外網(wǎng)訪問的資源本地化,一方面為學校節(jié)省了大量的出口帶寬,另一方面通過本地下載提高了訪問速度,優(yōu)化了用戶體驗。
通過Cache(緩存)系統(tǒng)加速前后訪問速度對比如表1所示。
對比顯示,我們發(fā)現(xiàn),Http下載提速115倍,流媒體提速187倍,P2P下載提速927倍,移動應用下載提速8.5倍,提速效果明顯,網(wǎng)絡出口的帶寬壓力明顯改善。而旁路部署系統(tǒng)減少了對校園網(wǎng)絡主干路的影響,系統(tǒng)部署以來運行穩(wěn)定,沒有出現(xiàn)任何故障。
4.Cache(緩存)系統(tǒng)價值
部署Cache(緩存)系統(tǒng)以來,我校校園網(wǎng)得到明顯優(yōu)化,校內(nèi)用戶體驗有明顯的上升,通過部署Cache(緩存)系統(tǒng)其帶來了以下的價值:[3]
(1)降低出口流量,減少帶寬成本
通過透明緩存Http和P2P內(nèi)容,Cache(緩存)系統(tǒng)減少了高校網(wǎng)絡為了支持校園不斷增長用戶需要的互聯(lián)網(wǎng)骨干帶寬總量,減少了大量的資金投入和占用。
對于經(jīng)常使用P2P下載和觀看在線視頻的用戶,他們可以用更快的速度透明的從Cache(緩存)系統(tǒng)中訪問到已緩存的內(nèi)容,而無需占用互聯(lián)網(wǎng)骨干帶寬。
(2)支持內(nèi)容匯聚,提高網(wǎng)絡效率
Cache(緩存)系統(tǒng)自動按需緩存內(nèi)容,將網(wǎng)絡內(nèi)容本地化,在網(wǎng)絡使用高峰期減少Http下載和P2P下載對互聯(lián)網(wǎng)骨干的流量壓力,幫助高校網(wǎng)絡獲得更高的網(wǎng)絡帶寬使用效率。
(3)大幅度改善用戶網(wǎng)絡使用體驗
Cache(緩存)系統(tǒng)還有效的改進對Http、P2P和非P2P應用的網(wǎng)絡響應速度,增強了用戶體驗。通過減輕Http下載和P2P下載對互聯(lián)網(wǎng)骨干帶寬的壓力,Cache(緩存)系統(tǒng)改善了網(wǎng)絡質(zhì)量,減少了技術支持電話、客戶投訴數(shù)量。
(4)采用旁路方式部署,不改變現(xiàn)有網(wǎng)絡結構,優(yōu)化現(xiàn)有網(wǎng)絡性能
為了保證校園網(wǎng)的穩(wěn)定性,系統(tǒng)采用旁路部署方式,在核心交換設備和網(wǎng)絡出口設備之間搭建一座新的橋梁,不改變現(xiàn)有的網(wǎng)絡結構,優(yōu)化了現(xiàn)有網(wǎng)絡性能。
五、結束語
來自Cisco公司報告,過去的5年中全球IP流量增長了4倍。2012-2017年間,IP流量仍將以23%的年均復合增長率高速增長。[4]其中內(nèi)容獲取類應用(Http下載,視頻觀看等)占據(jù)大部分流量。預計到2016年,僅視頻類流量就將占到所有IP流量的86%。而隨著一些新的網(wǎng)絡媒體的出現(xiàn),如用戶生成內(nèi)容(UGC)、網(wǎng)絡電視和高清視頻在線光看,未來幾年以用戶驅(qū)動為導向的數(shù)字視頻內(nèi)容產(chǎn)生的流量仍將高速增長。[5]
學校作為一個人員密度大、上網(wǎng)時間集中的單位,本身就面臨著帶寬壓力大、設備損耗快等網(wǎng)絡問題,同時考慮到將來網(wǎng)絡信息內(nèi)容級數(shù)級的更新,更需要在校園網(wǎng)中采用一些新技術來緩解網(wǎng)絡壓力。本文所介紹的Cache(緩存)系統(tǒng)就能夠在較大程度上節(jié)省校園網(wǎng)帶寬,增強校園網(wǎng)用戶上網(wǎng)體驗,解決網(wǎng)絡管理部門經(jīng)常面臨的網(wǎng)速慢、網(wǎng)絡狀況差等投訴。同時,Cache(緩存)技術能否應用到校園網(wǎng)網(wǎng)絡的其他節(jié)點(宿舍樓、辦公樓等),這都為我們將來校園網(wǎng)建設提供新的思路。
參考文獻:
[1]銳捷公司.RG-PowerCache X系列內(nèi)容加速系統(tǒng)產(chǎn)品典型配置案例集(V2.0)[R].福州:福建星網(wǎng)銳捷網(wǎng)絡有限公司,2013.
[2]張國強,李楊,林濤,唐暉.信息中心網(wǎng)絡中的內(nèi)置緩存技術研究[J].軟件學報,2014,25(1):154-175.
[3]方洋.銳捷網(wǎng)絡出口解決方案[DB/OL].http://www.ruijie.com.cn/plan/Solution_1532.
[4]Cisco visual networking index: Forecast and methodology,2012~2017.[DB/OL].Http://www.cisco.com/en/US/solutions/collateral/ns341/ns525/ns537/ns705/ns827/white_paper_c11-481360_ns827_Networking_Solutions_White_Paper.html
[5]Borst S, Gupta V, Walid A.Distributed caching algorithms for content distribution networks[DB/OL]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?reload=true&arnumber=5461964.(編輯:魯利瑞)