李瑞旻

（中移鐵通有限公司甘肅分公司,甘肅 蘭州 730000）

隨著互聯(lián)網(wǎng)應(yīng)用規(guī)模擴(kuò)大，各類(lèi)游戲?yàn)槲脩?hù)，游戲?qū)崟r(shí)交互性、游戲畫(huà)質(zhì)的不斷提高、游戲在線玩家的不斷增多，網(wǎng)絡(luò)游戲用戶(hù)對(duì)網(wǎng)絡(luò)質(zhì)量提出了更高的要求，這也是對(duì)運(yùn)營(yíng)商的極度考驗(yàn)。我國(guó)網(wǎng)吧數(shù)量在16 萬(wàn)家左右，均需要100～1000M 帶寬的接入需求，這對(duì)運(yùn)營(yíng)商來(lái)說(shuō)是一個(gè)很巨大的政企市場(chǎng)；同時(shí)由于網(wǎng)吧流量要求質(zhì)量高，成為了各運(yùn)營(yíng)商的必爭(zhēng)之地。本文主要介紹如何利用SD-WAN技術(shù)對(duì)游戲的網(wǎng)絡(luò)質(zhì)量進(jìn)行優(yōu)化。

1 SDN 技術(shù)

1.1 SDN 簡(jiǎn)介

SDN（Software Defined Network），即軟件定義網(wǎng)絡(luò)。它是一種新型網(wǎng)絡(luò)創(chuàng)新架構(gòu)，也是網(wǎng)絡(luò)虛擬化的一種實(shí)現(xiàn)方式。其核心理念是將網(wǎng)絡(luò)設(shè)備的控制面與數(shù)據(jù)面進(jìn)行分離，從而實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)流量的靈活控制，使得網(wǎng)絡(luò)變得更加智能。SDN 更像是一種網(wǎng)絡(luò)虛擬化思想，核心訴求是通過(guò)軟件控制網(wǎng)絡(luò)，實(shí)現(xiàn)業(yè)務(wù)自動(dòng)化部署。例如，在傳統(tǒng)交換機(jī)內(nèi)部，其主要負(fù)責(zé)具體的網(wǎng)絡(luò)流量往哪里轉(zhuǎn)發(fā)，而在SDN 中，通過(guò)控制器進(jìn)行流量轉(zhuǎn)發(fā)的計(jì)算，然后將結(jié)果發(fā)送給交換機(jī)，交換機(jī)只進(jìn)行簡(jiǎn)單的轉(zhuǎn)發(fā)，從而實(shí)現(xiàn)控制和轉(zhuǎn)發(fā)平面相分離[1]。

SDN 在應(yīng)用中大體可劃分為三層體系結(jié)構(gòu)：控制層（Control Layer）、應(yīng) 用層（Application Layer）和基礎(chǔ)設(shè)施層（Infrastructure Layer）。不同層次之間是通過(guò)不同接口進(jìn)行通信的，比如應(yīng)用層是通過(guò)北向接口（North boun dinterface）與控制層通信，而基礎(chǔ)設(shè)施層則是通過(guò)南向接口（South boun dinterface）與控制層通信。

1.2 SDN 在游戲質(zhì)量的應(yīng)用

利用一臺(tái)RR+路由反射器作為SDN 網(wǎng)絡(luò)中的的控制器，通過(guò)撥測(cè)系統(tǒng)的接口獲取網(wǎng)絡(luò)質(zhì)量分析數(shù)據(jù)，選出游戲服務(wù)器的最優(yōu)出口，并下發(fā)相關(guān)路由數(shù)據(jù)，保證游戲用戶(hù)通過(guò)最優(yōu)出口出網(wǎng)。如圖1所示。

圖1 SDN 網(wǎng)絡(luò)中RR+的作用

2 質(zhì)量?jī)?yōu)化系統(tǒng)實(shí)現(xiàn)

2.1 實(shí)現(xiàn)原理

目前，全國(guó)與電信、聯(lián)通有13 個(gè)NAP 互聯(lián)點(diǎn)。因CMNET 的路由發(fā)布存在游戲的請(qǐng)求、響應(yīng)IP 包來(lái)回不同路徑的情況，并且無(wú)法根據(jù)游戲服務(wù)器的質(zhì)量動(dòng)態(tài)調(diào)整訪問(wèn)路徑等諸多問(wèn)題，網(wǎng)吧及游戲用戶(hù)對(duì)網(wǎng)絡(luò)質(zhì)量滿意度不高，但甘肅的IP 只從西安的互聯(lián)點(diǎn)向電信、聯(lián)通發(fā)布，從而帶來(lái)以下兩個(gè)問(wèn)題：

1）除訪問(wèn)陜西電信、聯(lián)通的IP 外，訪問(wèn)其他省電信、聯(lián)通的IP 存在請(qǐng)求、響應(yīng)報(bào)文不通路徑的情況。

2) 針對(duì)游戲應(yīng)用要求低時(shí)延和抖動(dòng)的特點(diǎn)，不具備13 個(gè)直連點(diǎn)的鏈路質(zhì)量測(cè)試并根據(jù)測(cè)試結(jié)果選擇最優(yōu)路徑的能力。

為解決以上兩個(gè)問(wèn)題，優(yōu)化網(wǎng)間游戲質(zhì)量，可采取以下措施：

1)在13 個(gè)直連節(jié)點(diǎn)向電信、聯(lián)通各發(fā)布1 個(gè)C的甘肅移動(dòng)的IP 地址，用于游戲業(yè)務(wù)，保證從13 個(gè)節(jié)點(diǎn)的出入方向的游戲流量相同徑路。

2)通過(guò)DPI 系統(tǒng)，搜集各類(lèi)游戲的服務(wù)器IP，并根據(jù)IP 地址歸屬省份，將IP 歸類(lèi)至13 個(gè)直連點(diǎn)。

3)在省網(wǎng)防火墻新建13 個(gè)NAT 地址池，根據(jù)服務(wù)器的IP 的歸屬制定NAT 策略，將用戶(hù)訪問(wèn)游戲服務(wù)器的源地址NAT 成對(duì)應(yīng)直連點(diǎn)的IP 地址。業(yè)務(wù)流向如圖2 所示。

圖2 游戲質(zhì)量?jī)?yōu)化實(shí)現(xiàn)原理圖

4) 通過(guò)撥測(cè)探針及自建游戲質(zhì)量評(píng)價(jià)系統(tǒng)，通過(guò)13 個(gè)直連點(diǎn)出口對(duì)游戲服務(wù)器的IP 進(jìn)行時(shí)延、抖動(dòng)測(cè)試，計(jì)算出最優(yōu)直連點(diǎn)，并動(dòng)態(tài)的將服務(wù)器IP 調(diào)整至省網(wǎng)防火墻的NAT 策略，保證用戶(hù)的游戲能夠從最優(yōu)直連點(diǎn)訪問(wèn)，提升用戶(hù)訪問(wèn)效果。

2.2 SDN 發(fā)布路由模塊設(shè)計(jì)

該模塊主要負(fù)責(zé)接收游戲質(zhì)量評(píng)價(jià)系統(tǒng)發(fā)送的游戲服務(wù)器IP 最優(yōu)出口數(shù)據(jù)，通過(guò)RR+路由反射器將游戲服務(wù)器的IP 通過(guò)BGP 路由發(fā)布給省網(wǎng)核心路由器，保證用戶(hù)的游戲訪問(wèn)為最優(yōu)路徑。RR+作為SDN 網(wǎng)絡(luò)的控制器，可以實(shí)時(shí)下發(fā)游戲服務(wù)器IP 的路由數(shù)據(jù)，監(jiān)測(cè)、控制鏈路的流量，避免出現(xiàn)人為下發(fā)數(shù)據(jù)出錯(cuò)、效率低以及大批量調(diào)整路由造成部分鏈路擁塞的問(wèn)題[2]。該模塊的設(shè)計(jì)方法如下：

1）全網(wǎng)分配一個(gè)路由禁播community，在省網(wǎng)核心MB 的所有BGP PEER OUT 方向增加此community 的匹配禁播策略。

2）為骨干新平面、舊平面各分配一個(gè)出口路由播發(fā)community 。省網(wǎng)核心NE5000E 設(shè)備的骨干出口out 方向增加對(duì)本出口路由播發(fā)community 的匹配播發(fā)策略，此策略應(yīng)優(yōu)先于前述路由禁播策略。

3）RR+向省網(wǎng)核心PB 設(shè)備播發(fā)省內(nèi)被調(diào)路由條目的細(xì)粒度路由條目，按該設(shè)備上調(diào)度路由的原下一跳設(shè)定NEXTHOP，并追加本平面指定出口及另一平面所有出口的community 標(biāo)記和路由禁播community 標(biāo)記。

4）省網(wǎng)核心NE5000E 設(shè)備的指定出口匹配到該出口community，向骨干播發(fā)調(diào)度細(xì)路由，而同平面其他出口未匹配到本出口community，進(jìn)而匹配到禁播community，不播出調(diào)度路由，從而引導(dǎo)部分本平面流量至指定局向?qū)崿F(xiàn)流量調(diào)度。由于另一平面所有出口也同時(shí)匹配到各自出口的community 并播出此調(diào)度細(xì)路由，因此對(duì)另一平面流量不會(huì)產(chǎn)生影響RR+通過(guò)以上路由發(fā)布原則，可以調(diào)度從電信、聯(lián)通的游戲服務(wù)器流量通過(guò)14 個(gè)NAP 互聯(lián)點(diǎn)中的指定出口到達(dá)甘肅。

2.3 游戲質(zhì)量評(píng)價(jià)系統(tǒng)設(shè)計(jì)

該模塊主要完成對(duì)撥測(cè)取的網(wǎng)絡(luò)質(zhì)量指標(biāo)進(jìn)行統(tǒng)計(jì)、分析。通過(guò)對(duì)影響游戲質(zhì)量的丟包、抖動(dòng)、時(shí)延三個(gè)指標(biāo)進(jìn)行跟蹤分析，確定了各指標(biāo)的權(quán)重，通過(guò)綜合評(píng)分法對(duì)各出口的質(zhì)量進(jìn)行評(píng)估，評(píng)估方法如下：

1）基于XDR(Detail Record 信令及業(yè)務(wù)詳細(xì)記錄)話單的游戲服務(wù)器地址提取首先，通過(guò)DPI(Deep Packet Inspection 深度包檢測(cè)) 及用戶(hù)訪問(wèn)游戲的DNS 域名，提取游戲類(lèi)XDR 話單，針對(duì)游戲業(yè)務(wù)，可以通過(guò)游戲特征字篩選XDR 話單，并按天輸出省內(nèi)用戶(hù)訪問(wèn)的游戲服務(wù)器IP+端口號(hào)清單，清單需按照熱度來(lái)排序。

2）基于探針的最優(yōu)節(jié)點(diǎn)選取。探針在收到游戲地址清單后，進(jìn)行整理歸納。根據(jù)探針能力對(duì)top 服務(wù)器地址進(jìn)行撥測(cè)。探針從甘肅公司13 個(gè)地址段中分別抽取一個(gè)地址進(jìn)行撥測(cè)，嚴(yán)格匹配用戶(hù)網(wǎng)絡(luò)環(huán)境進(jìn)行撥測(cè)，撥測(cè)維度暫時(shí)包含時(shí)延、抖動(dòng)、丟包、TCPing 時(shí)延、TCPing 抖動(dòng)、TCPing 丟包以及UDPing時(shí)延、UDPing 抖動(dòng)[3]。

對(duì)游戲服務(wù)器IP 通過(guò)如下規(guī)則進(jìn)行加權(quán)評(píng)估，得出每個(gè)游戲IP 地址段在13 個(gè)直連點(diǎn)的綜合得分。得到最優(yōu)結(jié)果后，在甘肅省干防火墻進(jìn)行策略調(diào)整見(jiàn)表1。

表1 各性能指標(biāo)的評(píng)估方法

注：線性取值算法舉例說(shuō)明：

設(shè)時(shí)延為X1，時(shí)延得分為Y1，則

設(shè)時(shí)延為X2，時(shí)延得分為Y1，則

設(shè)丟包率為X3%，丟包率得分為Y3，則

以此類(lèi)推，最后能計(jì)算出Y1，…，Y6。最后，每個(gè)游戲IP 地址段得分=其中ak為權(quán)重占比。

將游戲服務(wù)器地理歸屬分為四個(gè)大區(qū)：華北、華東、華南、西南。通過(guò)14 個(gè)出口探針數(shù)據(jù)在MySql數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，針對(duì)每個(gè)大區(qū)選出得分最高的出口作為該區(qū)域的出網(wǎng)NAP 點(diǎn)。

2.4 游戲質(zhì)量效果比對(duì)

對(duì)優(yōu)化路徑的各段時(shí)延進(jìn)行分析，以英雄聯(lián)盟服務(wù)器113.96.246.181 為例，優(yōu)化前的時(shí)延為65.85ms，優(yōu)化后的時(shí)延為50.59ms，通過(guò)探針icmp ping 測(cè)直連點(diǎn)分析各段時(shí)延。按照以下數(shù)據(jù)進(jìn)行分析：（1）因優(yōu)化后，至廣州服務(wù)器的來(lái)回路徑一致，時(shí)延為50.59ms，按照來(lái)回2 倍路徑進(jìn)行計(jì)算，從探針至廣州服務(wù)器的單個(gè)發(fā)、單個(gè)收方向時(shí)延為25.3ms。

（2）因優(yōu)化后，至廣州電信直連點(diǎn)的來(lái)回路徑一致，平均時(shí)延為43.4ms，按照來(lái)回2 倍路徑進(jìn)行計(jì)算，從探針至廣州電信直連點(diǎn)的單個(gè)發(fā)、單個(gè)收方向時(shí)延為21.7ms，因此服務(wù)器至廣州電信直連點(diǎn)的單方向時(shí)延為3.6ms。

（3）探針至西安電信直連的ping 測(cè)時(shí)延為16.3ms，按照來(lái)回2 倍路徑進(jìn)行計(jì)算，從探針至西安電信直連點(diǎn)的單個(gè)發(fā)、單個(gè)收方向時(shí)延為8.2ms。

（4）優(yōu)化前，探針的ping 測(cè)時(shí)延為65.85ms，其中請(qǐng)求方向的時(shí)延為25.3ms，則響應(yīng)方向的時(shí)延為40.5ms。

撥測(cè)數(shù)據(jù)如圖3 所示。

圖3 撥測(cè)數(shù)據(jù)

優(yōu)化前后，時(shí)延分段分析如圖4 所示。

圖4 優(yōu)化前后時(shí)延分段

優(yōu)化前后，探針撥測(cè)在請(qǐng)求報(bào)文的出方向路徑一致，從陜西→廣州→游戲服務(wù)器，只本次優(yōu)化針對(duì)服務(wù)器的響應(yīng)報(bào)文的時(shí)延。優(yōu)化前，從廣州電信通過(guò)電信骨干網(wǎng)轉(zhuǎn)發(fā)至西安直連點(diǎn)，該段時(shí)延為28.7ms。優(yōu)化后，從廣州直連點(diǎn)通過(guò)中國(guó)移動(dòng)骨干網(wǎng)轉(zhuǎn)發(fā)至西安直連點(diǎn)，該段時(shí)延為14.5ms。通過(guò)對(duì)比分析，在該網(wǎng)絡(luò)區(qū)段的時(shí)延下降了14.2ms，從而達(dá)到了優(yōu)化的效果。

3 結(jié)束語(yǔ)

通過(guò)本優(yōu)化方案，可以對(duì)目前DPI 可識(shí)別的主流游戲進(jìn)行優(yōu)化。避免因個(gè)別NAP 出現(xiàn)網(wǎng)絡(luò)質(zhì)量問(wèn)題及互聯(lián)互通問(wèn)題造成游戲質(zhì)量劣化問(wèn)題，為公司提升用戶(hù)滿意度、擴(kuò)大網(wǎng)吧游戲類(lèi)業(yè)務(wù)提供了保障和支撐能力。