周 偉，朱家琪，金 豪

（上海市信息網(wǎng)絡(luò)有限公司，上海 200081）

基于鏈路聚合的數(shù)據(jù)專網(wǎng)互聯(lián)網(wǎng)出口邊緣側(cè)保護(hù)機(jī)制*

周 偉，朱家琪，金 豪

（上海市信息網(wǎng)絡(luò)有限公司，上海 200081）

為了滿足數(shù)據(jù)專網(wǎng)互聯(lián)網(wǎng)業(yè)務(wù)量不斷增加的業(yè)務(wù)需求，提出了使用鏈路聚合技術(shù)并針對網(wǎng)絡(luò)邊緣側(cè)進(jìn)行保護(hù)的方案，以對互聯(lián)網(wǎng)出口實(shí)施冗余保護(hù)。方案分析了客戶端、互聯(lián)網(wǎng)網(wǎng)關(guān)以及承載網(wǎng)邊緣側(cè)之間的規(guī)劃原則，并研究了聚合組、負(fù)載分擔(dān)、聚合模式等的選擇，提出了以有協(xié)議鏈路聚合為基礎(chǔ)的保護(hù)機(jī)制。經(jīng)測試驗(yàn)證，啟用這種有協(xié)議的鏈路聚合保護(hù)是較優(yōu)的保護(hù)方式，可以達(dá)到毫秒級的保護(hù)效果，是未來應(yīng)對數(shù)據(jù)承載網(wǎng)與互聯(lián)網(wǎng)出口之間的擴(kuò)容及安全性的主流保護(hù)方式。

鏈路聚合；LACP協(xié)議；負(fù)載分擔(dān)；邊緣保護(hù)

0 引 言

隨著數(shù)字寬帶網(wǎng)絡(luò)的迅猛發(fā)展，傳輸網(wǎng)絡(luò)的數(shù)據(jù)承載負(fù)荷也急劇增加，尤其在運(yùn)營商的Internet出口上，帶寬資源已漸入瓶頸。如何有效提升出口帶寬，并結(jié)合穩(wěn)健安全的冗余保護(hù)措施來適應(yīng)目前的傳輸網(wǎng)絡(luò)，已成為研究的熱點(diǎn)。使用鏈路聚合技術(shù)可以增加網(wǎng)絡(luò)帶寬，實(shí)現(xiàn)流量負(fù)載分擔(dān)，提高網(wǎng)絡(luò)安全性可靠性，并具備優(yōu)化成本低等優(yōu)點(diǎn)。這項(xiàng)技術(shù)對現(xiàn)存數(shù)據(jù)業(yè)務(wù)和未來的網(wǎng)絡(luò)擴(kuò)容都有很好的支持和完善，近年來引起了極大關(guān)注和廣泛應(yīng)用。在用戶對數(shù)據(jù)專線上網(wǎng)業(yè)務(wù)的速率保障和網(wǎng)絡(luò)安全性穩(wěn)定性的需求不斷提高的背景下，研究應(yīng)用和實(shí)施上網(wǎng)出口的鏈路聚合熱備冗余保護(hù)機(jī)制，具有非常重要的現(xiàn)實(shí)意義。

1 鏈路聚合技術(shù)應(yīng)用

鏈路聚合技術(shù)（Link Aggregation）[1]也稱為捆綁技術(shù)，其功能是將兩個(gè)或多個(gè)相同接口類型的物理端口捆綁成一個(gè)邏輯端口，從而實(shí)現(xiàn)n個(gè)端口的容量疊加，n為聚合捆綁的端口數(shù)量。此外，該邏輯端口上的流量可以合理分配到每一個(gè)捆綁成員，實(shí)現(xiàn)負(fù)載均擔(dān)。

鏈路聚合具有如下優(yōu)點(diǎn)。第一，可以增加鏈路帶寬。由多個(gè)物理端口聚合綁定后的邏輯端口，其鏈路帶寬等于每個(gè)被綁定的端口成員的帶寬總和。第二，可以提高網(wǎng)絡(luò)連接的可靠性。鏈路聚合中的端口成員都在同時(shí)工作，互為備份，如果其中某條鏈路中斷，不會(huì)影響使用，只是降低了總帶寬。

鏈路聚合必須遵循相應(yīng)的規(guī)則[2]：進(jìn)行聚合的端口速率類型必須一致；進(jìn)行聚合的端口必須工作在全雙工模式；進(jìn)行聚合的端口成員的工作模式必須一致，可以是access﹑trunk或hybrid等。

根據(jù)聚合端口上是否啟用了聚合端口控制協(xié)議，可以將鏈路聚合模式分為無協(xié)議的聚合（靜態(tài)聚合）[3]和有協(xié)議的聚合（動(dòng)態(tài)聚合）[4]。聚合端口控制協(xié)議分為兩種：一種是端口聚合協(xié)議（Port Aggregation Protocol，PAgP）[5]， 是Cisco的私有協(xié)議，具有學(xué)習(xí)相鄰端口組動(dòng)態(tài)和信息的能力；另一種是鏈路聚合控制協(xié)議（Link Aggregation Control Protocol，LACP）[6]，遵循IEEE802.3ad工業(yè)標(biāo)準(zhǔn)，能夠?qū)崿F(xiàn)鏈路動(dòng)態(tài)聚合與解聚合的協(xié)議，通過 LACPDU（Link Aggregation Control Protocol Data Unit，鏈路聚合控制協(xié)議數(shù)據(jù)單元）[7]報(bào)文與對端進(jìn)行鏈路狀態(tài)信息的交互。本文所涉及的有協(xié)議的聚合方式，采用更具廣泛性的LACP協(xié)議。

無協(xié)議的聚合模式，即將多個(gè)物理端口直接加入聚合組，聚合組內(nèi)的成員端口不啟用聚合端口控制協(xié)議[8]。

有協(xié)議的聚合模式，將多個(gè)物理端口加入聚合組后，在聚合組內(nèi)配置dynamic模式，即啟用LACP協(xié)議。LACP能時(shí)時(shí)檢測聚合組內(nèi)的端口成員狀態(tài)，自動(dòng)發(fā)現(xiàn)故障鏈路，自動(dòng)重新聚合，在獲得最大帶寬的同時(shí)，保證鏈路的有效性。

2 鏈路聚合在互聯(lián)網(wǎng)出口的部署設(shè)計(jì)

傳統(tǒng)的數(shù)據(jù)承載網(wǎng)的網(wǎng)絡(luò)邊緣側(cè)互聯(lián)網(wǎng)出口，一般采用M:N冷備的保護(hù)方式。這種冷備方式存在兩大隱患。第一，出口帶寬受到端口速率的限制。目前，傳輸網(wǎng)通往互聯(lián)網(wǎng)出口的端口速率多為GE端口和少量XGE端口，而百兆以上甚至千兆接入速率的數(shù)據(jù)專線用戶越來越多，這將造成出口流量趨于滿負(fù)荷。第二，網(wǎng)絡(luò)結(jié)構(gòu)性隱患。在出口鏈路發(fā)生故障時(shí)，造成業(yè)務(wù)迂回割接速度慢，網(wǎng)絡(luò)自愈能力差。同時(shí)，M:N冷備的保護(hù)方式，可投入使用的帶寬為M，而N的帶寬只能處于閑置狀態(tài)，造成帶寬資源浪費(fèi)，靈活性也不高?；ヂ?lián)網(wǎng)出口采用聚合方式，可以最高限度地利用網(wǎng)絡(luò)帶寬資源。例如，原本采用5:3的冷備方式，假設(shè)端口類型均為GE端口，那么出口容量為5 G，另外3 G做冷備處于閑置，可以將這8個(gè)端口整合成4對鏈路聚合端口。于是，總共可以有8 G的互聯(lián)網(wǎng)出口，達(dá)到了擴(kuò)容的效果，同時(shí)也提升了網(wǎng)路自愈性?；就?fù)鋱D形如圖1所示，即在PE2和PE3之間建立鏈路聚合。

圖1 鏈路聚合的應(yīng)用網(wǎng)絡(luò)架構(gòu)

以下分析規(guī)劃原則。

2.1 客戶端與互聯(lián)網(wǎng)網(wǎng)關(guān)的規(guī)劃原則

在客戶端CE側(cè)和運(yùn)營商互聯(lián)網(wǎng)網(wǎng)關(guān)PE3側(cè)之間，可以采用靜態(tài)路由或EBGP（外部邊界網(wǎng)關(guān)協(xié)議）[9]來實(shí)現(xiàn)兩臺設(shè)備之間的路由信息交互。CE與PE3之間需要規(guī)劃一段互聯(lián)IP（多為30位掩碼），并需要對客戶端內(nèi)網(wǎng)劃一段IP。對于EBGP模式，則需要用戶端具有私有AS號，并且用戶和運(yùn)營商雙方需約定CE向PE通告的EBGP路由條目數(shù)量。

2.2 承載網(wǎng)邊緣側(cè)與互聯(lián)網(wǎng)網(wǎng)關(guān)側(cè)的聚合物理端口規(guī)劃原則

聚合組內(nèi)端口的選擇，須保證物理上的平行分開，應(yīng)選用不同槽位上的端口，以避免單板故障所造成的聚合鏈路整體失效。必須注意的是，兩設(shè)備間的互聯(lián)光纖也應(yīng)保證在傳輸層面平行分開，避免在同一條光路上。一旦光路受阻，則仍舊影響整個(gè)聚合組。如果存在兩臺設(shè)備做堆疊系統(tǒng)[10]，那么應(yīng)在這兩臺設(shè)備上各選一個(gè)端口做鏈路聚合，以防止單節(jié)點(diǎn)失效所造成的聚合鏈路中斷。

聚合組內(nèi)的端口須保證端口速率類型﹑端口模式（LACP只能是全雙工模式）﹑端口工作模式完全一致。

2.3 聚合組的類型選擇

聚合組是一組以太網(wǎng)接口的集合，因此也稱為聚合接口。根據(jù)路由與交換的不同應(yīng)用需求，可分為二層聚合組和三層聚合組。不需要配置IP，只轉(zhuǎn)發(fā)二層以太網(wǎng)幀。不能宣告進(jìn)路由協(xié)議的，如PE2側(cè)的聚合接口類型為二層聚合接口，通過VLAN隔離業(yè)務(wù)。需要配置IP的，可以運(yùn)行路由協(xié)議。能接收并轉(zhuǎn)發(fā)IP包的，如PE3側(cè)的聚合接口，則為三層聚合接口。

2.4 鏈路聚合負(fù)載分擔(dān)的類型選擇

通過采用不同的聚合負(fù)載分擔(dān)類型及其組合，可以靈活合理地分配聚合組內(nèi)的流量負(fù)載。常見的負(fù)載分擔(dān)類型[11]有以下幾種：

（1）destination-MAC：根據(jù)目的MAC地址進(jìn)行聚合負(fù)載分擔(dān)；

（2）destination-IP：根據(jù)目的IP地址進(jìn)行聚合負(fù)載分擔(dān)；

（3）source-MAC：根據(jù)源MAC地址進(jìn)行聚合負(fù)載分擔(dān)；

（4）source-IP：根據(jù)源IP地址進(jìn)行聚合負(fù)載分擔(dān)；

（5）MPLS-label1：根據(jù)MPLS報(bào)文第一層標(biāo)簽進(jìn)行聚合負(fù)載分擔(dān)；

（6）MPLS-label2：根據(jù)MPLS報(bào)文第二層標(biāo)簽進(jìn)行聚合負(fù)載分擔(dān)；

（7）per-packet：對每個(gè)數(shù)據(jù)包進(jìn)行聚合負(fù)載分擔(dān)。

如圖2所示，如果做互聯(lián)的兩個(gè)鏈路聚合接口都為三層接口，那么互聯(lián)接口上會(huì)有一對互聯(lián)IP地址和MAC地址。根據(jù)IP包的轉(zhuǎn)發(fā)路徑原則，當(dāng)IP包轉(zhuǎn)發(fā)到聚合口時(shí)，雖然源IP地址和目的IP地址不同，但源MAC地址和目的MAC地址將會(huì)被替換成聚合互聯(lián)接口上的那對MAC地址。如果采用destination-MAC或source-MAC的負(fù)載分擔(dān)方式，經(jīng)過hash計(jì)算，假定計(jì)算結(jié)果為轉(zhuǎn)發(fā)至1號端口，那么數(shù)據(jù)流量將一直走在1號端口，負(fù)載分擔(dān)效果失效。所以，這種情況下不建議采用destination-MAC或source-MAC的負(fù)載分擔(dān)方式。

圖2 雙路由器之間的鏈路聚合架構(gòu)

如圖3所示，如果互聯(lián)的兩個(gè)鏈路聚合接口都為二層接口，那么互聯(lián)接口上會(huì)有多個(gè)MAC地址。如果數(shù)據(jù)包來自于同一個(gè)源IP地址，同樣根據(jù)IP包的轉(zhuǎn)發(fā)路徑原則，假設(shè)采用source-IP的負(fù)載分擔(dān)方式，經(jīng)過hash計(jì)算，假定計(jì)算結(jié)果為轉(zhuǎn)發(fā)至1號端口，則不管發(fā)往目的地址為何，都將走在1號端口，數(shù)據(jù)流的負(fù)載分擔(dān)的效果將失效。反向同理可得，destination-IP也將失效。因此，這種情況下，不建議采用destination-IP或source-IP的負(fù)載分擔(dān)方式。

圖3 雙交換機(jī)之間的鏈路聚合架構(gòu)

MPLS-label1和MPLS-label2則使用在MPLS VPN的網(wǎng)絡(luò)環(huán)境中。Per-packet指的是對數(shù)據(jù)流的每個(gè)數(shù)據(jù)包都進(jìn)行hash值的計(jì)算，然后根據(jù)計(jì)算結(jié)果分配給聚合組里的每個(gè)成員接口。這種情況下，通往同一個(gè)目的網(wǎng)絡(luò)的數(shù)據(jù)流將被拆開，容易造成數(shù)據(jù)包丟失或數(shù)據(jù)包亂序。同時(shí)，因?yàn)橐獙γ總€(gè)數(shù)據(jù)包進(jìn)行hash計(jì)算，增加了數(shù)據(jù)轉(zhuǎn)發(fā)設(shè)備的CPU負(fù)荷，所以不建議在大型網(wǎng)絡(luò)中使用。

綜合以上，在業(yè)務(wù)類型比較復(fù)雜的數(shù)據(jù)承載網(wǎng)中，聚合端口上建議同時(shí)采用source-MAC疊加source-IP，或者destination-MAC疊加destination-IP的負(fù)載分擔(dān)方式。

2.5 聚合模式的選擇

無協(xié)議的聚合模式不啟用LACP協(xié)議，其優(yōu)點(diǎn)是一旦配置好，端口的狀態(tài)不會(huì)受到網(wǎng)絡(luò)環(huán)境的影響，相對穩(wěn)定。但是，它不會(huì)對一個(gè)聚合組中的端口是否真的可以被聚合在一起進(jìn)行判斷。由于沒有協(xié)議的交互，因此也不能根據(jù)對端的狀態(tài)及時(shí)調(diào)整聚合組成員的轉(zhuǎn)發(fā)狀態(tài)，且其端口狀態(tài)也需要手工進(jìn)行維護(hù)。

有協(xié)議的聚合方式即啟用LACP協(xié)議，能夠根據(jù)對端和本端的端口狀態(tài)進(jìn)行聚合組成員的轉(zhuǎn)發(fā)狀態(tài)，比較靈活，具有很強(qiáng)的網(wǎng)絡(luò)自愈能力，因此，建議在鏈路聚合中，使用有協(xié)議的聚合模式。

3 測試及分析

本次測試主要針對上網(wǎng)出口的鏈路聚合的基本功能，以及采用無協(xié)議和有協(xié)議的聚合保護(hù)性能的測試，并對測試結(jié)果進(jìn)行分析。

搭建測試環(huán)境，如圖4所示。網(wǎng)絡(luò)測試儀1模擬用戶端，先由數(shù)據(jù)承載網(wǎng)接入；數(shù)據(jù)承載網(wǎng)與互聯(lián)網(wǎng)出口之間采用兩個(gè)GE端口或兩個(gè)XGE端口[12]做鏈路聚合保護(hù)；由網(wǎng)絡(luò)測試儀1去訪問帶有公網(wǎng)IP的網(wǎng)絡(luò)測試儀2。本測試在數(shù)據(jù)承載網(wǎng)側(cè)采用的是中興PTN6500系列產(chǎn)品和H3C公司的9500系列產(chǎn)品，在互聯(lián)網(wǎng)出口采用Cisco和Juniper的路由器。

圖4 鏈路聚合測試環(huán)境

保護(hù)功能測試步驟如下：

（1）在運(yùn)數(shù)據(jù)承載網(wǎng)與互聯(lián)網(wǎng)出口的互聯(lián)設(shè)備上，將兩個(gè)相同端口類型的互聯(lián)端口綁定為聚合端口。

（2）先采用無協(xié)議的聚合模式（Linkaggregation Mode Static）。

（3）通過網(wǎng)絡(luò)測試儀1訪問網(wǎng)絡(luò)測試儀2上的公網(wǎng)IP，每秒發(fā)送10 000個(gè)數(shù)據(jù)包。

（4）人為制造鏈路故障，先斷TX單纖，恢復(fù)TX單纖，再斷RX單纖，恢復(fù)RX單纖，最后斷雙纖，恢復(fù)雙纖，觀測并記錄丟包數(shù)量。

（5）測算鏈路故障所造成的中斷時(shí)間，中斷時(shí)間=丟包數(shù)量÷10 000(個(gè)/秒)。

（6）再采用有協(xié)議的聚合模式（Link-aggregation Mode Dynamic），重復(fù)步驟（4）和步驟（5）。

測試結(jié)果，如表1﹑表2所示。

表1 GE端口鏈路聚合中斷測試結(jié)果

表2 XGE端口鏈路聚合中斷測試結(jié)果

本此流量轉(zhuǎn)發(fā)及壓力測試，涉及多個(gè)廠商﹑不同類型的設(shè)備以及不同的以太網(wǎng)承載技術(shù)?？梢姡琇ACP協(xié)議具有很強(qiáng)的兼容性，在雙方設(shè)備經(jīng)過協(xié)商后形成鏈路聚合，模擬的用戶流量在其通道上能夠被正確轉(zhuǎn)發(fā)，實(shí)現(xiàn)流量負(fù)載分擔(dān)。在模擬斷纖測試中，根據(jù)鏈路聚合保護(hù)功能的測試結(jié)果可以看出，相同設(shè)備的GE口和XGE口，測試結(jié)果差異不大。而在丟包情況和中斷時(shí)長方面，啟用有協(xié)議（LACP）的聚合方式，保護(hù)效果更好，其業(yè)務(wù)恢復(fù)時(shí)間可以達(dá)到毫秒級。在斷纖恢復(fù)時(shí)，甚至可以達(dá)到零丟包的效果。這充分滿足了網(wǎng)絡(luò)可靠性和自愈性的要求。

4 結(jié) 語

在運(yùn)營商的實(shí)際網(wǎng)絡(luò)中，端口上的流量不斷增加，已成為業(yè)務(wù)量擴(kuò)大和網(wǎng)絡(luò)性能的瓶頸。而借助鏈路聚合技術(shù)，可以為運(yùn)營商提供較為經(jīng)濟(jì)的網(wǎng)絡(luò)擴(kuò)容以及更加完善的冗余保護(hù)。本文分析了鏈路聚合技術(shù)的使用方式，并對鏈路聚合在運(yùn)營商網(wǎng)絡(luò)上的實(shí)際應(yīng)用提供了優(yōu)化部署方案。通過組建測試環(huán)境來驗(yàn)證聚合鏈路的部署配置方案及相關(guān)功能，驗(yàn)證了有協(xié)議的鏈路聚合可以提供更好的保護(hù)效果，可以滿足未來網(wǎng)絡(luò)不斷擴(kuò)大發(fā)展對可靠性和自愈性的要求。

[1] 呂永芝,蘇鋒文.鏈路聚合及其組網(wǎng)應(yīng)用[J].數(shù)字技術(shù)與應(yīng)用,2014(09):98.

LV Yong-zhi,SU Feng-wen.Link Aggregation and Its Networking App lications[J].Digital Technology and Application,2014(09):98.

[2] 郭淵.基于中低端MSR路由器的鏈路聚合技術(shù)的研究與實(shí)現(xiàn)[D].西安:西安電子科技大學(xué),2014.

GUO Yuan.Research and Imp lementation of Link Aggregation based on Mid-range MSR Routers[D]. Xi'an:Xidian University,2014.

[3] Masashi K,Satoshi T,Hidehiro T.A Port Expander Using Protocol-independent Link-aggregation Technologies for Large-scale Data-center Network[C]. The 20th Asia-Pacific Conference on Communication (APCC2014),2014:52-57.

[4] 姚君.以太網(wǎng)鏈路聚合實(shí)現(xiàn)探究[J].電子制作,2014 (11):169-170.

YAO Jun.Research on the Realization of Ethernet Link Aggregation[J].Practical Electronics,2014,(11):169-170.

[5] 朱壯普.鏈路聚合技術(shù)在企業(yè)網(wǎng)中的應(yīng)用[J].電子商務(wù),2013,(04):65.

ZHU Zhuang-pu.App lication of Link Aggregation Technology in Enterprise Networks[J].E-Business Journal,2013,(04):65.

[6] 郭亮.基于LACP的鏈路聚合測試方法研究和實(shí)踐[J].電信科學(xué),2013,29(08):168-172.

GUO Liang.Study and Practice on Test Methodology of Link Aggregation based on LACP[J].Telecommunications Science,2013,29(08):168-172.

[7] 劉佃村.以太網(wǎng)路由器鏈路聚合的設(shè)計(jì)與實(shí)現(xiàn)[D].重慶:重慶大學(xué),2015.

LIU Dian-cun.Design and Implementation of Link Aggregation for Ethernet Router[D].Chongqing:Chongqing University,2015.

[8] 李建生,曲云彩.華為設(shè)備采用靜態(tài)LACP提高網(wǎng)絡(luò)鏈路聚合的可靠性[J].通信電源技術(shù),2013,30(06):100-101.

LI Jian-sheng,QU Yun-cai.Huawei Device Uses Static LACP to Improve Reliability of Network Link Aggregation[J]. Telecom Power Technology,2013,30(06):100-101.

[9] Sarakbi B,Maag S.Partial Comp lete iBGP[C].2010 IEEE International Conference on Communications (ICC),2010:1-5.

[10] Chau F.Ethernet Switches with Resilient Framework Technology[J].TelecoMasia,2005,16(02):29.

[11] 戎江霽,包杰,李松華等.基于LACP的跨系統(tǒng)鏈路聚合的研究[J].電視技術(shù),2013,37(07):101-103.

RONG Jiang-ji,BAO Jie,LI Song-hua,et al.Research of Link Aggregation Cross Systems based on LACP[J].Video Engineering,2013,37(07):101-103.

[12] 武磊.萬兆以太網(wǎng)接口及鏈路聚合技術(shù)的研究與實(shí)現(xiàn)[D].成都:電子科技大學(xué),2015.

WU Lei.The Research and Implementation of 10 Gigabit Ethernet Interface and Link Aggregation Technology[D]. Chengdu:University of Elec tronic Science and Technology of China,2015.

Edge Protection for Internet Export of Data Networks based on Link Aggregation

ZHOU Wei, ZHU Jia-qi, JIN Hao

(Shanghai Information Network Co.,Ltd., Shanghai 200081, China)

To satisfy with the increasing requirements of internet business of data networks, the method which takes the link aggregation technology and focuses on protecting the network edge is proposed, thus to implement redundancy protection of the internet export. For this scheme, the planning principles of among the clients, internet gateways and network edge sides are analyzed, the selections of aggregation combination, load balance, aggregation mode discussed, and thus the mechanism based on link aggregation protection protocol is suggested. The experimental test indicates that the mechanism based on link aggregation protection protocol is fairly good and can implement the protection in a few milliseconds, and thus would be the future mainstream protection way in satisfying the expansion and security of between the data networks and their internet exports.

link aggregation; LACP; load balance; edge protection

TN919.2

A

1002-0802(2016)-11-1541-05

10.3969/j.issn.1002-0802.2016.11.024

周 偉（1972—）,男，博士，高級工程師，主要研究方向?yàn)閿?shù)據(jù)通信﹑無線通信；

朱家琪（1986—），男，碩士，工程師，主要研究方向?yàn)閿?shù)據(jù)通信；

金 豪（1983—），男，學(xué)士，工程師，主要研究方向?yàn)閿?shù)據(jù)通信。

2016-07-11；

2016-10-14 Received date:2016-07-11;Revised date:2016-10-14