程克非a，高江明，段 潔**，田瑞林

(重慶郵電大學(xué) a.計算機科學(xué)與技術(shù)學(xué)院；b.通信與信息工程學(xué)院，重慶 400065)

面向SDN的數(shù)據(jù)中心網(wǎng)絡(luò)更新研究綜述*

程克非a，高江明b，段 潔**b，田瑞林b

(重慶郵電大學(xué) a.計算機科學(xué)與技術(shù)學(xué)院；b.通信與信息工程學(xué)院，重慶 400065)

近年來，由于軟件定義網(wǎng)絡(luò)(SDN)的控制平面與數(shù)據(jù)平面分離、集中式控制的特點，被廣泛應(yīng)用于數(shù)據(jù)中心網(wǎng)絡(luò)(DCN)。分四個部分對DCN更新的相關(guān)研究進行了綜述。首先，介紹了DCN和SDN的基本概念及研究現(xiàn)狀；隨后，詳細說明了傳統(tǒng)DCN在更新方面遇到的缺陷；其次，重點討論了基于SDN的數(shù)據(jù)中心網(wǎng)絡(luò)(SD-DCN)更新場景的研究現(xiàn)狀與存在的不足，同時指出了一些方案存在的缺點；最后，對基于SDN的數(shù)據(jù)中心網(wǎng)絡(luò)未來研究方向進行了展望，以期為SD-DCN的研究與應(yīng)用提供一定的參考。

數(shù)據(jù)中心網(wǎng)絡(luò)；軟件定義網(wǎng)絡(luò)；網(wǎng)絡(luò)更新；控制平面；數(shù)據(jù)平面

1 引 言

最近幾年，隨著互聯(lián)網(wǎng)和信息技術(shù)的迅猛發(fā)展，數(shù)據(jù)中心的數(shù)量以及數(shù)據(jù)中心的節(jié)點數(shù)目都成倍增長[1],由于數(shù)據(jù)中心的規(guī)模呈現(xiàn)爆炸式的急速發(fā)展，許多公司都開始擴建屬于自己的數(shù)據(jù)中心網(wǎng)絡(luò)。云計算技術(shù)[2]的出現(xiàn)對數(shù)據(jù)中心網(wǎng)絡(luò)的發(fā)展提出了新的挑戰(zhàn),例如網(wǎng)絡(luò)安全、虛擬機遷移、負載均衡等。傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)面對爆炸式的流量增長表現(xiàn)出了諸多方面的缺陷。首先，是帶寬使用率的問題。由于現(xiàn)有網(wǎng)絡(luò)帶寬資源相對匱乏，當(dāng)前可以利用設(shè)備到設(shè)備(Device-to-Device，D2D)技術(shù)來解決這一問題[3-5]。同時，也降低了功率分配，減少了設(shè)備的電池消耗等。其次，是鏈路擁塞、數(shù)據(jù)包丟失等問題。因此，如何利用新技術(shù)解決數(shù)據(jù)中心網(wǎng)絡(luò)出現(xiàn)的問題成為了當(dāng)前研究的重點。

數(shù)據(jù)中心網(wǎng)絡(luò)(Data Center Network，DCN)是指數(shù)據(jù)中心內(nèi)部通過高速鏈路和交換機連接大量服務(wù)器的網(wǎng)絡(luò)[6]，形成具有高帶寬、高可用性、高可靠性以及負載均衡的服務(wù)器網(wǎng)絡(luò)，對外提供計算、存儲等服務(wù)。傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)主要采用層次結(jié)構(gòu)實現(xiàn)，且承載的主要是客戶機/服務(wù)器模式應(yīng)用[7]。

軟件定義網(wǎng)絡(luò)(Software Defined Networking，SDN)作為一種新型的網(wǎng)絡(luò)架構(gòu)[8]，其核心思想就是解除網(wǎng)絡(luò)設(shè)備的耦合性，即控制平面與數(shù)據(jù)平面相分離、實現(xiàn)邏輯上的集中式控制。SDN架構(gòu)分為應(yīng)用層、控制層和數(shù)據(jù)層。應(yīng)用層包括各種不同的業(yè)務(wù)和應(yīng)用，控制層負責(zé)處理數(shù)據(jù)層資源的編排、維護網(wǎng)絡(luò)拓撲、狀態(tài)信息等，數(shù)據(jù)層負責(zé)數(shù)據(jù)處理、轉(zhuǎn)發(fā)和狀態(tài)收集。

研究者把SDN與DCN相結(jié)合，形成了軟件定義-數(shù)據(jù)中心網(wǎng)絡(luò)(Software Defined Data Center Network，SD-DCN)，充分利用SDN控制器實現(xiàn)全局網(wǎng)絡(luò)的維護、交換機狀態(tài)的收集、路由的計算和流表項的管理。因此，基于SDN的數(shù)據(jù)中心網(wǎng)絡(luò)可以解決傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)的缺陷，簡化網(wǎng)絡(luò)管理，降低運維成本，提供更好的負載均衡。

軟件定義網(wǎng)絡(luò)在負載均衡[9-11]和故障維護[12-13]方面的應(yīng)用越來越普遍，控制器通過改變數(shù)據(jù)平面上交換機的流表項來調(diào)整受影響的流到冗余路徑上傳輸，從而避免網(wǎng)絡(luò)的擁塞[14-15]和實現(xiàn)故障恢復(fù)[16-17]。P4[18]開創(chuàng)了數(shù)據(jù)平面的可編程時代的到來，該項目由許多單獨的模塊組成，每個模塊是一個子項目。如果控制器沒有正確地改變流表項將會引起網(wǎng)絡(luò)的不一致性屬性或網(wǎng)絡(luò)性能的下降。

數(shù)據(jù)中心網(wǎng)絡(luò)引入SDN架構(gòu)后的研究仍然處于發(fā)展的初期[19-20]，相關(guān)的研究工作仍在進行，其中主要的研究熱點是利用SDN控制器在保證一致性屬性和約束的條件下，規(guī)劃網(wǎng)絡(luò)更新順序，提高網(wǎng)絡(luò)性能[21-22]。最近在網(wǎng)絡(luò)更新方面有了大量的研究成果。Dionysus[23]根據(jù)依賴關(guān)系圖對網(wǎng)絡(luò)更新順序進行了仔細的規(guī)劃，實現(xiàn)快速性和一致性的網(wǎng)絡(luò)更新。如果依賴關(guān)系圖存在環(huán)，將通過流量分發(fā)比率限制來破壞環(huán)，然后規(guī)劃網(wǎng)絡(luò)更新順序。Cupid[24]把全局依賴關(guān)系轉(zhuǎn)換為局部約束,通過轉(zhuǎn)換后，可以提高網(wǎng)絡(luò)更新速度和實現(xiàn)無擁塞的發(fā)生。

Atomip[25]首先查找網(wǎng)絡(luò)中潛在的擁塞流和潛在的擁塞鏈路，然后據(jù)此信息將大問題劃分為幾個子問題進行處理。Mcup[26]研究的是在網(wǎng)絡(luò)更新期間實現(xiàn)最小的擁塞損失，且在更新速度和瞬時擁塞之間進行權(quán)衡，找到一個最合理的網(wǎng)絡(luò)更新順序。zUpdate[27]的目標是在DCN的更新過程中消除擁塞。

本文首先對數(shù)據(jù)中心網(wǎng)絡(luò)的更新場景和面臨的挑戰(zhàn)進行了總結(jié)，然后闡述了SD-DCN的各個更新場景的研究現(xiàn)狀，并對其存在的問題進行了總結(jié)，最后對未來工作進行了展望。

2 數(shù)據(jù)中心網(wǎng)絡(luò)的更新問題

傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)的更新通常是指數(shù)據(jù)平面更新，更新原因可能是周期性、故障、運營商的需求等引起。傳統(tǒng)的更新方法存在一些不可避免的缺陷，比如：網(wǎng)絡(luò)不能全局協(xié)調(diào)、網(wǎng)絡(luò)節(jié)點獨立的執(zhí)行流量控制策略、不能形成全局最優(yōu)的調(diào)度方案、缺少動態(tài)調(diào)度能力。如何解決傳統(tǒng)網(wǎng)絡(luò)的缺陷一直是學(xué)術(shù)界的研究重點。

網(wǎng)絡(luò)更新期間需要保證一致性和實現(xiàn)快速性更新。一致性是指不能違背某些屬性，例如：相同流傳輸?shù)穆窂讲荒苄纬森h(huán)(無環(huán))、無數(shù)據(jù)包的丟失(無黑洞)和到達鏈路的流量不應(yīng)該超過鏈路的容量(無擁塞)。快速性是指網(wǎng)絡(luò)更新時間，要在最短的時間內(nèi)完成更新。網(wǎng)絡(luò)更新方案可以總結(jié)為網(wǎng)絡(luò)拓撲變量和流量矩陣變量。

表1是典型的數(shù)據(jù)中心網(wǎng)絡(luò)的數(shù)據(jù)平面更新案例及屬于哪個更新變量。虛擬機遷移和負載均衡器的重新配置屬于流量矩陣改變，其余更新場景屬于網(wǎng)絡(luò)拓撲改變。

表1 數(shù)據(jù)中心網(wǎng)絡(luò)的更新場景Tab.1 Update scenarios in DCN

網(wǎng)絡(luò)更新面臨的挑戰(zhàn)是處理全網(wǎng)的流量遷移，即不同交換機之間的規(guī)則協(xié)作關(guān)系。因此，在網(wǎng)絡(luò)更新期間，如果網(wǎng)絡(luò)中流的轉(zhuǎn)發(fā)規(guī)則需要改變，而改變轉(zhuǎn)發(fā)規(guī)則不同步，將會對某些熱點鏈路產(chǎn)生瞬時負載峰值或鏈路擁塞。

用圖1的例子來說明異步改變轉(zhuǎn)發(fā)規(guī)則帶來的后果。圖中給出了最初的網(wǎng)絡(luò)狀態(tài)和最終的網(wǎng)絡(luò)狀態(tài)，要實現(xiàn)兩個網(wǎng)絡(luò)狀態(tài)之間的轉(zhuǎn)換，需要在交換機S1和S2的入口處同步改變轉(zhuǎn)發(fā)規(guī)則。如果沒能實現(xiàn)同步改變轉(zhuǎn)發(fā)規(guī)則，將會對熱點鏈路產(chǎn)生瞬時的負載峰值或鏈路擁塞。如果流f1在交換機S1的入口處改變轉(zhuǎn)發(fā)規(guī)則先于流f2在交換機S2的入口處改變轉(zhuǎn)發(fā)規(guī)則，將會對鏈路l2產(chǎn)生瞬時的負載峰值或鏈路擁塞。同理，會對鏈路l1產(chǎn)生同樣的影響。只有實現(xiàn)兩個交換機同步改變轉(zhuǎn)發(fā)規(guī)則，才可以達到最終的網(wǎng)絡(luò)狀態(tài)。

圖1 流量遷移期間瞬時負載的增加Fig.1 Transient load increase during traffic migration

傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)的管理和維護都很困難，不管是用戶還是運營商都難以對網(wǎng)絡(luò)進行實時性監(jiān)控，簡單的流量信息及負載數(shù)據(jù)很難準確地反應(yīng)網(wǎng)絡(luò)狀態(tài)，不能動態(tài)地實現(xiàn)網(wǎng)絡(luò)流量規(guī)劃、鏈路利用率低等問題。為了解決上述問題，在數(shù)據(jù)中心網(wǎng)絡(luò)引入了SDN架構(gòu)，利用SDN控制器負責(zé)整個網(wǎng)絡(luò)的維護、交換機狀態(tài)的收集、路徑的計算、網(wǎng)絡(luò)流動態(tài)調(diào)度和流表項的管理等，從而解決傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)帶寬利用率低、鏈路擁塞、數(shù)據(jù)包丟失等問題。

3 基于SDN的數(shù)據(jù)中心網(wǎng)絡(luò)更新

軟件定義網(wǎng)絡(luò)的主要設(shè)備是SDN控制器和OpenFlow交換機。SDN控制器實現(xiàn)集中控制，掌握整個網(wǎng)絡(luò)拓撲信息(交換機流條目數(shù)量、鏈路可用帶寬、交換機故障等)。圖2是控制器對交換機實現(xiàn)控制的簡單拓撲圖。

圖2 簡單網(wǎng)絡(luò)拓撲圖Fig.2 Simple network topology

表2是數(shù)據(jù)中心網(wǎng)絡(luò)引入軟件定義網(wǎng)絡(luò)后的一些更新場景，總結(jié)了更新場景的不同可能會對SDN控制器和OpenFlow交換機產(chǎn)生的影響。

表2 SD-DCN的更新場景Tab.2 Update scenarios in SD-DCN

傳統(tǒng)DCN更新場景與SD-DCN更新場景具有相似之處。在SDN網(wǎng)絡(luò)中，由于SDN控制器需要對網(wǎng)絡(luò)拓撲進行集中控制，可以掌握本地局域網(wǎng)內(nèi)所有OpenFlow交換機的狀態(tài)信息，如OpenFlow交換機流條目數(shù)量、可用鏈路帶寬、網(wǎng)絡(luò)的拓撲信息等。SDN控制器根據(jù)這些信息利用已有算法主動或被動的生成流條目，然后下發(fā)給OpenFlow交換機，從而規(guī)劃網(wǎng)絡(luò)流傳輸路徑。

3.1交換機固件升級、故障維護、鏈路故障

數(shù)據(jù)中心網(wǎng)絡(luò)隨時會出現(xiàn)交換機固件升級、交換機故障維護、鏈路故障的情況。面對這些突發(fā)的事件，需要根據(jù)網(wǎng)絡(luò)拓撲信息調(diào)整受影響的流到冗余路徑上進行傳輸，從而避免鏈路發(fā)生擁塞、出現(xiàn)數(shù)據(jù)包的丟失、縮短故障恢復(fù)的時間等。

網(wǎng)絡(luò)出現(xiàn)交換機故障或鏈路故障，已有的解決辦法有兩種。第一種是故障保護，提前計算備份路徑和分配備份規(guī)則，從而繞過故障交換機或故障鏈路。這種方案是可行的，但是會消耗大量交換機內(nèi)存，尤其是對交換機的三態(tài)內(nèi)容尋址存儲器(Ternary Content Addressable Memory，TCAM)的容量，但為了故障恢復(fù)時間最短，這樣的犧牲在某種情況下是可行。第二種是故障恢復(fù)，依靠的是動態(tài)重新路由，從而繞過故障交換機或故障鏈路。動態(tài)重計算會加重控制器與交換機之間的通信壓力，會消耗一定的時間。因此，利用SDN架構(gòu)的思想和設(shè)計合適的算法，實現(xiàn)故障恢復(fù)成為了當(dāng)前的研究重點。

文獻[14]提出快速故障轉(zhuǎn)移和快速切換機制來處理鏈路故障和擁塞問題?？刂破髟贠penFlow交換機上提前為源、目的節(jié)點對估計多個路徑，如果故障發(fā)生，則用備份路徑進行傳輸，但缺點是犧牲交換機內(nèi)存來實現(xiàn)故障的快速恢復(fù)，不能應(yīng)用到大規(guī)模的網(wǎng)絡(luò)中。文獻[28]提出了Dfrs方法克服故障保護和故障恢復(fù)的障礙，實現(xiàn)運營商可制定他們的網(wǎng)絡(luò)故障恢復(fù)目標，但沒有考慮鏈路容量和數(shù)據(jù)包丟失等約束條件，未來研究工作需要考慮這些因素做綜合性的研究。

目前有關(guān)SDN故障恢復(fù)方面的研究也加入了負載均衡的功能。文獻[29]提出了基于負載均衡的SDN數(shù)據(jù)平面故障恢復(fù)方法。首先，將數(shù)據(jù)流根據(jù)對時延的要求進行分類；然后，確定具有負載均衡調(diào)節(jié)功能的備份路徑選取策略。本文沒有考慮鏈路帶寬碎片化和交換機內(nèi)存的限制。文獻[30]提出最大概率路徑流量調(diào)度算法。首先，計算滿足待調(diào)度流帶寬需求的所有路徑；然后，計算流帶寬與路徑最小鏈路帶寬之間的帶寬比，結(jié)合所有路徑的帶寬比為每一條路徑計算路徑概率；最后，利用概率機制選擇路徑。該文分別為大象流和老鼠流設(shè)計了算法，充分考慮到了帶寬碎片化和流量負載等問題。

最近研究的熱點是如何讓網(wǎng)絡(luò)中的鏈路不發(fā)生擁塞。比如：文獻[27]通過引入一些中間網(wǎng)絡(luò)配置狀態(tài)，然后從初始網(wǎng)絡(luò)配置狀態(tài)與中間網(wǎng)絡(luò)配置狀態(tài)之間進行逐步切換，其中任意兩種狀態(tài)之間的切換都是無擁塞；文獻[31]提出了一種主動處理數(shù)據(jù)平面和控制平面故障的方法，提前為k個故障預(yù)留足夠的鏈路帶寬，只要故障數(shù)不大于k就會保證無擁塞的發(fā)生；文獻[32]通過把更新問題轉(zhuǎn)換成線性規(guī)劃來找到傳輸順序，實現(xiàn)把流切換到新的路徑上進行傳輸，而不引起任何鏈路發(fā)生擁塞或瞬時擁塞。這些方法都是關(guān)注鏈路不發(fā)生擁塞，都沒有考慮網(wǎng)絡(luò)更新時延、帶寬碎片化等問題。

如圖3所示，(a)是初始網(wǎng)絡(luò)拓撲圖傳輸流的狀態(tài)，當(dāng)網(wǎng)絡(luò)拓撲中的交換機出現(xiàn)故障，需要調(diào)整經(jīng)過故障交換機傳輸?shù)牧鞯饺哂嗦窂竭M行傳輸；(b)是一種調(diào)整故障流的例子。

圖3 交換機故障Fig.3 Switch failure

交換機故障或鏈路故障的研究主要集中在控制交換機的流條目消耗和避免鏈路擁塞，同時要滿足故障恢復(fù)的時間要求。zUpdate考慮的是流表的消耗和避免擁塞，F(xiàn)FC考慮的是避免擁塞，Dfrs考慮的是實現(xiàn)最少的流表策略，目前缺少綜合考慮這些約束的研究。未來的研究重點是依靠SDN的集中控制能力，在交換機或鏈路出現(xiàn)故障時，首先，SDN控制器根據(jù)實時的網(wǎng)絡(luò)拓撲信息規(guī)劃出終止網(wǎng)絡(luò)狀態(tài)；然后，設(shè)計算法實現(xiàn)網(wǎng)絡(luò)狀態(tài)之間的切換。網(wǎng)絡(luò)狀態(tài)的切換除了滿足約束條件，還要提高網(wǎng)絡(luò)性能指標，比如縮短故障恢復(fù)時間、沒有數(shù)據(jù)包的丟失或最少的數(shù)據(jù)包的丟失等。

3.2安裝新的交換機

在實際應(yīng)用中，已有的網(wǎng)絡(luò)配置不能滿足日常工作和生活的需求，需要改善網(wǎng)絡(luò)現(xiàn)有的缺陷，通常有兩種方法：一是在業(yè)務(wù)量需求較大的鏈路附近增加新的鏈路，二是對已有的鏈路進行擴容。安裝新的交換機屬于添加多條新的鏈路，在業(yè)務(wù)量需求較大的網(wǎng)絡(luò)中添加新的交換機，可以避免鏈路發(fā)生擁塞、數(shù)據(jù)包丟失等情況的發(fā)生。

研究安裝新的交換機的文獻幾乎沒有，都是作為技術(shù)方面的說明。在SDN的網(wǎng)絡(luò)拓撲中安裝新的交換機，首先，需要交換機與控制器之間建立連接，連接建立好之后，控制器就可以對交換機實現(xiàn)集中式的控制；然后，交換機之間通過控制器的指令進行連接。交換機與控制器之間連接的建立，主要分為主動(proactive)和被動(reactive)兩種模式。

主動的流條目下發(fā)是指在數(shù)據(jù)包到達交換機之前就進行流條目設(shè)置，因此當(dāng)?shù)谝粋€數(shù)據(jù)包到達交換機后，交換機就知道如何處理數(shù)據(jù)包，這種主動方式有效地消除了數(shù)據(jù)包傳輸過程中的流條目設(shè)置延遲，減少了交換機對數(shù)據(jù)包的處理時延。

被動的流條目下發(fā)是指當(dāng)交換機接收到一個數(shù)據(jù)包并且沒有發(fā)現(xiàn)與之匹配的流條目時，交換機就會發(fā)送一個Packet_in消息給控制器處理?？刂破鞲鶕?jù)一定的路由算法決策，生成對應(yīng)的流條目，然后下發(fā)給交換機進行緩存。

圖4是在網(wǎng)絡(luò)拓撲中加入新的交換機，(a)是一個由控制器與交換機組成的網(wǎng)絡(luò)拓撲，由于鏈路容量的限制或業(yè)務(wù)量的增加，需要添加新的交換機來解決出現(xiàn)的問題；(b)是在網(wǎng)絡(luò)拓撲中安裝新的交換機，控制器與交換機之間是主動建立連接的過程；(c)是控制器與交換機之間被動建立連接的過程。

圖4 網(wǎng)絡(luò)拓撲中添加新的交換機Fig.4 Adding switch to the network topology

安裝新的交換機是為了擴容、降低鏈路壓力和數(shù)據(jù)包的傳輸時延。在SDN架構(gòu)的網(wǎng)絡(luò)拓撲中安裝交換機時，會加重控制器的計算壓力，當(dāng)交換機與控制器之間建立了連接，可以明顯緩解鏈路的擁塞，提高數(shù)據(jù)包的轉(zhuǎn)發(fā)速度等。然而，沒有文獻對安裝交換機進行研究，都是一些應(yīng)用方面的工程實施，未來的研究工作可以是，如何安裝新的交換機實現(xiàn)成本最低、緩解鏈路擁塞的效益最佳。

3.3虛擬機遷移、負載均衡器重新配置

數(shù)據(jù)中心網(wǎng)絡(luò)常常被虛擬化，因此虛擬機遷移就變成了一個不可缺少的管理工具。虛擬機遷移分兩步進行：第一步是選擇哪個虛擬機被遷移，第二步是選擇哪個主機接收虛擬機的遷移。虛擬機遷移是為了維護規(guī)劃、優(yōu)化資源使用、提高吞吐量、降低能源消耗等。針對虛擬機遷移的研究已經(jīng)有了很多的成果。

文獻[33]提出了有效遷移虛擬機或遷移虛擬交換機的集合，Live是暫時在多個物理交換機上運行所有或部分虛擬交換機，在多個物理交換機上運行需要仔細規(guī)劃，避免影響到應(yīng)用程序的正確性和在遷移期間實現(xiàn)最小性能的中斷。文獻[34]研究的是基于SDN的云數(shù)據(jù)中心流和虛擬機遷移，提出了能源感知VM遷移和拓撲感知VM遷移，從而提高吞吐量。以前虛擬機遷移關(guān)注的重點是如何有效地放置VM，沒有考慮到成本。文獻[35]提出了流量感知VM遷移實現(xiàn)更低的遷移成本和通信成本，同時吞吐量和流的完成時間也是在合理的范圍內(nèi)。

負載均衡是一種把網(wǎng)絡(luò)請求分散到一個服務(wù)器集群中可用服務(wù)器上，通過管理進入的Web數(shù)據(jù)流量和增加有效的網(wǎng)絡(luò)帶寬的硬件設(shè)備。Dionysus[23]是仔細規(guī)劃更新順序，而沒有引入額外的更新階段，實現(xiàn)沒有鏈路發(fā)生過載。但是這個更新順序方法不是萬能的，因為在有些情況下，更新順序并不存在。zUpdate[27]為解決負載均衡器重新配置可能帶來的鏈路擁塞、數(shù)據(jù)包的丟失提出的解決辦法是，找到合理的流分發(fā)比率，打破等價多路徑(Equal-cost Multi-path，ECMP)的傳輸模式，實現(xiàn)加權(quán)成本多路徑(Weighted Cost Multipath，WCMP)的模式傳輸。圖5是網(wǎng)絡(luò)拓撲中流傳輸路徑改變，(a)是初始網(wǎng)絡(luò)拓撲中流傳輸狀態(tài)，而(b)是終止網(wǎng)絡(luò)拓撲中流傳輸狀態(tài)。在滿足一致性和快速性的條件下，如何從(a)切換到(b)，一直以來都是學(xué)術(shù)界研究的重點。圖5的一個有效更新順序是[F1→F4→F2]，如果先更新F2，F(xiàn)1和F4將不能移動；如果先更新F4，將產(chǎn)生鏈路的過載。

圖5 網(wǎng)絡(luò)拓撲中流傳輸路徑改變Fig.5 Stream propagation path change in network topology

對虛擬機遷移的研究關(guān)注焦點是優(yōu)化資源使用、提高吞吐量和降低能源消耗等。但是Live是提前在多個物理交換機上運行虛擬機，占用交換機的資源，缺少對吞吐量的研究。已有的研究工作很少關(guān)注虛擬機遷移完成的時間，未來的研究工作在考慮以上三點時，也要研究如何快速完成虛擬機遷移，對應(yīng)用程序的影響實現(xiàn)最小化。

對網(wǎng)絡(luò)拓撲改變的研究重點是，在實現(xiàn)切換的期間要保證沒有數(shù)據(jù)包的丟失，避免鏈路擁塞，降低對應(yīng)用程序中斷的影響。Dionysus實現(xiàn)了一致性和快速性的切換，但缺少對網(wǎng)絡(luò)更新順序不存在時的研究。未來的研究工作要結(jié)合負載均衡技術(shù)，綜合考慮目的主機端的系統(tǒng)資源開銷、遷移虛擬機開銷以及遷移后的網(wǎng)絡(luò)通信開銷，加快虛擬機遷移速度，使鏈路利用率實現(xiàn)最大化和減少對應(yīng)用程序的中斷。

3.4安排新的流到網(wǎng)絡(luò)拓撲中

網(wǎng)絡(luò)拓撲中流的大小和數(shù)量是隨時都在保持更新，所以對每條鏈路都會預(yù)留一定的帶寬，防止鏈路擁塞。很多情況下，新的流到達網(wǎng)絡(luò)拓撲時，控制器需要調(diào)整已有流傳輸方向來容納新到達的流，實現(xiàn)無擁塞的傳輸。控制器在調(diào)整流傳輸方向時，需要考慮鏈路的有效容量、交換機可用流條目數(shù)量、調(diào)整時延、帶寬碎片化等約束。在滿足一致性和約束的條件下，實現(xiàn)鏈路利用率的最大化、更新時間最短等網(wǎng)絡(luò)性能指標。

網(wǎng)絡(luò)拓撲中添加新的流，控制器規(guī)劃出來的新網(wǎng)絡(luò)拓撲在滿足約束的條件下，可能會有多個有效網(wǎng)絡(luò)拓撲的存在。因此，可以設(shè)置優(yōu)化目標挑選出需要的網(wǎng)絡(luò)拓撲，比如交換機增加的流條目數(shù)量最少、遷移的流數(shù)目最少等。絕大多數(shù)的研究關(guān)注的是遷移過程，而沒有關(guān)注目標狀態(tài)是否是最優(yōu)網(wǎng)絡(luò)狀態(tài)。為了解決這個問題，文獻[36]研究在已有網(wǎng)絡(luò)拓撲中添加新的流，用cUpdate方法通過設(shè)置優(yōu)化目標選出更新過程中遷移流量最少的目標狀態(tài)，但沒有考慮帶寬碎片化、鏈路利用率、調(diào)整網(wǎng)絡(luò)拓撲所需要的時延問題。

如圖6所示，鏈路的容量是10個單位，每個流的大小如圖所示。F6是新加入的流且大小是4個單位，控制器需要改變網(wǎng)絡(luò)拓撲中流F5的傳輸方向來容納新流。改變的網(wǎng)絡(luò)狀態(tài)如圖6(a)和圖6(b)所示，圖6(b)只是其中的一種目標狀態(tài)。

圖6 網(wǎng)絡(luò)拓撲中添加新的流Fig.6 Adding new stream to the network topology

網(wǎng)絡(luò)拓撲中有新的流到達后，控制器需要根據(jù)拓撲信息來調(diào)整部分或所有流的傳輸路徑。調(diào)整期間，需要保證沒有數(shù)據(jù)包的丟失、避免鏈路擁塞等約束。cUpdate只是在保證基本約束的情況下，選擇了遷移流量最少的網(wǎng)絡(luò)拓撲作為目標狀態(tài)。設(shè)置的優(yōu)化目標也可以是調(diào)整時間最短的目標狀態(tài)、改變交換機流條目數(shù)量最少的目標狀態(tài)等。學(xué)術(shù)界對網(wǎng)絡(luò)拓撲中添加流的研究工作還比較少，因此，未來的研究工作可以在這方面做相應(yīng)的研究，同時要研究如何規(guī)劃調(diào)度更新順序?qū)崿F(xiàn)快速性的流調(diào)整。

3.5交換機流表的限制

交換機采用三態(tài)內(nèi)容尋址存儲器存儲流表，TCAM的優(yōu)點是支持并行訪問TCAM中的條目、查詢速度快且?guī)缀醪皇艽鎯l目數(shù)量的影響，但缺點是TCAM的單位容量成本約為隨機存取存儲器(Random Access Memory,RAM)的400倍，耗能約為RAM的100倍。因此，在普通商用交換機上就已經(jīng)限制了流表的大小。

國內(nèi)外研究者對網(wǎng)絡(luò)流更新時涉及到的交換機流表限制也做了大量研究，即在滿足約束的情況下，盡量減少交換機流表項的消耗。Cupid[24]是把網(wǎng)絡(luò)拓撲的全局依賴關(guān)系轉(zhuǎn)換為局部約束后，通過把相鄰片段之間可以合并的轉(zhuǎn)發(fā)規(guī)則組合在一個流表項中，從而減少了改變交換機的流表項總數(shù)。zUpdate[27]首先計算出網(wǎng)絡(luò)拓撲中的關(guān)鍵流，然后分別為每個關(guān)鍵流分配一個條目。而那些源地址、目標地址和分發(fā)權(quán)重相同的流表項就合并為一個流表項，這樣可以減少交換機上很多不必要的流表項，實現(xiàn)交換機上流表項的約束。文獻[37]提出用段式路由(Segment Routing,SR)的技術(shù)來控制OpenFlow交換機上流表項的消耗，這種技術(shù)是需要流更新時，立即改變更新段式路由中交換機的流表項，最終實現(xiàn)對OpenFlow交換機上流表項開銷的控制。

圖7是流表項合并的例子。首先根據(jù)源地址、目標地址和分發(fā)權(quán)重把流表項進行劃分，如果這三項都相同，則分配一個通配符流表項，指明目標地址和組號；如果這三項有其中一項不同，則分配一個流表項。

圖7 流表項的合并Fig.7 Merge of flow items

交換機流表約束對網(wǎng)絡(luò)流的更新是至關(guān)重要，如果交換機上沒有多余的流表空間，SDN控制器將不會對通過此交換機的流進行更新操作，導(dǎo)致的結(jié)果可能會讓鏈路擁塞，增大數(shù)據(jù)包傳輸時延。已有的眾多研究論文都考慮到了交換機流表的約束條件，比如Cupid和zUpdate等，具體研究情況如表3所示。因此，未來研究網(wǎng)絡(luò)更新時需要重點關(guān)注交換機流表的約束條件，考慮合適的方法控制交換機流表項的開銷。

表3 研究流表項論文總結(jié)Tab.3 Summary of flow table papers

4 未來工作展望

隨著云計算、大數(shù)據(jù)、虛擬化技術(shù)普遍應(yīng)用發(fā)展趨勢和“互聯(lián)網(wǎng)+”時代背景下，研究人員應(yīng)在更好地把握現(xiàn)代數(shù)據(jù)中心網(wǎng)絡(luò)發(fā)展趨勢前提下，通過理論、技術(shù)和設(shè)計方案的創(chuàng)新，實現(xiàn)現(xiàn)代數(shù)據(jù)中心網(wǎng)絡(luò)可擴展、高效和靈活管理的目標，最終實現(xiàn)數(shù)據(jù)中心網(wǎng)絡(luò)的經(jīng)濟發(fā)展。

SDN作為一種新興的網(wǎng)絡(luò)架構(gòu)，是當(dāng)前學(xué)術(shù)界和工業(yè)界最為關(guān)注的技術(shù)之一?；赟DN的數(shù)據(jù)中心網(wǎng)絡(luò)實現(xiàn)了控制平面與數(shù)據(jù)平面的分離、邏輯集中控制的特點解決了當(dāng)前數(shù)據(jù)中心網(wǎng)絡(luò)自動化管理、多路徑轉(zhuǎn)發(fā)、綠色節(jié)能的問題，SDN網(wǎng)絡(luò)的開放化和虛擬化能夠有效實現(xiàn)數(shù)據(jù)中心的開放、VM的智能部署和遷移、海量虛擬用戶的需求。

目前SDN的應(yīng)用場景之一是數(shù)據(jù)中心網(wǎng)絡(luò)，如Google開展的B4[9]、Microsoft提出的SWAN架構(gòu)[32]以及華為技術(shù)有限公司提出的ADMCF-SNOS系統(tǒng)[38]等。以B4為例，SDN被用來改造Google數(shù)據(jù)中心之間互聯(lián)的G-Scale網(wǎng)絡(luò)。該網(wǎng)絡(luò)的鏈路成本非常昂貴，但鏈路利用率卻只能達到30%左右，浪費了絕大多數(shù)的鏈路資源。B4采用有效流量管理方法實現(xiàn)鏈路的負載均衡，增強網(wǎng)絡(luò)穩(wěn)定性和加強網(wǎng)絡(luò)智能化管理，被改造后的數(shù)據(jù)中心網(wǎng)絡(luò)的絕大多數(shù)鏈路利用率幾乎可以達到100%。

未來對基于SDN的數(shù)據(jù)中心網(wǎng)絡(luò)的研究工作主要集中在以下幾點。

(1)快速且資源節(jié)約的故障恢復(fù)

在針對數(shù)據(jù)層的可靠性維護機制中，采用備份路徑方法進行故障恢復(fù)可以保證低時延和SDN控制器與交換機之間通信的低開銷。將備份路徑轉(zhuǎn)發(fā)規(guī)則下發(fā)給相應(yīng)的交換機，會增加交換機的流表項開銷，這樣的靜態(tài)方法不適用于動態(tài)網(wǎng)絡(luò)狀態(tài)的改變。因此，如何進一步優(yōu)化故障恢復(fù)方法，以保證在快速故障恢復(fù)的前提下有效利用交換機的存儲資源，并引入盡可能少的控制層與數(shù)據(jù)層之間的交互開銷，值得深入研究。

(2)鏈路利用率

網(wǎng)絡(luò)流調(diào)度時，由于80%的流屬于大象流，20%的流屬于老鼠流，且多數(shù)研究方法都沒有考慮帶寬碎片化問題，因此會降低鏈路利用率。應(yīng)設(shè)計一種合適的流調(diào)度方法，在考慮帶寬碎片化、流特征等約束條件下，提高鏈路利用率。

(3)網(wǎng)絡(luò)更新時間

轉(zhuǎn)發(fā)規(guī)則需要頻繁的改變來適應(yīng)網(wǎng)絡(luò)動態(tài)變化。引起轉(zhuǎn)發(fā)規(guī)則改變的原因有交換機/鏈路故障、增加新的流、運營商要求更改流傳輸路徑等。故障恢復(fù)時間的研究在第一點已有說明，對于網(wǎng)絡(luò)流更新研究也需要考慮時間的約束，要在滿足基本約束的情況下，考慮一種方法實現(xiàn)流的快速性更新完成。

(4)交換機流表項

網(wǎng)絡(luò)更新會涉及到交換機流表項的改變，不合理的網(wǎng)絡(luò)更新會消耗掉不必要的交換機流表項數(shù)量。同時，交換機流表項數(shù)量也會成為網(wǎng)絡(luò)更新約束條件，即如果某個交換機流表項容量消耗完，將不會對此交換機上的流進行更新。因此，可能會延長網(wǎng)絡(luò)更新時間。未來研究工作應(yīng)考慮一種可以減少消耗交換機流表項的方法來節(jié)約資源。

5 結(jié)束語

傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)在更新方面表現(xiàn)出了諸多的缺陷，幾乎不能滿足現(xiàn)有技術(shù)的要求，而SDN的出現(xiàn)彌補了現(xiàn)有網(wǎng)絡(luò)架構(gòu)在網(wǎng)絡(luò)更新方面的缺點。SD-DCN可以利用SDN的控制平面與轉(zhuǎn)發(fā)平面分離特性，對網(wǎng)絡(luò)設(shè)備實行集中式控制。SD-DCN網(wǎng)絡(luò)架構(gòu)可以對網(wǎng)絡(luò)的鏈路和流量分發(fā)實行全局監(jiān)控、維護和管理，為動態(tài)的網(wǎng)絡(luò)更新調(diào)度提供可靠的參考信息。因此，可以將SDN在數(shù)據(jù)中心網(wǎng)絡(luò)的應(yīng)用推向一個新的高度。

[1] MAO J,HAN B,LYU G,et al. Topology-independent software-defined edge control for scalable ethernet DCN[C]//Proceedings of International Conference on High performance Computing and Communications.New York,USA:IEEE,2015:1645-1650.

[2] 許靜,苗炬,許崢. 云計算環(huán)境下應(yīng)用資源訪問控制架構(gòu)研究[J]. 無線電工程,2017,47(4):7-11.

XU Jing,MIAO Ju,XU Zheng. Research on the access control architecture of application resources in cloud computing environment [J]. Radio Engineering,2017,47(4):7-11.(in Chinese)

[3] XU L,WANG J,ZHANG H,et al. Performance analysis of IAF relaying mobile D2D cooperative networks[J]. Journal of the Franklin Institute,2017,354(2):902-916.

[4] 董作霖.基于信干噪比的D2D通信功率控制與資源分配[J].電訊技術(shù),2017,57(5):568-574.

DONG Zuolin. D2D communication power control and resource allocation based on SINR[J]. Telecommunication Engineering,2017,57(5):568-574. (in Chinese)

[5] XU L,GULLIVER T A. Performance analysis for M2M video transmission cooperative networks using transmit antenna selection[J]. Multimedia Tools & Applications,2016,37(3):1-12.

[6] 國艷群,韓敏,孫林夫. 一種基于SDN的開放SaaS平臺網(wǎng)絡(luò)安全體系設(shè)計[J].電訊技術(shù),2015,55(7):718-724.

GUO Yanqun,HAN Min,SUN Linfu. Design of a network security architecture for open SaaS platform based on SDN[J]. Telecommunication Engineering,2015,55(7):718-724. (in Chinese)

[7] GUO C,LU G,WANG H J,et al. SecondNet:a data center network virtualization architecture with bandwidth guara- ntees[C]// Proceedings of ACM Conference on Emerging Networking Experiments and Technology. Philadelphia，USA：IEEE，2010:15-22.

[8] HASAN S F. Software-defined networking[J].Computer Networks-the International Journal of Computer and Telecommunications Networking, 2014, 75(1):453-471.

[9] JAIN S,KUMAR A,MANDAl S,et al. B4:experience with a globally-deployed software defined wan[C]// Proceedings of ACM Conference on SIGCOMM. Hong Kong：IEEE，2013:3-14.

[10] AGARWAL S,KODIALAM M,LAKSHMAN T V. Traffic engineering in software defined networks[C]// Proceedings of The 32nd IEEE International Conference on Computer Communications. Turin,Italy：IEEE，2013:2211-2219.

[11] ADAMI D,GIORDANO S,PAGANO M,et al. Class-based traffic recovery with load balancing in software-defined networks[C]// Proceedings of ACM Conference on GLOBECOM Workshops. Austin,USA：IEEE,2014:161-165.

[12] CHU C Y,XI K,LUO M,et al. Congestion-aware single link failure recovery in hybrid SDN networks [C]// Proceedings of ACM Conference on Computer Communications (INFOCOM). Hong Kong：IEEE，2015:1086-1094.

[13] YANG B,LIU J,SHENKER S,et al. Keep forwarding:towards k-link failure resilient routing[C]//Proceedings of 2014 IEEE INFOCOM.Toronto,Canada:IEEE,2014:1617-1625.

[14] LIN Y D,TENG H Y,HSU C R,et al. Fast failover and switchover for link failures and congestion in software defined networks[C]// Proceedings of International Conference on Communications. Kuala Lumpur,Malaysia:IEEE,2016:1-6.

[15] BELLAGAMBA E,KEMPF J,SKOLDSTROM P. Link failure detection and traffic redirection in an OpenFlow network[C]// Proceedings of Communication Systems. Seattle,USA:IEEE,2014:1-7.

[16] ADRICHEM N L M V,ASTEN B J V,KUIPERS F A. Fast recovery in software-defined networks[C]// Proceedings of Third European Workshop on Software Defined Networks. London,UK:IEEE,2014:61-66.

[17] SHARMA S,STAESSENS D,COLLE D,et al. OpenFlow:meeting carrier-grade recovery requirements [J]. Computer Communications,2013,36(6):656-665.

[18] BOSSHART P,DALY D,GIBB G,et al. P4:programming protocol-independent packet processors[J]. ACM Sigcomm Computer Communication Review,2014,44(3):87-95.

[19] AL-FARES M,RADHAKRISHNAN S,RAGHAVAN B,et al. Hedera:dynamic flow scheduling for data center networks[C]// Proceedings of the 7th USENIX Conference on Networked Systems Design and Implementation. San Jose,California :IEEE,2010:281-296.

[20] CURTIS A R,MOGUL J C,TOURRILHES J,et al. DevoFlow:scaling flow management for high-performance networks [C]// Proceedings of ACM Sigcomm Conference on Applications. Toronto,Ontario,Canada:IEEE,2011:254-265.

[21] HALPERIN D,KANDULA S,PADHYE J,et al. Augmenting data center networks with multi-gigabit wireless links[C] // Proceedings of ACM SIGCOMM Conference on Computer Communication Review. Toronto,Ontario,Canada:IEEE,2011:38-49.

[22] BENSON T,ANAND A,AKELLA A,et al. MicroTE:fine grained traffic engineering for data centers[C]//Proceedings of Seventh Conference on Emerging Networking Experiments and Technologies. Tokyo,Japan:IEEE,2011:1-8.

[23] JIN X,LIU H H,GANDHI R,et al. Dynamic scheduling of network updates[J].ACM Sigcomm Computer Communication Review,2014,44(4):539-550.

[24] WANG W,HE W,SU J,et al. Cupid:congestion-free consistent data plane update in software defined networks[C]// Proceedings of International Conference on Computer Communications. San Francisco,USA:IEEE,2016:1-9.

[25] LUO L,YU H,LUO S,et al. Fast lossless traffic migration for SDN updates[C]/ Proceedings of International Conference on Communications. London,UK:IEEE,2015:5803-5808.

[26] ZHENG J,XU H,CHEN G,et al. Minimizing transient congestion during network update in data centers[C]// Proceedings of CONEXT on Student Workshop. Sydney,Australia:IEEE,2015:4-6.

[27] LIU H H,WU X,ZHANG M,et al. zUpdate:updating data center networks with zero loss[J].ACM Sigcomm Computer Communication Review,2013,43(4):411-422.

[28] LI H,LI Q,JIANG Y,et al. A declarative failure recovery system in software defined networks[C]// Proceedings of International Conference on Communications. Kuala Lumpur,Malaysia :IEEE,2016:1-6.

[29] 盧雪林,程望東. 高階統(tǒng)計量在傳動系統(tǒng)故障診斷中的應(yīng)用[J]. 現(xiàn)代雷達,2008,30(7):88-90+94.

LU Xuelin,CHENG Wangdong. Application of higher-order statistic to servo drive system fault diagnosis[J]. Modern Radar,2008,30(7):88-90,94.(in Chinese)

[30] 陳琳,張富強.面向SDN 數(shù)據(jù)中心網(wǎng)絡(luò)最大概率路徑流量調(diào)度算法[J].軟件學(xué)報,2016,27(2):254-260.

CHEN Lin,ZHANG Fuqiang. Maximum probability path scheduling algorithm for elephant flow in data center networks based on SDN[J].Journal of Software,2016,27(2):254- 260. (in Chinese)

[31] LIU H H,KANDULA S,MAHAJAN R,et al. Traffic engineering with forward fault correction[C]// Proceedings of ACM Conference on SIGCOMM. Chicago,Illinois:IEEE,2014:527-538.

[32] HONG C Y,KANDULA S,MAHAJAN R,et al. Achieving high utilization with software-driven WAN[J].Computer Communication Review,2013,43(4):15-26.

[33] GHORBANI S,SCHLESINGER C,MONACO M,et al. Transparent,live migration of a software-defined network[C]// Proceedings of ACM Symposium on Cloud Computing. Seattle,USA:IEEE,2014:1-14.

[34] LIN W C,LIAO C H,KUO K T,et al. Flow-and-VM migration for optimizing throughput and energy in SDN- based cloud datacenter[C]// Proceedings of 5th International Conference on Cloud Computing Technology and Science. Bristol:IEEE,2013:206-211.

[35] XIAO S,CUI Y,WANG X,et al. Traffic-aware virtual machine migration in topology-adaptive DCN[C]// Proceedings of 24th International Conference on Network Protocols. Singapore:IEEE,2016:1-10.

[36] QU T,LUO L,HU Z,et al. cUpdate:Updating software-defined networks with the least traffic migr-ation[C]// Proceedings of Fifth International Conference on Big Data and Cloud Computing. Washington DC,USA:IEEE,2015:87-92.

[37] LUO L,YU H,LUO S,et al. Achieving fast and lightweight SDN updates with segment routing[C] // Proceedings of Global Communications Conference (GLOBECOM). Washington DC,USA:IEEE,2016:1-6.

[38] LUO M,ZENG Y,LI J,et al. An adaptive multi-path computation framework for centrally controlled networks[J].Computer Networks-the International Journal of Computer and Telecommunications Networking,2015,83(C):30-44.

[39] LUO S,YU H,LUO L,et al. Arrange your network updates as you wish[C]// Proceedings of IFIP Networking Conference(IFIP Networking) and Workshops. Vienna,Austria:IEEE,2016:10-18.

程克非(1974—)，男，重慶人，2005年獲博士學(xué)位，現(xiàn)為教授，主要研究方向為網(wǎng)絡(luò)安全、網(wǎng)絡(luò)管理與嵌入式系統(tǒng)；

高江明(1990—)，男，重慶云陽人，碩士研究生，主要研究方向為軟件定義網(wǎng)絡(luò)、數(shù)據(jù)中心網(wǎng)絡(luò)；

段潔(1982—)，女，四川內(nèi)江人，博士，講師，主要研究方向為未來網(wǎng)絡(luò)架構(gòu)設(shè)計、網(wǎng)絡(luò)優(yōu)化設(shè)計；

田瑞林(1993—)，男，內(nèi)蒙古呼和浩特人，碩士研究生，主要研究方向為信息中心網(wǎng)絡(luò)。

SurveyofResearchonDataCenterNetworkUpdateBasedonSDN

CHENG Kefeia,GAO Jiangmingb,DUAN Jieb,TIAN Ruilinb
(a.School of Computer Science and Technology；b.School of Communication and Information Engineering,Chongqing University of Posts and Telecommunications,Chongqing 400065,China)

In recent years,Software Defined Networking (SDN) has been widely used in data center network (DCN) due to its separation of control plane and data plane and centralized control features. The researches on DCN update are summarized from four parts. Firstly,the basic concepts and research status of DSN and SDN are introduced. Secondly,the defects of traditional DCN are described in detail. Thirdly,the research status and shortcomings of SDN-based DCN (SD-DCN) update scenarios are focused,at the same time,the disadvantages of some scenarios are pointed out. Finally,developing trends of SDN-based DCN researches are prospected,in hope of providing some reference for SD-DCN researches and applications.

data center network(DCN)；software defined networking(SDN)；network update;control plane；data plane

date:2017-04-07；Revised date：2017-07-14

國家自然科學(xué)基金資助項目 (61701058，61501075，61402065)；重慶市基礎(chǔ)與前沿研究計劃項目(cstc2016jcyjA0560)

**通信作者：duanjie@cqupt.edu.cn Corresponding author：duanjie@cqupt.edu.cn

Email：943838742@qq.com

Email：duanjie@cqupt.edu.cn

TN915

A

1001-893X(2017)10-1224-09

10.3969/j.issn.1001-893x.2017.10.020

程克非，高江明，段潔，等.面向SDN的數(shù)據(jù)中心網(wǎng)絡(luò)更新研究綜述[J].電訊技術(shù)，2017,57(10):1224-1232.[CHENG Kefei,GAO Jiangming,DUAN Jie,et al.Survey of research on data center network update based on SDN [J].Telecommunication Engineering,2017,57(10):1224-1232.]

2017-04-07；

2017-07-14