高先明，王寶生，李同標(biāo)，薛華威

(國(guó)防科學(xué)技術(shù)大學(xué) 計(jì)算機(jī)學(xué)院，長(zhǎng)沙 410073)

(*通信作者電子郵箱nudt_gxm@163.com)

面向虛擬路由器平臺(tái)的資源管理平面的設(shè)計(jì)與實(shí)現(xiàn)

高先明*，王寶生，李同標(biāo)，薛華威

(國(guó)防科學(xué)技術(shù)大學(xué) 計(jì)算機(jī)學(xué)院，長(zhǎng)沙 410073)

(*通信作者電子郵箱nudt_gxm@163.com)

通過(guò)研究與分析虛擬路由器平臺(tái)在管理與維護(hù)等方面存在的問(wèn)題，提出了三層的虛擬路由器體系框架：控制平面、轉(zhuǎn)發(fā)平面和資源管理平面。控制平面和轉(zhuǎn)發(fā)平面是虛擬路由器的兩個(gè)基本功能平面，分別承載邏輯控制平面和邏輯轉(zhuǎn)發(fā)平面。為了動(dòng)態(tài)地管理虛擬路由器平臺(tái)，引入了資源管理平面。它是管理物理資源和維護(hù)路由器實(shí)例的重要功能平面。通過(guò)闡述資源管理平面的框架以及實(shí)現(xiàn)機(jī)制，實(shí)現(xiàn)了支持路由器實(shí)例的靜態(tài)創(chuàng)建和動(dòng)態(tài)調(diào)整的原型系統(tǒng)。實(shí)驗(yàn)結(jié)果表明：資源管理平面的最大處理能力為3 205條命令/秒，在1 min內(nèi)完成路由器實(shí)例的創(chuàng)建任務(wù)，能夠滿足虛擬路由器平臺(tái)的管理需求。

網(wǎng)絡(luò)虛擬化技術(shù)；虛擬路由器；路由器實(shí)例；資源管理平面；邏輯轉(zhuǎn)發(fā)引擎；邏輯控制引擎

0 引言

Internet固有體系暴露出越來(lái)越多的僵化性和不適應(yīng)性[1-3]。為了解決當(dāng)前Internet面臨的困境以及為新的設(shè)計(jì)提供真實(shí)的實(shí)驗(yàn)床，在借鑒系統(tǒng)虛擬化技術(shù)思想的基礎(chǔ)上，提出了網(wǎng)絡(luò)虛擬化技術(shù)。網(wǎng)絡(luò)虛擬化技術(shù)指在同一物理基礎(chǔ)設(shè)施上構(gòu)建出若干的虛擬網(wǎng)絡(luò)[4]。虛擬路由器是支撐虛擬網(wǎng)絡(luò)運(yùn)行的關(guān)鍵網(wǎng)絡(luò)設(shè)備，通過(guò)對(duì)傳統(tǒng)的路由器中控制平面和數(shù)據(jù)平面虛擬化，構(gòu)建出若干個(gè)邏輯功能平面。目前，虛擬路由器架構(gòu)通常采用二層體系：轉(zhuǎn)發(fā)平面和控制平面。它既可采用操作系統(tǒng)虛擬化技術(shù)來(lái)實(shí)現(xiàn)[5]，比如Xen、VMWare等虛擬化工具，也可采用軟硬件相結(jié)合的方式[6]。為了保證虛擬路由器的轉(zhuǎn)發(fā)性能，物理基礎(chǔ)設(shè)施通常采用“池化”構(gòu)建方式，要求虛擬路由器平臺(tái)具有一套功能完善的管理與維護(hù)程序[7-8]。目前，虛擬路由器的研究熱點(diǎn)集中在數(shù)據(jù)平面的性能優(yōu)化、多邏輯轉(zhuǎn)發(fā)引擎隔離等方面，尚未有文獻(xiàn)針對(duì)虛擬路由器平臺(tái)提出一套管理控制系統(tǒng)。

針對(duì)網(wǎng)絡(luò)虛擬化技術(shù)部署對(duì)虛擬路由器功能需求[9-10]，分析了現(xiàn)有的虛擬路由器在管理與維護(hù)等方面存在的不足，將虛擬路由器的架構(gòu)進(jìn)一步劃分為：轉(zhuǎn)發(fā)平面、控制平面和資源管理平面。根據(jù)虛擬路由器部署與管理的實(shí)際需求，設(shè)計(jì)并實(shí)現(xiàn)了面向虛擬路由器平臺(tái)的資源管理平面，用于負(fù)責(zé)單個(gè)虛擬路由器平臺(tái)的物理資源管理與維護(hù)、路由器實(shí)例的創(chuàng)建與撤銷等任務(wù)。最后，基于本項(xiàng)目的“支持多網(wǎng)絡(luò)體制并存與隔離的、新型的、開(kāi)放式可重構(gòu)路由器體系架構(gòu)”[11]實(shí)現(xiàn)了面向虛擬路由器平臺(tái)的資源管理平面的原型系統(tǒng)，并對(duì)原型系統(tǒng)的最大處理能力、實(shí)例部署時(shí)間以及策略模板規(guī)模等性能指標(biāo)進(jìn)行了測(cè)試。通過(guò)分析實(shí)驗(yàn)結(jié)果可知，資源管理平面每秒能處理約3 205條管理與配置請(qǐng)求，滿足虛擬路由器管理的性能需求；單個(gè)路由器實(shí)例創(chuàng)建的時(shí)間開(kāi)銷約為4.86 s。

1 支持虛擬化的路由器架構(gòu)

為了解決二層的虛擬路由器[12]在管理與維護(hù)平臺(tái)存在的不足以及滿足物理基礎(chǔ)設(shè)施“池化”的需求，本文在分析與研究虛擬路由器的功能需求基礎(chǔ)上，提出了一種三層次的虛擬路由器架構(gòu)。它既可以保證平臺(tái)具有較高的轉(zhuǎn)發(fā)性能，又能確保平臺(tái)良好的擴(kuò)展性，如圖1所示。

圖1 虛擬路由器架構(gòu)

虛擬路由器架構(gòu)由轉(zhuǎn)發(fā)平面、控制平面和資源管理平面等三層構(gòu)成。其中，轉(zhuǎn)發(fā)平面用于承載多邏輯轉(zhuǎn)發(fā)引擎，運(yùn)行報(bào)文轉(zhuǎn)發(fā)業(yè)務(wù)，比如查找路由表、訪問(wèn)控制表等[13]；控制平面用于承載多邏輯控制引擎，部署各類路由協(xié)議，比如開(kāi)放式最短路徑優(yōu)先(Open Shortest Path First, OSPF)[14]、邊界網(wǎng)關(guān)協(xié)議(Border Gateway Protocol, BGP)[15]等；資源管理平面用于獲得虛擬路由器平臺(tái)的物理資源信息，并依據(jù)物理資源信息來(lái)決定路由器實(shí)例部署信息以及平臺(tái)配置策略。資源管理平面與各個(gè)物理資源板間通信通過(guò)服務(wù)代理Agent實(shí)現(xiàn)，通信的消息內(nèi)容包括物理資源板將自身資源信息通告給資源管理平面的消息以及資源管理平面配置物理資源板的策略消息等。本文對(duì)三層次的虛擬路由器架構(gòu)中資源管理平面進(jìn)行重點(diǎn)研究，通過(guò)分析平臺(tái)的實(shí)際部署需求，設(shè)計(jì)與實(shí)現(xiàn)了資源管理平面的架構(gòu)以及處理機(jī)制。

2 資源管理平面的框架

資源管理平面是單個(gè)虛擬路由器平臺(tái)的重要組成部分，負(fù)責(zé)物理資源管理和路由器實(shí)例部署/撤銷；它也是管理員與虛擬路由器平臺(tái)間交互的通信管道，增強(qiáng)了管理虛擬路由器平臺(tái)的靈活性和便利性。資源管理平面在感知物理資源基礎(chǔ)上，利用路由器實(shí)例映射算法計(jì)算出實(shí)例部署的策略模板，并分發(fā)至對(duì)應(yīng)的物理資源板來(lái)實(shí)施；同時(shí)，為了提升虛擬路由器平臺(tái)管理的靈活性，提供了規(guī)則定制的功能，可以約束或限制路由器實(shí)例部署的環(huán)境。

資源管理平面包括物理資源感知機(jī)制、路由器實(shí)例映射機(jī)制、規(guī)則匹配機(jī)制和用戶管理界面四部分，如圖2所示。其中，物理資源感知機(jī)制收集虛擬路由器平臺(tái)的物理資源信息，是資源管理平面實(shí)施路由器實(shí)例部署的前提條件，包括資源發(fā)現(xiàn)和物理資源庫(kù)等模塊；路由器實(shí)例映射機(jī)制模塊是資源管理平面的核心功能，用于計(jì)算路由器實(shí)例與物理資源的映射關(guān)系以及生成策略模板，包括路由器實(shí)例映射算法、實(shí)例部署生成算法、實(shí)例策略庫(kù)以及策略分發(fā)等模塊；規(guī)則匹配機(jī)制支持定制約束虛擬路由器平臺(tái)的方案，為管理員靈活地管理與維護(hù)平臺(tái)提供便捷方案，由規(guī)則庫(kù)構(gòu)成；用戶管理界面是管理員與虛擬路由器平臺(tái)的交互通道。這四個(gè)部分相互協(xié)調(diào)工作，共同支持虛擬路由器平臺(tái)的管理和維護(hù)任務(wù)。

圖2 資源管理平面的框架

2.1 物理資源感知機(jī)制

在支持虛擬化的路由器體系架構(gòu)中，物理資源包括支持虛擬化的轉(zhuǎn)發(fā)資源池和支持虛擬化的控制資源池兩類：前者用于部署虛擬路由器的邏輯轉(zhuǎn)發(fā)引擎，后者用于部署虛擬路由器的邏輯控制引擎。為了實(shí)現(xiàn)路由器實(shí)例的部署，資源管理平面首先感知這兩類資源的基本信息，存儲(chǔ)在自身物理資源庫(kù)中。因此，物理資源在接入平臺(tái)前，首先向資源管理平面進(jìn)行物理資源注冊(cè)，通告它的物理資源的基本信息。由于兩類資源支撐的功能平面不同，資源管理平面感知它們的物理資源的基本信息也存在差異。比如，資源管理平面感知轉(zhuǎn)發(fā)資源的基本信息包括：CPU核數(shù)、CPU主頻、主存容量、網(wǎng)絡(luò)接口數(shù)量以及各個(gè)接口的類型、接口的鏈路帶寬、支持最大的虛接口數(shù)量等信息；對(duì)于控制資源，資源管理平面僅它的感知CPU核數(shù)、CPU主頻、主存容量以及網(wǎng)絡(luò)接口支持的鏈路帶寬總和等信息。

同時(shí)，資源管理平面還需對(duì)物理資源進(jìn)行“心跳”探測(cè)，通過(guò)這種方式來(lái)檢查物理資源在線狀態(tài)。當(dāng)資源管理平面探測(cè)到某物理資源不在線時(shí)，可以主動(dòng)地觸發(fā)規(guī)則庫(kù)中規(guī)則，重新計(jì)算路由器實(shí)例與物理資源映射關(guān)系，確保已部署的路由器實(shí)例盡可能不受物理資源故障的影響。

2.2 路由器實(shí)例映射機(jī)制

路由器實(shí)例映射機(jī)制是資源管理平面的核心功能，其主要負(fù)責(zé)虛擬路由器實(shí)例創(chuàng)建、撤銷以及維護(hù)任務(wù)。根據(jù)路由器實(shí)例管理與維護(hù)的流程，它包括3個(gè)子任務(wù)：1)路由器實(shí)例與物理資源間映射關(guān)系的計(jì)算；2)部署路由器實(shí)例的策略模板的生成；3)部署路由器實(shí)例的策略模板的分發(fā)。

2.2.1 路由器實(shí)例與物理資源間映射關(guān)系的計(jì)算

路由器實(shí)例與物理資源間映射關(guān)系由路由器實(shí)例映射算法計(jì)算出。它根據(jù)物理資源庫(kù)存儲(chǔ)的總資源信息以及路由器實(shí)例已占用資源信息，計(jì)算出平臺(tái)可用的物理資源[16]。在此基礎(chǔ)上，該算法判斷當(dāng)前平臺(tái)的可用資源是否滿足用戶需要?jiǎng)?chuàng)建的路由器實(shí)例性能需求。只有滿足以上條件時(shí)，它才會(huì)計(jì)算出該路由器實(shí)例需要部署在哪些物理資源板以及各個(gè)物理資源板的占用量，如圖3所示。

圖3 路由器實(shí)例與物理資源映射關(guān)系

2.2.2 部署路由器實(shí)例的策略模板的生成

依據(jù)路由器實(shí)例映射算法計(jì)算的結(jié)果，實(shí)例部署策略生成模塊將映射關(guān)系翻譯為配置物理資源板的策略，并生成若干策略模板，存儲(chǔ)在實(shí)例策略庫(kù)中。策略模板與物理資源板是一一對(duì)應(yīng)的，每個(gè)策略模板用于配置單個(gè)物理資源板。同時(shí)，策略模板由一系列的可執(zhí)行命令行組成，物理資源板通過(guò)解析命令行的方式而達(dá)到配置策略的目的，如圖4所示。

圖4 策略模板中常見(jiàn)命令行

策略模板規(guī)模與路由器實(shí)例映射算法計(jì)算出的結(jié)果密切相關(guān)。比如，當(dāng)一個(gè)具有兩接口的路由器實(shí)例映射到一塊轉(zhuǎn)發(fā)資源板和一塊控制資源板時(shí)，需要兩個(gè)策略模板，命令行總數(shù)為49條；當(dāng)該路由器實(shí)例映射到兩塊轉(zhuǎn)發(fā)資源板和一塊控制資源板時(shí)，需要三個(gè)策略模板，命令行總數(shù)為75條。

2.2.3 部署路由器實(shí)例的策略模板的分發(fā)

部署路由器實(shí)例的策略模板的分發(fā)任務(wù)是指將實(shí)例部署策略生成模塊生成的策略模板分發(fā)至對(duì)應(yīng)的物理資源板，并收集物理資源板執(zhí)行策略模板的結(jié)果。它并不需要存儲(chǔ)策略模板的信息，僅依據(jù)策略模板攜帶的物理資源板的標(biāo)識(shí)來(lái)實(shí)現(xiàn)策略模板的分發(fā)。資源管理平面將策略模板的生成與分發(fā)拆分為兩個(gè)子任務(wù)能夠保證路由器實(shí)例映射機(jī)制具有良好的靈活性和擴(kuò)展性。

2.3 規(guī)則匹配機(jī)制

規(guī)則匹配機(jī)制指當(dāng)平臺(tái)某一事件滿足規(guī)則庫(kù)中某條規(guī)則的條件時(shí)，實(shí)現(xiàn)系統(tǒng)的自動(dòng)化調(diào)整。規(guī)則匹配機(jī)制對(duì)路由器實(shí)例部署的影響主要表現(xiàn)在兩個(gè)方面：限制路由器實(shí)例的部署策略模板或者動(dòng)態(tài)地調(diào)整路由器實(shí)例。因此，規(guī)則匹配機(jī)制可以允許定制虛擬路由器平臺(tái)，滿足不同的業(yè)務(wù)需求。

2.3.1 限制路由器實(shí)例的部署策略模板

規(guī)則庫(kù)中規(guī)則可以是路由器實(shí)例映射算法的約束條件。當(dāng)計(jì)算出路由器實(shí)例與物理資源映射關(guān)系后，需要檢查規(guī)則庫(kù)中規(guī)則，判斷當(dāng)前映射關(guān)系是否滿足規(guī)則的條件：一旦滿足，它需要重新調(diào)整路由器實(shí)例與物理資源的映射關(guān)系。通過(guò)靈活的配置規(guī)則，可以限制路由器實(shí)例的部署策略模板。比如，管理員可以強(qiáng)制指定物理接口支持最大的虛擬接口數(shù)，一旦虛擬接口數(shù)超過(guò)限定值時(shí)，表明該路由器實(shí)例不滿足部署需求，要求重新計(jì)算實(shí)例與物理資源間映射關(guān)系。

2.3.2 動(dòng)態(tài)調(diào)整路由器實(shí)例

規(guī)則庫(kù)中規(guī)則也可以用于實(shí)現(xiàn)路由器實(shí)例的自動(dòng)調(diào)整。在平臺(tái)運(yùn)行過(guò)程中，一旦某條規(guī)則的條件滿足，會(huì)觸發(fā)系統(tǒng)動(dòng)態(tài)地調(diào)整路由器實(shí)例。比如，當(dāng)某轉(zhuǎn)發(fā)資源板下線時(shí)，會(huì)檢查規(guī)則庫(kù)中規(guī)則是否允許系統(tǒng)自動(dòng)調(diào)整路由器實(shí)例：如果規(guī)則存在，系統(tǒng)會(huì)觸發(fā)路由器實(shí)例映射算法來(lái)調(diào)整部分部署在該轉(zhuǎn)發(fā)資源板的路由器實(shí)例；當(dāng)撤銷某路由器實(shí)例時(shí)，檢查規(guī)則庫(kù)中規(guī)則是否要求對(duì)剩余的路由器實(shí)例進(jìn)行調(diào)整，將路由器實(shí)例集中部署在盡可能少的物理資源板，達(dá)到降低功耗的目的[17]。

規(guī)則匹配機(jī)制允許管理員靈活地限定路由器實(shí)例部署的約束條件，使得路由器實(shí)例在預(yù)期的物理資源板上部署。同時(shí)，通過(guò)配置動(dòng)態(tài)調(diào)整路由器實(shí)例的條件，一旦滿足規(guī)則條件時(shí)，自動(dòng)地調(diào)整路由器實(shí)例。因此，規(guī)則匹配機(jī)制可以實(shí)現(xiàn)資源管理平面對(duì)虛擬路由器平臺(tái)的自動(dòng)化管理。

2.4 用戶管理界面

用戶管理界面用于管理與維護(hù)物理資源、配置規(guī)則庫(kù)以及管理與維護(hù)路由器實(shí)例的通道，實(shí)現(xiàn)管理員與虛擬路由器平臺(tái)間交互，其良好的架構(gòu)設(shè)計(jì)能夠降低管理的復(fù)雜性以及增強(qiáng)配置的便利性。

目前，用戶管理界面采用命令行界面(Command Line Interface, CLI)方式[18]，命令組成采用樹(shù)形組織方式，如圖5所示。樹(shù)形的命令組織方式將命令類型劃分為三類：PHYSICAL_NODE(用于管理與維護(hù)物理資源)、RULE_NODE(用于配置規(guī)則庫(kù))和VROUTER_NODE(用于管理與維護(hù)路由器實(shí)例)。樹(shù)形的命令組織方式不僅可以方便管理員的操作，而且確保命令行具有良好的擴(kuò)展性。

圖5 樹(shù)形的命令組織方式

管理員通過(guò)命令行的方式與虛擬路由器平臺(tái)交互，包括查詢物理資源的基本信息和路由器實(shí)例的運(yùn)行狀況等信息、設(shè)置規(guī)則庫(kù)中規(guī)則、管理物理資源板以及創(chuàng)建路由器實(shí)例等。一個(gè)設(shè)計(jì)良好的用戶管理界面可以極大地方便管理員操作虛擬路由器平臺(tái)，從而降低維護(hù)平臺(tái)的代價(jià)。

3 路由器實(shí)例分配流程

在虛擬路由器平臺(tái)中，路由器實(shí)例分配流程包括兩種方式：靜態(tài)創(chuàng)建和動(dòng)態(tài)調(diào)整。靜態(tài)創(chuàng)建指管理員首次為路由器實(shí)例分配物理資源，通常由新的路由器實(shí)例創(chuàng)建請(qǐng)求觸發(fā)。動(dòng)態(tài)創(chuàng)建指路由器實(shí)例在運(yùn)行過(guò)程中，對(duì)路由器實(shí)例的配置進(jìn)行調(diào)整。比如，當(dāng)路由器實(shí)例滿足規(guī)則庫(kù)中規(guī)則的條件時(shí)，觸發(fā)路由器實(shí)例映射機(jī)制重新計(jì)算路由器實(shí)例與物理資源間的映射關(guān)系。

3.1 路由器實(shí)例靜態(tài)創(chuàng)建

管理員在虛擬路由器平臺(tái)創(chuàng)建路由器實(shí)例時(shí)，通過(guò)用戶管理界面輸入該實(shí)例的性能指標(biāo)，包括轉(zhuǎn)發(fā)性能、接口數(shù)量以及接口的鏈路帶寬等信息。路由器實(shí)例映射算法首先檢查尚未占用的物理資源是否滿足實(shí)例的性能需求：只有物理資源能承載該實(shí)例時(shí)，將輸入的性能指標(biāo)翻譯成路由器實(shí)例與物理資源的映射關(guān)系，并逐條匹配規(guī)則庫(kù)中規(guī)則，檢查計(jì)算出的路由器實(shí)例與物理資源的映射關(guān)系是否滿足規(guī)則的條件：一旦滿足某條規(guī)則的條件時(shí)，在該約束條件下重新計(jì)算路由器實(shí)例與物理資源的映射關(guān)系直至滿足規(guī)則庫(kù)中所有規(guī)則。然后，實(shí)例部署策略生成模塊進(jìn)一步將路由器實(shí)例與物理資源的映射關(guān)系轉(zhuǎn)化為物理資源板可執(zhí)行的策略模板，并把策略模板存儲(chǔ)在實(shí)例策略庫(kù)中。最后，策略分發(fā)模塊將策略模板分發(fā)到指定的物理資源板，并把物理資源板執(zhí)行的結(jié)果通過(guò)用戶管理界面反饋給管理員。管理員通過(guò)反饋結(jié)果確認(rèn)路由器實(shí)例是否創(chuàng)建成功。

3.2 路由器實(shí)例動(dòng)態(tài)調(diào)整

與路由器實(shí)例靜態(tài)創(chuàng)建流程不同，路由器實(shí)例動(dòng)態(tài)調(diào)整與管理員的配置規(guī)則密切相關(guān)。在原型系統(tǒng)中，資源管理平面支持兩種條件下的路由器實(shí)例動(dòng)態(tài)調(diào)整：一、路由器實(shí)例撤銷時(shí)，資源管理平面是否允許對(duì)路由器實(shí)例動(dòng)態(tài)調(diào)整，將剩余路由器實(shí)例部署在數(shù)量較少的幾塊物理資源板，盡可能降低功耗；二、物理資源板掉線，資源管理平面是否允許對(duì)路由器實(shí)例動(dòng)態(tài)調(diào)整，目的在于重新映射受該單點(diǎn)故障影響的路由器實(shí)例，保證路由器實(shí)例不受物理資源板故障的影響。

3.2.1 路由器實(shí)例撤銷

當(dāng)某路由器實(shí)例撤銷時(shí)，資源管理平面檢查規(guī)則庫(kù)中規(guī)則是否允許動(dòng)態(tài)調(diào)整路由器實(shí)例。若允許動(dòng)態(tài)調(diào)整時(shí)，路由器實(shí)例映射算法重新計(jì)算剩余路由器實(shí)例與物理資源的映射關(guān)系。經(jīng)過(guò)重新計(jì)算后，若占用的物理資源板的數(shù)量與現(xiàn)有占用情況一致，則路由器實(shí)例不作任何調(diào)整；否則，對(duì)路由器實(shí)例進(jìn)行動(dòng)態(tài)調(diào)整。在計(jì)算出所有的路由器實(shí)例與物理資源的映射關(guān)系基礎(chǔ)上，通過(guò)實(shí)例部署策略生成模塊計(jì)算出各個(gè)路由器實(shí)例的策略模板，并分發(fā)至對(duì)應(yīng)的物理資源板。同時(shí)，它會(huì)將清除實(shí)例策略庫(kù)存儲(chǔ)的舊的策略模板，并把新的路由器實(shí)例的策略模板存儲(chǔ)在實(shí)例策略庫(kù)中。

3.2.2 物理資源板掉線

資源管理平面探測(cè)到某個(gè)物理資源板掉線時(shí)，同樣檢查規(guī)則庫(kù)中規(guī)則是否允許動(dòng)態(tài)調(diào)整路由器實(shí)例。若允許動(dòng)態(tài)調(diào)整，路由器實(shí)例映射算法僅調(diào)整受物理資源板掉線所影響的路由器實(shí)例和物理資源之間的映射關(guān)系。其他流程與路由器實(shí)例撤銷時(shí)動(dòng)態(tài)調(diào)整路由器實(shí)例的流程是一致的。

4 實(shí)驗(yàn)測(cè)試與結(jié)果分析

4.1 實(shí)驗(yàn)環(huán)境

轉(zhuǎn)發(fā)資源池和控制資源池都采用IBM nx360服務(wù)器：Intel Xeon CPU E5-2620、64 GB內(nèi)存、2個(gè)萬(wàn)兆網(wǎng)卡和2個(gè)千兆網(wǎng)卡以及Linux CentOS6.5系統(tǒng)，各自具有4塊資源板；資源管理平面采用IBM x3650服務(wù)器：Intel Xeon CPU E5-2680、64 GB內(nèi)存、1個(gè)千兆網(wǎng)卡以及Linux CentOS6.5系統(tǒng)。另外，轉(zhuǎn)發(fā)資源池與控制資源池、服務(wù)器與轉(zhuǎn)發(fā)資源池以及控制資源池間連接采用GALAXYWIND系列交換機(jī)，具有24個(gè)千兆網(wǎng)卡。

基于面向虛擬路由器的資源管理平面的原型系統(tǒng)，測(cè)試并分析資源管理平面的3個(gè)性能指標(biāo)：最大處理能力、實(shí)例部署時(shí)間以及策略模板規(guī)模。

4.2 最大處理能力

最大處理能力指資源管理平面在單位時(shí)間內(nèi)可以完成的請(qǐng)求最大數(shù)量。這些請(qǐng)求包括物理資源的探測(cè)保活、配置物理資源的請(qǐng)求以及部署路由器實(shí)例等。為了驗(yàn)證資源管理平面能夠滿足虛擬路由器管理的性能需求，測(cè)量資源管理平面處理這些請(qǐng)求的時(shí)間開(kāi)銷，如表1所示。

表1 不同請(qǐng)求的時(shí)間開(kāi)銷

通過(guò)分析表1實(shí)驗(yàn)結(jié)果可知，各類請(qǐng)求的時(shí)間開(kāi)銷約為0.3 ms：資源管理平面探測(cè)物理資源板在線狀態(tài)需要0.301 ms；管理員使能物理接口或關(guān)閉物理接口時(shí)需要0.308 ms；在規(guī)則庫(kù)為空和平臺(tái)具有8塊物理資源板時(shí)，管理員配置完路由器實(shí)例到策略模板分發(fā)至物理資源板需要0.312 ms；管理員指定刪除某個(gè)路由器實(shí)例到刪除命令到達(dá)指定的物理資源板需要0.311 ms；因此，資源管理平面最大的處理能力約為每秒處理3 205條請(qǐng)求，能夠滿足當(dāng)前虛擬路由器管理與維護(hù)的需求。

4.3 實(shí)例部署時(shí)間

實(shí)例部署時(shí)間指資源管理平面部署路由器實(shí)例花費(fèi)的時(shí)間，表示管理員從配置完路由器實(shí)例的性能指標(biāo)到接收到路由器實(shí)例創(chuàng)建應(yīng)答間的時(shí)間開(kāi)銷。路由器實(shí)例的部署包括兩大任務(wù)：創(chuàng)建邏輯轉(zhuǎn)發(fā)引擎和創(chuàng)建邏輯控制引擎。因此，除了測(cè)量實(shí)例部署時(shí)間外，還分別測(cè)量創(chuàng)建邏輯轉(zhuǎn)發(fā)引擎、創(chuàng)建邏輯控制引擎以及配置路由器實(shí)例接口的時(shí)間開(kāi)銷，如表2所示。

表2 路由器實(shí)例部署的時(shí)間開(kāi)銷

通過(guò)分析表2實(shí)驗(yàn)結(jié)果可知：創(chuàng)建單個(gè)路由器實(shí)例的時(shí)間開(kāi)銷約為4.857 s，與創(chuàng)建邏輯控制引擎的時(shí)間開(kāi)銷是一致的。由于資源管理平面支持并行向轉(zhuǎn)發(fā)資源板和控制資源板下發(fā)策略模板，使得路由器實(shí)例創(chuàng)建的時(shí)間開(kāi)銷是兩大任務(wù)中最大時(shí)間開(kāi)銷決定的。因此，在對(duì)路由器實(shí)例動(dòng)態(tài)調(diào)整過(guò)程中，應(yīng)盡可能地保持邏輯控制引擎的部署位置不做改變，避免調(diào)整路由器實(shí)例導(dǎo)致該實(shí)例中斷任務(wù)時(shí)間過(guò)長(zhǎng)。動(dòng)態(tài)調(diào)整轉(zhuǎn)發(fā)引擎會(huì)引起路由器實(shí)例中斷轉(zhuǎn)發(fā)任務(wù)，中斷時(shí)間約為2.288 s；而動(dòng)態(tài)調(diào)整路由器實(shí)例的接口的時(shí)間開(kāi)銷小于1 ms，對(duì)路由器實(shí)例的影響最小。

4.4 策略模板規(guī)模

策略模板規(guī)模指資源管理平面部署單個(gè)路由器實(shí)例所需要的總策略條數(shù)。為了證實(shí)路由器實(shí)例的接口數(shù)量和路由器實(shí)例部署的轉(zhuǎn)發(fā)資源板數(shù)量對(duì)策略模板規(guī)模的影響，分別測(cè)量不同條件下策略的總條數(shù)，如圖6所示(圖6(a)表示路由器實(shí)例部署在單個(gè)轉(zhuǎn)發(fā)資源板時(shí)，路由器實(shí)例的接口數(shù)量對(duì)策略模板規(guī)模的影響；圖6(b)表示路由器實(shí)例具有兩個(gè)接口時(shí)，路由器實(shí)例部署的轉(zhuǎn)發(fā)資源板數(shù)量對(duì)策略模板的影響)。

通過(guò)分析圖6數(shù)據(jù)可知，策略模板規(guī)模與路由器實(shí)例的接口數(shù)量、路由器實(shí)例部署的轉(zhuǎn)發(fā)資源板數(shù)量呈線性相關(guān)：隨著路由器實(shí)例的接口數(shù)量的增加，策略模板規(guī)模呈線性增加；隨著路由器實(shí)例部署的轉(zhuǎn)發(fā)資源板數(shù)量增加，策略模板規(guī)模呈線性增加。路由器實(shí)例部署的轉(zhuǎn)發(fā)資源板數(shù)量對(duì)策略模板規(guī)模的影響大于路由器實(shí)例的接口數(shù)量對(duì)策略模板規(guī)模的影響。因?yàn)槁酚善鲗?shí)例部署轉(zhuǎn)發(fā)資源板的數(shù)量每增加一個(gè)，策略總條數(shù)增加26條，并增加1個(gè)策略模板；而路由器實(shí)例的接口數(shù)量每增加一個(gè)，策略總條數(shù)僅增加19條，且策略模板數(shù)量不變。因此，資源管理平面計(jì)算路由器實(shí)例與物理資源映射關(guān)系時(shí)，應(yīng)盡可能將路由器實(shí)例部署在單個(gè)轉(zhuǎn)發(fā)資源板上。

圖6 不同條件下策略模板規(guī)模

5 結(jié)語(yǔ)

目前，虛擬路由器的研究集中在如何構(gòu)建相互獨(dú)立且并行運(yùn)行的路由器實(shí)例。鑒于當(dāng)前虛擬路由器的研究現(xiàn)狀，結(jié)合項(xiàng)目實(shí)施的具體需求，本文提出了三層的虛擬路由器架構(gòu)：資源管理平面、轉(zhuǎn)發(fā)平面以及控制平面，著重對(duì)資源管理平面和實(shí)現(xiàn)機(jī)制進(jìn)行闡述。最后，通過(guò)基于面向虛擬路由器的資源管理平面原型系統(tǒng)，證明資源管理平面能夠滿足虛擬路由器管理與維護(hù)的性能需求。

下一步的工作是改進(jìn)和完善資源管理平面的用戶管理界面，采用可視化的方式來(lái)替代現(xiàn)有的CLI解決方案，提供一種更加便捷的管理與維護(hù)平臺(tái)的展現(xiàn)方式；同時(shí)，利用多核、多線程技術(shù)進(jìn)一步提升資源管理平面的性能，特別是在滿足物理資源規(guī)模較大的情景下。

References)

[1] WANG Y, LI Z, TYSON G, et al.Design and evaluation of the optimal cache allocation for content-centric networking [J].IEEE Transactions on Computers, 2016, 65(1): 95-107.

[2] FEAMSTER N, REXFORD J, ZEGURA E.The road to SDN: an intellectual history of programmable networks [J].Computer Communication Review, 2014, 44(12): 87-98.

[3] FELDMANN A.Internet clean-slate design: what and why? [J].ACM SIGCOMM Computer Communication Review, 2007, 37(3): 59-64.

[4] KITAZUME H, KOYAMA T, KISHI T, et al.Network virtualization technology to support cloud services [J].IEICE Transactions on Communications, 2012, 95(8): 2530-2537.

[5] COUTO R S, CAMPISTA M E M, COSTA L H M K.Network resource control for Xen-based virtualized software routers [J].Computer Networks, 2014, 64(4): 71-88.

[6] 高先明,張曉哲,王寶生,等.面向虛擬路由器的基于歷史轉(zhuǎn)發(fā)開(kāi)銷的資源調(diào)度算法[J].電子與信息學(xué)報(bào),2015,37(3):686-692.(GAO X M, ZHANG X Z, WANG B S, et al.Historical forwarding overhead based the resource scheduling algorithm for the virtual router [J].Journal of Electronics and Information Technology, 2015, 37(3): 686-692)

[7] CHOI H F W, LEE P P C.An extensible design of a load-aware virtual router monitor in user space [C]// Proceedings of the 2012 41st International Conference on Parallel Processing Workshops.Piscataway, NJ: IEEE, 2011: 361-370.

[8] 李坤麗，張大方，關(guān)洪濤，等.虛擬路由器管控平面的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程,2014,40(5):94-98.(LI K L, ZHANG D F, GUAN H T, et al.Design and implementation of management and control plane for virtual router [J].Computer Engineering, 2014, 40(5): 94-98.)

[9] CHEN X, PHILLIPS C.Virtual router migration and infrastructure sleeping for energy management of IP over WDM networks [C]// TEMU 2012: Proceedings of the 2012 International Conference on Telecommunications and Multimedia.Piscataway, NJ: IEEE, 2012: 31-36.

[10] DONG Z, CHUN M W, WEI X, et al.Research on virtual network design based on virtual router [C]// ICFIN 2009: Proceedings of the First International Conference on Future Information Networks.Piscataway, NJ: IEEE, 2009: 66-69.

[11] 盧澤新,張曉哲,馬世聰,等.面向多網(wǎng)絡(luò)體制并存的開(kāi)放式可重構(gòu)路由器體系結(jié)構(gòu)設(shè)計(jì)與實(shí)踐[J].通信學(xué)報(bào),2013,34(3):126-133.(LU Z X, ZHANG X Z, MA S C, et al.Design and implementation: an open and reconfigurable router architecture with different network system supported [J].Journal on Communications, 2013, 34(3): 126-133.)

[12] XIE G, HE P, GUAN H, et al.PEARL: a programmable virtual router platform [J].IEEE Communications Magazine, 2011, 49(7): 71-77.

[13] KELLER E, GREEN E.Virtualizing the data plane through source code merging [C]// PRESTO’ 08: Proceedings of the ACM Workshop on Programmable Routers for Extensible Services of Tomorrow.New York: ACM, 2008: 9-14.

[14] FORTZ B, THORUP M.Internet traffic engineering by optimizing OSPF weights [C]// INFOCOM 2000: Proceedings of the Nineteenth Annual Joint Conference of the IEEE Computer and Communications Societies.Piscataway, NJ: IEEE, 2000: 519-528.

[15] FEIGENBAUM J, PAPADIMITRIOU C, SAMI R, et al.A BGP-based mechanism for lowest-cost routing [J].Distributed Computing, 2005, 18(1): 61-72.

[16] MELO M, CARAPINHA J, SARGENTO S, et al.Virtual network mapping — an optimization problem [M]// Mobile Networks and Management.Berlin: Springer, 2012: 187-200.

[17] WANG Y, KELLER E, BISKEBORN B, et al.Virtual routers on the move: live router migration as a network-management primitive [C]// Proceedings of the ACM SIGCOMM 2008 Conference on Applications, Technologies, Architectures, and Protocols for Computer Communications.New York: ACM, 2008: 231-242.

[18] LOUREIRO D, GONCALVES P, NOGUEIRA A.NETCONF A-gent for link state monitoring [C]// Proceedings of the 2012 IEEE International Conference on Communications.Piscataway, NJ: IEEE, 2012: 6565-6569.

This work is supported by the National Basic Research Program (973 Program) of China (2011AA01A103).

GAO Xianming, born in 1988, Ph.D.candidate.His research interests include network virtualization, router virtualization.

WANG Baosheng, born in 1971, Ph.D., professor.His research interests include network and communication security, new network architecture.

LI Tongbiao, born in 1989, M.S.candidate.His research interests include virtual router, dynamical migration strategy.

XUE Huawei, born in 1991, M.S.candidate.His research interests include software defined networking, network fault detection.

Design and implementation of resource management plane in virtual router platform

GAO Xianming*, WANG Baosheng, LI Tongbiao, XUE Huawei

(CollegeofComputer,NationalUniversityofDefenseTechnology,ChangshaHunan410073,China)

Through researching and analyzing the management and maintenance problems in virtual router platform, a three-layer virtual router architecture including control plane, forwarding plane and resource management plane was put forward.Control plane and forwarding plane were two basic function planes in virtual router, correspondingly carrying logical control plane and logical forwarding plane.In order to achieve dynamic management of virtual router, resource management plane was introduced.Resource management plane was regarded as one important function plane, which was used to manage and configure virtual router.The structure and mechanism of resource management plane were mainly expressed, and a prototype system to support static installment and dynamic adjustment of router instances was carried out.The experimental results prove that the maximum processing ability of resource management plane is about 3 205 strategies/second, and it can complete establishment of router instance within one second, which can meet management requirements of virtual router platforms.

network virtualization technology; virtual router; router instance; resource management plane; logical forwarding engine; logical control engine

2016-07-25;

2016-08-10。 基金項(xiàng)目:國(guó)家973計(jì)劃項(xiàng)目(2011AA01A103)。

高先明(1988—)，男，山東濟(jì)南人，博士研究生，主要研究方向：網(wǎng)絡(luò)虛擬化、路由器虛擬化； 王寶生(1971—)，男，湖南長(zhǎng)沙人，研究員，博士生導(dǎo)師，博士，主要研究方向：網(wǎng)絡(luò)通信與安全、新型網(wǎng)絡(luò)體系架構(gòu)； 李同標(biāo)(1989—)，男，江西鷹潭人，碩士研究生，主要研究方向：虛擬路由器、動(dòng)態(tài)遷移策略； 薛華威(1991—)，男，河南駐馬店人，碩士研究生，主要研究方向：軟件定義網(wǎng)絡(luò)、網(wǎng)絡(luò)故障檢測(cè)。

1001-9081(2017)01-0001-05

10.11772/j.issn.1001-9081.2017.01.0001

TP393.07

A