劉辰屹 徐明偉 耿 男 張 翔

(清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系 北京 100084)

近年來隨著互聯(lián)網(wǎng)的高速發(fā)展，包括工業(yè)互聯(lián)網(wǎng)、4K+視頻及全息通信、網(wǎng)絡(luò)游戲、遠(yuǎn)程云服務(wù)在內(nèi)的很多新興應(yīng)用大量涌現(xiàn).這些新興的網(wǎng)絡(luò)應(yīng)用帶來了高度差異化的服務(wù)質(zhì)量需求.然而以往單純通過對(duì)設(shè)備提速擴(kuò)容來提升網(wǎng)絡(luò)服務(wù)質(zhì)量的方式已經(jīng)逐漸觸及天花板，進(jìn)一步提升性能需要很高的成本，與此同時(shí)，研究表明：現(xiàn)有網(wǎng)絡(luò)仍然存在巨大的優(yōu)化空間[1].因此，對(duì)現(xiàn)有網(wǎng)絡(luò)資源進(jìn)行更好地優(yōu)化利用成為提升用戶服務(wù)體驗(yàn)的重要途徑.

Fig. 1 A suboptimal routing decision made by OSPF圖1 OSPF所生成的非最優(yōu)路由決策示意圖

在傳統(tǒng)的計(jì)算機(jī)網(wǎng)絡(luò)體系結(jié)構(gòu)中，網(wǎng)絡(luò)層通常采用盡力而為的數(shù)據(jù)包分組轉(zhuǎn)發(fā)模式，路由算法所關(guān)注的重點(diǎn)是數(shù)據(jù)包的可達(dá)性、算法的性能和可擴(kuò)展性.近幾年隨著計(jì)算機(jī)網(wǎng)絡(luò)的飛速發(fā)展，網(wǎng)絡(luò)規(guī)模變得越來越大的同時(shí)網(wǎng)絡(luò)上層的應(yīng)用服務(wù)類型數(shù)量也在飛速增長(zhǎng).日益增長(zhǎng)的服務(wù)類型數(shù)量帶來了多樣化的服務(wù)性能優(yōu)化目標(biāo)，這些優(yōu)化目標(biāo)涉及時(shí)延、帶寬、吞吐、丟包率和網(wǎng)絡(luò)穩(wěn)定性等.盡力而為的傳統(tǒng)路由算法使得現(xiàn)有計(jì)算機(jī)網(wǎng)絡(luò)體系結(jié)構(gòu)對(duì)于這些性能評(píng)價(jià)指標(biāo)進(jìn)行優(yōu)化時(shí)存在一定的局限性.圖1給出了傳統(tǒng)路由算法局限性的示例，在本示例中網(wǎng)絡(luò)流負(fù)載需求500 Mbps的帶寬，傳統(tǒng)基于最短路徑的路由算法將所有流量導(dǎo)入瓶頸鏈路中，所選擇的路徑可用帶寬(100 Mbps)遠(yuǎn)小于服務(wù)需求帶寬.這不僅會(huì)大幅降低用戶體驗(yàn)，同時(shí)還可能帶來嚴(yán)重的網(wǎng)絡(luò)擁塞問題并造成網(wǎng)絡(luò)資源的巨大浪費(fèi).對(duì)上述流量進(jìn)行恰當(dāng)?shù)穆酚煞至髂軌蚝芎玫乇苊獯耸纠械膯栴}，然而由于真實(shí)網(wǎng)絡(luò)環(huán)境中路徑可用帶寬隨時(shí)間動(dòng)態(tài)變化，傳統(tǒng)路由算法很難實(shí)現(xiàn)精確感知當(dāng)前網(wǎng)絡(luò)狀態(tài)并據(jù)此進(jìn)行恰當(dāng)?shù)膭?dòng)態(tài)路由調(diào)度.

此外，數(shù)據(jù)中心網(wǎng)絡(luò)等新興網(wǎng)絡(luò)應(yīng)用場(chǎng)景的出現(xiàn)為路由優(yōu)化與流量工程領(lǐng)域提出了新的挑戰(zhàn).相比于傳統(tǒng)網(wǎng)絡(luò)，數(shù)據(jù)中心網(wǎng)絡(luò)帶寬更大，同時(shí)存在的大流、長(zhǎng)流更多，對(duì)于流量調(diào)度的需求與難度也更高.雖然現(xiàn)在已經(jīng)有一些路由與流量工程的方法嘗試解決各種數(shù)據(jù)中心場(chǎng)景下的網(wǎng)絡(luò)優(yōu)化問題，然而在數(shù)據(jù)中心網(wǎng)絡(luò)場(chǎng)景中，現(xiàn)有路由與流量調(diào)度優(yōu)化方法仍然很難滿足高效利用鏈路以及負(fù)載均衡的需求[2].

為了滿足復(fù)雜的網(wǎng)絡(luò)應(yīng)用場(chǎng)景以及多樣化的服務(wù)質(zhì)量需求，很多基于數(shù)學(xué)模型的網(wǎng)絡(luò)層優(yōu)化方案被提出[2-7].這些路由優(yōu)化或流量工程方案在建模時(shí)通常會(huì)針對(duì)應(yīng)用場(chǎng)景進(jìn)行一些假設(shè)來簡(jiǎn)化問題，以使得優(yōu)化問題能夠利用現(xiàn)有數(shù)學(xué)方法高效求解.然而真實(shí)網(wǎng)絡(luò)應(yīng)用場(chǎng)景往往難以完全符合這些理想化假設(shè)， 這使得基于數(shù)學(xué)模型的路由優(yōu)化算法無法保證其在真實(shí)場(chǎng)景下部署的效果.實(shí)際上，即使是在經(jīng)過假設(shè)簡(jiǎn)化過的場(chǎng)景下，很多路由優(yōu)化問題的求解仍是十分復(fù)雜的，目前尚未存在一個(gè)通用的模型能夠同時(shí)求解不同類型的路由優(yōu)化問題[3].由于傳統(tǒng)的路由優(yōu)化任務(wù)需要針對(duì)每一種特定的場(chǎng)景以及特定的優(yōu)化目標(biāo)單獨(dú)建模，將這些方法部署在真實(shí)網(wǎng)絡(luò)環(huán)境下可能會(huì)對(duì)網(wǎng)絡(luò)設(shè)施的可擴(kuò)展性帶來影響，因此傳統(tǒng)基于數(shù)學(xué)模型的路由優(yōu)化方案目前仍難以大規(guī)模部署在實(shí)際場(chǎng)景中.

近幾年，基于深度學(xué)習(xí)的人工智能技術(shù)飛速發(fā)展并被廣泛應(yīng)用于自然語(yǔ)言處理[8]、圖像識(shí)別[9]、游戲策略計(jì)算[10]等領(lǐng)域中.對(duì)深度學(xué)習(xí)模型的研究和CPU，GPU等計(jì)算機(jī)硬件的發(fā)展使得人工智能模型能夠?qū)W習(xí)到的策略越來越復(fù)雜，訓(xùn)練和執(zhí)行效率越來越高.設(shè)備算力以及模型表達(dá)能力的提升使得的人工智能模型具備了強(qiáng)大的學(xué)習(xí)能力和良好的泛化性，利用人工智能模型去解決路由優(yōu)化問題、為網(wǎng)絡(luò)層賦予智能正逐漸變得可能.相比于傳統(tǒng)模型驅(qū)動(dòng)的路由優(yōu)化算法，數(shù)據(jù)驅(qū)動(dòng)的智能路由優(yōu)化算法具有3方面優(yōu)勢(shì)：1)準(zhǔn)確性.利用真實(shí)數(shù)據(jù)對(duì)機(jī)器學(xué)習(xí)算法模型進(jìn)行訓(xùn)練，不需要對(duì)網(wǎng)絡(luò)環(huán)境進(jìn)行復(fù)雜的假設(shè)和建模.2)高效性.多項(xiàng)式時(shí)間內(nèi)可根據(jù)輸入數(shù)據(jù)快速推理得到優(yōu)化后的路由決策.3)通用性.相同的機(jī)器學(xué)習(xí)模型根據(jù)訓(xùn)練數(shù)據(jù)不同可以用來求解不同網(wǎng)絡(luò)優(yōu)化問題.上述3個(gè)優(yōu)勢(shì)使得數(shù)據(jù)驅(qū)動(dòng)的智能路由方法相比傳統(tǒng)路由方法能夠更好地適應(yīng)不同網(wǎng)絡(luò)應(yīng)用場(chǎng)景和路由優(yōu)化目標(biāo)，并使得智能路由方法在部署的過程中存在較好的可擴(kuò)展性.

除了人工智能技術(shù)的飛速發(fā)展，近些年興起的軟件定義網(wǎng)絡(luò)(software defined networking, SDN)[11]與可編程路由設(shè)備[12-13]的相關(guān)研究同樣為智能路由算法提供了部署的可能.這些工作使得路由層可以完成更多、更復(fù)雜的任務(wù).SDN架構(gòu)的出現(xiàn)使得基于機(jī)器學(xué)習(xí)的智能路由算法能夠作為一個(gè)應(yīng)用運(yùn)行在具有強(qiáng)大運(yùn)算能力的SDN服務(wù)器中并且有效地對(duì)路由和流量進(jìn)行控制[14].不過現(xiàn)有基于機(jī)器學(xué)習(xí)的智能路由方案研究仍然處于比較初步的階段，研究主要針對(duì)智能路由算法的正確性以及收斂性，智能路由算法在真實(shí)場(chǎng)景下的訓(xùn)練與部署方案仍不夠完善.此外，當(dāng)前路由設(shè)備的計(jì)算能力對(duì)于智能路由算法的大規(guī)模部署而言仍然遠(yuǎn)遠(yuǎn)不夠[15].

本文從方法與應(yīng)用場(chǎng)景等角度介紹了現(xiàn)有基于機(jī)器學(xué)習(xí)的數(shù)據(jù)驅(qū)動(dòng)智能路由算法的相關(guān)工作并分析了不同智能路由方法的優(yōu)劣.之后本文進(jìn)一步對(duì)現(xiàn)有智能路由算法的訓(xùn)練與部署方法進(jìn)行了分析總結(jié)并提出了2種適用于不同應(yīng)用場(chǎng)景的智能路由算法訓(xùn)練部署框架.最后本文分析了基于機(jī)器學(xué)習(xí)的智能路由算法未來發(fā)展中所面臨的機(jī)遇與挑戰(zhàn)并給出了智能路由算法未來的研究方向.

1 數(shù)據(jù)驅(qū)動(dòng)的智能路由算法概覽

早在1994年Boyan等人[16]就提出了基于Q-Learning的、應(yīng)用在通信網(wǎng)絡(luò)中的智能路由算法Q-routing.實(shí)驗(yàn)表明：相比于傳統(tǒng)的最短路徑路由，Q-routing方案能夠有效避免網(wǎng)絡(luò)擁塞并降低數(shù)據(jù)包傳輸時(shí)延.然而雖然后續(xù)有很多相關(guān)工作對(duì)該方法進(jìn)行了完善和優(yōu)化[17-18]，受限于路由器的計(jì)算能力以及網(wǎng)絡(luò)層結(jié)構(gòu)設(shè)計(jì)，智能路由算法難以被真正部署到真實(shí)網(wǎng)絡(luò)場(chǎng)景中.

2010年Hu等人[19]提出了QELAR方法，將Q-Learning的思想應(yīng)用于無線傳感器網(wǎng)絡(luò)(wire-less sensor network, WSN)，用來優(yōu)化無線傳感器網(wǎng)絡(luò)的能耗和壽命.相比于傳統(tǒng)網(wǎng)絡(luò)，無線傳感器網(wǎng)絡(luò)所處環(huán)境復(fù)雜多變，路由服務(wù)質(zhì)量需求多樣，傳統(tǒng)路由算法在該應(yīng)用場(chǎng)景下往往難以取得令人滿意的效果.此外WSN與傳統(tǒng)網(wǎng)絡(luò)相比結(jié)構(gòu)較為獨(dú)立，因此基于Q-Learning的智能路由方法的部署難度更小.后續(xù)Basagni等人[20-21]進(jìn)一步將Q-Learning方法用于無線傳感器網(wǎng)絡(luò)的可靠傳輸和加速轉(zhuǎn)發(fā)上，取得了良好的效果.

近幾年，隨著深度學(xué)習(xí)技術(shù)的飛速發(fā)展，深度學(xué)習(xí)正越來越多地被應(yīng)用于網(wǎng)絡(luò)領(lǐng)域，并已經(jīng)在包括傳輸層擁塞控制[22]、網(wǎng)絡(luò)安全檢測(cè)[23]、視頻流傳輸優(yōu)化[24]等領(lǐng)域取得了顯著進(jìn)展.利用深度學(xué)習(xí)解決路由優(yōu)化問題也得到了更多的關(guān)注，一些基于深度學(xué)習(xí)和深度強(qiáng)化學(xué)習(xí)的路由算法被提出[25].這些智能路由算法既有利用深度學(xué)習(xí)對(duì)傳統(tǒng)路由算法進(jìn)行改進(jìn)[26]，也有針對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)流量調(diào)度、骨干網(wǎng)流量工程[14]等近些年新出現(xiàn)的網(wǎng)絡(luò)應(yīng)用場(chǎng)景進(jìn)行全局性能優(yōu)化.

隨著越來越多的智能路由算法的提出，如何將數(shù)據(jù)驅(qū)動(dòng)的智能路由算法部署在真實(shí)環(huán)境中同樣成為了一個(gè)備受關(guān)注的問題.Mao等人[15]的工作對(duì)基于深度學(xué)習(xí)的智能路由算法在真實(shí)場(chǎng)景下部署的前景進(jìn)行了探討并提出了一種利用配備了GPU的軟件定義路由器(SDR)來部署基于深度學(xué)習(xí)的智能路由算法的框架設(shè)想.然而根據(jù)我們的研究，現(xiàn)有研究工作仍然沒有給出一套切實(shí)可行的將智能路由算法部署在現(xiàn)有計(jì)算機(jī)網(wǎng)絡(luò)體系架構(gòu)中的方案.

經(jīng)過調(diào)研，近年來數(shù)據(jù)驅(qū)動(dòng)的智能路由算法依照其所應(yīng)用的機(jī)器學(xué)習(xí)方法類型主要分為基于監(jiān)督學(xué)習(xí)的智能路由算法以及基于強(qiáng)化學(xué)習(xí)的智能路由算法.

2 基于監(jiān)督學(xué)習(xí)的智能路由算法

2.1 應(yīng)用于智能路由中的監(jiān)督學(xué)習(xí)方法概述

監(jiān)督學(xué)習(xí)是指利用已知的輸入輸出樣本訓(xùn)練模型，使得模型能夠準(zhǔn)確地完成從輸入到輸出映射的一類機(jī)器學(xué)習(xí)任務(wù)[27].近年來所提出的基于監(jiān)督學(xué)習(xí)的智能路由方法主要基于深度學(xué)習(xí)模型.相比于傳統(tǒng)監(jiān)督學(xué)習(xí)方法，深度學(xué)習(xí)模型能夠通過帶標(biāo)簽的數(shù)據(jù)學(xué)習(xí)得到更加復(fù)雜的策略，為實(shí)現(xiàn)應(yīng)用于復(fù)雜網(wǎng)絡(luò)環(huán)境下的智能路由方法提供了可能.在本節(jié)中我們將對(duì)現(xiàn)有智能路由方法中常用的深度學(xué)習(xí)方法進(jìn)行簡(jiǎn)單介紹.

最常見的深度學(xué)習(xí)模型是深度神經(jīng)網(wǎng)絡(luò)(deep neural network, DNN)，其模型設(shè)計(jì)模擬了生物神經(jīng)元的工作原理，工作過程包括前饋過程和反饋過程.圖2中給出了其模型結(jié)構(gòu)與工作過程.在DNN的前饋過程中，模型將輸入向量利用線性加權(quán)與激活函數(shù)相結(jié)合的方式逐層向前傳遞，最終實(shí)現(xiàn)輸入到輸出的映射.在DNN的反饋過程中，模型將實(shí)際輸出結(jié)果與期望結(jié)果的偏差逐層反向傳遞完成模型參數(shù)的調(diào)整過程，達(dá)到自動(dòng)學(xué)習(xí)的效果.作為對(duì)DNN模型的改進(jìn)，Hinton等人[29]于2006年提出了深度置信網(wǎng)絡(luò)(deep belief network, DBN).DBN模型將傳統(tǒng)DNN模型與受限玻爾茲曼機(jī)(restricted Boltzmann machine, RBM)相結(jié)合，訓(xùn)練過程可以被視作利用RBM對(duì)DBN模型的參數(shù)進(jìn)行初始化和利用梯度反向傳遞過程對(duì)DBN模型參數(shù)根據(jù)任務(wù)進(jìn)行微調(diào)2部分.作為一個(gè)基礎(chǔ)深度學(xué)習(xí)模型，DBN模型可以被用于包括路由優(yōu)化在內(nèi)的多種任務(wù)中.

Fig. 2 Feedforward and backpropagation of deep neural networks[28]圖2 深度神經(jīng)網(wǎng)絡(luò)的前饋與反饋原理示意圖[28]

Fig. 3 Recurrent neural network (RNN) and unfolding[28]圖3 循環(huán)神經(jīng)網(wǎng)絡(luò)及其模型展開示意圖[28]

在智能路由方案中很多時(shí)候需要處理維度不定的序列化信息，例如路徑信息提取[30]，基于過往流量信息預(yù)測(cè)下一時(shí)刻流量[31].在這些任務(wù)中僅僅通過DNN模型就很難達(dá)到期望的效果，這時(shí)往往需要用到循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN).RNN能夠很好地處理不定長(zhǎng)度的序列化輸入[28]，對(duì)于網(wǎng)絡(luò)流量信息的時(shí)序性、路徑特征的有序性具有良好的保證.圖3中給出了RNN網(wǎng)絡(luò)的模型結(jié)構(gòu).作為RNN模型的改進(jìn)，長(zhǎng)短期記憶單元(long short-term memory, LSTM)[32]以及門控循環(huán)單元(gated recurrent unit, GRU)[33]在現(xiàn)有工作中具有更好的效果并被廣泛使用.

在智能路由方案中，當(dāng)前網(wǎng)絡(luò)的局部或全局拓?fù)湫畔⑹峭瓿芍悄苈酚蓻Q策的重要依據(jù)，然而由于網(wǎng)絡(luò)拓?fù)涞膭?dòng)態(tài)變化性，傳統(tǒng)深度學(xué)習(xí)模型往往難以很好地處理這部分信息.圖神經(jīng)網(wǎng)絡(luò)(graph neural network, GNN)是近年來被提出的，被認(rèn)為能夠有效處理拓?fù)湫畔⑻崛栴}的新型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[34].GNN模型將網(wǎng)絡(luò)節(jié)點(diǎn)與邊的特性進(jìn)行向量化表示，并進(jìn)行若干輪迭代.每一輪迭代過程中，這些節(jié)點(diǎn)和邊信息的向量化表示會(huì)根據(jù)拓?fù)湟蕾囮P(guān)系利用基于深度學(xué)習(xí)模型的更新函數(shù)進(jìn)行更新.最終這些節(jié)點(diǎn)與邊的向量化表示將收斂到確定值，代表著GNN模型已經(jīng)將拓?fù)湫畔⑥D(zhuǎn)化為了可被深度學(xué)習(xí)模型利用的向量化表示信息.研究表明，GNN模型具有良好的可擴(kuò)展性與泛化性，并已經(jīng)被廣泛應(yīng)用于網(wǎng)絡(luò)拓?fù)湫畔⑻崛∪蝿?wù)中[35].

2.2 基于深度學(xué)習(xí)的智能路由算法

深度學(xué)習(xí)在路由優(yōu)化問題中最直接的應(yīng)用就是利用深度學(xué)習(xí)模型去代替原本基于數(shù)學(xué)模型的路由求解算法.一個(gè)普遍的路由求解模型如圖4所示，即將網(wǎng)絡(luò)拓?fù)湟约熬W(wǎng)絡(luò)狀態(tài)信息作為輸入，深度學(xué)習(xí)模型根據(jù)輸入信息做出符合當(dāng)前網(wǎng)絡(luò)環(huán)境狀態(tài)的恰當(dāng)路由決策.

Fig. 4 Scheme of deep learning based routing model圖4 基于深度學(xué)習(xí)的智能路由算法框架

Mao等人[15]在2017年提出了一種基于深度置信網(wǎng)絡(luò)(DBN)的路由決策方案.圖5給出了該方案的整體模型示意圖，Mao等人的智能路由方案應(yīng)用場(chǎng)景為骨干網(wǎng)絡(luò)，該方案將路由器分為域內(nèi)路由器與邊界路由器.數(shù)據(jù)包在經(jīng)由邊界路由器進(jìn)入主干網(wǎng)時(shí)部署于邊界路由器上的DBN模型會(huì)根據(jù)當(dāng)前網(wǎng)絡(luò)各節(jié)點(diǎn)流量狀態(tài)為每個(gè)數(shù)據(jù)包計(jì)算其在主干網(wǎng)內(nèi)的轉(zhuǎn)發(fā)路徑，其后數(shù)據(jù)包經(jīng)由域內(nèi)路由器轉(zhuǎn)發(fā)到目的邊界路由器并最終離開改主干網(wǎng).在上述模型中，域間路由器只負(fù)責(zé)路由轉(zhuǎn)發(fā)和網(wǎng)絡(luò)狀態(tài)信息收集，從而避免了傳統(tǒng)分布式路由算法中頻繁的網(wǎng)絡(luò)拓?fù)湫畔⒔粨Q.該方案的路由決策模型為每個(gè)路由節(jié)點(diǎn)到每個(gè)目的邊界路由器路單獨(dú)訓(xùn)練一個(gè)DBN模型用來根據(jù)網(wǎng)絡(luò)狀態(tài)信息輸出恰當(dāng)?shù)南乱惶?jié)點(diǎn)，路由路徑計(jì)算過程采用逐跳的方式依次通過對(duì)應(yīng)的DBN模型生成.Mao等人的工作表明基于深度學(xué)習(xí)模型的路由策略能夠達(dá)到95%準(zhǔn)確率，與此同時(shí)，深度學(xué)習(xí)模型所具有的基于部分網(wǎng)絡(luò)狀態(tài)特征進(jìn)行路由決策的特點(diǎn)也使得基于深度學(xué)習(xí)的智能路由方法相比傳統(tǒng)路由方法具有更低的信息交換成本以及當(dāng)網(wǎng)絡(luò)環(huán)境發(fā)生變化時(shí)更快的路由收斂速度.然而，上述方案的部署不僅需要骨干網(wǎng)路由器具備極強(qiáng)的模型計(jì)算能力，同時(shí)還需要對(duì)現(xiàn)有路由協(xié)議進(jìn)行修改，因此在現(xiàn)有計(jì)算機(jī)網(wǎng)絡(luò)體系結(jié)構(gòu)下部署上述方案需要極高的成本并且會(huì)嚴(yán)重影響網(wǎng)絡(luò)的可擴(kuò)展性.

Fig. 5 Considered system model of the DBN-based routing protocol[15]圖5 基于DBN的智能路由算法系統(tǒng)模型[15]

除了DBN模型，其他深度學(xué)習(xí)模型同樣被嘗試應(yīng)用于智能路由任務(wù)中.Zhuang等人[36]的工作對(duì)于應(yīng)用不同深度學(xué)習(xí)模型學(xué)習(xí)路由決策的效果進(jìn)行了對(duì)比，該工作中將逐跳智能路由決策過程形式化表示為:

n+1=F(n,dst,G),

其中，src,dst分別表示源、目的節(jié)點(diǎn)，n是從src到dst的路由中的第n個(gè)路由節(jié)點(diǎn)編號(hào);F()是路由決策函數(shù)；G代表拓?fù)浣Y(jié)構(gòu)信息.通過實(shí)驗(yàn)發(fā)現(xiàn)將基于拓?fù)浣Y(jié)構(gòu)的特征提取方式與深度學(xué)習(xí)模型相結(jié)合的方案(graph-aware deep learning, GADL)相比單純采用DBN，CNN等現(xiàn)有深度學(xué)習(xí)模型能夠有效提升模型測(cè)試準(zhǔn)確率并降低模型訓(xùn)練時(shí)間.

更進(jìn)一步地利用拓?fù)浣Y(jié)構(gòu)信息，Geyer等人[26]基于GRU和GNN設(shè)計(jì)了分布式智能路由算法.為了使得GNN模型能夠更好地表現(xiàn)路由網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn)并使得GNN建模的網(wǎng)絡(luò)特征信息能更方便地用于路由決策過程，該方案將路由器接口作為額外節(jié)點(diǎn)加入圖模型中.圖6中給出了將路由器接口作為額外節(jié)點(diǎn)加入后的圖模型示意圖.當(dāng)GNN完成了拓?fù)浣Y(jié)構(gòu)建模之后，每個(gè)路由器接口對(duì)應(yīng)的節(jié)點(diǎn)信息向量化表示hv不僅包含了自身信息，同時(shí)由于GNN的信息傳遞特性使得該節(jié)點(diǎn)同時(shí)會(huì)包含路由決策所需的全網(wǎng)結(jié)構(gòu)和狀態(tài)信息.利用路由接口信息hv，每個(gè)路由器能夠在本地計(jì)算出到對(duì)應(yīng)目的節(jié)點(diǎn)所應(yīng)該通過的路由器接口.由于GNN的模型特性，上述GNN拓?fù)浣Y(jié)構(gòu)建模的迭代過程可以通過將GNN參數(shù)更新函數(shù)部署在每個(gè)路由器上的方式分布式地完成，因此該方法天然具有良好的可擴(kuò)展性與分布式路由決策的能力.該工作的仿真實(shí)驗(yàn)表明，基于GNN的分布式智能路由算法在路由收斂速度、準(zhǔn)確性、魯棒性、故障適應(yīng)性方面表現(xiàn)良好，其中對(duì)于最短路徑路由，經(jīng)過訓(xùn)練的GNN模型能夠在15輪迭代之內(nèi)達(dá)到98%的準(zhǔn)確率，而對(duì)于最大最小公平路由[37]算法能夠在15輪迭代之內(nèi)達(dá)到95%的準(zhǔn)確率.

結(jié)合圖7中的內(nèi)容能夠發(fā)現(xiàn)，現(xiàn)有基于深度學(xué)習(xí)模型的智能路由方案主要通過逐跳的方式生成路由路徑.與逐跳路由生成方式相對(duì)應(yīng)的另一種路由模式是預(yù)先計(jì)算所有可能路徑，通過深度學(xué)習(xí)模型根據(jù)網(wǎng)絡(luò)狀態(tài)選擇恰當(dāng)?shù)穆窂?這種基于路徑選擇的方式能夠避免路徑生成模型所帶來的路由環(huán)路等問題，具有更好的效果保障.然而網(wǎng)絡(luò)中的可選路徑數(shù)會(huì)隨著網(wǎng)絡(luò)規(guī)模的增大指數(shù)級(jí)增長(zhǎng)，其巨大的輸出維度使得基于路徑選擇的深度學(xué)習(xí)模型的學(xué)習(xí)難度以及模型參數(shù)數(shù)量處于難以承受的數(shù)量級(jí)[38].此外由于網(wǎng)絡(luò)路徑特征與拓?fù)浣Y(jié)構(gòu)具有很強(qiáng)的相關(guān)性，基于路徑選擇的深度學(xué)習(xí)模型很難具有足夠的通用性和泛化性.相比于路徑選擇的方式，采用逐跳生成路徑的方式能夠顯著降低輸出維度以及模型決策難度，使得路由決策的準(zhǔn)確率明顯提升[38-39].

Fig. 6 Graph model with extra nodes for router interfaces[26]圖6 將路由器接口作為額外節(jié)點(diǎn)的網(wǎng)絡(luò)圖模型[26]

Learning ModeTraining ModeControlling ModeDeployment ModeRouting PolicyML AlgorithmReferenceSupervisedLearningOfflinePacket-controlledFlow-controlledDecentralizedCentralizedCentralizedPath GenerationDBNRef[15,25,39]Path GenerationGNN[26](A)Congestion PredictionDNNRef[40](A)Delay and Jitter PredictionGNNRef[30]Path GenerationGADLRef[36]Reinforcement LearningOnlineOfflinePacket-controlledDecentralizedPath GenerationEpoch-controlledCentralizedSetting Splitting RatioEpoch-controlledCentralizedSetting Link WeightsQ-LearningRef[16-21]DDPGRef[14]TRPORef[31]MADDPGRef[38]

“(A)” denotes that the machine learning algorithm only acts as an auxiliary part of the routing modelFig. 7 Summary of machine learning based routing model圖7 基于機(jī)器學(xué)習(xí)的路由方法概述

現(xiàn)有工作表明，基于深度學(xué)習(xí)的智能路由算法能夠基于部分網(wǎng)絡(luò)狀態(tài)信息快速、準(zhǔn)確地計(jì)算出對(duì)應(yīng)的路由決策，并且在信息傳遞成本、路由收斂速度等方面相比傳統(tǒng)分布式路由展現(xiàn)出了一定的優(yōu)勢(shì).基于GNN的分布式路由決策在拓?fù)湫畔⒔?、魯棒性以及故障適應(yīng)性等基于傳統(tǒng)深度學(xué)習(xí)模型的智能路由方案難以解決的問題上面已經(jīng)取得了一定的進(jìn)展.然而現(xiàn)有基于深度學(xué)習(xí)模型的智能路由算法主要學(xué)習(xí)的是基于最短路徑的路由算法，其能否很好地學(xué)會(huì)更多復(fù)雜的動(dòng)態(tài)路由算法是值得更進(jìn)一步探討的.此外，現(xiàn)有基于深度學(xué)習(xí)的智能路由算法無法保證其在復(fù)雜多變的網(wǎng)絡(luò)環(huán)境下的安全性和魯棒性，并且需要高昂的部署成本，因此基于深度學(xué)習(xí)的路由算法想要替代傳統(tǒng)路由算法仍有很長(zhǎng)的一段路要走.

2.3 利用智能模塊輔助路由計(jì)算

現(xiàn)有的深度學(xué)習(xí)方法在網(wǎng)絡(luò)建模、流量預(yù)測(cè)、擁塞檢測(cè)方面已經(jīng)取得了一定的成果[31,41-42]，利用深度學(xué)習(xí)方法在這些領(lǐng)域的成果來輔助路由計(jì)算是使得路由算法變得更加智能的另一種途徑.在路由優(yōu)化問題中，有很多時(shí)候傳統(tǒng)基于模型優(yōu)化或者啟發(fā)式的方法都需要涉及網(wǎng)絡(luò)環(huán)境建模、流量預(yù)測(cè)、擁塞檢測(cè)等模塊，用深度學(xué)習(xí)方法來替代這些模塊有時(shí)會(huì)取得比較好的效果.

Barabas等人[40]的工作利用基于多任務(wù)學(xué)習(xí)的深度神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)器根據(jù)鏈路歷史狀態(tài)數(shù)據(jù)為每條鏈路進(jìn)行鏈路擁塞預(yù)測(cè)，并將預(yù)測(cè)得到的結(jié)果與基于規(guī)則的擁塞避免和重路由方案相結(jié)合，使得路由方法能夠在擁塞發(fā)生前主動(dòng)調(diào)整路由而不是發(fā)生后被動(dòng)地亡羊補(bǔ)牢.

Rusek等人[30]的工作將GNN與LSTM模型相結(jié)合，用基于圖神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型對(duì)路由路徑時(shí)延和時(shí)延抖動(dòng)與網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)、流量矩陣以及路由路徑之間的關(guān)系進(jìn)行建模，并利用所建立的模型輔助啟發(fā)式路由優(yōu)化算法進(jìn)行路由策略計(jì)算.研究結(jié)果表明基于GNN的網(wǎng)絡(luò)建模能夠根據(jù)輸入信息準(zhǔn)確預(yù)測(cè)路由路徑時(shí)延和時(shí)延抖動(dòng)，并且對(duì)于沒有在訓(xùn)練中出現(xiàn)的拓?fù)湟约皠?dòng)態(tài)變化的路由路徑展現(xiàn)了良好的泛化性.數(shù)據(jù)驅(qū)動(dòng)的網(wǎng)絡(luò)建模方法為基于探索的啟發(fā)式路由優(yōu)化算法提供了一個(gè)準(zhǔn)確、高效的路由策略試驗(yàn)環(huán)境，使得啟發(fā)式的路由優(yōu)化算法能夠以低成本完成路由優(yōu)化求解過程，同時(shí)避免了因?yàn)榫W(wǎng)絡(luò)建模與真實(shí)環(huán)境不符所帶來的路由策略效果損失.

利用深度學(xué)習(xí)模型輔助傳統(tǒng)路由算法的方案能夠有效提升傳統(tǒng)路由優(yōu)化算法性能，與此同時(shí)傳統(tǒng)路由優(yōu)化算法保證了智能路由方案具有更強(qiáng)的可靠性與可解釋性.因此未來將傳統(tǒng)路由優(yōu)化算法與深度學(xué)習(xí)模型相結(jié)合可能是智能路由算法發(fā)展的一個(gè)途徑.

3 基于強(qiáng)化學(xué)習(xí)的智能路由算法

3.1 應(yīng)用于智能路由中的強(qiáng)化學(xué)習(xí)方法概述

Q-Learning方法采用一個(gè)Q函數(shù)來預(yù)測(cè)時(shí)刻t觀測(cè)到的狀態(tài)st和動(dòng)作at對(duì)應(yīng)的最大遞減獎(jiǎng)勵(lì)和，Q函數(shù)的定義為:

對(duì)于Q函數(shù)的計(jì)算有基于模型和模型無關(guān)2種方法.其中基于模型的方法通過Markov決策過程中各狀態(tài)間的關(guān)聯(lián)模型對(duì)Q函數(shù)進(jìn)行直接求解，形式化表示為:

Q(st,at)=(1-α)Q(st,at)+α[rt+γV(st+1)],

其中,α是模型學(xué)習(xí)速率，相比于基于模型的Q函數(shù)計(jì)算方法，模型無關(guān)的Q函數(shù)計(jì)算方法通常需要更長(zhǎng)的收斂時(shí)間.

在傳統(tǒng)的Q-Learning方法中，Q函數(shù)是一個(gè)從有限狀態(tài)決策空間S×A到實(shí)數(shù)空間的映射，為了處理連續(xù)高維狀態(tài)決策空間上的強(qiáng)化學(xué)習(xí)問題，研究者們將深度學(xué)習(xí)模型引入強(qiáng)化學(xué)習(xí)框架，設(shè)計(jì)出了多種深度強(qiáng)化學(xué)習(xí)(deep reinforcement learning, DRL)模型.

Google Deep Mind機(jī)構(gòu)提出了深度Q值學(xué)習(xí)(deep Q-Learning, DQN)[43].DQN采用一個(gè)深度神經(jīng)網(wǎng)絡(luò)(DNN)來代替原本的Q值表來近似估計(jì)Q函數(shù)，并通過平方誤差進(jìn)行訓(xùn)練:

L(θQ)=E[(yt-Q(st,at|θQ))2],

這里θQ是DQN的參數(shù)，yt是目標(biāo)值，可計(jì)算為:

yt=rt+γQ(st+1,π(st+1)|θQ),

其中，π(·)是一個(gè)能夠最大化預(yù)期總收益的策略函數(shù)，一個(gè)常用的異步策略是采用貪心的方式選擇動(dòng)作:

與基于Q函數(shù)估計(jì)的DQN方法相對(duì)應(yīng)的是策略梯度方法[44]，策略梯度法利用深度學(xué)習(xí)模型作為策略函數(shù)πθ(s,a),通過計(jì)算策略梯度的方式直接優(yōu)化策略函數(shù).

為了進(jìn)一步提升策略梯度方法的性能，加速?gòu)?qiáng)化學(xué)習(xí)模型的收斂速度，可以將Q值學(xué)習(xí)與策略梯度方法結(jié)合起來，通過價(jià)值估計(jì)函數(shù)來預(yù)測(cè)當(dāng)前狀態(tài)下采用行動(dòng)后續(xù)會(huì)得到的價(jià)值，并利用預(yù)測(cè)結(jié)果對(duì)策略模型進(jìn)行訓(xùn)練，這就是強(qiáng)化學(xué)習(xí)的演員-評(píng)價(jià)者(actor-critic, AC)框架.

一種目前常用的基于在線策略(on-policy)的AC框架利用一個(gè)動(dòng)作優(yōu)勢(shì)函數(shù)A(s,a)來對(duì)策略優(yōu)劣進(jìn)行估計(jì)，引入優(yōu)勢(shì)函數(shù)后的策略梯度為

其中,τ代表狀態(tài)-動(dòng)作元組(st,at).

基于在線策略的強(qiáng)化學(xué)習(xí)方法需要將訓(xùn)練過程與數(shù)據(jù)收集同步進(jìn)行，經(jīng)過多輪數(shù)據(jù)收集-參數(shù)更新的迭代過程達(dá)到參數(shù)收斂，為了將數(shù)據(jù)收集和模型訓(xùn)練過程解耦合，可以采用基于離線策略(off-policy)的強(qiáng)化學(xué)習(xí)方法，一個(gè)常用的基于離線策略的AC框架深度強(qiáng)化學(xué)習(xí)模型是確定性策略梯度算法(deterministic policy gradient, DPG)[45].該方法直接利用價(jià)值網(wǎng)絡(luò)梯度回傳的方式計(jì)算策略梯度，在連續(xù)動(dòng)作空間強(qiáng)化學(xué)習(xí)問題上取得了良好的效果.該方法的改進(jìn)版深度確定性策略梯度算法(deep deterministic policy gradient, DDPG)[46]在解決連續(xù)動(dòng)作空間的路由優(yōu)化問題上有比較廣泛的應(yīng)用.

近些年來的最新工作中，為了解決傳統(tǒng)基于隨機(jī)梯度下降算法的策略優(yōu)化方法所存在的策略更新過度問題,Schulman等人[47]提出了二階強(qiáng)化學(xué)習(xí)方法——置信域策略優(yōu)化方法(trust region policy optimization, TRPO).雖然二階方法具有比一階方法更好的收斂性保證，其過高的計(jì)算復(fù)雜度限制了它的應(yīng)用場(chǎng)景.基于TRPO的思想，OpenAI與DeepMind提出了近端策略優(yōu)化方法(proximal policy optimization, PPO)[48],該方法兼具了傳統(tǒng)一階方法的高效和易于實(shí)現(xiàn)的特性以及置信域算法的數(shù)據(jù)效率和可靠表現(xiàn)，成為了當(dāng)前的主流強(qiáng)化學(xué)習(xí)算法之一.

3.2 基于Q-Learning的智能路由算法

1994年Boyan等人[16]的工作Q-routing第一次將Q-Learning用在了路由算法上面.Q-routing將路由轉(zhuǎn)發(fā)過程用Markov決策過程(Markov decision process, MDP)進(jìn)行建模，將每個(gè)路由節(jié)點(diǎn)視作MDP中的狀態(tài)，路由下一跳所選擇的鄰居節(jié)點(diǎn)作為MDP中的動(dòng)作，路由每一跳所花費(fèi)的時(shí)延作為強(qiáng)化學(xué)習(xí)一次動(dòng)作所獲得的反饋值.Q-routing中用Q值函數(shù)Qx(d,y)來預(yù)測(cè)從當(dāng)前節(jié)點(diǎn)x到目標(biāo)節(jié)點(diǎn)d采用下一跳節(jié)點(diǎn)y所需花費(fèi)的時(shí)間.每當(dāng)節(jié)點(diǎn)x向鄰居節(jié)點(diǎn)y發(fā)送一次數(shù)據(jù)包，節(jié)點(diǎn)y立刻會(huì)返回預(yù)估的剩余路程時(shí)延t給x:

此時(shí)利用基于模型的Q-Learning方法,節(jié)點(diǎn)x可以動(dòng)態(tài)更新自身對(duì)應(yīng)的Q值函數(shù)信息，形式化地:

ΔQx(d,y)=η(q+s+t-Qx(d,y)),

其中,η是算法學(xué)習(xí)速率，q和s分別是從x到y(tǒng)的隊(duì)列時(shí)延和傳輸時(shí)延.根據(jù)動(dòng)態(tài)更新的Q值函數(shù)，Q-routing能夠自適應(yīng)動(dòng)態(tài)變化的網(wǎng)絡(luò)狀態(tài)并為每個(gè)數(shù)據(jù)包選擇時(shí)延最短的路由路徑.相比于傳統(tǒng)最短路徑路由算法，Q-routing將時(shí)延而不僅僅是路由跳數(shù)作為衡量路徑長(zhǎng)短的指標(biāo)，因此能夠有效避免網(wǎng)絡(luò)擁塞的發(fā)生.

雖然Q-routing能夠很快地感知網(wǎng)絡(luò)擁塞的發(fā)生并調(diào)整路由路徑來實(shí)現(xiàn)擁塞避免，該方法很難快速地感知到擁塞消除情況.由于Q-Learning模型所限，對(duì)于因?qū)?yīng)路徑發(fā)生擁塞而導(dǎo)致短時(shí)間內(nèi)不被采用的鄰居節(jié)點(diǎn)，Q-routing方法中路由器只能通過向鄰居節(jié)點(diǎn)發(fā)送額外的請(qǐng)求數(shù)據(jù)包的方式來更新其對(duì)應(yīng)的Q值表，這不僅帶來了額外的數(shù)據(jù)傳輸成本，而且受限于額外請(qǐng)求數(shù)據(jù)包的發(fā)送頻率，在全網(wǎng)范圍內(nèi)完成擁塞消除情況的傳遞需要一個(gè)較長(zhǎng)的時(shí)間，這使得Q-routing實(shí)際上難以達(dá)到最優(yōu)的路由調(diào)度效果.為了做到快速感知擁塞恢復(fù)，Choi等人[17]對(duì)于Q-routing中的擁塞恢復(fù)過程與時(shí)間的關(guān)系進(jìn)行了建模，提出采用R函數(shù)來對(duì)Q函數(shù)隨時(shí)間的變化速率進(jìn)行估計(jì)，并將R函數(shù)用于路由決策時(shí)對(duì)當(dāng)前各鄰居節(jié)點(diǎn)對(duì)應(yīng)Q值的計(jì)算.實(shí)驗(yàn)表明基于Q值變化預(yù)測(cè)的Q-routing方案在網(wǎng)絡(luò)擁塞頻繁出現(xiàn)的情況下相比于原本的Q-routing方案具有更好的收斂速度和穩(wěn)定性.此外，Kumar等人[18]利用對(duì)偶強(qiáng)化學(xué)習(xí)對(duì)于Q-routing進(jìn)行了改進(jìn)并獲得了更好的性能.

2010年Hu等人[19]的工作將Q-Learning的方法應(yīng)用在了無線傳感器網(wǎng)絡(luò)(WSN)中，提出了QELAR方案.由于WSN的工作環(huán)境復(fù)雜，網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)經(jīng)常變動(dòng)，所以傳統(tǒng)路由方法應(yīng)用在WSN環(huán)境下往往無法取得很好的效果.QELAR主要解決WSN的壽命問題，類似于Q-routing,QELAR同樣將數(shù)據(jù)包在網(wǎng)絡(luò)中傳輸?shù)倪^程用Markov過程進(jìn)行建模，不同的是QELAR將當(dāng)前節(jié)點(diǎn)及其鄰居節(jié)點(diǎn)的剩余能量狀態(tài)與路徑跳數(shù)相結(jié)合作為強(qiáng)化學(xué)習(xí)的反饋，使得路由算法能夠根據(jù)當(dāng)前系統(tǒng)剩余能量狀態(tài)進(jìn)行智能路由決策，以保證WSN網(wǎng)絡(luò)正常工作的時(shí)間盡可能長(zhǎng).

在QELAR之后，Basagni等人[20-21]又提出了MARLIN和MARLIN-Q模型,將WSN網(wǎng)絡(luò)的數(shù)據(jù)包發(fā)送與重傳過程用MDP進(jìn)行建模.圖8中展示了MARLIN-Q方案中每個(gè)路由節(jié)點(diǎn)控制數(shù)據(jù)包進(jìn)行轉(zhuǎn)發(fā)的狀態(tài)轉(zhuǎn)移模型示意圖.在MARLIN與MARLIN-Q工作中，數(shù)據(jù)包p在每個(gè)路由節(jié)點(diǎn)的狀態(tài)空間S根據(jù)當(dāng)前數(shù)據(jù)包重傳次數(shù)進(jìn)行定義

S={0,1,…,K-1}∪{rcv,drop}.

Fig. 8 States and transitions of node i handling packet p as shown in MARLIN-Q [21]圖8 MARLIN-Q中節(jié)點(diǎn)i處理數(shù)據(jù)包p的狀態(tài)轉(zhuǎn)移模型 [21]

每個(gè)路由節(jié)點(diǎn)i在狀態(tài)s可進(jìn)行的動(dòng)作空間包括選擇的調(diào)制解調(diào)器類型以及對(duì)應(yīng)的調(diào)制解調(diào)器所能到達(dá)的下一跳路由節(jié)點(diǎn):

經(jīng)過調(diào)研，現(xiàn)有基于Q-Learning的智能路由算法大都將數(shù)據(jù)包在網(wǎng)絡(luò)中的轉(zhuǎn)發(fā)過程用MDP進(jìn)行建模，之后將路由優(yōu)化問題轉(zhuǎn)化為基于模型的Q-Learning問題，并在此基礎(chǔ)上構(gòu)建智能路由算法.由于MDP建模以及基于模型的Q-Learning本身的特點(diǎn)，其優(yōu)化目標(biāo)主要為時(shí)延、吞吐、能耗等可逐跳累加的性能評(píng)價(jià)指標(biāo).利用基于模型的Q-Learning方法設(shè)計(jì)的智能路由算法本身能夠自適應(yīng)動(dòng)態(tài)變化的網(wǎng)絡(luò)環(huán)境，且由于其MDP模型已知，其決策過程相比于其他基于深度學(xué)習(xí)的方法具有更好的可解釋性，因此在網(wǎng)絡(luò)狀態(tài)波動(dòng)性很大的應(yīng)用場(chǎng)景中，例如WSN網(wǎng)絡(luò)，具有比較廣泛的應(yīng)用.然而對(duì)于輸入輸出維度更高、優(yōu)化目標(biāo)更復(fù)雜的路由優(yōu)化問題顯式地建立MDP模型十分困難，此外現(xiàn)有基于Q-Learning的路由優(yōu)化方法普遍采用的包級(jí)別的路由控制方式難以滿足主干網(wǎng)的高性能需求，因此現(xiàn)有基于Q-Learning的智能路由算法的應(yīng)用場(chǎng)景仍然具有很大的局限性.

3.3 基于深度強(qiáng)化學(xué)習(xí)的智能路由算法

隨著近幾年深度學(xué)習(xí)技術(shù)的發(fā)展，研究者們開始嘗試將深度強(qiáng)化學(xué)習(xí)技術(shù)(DRL)應(yīng)用到智能路由與流量工程方案設(shè)計(jì)中.相比于Q-Learning，DRL方法能夠?qū)W習(xí)到更復(fù)雜的策略，以解決狀態(tài)、決策空間更大以及優(yōu)化目標(biāo)更復(fù)雜的路由優(yōu)化問題.

Xu等人[14]將深度強(qiáng)化學(xué)習(xí)用于域內(nèi)流量工程問題中提出了基于深度強(qiáng)化學(xué)習(xí)的流量工程方案DRL-TE.類似于2018年Kumar等人[7]提出的經(jīng)典的半狀態(tài)無關(guān)流量工程方案SMORE,DRL-TE將流量工程問題劃分為靜態(tài)多路徑求解以及在線動(dòng)態(tài)調(diào)整路徑分流比2部分.DRL-TE采用傳統(tǒng)方法生成路徑，并利用一個(gè)深度強(qiáng)化學(xué)習(xí)單元來完成在線動(dòng)態(tài)調(diào)整路徑分流比過程.DRL-TE方案中深度強(qiáng)化學(xué)習(xí)模型將當(dāng)前每個(gè)會(huì)話對(duì)應(yīng)的時(shí)延和吞吐作為強(qiáng)化學(xué)習(xí)的狀態(tài)，將路徑分流比作為強(qiáng)化學(xué)習(xí)的動(dòng)作，將每個(gè)會(huì)話的性能評(píng)價(jià)函數(shù)作為強(qiáng)化學(xué)習(xí)的反饋，從而動(dòng)態(tài)感知網(wǎng)絡(luò)狀態(tài)信息，控制各條路徑的分流比，并根據(jù)各會(huì)話反饋結(jié)果自適應(yīng)地學(xué)習(xí)最優(yōu)分流策略.為了處理分流比所帶來的連續(xù)動(dòng)作空間問題，DRL-TE采用深度確定性策略梯度算法(DDPG)作為強(qiáng)化學(xué)習(xí)模型，并采用了專為流量工程設(shè)計(jì)的經(jīng)驗(yàn)回放方式來保證強(qiáng)化學(xué)習(xí)模型的收斂性和穩(wěn)定性.相比于SMORE需要準(zhǔn)確預(yù)測(cè)下一時(shí)刻的流量矩陣才能利用線性規(guī)劃模型解出最優(yōu)的分流比并且只能優(yōu)化有限的目標(biāo)(例如最大鏈路利用率)，DRL-TE只需根據(jù)各會(huì)話當(dāng)前流量特征信息即可自動(dòng)預(yù)測(cè)未來的流量變化情況，并做出能最大化各會(huì)話總效益函數(shù)值的決策.因此，DRL-TE相比于SMORE方法對(duì)應(yīng)用場(chǎng)景需求更少的假設(shè)，具有更好的通用性和魯棒性.DRL-TE在ns-3環(huán)境下進(jìn)行了仿真實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明：相比于傳統(tǒng)路由以及流量工程算法，DRL-TE不論在時(shí)延、吞吐還是文中定義的效用函數(shù)指標(biāo)上都具有明顯優(yōu)勢(shì).此外直接采用原始DDPG算法的對(duì)比實(shí)驗(yàn)表明利用機(jī)器學(xué)習(xí)模型解決流量工程問題時(shí)對(duì)原有機(jī)器學(xué)習(xí)算法進(jìn)行針對(duì)性地改進(jìn)是十分必要的，直接將現(xiàn)有機(jī)器學(xué)習(xí)模型應(yīng)用在路由優(yōu)化與流量工程問題中可能難以達(dá)到十分理想的效果.

除了流量工程領(lǐng)域，深度強(qiáng)化學(xué)習(xí)同樣被應(yīng)用于智能路由配置優(yōu)化任務(wù)中.Valadarsky等人[31]嘗試?yán)蒙疃葟?qiáng)化學(xué)習(xí)單元根據(jù)歷史流量數(shù)據(jù)對(duì)未來的網(wǎng)絡(luò)流量進(jìn)行預(yù)測(cè)，并基于強(qiáng)化學(xué)習(xí)模型的流量預(yù)測(cè)能力計(jì)算出恰當(dāng)?shù)穆酚膳渲?在這篇工作中，Valadarsky等人將歷史流量矩陣作為強(qiáng)化學(xué)習(xí)模型的輸入，每條鏈路的權(quán)值作為強(qiáng)化學(xué)習(xí)模型的輸出，強(qiáng)化學(xué)習(xí)模型(TRPO)根據(jù)學(xué)習(xí)到的經(jīng)驗(yàn)和知識(shí)通過歷史流量矩陣對(duì)未來流量進(jìn)行預(yù)測(cè)并通過調(diào)整鏈路權(quán)值來進(jìn)行路由配置，以達(dá)到優(yōu)化全網(wǎng)最大鏈路利用率并完成負(fù)載均衡的目標(biāo).Valadarsky等人的工作中指出，路由規(guī)則的表現(xiàn)形式與強(qiáng)化學(xué)習(xí)模型的收斂性有很強(qiáng)的相關(guān)性.對(duì)于一個(gè)網(wǎng)絡(luò)拓?fù)銰(V,E),如果直接采用一個(gè)輸出維度為|V|·|E|的基于目的節(jié)點(diǎn)的路由規(guī)則形式作為上述強(qiáng)化學(xué)習(xí)模型的輸出動(dòng)作，即為每個(gè)節(jié)點(diǎn)v針對(duì)每個(gè)目的節(jié)點(diǎn)d設(shè)置一個(gè)對(duì)其所有鄰居節(jié)點(diǎn)的分流比，那么由于輸出維度過高上述強(qiáng)化學(xué)習(xí)模型將難以收斂.因此該工作中強(qiáng)化學(xué)習(xí)模型的動(dòng)作為每條鏈路設(shè)置一個(gè)實(shí)數(shù)權(quán)值，鏈路權(quán)值通過一個(gè)傳統(tǒng)基于規(guī)則的方式映射成為路由規(guī)則.這使得強(qiáng)化學(xué)習(xí)模型的輸出維度降為|E|，以降低強(qiáng)化學(xué)習(xí)模型的動(dòng)作空間大小，減輕探索和學(xué)習(xí)難度，達(dá)到加速收斂的效果.該工作采用了稀疏和非稀疏的重力雙峰模型生成了不用類型的流量矩陣序列用于檢測(cè)算法性能.仿真實(shí)驗(yàn)結(jié)果表明對(duì)于具有明顯規(guī)律特征的流量矩陣，強(qiáng)化學(xué)習(xí)模型能夠通過流量預(yù)測(cè)來實(shí)現(xiàn)良好的路由配置，達(dá)到優(yōu)于流量無關(guān)最優(yōu)路由[50]并且接近最優(yōu)的路由配置效果.然而當(dāng)流量矩陣不再具有明顯規(guī)律特征時(shí)，該方法的性能就會(huì)顯著下降.實(shí)際上，真實(shí)場(chǎng)景下的流量變化可能是無規(guī)律的，包含許多突發(fā)流量的，因此對(duì)于上述模型在真實(shí)流量數(shù)據(jù)下的流量預(yù)測(cè)和路由配置能力仍然是一個(gè)值得探索的問題.

雖然DRL模型理論上能夠根據(jù)網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)或歷史信息對(duì)未來的流量進(jìn)行預(yù)測(cè)并作出最優(yōu)的路由決策，在目前實(shí)驗(yàn)中DRL模型的結(jié)果還遠(yuǎn)遠(yuǎn)沒有達(dá)到最優(yōu).Xu等人[38]的工作對(duì)比了若干種強(qiáng)化學(xué)習(xí)模型在路由任務(wù)上的效果，提出了將強(qiáng)化學(xué)習(xí)模型用來解決路由問題的指導(dǎo)性建議.首先作者通過一個(gè)Q-routing模型[16]簡(jiǎn)單場(chǎng)景部署實(shí)驗(yàn)表明包級(jí)別路由控制的強(qiáng)化學(xué)習(xí)智能路由模型對(duì)于吞吐較高的應(yīng)用場(chǎng)景難以適用，采用時(shí)間段級(jí)別路由控制模型將會(huì)是比較推薦的方式.其次，將顯式的路徑選擇方式作為強(qiáng)化學(xué)習(xí)單元?jiǎng)幼鞯闹悄苈酚煞桨鸽y以收斂到理想結(jié)果.正如2.2節(jié)所提到的，路徑數(shù)目隨網(wǎng)絡(luò)規(guī)模的增長(zhǎng)而指數(shù)增長(zhǎng)，基于路徑選擇的方案無疑會(huì)大幅增加強(qiáng)化學(xué)習(xí)模型的學(xué)習(xí)和探索能力.基于上述2點(diǎn)，本文最終同樣選擇了通過強(qiáng)化學(xué)習(xí)模型來控制鏈路權(quán)值繼而間接實(shí)現(xiàn)路由控制的方案.與Valadarsky等人直接生成實(shí)鏈路權(quán)值相比，Xu等人的方案將鏈路權(quán)值離散化處理，進(jìn)一步將動(dòng)作空間大小從無限降為了有限，并對(duì)每一條鏈路對(duì)應(yīng)的權(quán)值選擇過程單獨(dú)采用一個(gè)強(qiáng)化學(xué)習(xí)模型進(jìn)行處理，進(jìn)一步減小了每個(gè)強(qiáng)化學(xué)習(xí)模型的決策難度和探索空間.生成的鏈路權(quán)值作為最短路徑算法的邊權(quán)來進(jìn)行路由計(jì)算.為了保證這個(gè)多智能體的合作路由模型的策略一致性，Xu等人利用最新的多智能體深度確定性策略梯度算法[51](multi-agent deep deterministic policy gradient, MADDPG)來對(duì)模型進(jìn)行訓(xùn)練.最終的實(shí)驗(yàn)結(jié)果表明基于離線鏈路權(quán)值的強(qiáng)化學(xué)習(xí)智能路由算法相比于最短路徑路由具有更好的負(fù)載均衡特性，即更短的路由器平均等待隊(duì)長(zhǎng).

現(xiàn)有基于深度強(qiáng)化學(xué)習(xí)的智能路由方案在域內(nèi)流量工程和智能路由優(yōu)化任務(wù)上已經(jīng)取得了一定的成果.深度強(qiáng)化學(xué)習(xí)模型具有良好的通用性與泛化性，其既可以優(yōu)化網(wǎng)絡(luò)全局性能評(píng)價(jià)指標(biāo)，例如全網(wǎng)最大鏈路利用率、路由器平均等待隊(duì)長(zhǎng)等，也可以優(yōu)化每個(gè)會(huì)話對(duì)應(yīng)的私有效益值函數(shù).此外相比于傳統(tǒng)基于規(guī)則或數(shù)學(xué)模型的路由優(yōu)化算法，基于深度強(qiáng)化學(xué)習(xí)的智能路由算法無需對(duì)環(huán)境做出假設(shè)，并且能夠自適應(yīng)動(dòng)態(tài)變化的網(wǎng)絡(luò)環(huán)境.然而，不難發(fā)現(xiàn)，深度強(qiáng)化學(xué)習(xí)模型的收斂性與其生成路由規(guī)則的形式間具有很強(qiáng)的關(guān)聯(lián)性，過高的輸出維度往往使得深度強(qiáng)化學(xué)習(xí)模型無法收斂.因此現(xiàn)有研究工作中，深度強(qiáng)化學(xué)習(xí)模型普遍通過控制路徑分流比或鏈路權(quán)值的方式間接完成流量控制，而非通過路徑選擇或路徑生成的方式直接生成路由路徑.實(shí)際上即使現(xiàn)有工作已經(jīng)盡量降低深度強(qiáng)化學(xué)習(xí)單元的路由決策難度，并取得了顯著進(jìn)展，現(xiàn)有方案在復(fù)雜應(yīng)用場(chǎng)景下的表現(xiàn)仍然有很大的提升空間.另外受限于深度強(qiáng)化學(xué)習(xí)的模型性能，現(xiàn)有方案大部分都采取時(shí)間段級(jí)別的路由控制方式，包級(jí)別的路由控制方式則不太適合于此類智能路由方案.對(duì)于路由算法而言，魯棒性和可靠性是十分重要的性質(zhì)，然而現(xiàn)有基于深度強(qiáng)化學(xué)習(xí)的智能路由算法在這方面的研究還遠(yuǎn)遠(yuǎn)不夠.

4 智能路由算法的訓(xùn)練與部署

雖然近些年已經(jīng)有很多基于機(jī)器學(xué)習(xí)的智能路由算法相關(guān)工作，但是這些工作主要針對(duì)智能路由算法的原理設(shè)計(jì)和算法準(zhǔn)確性、收斂性等問題進(jìn)行研究，而對(duì)于智能路由算法在真實(shí)場(chǎng)景下的訓(xùn)練與部署還尚未有一個(gè)成熟且完整的框架.本文對(duì)智能路由算法不同的訓(xùn)練方式與部署方式的優(yōu)勢(shì)與不足進(jìn)行了討論，并提出了2類較為合理的智能路由訓(xùn)練與部署框架以使得智能路由算法能夠低成本、高可靠性地在真實(shí)場(chǎng)景被部署.

4.1 訓(xùn)練方式：在線與離線

智能路由算法模型的訓(xùn)練方式主要分為在線和離線2種.圖7中給出了現(xiàn)有智能路由方案的訓(xùn)練方式.其中基于監(jiān)督學(xué)習(xí)的智能路由模型全部采用離線訓(xùn)練的方式；而基于強(qiáng)化學(xué)習(xí)的模型則既可以在真實(shí)環(huán)境下在線訓(xùn)練也可以在仿真環(huán)境下進(jìn)行離線訓(xùn)練.

通常來說，模型的離線訓(xùn)練過程首先需要從真實(shí)環(huán)境中收集數(shù)據(jù)，這些數(shù)據(jù)可能是流量矩陣、網(wǎng)絡(luò)各節(jié)點(diǎn)狀態(tài)信息以及對(duì)應(yīng)的路由決策標(biāo)簽等.數(shù)據(jù)經(jīng)過處理后被用于機(jī)器學(xué)習(xí)模型在服務(wù)器上的離線訓(xùn)練過程.訓(xùn)練完成后模型被部署到真實(shí)環(huán)境中進(jìn)行在線路由決策.離線訓(xùn)練和在線測(cè)試、部署是深度學(xué)習(xí)領(lǐng)域常見的訓(xùn)練部署方式，然而對(duì)于智能路由算法，離線訓(xùn)練往往面臨著3個(gè)挑戰(zhàn):1)訓(xùn)練數(shù)據(jù)的收集可能需要比較高的成本；2)真實(shí)場(chǎng)景下的網(wǎng)絡(luò)狀態(tài)可能與訓(xùn)練數(shù)據(jù)集不同，導(dǎo)致路由算法無法達(dá)到預(yù)期效果甚至出現(xiàn)錯(cuò)誤；3)對(duì)于強(qiáng)化學(xué)習(xí)來說，搭建與真實(shí)環(huán)境近似的仿真訓(xùn)練環(huán)境可能很困難.

對(duì)于強(qiáng)化學(xué)習(xí)方法，在線訓(xùn)練可以保證模型自適應(yīng)網(wǎng)絡(luò)環(huán)境的變化，并且避免離線仿真環(huán)境搭建所帶來的困難與額外成本.然而在線訓(xùn)練所帶來的路由安全性和可靠性問題使得實(shí)際部署中往往難以部署需要在線訓(xùn)練的智能路由方法.實(shí)際上，在在線強(qiáng)化學(xué)習(xí)中，安全問題是一個(gè)已經(jīng)被廣泛研究的問題[52-53]，強(qiáng)化學(xué)習(xí)模型在訓(xùn)練的初始階段以及訓(xùn)練過程中的探索階段都可能會(huì)產(chǎn)生難以預(yù)測(cè)的行為，當(dāng)強(qiáng)化學(xué)習(xí)方法應(yīng)用在路由任務(wù)中時(shí)，這些難以預(yù)測(cè)的行為可能造成包括路由環(huán)路、鏈路擁塞等嚴(yán)重后果.因此，保證在線強(qiáng)化學(xué)習(xí)路由算法訓(xùn)練過程的安全性與可靠性將是其在真實(shí)場(chǎng)景下部署的重要前提.

4.2 部署方式：集中式與分布式

隨著越來越多的智能路由算法的提出，如何在現(xiàn)有計(jì)算機(jī)網(wǎng)絡(luò)體系結(jié)構(gòu)中部署這些算法正受到越來越多的關(guān)注.智能路由算法的部署方式主要分為分布式與集中式2種.

圖9中給出2種部署方案的框架結(jié)構(gòu)示意圖.智能路由算法部署于集中式控制器中，根據(jù)控制器所收集到的網(wǎng)絡(luò)狀態(tài)信息動(dòng)態(tài)進(jìn)行路由決策，路由決策通過集中式控制器下發(fā)至各路由節(jié)點(diǎn)中.SDN網(wǎng)絡(luò)結(jié)構(gòu)的提出為智能路由算法的集中式部署在理論上提供了可能，通過將智能路由控制單元作為SDN控制器上的一個(gè)應(yīng)用可以完成上述集中式控制過程.在數(shù)據(jù)中心網(wǎng)絡(luò)流量工程這樣相對(duì)獨(dú)立的應(yīng)用場(chǎng)景下，采用集中式方法部署智能路由調(diào)度方案是一種現(xiàn)階段較為可行的方案.

Fig. 9 Comparison between decentralized and centralized machine learning based routing control system圖9 分布式智能路由控制系統(tǒng)與集中式智能路由控制系統(tǒng)結(jié)構(gòu)對(duì)比

集中式方案部署需要在網(wǎng)絡(luò)中部署一個(gè)集中式的路由控制器，并設(shè)計(jì)一個(gè)集中式的路由控制協(xié)議，然而當(dāng)前計(jì)算機(jī)網(wǎng)絡(luò)體系結(jié)構(gòu)中路由協(xié)議依然以分布式路由協(xié)議為主.相比于集中式路由協(xié)議，分布式路由協(xié)議具有更好的可擴(kuò)展性.從圖7中可以看出，現(xiàn)有智能路由算法中有很多能夠支持分布式路由決策，這些分布式智能路由算法在收斂性、魯棒性等方面已經(jīng)取得了進(jìn)展，然而想要真正部署，還需要對(duì)應(yīng)的路由器硬件的進(jìn)一步發(fā)展和完善[15].隨著可編程路由設(shè)備的發(fā)展，未來在真實(shí)網(wǎng)絡(luò)中部署分布式智能路由算法將會(huì)成為可能.然而現(xiàn)有分布式智能路由算法主要關(guān)注路由方法的準(zhǔn)確性以及收斂性，并沒有考慮對(duì)現(xiàn)有網(wǎng)絡(luò)層結(jié)構(gòu)與協(xié)議的兼容.對(duì)于分布式智能路由算法而言，如何在兼容現(xiàn)有網(wǎng)絡(luò)層結(jié)構(gòu)的基礎(chǔ)上進(jìn)行增量式部署將是一個(gè)未來值得思考的問題.

4.3 智能路由訓(xùn)練與部署模型設(shè)計(jì)

本節(jié)基于上述討論總結(jié)并提出了2類未來具備可行性的智能路由訓(xùn)練與部署框架:1)集中式離線訓(xùn)練與在線決策相結(jié)合的智能路由框架；2)保證安全的在線強(qiáng)化學(xué)習(xí)路由框架.

圖10中給出了集中式離線訓(xùn)練與在線路由決策相結(jié)合的智能路由部署框架的工作流程圖.在這種智能路由部署方案下，路由器數(shù)據(jù)平面需要收集網(wǎng)絡(luò)流量特征信息并向上傳遞給控制層用來完成智能路由模型的訓(xùn)練以及在線路由決策過程.智能路由決策模型在一個(gè)單獨(dú)的具有足夠計(jì)算能力的節(jié)點(diǎn)利用歷史網(wǎng)絡(luò)狀態(tài)信息以及網(wǎng)絡(luò)仿真環(huán)境完成離線訓(xùn)練，并將訓(xùn)練好的模型參數(shù)發(fā)布到在線路由決策單元中.對(duì)應(yīng)的路由決策單元既可以采用分布式部署的方式將在線智能路由單元部署到每個(gè)路由器的控制平面，也可以采用集中式部署的方式將智能路由單元放在一個(gè)集中式的路由控制器中，例如SDN控制器.為了適應(yīng)隨時(shí)間動(dòng)態(tài)變化的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)以及流量特征，上述模型采用閉環(huán)學(xué)習(xí)的方式定期根據(jù)最新的網(wǎng)絡(luò)流量特征對(duì)智能路由模型進(jìn)行增量式訓(xùn)練.基于機(jī)器學(xué)習(xí)的智能路由模型的訓(xùn)練過程需要消耗大量計(jì)算和存儲(chǔ)資源，采用集中式的離線訓(xùn)練使得網(wǎng)絡(luò)各路由節(jié)點(diǎn)不需要額外部署這些資源，能夠有效降低智能路由算法的部署成本.

Fig. 10 Centralized offline training and online deployment model for machine learning based routing protocol圖10 集中式離線訓(xùn)練與在線部署相結(jié)合的機(jī)器學(xué)習(xí)智能路由部署方案

集中式離線訓(xùn)練加在線路由決策的智能路由部署方案適用于大多數(shù)現(xiàn)有智能路由算法，并且與機(jī)器學(xué)習(xí)離線訓(xùn)練、在線決策的思想相吻合.然而對(duì)于強(qiáng)化學(xué)習(xí)模型而言，無論是在線策略(on-policy)模型還是離線策略(off-policy)模型，與環(huán)境的交互是其學(xué)習(xí)過程必不可少的部分.不同于游戲任務(wù)，在路由優(yōu)化問題中搭建一個(gè)與真實(shí)網(wǎng)絡(luò)環(huán)境相一致的仿真環(huán)境往往依賴于對(duì)網(wǎng)絡(luò)場(chǎng)景的精確建模，是一件十分困難的事情[30].與之相對(duì)應(yīng)，深度強(qiáng)化學(xué)習(xí)模型開始階段糟糕的策略以及其學(xué)習(xí)過程中的探索行為，使得直接將基于深度強(qiáng)化學(xué)習(xí)的智能路由模型放在真實(shí)網(wǎng)絡(luò)環(huán)境中進(jìn)行訓(xùn)練很可能會(huì)為網(wǎng)絡(luò)帶來嚴(yán)重的安全性和可靠性問題.為了解決基于深度強(qiáng)化學(xué)習(xí)的智能路由策略在訓(xùn)練過程中所面臨的挑戰(zhàn)，本文參考安全在線強(qiáng)化學(xué)習(xí)的思想[53],提出了具有可靠性保證的深度強(qiáng)化學(xué)習(xí)智能路由模型在線訓(xùn)練方案，圖11給出了該方案的工作流程圖.相比于傳統(tǒng)的強(qiáng)化學(xué)習(xí)方法，該方案引入安全監(jiān)測(cè)模塊對(duì)強(qiáng)化學(xué)習(xí)單元所做出的路由決策是否安全進(jìn)行了基于規(guī)則的判斷，當(dāng)強(qiáng)化學(xué)習(xí)單元所做出的路由決策可能存在安全隱患時(shí)，例如包含路由回路、引發(fā)網(wǎng)絡(luò)擁塞等，強(qiáng)化學(xué)習(xí)單元采用一個(gè)簡(jiǎn)單可靠的路由決策(例如最短路徑路由)對(duì)原本的路由決策進(jìn)行替換，并同時(shí)給強(qiáng)化學(xué)習(xí)單元施加一個(gè)懲罰因子p，以避免強(qiáng)化學(xué)習(xí)單元之后再次生成類似的路由策略.在線安全學(xué)習(xí)在其他網(wǎng)絡(luò)應(yīng)用場(chǎng)景下的相關(guān)工作表明，基于在線安全學(xué)習(xí)的深度強(qiáng)化學(xué)習(xí)智能路由方案有能力在不影響原本路由優(yōu)化目標(biāo)的同時(shí)保證路由學(xué)習(xí)過程的可靠性[53].它不僅能解決由于模型尚未收斂以及探索過程所帶來安全性問題，而且可以在不保證模型可解釋性的前提下保證模型的可靠性，一定程度上解決了深度學(xué)習(xí)智能路由模型不可解釋性以及網(wǎng)絡(luò)突發(fā)狀況下路由行為不可預(yù)測(cè)性所帶來的擔(dān)憂.

Fig. 11 Safe online learning model for deep reinforcement learning based routing algorithm圖11 具有可靠性保證的基于深度強(qiáng)化學(xué)習(xí)的智能路由算法在線學(xué)習(xí)方案

對(duì)于智能路由的訓(xùn)練與部署框架，現(xiàn)有研究工作還比較少，但是本文認(rèn)為由智能路由方案所帶來的模型不可解釋性、路由行為的不可預(yù)測(cè)性將是其訓(xùn)練部署框架設(shè)計(jì)的重要挑戰(zhàn).而利用基于規(guī)則的方案來對(duì)智能路由控制單元進(jìn)行約束可能是保證智能路由的可靠性的一個(gè)有效手段.

5 智能路由算法所面臨的機(jī)遇與挑戰(zhàn)

近年來，智能路由算法受到越來越多的關(guān)注，本節(jié)針對(duì)智能路由算法在解決路由優(yōu)化問題上所具有的優(yōu)勢(shì)以及其未來發(fā)展過程所面臨的的挑戰(zhàn)進(jìn)行了探討.

5.1 智能路由算法的優(yōu)勢(shì)

數(shù)據(jù)驅(qū)動(dòng)的智能路由算法通常基于深度學(xué)習(xí)或強(qiáng)化學(xué)習(xí)，其主要具有5個(gè)優(yōu)點(diǎn)：

1) 網(wǎng)絡(luò)狀態(tài)敏感.相比于傳統(tǒng)基于模型的路由算法，智能路由算法能夠處理更高維度的網(wǎng)絡(luò)狀態(tài)特征信息，這使得智能路由算法對(duì)網(wǎng)絡(luò)狀態(tài)的變化更加敏感，當(dāng)網(wǎng)絡(luò)狀態(tài)發(fā)生變化時(shí)能快速收斂，做出更適合當(dāng)前網(wǎng)絡(luò)狀態(tài)的路由決策.

2) 數(shù)據(jù)驅(qū)動(dòng).相比于傳統(tǒng)路由算法基于固定的模型求解路由策略，智能路由算法由數(shù)據(jù)驅(qū)動(dòng)，基于更少的環(huán)境假設(shè)，利用歷史數(shù)據(jù)信息以及對(duì)環(huán)境的自發(fā)探索來自動(dòng)對(duì)應(yīng)用場(chǎng)景進(jìn)行建模并完成路由優(yōu)化，因此能夠自適應(yīng)不同應(yīng)用場(chǎng)景與網(wǎng)絡(luò)環(huán)境變化.

3) 面向服務(wù)質(zhì)量.智能路由能夠更好地支持區(qū)分服務(wù)質(zhì)量的路由請(qǐng)求.相比于傳統(tǒng)服務(wù)質(zhì)量路由優(yōu)化方案基于大量對(duì)應(yīng)用場(chǎng)景的假設(shè)為每種QoS需求單獨(dú)設(shè)計(jì)復(fù)雜的優(yōu)化模型，數(shù)據(jù)驅(qū)動(dòng)的智能路由算法能夠根據(jù)QoS需求自動(dòng)學(xué)習(xí)得到恰當(dāng)?shù)穆酚蓻Q策.

4) 經(jīng)驗(yàn)驅(qū)動(dòng)與記憶特性.相比于傳統(tǒng)基于模型和規(guī)則的路由算法，基于機(jī)器學(xué)習(xí)的智能路由算法能夠通過學(xué)習(xí)歷史數(shù)據(jù)來把過往經(jīng)驗(yàn)記憶下來，使得模型能像人類一樣“吃一塹長(zhǎng)一智”，隨著經(jīng)驗(yàn)的增長(zhǎng)逐步提升路由優(yōu)化效果.

5) 路由決策考慮過去、現(xiàn)在和未來.循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)(RNN)及其相應(yīng)擴(kuò)展(GRU,LSTM)能夠很好地將過往歷史信息進(jìn)行建模，而強(qiáng)化學(xué)習(xí)模型則賦予了智能路由算法不僅著眼于當(dāng)前路由效果，更可預(yù)測(cè)未來網(wǎng)絡(luò)狀態(tài)變化，提前避免未來可能發(fā)生的網(wǎng)絡(luò)擁塞的能力.

5.2 智能路由算法面臨的挑戰(zhàn)

與智能路由算法的優(yōu)勢(shì)相對(duì)應(yīng)的，智能路由方法的未來發(fā)展過程同樣面臨著很多挑戰(zhàn)：

1) 網(wǎng)絡(luò)特征信息提取.智能路由方法中，網(wǎng)絡(luò)狀態(tài)信息可能是按照拓?fù)浣Y(jié)構(gòu)的形式進(jìn)行組織的，并且由于網(wǎng)絡(luò)場(chǎng)景的動(dòng)態(tài)變化，使得網(wǎng)絡(luò)狀態(tài)信息的維度可能發(fā)生改變.傳統(tǒng)的機(jī)器學(xué)習(xí)方法對(duì)于這種類型的網(wǎng)絡(luò)狀態(tài)信息的處理上存在困難.現(xiàn)有智能路由算法嘗試?yán)脠D神經(jīng)網(wǎng)絡(luò)模型(GNN)對(duì)網(wǎng)絡(luò)狀態(tài)信息進(jìn)行建模和提取[26,30].GNN方法對(duì)于不同拓?fù)浣Y(jié)構(gòu)具有良好的泛化性，然而現(xiàn)有GNN方法是否能夠?qū)τ诼酚蓛?yōu)化問題真實(shí)場(chǎng)景中動(dòng)態(tài)變化的大規(guī)模拓?fù)浣Y(jié)構(gòu)完成建模還缺乏足夠的實(shí)驗(yàn)支撐.

2) 算法收斂性.相比于游戲、圖像識(shí)別、自然語(yǔ)言處理等已經(jīng)廣泛應(yīng)用機(jī)器學(xué)習(xí)的場(chǎng)景，路由優(yōu)化問題的輸入輸出維度更高，目標(biāo)策略更復(fù)雜，現(xiàn)有的研究表明對(duì)于輸入輸出維度很高的復(fù)雜路由優(yōu)化問題，現(xiàn)有機(jī)器學(xué)習(xí)方案往往難以收斂到最優(yōu)解.為了解決模型難以收斂的問題，往往需要通過降低輸入輸出維度，將決策空間離散化，或者采用間接控制路由決策以簡(jiǎn)化策略復(fù)雜度的方式來降低模型的收斂難度，然而即使采用了這些方案，很多模型最終的收斂結(jié)果依然距離理論最優(yōu)值存在很大差距.

3) 算法可擴(kuò)展性.可擴(kuò)展性是路由算法所需要滿足的重要特性.現(xiàn)有基于機(jī)器學(xué)習(xí)的智能路由算法主要基于不超過20個(gè)節(jié)點(diǎn)的小拓?fù)溥M(jìn)行設(shè)計(jì)和實(shí)驗(yàn).更大的拓?fù)湟馕吨笖?shù)增長(zhǎng)的網(wǎng)絡(luò)狀態(tài)數(shù)以及更高的路由決策難度，如何保證智能路由算法在大拓?fù)渖弦廊荒苋〉昧己玫男Ч麑⑹俏磥碇悄苈酚伤惴ㄔO(shè)計(jì)面臨的一個(gè)挑戰(zhàn).此外當(dāng)拓?fù)湟?guī)模很大時(shí)，集中式的路由控制算法可能帶來很高的數(shù)據(jù)交換成本以及網(wǎng)絡(luò)狀態(tài)傳輸延時(shí)，影響可擴(kuò)展性；而分布式的智能路由算法如何在大拓?fù)湎卤ＷC各節(jié)點(diǎn)路由策略的一致性將是未來需要解決的問題.

4) 算法可解釋性.智能路由方法所面臨的另一個(gè)問題是路由策略的不可預(yù)測(cè)性以及不可解釋性，相比于傳統(tǒng)路由基于數(shù)學(xué)模型的傳統(tǒng)路由算法，基于深度學(xué)習(xí)的方法其行為往往具有不可預(yù)測(cè)性，當(dāng)出現(xiàn)一個(gè)糟糕的路由決策時(shí)，操作員很難去定位錯(cuò)誤原因，至于針對(duì)錯(cuò)誤去更正模型更是一件幾乎不可能的事情.因此，如何提升智能路由算法的可解釋性將是未來智能路由方法發(fā)展過程中面臨的一個(gè)挑戰(zhàn).

5) 模型訓(xùn)練成本.對(duì)于基于監(jiān)督學(xué)習(xí)的智能路由算法而言，收集足夠多、足夠準(zhǔn)確的帶標(biāo)簽數(shù)據(jù)有時(shí)是一個(gè)成本很高昂的事情.不同于人臉識(shí)別等一次訓(xùn)練一勞永逸的應(yīng)用場(chǎng)景，隨著網(wǎng)絡(luò)環(huán)境的變化，現(xiàn)有智能路由可能需要重復(fù)收集訓(xùn)練數(shù)據(jù)并重新進(jìn)行訓(xùn)練.因此如何提升智能路由訓(xùn)練過程的數(shù)據(jù)效率是智能路由方案部署過程中所面臨的重要挑戰(zhàn).面對(duì)類似的問題時(shí)，通過元學(xué)習(xí)來降低訓(xùn)練成本是一個(gè)可行的解決方案[54]，然而路由領(lǐng)域?qū)@方面尚未有很完善的研究.此外對(duì)于基于深度強(qiáng)化學(xué)習(xí)的智能路由方法，無論是在線訓(xùn)練還是離線訓(xùn)練，其高昂的訓(xùn)練成本以及訓(xùn)練過程中對(duì)于系統(tǒng)所帶來的可靠性隱患都是亟待解決的挑戰(zhàn).

6) 網(wǎng)絡(luò)突發(fā)情況處理.對(duì)于智能路由方法來說，如何處理網(wǎng)絡(luò)突發(fā)狀況是另一個(gè)智能路由算法未來發(fā)展過程將面臨的挑戰(zhàn).流量突發(fā)、網(wǎng)絡(luò)設(shè)備故障帶來的網(wǎng)絡(luò)狀態(tài)變化是現(xiàn)實(shí)中非常常見的情況，然而這些突發(fā)情況種類多樣，很多突發(fā)情況在訓(xùn)練數(shù)據(jù)中從未出現(xiàn)過，現(xiàn)有數(shù)據(jù)驅(qū)動(dòng)的智能路由算法很難保證當(dāng)面對(duì)這些突發(fā)情況時(shí)能夠處理得當(dāng).實(shí)際上，即使是Q-Learning這類能夠動(dòng)態(tài)適應(yīng)環(huán)境變化的方法也無法很好地應(yīng)對(duì)網(wǎng)絡(luò)突發(fā)且劇烈的波動(dòng)，利用“安全在線強(qiáng)化學(xué)習(xí)”[53]的思想來應(yīng)對(duì)網(wǎng)絡(luò)突發(fā)狀況變化也許是未來一個(gè)可能的解決方案，但如何精確感知網(wǎng)絡(luò)突發(fā)狀況同樣是一個(gè)挑戰(zhàn).

7) 真實(shí)場(chǎng)景部署.對(duì)于智能路由方法來說，如何在真實(shí)場(chǎng)景部署是一個(gè)巨大的挑戰(zhàn).相比于傳統(tǒng)路由算法來說，智能路由需要更多的計(jì)算資源、更高的路由性能，與此同時(shí)訓(xùn)練數(shù)據(jù)收集與路由感知過程需要對(duì)于原有的路由協(xié)議重新設(shè)計(jì)以使得智能路由算法所需要的數(shù)據(jù)能夠被智能單元所獲得.SDN網(wǎng)絡(luò)以及可編程路由設(shè)備的提出使得路由器控制層的計(jì)算能力變得更強(qiáng)，然而即便如此智能路由算法也很難在現(xiàn)有網(wǎng)絡(luò)體系結(jié)構(gòu)下進(jìn)行大規(guī)模部署.在優(yōu)化智能路由算法性能并增強(qiáng)其對(duì)傳統(tǒng)路由算法兼容性以及可擴(kuò)展性的同時(shí)，設(shè)計(jì)與智能路由方案相匹配的路由設(shè)備也許會(huì)是未來智能路由算法發(fā)展的趨勢(shì).

6 總 結(jié)

本文經(jīng)過調(diào)研發(fā)現(xiàn)，現(xiàn)有智能路由算法主要分為基于監(jiān)督學(xué)習(xí)與基于強(qiáng)化學(xué)習(xí)2類：1)基于監(jiān)督學(xué)習(xí)的智能路由方法主要通過用深度學(xué)習(xí)模型替代現(xiàn)有路由算法或輔助傳統(tǒng)路由算法完成路由求解.深度學(xué)習(xí)方法使得智能路由算法對(duì)環(huán)境感知更敏感、收斂速度更快，數(shù)據(jù)驅(qū)動(dòng)的輔助模塊也能夠使得傳統(tǒng)路由算法所做出的路由決策更準(zhǔn)確，并在擁塞發(fā)生之前提前避免.2)基于強(qiáng)化學(xué)習(xí)的路由算法能夠自適應(yīng)不同的路由應(yīng)用場(chǎng)景，并優(yōu)化多種網(wǎng)絡(luò)性能指標(biāo).其中基于模型的Q-Learning方法被廣泛用于無線傳感器網(wǎng)絡(luò)的路由優(yōu)化過程，而深度強(qiáng)化學(xué)習(xí)方法則被應(yīng)用于域內(nèi)流量工程、基于流量預(yù)測(cè)的智能路由算法等多樣化的復(fù)雜路由優(yōu)化問題.

本文分析了在線與離線的智能路由訓(xùn)練方案以及集中式和分布式2種智能路由部署方案的優(yōu)缺點(diǎn)，并進(jìn)一步提出了離線集中式訓(xùn)練加在線部署的閉環(huán)學(xué)習(xí)框架以及自適應(yīng)在線訓(xùn)練與安全學(xué)習(xí)相結(jié)合的有可靠性保證的智能路由部署框架.這2種框架為基于機(jī)器學(xué)習(xí)的智能路由算法在真實(shí)場(chǎng)景下低成本、高可靠性地部署提供了可能.

本文討論了智能路由算法在未來發(fā)展過程中的機(jī)遇與挑戰(zhàn)，并針對(duì)這些挑戰(zhàn)提出了基于機(jī)器學(xué)習(xí)的智能路由算法未來可能的研究方向.