何學(xué)成

(宣城職業(yè)技術(shù)學(xué)院 信息與財經(jīng)學(xué)院，安徽 宣城 242000)

為了減少分布式環(huán)境中深度增強學(xué)習(xí)的通信負載，研究人員們提出了一系列的網(wǎng)絡(luò)通信協(xié)議和框架[1-4]?，F(xiàn)有的研究大多基于無損網(wǎng)絡(luò)的假設(shè)，即在通信過程中不會發(fā)生網(wǎng)絡(luò)丟包；然而目前的互聯(lián)網(wǎng)(尤其是無線網(wǎng)絡(luò))并不能完全地避免丟包的發(fā)生。探討在有損網(wǎng)絡(luò)中深度學(xué)習(xí)數(shù)據(jù)流的優(yōu)化問題，將參數(shù)服務(wù)器架構(gòu)[5]和AllReduce架構(gòu)[6]相結(jié)合，設(shè)計一種新穎的數(shù)據(jù)流優(yōu)化算法，使部署在有損網(wǎng)絡(luò)中的深度增強學(xué)習(xí)框架仍然可以保持其收斂性。

1 算法設(shè)計

1.1 問題描述

所考慮的深度增強學(xué)習(xí)具有以下的形式：

(1)

其中，n是計算節(jié)點的數(shù)量，Di是計算節(jié)點i的本地訓(xùn)練數(shù)據(jù)集合，F(xiàn)i(x;ξ)是計算節(jié)點i中模型x的損失函數(shù)。節(jié)點通過網(wǎng)絡(luò)進行通信，假設(shè)網(wǎng)絡(luò)的丟包率為p，所有丟包事件都是獨立的。

1.2 算法流程

在參數(shù)匯聚過程中，每一個計算節(jié)點會將其參數(shù)分成 個相同大小的塊，如下所示：

(2)

(3)

算法1LTFlowOpt算法輸入:學(xué)習(xí)速度,最大迭代次數(shù)MAX_T輸出:xi,T1:初始化xi,12:whilet<=MAX_Tdo3: CalLocalSGD(); ∥計算本地梯度4: CalModel(); ∥根據(jù)梯度計算本地模型5: DivideModel(); ∥將模型分成大小相等的參數(shù)塊6: ParaAggregate(); ∥進行參數(shù)匯聚過程7: ParaBroadcast(); ∥進行參數(shù)廣播過程8:endwhile9:returnxi,T;

(4)

(5)

(6)

其中，α1和α2為常量，0<α2<α1<1。

2 收斂速度

接下來說明LTFlowOpt算法如何在有損網(wǎng)絡(luò)中保證深度增強學(xué)習(xí)算法的收斂性。首先假設(shè)所有函數(shù)fi(·)的梯度均具有李普希茲連續(xù)性，即‖fi(x)-fi(y)‖≤L‖x-y‖。與此同時，假設(shè)隨機梯度的差是有界的，即Eξ～Di‖F(xiàn)i(x;ξ)-fi(x)‖2≤σ2及2。能夠得到以下的結(jié)論：當(dāng)學(xué)習(xí)速率γ足夠小，并滿足時，算法LTFlowOpt的收斂速率為

(7)

3 性能評估

采用三個深度增強學(xué)習(xí)框架來評估LTFlowOpt算法的性能，這三個框架分別是ADNet、JointOS以及ADRL。ADNet是一個用于目標跟蹤的深度增強學(xué)習(xí)的框架，JointOS是目標檢測框架，而ADRL是一個視頻人臉檢測系統(tǒng)。

在實驗中，采用CNTK深度學(xué)習(xí)套件來模擬網(wǎng)絡(luò)丟包的情況，并采用MPI標準的接口來實現(xiàn)LTFlowOpt算法。在深度增強學(xué)習(xí)的深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中，batch的大小被設(shè)置為64。采用一個由10個服務(wù)器節(jié)點組成的集群，每一個服務(wù)器上配置有一塊英偉達Tesla K80 GPU，節(jié)點之間由10Gbps的以太網(wǎng)相互連接。采用訓(xùn)練損失作為指標，分別考察LTFlowOpt算法和標準隨機梯度下降算法的收斂情況。網(wǎng)絡(luò)丟包概率設(shè)置為1%。實驗結(jié)果分別如圖1、2和3所示。

圖1ADNet框架下算法訓(xùn)練損失對比 圖2JointOS框架下算法訓(xùn)練損失對比 圖3ADRL框架下算法訓(xùn)練損失對比

由結(jié)果可知，與標準隨機梯度下降算法相比，LTFlowOpt算法具有更好的丟包容忍性，在出現(xiàn)丟包的情況下仍然可以確保收斂性。

4 結(jié)論

針對部署在有損網(wǎng)絡(luò)中深度增強學(xué)習(xí)框架，設(shè)計了網(wǎng)絡(luò)數(shù)據(jù)流優(yōu)化算法LTFlowOpt。LTFlowOpt算法具有可靠性，在網(wǎng)絡(luò)出現(xiàn)丟包時仍然可以保證深度學(xué)習(xí)算法的收斂性。采用實驗，在三個深度增強學(xué)習(xí)框架的數(shù)據(jù)流下，評估了算法在有損網(wǎng)絡(luò)中的性能。未來的工作在于從理論上深入地分析LTFlowOpt算法的收斂性，并在大型的網(wǎng)絡(luò)集群中實現(xiàn)該算法。