摘 要：為降低多租戶數(shù)據(jù)中心聯(lián)邦學(xué)習(xí)架構(gòu)下的高通信開銷問題，提出一種基于三元演化模型參數(shù)的通信開銷優(yōu)化算法。首先，建立面向多租戶數(shù)據(jù)中心的聯(lián)邦學(xué)習(xí)架構(gòu)模型來實(shí)現(xiàn)數(shù)據(jù)隱私保護(hù)；其次，針對(duì)聯(lián)邦學(xué)習(xí)架構(gòu)的引入導(dǎo)致租戶和數(shù)據(jù)中心交互產(chǎn)生了過高的通信開銷問題，提出一種基于三元演化模型參數(shù)的通信開銷優(yōu)化算法，通過結(jié)合最優(yōu)局部模型和三元向量化模型參數(shù)的演化方向來減少租戶與數(shù)據(jù)中心模型參數(shù)傳輸之間的冗余通信；同時(shí)，基于聯(lián)邦學(xué)習(xí)的隱私研究論證分析了在傳輸通信過程中所提算法能有效保障參與訓(xùn)練租戶的隱私信息。最后，實(shí)驗(yàn)結(jié)果表明，所提方法在保障訓(xùn)練精度的前提下，相比于聯(lián)邦平均對(duì)比算法能有效降低30%的冗余通信開銷。

關(guān)鍵詞：多租戶數(shù)據(jù)中心； 聯(lián)邦學(xué)習(xí)； 通信開銷優(yōu)化； 三元演化模型參數(shù)

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2024）09-036-2823-08

doi：10.19734/j.issn.1001-3695.2024.01.0002

Optimization method for communication overhead in federated learningarchitecture for multi-tenant data center

Cheng Huashenga， Jing Chaoa，b

（a.School of Computer Science & Engineering， b.Guangxi Key Laboratory of Embedded Technology & Intelligent System， Guilin University of Technology， Guilin Guangxi 541004， China）

Abstract：To address the issue of high communication cost under the federated learning framework in multi-tenant data centers， this paper proposed an optimization algorithm based on ternary evolutionary model parameters. Firstly，it constructed a federated learning architecture tailored to multi-tenant data centers for data privacy protection. Secondly， in response to the excessive communication overhead stemming from the implementation of the federated learning framework， which increasing interactions between tenants and the data center， it proposed an optimization algorithm that utilized ternary evolutionary model parameters. This algorithm aimed to reduce redundant communication in the exchange of model parameters between tenants and the data center by integrating the optimal local model with the evolutionary direction of ternary vectorized model parameters. Moreover， by analyzing privacy research based on federated learning， the algorithm effectively ensured the privacy of tenants participating in the training during the communication process. Finally， experimental results demonstrate that， while maintaining training accuracy， the proposed method can effectively reduce redundant communication costs by 30% compared to the federated averaging baseline algorithm.

Key words：multi-tenant data center; federated learning; optimization of communication cost; ternarizing evolution of model parameters

0 引言

數(shù)字經(jīng)濟(jì)迅速發(fā)展使得獲取、處理和存儲(chǔ)的數(shù)據(jù)量也將呈指數(shù)增長(zhǎng)，這就造成數(shù)據(jù)中心的需求也隨之日益增加。建造全新的數(shù)據(jù)中心，不僅要考慮場(chǎng)地和設(shè)備等問題，還需要配套數(shù)據(jù)存儲(chǔ)、處理及管理等設(shè)施，從而消耗大量的費(fèi)用和資源。近些年來，大量企業(yè)用戶為減少數(shù)據(jù)中心在建造以及維護(hù)上的資源開銷，選擇以租賃的形式租用數(shù)據(jù)中心服務(wù)器來運(yùn)營(yíng)和處理業(yè)務(wù)需求，以這種模式運(yùn)營(yíng)的數(shù)據(jù)中心被稱為多租戶數(shù)據(jù)中心（multi-tenant data centers，MTDC） ［1］。它比私有數(shù)據(jù)中心更具有成本效益和靈活性，所以MTDC得到了廣泛的應(yīng)用。

由于在電力需求和管理方面上更具有靈活性，多租戶數(shù)據(jù)中心逐漸成為電力緊急需求響應(yīng)（emergency demand response，EDR）的關(guān)鍵參與者之一［2］。在緊急情況下，電網(wǎng)協(xié)調(diào)各租戶響應(yīng)需求快速削減或轉(zhuǎn)移負(fù)荷，以防止重大緊急損失?，F(xiàn)有的EDR機(jī)制依靠傳輸響應(yīng)的需求量以及相應(yīng)的報(bào)酬來激勵(lì)租戶［3］，或通過改進(jìn)智能算法優(yōu)化電力成本［4］滿足電力需求響應(yīng)，然而在傳輸交互過程中租戶的隱私信息可能會(huì)被不值得信賴的租戶或中間運(yùn)營(yíng)商獲取，從而造成嚴(yán)重的隱私泄露問題，這也成為租戶參與EDR的顧慮之一。聯(lián)邦學(xué)習(xí)是一種新興的分布式機(jī)器學(xué)習(xí)架構(gòu)［5］，主要是在不接觸參與訓(xùn)練租戶本地?cái)?shù)據(jù)的情況下，共同合作訓(xùn)練機(jī)器學(xué)習(xí)模型。為此，本文在多租戶數(shù)據(jù)中心場(chǎng)景下引入聯(lián)邦學(xué)習(xí)（federated learning，F(xiàn)L）架構(gòu)來處理該問題。

在聯(lián)邦學(xué)習(xí)過程中，參與訓(xùn)練的租戶會(huì)根據(jù)本地?cái)?shù)據(jù)進(jìn)行模型訓(xùn)練生成局部模型，云端服務(wù)器聚合局部模型并更新全局模型，通過多輪迭代收斂全局模型精度到預(yù)期精度。然而，隨著聯(lián)邦學(xué)習(xí)模型訓(xùn)練輪數(shù)的增加，為了達(dá)到預(yù)期精度會(huì)產(chǎn)生大量的通信開銷，給通信帶寬資源造成了嚴(yán)重的負(fù)擔(dān)。因此，本文基于多租戶數(shù)據(jù)中心聯(lián)邦學(xué)習(xí)架構(gòu)下的高通信開銷的場(chǎng)景，提出了一種基于三元演化模型參數(shù)的通信優(yōu)化算法，降低聯(lián)邦學(xué)習(xí)過程中的通信開銷。本文的主要貢獻(xiàn)如下：

a）為了實(shí)現(xiàn)多租戶數(shù)據(jù)中心場(chǎng)景下租戶的數(shù)據(jù)隱私保護(hù)，本文引入了聯(lián)邦學(xué)習(xí)架構(gòu)，建立面向多租戶數(shù)據(jù)中心的聯(lián)邦學(xué)習(xí)架構(gòu)模型來保障用戶隱私。

b）為了降低聯(lián)邦學(xué)習(xí)架構(gòu)引入的交互通信開銷問題，在面向多租戶數(shù)據(jù)中心場(chǎng)景下提出一種三元演化模型參數(shù)的通信優(yōu)化算法來降低其交互通信開銷。

c）針對(duì)隱私保護(hù)需求，用理論論證和分析了基于三元演化模型參數(shù)的通信優(yōu)化算法，分析結(jié)果表明在傳輸通信過程中，所提方法能夠有效保障參與聯(lián)邦學(xué)習(xí)訓(xùn)練租戶的隱私信息。

d）通過仿真實(shí)驗(yàn)驗(yàn)證了所提方法的有效性，實(shí)驗(yàn)結(jié)果表明，所提算法在滿足訓(xùn)練精度達(dá)到預(yù)期精度的前提下，相比于聯(lián)邦平均等對(duì)比算法，能有效減少冗余的交互通信開銷。

1 相關(guān)工作

近些年來，為了鼓勵(lì)多租戶數(shù)據(jù)中心的租戶參與電力需求響應(yīng)，很多研究人員都專注于設(shè)計(jì)激勵(lì)機(jī)制［6～9］。然而忽略了在需求響應(yīng)過程中，由于租戶的通信交互導(dǎo)致的隱私保護(hù)問題，聯(lián)邦學(xué)習(xí)可以有效解決這類問題。目前已有一些研究采用聯(lián)邦學(xué)習(xí)解決隱私問題。文獻(xiàn)［10］提出了一個(gè)隱私保護(hù)框架，允許多個(gè)用戶在組合數(shù)據(jù)集上訓(xùn)練深度學(xué)習(xí)模型，而無須共享本地?cái)?shù)據(jù)集。處于隱私保護(hù)的考慮，文獻(xiàn)［10］提出了兩種用于交換模型參數(shù)的網(wǎng)絡(luò)拓?fù)洌ㄖ?輔拓?fù)浜屯耆B接拓?fù)洌?，通過標(biāo)準(zhǔn)傳輸層安全保護(hù)其他訓(xùn)練用戶、中心服務(wù)器和用戶之間的通信隱私。文獻(xiàn)［11］設(shè)計(jì)了一個(gè)結(jié)合多方聯(lián)合學(xué)習(xí)給定目標(biāo)的系統(tǒng)，系統(tǒng)中每個(gè)本地用戶異步地將其數(shù)據(jù)集上獲得的局部梯度部分共享給中心服務(wù)器。然而，雖然訓(xùn)練數(shù)據(jù)沒有在用戶之間共享，但攻擊者可以收集交換的梯度值，并推斷特定用戶的訓(xùn)練數(shù)據(jù)集的敏感信息。然而這項(xiàng)工作沒有考慮安全通信來保護(hù)梯度免受內(nèi)部攻擊以及相應(yīng)的通信成本開銷問題。張澤輝等人［12］為保護(hù)數(shù)據(jù)隱私，將同態(tài)加密算法技術(shù)和聯(lián)邦學(xué)習(xí)相結(jié)合，提出聯(lián)邦深度神經(jīng)網(wǎng)絡(luò)模型，該模型通過對(duì)其權(quán)重參數(shù)的同態(tài)加密保證了數(shù)據(jù)的隱私性。周煒等人［13］為參與訓(xùn)練的用戶提供隱私保護(hù)，提出基于區(qū)塊鏈的去中心化、安全、公平的聯(lián)邦學(xué)習(xí)模型，該模型主要用于保護(hù)協(xié)同合作訓(xùn)練用戶的中間參數(shù)隱私，在多方協(xié)作的環(huán)境下保障了各參與方的隱私信息。從以上研究中可以發(fā)現(xiàn)，現(xiàn)有工作通過聯(lián)邦學(xué)習(xí)架構(gòu)在一定程度上保證了用戶的隱私性，但為此產(chǎn)生了不必要的冗余通信開銷，加大了通信傳輸開銷。

為了減少通信開銷成本，國(guó)內(nèi)外研究人員提出了關(guān)于提高聯(lián)邦學(xué)習(xí)過程中通信效率的解決方案：文獻(xiàn)［14～16］通過緩解同步?jīng)_突來減小通信壓力；文獻(xiàn)［17，18］采用流水線化逐層參數(shù)傳輸來進(jìn)行高效通信；文獻(xiàn)［19～21］提出優(yōu)化不同參數(shù)組的傳輸順序來提高通信效率；文獻(xiàn)［22］則建議將梯度積量化為僅1位傳輸，以此來提高10倍的通信速率；Alistarh等人［23］提出QSGD方法，試圖找到精度和梯度壓縮比之間的平衡來降低傳輸消耗；Konen等人［24］采用了概率量化方法，使量化值成為初始值的無偏估計(jì)量來減小通信負(fù)擔(dān)；唐倫等人［25］提出一種閾值自適應(yīng)的梯度通信壓縮機(jī)制，在保證深度學(xué)習(xí)任務(wù)完成準(zhǔn)確性的同時(shí)，通過減少梯度交互通信次數(shù)，有效地提高了模型的整體通信效率；文獻(xiàn)［26］設(shè)計(jì)了在給定壓縮比的情況下，分別選擇正梯度更新和負(fù)梯度更新的一部分，以滿足給定的壓縮比率，同時(shí)在聚合后保持預(yù)期梯度；文獻(xiàn)［27］針對(duì)物聯(lián)網(wǎng)異構(gòu)系統(tǒng)，參考改進(jìn)的聯(lián)邦平均算法，提出了一種基于層次聯(lián)邦學(xué)習(xí)體系結(jié)構(gòu)的用戶分配和資源分配優(yōu)化方案，減少邊緣節(jié)點(diǎn)和中心服務(wù)器之間的通信輪數(shù)，從而加快聯(lián)邦學(xué)習(xí)訓(xùn)練速度，降低通信開銷。上述研究在提高通信效率方面有了很大的提升，減輕了聯(lián)邦學(xué)習(xí)訓(xùn)練過程中的通信負(fù)擔(dān)，但在實(shí)際的訓(xùn)練過程中，沒有考慮租戶的隱私信息泄露等問題，從而大大降低了租戶參與需求響應(yīng)的積極性。

從以上研究可以發(fā)現(xiàn)，現(xiàn)有工作不是用較高的通信成本換取對(duì)于租戶個(gè)人隱私的保護(hù)，就是為解決通信效率問題而忽視隱私問題。本文綜合考慮了隱私安全和通信開銷優(yōu)化問題，建立面向多租戶數(shù)據(jù)中心的聯(lián)邦學(xué)習(xí)架構(gòu)模型，并提出基于三元演化模型參數(shù)的通信優(yōu)化算法。

2 系統(tǒng)模型及問題描述

2.1 聯(lián)邦學(xué)習(xí)架構(gòu)模型

圖1展示了多租戶數(shù)據(jù)中心的聯(lián)邦學(xué)習(xí)架構(gòu)（multi-tenant data center with federated learning framework，MFF），主要包括以下三種角色：a）全局云端數(shù)據(jù)中心，一般用來發(fā)送或接收模型參數(shù)實(shí)例；b）出租數(shù)據(jù)資源以及管理服務(wù)的本地?cái)?shù)據(jù)中心；c）參與訓(xùn)練的租戶。MFF架構(gòu)主要用于監(jiān)控全局云端數(shù)據(jù)中心、本地?cái)?shù)據(jù)中心以及租戶的通信傳輸過程。該架構(gòu)運(yùn)行的主要過程是：假設(shè)在進(jìn)行第t-1輪模型訓(xùn)練過程時(shí)，參與該輪訓(xùn)練的租戶數(shù)量為n∈{1，…，N}。當(dāng)進(jìn)行第t輪訓(xùn)練時(shí)，本地?cái)?shù)據(jù)中心獲取全局云端數(shù)據(jù)中心初始化的上一輪全局模型參數(shù)Gt-1m，將初始化模型參數(shù)傳輸給每個(gè)租戶，租戶則根據(jù)本地?cái)?shù)據(jù)集訓(xùn)練模型，當(dāng)訓(xùn)練模型精度收斂到閾值后，本地?cái)?shù)據(jù)中心會(huì)將租戶訓(xùn)練產(chǎn)生的局部模型Ltn={Ltn，m|m∈1，…，M且n∈1，…，N}上傳至全局云端數(shù)據(jù)中心。最后，由全局云端數(shù)據(jù)中心聚合局部模型形成全局模型Gtm={Lt1，…，Ltn|n∈1，…，N}，當(dāng)全局模型精確度達(dá)到預(yù)先設(shè)置的閾值精度θt后，則將此全局模型作為下一輪訓(xùn)練的初始化全局模型，開始新一輪的訓(xùn)練。

2.2 基于MFF架構(gòu)的通信傳輸協(xié)議模型

為了更好地保護(hù)租戶在需求響應(yīng)過程中的個(gè)人隱私信息，同時(shí)為減輕響應(yīng)需求過程中給租戶造成的通信負(fù)擔(dān)，在MFF架構(gòu)中建立一種通信傳輸協(xié)議模型，如圖2所示。該協(xié)議構(gòu)建于TCP/IP協(xié)議上，主要是在本地?cái)?shù)據(jù)中心和租戶兩者之間來實(shí)現(xiàn)消息傳輸，傳輸?shù)闹饕^程是：租戶首先對(duì)本地?cái)?shù)據(jù)集訓(xùn)練過程中的樣本函數(shù)損失值進(jìn)行評(píng)估得到一個(gè)評(píng)估成本Ctn（n∈{1，…，N}），將其發(fā)送給本地?cái)?shù)據(jù)中心，本地?cái)?shù)據(jù)中心根據(jù)適配函數(shù)Atn選擇出最優(yōu)局部模型Ltn*，m（n*∈{1，…，N}）后，參與該輪訓(xùn)練的剩余租戶則通過該通信傳輸協(xié)議向本地?cái)?shù)據(jù)中心發(fā)送三元向量化模型參數(shù)Vtn（n∈{1，…，N}）。采用MFF架構(gòu)的通信傳輸協(xié)議在傳輸過程中只有當(dāng)租戶發(fā)送模型參數(shù)m的三元向量演化方向發(fā)生變化時(shí)，才需要發(fā)送相應(yīng)的數(shù)據(jù)包指令給本地?cái)?shù)據(jù)中心，因此在通信傳輸過程中，有效減少了MFF架構(gòu)的通信傳輸協(xié)議的帶寬占用。該協(xié)議采用全雙工通信傳輸方式，其中租戶和本地?cái)?shù)據(jù)中心承擔(dān)消息的發(fā)送者和接收者的角色，而MFF架構(gòu)則以消息的代理者身份對(duì)通信過程進(jìn)行實(shí)時(shí)的監(jiān)督管理，消息的發(fā)送者同時(shí)也可以是接收者。

此時(shí)式（13）便演變成一個(gè)非線性方程，要想在租戶n本地?cái)?shù)據(jù)集上推斷出模型參數(shù)信息也就等效于求解該非線性方程。從全局云端數(shù)據(jù)中心已知的信息來看顯然無法求解該非線性方程，從而在全局云端數(shù)據(jù)中心角度實(shí)現(xiàn)了數(shù)據(jù)隱私保護(hù)。

b）租戶角度。參與訓(xùn)練的各租戶之間被認(rèn)為是互相不了解彼此數(shù)據(jù)集的私有信息。參考用于更新全局模型參數(shù)的式（2），當(dāng)且僅當(dāng)以下兩種情況同時(shí)發(fā)生時(shí)，任一租戶n才能推斷出特定租戶n*的本地?cái)?shù)據(jù)集的隱私信息。

（a）租戶n已經(jīng)知道全局云端數(shù)據(jù)中心要求特定租戶n*發(fā)送其局部模型用于更新全局模型參數(shù)；

（b）當(dāng)特定租戶n*發(fā)送其局部模型后，其他租戶則全部發(fā)送全零的參數(shù)三元向量值。也就是確保全局云端數(shù)據(jù)中心更新的全局模型參數(shù)恰好全部來源于特定租戶n*的局部模型實(shí)例。

由于各租戶之間的本地?cái)?shù)據(jù)集都是各不相同且都同樣重要，其本地?cái)?shù)據(jù)在參與訓(xùn)練過程中也會(huì)向不同方向演化發(fā)展，模型參數(shù)的三元向量演化方向自然也各不相同。顯然，上述兩種情況也不會(huì)同時(shí)發(fā)生，從而從租戶角度保證了數(shù)據(jù)隱私安全。

c）防止租戶之間協(xié)同合作層面。在訓(xùn)練過程中，基于三元演化模型參數(shù)的通信優(yōu)化算法除了能保護(hù)特定租戶的數(shù)據(jù)隱私之外，還能防止N-2個(gè)租戶之間協(xié)同合作，惡意推斷剩余租戶的隱私信息。

假設(shè)共有N個(gè)租戶參與訓(xùn)練，試想在一種極端情況下，當(dāng)有N-1個(gè)租戶串通惡意推斷剩余租戶的私人數(shù)據(jù)隱私，此時(shí)違背了b）中訓(xùn)練租戶角度的論斷。在實(shí)際訓(xùn)練過程中，租戶間的本地?cái)?shù)據(jù)集都屬于非獨(dú)立同分布類型，模型參數(shù)演化相對(duì)于上一輪的變化也并不相同。

假設(shè)有N-2個(gè)租戶惡意串通，剩余2個(gè)租戶為誠(chéng)實(shí)可信的。根據(jù)適配函數(shù)的選擇，本地?cái)?shù)據(jù)中心在兩個(gè)誠(chéng)實(shí)可信的租戶之間請(qǐng)求其中一個(gè)租戶發(fā)送局部模型作為最優(yōu)局部模型實(shí)例。此外，由于本地模型訓(xùn)練的發(fā)展要求，剩余的1個(gè)可信租戶也可能發(fā)送非零的三元向量值。此時(shí)，惡意串通的租戶也不能由此推斷出特定租戶本地?cái)?shù)據(jù)集的隱私信息。因此，在訓(xùn)練過程中有效防止了租戶之間惡意串通推斷特定租戶的數(shù)據(jù)隱私。

5 實(shí)驗(yàn)及結(jié)果分析

5.1 實(shí)驗(yàn)設(shè)置

本實(shí)驗(yàn)采用Python編程語言實(shí)現(xiàn)基于三元演化模型參數(shù)的通信優(yōu)化算法，使用多線程技術(shù)以及安全套接字編程實(shí)現(xiàn)多租戶數(shù)據(jù)中心場(chǎng)景下，租戶、本地?cái)?shù)據(jù)中心以及全局云端數(shù)據(jù)中心之間的通信傳輸，傳輸三元向量化模型參數(shù)采用部署基于MFF架構(gòu)的通信傳輸協(xié)議來實(shí)現(xiàn)。為了驗(yàn)證所提算法的性能，借鑒了現(xiàn)有的實(shí)驗(yàn)方法［10，32］，采用手寫數(shù)字識(shí)別的標(biāo)準(zhǔn)MNIST數(shù)據(jù)集以及含有標(biāo)簽的CIFAR-10數(shù)據(jù)集進(jìn)行仿真對(duì)比。在每次實(shí)驗(yàn)中，為考慮實(shí)驗(yàn)結(jié)果的實(shí)際有效性，將數(shù)據(jù)集的80%用于訓(xùn)練模型，20%用于隨機(jī)測(cè)試。同時(shí)，為了客觀地對(duì)所提算法進(jìn)行評(píng)估，本輪實(shí)驗(yàn)結(jié)果是在20次獨(dú)立實(shí)驗(yàn)的基礎(chǔ)之上選取平均值作為最終實(shí)驗(yàn)結(jié)果。

5.2 對(duì)比算法及評(píng)價(jià)指標(biāo)

5.2.1 對(duì)比算法

為了評(píng)估所提算法的性能以及傳輸通信過程中的通信開銷，本文選擇聯(lián)邦平均算法、聯(lián)邦學(xué)習(xí)訓(xùn)練中并行梯度下降算法、卷積-聯(lián)邦學(xué)習(xí)網(wǎng)絡(luò)算法以及改進(jìn)的聯(lián)邦平均算法作為CTPF的對(duì)比方案。

a）聯(lián)邦平均算法（federated averaging， FedAvg）。聯(lián)邦平均算法［32］是聯(lián)邦學(xué)習(xí)中經(jīng)典的基準(zhǔn)算法，其特點(diǎn)體現(xiàn)在云端服務(wù)器會(huì)加權(quán)平均訓(xùn)練用戶本輪次的模型參數(shù)梯度并加上前一輪聚合后的模型參數(shù)，采用局部隨機(jī)梯度下降的方法優(yōu)化本地模型，最后聚合局部模型進(jìn)行全局模型參數(shù)更新作為下一輪次的初始化模型參數(shù)。

b）聯(lián)邦學(xué)習(xí)訓(xùn)練中并行梯度下降算法（parallel gradient descent algorithm in federated learning，Parallel-FL）。相比于傳統(tǒng)的數(shù)據(jù)分布和使用方式，當(dāng)下的海量數(shù)據(jù)若仍要保存在本地，則需要研究在本地實(shí)現(xiàn)并行梯度下降方法。然而，對(duì)于存儲(chǔ)體量龐大又需要保護(hù)用戶隱私的數(shù)據(jù)節(jié)點(diǎn)，則需要在聯(lián)邦學(xué)習(xí)訓(xùn)練中實(shí)現(xiàn)并行梯度下降方法。并行梯度下降算法［33］主要是當(dāng)完成一個(gè)本地?cái)?shù)據(jù)塊的計(jì)算后，就會(huì)執(zhí)行一次通信，獲取更新后的參數(shù)值，每次迭代會(huì)選取目標(biāo)函數(shù)下降最快的方向逐步向最優(yōu)解靠攏，直到完成目標(biāo)問題的優(yōu)化任務(wù)。

c）卷積-聯(lián)邦學(xué)習(xí)網(wǎng)絡(luò)（convolutional neural networks-federa-ted learning，CNN-FL）。卷積-聯(lián)邦學(xué)習(xí)網(wǎng)絡(luò)［34］采用含有4個(gè)卷積層和2個(gè)全連接層的簡(jiǎn)單CNN來訓(xùn)練模型，在進(jìn)行訓(xùn)練時(shí)，用戶首先在本地?cái)?shù)據(jù)集上進(jìn)行梯度計(jì)算和參數(shù)更新，在每次訓(xùn)練迭代結(jié)束后，匯總每個(gè)訓(xùn)練用戶累積的更新參數(shù)并用于最終的聯(lián)邦模型更新。

d）改進(jìn)的聯(lián)邦平均算法（communication-efficient FedAvg，CE-FedAvg）。改進(jìn)的聯(lián)邦平均算法［27，35］主要采用分布式Adam優(yōu)化技術(shù)代替?zhèn)鹘y(tǒng)的隨機(jī)梯度下降以此減少通信輪數(shù)，同時(shí)采用模型壓縮技術(shù)來減少達(dá)到目標(biāo)精度所需的通信開銷，解決了聯(lián)邦學(xué)習(xí)在物聯(lián)網(wǎng)邊緣計(jì)算的高效通信問題。

5.2.2 評(píng)價(jià)指標(biāo)

a）在檢驗(yàn)所提算法訓(xùn)練模型的精度和訓(xùn)練損失值方面，通過將提出的CTPF算法與FedAvg、Parallel-FL、CNN-FL以及CE-FedAvg算法進(jìn)行對(duì)比，以此來說明所提算法是在保證訓(xùn)練精度和訓(xùn)練損失值不低于對(duì)比算法的前提下，降低其交互通信開銷。

b）為驗(yàn)證所提算法的通信開銷有效性，本文通過計(jì)算交互通信過程中的數(shù)據(jù)量作為評(píng)估標(biāo)準(zhǔn)，通過對(duì)比CTPF和Fed-Avg、Parallel-FL、CNN-FL以及CE-FedAvg在實(shí)際通信傳輸中產(chǎn)生的交互通信數(shù)據(jù)量來說明五種算法在通信開銷方面的差異。租戶和數(shù)據(jù)中心之間進(jìn)行通信傳輸產(chǎn)生的數(shù)據(jù)量主要取決于傳輸局部模型的大小、模型參數(shù)三元向量演化后的大小以及租戶的數(shù)量。在參與聯(lián)邦學(xué)習(xí)任一階段訓(xùn)練中，需要將初始全局模型實(shí)例下發(fā)至租戶，等該輪次訓(xùn)練完成后，其中某個(gè)租戶將訓(xùn)練得到的最優(yōu)局部模型上傳，其余租戶則發(fā)送模型參數(shù)的三元向量演化情況。理論上認(rèn)為傳輸一位模型參數(shù)的三元向量值需要消耗4 bit，而傳輸整個(gè)局部模型實(shí)例則需要消耗64 bit及以上。因此，每輪次訓(xùn)練過程中，租戶和數(shù)據(jù)中心之間通信傳輸產(chǎn)生的數(shù)據(jù)總量計(jì)算如式（14）所示。

Dtotal=Dn*+∑n≠n*DN-116（14）

其中：D是傳輸局部模型實(shí)例所消耗的數(shù)據(jù)量大??；N為參與該輪訓(xùn)練的租戶數(shù)量。

c）為表明CTPF在全局迭代時(shí)間方面的優(yōu)越性，本文對(duì)比CTPF和FedAvg、Parallel-FL、CNN-FL以及CE-FedAvg算法在達(dá)到相同訓(xùn)練精度下的全局迭代時(shí)間，以此來體現(xiàn)各算法之間模型訓(xùn)練時(shí)間上的差異。

5.3 實(shí)驗(yàn)結(jié)果對(duì)比與分析

5.3.1 性能對(duì)比

為確定最優(yōu)局部模型與三元向量化模型參數(shù)在全局模型迭代過程中最佳的同步比例系數(shù)ω，本文動(dòng)態(tài)地調(diào)整最優(yōu)局部模型和三元向量化模型參數(shù)在全局模型聚合過程中的迭代次數(shù)，得到不同ω取值下的全局模型精度，具體結(jié)果如表1所示。

從表1中可以明顯地注意到當(dāng)ω取值為1時(shí)，測(cè)試的全局模型平均精度達(dá)到了最高值，而隨著ω取值越偏離1，其測(cè)試精度也會(huì)相應(yīng)地降低。這是因?yàn)樵谌帜Ｐ偷木酆线^程中，往往是在最優(yōu)局部模型的基礎(chǔ)上，利用模型參數(shù)的三元向量演化方向加以修正，兩者相互結(jié)合，在逐輪的迭代更新以后才能達(dá)到預(yù)期精度。若只是單方面增加三元向量化模型參數(shù)的迭代次數(shù)或者最優(yōu)局部模型的迭代次數(shù)，缺少最優(yōu)局部模型作為基礎(chǔ)或者三元向量化模型參數(shù)演化方向作為修正，得到的全局模型精度反而會(huì)逐漸降低。因此，綜合全局模型的測(cè)試精度考慮，本文確定ω取值為1。

在訓(xùn)練過程中，為驗(yàn)證所提算法在不同數(shù)據(jù)集上的性能表現(xiàn)，選擇對(duì)比CTPF和FedAvg、Parallel-FL、CNN-FL以及CE-FedAvg在CIFAR-10和MNIST數(shù)據(jù)集上的測(cè)試精度以及訓(xùn)練損失值。每次訓(xùn)練執(zhí)行1 000次全局迭代，對(duì)應(yīng)的測(cè)試精度以及訓(xùn)練損失值如圖3、4所示。根據(jù)圖3可以看出，在CIFAR-10數(shù)據(jù)集下，CTPF相對(duì)于其他對(duì)比算法而言，其測(cè)試精度達(dá)到96.14%，而其他算法的測(cè)試精度均未超過95%。根據(jù)圖4可以看出，在CIFAR-10數(shù)據(jù)集下，CTPF的訓(xùn)練損失值相比于其他對(duì)比算法也降到了最小值。這是因?yàn)樵谌帜Ｐ偷木酆线^程中，CTPF在最優(yōu)局部模型的基礎(chǔ)之上，根據(jù)三元向量化參數(shù)的演化方向來加以修正，減小了訓(xùn)練過程中由于參數(shù)的異構(gòu)性所造成的誤差，而FedAvg、Parallel-FL以及CNN-FL僅僅在相同配置的參數(shù)條件下進(jìn)行訓(xùn)練，聚合過程中并沒有采用其他方式進(jìn)行優(yōu)化，CE-FedAvg雖然采用分布式Adam優(yōu)化技術(shù)和模型壓縮技術(shù)減少通信輪次和每一輪需要加載的數(shù)據(jù)量，但在實(shí)際訓(xùn)練過程中卻降低了模型精度的要求，使得最終聚合的全局模型在測(cè)試精度和訓(xùn)練損失值性能上都不及CTPF。

為了考察CTPF以及對(duì)比算法在MNIST數(shù)據(jù)集下的測(cè)試精度和訓(xùn)練損失值性能，結(jié)果如圖5、6所示。根據(jù)圖5、6可以看出，CTPF在訓(xùn)練精度以及訓(xùn)練損失值上明顯優(yōu)于其他對(duì)比算法。同時(shí)，相比于CIFAR-10數(shù)據(jù)集，在MNIST數(shù)據(jù)集上CTPF的訓(xùn)練效果都有所下降。這是因?yàn)樵趹?yīng)用MNIST數(shù)據(jù)集訓(xùn)練時(shí)，首先將MNIST數(shù)據(jù)集分割為數(shù)據(jù)獨(dú)立同分布（independent identically distribution，IID）和非數(shù)據(jù)獨(dú)立同分步（non-independent identically distribution，Non-IID）兩種類型。在IID類型中，先將數(shù)據(jù)集打亂，然后為租戶隨機(jī)挑選一定數(shù)量的樣本用于訓(xùn)練，而在Non-IID類型中，則根據(jù)數(shù)據(jù)標(biāo)簽對(duì)數(shù)據(jù)集排序，然后將其劃分為不等份的數(shù)據(jù)切片，分配一定數(shù)量的數(shù)據(jù)切片給租戶用于訓(xùn)練。在聯(lián)邦學(xué)習(xí)場(chǎng)景下，由于租戶本地?cái)?shù)據(jù)集的差異性，會(huì)不可避免地導(dǎo)致訓(xùn)練數(shù)據(jù)呈現(xiàn)非獨(dú)立同分布。而在Non-IID數(shù)據(jù)集上進(jìn)行模型訓(xùn)練則會(huì)一定程度上導(dǎo)致訓(xùn)練精度降低。此外，由于CE-FedAvg在訓(xùn)練過程中采用分布式Adam優(yōu)化技術(shù)，加速了在Non-IID數(shù)據(jù)集上的收斂性，所以在測(cè)試精度和訓(xùn)練損失值性能上也會(huì)優(yōu)于其他對(duì)比算法。

為驗(yàn)證CTPF在傳輸過程中減少通信開銷的有效性，選擇對(duì)比CTPF與FedAvg、Parallel-FL、CNN-FL以及CE-FedAvg在不同數(shù)量的租戶參與訓(xùn)練過程中，根據(jù)式（14）計(jì)算的通信傳輸數(shù)據(jù)總量。在單位傳輸成本相同的情況下，可以通過對(duì)比不同租戶數(shù)量下的通信傳輸數(shù)據(jù)總量來驗(yàn)證通信開銷成本的有效性。通過圖7可以發(fā)現(xiàn)，CTPF的通信傳輸數(shù)據(jù)總量都明顯低于其他對(duì)比算法，這是因?yàn)橄鄬?duì)于常規(guī)的通信傳輸而言，CTPF是結(jié)合一個(gè)最優(yōu)局部模型和三元向量化局部模型參數(shù)來替代不必要的局部模型實(shí)例傳輸，所以大大減少了通信傳輸數(shù)據(jù)總量。而Parallel-FL是當(dāng)完成一個(gè)本地?cái)?shù)據(jù)塊的計(jì)算后，就會(huì)執(zhí)行一次通信，獲取更新后的參數(shù)值，因此Parallel-FL在不同數(shù)量租戶參與的訓(xùn)練中產(chǎn)生的通信傳輸總量占比達(dá)到最高。CE-FedAvg相比于FedAvg是采用模型壓縮技術(shù)來減少每一輪需要加載的數(shù)據(jù)量，但依然傳輸局部模型實(shí)例，相比于傳輸三元向量化模型參數(shù)所產(chǎn)生的通信傳輸數(shù)據(jù)量還是有所提高，使得在最終產(chǎn)生的通信開銷上不及CTPF。

為表明CTPF在全局迭代時(shí)間方面的優(yōu)越性，通過圖8可以對(duì)比看出，在達(dá)到預(yù)設(shè)的目標(biāo)測(cè)試精度下，CTPF要優(yōu)于其他對(duì)比算法。這是因?yàn)樵趥鬏斶^程中只有當(dāng)租戶發(fā)送模型參數(shù)m的三元向量演化方向發(fā)生變化時(shí)，才需要通過MFF架構(gòu)的通信傳輸協(xié)議發(fā)送相應(yīng)的數(shù)據(jù)包指令給本地?cái)?shù)據(jù)中心，而Parallel-FL算法在本地?cái)?shù)據(jù)塊完成訓(xùn)練后就會(huì)執(zhí)行一次通信傳輸從而更新參數(shù)，所以Parallel-FL算法所需的全局迭代時(shí)間也會(huì)達(dá)到最高。CE-FedAvg相比于CTPF則由于在傳輸過程中產(chǎn)生較高的通信數(shù)據(jù)量而造成全局迭代時(shí)間也會(huì)相應(yīng)地延長(zhǎng)，使得在全局迭代時(shí)間上不及CTPF。

5.3.2 租戶數(shù)量對(duì)所提方法的影響性分析

為了考察提出租戶數(shù)量的增加對(duì)提出方法的影響，在同一輪次的全局迭代更新中，將參與訓(xùn)練的租戶數(shù)量由10個(gè)逐步增加至50個(gè)，以此來驗(yàn)證在大規(guī)模多租戶數(shù)據(jù)中心下，租戶數(shù)量對(duì)于整體模型的訓(xùn)練精度以及訓(xùn)練損失值的影響。實(shí)驗(yàn)結(jié)果如圖9、10所示。由圖9可以看出，隨著參與訓(xùn)練的租戶數(shù)量逐步增加，整體模型訓(xùn)練精度也會(huì)隨之小幅度地下降，僅為0.7%，但整體模型的訓(xùn)練精度都趨近于95%。此外，由圖10可以看出，隨著租戶數(shù)量的逐步增加，整體模型的訓(xùn)練損失值也有細(xì)微的差別。這是因?yàn)殡S著參與訓(xùn)練的租戶數(shù)量增加，參與訓(xùn)練的模型參數(shù)也相應(yīng)增加，全局模型的聚合除了依賴于最優(yōu)局部模型之外，還需要其他租戶的模型參數(shù)三元演化情況。那么，租戶計(jì)算模型參數(shù)的三元演化方向時(shí)會(huì)消耗部分帶寬資源，使得傳輸模型參數(shù)的帶寬能力下降。同時(shí)，在所傳輸?shù)娜Ｐ蛥?shù)中，有部分模型參數(shù)演化情況同上一輪相比沒有太大變化，而受其他大部分反方向變化的模型參數(shù)影響，全局模型的精度有所下降。因此，隨著租戶數(shù)量的增加會(huì)對(duì)所提算法的測(cè)試精度和訓(xùn)練損失值造成一定的影響。

6 結(jié)束語

本文的主要工作是為了實(shí)現(xiàn)多租戶數(shù)據(jù)中心下的數(shù)據(jù)隱私保護(hù)。首先，建立了一種基于聯(lián)邦學(xué)習(xí)架構(gòu)的多租戶數(shù)據(jù)中心架構(gòu);其次，為了優(yōu)化引入聯(lián)邦學(xué)習(xí)架構(gòu)帶來的冗余開銷問題，提出一種基于三元演化模型參數(shù)的通信優(yōu)化算法，結(jié)合最優(yōu)局部模型實(shí)例和三元向量化局部模型參數(shù)來更新全局模型，并通過傳輸三元向量化的模型參數(shù)來減少傳輸不必要的完整局部模型實(shí)例；最后，通過實(shí)驗(yàn)對(duì)比經(jīng)典的方法證明了提出算法的優(yōu)越性及有效性。

目前本文的研究重點(diǎn)是針對(duì)多租戶數(shù)據(jù)中心場(chǎng)景下，降低本地?cái)?shù)據(jù)中心和租戶之間傳輸過程中的通信開銷問題。忽略了在地理分布式大規(guī)模數(shù)據(jù)中心之間云端通信傳輸過程中，有可能導(dǎo)致通信資源增幅過度溢出，造成不可忽視的通信負(fù)擔(dān)。所以，下一步工作重點(diǎn)將考慮設(shè)計(jì)實(shí)現(xiàn)地理分布式大規(guī)模數(shù)據(jù)中心云端通信傳輸優(yōu)化系統(tǒng)。

參考文獻(xiàn)：

［1］Chi Ce， Zhang Fa， Ji Kaixuan， et al. Improving energy efficiency in colocation data centers for demand response［J］. Sustainable Computing： Informatics and Systems， 2021， 29： 100476.

［2］Xu Huiting， Jin Xi， Kong Fanxi， et al. Two level colocation demand response with renewable energy［J］. IEEE Trans on Sustainable Computing， 2019， 5（1）： 147-159.

［3］Zhang Lingquan， Ren Shaolei， Wu Chuan， et al. A truthful incentive mechanism for emergency demand response in geo-distributed colocation data centers［J］. ACM Trans on Modeling and Performance Evaluation of Computing Systems， 2016， 1（4）： 1-23.

［4］李?yuàn)櫳海?敬超. 基于改進(jìn)北極熊算法的多租戶數(shù)據(jù)中心電力成本優(yōu)化方法研究［J］. 計(jì)算機(jī)應(yīng)用研究， 2023， 40（3）： 743-749. （Li Shanshan， Jing Chao. Research on power cost optimization method of multi-tenant colocation data center based on improved polar bear optimization［J］. Application Research of Computers， 2023， 40（3）： 743-749.）

［5］Zhang Chen， Xie Yu， Bai Hang， et al. A survey on federated lear-ning［J］. Knowledge-Based Systems， 2021， 216： 106775.

［6］Zhou Zhi， Liu Fangming， Chen Shutong， et al. A truthful and efficient incentive mechanism for demand response in green datacenters［J］. IEEE Trans on Parallel and Distributed Systems， 2018， 31（1）： 1-15.

［7］Chi Ce， Ji Kaixuan， Marahatta A， et al. An incentive mechanism for improving energy efficiency of colocation data centers based on power prediction［C］//Proc of IEEE Symposium on Computers and Communications. Piscataway， NJ： IEEE Press， 2020： 1-6.

［8］王俐英， 林嘉琳， 宋美琴， 等. 考慮需求響應(yīng)激勵(lì)機(jī)制的園區(qū)綜合能源系統(tǒng)博弈優(yōu)化調(diào)度［J］. 控制與決策， 2023， 38（11）： 3192-3200. （Wang Liying， Lin Jialin， Song Meiqin， et al. Optimal dispatch of park integrated energy system considering demand res-ponse incentive mechanism［J］. Control and Decision， 2023， 38（11）： 3192-3200.）

［9］孫毅， 劉迪， 崔曉昱， 等. 面向居民用戶精細(xì)化需求響應(yīng)的等梯度迭代學(xué)習(xí)激勵(lì)策略［J］. 電網(wǎng)技術(shù)， 2019， 43（10）： 3597-3605. （Sun Yi， Liu Di， Cui Xiaoyu， et al. Equal gradient iterative learning incentive strategy for accurate demand response of resident users［J］. Power System Technology， 2019， 43（10）： 3597-3605.）

［10］Phuong T T. Privacy-preserving deep learning via weight transmission［J］. IEEE Trans on Information Forensics and Security， 2019， 14（11）： 3003-3015.

［11］Shokri R， Shmatikov V. Privacy-preserving deep learning［C］// Proc of the 22nd ACM SIGSAC Conference on Computer and Communi-cations Security. New York： ACM Press， 2015： 1310-1321.

［12］張澤輝， 富瑤， 高鐵杠. 支持?jǐn)?shù)據(jù)隱私保護(hù)的聯(lián)邦深度神經(jīng)網(wǎng)絡(luò)模型研究［J］. 自動(dòng)化學(xué)報(bào)， 2022， 48（5）： 1273-1284. （Zhang Zehui， Fu Yao， Gao Tiegang.Research on federated deep neural network model for data privacy preserving［J］. Acta Automatica Sinica， 2022， 48（5）： 1273-1284.）

［13］周煒， 王超， 徐劍， 等. 基于區(qū)塊鏈的隱私保護(hù)去中心化聯(lián)邦學(xué)習(xí)模型［J］. 計(jì)算機(jī)研究與發(fā)展， 2022， 59（11）： 2423-2436.（Zhou Wei， Wang Chao， Xu Jian， et al. Privacy-preserving and decentralized federated learning model based on the blockchain［J］. Journal of Computer Research and Development， 2022， 59（11）： 2423-2436.）

［14］Chen Chen， Wang Wei， Li Bo. Round-robin synchronization： mitigating communication bottlenecks in parameter servers［C］//Proc of IEEE Conference on Computer Communications. Piscataway， NJ： IEEE Press， 2019： 532-540.

［15］Cui Henggang， Tumanov A， Wei Jinliang， et al. Exploiting iterative-ness for parallel ML computations［C］//Proc of ACM Symposium on Cloud Computing. New York： ACM Press， 2014： 1-14.

［16］Ho Q， Cipar J， Cui Henggang， et al. More effective distributed ML via a stale synchronous parallel parameter server［C］//Proc of the 26th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2013： 1223-1231.

［17］Shi Shaohuai， Chu Xiaowen， Li Bo. MG-WFBP： efficient data communication for distributed synchronous SGD algorithms［C］//Proc of IEEE Conference on Computer Communications. Piscataway， NJ： IEEE Press， 2019： 172-180.

［18］Zhang Hao， Zheng Zeyu， Xu Shizhen， et al. Poseidon： an efficient communication architecture for distributed deep learning on GPU clusters［C］//Proc of USENIX Annual Technical Conference.［S.l.］： USENIX Association， 2017： 181-193.

［19］Hashemi S H， Abdu Jyothi S， Campbell R. TicTac： accelerating distributed deep learning with communication scheduling［C］//Proc of the 2nd Conference on Machine Learning and Systems. 2019： 418-430.

［20］Jayarajan A， Wei Jinliang， Gibson G， et al. Priority-based parameter propagation for distributed DNN training［EB/OL］. （2019-05-10）. https：//arxiv.org/abs/1905.03960.

［21］Peng Yanghua， Zhu Yibo， Chen Yangrui， et al. A generic communication scheduler for distributed DNN training acceleration［C］//Proc of the 27th ACM Symposium on Operating Systems Principles. New York： ACM Press， 2019： 16-29.

［22］Seide F， Fu Hao， Droppo J， et al. 1-bit stochastic gradient descent and its application to data-parallel distributed training of speech DNNs［C］//Proc of the 15th Annual Conference of the International Speech Communication Association.［S.l.］： ISCA， 2014：1058-1062.

［23］Alistarh D， Grubic D， Li J Z， et al. QSGD： communication-efficient SGD via gradient quantization and encoding［C］//Proc of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 1707-1718.

［24］Konen J， McMahan H B， Yu F X， et al. Federated learning： stra-tegies for improving communication efficiency［EB/OL］. （2016-10-18） ［2024-05-19］. https：//arxiv.org/abs/1610.05492.

bnbPSvtPJd2giegZ7KU9Qi4x84DPOwNVwdi2gXqagwU=［25］唐倫， 汪智平， 蒲昊， 等. 基于自適應(yīng)梯度壓縮的高效聯(lián)邦學(xué)習(xí)通信機(jī)制研究［J］. 電子與信息學(xué)報(bào)， 2023， 45（1）： 227-234. （Tang Lun， Wang Zhiping， Pu Hao， et al. Research on efficient federated learning communication mechanism based on adaptive gra-dient compression［J］. Journal of Electronics & Information Technology， 2023， 45（1）： 227-234.）

［26］Dryden N， Moon T， Jacobs S A， et al. Communication quantization for data-parallel training of deep neural networks［C］//Proc of the 2nd Workshop on Machine Learning in HPC Environments. Pisca-taway， NJ： IEEE Press， 2016： 1-8.

［27］Abdellatif A A， Mhaisen N， Mohamed A， et al. Communication-efficient hierarchical federated learning for IoT heterogeneous systems with imbalanced data［J］. Future Generation Computer Systems， 2022， 128： 406-419.

［28］Lin Yujun， Song Han， Mao Huizi， et al. Deep gradient compression： reducing the communication bandwidth for distributed training［EB/OL］. （2020-06-23） ［2024-05-19］. https：//arxiv.org/abs/1712.01887.

［29］Hsieh K， Harlap A， Vijaykumar N， et al. Gaia： Geo-distributed machine learning approaching LAN speeds［C］//Proc of the 14th USENIX Symposium on Networked Systems Design and Implementation.［S.l.］： USENIX Association， 2017： 629-647.

［30］He Zhezhi， Gong Boqi， Fan Deliang. Optimize deep convolutional neural network with ternarized weights and high accuracy［C］//Proc of IEEE Winter Conference on Applications of Computer Vision. Piscataway， NJ： IEEE Press， 2019： 913-921.

［31］Wen Wei， Xu Cong， Yan Feng， et al. TernGrad： ternary gradients to reduce communication in distributed deep learning［C］//Proc of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 1508-1518.

［32］McMahan B， Moore E， Ramage D， et al. Communication-efficient learning of deep networks from decentralized data［C］//Proc of the 20th International Conference on Artificial Intelligence and Statistics.［S.l.］： PMLR， 2017： 1273-1282.

［33］Recht B， Re C， Wright S， et al. HOGWILD！： A lock-free approach to parallelizing stochastic gradient descent［C］//Proc of the 24th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2011： 693-701.

［34］Zhu Xinghua， Wang Jianzong， Hong Zhenhou， et al. Federated learning of unsegmented Chinese text recognition model［C］//Proc of the 31st International Conference on Tools with Artificial Intelligence. Piscataway， NJ： IEEE Press， 2019： 1341-1345.

［35］Mills J， Hu Jia， Min Geyong. Communication-efficient federated learning for wireless edge intelligence in IoT［J］. IEEE Internet of Things Journal， 2019， 7（7）： 5986-5994.

收稿日期：2024-01-12；修回日期：2024-02-27 基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目（62362018）；廣西重點(diǎn)研發(fā)計(jì)劃資助項(xiàng)目（桂科AB23075116，桂科AB23075175）；廣西研究生教育創(chuàng)新計(jì)劃資助項(xiàng)目（YCSW2023350）

作者簡(jiǎn)介：程華盛（1997—），男，安徽安慶人，碩士研究生，CCF會(huì)員，主要研究方向?yàn)閿?shù)據(jù)中心通信優(yōu)化、聯(lián)邦學(xué)習(xí)；敬超（1983—），男（通信作者），河南長(zhǎng)葛人，教授，博士，主要研究方向?yàn)閿?shù)據(jù)中心網(wǎng)絡(luò)、邊緣計(jì)算及最優(yōu)化方法（jingchao@glut.edu.cn）．