陳飛揚(yáng)，周 暉，張一迪

(南通大學(xué) 信息科學(xué)與技術(shù)學(xué)院，江蘇 南通 226019)

隨著5G 技術(shù)發(fā)展，越來越多設(shè)備接入網(wǎng)絡(luò)，將產(chǎn)生的大量數(shù)據(jù)直接上傳至云端。 采集數(shù)據(jù)集中訓(xùn)練的云計(jì)算技術(shù)由于存在隱私泄漏、能量消耗大、帶寬壓力大、傳輸延時(shí)等問題，在移動(dòng)邊緣網(wǎng)絡(luò)中逐漸式微［1－2］。 隨著邊緣設(shè)備計(jì)算能力不斷提高，在設(shè)備本地直接訓(xùn)練模型成為可能。 為解決邊緣設(shè)備協(xié)同訓(xùn)練問題，文獻(xiàn)［3］首次提出聯(lián)邦學(xué)習(xí)（Federated Learning， FL）概念，在分布式FL 框架下，邊緣設(shè)備無需向服務(wù)器上傳本地?cái)?shù)據(jù)，利用自身數(shù)據(jù)就地訓(xùn)練，將訓(xùn)練完成的模型參數(shù)上傳至服務(wù)器進(jìn)行聚合，聚合參數(shù)再次下發(fā)給邊緣設(shè)備繼續(xù)訓(xùn)練，不斷重復(fù)，直至效果良好。 然而，傳統(tǒng)FL 算法（如聯(lián)邦平均算法FedAvg） 在客戶端數(shù)據(jù)非獨(dú)立同分布（Non?independent and Identically Distributed， Non?IID）情況下效果不佳。 文獻(xiàn)［4］發(fā)現(xiàn)當(dāng)數(shù)據(jù)Non?IID 時(shí)，F(xiàn)edAvg 在CIFAR?10 數(shù)據(jù)集上的準(zhǔn)確率下降55%，使用Earth's Movers' Distance（EMD）解釋了下降原因，并通過創(chuàng)建全局共享數(shù)據(jù)子集縮小本地模型之間差距，提高Non?IID 數(shù)據(jù)的訓(xùn)練效果；文獻(xiàn)［5－7］分別使用懶惰節(jié)點(diǎn)判別法、CSFedAvg 算法和深度強(qiáng)化算法仔細(xì)選擇客戶端以求減小Non?IID 數(shù)據(jù)對聚合的影響；文獻(xiàn)［8］通過層次分析法衡量客戶端Non?IID 數(shù)據(jù)的質(zhì)量，依據(jù)數(shù)據(jù)質(zhì)量為客戶端分配權(quán)重；文獻(xiàn)［9］提出可自適應(yīng)調(diào)整的FedProx 算法，通過修改客戶端本地?fù)p失函數(shù)，限制各客戶端局部模型之間差距，提高網(wǎng)絡(luò)模型在Non?IID 數(shù)據(jù)上的性能；文獻(xiàn)［10］借鑒AdaBoost 算法的思路，根據(jù)上一輪全局迭代中客戶端損失值動(dòng)態(tài)調(diào)整當(dāng)前迭代中每個(gè)客戶端本地訓(xùn)練輪次，從而加快Non?IID 數(shù)據(jù)下FL 的收斂速度；文獻(xiàn)［11］將FL 從同步層面擴(kuò)展到異步層面，改變傳統(tǒng)聚合方式，提出一種指數(shù)滑動(dòng)加權(quán)平均方法FedAsync，服務(wù)器在接收到某個(gè)客戶端發(fā)來的模型參數(shù)后，將其與全局模型參數(shù)進(jìn)行加權(quán)后發(fā)送給該客戶端，以求形成一個(gè)全局泛化能力更強(qiáng)的模型；文獻(xiàn)［12］提出一種將模型減枝與FL相結(jié)合的方法，目的在于減小模型的尺寸，加快本地模型收斂速度；文獻(xiàn)［13］認(rèn)為Non?IID 數(shù)據(jù)下傳統(tǒng)FL 可能會(huì)偏向某些設(shè)備，提出q?FFL 策略為各客戶端更新本地模型參數(shù)，以求提高FL 性能；文獻(xiàn)［14］引入α?fair 策略，在盡量保證聚合模型性能前提下提高客戶端間準(zhǔn)確率分布的公平性；文獻(xiàn)［15］提出FedFa 聚合算法，在每輪全局迭代時(shí)以客戶端訓(xùn)練準(zhǔn)確率和被選中次數(shù)為依據(jù)，為各客戶端分配聚合權(quán)重，從而提高Non?IID 數(shù)據(jù)下聚合模型的準(zhǔn)確率和公平性。

為解決客戶端數(shù)據(jù)Non?IID 帶來的收斂速度慢、公平性差等問題，本文首先定量分析收斂速度慢的原因。 然后以分析結(jié)果為根據(jù)，按照客戶端本地模型參數(shù)和服務(wù)器聚合模型參數(shù)之間關(guān)系，提出兩種不同的聚合策略，服務(wù)器依據(jù)策略在每次全局迭代時(shí)為不同客戶端分配可變的自適應(yīng)權(quán)重以求減少全局迭代輪次，并且在客戶端引入個(gè)性化遷移學(xué)習(xí)（Transfer Learning， TL）模型和動(dòng)量梯度下降算法（Momentum Gradient Descent， MGD）以求提高客戶端本地模型性能，從服務(wù)器和客戶端兩方面共同加快Non?IID 數(shù)據(jù)下FL 的收斂速度，減小客戶端通信和計(jì)算開銷。 最后，使用合適的評價(jià)標(biāo)準(zhǔn)說明FCAT?FL 對提高客戶端間公平性和準(zhǔn)確性也有良好效果。

1 問題描述

FL 網(wǎng)絡(luò)架構(gòu)如圖1 所示，M個(gè)客戶端的數(shù)據(jù)集為｛C1，C2，…，CM｝， 對應(yīng)的數(shù)據(jù)量為｛｜ C1｜，｜C2｜，…，｜CM ｜｝。 在多分類問題下，數(shù)據(jù)樣本｛Χ，Y｝ 由特征空間Χ和標(biāo)簽空間Y＝｛1，2，3，…，C｝ 構(gòu)成，C為類別標(biāo)號(hào)。 設(shè)每輪通信有N個(gè)客戶端參與，則服務(wù)器聚合公式、客戶端模型更新公式、FL優(yōu)化目標(biāo)［16］分別為

圖1 聯(lián)邦學(xué)習(xí)網(wǎng)絡(luò)框架

式中，predi（x，wt） 為預(yù)測函數(shù)，表示樣本x預(yù)測為第i類（i ＜C） 的概率，dk（y＝i） 表示客戶端k上第i類樣本的數(shù)據(jù)分布。

假設(shè)第t次聚合后，服務(wù)器發(fā)送全局模型參數(shù)wt給各客戶端，本地客戶端m和n接收到服務(wù)器下發(fā)的模型參數(shù)后在本地更新，由式（2）、（4）可得兩者間的模型參數(shù)差異為

式（5）揭示了客戶端模型參數(shù)差異與客戶端數(shù)據(jù)分布差異間的關(guān)系。 在FedAvg 中，當(dāng)客戶端數(shù)據(jù)IID 時(shí)，客戶端數(shù)據(jù)分布差異很小，因此，客戶端間模型參數(shù)差異也很小，即使分布訓(xùn)練后再根據(jù)數(shù)據(jù)量占比聚合模型，其全局模型也能逼近但略差于集中式訓(xùn)練的模型；但當(dāng)數(shù)據(jù)Non?IID 時(shí)，若某客戶端數(shù)據(jù)分布高度傾斜，客戶端間模型參數(shù)可能偏離甚至相反，這導(dǎo)致有的本地模型對聚合產(chǎn)生積極影響，將之聚合有利于全局模型性能改善；有的則對聚合產(chǎn)生消極影響，將之聚合會(huì)損害全局模型性能，而且隨著全局迭代輪次增加，不同客戶端模型參數(shù)差異會(huì)逐漸累積。 這樣的發(fā)現(xiàn)使得依據(jù)客戶端數(shù)據(jù)量比重進(jìn)行聚合的想法變得不再合理。 一個(gè)合理聚合方式應(yīng)為：給有利客戶端較大聚合權(quán)重，給有害客戶端較小聚合權(quán)重。 這種聚合思想的提出為2.1 節(jié)中證明聚合策略對FL 收斂速度的影響及如何改進(jìn)聚合策略提供了指導(dǎo)性建議。

2 基于Non?IID 數(shù)據(jù)的FCAT?FL 算法

在數(shù)據(jù)Non?IID 下，為提高FL 收斂速度，從服務(wù)器和客戶端兩方面入手。 在服務(wù)器端，結(jié)合第1 節(jié)的建議，改進(jìn)聚合策略并從理論層面說明其對減少全局迭代輪次的有效性；在客戶端，使用TL 模型和MGD算法，保證本地模型個(gè)性化的同時(shí)減少客戶端需訓(xùn)練的模型參數(shù)數(shù)量，加快本地模型訓(xùn)練速度。 服務(wù)器和客戶端兩方面的共同改進(jìn)加快了FL 收斂速度。

2.1 聚合策略的改進(jìn)

前文分析出在客戶端數(shù)據(jù)Non?IID 時(shí)，有害客戶端影響聚合模型性能，導(dǎo)致需要更多輪全局迭代才能達(dá)到收斂，輪次增加意味著通信開銷或成本增加，這在客戶端資源有限的移動(dòng)邊緣網(wǎng)絡(luò)中是不可取的。 本節(jié)從聚合層面定量分析影響FL 收斂速度的因素，依據(jù)前文的建議，為FL 的快速收斂提出一種有效的聚合方式。

圖2 策略流程圖

2.2 TL 和MGD

對于分布式FL 而言，減少通信開銷比減少計(jì)算開銷更重要。 為此，在客戶端引入TL 模型和MGD 算法。 TL 的使用減少客戶端需訓(xùn)練和上傳的參數(shù)數(shù)量，減小通信開銷，同時(shí)，在分布式計(jì)算中，客戶端通常擁有較少的訓(xùn)練資源，隨著模型復(fù)雜度的增加，使用較少數(shù)據(jù)訓(xùn)練的本地模型往往性能不佳，TL 的使用可以幫助客戶端在數(shù)據(jù)較少的情況下更好地提取特征進(jìn)行訓(xùn)練；MGD 的使用加快本地模型訓(xùn)練速度，減小計(jì)算開銷。 從而，使FCAT?FL 更適用于用戶資源有限的移動(dòng)邊緣網(wǎng)絡(luò)。

TL 主要研究遷移任務(wù)A 上學(xué)習(xí)的知識(shí)至任務(wù)B，使任務(wù)B 用更少代價(jià)去訓(xùn)練模型并獲得不錯(cuò)的性能［20］。 如圖3 所示，對于相似的任務(wù)A 和B，如果它們的特征提取方法相近，則前面數(shù)個(gè)特征提取層（卷積層）可以重用，后面的分類子網(wǎng)絡(luò)可以根據(jù)具體任務(wù)設(shè)定從零開始訓(xùn)練。 卷積層用于提取樣本特征，靠前的卷積層提取低級(jí)特征，越靠后的卷積層的抽象提取能力越強(qiáng)，分類子網(wǎng)絡(luò)由全連接層構(gòu)成，能夠提取樣本個(gè)性特征，是TL 模型的個(gè)性化層。

圖3 神經(jīng)網(wǎng)絡(luò)遷移學(xué)習(xí)

使用隨機(jī)梯度下降算法（Stochastic Gradient Descent，SGD）更新客戶端本地模型可能產(chǎn)生左右振蕩的情況。 文獻(xiàn)［21］證明了帶動(dòng)量的分布式隨機(jī)梯度下降算法的快速收斂性。 因此，為加快客戶端本地模型收斂速率，客戶端TL 模型在更新時(shí)綜合考慮當(dāng)前損失函數(shù)梯度值和之前的梯度值，得到如式（11）所示的加權(quán)動(dòng)量項(xiàng)，然后利用式（12）進(jìn)行本地迭代以求加快本地模型收斂速度。

對于復(fù)雜圖像的遷移學(xué)習(xí)分類問題，可以使用PyTorch 官方提供的基于ImagNet 數(shù)據(jù)集已預(yù)訓(xùn)練完成的VGG16、ResNet18、ResNet50 等模型進(jìn)行特征提取遷移學(xué)習(xí)操作或微調(diào)遷移學(xué)習(xí)操作［22－23］，并加以個(gè)性化的全連接層。 其中，特征提取遷移學(xué)習(xí)操作凍結(jié)預(yù)訓(xùn)練模型的特征提取層參數(shù)，僅訓(xùn)練全連接層，這樣可以減少客戶端需訓(xùn)練的模型參數(shù)數(shù)量，加快客戶端訓(xùn)練速度，并且可以獲得不錯(cuò)的準(zhǔn)確率；微調(diào)遷移學(xué)習(xí)操作使用預(yù)訓(xùn)練網(wǎng)絡(luò)初始化目標(biāo)網(wǎng)絡(luò)，而非隨機(jī)初始化，由于重用部分網(wǎng)絡(luò)已經(jīng)學(xué)習(xí)到良好的參數(shù)狀態(tài)，通過簡單的微調(diào)，網(wǎng)絡(luò)模型可以快速收斂到較好的性能。

3 公平性與準(zhǔn)確性評價(jià)

聯(lián)邦學(xué)習(xí)的最終目標(biāo)是最小化全局損失函數(shù)，獲得一個(gè)泛化性能最好的聚合模型，而以客戶端數(shù)據(jù)量占比權(quán)衡貢獻(xiàn)度的傳統(tǒng)聚合策略在數(shù)據(jù)Non?IID 情況下會(huì)使全局模型偏向于某些客戶端，使客戶端間準(zhǔn)確率分布變得不公平。 2.1 節(jié)提出的策略改變傳統(tǒng)聚合方式，在每次全局迭代時(shí)依據(jù)客戶端本地模型參數(shù)和服務(wù)器聚合模型參數(shù)間的關(guān)系，動(dòng)態(tài)地為不同客戶端分配自適應(yīng)權(quán)重。 前文已證明該動(dòng)態(tài)策略能夠減少全局迭代輪次，是否對提高客戶端間公平性和準(zhǔn)確性也有積極影響？

為評價(jià)2.1 節(jié)的動(dòng)態(tài)聚合策略對客戶端間公平性和準(zhǔn)確性的影響，參照文獻(xiàn)［24－25］，引入Jane's index 值評價(jià)客戶端間準(zhǔn)確率分布的公平性，但Jane's index 本質(zhì)上是以方差的形式評價(jià)客戶端間準(zhǔn)確率分布是否公平，不能對準(zhǔn)確率本身做出評價(jià)，為體現(xiàn)客戶端準(zhǔn)確率水平，在Jane's index 公式基礎(chǔ)上做出改進(jìn)，如式（13）所示。

4 算法流程

5 實(shí)驗(yàn)

5.1 數(shù)據(jù)分配

使用PyTorch 框架在MNIST 數(shù)據(jù)集上模擬FL 過程，該數(shù)據(jù)集有60 000 張訓(xùn)練樣本和10 000 張測試樣本，訓(xùn)練樣本分配給客戶端用于訓(xùn)練，測試樣本留在服務(wù)器端，用于計(jì)算全局模型的準(zhǔn)確率和損失值。 實(shí)驗(yàn)設(shè)置15 個(gè)客戶端和1 個(gè)服務(wù)器，基于IID 數(shù)據(jù)和Non?IID 數(shù)據(jù)做FCAT?FL 和其他算法的對比實(shí)驗(yàn)，因此，需為每個(gè)客戶端分配IID 數(shù)據(jù)和Non?IID 數(shù)據(jù)：將訓(xùn)練樣本隨機(jī)洗牌打亂，按圖4 為客戶端分配數(shù)據(jù)量相同的IID 數(shù)據(jù)；將訓(xùn)練樣本以標(biāo)簽大小排序，按圖5 為客戶端分配數(shù)據(jù)量相同的Non?IID 數(shù)據(jù)。

圖4 IID 數(shù)據(jù)分配

圖5 Non?IID 數(shù)據(jù)分配

5.2 實(shí)驗(yàn)設(shè)置與結(jié)果分析

5.2.1 客戶端實(shí)驗(yàn)

為說明TL 與MGD 在減少模型參數(shù)數(shù)量和加快客戶端訓(xùn)練速度方面的有效性，模擬分布式框架下客戶端擁有較少數(shù)據(jù)的真實(shí)情況，令某一客戶端僅有600 個(gè)MNIST 訓(xùn)練數(shù)據(jù)和200 個(gè)測試數(shù)據(jù)，然后在該客戶端上設(shè)計(jì)3 個(gè)對比實(shí)驗(yàn)。 實(shí)驗(yàn)1（TL?CNN）：使用基于復(fù)雜數(shù)據(jù)集CIFAR?10 預(yù)訓(xùn)練的擁有兩層特征提取層（卷積層）和一層全連接層的網(wǎng)絡(luò)模型（該網(wǎng)絡(luò)已事先訓(xùn)練好），保留特征提取層參數(shù)，并將其遷移至客戶端上基于500 個(gè)MNIST 訓(xùn)練數(shù)據(jù)的相同模型中，追加合適的全連接層，凍結(jié)除全連接層外的所有網(wǎng)絡(luò)參數(shù)，僅訓(xùn)練全連接層參數(shù)，同時(shí)，使用MGD 算法更新客戶端本地模型。 實(shí)驗(yàn)2（CNN）：客戶端使用兩層卷積層和一層全連接層網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，同時(shí)，使用SGD 算法更新客戶端模型。 實(shí)驗(yàn)3（BP）：在客戶端構(gòu)建三層BP 網(wǎng)絡(luò)模型，使用SGD 算法更新本地模型。 3 個(gè)對比實(shí)驗(yàn)的準(zhǔn)確率和損失函數(shù)如圖6 所示，需訓(xùn)練的模型參數(shù)數(shù)量如表1 所示。

實(shí)驗(yàn)使用簡單的數(shù)據(jù)集進(jìn)行圖像分類，因而即使神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)很簡單，客戶端的訓(xùn)練數(shù)據(jù)量很少，也能獲得如圖6 所示的較好效果。 從圖6 可看出，TL?CNN 模型的準(zhǔn)確率和損失值要好于CNN 和BP模型；從表1 可知，TL?CNN 需訓(xùn)練的模型參數(shù)數(shù)量比CNN 少10.98%，比BP 少29.54%。 由TL?CNN和CNN 的對比可以看出，在網(wǎng)絡(luò)結(jié)構(gòu)相同和客戶端數(shù)據(jù)量較少的情況下，客戶端使用TL 模型和MGD算法可以提高模型性能，加快本地模型訓(xùn)練速度，減少需訓(xùn)練及上傳的模型參數(shù)數(shù)量。

表1 模型參數(shù)數(shù)量表

圖6 對比實(shí)驗(yàn)效果圖

本節(jié)實(shí)驗(yàn)對比3 種模型最終的參數(shù)數(shù)量，沒有考慮TL 前期預(yù)訓(xùn)練的成本，但是本節(jié)實(shí)驗(yàn)是為驗(yàn)證在FL 框架下運(yùn)用TL 的好處。 在實(shí)際應(yīng)用中，針對復(fù)雜圖像分類問題，可以使用PyTorch 官方基于ImageNet 數(shù)據(jù)集已預(yù)訓(xùn)練完成的VGG16、Resnet50等網(wǎng)絡(luò)或相似任務(wù)已訓(xùn)練完成的網(wǎng)絡(luò)模型，拷貝其特征提取層參數(shù)并加上合適的全連接層，進(jìn)行特征提取遷移學(xué)習(xí)或微調(diào)遷移學(xué)習(xí)，而無需進(jìn)行預(yù)訓(xùn)練，從而有效解決前期預(yù)訓(xùn)練成本問題。

5.2.2 服務(wù)器聚合實(shí)驗(yàn)

在客戶端使用TL 和MGD 的前提下，當(dāng)所有客戶端的數(shù)據(jù)為IID 和部分客戶端的數(shù)據(jù)為IID 時(shí)（每個(gè)客戶端有600 訓(xùn)練樣本，200 測試樣本），用2.1 節(jié)的聚合策略1、策略2 與平均策略［3］、FedAsync 策略［11］、q?FFL 策略［13］、FedFa 策略［15］這4 種基線聚合策略進(jìn)行對比，同時(shí)，為證明實(shí)驗(yàn)結(jié)果的有效性，使用AUC 值展示分類模型的優(yōu)劣。

每輪聚合后服務(wù)器在10 000 張測試樣本上計(jì)算當(dāng)前聚合模型準(zhǔn)確率、損失值，對比結(jié)果分別如圖7、8、9、10 所示，分類模型訓(xùn)練完成后的AUC 值如表2 所示。 由表2 可見，6 種策略的AUC 值隨著客戶端數(shù)據(jù)Non?IID 程度的增加而減少，但AUC 值均在0.96 以上，證明6 種策略的分類模型效果優(yōu)良。從圖10 可看出，當(dāng)所有客戶端的數(shù)據(jù)為IID 時(shí)，6 種策略聚合模型的準(zhǔn)確率、損失值、收斂速度基本相同；從圖7、8、9 可看出，當(dāng)部分客戶端的數(shù)據(jù)Non?IID 時(shí)，策略1 和策略2 的優(yōu)勢逐漸體現(xiàn)。 其中，當(dāng)1／3 或1／2 客戶端的數(shù)據(jù)不滿足IID 時(shí)，策略1 和策略2 聚合模型的最終準(zhǔn)確率和損失值略微好于4 種基線算法，但相差不大，全局收斂速度則快于4 種基線算法；當(dāng)3／4 客戶端的數(shù)據(jù)不滿足IID 時(shí)，F(xiàn)edFa策略聚合模型前期效果較差，策略2 聚合模型的準(zhǔn)確率和損失值后期出現(xiàn)波動(dòng)，而策略1 聚合模型的準(zhǔn)確率、損失值、收斂速度一直好于4 種基線算法，且后期也很穩(wěn)定。 總體看來，6 種策略的對比結(jié)果說明本文提出的策略1 在部分客戶端的數(shù)據(jù)Non?IID 時(shí)能有效提高FL 全局收斂速度且魯棒性更好，證明根據(jù)客戶端模型參數(shù)與全局模型參數(shù)間關(guān)系權(quán)衡貢獻(xiàn)度的想法可行且效果優(yōu)良。

表2 6 種策略不同情況下的AUC 值

圖7 3／4 客戶端的數(shù)據(jù)為Non?IID

圖8 1／2 客戶端的數(shù)據(jù)為Non?IID

圖9 1／3 客戶端的數(shù)據(jù)為Non?IID

圖10 所有客戶端的數(shù)據(jù)為IID

5.2.3 公平性和準(zhǔn)確性實(shí)驗(yàn)

為驗(yàn)證2.1 節(jié)提出的策略1 能提高客戶端間公平性、準(zhǔn)確性，每輪全局聚合完成的模型下發(fā)給本地客戶端計(jì)算各客戶端測試樣本準(zhǔn)確率Acci，并根據(jù)式（13）計(jì)算J（Acc） 值。 在客戶端數(shù)據(jù)不同的Non?IID 程度下，6 種策略的J（Acc） 值如圖11 所示。 從圖11 可以看出，隨著客戶端數(shù)據(jù)Non?IID 程度增加，不同策略的效果差異開始體現(xiàn)。 其中，當(dāng)3／4 客戶端的數(shù)據(jù)Non?IID 時(shí)，其余5 種策略對提高客戶端間公平性和準(zhǔn)確性的效果皆比平均策略要好，且策略1、FedAsync 策略、q?FFL 策略三者效果更勝一籌；策略2 的J（Acc） 曲線后期波動(dòng)明顯，魯棒性較差；FedFa 策略雖然訓(xùn)練前期效果不好，但后期效果能與策略1、FedAsync 策略、q?FFL 策略相媲美。 實(shí)驗(yàn)證明本文提出的策略1 對提高客戶端間公平性與準(zhǔn)確性有良好效果且魯棒性較好。

圖11 0，1／3，1／2，3／4 客戶端的數(shù)據(jù)Non?IID

6 結(jié)束語

在FCAT?FL 中，服務(wù)器依據(jù)局部模型參數(shù)和聚合模型參數(shù)之間的關(guān)系，使用兩種不同的策略量化每個(gè)客戶端的貢獻(xiàn)度后進(jìn)行全局聚合，從理論和實(shí)驗(yàn)兩方面證明本文所提的兩種聚合策略相比其他基線聚合策略，能有效減少客戶端數(shù)據(jù)Non?IID 下的全局迭代輪次，且策略1 的魯棒性更好。 在客戶端使用TL 模型和MGD 算法，幫助擁有較少訓(xùn)練數(shù)據(jù)的客戶端更好地訓(xùn)練本地模型，并且減少客戶端需訓(xùn)練和上傳的模型參數(shù)數(shù)量，加快客戶端本地模型訓(xùn)練速度。 客戶端和服務(wù)器兩方面的共同改進(jìn)加快FL 收斂速度，減少客戶端通信和計(jì)算開銷，提高FL性能。 使用改進(jìn)的Jane's index 證明了相比于其他基線聚合策略，本文提出的策略1 能有效提高數(shù)據(jù)Non?IID 下客戶端間公平性與準(zhǔn)確性。 可見，F(xiàn)CAT?FL 能有效提高客戶端數(shù)據(jù)Non?IID 下FL 的收斂速度、公平性、準(zhǔn)確性，為在客戶端資源有限和數(shù)據(jù)Non?IID 的移動(dòng)邊緣網(wǎng)絡(luò)中執(zhí)行FL 提供一種有效的解決方案。