張雅童,張保慶,孟維曉,陳舒怡
(1.哈爾濱工業(yè)大學電子與信息工程學院,黑龍江 哈爾濱 150001;2.北京電子工程總體研究所,北京 100854)
傳統(tǒng)的地面蜂窩網(wǎng)絡雖然近年來發(fā)展迅速,但仍進入瓶頸期。地球上的陸地面積大約占全球總面積的29%,海洋的面積則占71%。但地面蜂窩網(wǎng)絡也無法將陸地面積全部覆蓋,僅覆蓋全球陸地面積大約20%的范圍。對于海洋的覆蓋率則更低,僅約5%。沒有地面網(wǎng)絡覆蓋的區(qū)域主要是冰川、沙漠、森林等人員稀少的地區(qū)??紤]到這些未覆蓋網(wǎng)絡的地區(qū)面積占比很大且這些區(qū)域大多人員稀少,在這些區(qū)域建設基站性價比較低。此外,建設在地面的基站當面對突然發(fā)生的自然災害時易遭受損壞,從而無法很好提供應急服務。
衛(wèi)星網(wǎng)絡具有時延低、覆蓋范圍廣等優(yōu)點。并且,低軌衛(wèi)星(LEO,Low Earth Orbit)具有覆蓋范圍廣、拓撲密集、組網(wǎng)靈活等優(yōu)點。各個國家也正在積極促進低軌衛(wèi)星的研究,比如我國的“天啟”、“行云”等。衛(wèi)星網(wǎng)絡和地面網(wǎng)絡可以互補協(xié)同形成星地協(xié)同網(wǎng)絡。衛(wèi)星網(wǎng)絡尤其是低軌衛(wèi)星網(wǎng)絡和地面網(wǎng)絡互補協(xié)同起來形成的星地協(xié)同網(wǎng)絡具有很大的研究價值和發(fā)展前景。
海量設備接入到星地協(xié)同網(wǎng)絡時會產(chǎn)生大量數(shù)據(jù)。這些數(shù)據(jù)極大概率分散在各個用戶中,形成一個個數(shù)據(jù)孤島。傳統(tǒng)的機器學習需要用戶將私人數(shù)據(jù)上傳到中心平臺,這些數(shù)據(jù)中極可能包含隱私信息,在機器學習數(shù)據(jù)上傳和下發(fā)的過程中,這些隱私存在泄露的可能。聯(lián)邦學習(FL,Federated Learning)作為分布式學習,在2016 年由谷歌團隊首次提出[1],可以讓參與訓練的各個用戶在不共享數(shù)據(jù)的情況下實現(xiàn)協(xié)作訓練,從而可以解決在星地協(xié)同網(wǎng)絡下分析大量數(shù)據(jù)時出現(xiàn)的數(shù)據(jù)孤島和數(shù)據(jù)隱私問題。聯(lián)邦學習的應用場景很廣泛,比如McMahan 等人[2]提出了一種聯(lián)邦均衡(FedAvg,Federated Averaging)算法,用于優(yōu)化Google 的Gboard[3]手機輸入法的一個模型預測的準確性。Brisimi 等人[4]通過點對點協(xié)作提出了一種新的預測模型聯(lián)邦學習框架,這種模型可以準確預測與心臟相關的住院情況。但傳統(tǒng)的聯(lián)邦學習通常為多個用戶進行本地訓練,一個聚合設備負責全局的聚合,面對網(wǎng)絡中大量的用戶時會出現(xiàn)通信效率較低的問題。在邊緣計算(EC,Edge Computing)基礎上提出聯(lián)邦邊緣學習(FEL,Federated Edge Learning)。聯(lián)邦邊緣學習進行邊緣聚合后,將模型再傳到遠端云服務器進行全局聚合。例如,文獻[5]提出了一種分層的聯(lián)邦邊緣學習算法,多個用戶在本地進行本地訓練后,將其生成的模型上傳到多個邊緣設備中進行邊緣聚合,再將邊緣模型上傳給云端獲得全局模型。邊緣計算靠近數(shù)據(jù)源,可以為本地設備的大量數(shù)據(jù)提供處理、存儲資源和計算[6]等幫助。當多個設備聯(lián)合進行機器學習等協(xié)同訓練時,通過將模型靠近本地設備來減小傳輸時延[7]。邊緣計算目前在智能家居、智能城市和智能醫(yī)療等一些和人們生活相近的領域有著極大地應用場景[8]。邊緣聚合可以減小傳統(tǒng)聯(lián)邦學習的通信成本。面對星地協(xié)同網(wǎng)絡,可以將軌道上的多顆衛(wèi)星作為邊緣聚合設備進行聯(lián)邦邊緣學習。一般的聯(lián)邦邊緣學習中全局聚合設備為云服務器??紤]到低軌衛(wèi)星軌道高度較低、且會圍繞地球進行快速運動,將低軌衛(wèi)星作為邊緣聚合設備時,易出現(xiàn)衛(wèi)星和云服務器不可見的情況。同時,在星地協(xié)同網(wǎng)絡下進行聯(lián)邦邊緣學習,除模型精度外,還需要確保在協(xié)同網(wǎng)絡中實現(xiàn)聯(lián)邦邊緣學習時的全過程時延不能過高,因此需要對傳統(tǒng)聯(lián)邦邊緣學習進行改進。星地協(xié)同網(wǎng)絡下的聯(lián)邦邊緣學習的研究目前還比較少。目前主要是對星地協(xié)同網(wǎng)絡下的邊緣計算進行研究,例如,文獻[10]提出衛(wèi)星作為邊緣設備實現(xiàn)邊緣計算的概念,通過引入動態(tài)網(wǎng)絡虛擬化技術來實現(xiàn)網(wǎng)絡資源的整合。同時,在系統(tǒng)中設計了協(xié)同計算的卸載方案,最終實現(xiàn)并行計算且減小時延。文獻[11]對衛(wèi)星實現(xiàn)邊緣計算進行了建模分析。對不同軌道、不同衛(wèi)星卸載速率下的傳輸延遲以及上下行鏈路的傳輸延遲進行了分析和研究。也有一些學者對星地協(xié)同網(wǎng)絡下的聯(lián)邦學習進行了研究。文獻[12]以多顆衛(wèi)星和一個地面站為背景設計異步聯(lián)邦學習,通過判斷衛(wèi)星所處的集合來判斷對其的操作進而減小訓練的時延。文獻[13]在文獻[12]的基礎上提出一種判斷程序,通過比較模型的訓練時延和衛(wèi)星和地面站之間的可見時延,進一步減小時延。文獻[14]在多顆衛(wèi)星和一個地面站之間提出一個高效的聯(lián)邦學習框架,對衛(wèi)星的空閑時延和局部模型陳舊兩方面進行聯(lián)合優(yōu)化。文獻[15]主要研究星地協(xié)同網(wǎng)絡下的數(shù)據(jù)攻擊問題,以多個衛(wèi)星以及多個用戶設備為背景,使用多個衛(wèi)星負責模型的聚合,研究不同的數(shù)據(jù)攻擊對其所提出的聯(lián)邦邊緣學習算法的影響。但是這些研究主要是將衛(wèi)星作為本地訓練設備且采用一個地面站作為聚合設備,和本文的場景并不匹配。
因此,本文面向星地協(xié)同網(wǎng)絡,提出一種適合于星地協(xié)同網(wǎng)絡的聯(lián)邦邊緣學習算法。算法可以對在星地協(xié)同網(wǎng)絡中海量設備產(chǎn)生的大量數(shù)據(jù)進行分析處理時出現(xiàn)的隱私信息泄露和數(shù)據(jù)孤島問題進行解決,并且可以使協(xié)同網(wǎng)絡中進行聯(lián)邦邊緣學習算法的全過程時延較低,模型測試精度較高。
考慮在星地協(xié)同網(wǎng)絡場景下,利用底層地面設備進行本地訓練,上層低軌衛(wèi)星進行邊緣聚合,并利用軌道衛(wèi)星的環(huán)狀結構實現(xiàn)全局聚合。具體星地協(xié)同網(wǎng)絡下分層聚合訓練場景如圖1 所示:
圖1 星地協(xié)同網(wǎng)絡下實現(xiàn)聯(lián)邦邊緣學習的分層聚合場景
考慮到低軌衛(wèi)星和地面設備之間的可見時間段較短,采取衛(wèi)星和地面設備可見時去交換聯(lián)邦邊緣學習的參數(shù)的方法會導致聯(lián)邦邊緣學習算法的全過程時延很高??紤]到衛(wèi)星運動具有周期性和可被預測性的特點,可以利用覆蓋域模型[16]將衛(wèi)星和本地設備之間的動態(tài)星地鏈路轉化為靜態(tài)星地鏈路。目前,衛(wèi)星天線的工作模式主要有衛(wèi)星固定足印模式以及地球固定足印模型[17],本文假設衛(wèi)星的天線工作在地球足印模式。覆蓋域模型可以將地球表面區(qū)域按照衛(wèi)星數(shù)劃分為若干規(guī)則的區(qū)域,并給每個劃分好的區(qū)域分配一個邏輯地址。邏輯地址包含著地理信息,每個區(qū)域稱為一個邏輯衛(wèi)星位置。
需要說明的是,在星地協(xié)同網(wǎng)絡中進行聯(lián)邦邊緣學習,實際上本地設備是上傳給本地訓練結束時刻其對應的邏輯衛(wèi)星位置在當前時刻的衛(wèi)星,并從該衛(wèi)星接收衛(wèi)星的加權平均參數(shù)再次進行本地訓練。之后,由其所對應的邏輯衛(wèi)星位置在當前時刻的衛(wèi)星來下發(fā)全局模型。
假設在協(xié)同網(wǎng)絡中有位于同一軌道的Ns顆低軌衛(wèi)星,有N個本地設備。每顆衛(wèi)星負責Ng個地面設備的邊緣聚合。Nk表示衛(wèi)星k所負責的本地設備的集合,即。
算法中所有的地面設備可以表示為:
集合Nk中的第i個本地設備的數(shù)據(jù)集為Dk,i,則第Nk組的數(shù)據(jù)集為:
分層聚合主要是分為將衛(wèi)星作為邊緣設備進行邊緣聚合以及利用衛(wèi)星軌道環(huán)狀結構實現(xiàn)全局聚合兩部分,分別介紹如下。
衛(wèi)星作為邊緣設備進行邊緣聚合指的是衛(wèi)星作為邊緣設備對其負責的地面設備上的參數(shù)進行加權平均。每個本地設備首先進行多輪本地訓練。在第t輪本地訓練時,衛(wèi)星k負責的地面設備在本地訓練階段的參數(shù)是。本地訓練采取隨機梯度下降的方式來更新參數(shù),即式(4),其中η表示學習率。
當進行τ1輪本地訓練,即時,每顆衛(wèi)星進行邊緣聚合。具體是從該衛(wèi)星在當前時刻所對應的邏輯衛(wèi)星位置相關聯(lián)的本地設備上收集相應的參數(shù),進行參數(shù)的加權平均得到,即式(5):
當進行τ2輪衛(wèi)星邊緣聚合后,即tmodτ1τ2=0 時,進行一次全局聚合。面對星地協(xié)同網(wǎng)絡,考慮到負責參數(shù)加權平均的衛(wèi)星位于同一環(huán)狀軌道。可以利用這種環(huán)狀結構實現(xiàn)全局聚合。
當同一環(huán)狀軌道上的衛(wèi)星進行全局聚合時,一般是將一顆衛(wèi)星作為主衛(wèi)星來實現(xiàn)參數(shù)的全局聚合。但這種情況會導致冗余的衛(wèi)星多跳而增加算法的時延??紤]到同一軌道的環(huán)狀結構,衛(wèi)星全局聚合利用Ring-Allreduce 算法[18]。算法僅需衛(wèi)星進行單向環(huán)形傳輸來實現(xiàn)聯(lián)邦邊緣學習參數(shù)的傳遞進而實現(xiàn)全局聚合,具體主要分為兩步:
(1)Scatter-reduce:假設共有n顆衛(wèi)星。首先給每個衛(wèi)星進行編號并指定其左鄰居和右鄰居。然后將每個衛(wèi)星得到的模型參數(shù)根據(jù)數(shù)據(jù)集進行加權,即得到加權模型參數(shù)。然后,將每顆衛(wèi)星的加權模型參數(shù)都均等劃分成n個數(shù)據(jù)塊。在每次迭代中,每顆衛(wèi)星都會將自己的其中一個數(shù)據(jù)塊發(fā)送給右鄰居,并從左鄰居接收其發(fā)送的一個數(shù)據(jù)塊。每顆衛(wèi)星需要將接受來的數(shù)據(jù)塊和自己對應編號的數(shù)據(jù)塊進行求和。在每次迭代中,發(fā)送和接收的數(shù)據(jù)塊不同。經(jīng)過n-1 次迭代后,每顆衛(wèi)星都將包含一個具有所有衛(wèi)星的對應編號的數(shù)據(jù)塊之和的數(shù)據(jù)塊。以n=5 為例考慮五顆衛(wèi)星的場景,首先將每顆衛(wèi)星的加權模型參數(shù)都按照衛(wèi)星的個數(shù)均等劃分為五個數(shù)據(jù)塊,即衛(wèi)星Si的加權平均參數(shù),將加權平均參數(shù)劃分為五個數(shù)據(jù)塊。經(jīng)過4 次Scatter-reduce 算法迭代后,每顆衛(wèi)星所包含的數(shù)據(jù)塊具體如圖2 所示。
圖2 Scatter-reduce步驟進行4次迭代后包含數(shù)據(jù)塊圖
(2)Allgather:當完成Scatter-reduce 后,進行Allgather。在Allgater 的第一次迭代中,第n顆衛(wèi)星首先發(fā)送其第n+1個數(shù)據(jù)塊并接收左鄰居發(fā)來的其第n個數(shù)據(jù)塊。和scatterreduce 不同的地方在于scatter-reduce 部分,當衛(wèi)星接收到左鄰居發(fā)出的數(shù)據(jù)塊后需要進行和其對應編號的數(shù)據(jù)塊加和操作,然后將加和結果替代當前編號的數(shù)據(jù)塊。而Allgather 則是直接將接收到的數(shù)據(jù)塊替代原來對應編號的數(shù)據(jù)塊,而不進行加和操作。在未來的迭代中第n顆衛(wèi)星總是發(fā)送它剛收到的數(shù)據(jù)塊。在進行了n-1 次迭代后,每顆衛(wèi)星都具有所有衛(wèi)星的加權模型參數(shù)。以五顆衛(wèi)星為例,第四次迭代后,衛(wèi)星所包含的數(shù)據(jù)塊如圖3 所示。其中,任何一個衛(wèi)星的數(shù)據(jù)塊總和等于。
圖3 Allgather步驟進行4次迭代后數(shù)據(jù)塊圖
綜上,對于軌道面Ns顆衛(wèi)星,每顆衛(wèi)星需要執(zhí)行Ns-1次Scatter-reduce 迭代,再執(zhí)行Ns-1 次Allgather 迭代。第一顆衛(wèi)星的數(shù)據(jù)塊之和即為全局參數(shù),由此就可以實現(xiàn)全局聚合。之后,每顆衛(wèi)星將得到新的全局參數(shù)發(fā)送給其關聯(lián)的地面設備作為新的本地參數(shù)來進行新一輪的本地訓練。
綜上所述,算法的主要過程可以總結為式(7):
除模型精度外,在星地協(xié)同網(wǎng)絡中進行聯(lián)邦邊緣學習時還需要保證全過程的時延不能過高。全過程時延主要由通信時延、計算時延以及星間全局聚合所需的時延三部分組成,即。進行一輪聯(lián)邦邊緣學習所需通信時延為:
其中,式(10) 中M是模型參數(shù)的大小。M/N表示鏈路的接收端信噪比。BXY為鏈路帶寬。式(11) 中LXY為端到端的實際距離。VXY為傳輸介質中的傳輸速率。
計算時延包括本地設備的本地訓練時延以及衛(wèi)星進行邊緣聚合的時延,即式(12)。Ttrain為本地訓練時延,如式(13),其中FLOPs為模型的浮點運算次數(shù),用來衡量模型的復雜度。FLOPs是地面設備每秒的浮點運算次數(shù),用來衡量硬件的性能,是每輪本地訓練的樣本數(shù)目。是衛(wèi)星聚合時延,即式(14),其中表示接收到的模型數(shù)目,F(xiàn)LOPs是衛(wèi)星每秒的浮點運算次數(shù),M是模型參數(shù)的大小。
星間全局聚合利用Ring-Allreduce 算法。假設衛(wèi)星的數(shù)量是Ns顆。每顆衛(wèi)星需要執(zhí)行共計次迭代,如式(15):
模型精度方面,在τ1和τ2固定的情況下,當為每個聚合設備盡可能分配具有不同類別樣本的本地設備時,模型測試精度較高。對星地協(xié)同網(wǎng)絡,同一衛(wèi)星負責進行邊緣聚合的本地設備之間的數(shù)據(jù)集相異度越大,模型測試精度越高。
通過對全過程時延和模型精度的分析,提出一種基于地理位置和數(shù)據(jù)集相異度的用戶關聯(lián)策略?;诖瞬呗缘穆?lián)邦邊緣學習算法可以實現(xiàn)協(xié)同網(wǎng)絡中全過程時延和模型精度兩個參數(shù)之間的聯(lián)合優(yōu)化。在提出本文所使用的用戶關聯(lián)策略之前,首先考慮兩種極端的用戶關聯(lián)策略,分別定義為完全基于地理位置的用戶關聯(lián)策略和完全基于數(shù)據(jù)集相異度的用戶關聯(lián)策略。完全基于地理位置的用戶關聯(lián)策略指的是將每個邏輯衛(wèi)星位置上的地面設備都對應到本地訓練結束時其所在的邏輯衛(wèi)星位置在該時刻對應的衛(wèi)星。完全基于數(shù)據(jù)集相異度的用戶關聯(lián)策略是給每個衛(wèi)星都分配具有盡可能不同的數(shù)據(jù)集分布的本地設備。但上述兩種極端情況僅可以減小時延或提高測試精度。因此,基于上述兩種極端策略提出基于地理位置和數(shù)據(jù)集相異度的用戶關聯(lián)策略。
基于地理位置和數(shù)據(jù)集相異度的用戶關聯(lián)策略首先設計在地理位置上的劃分。將所有的邏輯衛(wèi)星位置均分成一些不重疊的分區(qū),每個分區(qū)包含連續(xù)的Nleo個邏輯衛(wèi)星位置。根據(jù)Nleo個邏輯衛(wèi)星位置的分區(qū),本地設備可以劃分成Ns/Nleo個區(qū)域。在對邏輯衛(wèi)星位置和本地設備進行分區(qū)后,使用K-means 算法[19]對每個分區(qū)內的本地設備根據(jù)它們之間的數(shù)據(jù)集的相異度進行本地設備的劃分,將由此得到的每個本地設備的集合稱為類似簇。根據(jù)K-means 算法可以使每個類似簇中的本地設備之間的數(shù)據(jù)集的相異度很小。然后,設置Nleo個空對應簇,從每個類似簇中隨機選取一個本地設備加入對應簇中。最終,每個分區(qū)都可以得到Nleo個對應簇,并且每個簇中本地設備的數(shù)據(jù)集之間相異度有較大差異。然后采用LAPJV 算法[20]將Nleo個對應簇映射到Nleo個邏輯衛(wèi)星位置,使Nss最小,從而可以進一步減小算法全過程時延。
LAPJV 算法具體為先求解出每個對應簇中的地面設備對應到分區(qū)內的某個邏輯衛(wèi)星位置時所需衛(wèi)星總跳數(shù)。以同一軌道面上的衛(wèi)星數(shù)為20 顆,地面設備設置為200個為例進行LAPJV 算法的應用說明。首先假設設備的編號為XZ,,所對應的邏輯衛(wèi)星位置為??紤]到同一軌道的衛(wèi)星的環(huán)狀結構,需要比較衛(wèi)星左跳傳輸和右跳傳輸轉發(fā)之間的跳數(shù)的大小,并取較小值,則該設備的衛(wèi)星多跳M可以表示為:
當計算出每個對應簇的總衛(wèi)星跳數(shù),即在簇內每個本地設備對應到某邏輯衛(wèi)星位置區(qū)域的所需的跳數(shù)之和后,進行LAPJV 算法來求出映射關系使得全部簇內所有本地設備所需的總衛(wèi)星跳數(shù)最小。LAPJV 算法通過輸入一個方陣,最終來獲得一列最佳的分配數(shù)值,對應到星地協(xié)同網(wǎng)絡下的用戶關聯(lián)策略中,以第一個分區(qū)為例,假設一個分區(qū)內的對應簇為,邏輯衛(wèi)星位置為,則每個簇對應每個邏輯衛(wèi)星位置的總跳數(shù)可以表示為,則方陣可以表示如下:
當使用LAPJV 算法時,可以得到一條從第一行不后退走到最后一行的路徑,并且路徑上的矩陣數(shù)值之和最小。因此,通過LAPJV 算法可以得到使總跳數(shù)最小的邏輯衛(wèi)星位置和對應簇之間的映射關系。綜上所述,基于地理位置和數(shù)據(jù)集相異度的用戶關聯(lián)策略可以實現(xiàn)精度和時延的聯(lián)合優(yōu)化,下圖為以Nleo=2、Ns=4 為例的邏輯衛(wèi)星位置和本地設備之間的用戶關聯(lián)策略。最終,包含用戶關聯(lián)策略的聯(lián)邦邊緣學習算法可以實現(xiàn)時延和模型精度的聯(lián)合優(yōu)化。需要說明的是,目前這種關聯(lián)策略需要用戶均勻的分布在每個邏輯衛(wèi)星位置里面,且衛(wèi)星天線為地球固定足印模式的理想場景,后續(xù)會繼續(xù)對策略進行深入研究和修改以適配更為實際的場景。
圖4 為用戶關聯(lián)策略案例。
圖4 用戶關聯(lián)策略案例
在星地協(xié)同網(wǎng)絡中進行聯(lián)邦邊緣學習算法的仿真參數(shù)具體設置如表1 所示。仿真過程中使用CNN 卷積神經(jīng)網(wǎng)絡,使用MNIST 數(shù)據(jù)集進行星地協(xié)同網(wǎng)絡下的聯(lián)邦邊緣學習算法的仿真。本地設備的非獨立同分布設計采用狄利克雷分布。對于星地協(xié)同網(wǎng)絡的上行鏈路,地面設備的發(fā)射功率設置為2.5 W,帶寬為1 MHz。用戶天線增益為0 dB,衛(wèi)星天線的增益為53 dB,額外損耗為5 dB,自由空間損耗為186.6 dB。下行鏈路的設計中,衛(wèi)星發(fā)射功率設置為10 W,自由空間損耗為183.0 dB。由于星間鏈路設置為激光鏈路,帶寬無限大,衛(wèi)星激光通信的波長選擇多使用1 550 nm,比如美國的LCRD[21]。衛(wèi)星軌道高度設為1 690 km。
表1 仿真參數(shù)表
將完全基于地理位置和完全基于數(shù)據(jù)集相異度的用戶關聯(lián)策略作為對照組,進行包含基于地理位置和數(shù)據(jù)集相異度的用戶關聯(lián)策略的聯(lián)邦邊緣學習算法仿真。
圖5為三種用戶關聯(lián)策略方式下聯(lián)邦邊緣學習模型精度。通過仿真可以發(fā)現(xiàn)完全基于數(shù)據(jù)集之間相異度的方式下的聯(lián)邦邊緣學習的精度最高,用戶關聯(lián)策略次之,完全基于地理位置下的精度最低。這是因為在完全基于數(shù)據(jù)集之間相異度的方式中,每顆衛(wèi)星負責聚合的本地設備之間的數(shù)據(jù)集相異度都是盡可能不同的,從而設備之間更加趨于非獨立同分布,模型的泛化能力更強,訓練后的精度更高。而完全基于地理位置的劃分主要保證時延。但是地面設備的數(shù)據(jù)集分布類似,導致模型的精度最低。用戶關聯(lián)策略則是在劃分區(qū)域的基礎上再根據(jù)數(shù)據(jù)集之間相異度來選擇地面設備,精度處于兩種極端情況之間。同時還可以發(fā)現(xiàn)完全基于數(shù)據(jù)集之間相異度的情況下的精度曲線在300 輪訓練中的趨勢是先上升后下降。這是因為模型學習到一定程度后,接著訓練會使其趨于訓練細枝末節(jié)的部分。這會使得在測試集上的表現(xiàn)變差。
圖5 三種用戶關聯(lián)策略方式下聯(lián)邦邊緣學習模型精度
在時延方面,分別計算當τ1=60、τ2=1;τ1=15、τ2=4;τ1=6、τ2=10 時三種用戶關聯(lián)策略方式下聯(lián)邦邊緣學習算法的一輪訓練時延。
圖6 為不同用戶關聯(lián)策略方式下的改變聯(lián)邦邊緣學習參數(shù)下的時延。
圖6 不同用戶關聯(lián)策略方式下的改變聯(lián)邦邊緣學習參數(shù)下的時延
當參數(shù)τ1和τ2固定時,時延結果從大到小為完全基于地理位置的用戶關聯(lián)策略方式下的聯(lián)邦邊緣學習算法、所提出的包含用戶關聯(lián)策略的聯(lián)邦邊緣學習算法、完全基于數(shù)據(jù)集之間相異度的用戶關聯(lián)策略方式下的聯(lián)邦邊緣學習算法。這主要是因為完全基于地理位置的用戶關聯(lián)策略方式是直接將設備分配給其所在區(qū)域的邏輯衛(wèi)星位置所對應的衛(wèi)星,并不需要中繼衛(wèi)星進行轉發(fā)。而完全基于數(shù)據(jù)集之間相異度的用戶關聯(lián)策略方式是盡量給每個位置分配數(shù)據(jù)集相異度很大的地面設備,脫離了地理位置的限制,使得中繼衛(wèi)星進行轉發(fā)的次數(shù)極大。用戶關聯(lián)策略則是在地理位置限制的基礎上根據(jù)數(shù)據(jù)集相異度進行劃分,時延在兩種極端方式之間。
通過時延和精度的分析可以發(fā)現(xiàn)包含用戶關聯(lián)策略的聯(lián)邦邊緣學習算法可以實現(xiàn)時延和精度之間的聯(lián)合優(yōu)化。以τ1=6、τ2=10 為例,本文提出的包含用戶關聯(lián)策略的聯(lián)邦邊緣學習算法相比完全基于地理位置的用戶關聯(lián)策略方式下的算法的模型精度提高6.4%,時延增加185%。本文提出的包含用戶關聯(lián)策略的聯(lián)邦邊緣學習算法相比完全基于數(shù)據(jù)集之間相異度的用戶關聯(lián)策略方式,模型精度下降3.5%,時延減少134%。
本文提出一種適用于星地協(xié)同網(wǎng)絡且可以實現(xiàn)時延和模型精度聯(lián)合優(yōu)化的聯(lián)邦邊緣學習算法。算法主要包括利用衛(wèi)星進行邊緣聚合、基于衛(wèi)星軌道的環(huán)狀結構進行全局聚合的分層聚合方式和基于地理位置和數(shù)據(jù)集相異度的用戶關聯(lián)策略。MNIST 數(shù)據(jù)集仿真結果表明,這種聯(lián)邦邊緣學習算法不僅可以有較高的模型精度,且能計算出全過程所耗費的時延,并實現(xiàn)時延和模型精度之間的聯(lián)合優(yōu)化。