黃精武

（中國電子科技集團(tuán)公司第七研究所，廣東 廣州 510310）

0 引言

隨著大數(shù)據(jù)技術(shù)日益發(fā)展，數(shù)據(jù)泄露、數(shù)據(jù)非法訪問、數(shù)據(jù)篡改等數(shù)據(jù)安全問題越來越受到世界各國的關(guān)注，對用戶數(shù)據(jù)的隱私和安全日益嚴(yán)格的管理將是世界趨勢[1]。聯(lián)邦學(xué)習(xí)（Federated Learning，F(xiàn)L）是一種分布式機(jī)器學(xué)習(xí)策略，通過學(xué)習(xí)從多個分散的邊緣客戶端所掌握的訓(xùn)練數(shù)據(jù)來生成全局模型，有效解決了“數(shù)據(jù)孤島”問題[2]。隨著聯(lián)邦學(xué)習(xí)技術(shù)的發(fā)展，聯(lián)邦學(xué)習(xí)在保護(hù)用戶訓(xùn)練數(shù)據(jù)、實現(xiàn)數(shù)據(jù)“可用不可見”的基礎(chǔ)上，獲得了性能上較大的提高，并越發(fā)接近數(shù)據(jù)集中式學(xué)習(xí)的性能[3]。

訓(xùn)練高精度的聯(lián)邦學(xué)習(xí)模型需要大規(guī)模、高質(zhì)量的數(shù)據(jù)支撐，而高質(zhì)量數(shù)據(jù)的數(shù)據(jù)采集、數(shù)據(jù)清洗和數(shù)據(jù)標(biāo)注等預(yù)處理工作需要投入高昂的人力、物力，且由于聯(lián)邦學(xué)習(xí)中各方數(shù)據(jù)難以直接獲取，聯(lián)合建模需要多方協(xié)調(diào)配合，因此聯(lián)邦學(xué)習(xí)任務(wù)本身需要較高的商業(yè)成本。因此，隱私保護(hù)是聯(lián)邦學(xué)習(xí)系統(tǒng)尤為重要的一個話題。隱私攻擊是聯(lián)邦學(xué)習(xí)系統(tǒng)面臨的一個主要威脅[4]，惡意攻擊者竊取用戶原數(shù)據(jù)或訓(xùn)練好的模型參數(shù)等隱私信息，發(fā)起隱私攻擊，將會危害聯(lián)邦學(xué)習(xí)模型的機(jī)密性（Confidentiality）。

聯(lián)邦學(xué)習(xí)一經(jīng)提出，便備受關(guān)注。國內(nèi)外已有大量針對聯(lián)邦學(xué)習(xí)中隱私保護(hù)技術(shù)的性能、安全隱患及其缺點的研究。早在2018年，Rahman[5]便指出了聯(lián)邦學(xué)習(xí)中對全局更新貢獻(xiàn)較大的參與成員，以及近似推理了原始訓(xùn)練數(shù)據(jù)。Geiping等人[6]指出了在聯(lián)邦學(xué)習(xí)更新過程中，能夠從產(chǎn)生的梯度信息近似推理并重構(gòu)出客戶端的原始訓(xùn)練數(shù)據(jù)。Mothukuri等人[7]在不干涉本地訓(xùn)練過程的前提下，運用成員推斷攻擊，并通過篡改其在通信過程中傳輸?shù)奶荻?，減弱了全局模型的效能。

本文主要針對聯(lián)邦學(xué)習(xí)可能面臨的安全和隱私威脅進(jìn)行分析，著重闡述隱私安全問題，總結(jié)了一些防御措施。在這些防御措施中，本文重點對差分隱私進(jìn)行介紹，分析其隱私安全性能，以期進(jìn)一步減小聯(lián)邦學(xué)習(xí)系統(tǒng)中的隱私風(fēng)險。此外，還利用基于拉普拉斯機(jī)制[8]的差分隱私算法設(shè)計了一個聯(lián)邦學(xué)習(xí)的隱私保護(hù)方法，并通過實驗分析了該方法對模型性能的影響。

1 聯(lián)邦學(xué)習(xí)概述

聯(lián)邦學(xué)習(xí)是一種分布式機(jī)器學(xué)習(xí)算法，但在學(xué)習(xí)過程中，各個參與方不會共享自身的訓(xùn)練數(shù)據(jù)，每個聯(lián)邦學(xué)習(xí)利用多個計算節(jié)點進(jìn)行聯(lián)合訓(xùn)練，旨在提高性能、保護(hù)隱私信息，并使其可以擴(kuò)展到更大規(guī)模的訓(xùn)練數(shù)據(jù)和更大規(guī)模的模型[9]。聯(lián)邦學(xué)習(xí)打破了“數(shù)據(jù)孤島”，實現(xiàn)了數(shù)據(jù)隱私保護(hù)和共享分析的平衡，即“數(shù)據(jù)可用不可見”的數(shù)據(jù)應(yīng)用模式。

1.1 聯(lián)邦學(xué)習(xí)的定義

聯(lián)邦學(xué)習(xí)中的角色主要包括客戶端（參與方）和服務(wù)器。假設(shè)有k個客戶端參與了聯(lián)邦學(xué)習(xí)，第i個客戶端為Ci，所擁有的訓(xùn)練數(shù)據(jù)集為Di，本地模型為Mi，其中i=1,2,3,…,k。聯(lián)邦學(xué)習(xí)的目標(biāo)是從所有訓(xùn)練數(shù)據(jù)組成的數(shù)據(jù)集中訓(xùn)練出一個全局模型MGlobal。目前聯(lián)邦學(xué)習(xí)系統(tǒng)中常用的聚合策略包括聯(lián)邦平均（Federated Averaging，F(xiàn)edAvg）和聯(lián)邦隨機(jī)梯度下降（Federated Stochastic Gradient Descent，F(xiàn)edSGD）等。然而，不同于直接利用數(shù)據(jù)集D本身來訓(xùn)練一個中心化模型MCentral，在聯(lián)邦學(xué)習(xí)中，第i個客戶端不能訪問數(shù)據(jù)集假設(shè)模型的效果為V，則聯(lián)邦學(xué)習(xí)系統(tǒng)的優(yōu)化目標(biāo)為：

式中：||·||為某種范數(shù)或距離度量。

一般地，基本的聯(lián)邦學(xué)習(xí)系統(tǒng)至少包括初始化（分發(fā)全局模型）、本地更新和全局聚合3個步驟。[10]

1.2 聯(lián)邦學(xué)習(xí)的分類

聯(lián)邦學(xué)習(xí)系統(tǒng)中，每個參與方Ci只擁有其本地的訓(xùn)練數(shù)據(jù)集Di，并且這些數(shù)據(jù)集在樣本空間和特征空間上有不同程度的重合，造成了聯(lián)邦學(xué)習(xí)系統(tǒng)進(jìn)行學(xué)習(xí)的依據(jù)不同。根據(jù)學(xué)習(xí)依據(jù)，聯(lián)邦學(xué)習(xí)系統(tǒng)分為橫向聯(lián)邦學(xué)習(xí)、縱向聯(lián)邦學(xué)習(xí)和聯(lián)邦遷移學(xué)習(xí)3類。

橫向聯(lián)邦學(xué)習(xí)按照樣本空間對數(shù)據(jù)集進(jìn)行劃分，并取出特征相同而樣本不同的部分來進(jìn)行訓(xùn)練。縱向聯(lián)邦學(xué)習(xí)與橫向聯(lián)邦學(xué)習(xí)相反，是根據(jù)特征分布來進(jìn)行學(xué)習(xí)的。聯(lián)邦遷移學(xué)習(xí)適用于參與方的數(shù)據(jù)集中特征空間和樣本空間重疊都很少的情況。聯(lián)邦遷移學(xué)習(xí)中，不對數(shù)據(jù)進(jìn)行切分，而是利用遷移學(xué)習(xí)[11]的方法來解決數(shù)據(jù)及標(biāo)簽不足的問題。

2 聯(lián)邦學(xué)習(xí)面臨的隱私威脅

盡管聯(lián)邦學(xué)習(xí)系統(tǒng)中各個參與方的訓(xùn)練過程是獨立進(jìn)行的，且沒有原始訓(xùn)練數(shù)據(jù)的傳輸，可以保證一定的隱私安全，但這并非絕對安全的。惡意的參與方可以從更新信息中推理出較為活躍的成員信息，甚至可以重構(gòu)訓(xùn)練數(shù)據(jù)。

2.1 聯(lián)邦學(xué)習(xí)中的隱私威脅

聯(lián)邦學(xué)習(xí)中的參與方往往容易受到模型提取攻擊[12]和模型逆向攻擊[13]這兩大類攻擊。聯(lián)邦學(xué)習(xí)系統(tǒng)中一般假定服務(wù)器端是非惡意的，但這樣的假設(shè)不能防范“誠實但好奇”（Honest but Curious）[6]的服務(wù)器，這類服務(wù)器端雖然確實完成了應(yīng)有的聚合任務(wù)，不會對模型性能發(fā)起攻擊造成破壞，也不會破壞模型的可用性，但是會嘗試竊取參與方本地數(shù)據(jù)集中的數(shù)據(jù)，破壞參與方數(shù)據(jù)的機(jī)密性，威脅數(shù)據(jù)參與方的隱私安全。

2.2 模型提取攻擊

在模型提取攻擊中，攻擊者試圖竊取模型的參數(shù)、超參數(shù)等，破壞了模型的機(jī)密性。

一般而言，模型提取攻擊中，攻擊者試圖構(gòu)建一個與原模型相似的替代模型。因為攻擊者缺少對模型結(jié)構(gòu)的了解，所以此類攻擊一般為黑盒攻擊。首先，攻擊者利用一組數(shù)據(jù)X={X1,X2,…,Xn}對被提取的模型發(fā)起查詢操作，并獲得查詢結(jié)果Y={Y1,Y2,…,Yn}，由此構(gòu)造出一個訓(xùn)練數(shù)據(jù)集D={(X1,Y1),(X2,Y2),…,(Xn,Yn)}；其次，攻擊者將利用數(shù)據(jù)集D來訓(xùn)練替代模型，直到替代模型的效果達(dá)到了攻擊者的預(yù)期。模型提取攻擊的基本原理如圖1所示。

在實際應(yīng)用過程中，聯(lián)邦學(xué)習(xí)模型的訓(xùn)練代價與成本都是較高的，而模型提取攻擊使得攻擊者能夠以極低的訓(xùn)練代價獲得一個與原始模型性能相近的替代模型，嚴(yán)重?fù)p害了聯(lián)邦學(xué)習(xí)參與方的隱私安全和商業(yè)利益。

2.1.2 模型逆向攻擊

在模型逆向攻擊中，攻擊者一般試圖通過在訓(xùn)練完畢的模型中不斷地查詢，獲得一些統(tǒng)計信息，進(jìn)而推理出用戶的隱私信息。根據(jù)攻擊者推理的信息，可以將模型逆向攻擊分為屬性推理攻擊（Property Inference Attack，PIA）[14]和成員推理攻擊（Member Inference Attack，MIA）[15]。在屬性推理攻擊中，攻擊者的目標(biāo)在于判斷參與方的訓(xùn)練數(shù)據(jù)集中是否含有某個特征。在成員推理攻擊中，攻擊者的目標(biāo)在于判斷某一條數(shù)據(jù)記錄是否包含在參與方的訓(xùn)練數(shù)據(jù)集中。

除上述推理攻擊，近幾年一些基于生成對抗網(wǎng)絡(luò)（Generate Adversarial Networ，GAN）的推理攻擊[16]也成為一種較常見的逆向攻擊的手段。

3 防御隱私威脅的措施

聯(lián)邦學(xué)習(xí)的隱私防護(hù)工作需要從參與方和服務(wù)器兩大主體分別進(jìn)行。從原理上來看，多數(shù)聯(lián)邦學(xué)習(xí)隱私安全的方法都是基于密碼學(xué)的。

基于密碼學(xué)的聯(lián)邦學(xué)習(xí)隱私安全方法主要包括安全多方計算[17]、同態(tài)加密[18]等，主要用于模型訓(xùn)練階段的隱私保護(hù)，可以防御一些模型逆向攻擊。這些方法可以用來防御惡意的或“誠實但好奇”的參與方和服務(wù)器端，且在傳輸信息被截獲的條件下，仍然能從密碼方面保障安全。這些保護(hù)措施的安全性主要體現(xiàn)在密碼學(xué)算法的安全性，同時需考慮密碼學(xué)算法的時空效率。

另外有一些不基于密碼學(xué)的隱私安全方法，例如差分隱私（Differential Privacy，DP）[19]，主要用于模型訓(xùn)練完畢后的隱私保護(hù)，其可以通過加噪的方法防御一些模型提取攻擊和推理攻擊。這些保護(hù)措施的安全性的高低主要體現(xiàn)在能否使得明文信息能夠推理出盡量少的敏感信息。

4 差分隱私方法概述

4.1 差分隱私的基本定義

在介紹差分隱私的定義之前，首先介紹鄰近數(shù)據(jù)集（Adjacent Dataset）的定義。設(shè)有兩個數(shù)據(jù)集D與D'，若它們的對稱差中元素的數(shù)量滿足|DΔD'|=1，則稱D與D'互為鄰近數(shù)據(jù)集。

差分隱私在提出的初期，主要應(yīng)用于數(shù)據(jù)庫安全保護(hù)。設(shè)f為一個查詢函數(shù)，即一個映射，可以是求和、求平均、求最值或其他查詢操作，則攻擊者多試圖通過比較f(D)與f(D')的差異來推理出數(shù)據(jù)庫中的敏感信息。一個推理攻擊的示例如圖2所示。

圖2 推理攻擊示例

對于鄰近數(shù)據(jù)集D與D'，設(shè)有一隨機(jī)算法M，PM為該算法所有可能的輸出，對于任意SM?PM，都有：

則稱隨機(jī)算法M滿足?-差分隱私。式中：e為自然對數(shù)的底數(shù)；?為隱私預(yù)算。當(dāng)隱私預(yù)算?的值越小，隨機(jī)算法M在D和D′上獲得相同的輸出結(jié)果的概率也就越接近，所以當(dāng)用戶對數(shù)據(jù)集進(jìn)行查詢的時候，無法通過輸出結(jié)果區(qū)分這條數(shù)據(jù)是來自鄰近數(shù)據(jù)集中的D還是D'，即無法察覺到這個數(shù)據(jù)集中微小的變化。反之，?的值越大，隱私保護(hù)效果也就越弱。因此，可以得出，過大的隱私預(yù)算會導(dǎo)致無法達(dá)到預(yù)期的隱私保護(hù)效果，過小的隱私預(yù)算雖然能達(dá)到隱私效果，但加噪力度太大容易導(dǎo)致查詢結(jié)果完全無法使用。

若隨機(jī)算法對于D與D'滿足：

其中，δ＞0，則稱隨機(jī)算法M滿足(?,δ)-差分隱私。δ是一個松弛項，表示差分隱私可以接受一定程度的不滿足。

4.2 差分隱私的敏感度分析

為了獲知對于特定的隨機(jī)算法函數(shù)M，需要添加多少噪聲才能滿足(?,δ)-差分隱私，并且需要獲知該算法在當(dāng)前數(shù)據(jù)集中刪除一條數(shù)據(jù)引起的查詢結(jié)果的最大改變量。差分隱私算法有兩種敏感度，分別是全局敏Gt感度（Global Sensitivity）和局部敏感度（Local Sensitivity）。

4.2.1 全局敏感度

設(shè)一映射f:D→Rd，其輸出為d維實向量，則全局敏感度定義如下：

全局敏感度為一個l1范數(shù)定義的表達(dá)式，由函數(shù)本身決定，而和D與D'無關(guān)。當(dāng)全局敏感度較小時，只需要添加較小的噪聲，就能使函數(shù)M滿足(?,δ)-差分隱私。

4.2.2 局部敏感度

由于全局敏感度較大時，需要添加強(qiáng)度足夠大的噪聲才能保證隱私安全，這可能導(dǎo)致數(shù)據(jù)不可用，因此Nissim等人定義了局部敏感度，則f在數(shù)據(jù)集D上的局部敏感度具體為：

可以發(fā)現(xiàn)局部敏感度與全局敏感度的關(guān)系如下：

局部敏感度通常比全局敏感度要小很多，并且局部敏感度取決于映射f本身與原始數(shù)據(jù)集D，然而，局部敏感度在一定程度上體現(xiàn)了數(shù)據(jù)集的分布特征，因此只用局部敏感度來確定噪聲強(qiáng)度大小，仍然容易造成隱私泄露。

4.3 差分隱私的實現(xiàn)方法

在具體實現(xiàn)差分隱私時，需要根據(jù)不同的隨機(jī)算法采取不同的實現(xiàn)機(jī)制。常見的機(jī)制包括指數(shù)機(jī)制（Exponential Mechanism）和拉普拉斯機(jī)制（Laplace Mechanism）等。

4.3.1 拉普拉斯機(jī)制

拉普拉斯機(jī)制是向確定的查詢結(jié)果中加入服從拉普拉斯分布的噪聲。此分布有兩個參數(shù)，包括尺度參數(shù)λ和位置參數(shù)μ，其分布密度函數(shù)為：

將該分布記作Lap(μ,λ)。如向查詢結(jié)果中添加尺度參數(shù)的服從拉普拉斯分布的噪聲n能夠形成一個隨機(jī)算法M，即M(D)=f(D)+n，則可以證明隨機(jī)算法M提供了?-差分隱私保護(hù)[8]。其中，Δf指的是f的敏感度。

一般來說，拉普拉斯機(jī)制適合數(shù)值型結(jié)果的保護(hù)。

4.3.2 指數(shù)機(jī)制

在許多應(yīng)用場合，查詢結(jié)果都是非數(shù)值的，例如一個實體對象。設(shè)r為隨機(jī)算法的輸出，q(D,r)為一個用來評估輸出優(yōu)劣性的可用性函數(shù)，Δq為q(D,r)的敏感度?？梢宰C明[20]，如隨機(jī)算法M能夠以正比于的概率輸出r，則算法M能夠提供?-差分隱私保護(hù)。

5 利用差分隱私保護(hù)聯(lián)邦學(xué)習(xí)系統(tǒng)安全

在安全保護(hù)領(lǐng)域的隱私保護(hù)機(jī)器學(xué)習(xí)（Privacy-Preserving Machine Learning，PPML）技術(shù)中，主要有兩種攻擊者：一種是“誠實但好奇”的攻擊者，這種攻擊者會誠實地遵守協(xié)議，但會試圖從接收到的信息中獲取更多輸出結(jié)果以外的信息內(nèi)容；另一種是惡意的攻擊者，這種攻擊者不遵守規(guī)定的協(xié)議，會試圖發(fā)起任意的攻擊行為。本文采用拉普拉斯機(jī)制來實現(xiàn)差分隱私，提出了一種差分隱私方法，并簡要分析了方法的合理性。

5.1 聯(lián)邦學(xué)習(xí)服務(wù)器對隱私安全的保障

為了滿足以上隱私保護(hù)的目的和要求，本文在協(xié)調(diào)方發(fā)送給各個參與方的全局模型上實施差分隱私保護(hù)。在本文的聯(lián)邦學(xué)習(xí)系統(tǒng)中，聚合算法采用聯(lián)邦平均算法，其表達(dá)式為：

式中：t為全局模型更新的輪次；G t和G t+1為第t輪次和第t+1輪次更新的全局模型參數(shù)；η為全局模型更新λ的學(xué)習(xí)率；n為客戶端的數(shù)量；m為當(dāng)輪被選擇參與本輪全局模型更新的客戶端數(shù)量；為在第t+1迭代輪次中被選中的第i個參與方在本地數(shù)據(jù)訓(xùn)練后的本地模型；為第t+1迭代輪次中被選中的第i個參與方在本地數(shù)據(jù)訓(xùn)練的更新梯度。

因此，當(dāng)“誠實但好奇”的參與方或是惡意的參與方對模型發(fā)起成員推理攻擊，威脅參與方隱私安全和數(shù)據(jù)安全時，所要查詢的就是協(xié)調(diào)方發(fā)送給各個參與方的全局更新模型G t+1，所以可以得知查詢函數(shù)為：

為了防止服務(wù)器發(fā)出的全局更新被攻擊者推理出敏感信息，服務(wù)器將在聚合時對模型梯度添加噪聲。這里采用的是拉普拉斯機(jī)制。服務(wù)器端的聚合方法如下：

其中，查詢函數(shù)敏感度的一個邊界為：

式中：M'為參與方集合M的用戶鄰近數(shù)據(jù)集，即集合M'與集合M相比，有且僅有一個參與方不同；||Δk||1為第k個參與方更新梯度的l1范數(shù)。

式（11）中，當(dāng)||Δk||1≤C時，式子中的分母會取到1，裁剪出來的梯度Δ與裁剪前的梯度Δk相同，滿足裁剪邊界||Δk||1≤C；當(dāng)||Δk||1≥C時，分母的值會取到，于是裁剪后的度的值就為，也同樣滿足裁剪邊界||Δk||1≤C，因此，該裁剪方法是合理的。

5.2 聯(lián)邦學(xué)習(xí)參與方對隱私安全的保障

對于一個非惡意的服務(wù)器而言，如4.1節(jié)所述，其隱私保護(hù)的主要目的是防御惡意的參與方或外部攻擊者實施推理攻擊。同樣地，作為一個聯(lián)邦學(xué)習(xí)參與方，也需要防范一些非善意的參與方或服務(wù)器試圖破壞隱私安全的行為。因此，參與方在上傳其梯度更新時，也將對梯度進(jìn)行一些諸如梯度裁剪的處理，以保護(hù)其隱私安全。

對于參與方而言，通過對裁剪梯度，可以做到本地差分隱私（Local Differential Privacy，LDP）[19]。在這種方式之下，參與方對自己上傳至協(xié)調(diào)方的梯度進(jìn)行擾動，對梯度進(jìn)行裁剪再上傳至協(xié)調(diào)方可以在協(xié)調(diào)方不受到信任的時候能夠有效地對本地數(shù)據(jù)進(jìn)行保護(hù)，將已混淆的數(shù)據(jù)發(fā)布至不受信任的協(xié)調(diào)方可以有效地保護(hù)參與方用戶的隱私安全和數(shù)據(jù)安全。同樣地，據(jù)3.3節(jié)所述，下列算法能夠做到(?,δ)-差分隱私。

參與方所完成的任務(wù)是訓(xùn)練本地模型并上傳更新梯度，上傳更新的算法如下：

5.3 實驗分析

據(jù)5.1節(jié)與5.2節(jié)所述，算法1和算法2在理論上能夠做到差分隱私。下文將分析差分隱私對聯(lián)邦學(xué)習(xí)性能的影響度，這里采用的實驗數(shù)據(jù)集為CIFAR-10，采用的圖片分類模型為卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network,CNN）的ResNet-18網(wǎng)絡(luò)結(jié)構(gòu)。

5.3.1 收斂效率與準(zhǔn)確率分析

本節(jié)分別對比了聯(lián)邦聚合算法FedAvg和FedSGD在加入差分隱私前后的性能。將聯(lián)邦平均算法FedAvg的參數(shù)設(shè)置為：全局模型迭代輪次（epochs）E=100，參與方總數(shù)N=10，每輪選擇參與訓(xùn)練的參與方數(shù)量n=3，參與訓(xùn)練的用戶方本地訓(xùn)練輪次e=3。聯(lián)邦梯度下降算法FedSGD參數(shù)設(shè)置為：全局模型迭代輪次E=100，參與方總?cè)藬?shù)N=10，每輪選擇參與訓(xùn)練的參與用戶數(shù)量n=10，參與訓(xùn)練的用戶方本地訓(xùn)練輪次e=1?；诶绽乖肼暤牟罘蛛[私算法的參數(shù)設(shè)置為：拉普拉斯噪聲的標(biāo)準(zhǔn)差σ=0.001，參與方上傳的梯度的裁剪閾值c=1。

實驗結(jié)果如圖3所示。由圖3可知，圖中所示訓(xùn)練方法的模型準(zhǔn)確率都隨訓(xùn)練輪次的增加而逐漸增加，最后都穩(wěn)定在75%左右，且兩種聚合算法FedAvg和FedSGD的收斂速度和準(zhǔn)確率無明顯區(qū)別。同時發(fā)現(xiàn)，添加了差分隱私的兩種聯(lián)邦平均算法與不添加差分隱私的原始算法的收斂速度與準(zhǔn)確率也無明顯差距。這說明，差分隱私一般不會顯著影響模型的收斂性能。

圖3 聯(lián)邦聚合算法FedAvg和FedSGD在加入差分隱私前后的性能對比

5.3.2 差分隱私參數(shù)的變化影響分析

本節(jié)分析的參數(shù)是隱私預(yù)算，這里通過調(diào)整拉普拉斯噪聲的標(biāo)準(zhǔn)差σ來控制隱私預(yù)算，所用的聚合算法是FedAvg，其參數(shù)設(shè)置為：全局模型迭代輪次E=100，參與方總數(shù)N=10，每輪選擇參與訓(xùn)練的參與用戶數(shù)量n=3，參與訓(xùn)練的用戶方本地訓(xùn)練輪次e=3，參與方上傳的梯度的裁剪閾值c=1。對添加拉普拉斯噪聲的大小按一定間距設(shè)置，并進(jìn)行對比。

實驗結(jié)果如圖4所示。從圖中可以看出，在同樣的迭代輪次中，隨著添加的拉普拉斯噪聲標(biāo)準(zhǔn)差逐漸增大，即隨著隱私預(yù)算的減小，訓(xùn)練模型的準(zhǔn)確率有明顯的降低。若要使聯(lián)邦學(xué)習(xí)訓(xùn)練模型達(dá)到同樣的準(zhǔn)確率和性能大小，需要訓(xùn)練更多的輪次才可達(dá)到這樣的效果。結(jié)合圖3可以發(fā)現(xiàn)，雖然差分隱私措施對于模型的收斂性可能無顯著影響，但收斂后的最優(yōu)效果可能隨著隱私預(yù)算的減小而出現(xiàn)顯著損失。

圖4 添加的拉普拉斯噪聲的大小對聯(lián)邦學(xué)習(xí)模型準(zhǔn)確率的影響

5.3.3 裁剪閾值的變化影響分析

本節(jié)對裁剪閾值的變化進(jìn)行分析，所用的聚合算法是FedAvg，其參數(shù)設(shè)置為：全局模型迭代輪次E=100，參與方總?cè)藬?shù)N=10，每輪選擇參與訓(xùn)練的參與用戶數(shù)量n=3，參與訓(xùn)練的用戶方本地訓(xùn)練輪次e=3，模型添加的噪聲σ=0.001。對用戶上傳梯度的裁剪閾值按一定間距設(shè)置，并進(jìn)行對比。

實驗結(jié)果如圖5所示。可以發(fā)現(xiàn)，不同參與方上傳的梯度裁剪閾值下的曲線幾乎重合，即參與方上傳的梯度裁剪的閾值的不同對模型的性能無顯著影響，即不會顯著影響模型訓(xùn)練的準(zhǔn)確率和模型收斂性。

圖5 裁剪參與方上傳梯度的閾值對聯(lián)邦學(xué)習(xí)模型準(zhǔn)確率的影響

綜上實驗結(jié)果分析表明，這里提出的差分隱私算法，除了在理論上能夠保證差分隱私，也不會對被保護(hù)模型的收斂性能有顯著影響。然而，拉普拉斯噪聲的添加會導(dǎo)致模型準(zhǔn)確率的下降，且隨著噪聲標(biāo)準(zhǔn)差的增大，模型準(zhǔn)確率的下降愈發(fā)劇烈。此外，梯度裁剪方法不會對模型準(zhǔn)確率產(chǎn)生顯著的影響，這是因為梯度裁剪算法并沒有向梯度信息中添加噪聲。在簡單模型和數(shù)據(jù)集上，差分隱私算法的添加也不因聚合算法的不同而顯著影響模型的收斂性能和準(zhǔn)確率。因此，可以得出，上述的聯(lián)邦學(xué)習(xí)差分隱私算法在不顯著影響模型準(zhǔn)確率的前提下能實現(xiàn)隱私保護(hù)。

6 結(jié)語

本文主要研究了差分隱私在聯(lián)邦學(xué)習(xí)隱私保護(hù)中的一些應(yīng)用，探討了差分隱私的不同實現(xiàn)機(jī)制及其適用條件。最后本文討論了差分隱私對聯(lián)邦學(xué)習(xí)系統(tǒng)中不同角色的應(yīng)用方法，簡要分析了具體算法，并得出聯(lián)邦學(xué)習(xí)中差分隱私方法能夠在不顯著影響模型準(zhǔn)確率的前提下實現(xiàn)隱私保護(hù)。

此外，聯(lián)邦學(xué)習(xí)本身雖然有一定的隱私保護(hù)屬性，但仍存在一定的隱私風(fēng)險。在聯(lián)邦學(xué)習(xí)系統(tǒng)中，差分隱私方法中裁剪的閾值和噪聲的大小決定著對參與方本地數(shù)據(jù)隱私和用戶隱私的保護(hù)強(qiáng)度，裁剪閾值越小則對本地數(shù)據(jù)隱私保護(hù)的強(qiáng)度越強(qiáng)，噪聲大小越大則對用戶隱私的保護(hù)強(qiáng)度越強(qiáng)。