孫 帆,雷 旭,李存華

(1.江蘇海洋大學(xué) 計(jì)算機(jī)工程學(xué)院,江蘇 連云港 222005; 2.東南大學(xué) 網(wǎng)絡(luò)空間安全學(xué)院,江蘇 南京 211189)

物聯(lián)網(wǎng)環(huán)境下,高性能芯片的應(yīng)用顯著提高了邊緣設(shè)備的計(jì)算能力,使得邊緣設(shè)備能夠通過(guò)邊緣學(xué)習(xí)自主處理人臉識(shí)別、自動(dòng)駕駛等場(chǎng)景下的計(jì)算任務(wù)。然而,邊緣學(xué)習(xí)應(yīng)用涉及多用戶(hù)和設(shè)備之間的數(shù)據(jù)交互,不可避免地需要使用參與者的私人信息,所以隱私保護(hù)在邊緣學(xué)習(xí)中成為一個(gè)不可忽視的問(wèn)題。傳統(tǒng)隱私保護(hù)計(jì)算方法計(jì)算量大,不適用于邊緣學(xué)習(xí)環(huán)境。提出一種輕量級(jí)的隱私保護(hù)計(jì)算方法對(duì)于邊緣學(xué)習(xí)至關(guān)重要。

近年來(lái),關(guān)于邊緣環(huán)境下的隱私保護(hù)計(jì)算逐漸成為研究熱點(diǎn)。Domingo-Ferrer等[1]提出一種聯(lián)合學(xué)習(xí)框架,為參與計(jì)算方提供保護(hù)以抵御網(wǎng)絡(luò)中的拜占庭攻擊和病毒。Gu等[2]通過(guò)改進(jìn)的強(qiáng)化學(xué)習(xí)算法計(jì)算出特殊的納什均衡,以實(shí)現(xiàn)邊緣節(jié)點(diǎn)和終端用戶(hù)的隱私保護(hù)數(shù)據(jù)傳輸。Han等[3]提出的PCFed是一種新的提升隱私保護(hù)與通信效率的聯(lián)邦學(xué)習(xí)框架。Guo等[4]提出了一種訓(xùn)練填充模型來(lái)推斷邊緣節(jié)點(diǎn)的數(shù)據(jù)分布,并通過(guò)訓(xùn)練該模型在不侵犯用戶(hù)數(shù)據(jù)隱私的前提下有效緩解訓(xùn)練數(shù)據(jù)不平衡所帶來(lái)的問(wèn)題。Du等[5]通過(guò)添加拉普拉斯機(jī)制保證隱私安全,并通過(guò)輸出擾動(dòng)和目標(biāo)擾動(dòng)算法實(shí)現(xiàn)差分隱私保護(hù)。Liu等[6]提出一種差分隱私上下文在線學(xué)習(xí)模型,用于移動(dòng)邊緣計(jì)算中的CHD診斷。Xiong等[7]提出一種智能三方博弈框架,以保證物聯(lián)網(wǎng)移動(dòng)邊緣眾測(cè)中的數(shù)據(jù)隱私。Li等[8]基于修改后的Okamoto-Uchiyama同態(tài)加密,為邊緣增強(qiáng)的HCPSs(human cyber-physical systems)提出一種可驗(yàn)證的保護(hù)隱私學(xué)習(xí)預(yù)測(cè)模型,該模型為用戶(hù)輸出可驗(yàn)證的預(yù)測(cè)結(jié)果而不會(huì)泄露隱私。為避免社會(huì)物聯(lián)網(wǎng)系統(tǒng)協(xié)同邊緣計(jì)算的隱私泄露和安全危機(jī),Zhang等[9]提出一種基于數(shù)據(jù)干擾法和對(duì)抗性訓(xùn)練觀點(diǎn)的數(shù)據(jù)保護(hù)方法。

然而,上述研究大多是針對(duì)邊緣—中心架構(gòu)下的協(xié)同計(jì)算場(chǎng)景,對(duì)于邊緣學(xué)習(xí)中涉及多個(gè)邊緣設(shè)備間協(xié)同多方計(jì)算隱私保護(hù)的問(wèn)題仍缺乏高效的解決方法。在邊緣學(xué)習(xí)中,最主要的安全問(wèn)題是邊緣設(shè)備受尺寸和功耗所限,計(jì)算能力相對(duì)較弱。因此,傳統(tǒng)隱私保護(hù)計(jì)算方法(如密碼學(xué)方法、差分隱私和聯(lián)邦學(xué)習(xí))并不能直接用于這一場(chǎng)景。為了解決邊緣學(xué)習(xí)環(huán)境中的安全計(jì)算問(wèn)題,需要提出一種新的計(jì)算方法,該方法應(yīng)該在提供隱私保護(hù)的前提下,減小邊緣設(shè)備的計(jì)算開(kāi)銷(xiāo)。本文主要貢獻(xiàn)總結(jié)如下。

(1) 提出了一種改進(jìn)的安全多方計(jì)算邊緣學(xué)習(xí)模型,給出了基于可信公共參數(shù)的多方協(xié)同計(jì)算流程。該流程可顯著減少邊緣設(shè)備對(duì)服務(wù)器的依賴(lài),并通過(guò)協(xié)同邊緣設(shè)備的計(jì)算資源,緩解邊緣設(shè)備計(jì)算能力較弱的問(wèn)題。

(2) 為避免邊緣設(shè)備間復(fù)雜的加密計(jì)算,提出一種基于橢圓曲線的安全多方計(jì)算(elliptic curve-based secure multi-party computation,ECSMC)方法,該方法將邊緣設(shè)備間的加密數(shù)據(jù)傳遞轉(zhuǎn)化為基于服務(wù)器的橢圓曲線密鑰傳遞,從而實(shí)現(xiàn)數(shù)據(jù)的密文計(jì)算。橢圓曲線有輕量級(jí)和高安全性的特點(diǎn),可以滿足邊緣學(xué)習(xí)對(duì)隱私保護(hù)計(jì)算的需求。

1 系統(tǒng)模型

1.1 系統(tǒng)結(jié)構(gòu)

如圖1所示,本文考慮一個(gè)由中央信息站覆蓋范圍內(nèi)的N個(gè)邊緣節(jié)點(diǎn)組成的邊緣學(xué)習(xí)系統(tǒng)。每個(gè)邊緣節(jié)點(diǎn)都由邊緣計(jì)算設(shè)備組成,這些設(shè)備通過(guò)梯度傳遞來(lái)訓(xùn)練同一模型,并為距離最近的用戶(hù)提供計(jì)算服務(wù)。在這個(gè)系統(tǒng)中,用戶(hù)提供數(shù)據(jù)并提出計(jì)算請(qǐng)求,而中央信息站則負(fù)責(zé)生成多方安全計(jì)算的共同參數(shù),并將這些參數(shù)發(fā)送到系統(tǒng)中。這樣,邊緣節(jié)點(diǎn)和用戶(hù)之間就可以直接進(jìn)行安全的數(shù)據(jù)計(jì)算,而無(wú)需依賴(lài)中央信息站。所有參與計(jì)算的設(shè)備和用戶(hù)都需要在中央信息站進(jìn)行注冊(cè),否則它們就無(wú)法與其他設(shè)備或用戶(hù)進(jìn)行通信。這種注冊(cè)流程的設(shè)置可以有效防止系統(tǒng)中的惡意用戶(hù)。

圖1 安全多方計(jì)算系統(tǒng)結(jié)構(gòu)Fig.1 Structure of secure multi-party comptation

1.2 計(jì)算流程

如圖1所示,在邊緣學(xué)習(xí)過(guò)程中,梯度是一種重要的中間參數(shù),包含私人信息相對(duì)較少,因此可以使用ECC算法加密計(jì)算后再進(jìn)行傳輸。然而,對(duì)于用戶(hù)和邊緣節(jié)點(diǎn)的數(shù)據(jù)來(lái)說(shuō),加密后傳輸可以保護(hù)計(jì)算雙方的數(shù)據(jù)隱私,但多次加密解密操作會(huì)增加系統(tǒng)的時(shí)間消耗。此外,由于明文需要暴露給對(duì)方,這種方式也存在隱私泄露的風(fēng)險(xiǎn)。為此,本文提出一種基于安全多方計(jì)算算法的協(xié)議,使用橢圓曲線加密計(jì)算用戶(hù)與邊緣節(jié)點(diǎn)之間密文數(shù)據(jù)矩陣的內(nèi)積。

在協(xié)議約定中,中央信息站首先會(huì)生成安全多方計(jì)算所需的參數(shù)。具體來(lái)說(shuō),中央信息站會(huì)選擇一個(gè)大素?cái)?shù)q,并使用ECC算法基于該素?cái)?shù)生成一條橢圓曲線。同時(shí),中央信息站會(huì)確定該橢圓曲線上的循環(huán)群G和生成元g。中央信息站生成完這些參數(shù)后,會(huì)將它們發(fā)送給已經(jīng)注冊(cè)的設(shè)備、用戶(hù)和服務(wù)器等參與方,以供后續(xù)計(jì)算使用。單個(gè)用戶(hù)與邊緣計(jì)算節(jié)點(diǎn)之間的通信需用ECC,其流程如圖2所示。用戶(hù)選擇一個(gè)數(shù)k作為其私鑰,并與生成元g進(jìn)行倍點(diǎn)計(jì)算,得到K作為其公鑰,并發(fā)送給邊緣節(jié)點(diǎn)。邊緣節(jié)點(diǎn)在接收到用戶(hù)公鑰后,將私鑰r與K相乘并加上明文M得到密文C,此時(shí)加密過(guò)程完成。邊緣節(jié)點(diǎn)再計(jì)算自己的公鑰R用于用戶(hù)對(duì)密文解密,并將R和C發(fā)送給用戶(hù),邊緣節(jié)點(diǎn)端的計(jì)算完成。用戶(hù)使用C和R計(jì)算邊緣節(jié)點(diǎn)發(fā)送的明文數(shù)據(jù)。

圖2 ECC流程Fig.2 ECC process

上述的一般ECC流程只是單方數(shù)據(jù)傳輸,并未實(shí)現(xiàn)密文計(jì)算功能,所以本文在此基礎(chǔ)上增加部分中間參數(shù),構(gòu)建ECC為基礎(chǔ)的SMPC。以下為協(xié)議的具體計(jì)算流程,用戶(hù)端需要進(jìn)行兩次計(jì)算,而邊緣節(jié)點(diǎn)端需要進(jìn)行一次計(jì)算。協(xié)議設(shè)當(dāng)前邊緣節(jié)點(diǎn)接入用戶(hù)N個(gè),記為矩陣U={U1,U2,…,UN},設(shè)U1用戶(hù)參與計(jì)算的數(shù)據(jù)為XU1={x1,x2,…,xn},那么該邊緣節(jié)點(diǎn)下各用戶(hù)的數(shù)據(jù)表示為矩陣X={XU1,XU2,…,XUN}。對(duì)于邊緣計(jì)算節(jié)點(diǎn),協(xié)議將其參與計(jì)算的模型參數(shù)表示為矩陣AR={ar1,ar2,…,arm}。為避免明文計(jì)算,協(xié)議分別用隨機(jī)數(shù)矩陣RD={RD1,RD2,…,RDN}和RS={rs1,rs2,…,rsm}混淆X和AR,其中RD集合中每項(xiàng)都是形如{rd1,rd2,…,rdn}的隨機(jī)數(shù)矩陣,而n和m分別為用戶(hù)和邊緣節(jié)點(diǎn)數(shù)據(jù)向量的長(zhǎng)度。在本協(xié)議中n和m值相同。矩陣Γ,θ和P用于保存協(xié)議中各用戶(hù)加密計(jì)算協(xié)議的用戶(hù)的中間參數(shù),而矩陣P中各元素是橢圓曲線上被混淆的用戶(hù)數(shù)據(jù)矩陣X′的映射。上述各用戶(hù)中間參數(shù)的矩陣可表示為Γ={ΓU1,ΓU2,…,ΓUN},θ={θU1,θU2,…,θUN},P={PU1,PU2,…,PUN},X′={X′U1,X′U2,…,X′UN}。

為平衡安全性和計(jì)算效率,協(xié)議引入Γ和θ矩陣。它們的相關(guān)計(jì)算方法如下,以用戶(hù)U1的計(jì)算為例,協(xié)議先從素?cái)?shù)q的正整數(shù)域中抽取一個(gè)隨機(jī)數(shù),并將其表示為ρi。ΓU1是每個(gè)ρi,i={1,2,…,m}的橢圓曲線上的映射結(jié)果矩陣,即ΓU1矩陣中元素的計(jì)算方式為ρi·g。為提高用戶(hù)數(shù)據(jù)的安全性,協(xié)議將矩陣ρ與P的乘積加上X′得到θ。用上述方法計(jì)算出各用戶(hù)中間參數(shù)矩陣Γ,θ和RD,并發(fā)送給邊緣節(jié)點(diǎn)。至此各用戶(hù)端計(jì)算步驟第一步完成,開(kāi)始邊緣節(jié)點(diǎn)部分的計(jì)算。邊緣節(jié)點(diǎn)使用?！浜挺取溆?jì)算自己的中間參數(shù)矩陣?！?{?！銾1,?！銾2,…,Γ′UN}和θ′={θ′U1,θ′U2,…,θ′UN}。其中?！銾1中各元素由Γi中的中各元素與a′j乘積,θ′U1計(jì)算矩陣θU1和矩陣AR的內(nèi)積再減去Tji得到,而Tji是隨機(jī)選取的群G中的元素。s2是用戶(hù)隨機(jī)數(shù)集合RD與邊緣節(jié)點(diǎn)參數(shù)向量AR的內(nèi)積,是需要減去的冗余項(xiàng)。Tj是每個(gè)Tji的和。至此,邊緣節(jié)點(diǎn)端的計(jì)算過(guò)程完成,然后邊緣節(jié)點(diǎn)將s2,RS,?！?θ′,Tj發(fā)送給用戶(hù)。最后,用戶(hù)通過(guò)計(jì)算TUi+Tj-s2得到X·AR。此時(shí)得到多方數(shù)據(jù)矩陣的內(nèi)積計(jì)算結(jié)果。具體計(jì)算流程如算法1所示。

算法1隱私保護(hù)計(jì)算。

輸入:多用戶(hù)數(shù)據(jù)矩陣集合X={XU1,XU2,…,XUN}。

邊緣節(jié)點(diǎn)參數(shù)AR={ar1,ar2,…,arm}。

輸出:,{i=1,2,…,N}。

用戶(hù)端第一次計(jì)算:

1.選取隨機(jī)數(shù)矩陣RD={RD1,RD2,…,RDN}。

2.計(jì)算矩陣X′=X+RD。

3.計(jì)算矩陣ΓUi=ρUi·g,i={1,2,…,N},其中ρUi是n個(gè)從q的整數(shù)集Zq選取的隨機(jī)數(shù),從而得到矩陣Γ={ΓU1,ΓU2,…,ΓUN}。

4.計(jì)算矩陣PUi=X′Ui·g,i={1,2,…,N},從而得到矩陣P={PU1,PU2,…,PUN}。

5.計(jì)算矩陣θUi=ρUi·PUi+X′Ui,i={1,2,…,N},從而得到矩陣θ={θU1,θU2,…,θUN}。

6.發(fā)送Γ,θ,RD給最近的邊緣節(jié)點(diǎn)。

邊緣節(jié)點(diǎn)端:

(1) 選取隨機(jī)數(shù)矩陣RS={rs1,rs2,…,rsm}。

(2) 計(jì)算矩陣A′=AR+RS。

(4) 計(jì)算矩陣?！?AR·Γ。

(6) 計(jì)算s2=,{j=1,2,…,m}。

(7) 發(fā)送s2,RS,?！?θ′給用戶(hù)。

用戶(hù)端第二次計(jì)算:

(1) 計(jì)算變量TUi=θ′Ui-,i={1,2,…,N}。

(2) =TUi+Tj-s2,i={1,2,…,N}。

2 有效性分析和安全性分析

2.1 有效性分析

Tij+Tji=θ′i-x′i?！鋓+Tji=
a′iθi-Tji-xia′iΓi+Tji=
a′iρix′ig+a′ix′i-a′ix′iρig=a′ix′i,

(1)

TU1+Tj=,

(2)

=-s2=
(AR+RS)(XU1+RD1)-s2-=
+-s2。

(3)

式中Tij與Tji分別為用戶(hù)端與邊緣節(jié)點(diǎn)的中間參數(shù)。首先根據(jù)θ′i計(jì)算公式展開(kāi)得到-Tji,這樣可去掉Tji項(xiàng)。然后展開(kāi)a′iθi和xia′iΓi,結(jié)果分別是a′iρix′ig+a′ix′i與a′iρix′ig。兩者相減得到邊緣節(jié)點(diǎn)參數(shù)與用戶(hù)參數(shù)的乘積。而TU1,Tj分別是Tij和Tji之和,如式(2)所示用戶(hù)將TU1和Tj相加便得到經(jīng)過(guò)隨機(jī)數(shù)混淆過(guò)的用戶(hù)向量與邊緣計(jì)算邊緣節(jié)點(diǎn)端參數(shù)向量的內(nèi)積。此時(shí)并未得到最終的計(jì)算結(jié)果,式(3)為計(jì)算最終結(jié)果的過(guò)程,式(2)減去用戶(hù)隨機(jī)數(shù)矩陣RD1與隨機(jī)數(shù)混淆后矩陣A′的內(nèi)積s2才能得到最終計(jì)算結(jié)果。其他用戶(hù)與邊緣節(jié)點(diǎn)之間的計(jì)算流程與上述計(jì)算過(guò)程相同。

2.2 安全性分析

下面對(duì)本文提出的協(xié)議進(jìn)行安全性分析,以探討該協(xié)議所能實(shí)現(xiàn)的數(shù)據(jù)保護(hù)功能。

(1) 保障邊緣學(xué)習(xí)數(shù)據(jù)安全,各通信方無(wú)法知曉對(duì)方詳細(xì)的輸入數(shù)據(jù),即保護(hù)雙方輸入數(shù)據(jù)的細(xì)節(jié)信息。用戶(hù)與邊緣節(jié)點(diǎn)之間以及邊緣節(jié)點(diǎn)間的數(shù)據(jù)交互需經(jīng)過(guò)ECC加密,能一定程度防止數(shù)據(jù)泄露。在協(xié)議開(kāi)始時(shí)對(duì)雙方數(shù)據(jù)加入隨機(jī)數(shù)混淆,防止因密鑰泄露而導(dǎo)致原數(shù)據(jù)被破解,其破解的復(fù)雜度與數(shù)據(jù)向量長(zhǎng)度n相關(guān)。在這之后用戶(hù)用ECC將X向量加密成θ向量,邊緣節(jié)點(diǎn)無(wú)法從θ獲取用戶(hù)參數(shù)向量X。因?yàn)榛诶щy問(wèn)題ECC算法具有較高的破解難度,256位密鑰ECC其安全性與3 072位的RSA加密相當(dāng)[10]。同樣,用戶(hù)也無(wú)法從接收到的參數(shù)中獲取到邊緣節(jié)點(diǎn)參數(shù)AR的細(xì)節(jié)信息。

(2) 保證邊緣學(xué)習(xí)的模型安全,惡意用戶(hù)無(wú)法通過(guò)多次計(jì)算獲取關(guān)于模型參數(shù)的有效信息。邊緣計(jì)算邊緣節(jié)點(diǎn)的參數(shù)A在一開(kāi)始就被經(jīng)過(guò)隨機(jī)數(shù)向量加密得到AR,且每次計(jì)算隨機(jī)數(shù)都會(huì)改變。每次通過(guò)不同的AR計(jì)算結(jié)果表,用于用戶(hù)對(duì)結(jié)果的查詢(xún)。此時(shí)若根據(jù)計(jì)算結(jié)果反推邊緣節(jié)點(diǎn)參數(shù),此問(wèn)題相當(dāng)于求一個(gè)N元方程的解,且僅有一個(gè)方程,其解有無(wú)數(shù)種。因?yàn)槊看萎a(chǎn)生的隨機(jī)數(shù)向量不同,所以試圖通過(guò)多次計(jì)算獲取A值是不可能的。

3 實(shí)驗(yàn)分析

為了驗(yàn)證所提方法在邊緣計(jì)算環(huán)境下的可行性和有效性,并且確保一定的安全性和可用性,本文進(jìn)行了實(shí)驗(yàn)和安全性分析。設(shè)兩組驗(yàn)證實(shí)驗(yàn),一組是關(guān)于加密計(jì)算協(xié)議的計(jì)算時(shí)間,用于驗(yàn)證ECSMC相比其他密碼學(xué)方法有更快的計(jì)算速度;另一組是關(guān)于本文提出的協(xié)議與當(dāng)前邊緣學(xué)習(xí)主流算法的訓(xùn)練時(shí)間和模型準(zhǔn)確率的比較。

本實(shí)驗(yàn)設(shè)置了3臺(tái)邊緣節(jié)點(diǎn),并模擬其使用用戶(hù)數(shù)據(jù)進(jìn)行邊緣學(xué)習(xí)的過(guò)程,每個(gè)用戶(hù)包含的數(shù)據(jù)量相同,且在計(jì)算完成后對(duì)邊緣節(jié)點(diǎn)的模型參數(shù)進(jìn)行聚合。實(shí)驗(yàn)設(shè)置在一臺(tái)PC機(jī)上進(jìn)行仿真,配置:CPU為I7-6700HQ;內(nèi)存16 GiB;GPU為GTX 960M;使用python 3.7和pytorch 1.9.0+cu102庫(kù)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)ResNet18和LeNet5。本實(shí)驗(yàn)使用的數(shù)據(jù)集為MNIST和CIFAR10,MNIST是一個(gè)10分類(lèi)手寫(xiě)數(shù)字?jǐn)?shù)據(jù)集,包含60 000個(gè)28×28像素的灰度圖像樣本,而CIFAR10是10分類(lèi)彩色圖像數(shù)據(jù)集,包含60 000個(gè)32×32像素的彩色圖像樣本。本實(shí)驗(yàn)神經(jīng)網(wǎng)絡(luò)的超參數(shù)設(shè)置為batch size=16,learning rate=0.001,選取的橢圓曲線為secp256k1,每個(gè)算法運(yùn)行20次,記錄相應(yīng)的參數(shù),求出它們的平均值,并進(jìn)行比較。為更貼近邊緣學(xué)習(xí)的應(yīng)用場(chǎng)景,本文通過(guò)三個(gè)指標(biāo)來(lái)比較算法:準(zhǔn)確度、訓(xùn)練時(shí)間損失和損失值。

3.1 加密計(jì)算協(xié)議的計(jì)算時(shí)間

本協(xié)議使用ECC算法構(gòu)建密文矩陣乘法計(jì)算方法,與目前使用較多的同態(tài)加密(HE)算法和密文計(jì)算方案進(jìn)行比較,其安全性分析見(jiàn)文獻(xiàn)[10]。在確保相同安全性的前提下,計(jì)算時(shí)間短的算法計(jì)算量較小,表明更適合邊緣計(jì)算環(huán)境。兩組相同長(zhǎng)度的向量在這些算法上的計(jì)算時(shí)間見(jiàn)表1。從表中可以看出本文所提方案具有更短的計(jì)算時(shí)間,符合邊緣計(jì)算應(yīng)用場(chǎng)景。

表1 加密算法運(yùn)行時(shí)間Table 1 Encryption algorithm runtime

3.2 協(xié)議在邊緣學(xué)習(xí)的應(yīng)用

為了驗(yàn)證ECSMC在邊緣學(xué)習(xí)環(huán)境中的有效性,應(yīng)用該方法于神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別與分類(lèi)任務(wù)中,并以準(zhǔn)確性和總計(jì)算時(shí)間為評(píng)價(jià)指標(biāo),評(píng)估其計(jì)算復(fù)雜度和性能表現(xiàn)。此外,損失函數(shù)的下降趨勢(shì)也是訓(xùn)練效果的重要評(píng)價(jià)指標(biāo),也將其納入分析范圍。

(1) 算法的準(zhǔn)確性。如表2所示,ECSMC應(yīng)用于MNIST數(shù)據(jù)的準(zhǔn)確度較差分隱私方法高約15%,比聯(lián)邦學(xué)習(xí)低約5%。差分隱私的準(zhǔn)確度低于其他方法,因?yàn)樗谟?jì)算中加入太多噪音,導(dǎo)致訓(xùn)練后的模型準(zhǔn)確度較低。聯(lián)邦學(xué)習(xí)通過(guò)使用不同的設(shè)備來(lái)訓(xùn)練模型,解決訓(xùn)練階段單一數(shù)據(jù)特征的問(wèn)題,從而獲得比單一節(jié)點(diǎn)更好的性能。在復(fù)雜的網(wǎng)絡(luò)ResNet18和數(shù)據(jù)量大的數(shù)據(jù)集CIFAR10中,本文提出的協(xié)議準(zhǔn)確率有所下降,這是因?yàn)殡S著網(wǎng)絡(luò)參數(shù)和計(jì)算數(shù)據(jù)的增加,隨機(jī)數(shù)噪聲造成的精度下降經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)中的損失函數(shù)計(jì)算愈發(fā)明顯。若需要提升精度可降低隨機(jī)數(shù)的數(shù)量。另外在網(wǎng)絡(luò)參數(shù)更少的LeNet5中,識(shí)別準(zhǔn)確率與原網(wǎng)絡(luò)差距較小,隨機(jī)數(shù)噪聲的影響不明顯,說(shuō)明ECSMC在結(jié)構(gòu)簡(jiǎn)單的網(wǎng)絡(luò)中有較好的表現(xiàn),而在邊緣學(xué)習(xí)應(yīng)用中保證一定的可用性提升計(jì)算速度更符合其低時(shí)延的需求。準(zhǔn)確性的實(shí)驗(yàn)結(jié)果表明本協(xié)議適合網(wǎng)絡(luò)簡(jiǎn)單、數(shù)據(jù)量少的邊緣學(xué)習(xí)應(yīng)用。

表2 不同算法的準(zhǔn)確率Table 2 Accuracy of different algorithms

(2) 模型訓(xùn)練時(shí)間。如表3所示,ECSMC算法由于使用了ECC技術(shù)而具有最快的計(jì)算速度;聯(lián)邦學(xué)習(xí)算法需要考慮到數(shù)據(jù)傳輸和設(shè)備間算力差異等因素,因此其訓(xùn)練時(shí)間通常最長(zhǎng);DP算法需要對(duì)整體數(shù)據(jù)進(jìn)行隨機(jī)數(shù)混淆,因此會(huì)增加訓(xùn)練時(shí)間。相比其他兩種隱私計(jì)算算法,ECSMC所需訓(xùn)練時(shí)間更短,綜合來(lái)看所需計(jì)算量和數(shù)據(jù)傳輸量更小,更適合于邊緣學(xué)習(xí)環(huán)境。

表3 不同算法的訓(xùn)練時(shí)間Table 3 Training time of different algorithms

(3) 損失值。本文對(duì)算法訓(xùn)練效果的分析還采用了損失值變化趨勢(shì)這一重要指標(biāo)。為減少?gòu)?fù)雜網(wǎng)絡(luò)和大數(shù)據(jù)集對(duì)結(jié)果的影響,本實(shí)驗(yàn)使用一個(gè)簡(jiǎn)單的三層神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行MNIST數(shù)據(jù)集上的圖像識(shí)別任務(wù)。該網(wǎng)絡(luò)包含兩個(gè)全連接層和一個(gè)帶有激活函數(shù)的中間層。不同算法的損失值曲線如圖3所示,這些算法包括普通算法(common)、DP算法和本文ECMSC。FL是多個(gè)common算法的組合,結(jié)果與common算法相似,所以沒(méi)有在圖中顯示。普通算法是指不使用任何加密計(jì)算的算法。由圖3可知,DP損失值下降曲線較平緩,由于在數(shù)據(jù)集中均勻加入高斯噪聲,最終識(shí)別精度僅86.55%。本文方案在開(kāi)始時(shí)損失值較大,與普通算法相比下降較快,與DP相比更貼近普通算法。然而,由于噪聲的加入,本文方案的損失值波動(dòng)較大,這在一定程度上影響最終的識(shí)別精度。在識(shí)別精度方面,普通算法、DP和本文提出的方法的精度分別為96.81%,86.55%和92.96%。普通算法、DP和本文方法的訓(xùn)練時(shí)間分別為96.15 s,223.38 s和131.38 s。

圖3 不同算法的loss值對(duì)比Fig.3 Comparison of loss values of different algorithms

4 結(jié)語(yǔ)

本文提出了一種基于橢圓曲線的安全多方計(jì)算協(xié)議,并將其應(yīng)用于邊緣學(xué)習(xí),以保障用戶(hù)和邊緣節(jié)點(diǎn)數(shù)據(jù)的隱私。該協(xié)議具有低計(jì)算復(fù)雜度和高安全性的特點(diǎn),適用于邊緣學(xué)習(xí)環(huán)境。本文的理論分析和實(shí)驗(yàn)結(jié)果表明,該協(xié)議在信息理論上是安全的,只要所選的素?cái)?shù)足夠大,橢圓曲線問(wèn)題足夠復(fù)雜,該協(xié)議就難以被破解。與差分隱私和聯(lián)邦學(xué)習(xí)算法相比,ECSMC針對(duì)邊緣學(xué)習(xí)場(chǎng)景進(jìn)行優(yōu)化,使用ECC技術(shù)降低計(jì)算復(fù)雜度并減少數(shù)據(jù)傳輸量,因此更適合邊緣學(xué)習(xí)環(huán)境。在計(jì)算過(guò)程中,隨機(jī)數(shù)噪聲被添加到所涉及的參數(shù)中,數(shù)據(jù)被橢圓曲線加密以確保數(shù)據(jù)的隱私和安全。該協(xié)議不需要復(fù)雜的數(shù)據(jù)預(yù)處理,也沒(méi)有聯(lián)邦學(xué)習(xí)中因數(shù)據(jù)傳輸而產(chǎn)生的時(shí)間消耗,因此符合邊緣學(xué)習(xí)隱私保護(hù)計(jì)算低時(shí)延的需求。