陳貝 李高磊

摘? 要：群體學(xué)習(xí)是一種基于區(qū)塊鏈的分布式模型協(xié)同訓(xùn)練框架。由于接入設(shè)備類型和用戶信任關(guān)系多變，群體學(xué)習(xí)中可能存在由惡意節(jié)點發(fā)起的投毒行為和后門傳播效應(yīng)。文章從多級信任度量的角度展開研究，首先，通過組合針對區(qū)塊鏈的日蝕攻擊和針對聯(lián)邦學(xué)習(xí)的分布式后門攻擊構(gòu)造一種具有強(qiáng)傳染性的攻擊方法；其次，結(jié)合基于數(shù)字簽名的用戶身份認(rèn)證和基于模型逆向的后門異常檢測建立一個多級信任度量模型；最后，利用群體學(xué)習(xí)的交叉驗證機(jī)制進(jìn)行后門模型剔除以及異常節(jié)點注銷。實驗結(jié)果表明，該文提出的防護(hù)方案能夠有效增強(qiáng)群體學(xué)習(xí)框架下機(jī)器學(xué)習(xí)模型的安全性。

關(guān)鍵詞：群體學(xué)習(xí)；區(qū)塊鏈；聯(lián)邦學(xué)習(xí)；多級信任度量；后門防御

中圖分類號：TP183；TP309? 文獻(xiàn)標(biāo)識碼：A? 文章編號：2096-4706（2023）18-0119-07

Swarm Learning Backdoor Threat Protection Based on Multilevel Trust Measurement

CHEN Bei， LI Gaolei

（School of Electronic Information and Electrical Engineering， Shanghai Jiao Tong University， Shanghai? 200240， China）

Abstract： Swarm Learning is a blockchain-based distributed model collaborative training framework. Due to the variable types of access devices and user trust relationships， there may be poisoning behaviors and backdoor propagation effects initiated by malicious nodes in Swarm Learning. This paper studies from the perspective of multi-level trust measurement. First， constructs a highly contagious attack method by combining eclipse attack against blockchain and distributed backdoor attack against Federated Learning. Secondly， a multi-level trust measurement model is established by combining user identity authentication based on digital signature and backdoor anomaly detection based on model reversal. Finally， the cross-validation mechanism of Swarm Learning is used to remove the backdoor model and write off abnormal nodes. Experimental results show that the protection scheme proposed in this paper can effectively enhance the security of machine learning models under the framework of Swarm Learning.

Keywords： Swarm Learning; blockchain; Federated Learning; multilevel trust measurement; backdoor defense

0? 引? 言

群體學(xué)習(xí)（Swarm Learning， SL）是使用基于區(qū)塊鏈的對等網(wǎng)絡(luò)構(gòu)建的去中心化分布式機(jī)器學(xué)習(xí)架構(gòu)[1，2]。和使用中心化服務(wù)器收集并聚合模型參數(shù)的聯(lián)邦學(xué)習(xí)（Federated Learning， FL）不同，在群體學(xué)習(xí)中，初始模型由邊緣節(jié)點使用私有數(shù)據(jù)集在本地創(chuàng)建，通過區(qū)塊鏈網(wǎng)絡(luò)共享模型參數(shù)，執(zhí)行共識算法并更新區(qū)塊鏈后，所有節(jié)點都能使用新的區(qū)塊進(jìn)行參數(shù)聚合并更新模型，從而高效完成協(xié)同學(xué)習(xí)任務(wù)。由于群體學(xué)習(xí)利用了區(qū)塊鏈和聯(lián)邦學(xué)習(xí)在技術(shù)特點上的相融性和互補(bǔ)性，既滿足了用戶在數(shù)據(jù)隱私保護(hù)上的迫切需求，又有效降低了由于中心化服務(wù)器不可信而帶來的安全風(fēng)險[3]，在智慧醫(yī)療、城市關(guān)聯(lián)等眾多場景中有著極大的應(yīng)用潛力。

然而，群體學(xué)習(xí)依然面臨嚴(yán)峻的安全威脅。一方面，去中心化的匿名區(qū)塊鏈網(wǎng)絡(luò)本身存在P2P網(wǎng)絡(luò)安全漏洞等隱患[4，5]。另一方面，由于設(shè)備接入類型的多樣性、用戶信任關(guān)系的動態(tài)性，群體學(xué)習(xí)中邊緣節(jié)點的私有數(shù)據(jù)以及本地訓(xùn)練得到的模型參數(shù)在被記錄到區(qū)塊鏈上之前很可能已經(jīng)被植入后門，使得學(xué)習(xí)模型在正常樣本輸入上表現(xiàn)正常，而僅對特定樣本輸出攻擊者預(yù)定義的錯誤標(biāo)簽。這些被植入后門的模型參數(shù)在上鏈之后將被廣泛傳播，進(jìn)而對各個節(jié)點上的學(xué)習(xí)模型造成嚴(yán)重影響。

目前，后門攻防前沿研究主要聚焦于一般神經(jīng)網(wǎng)絡(luò)或聯(lián)邦學(xué)習(xí)場景，而面向群體學(xué)習(xí)的后門攻防研究尚未得到重視。本文從群體學(xué)習(xí)的結(jié)構(gòu)組成出發(fā)，首先揭示了一種潛在的組合式后門植入方法；其次，提出了基于多級信任度量的群體學(xué)習(xí)后門威脅防護(hù)機(jī)制。

本文的主要貢獻(xiàn)如下：

1）驗證了群體學(xué)習(xí)環(huán)境下日蝕攻擊和分布式后門植入攻擊的可組合性，揭示了一種針對群體學(xué)習(xí)的新型安全威脅。

2）結(jié)合基于數(shù)字簽名的用戶身份認(rèn)證和基于模型逆向的后門異常檢測，建立了一個多級信任度量模型，對群體學(xué)習(xí)節(jié)點的可信性進(jìn)行動態(tài)監(jiān)測。

3）在群體學(xué)習(xí)的交叉驗證過程中集成了后門模型剔除和異常節(jié)點注銷策略，通過在參數(shù)聚合前部署上述后門威脅防護(hù)措施，有效抑制了后門模型在群體學(xué)習(xí)環(huán)境下非法散播。

1? 相關(guān)工作

后門攻擊的實現(xiàn)方式有樣本投毒和模型替換兩種類型。Gu[6]等人提出了基于樣本投毒的后門攻擊，它通過毒化訓(xùn)練數(shù)據(jù)集來植入模型后門；Bagdasaryan[7]等人將后門攻擊引入到了聯(lián)邦學(xué)習(xí)場景下，并通過模型替換和約束縮放機(jī)制將后門攻擊產(chǎn)生的偏差納入損失函數(shù)，從而實現(xiàn)對基于異常檢測的后門防御方法的有效規(guī)避；Liu[8]等人提出的Trojan攻擊通過逆向神經(jīng)網(wǎng)絡(luò)生成通用的后門觸發(fā)器，然后修改模型參數(shù)以實現(xiàn)后門植入；Yan[9]等人提出在半監(jiān)督學(xué)習(xí)場景下可以利用對抗性擾動生成算法制作無標(biāo)記中毒數(shù)據(jù)，提高了后門攻擊的有效性和隱蔽性。

現(xiàn)有的后門防御工作主要包括兩類：后門檢測、后門擦除。Chen[10]等人提出基于激活聚類的后門檢測方法，對訓(xùn)練數(shù)據(jù)在模型隱藏層的激活值進(jìn)行聚類分析；Wang[11]等人提出神經(jīng)凈化方法，對每個標(biāo)簽?zāi)嫦蛴|發(fā)器，通過比較觸發(fā)器尺寸實現(xiàn)后門檢測；Li[12]等人提出神經(jīng)注意力蒸餾機(jī)制，通過模型蒸餾和微調(diào)機(jī)制削弱后門的功效；Liu[13]等人提出在聯(lián)邦學(xué)習(xí)場景下可讓中央服務(wù)器忽略范數(shù)超過某個閾值的模型更新防御后門植入。

2? 群體學(xué)習(xí)中模型跨鏈訓(xùn)練機(jī)制

在群體學(xué)習(xí)中，學(xué)習(xí)任務(wù)由n個節(jié)點組成的集合? = {N1，N1，…，Nn}在一系列輪次中完成。每個節(jié)點Nk（1≤k≤n）的訓(xùn)練數(shù)據(jù)集為Dk，擁有唯一身份標(biāo)識id k和非對稱密鑰對（PK k，SK k）。在第t輪中，系統(tǒng)工作流程如圖1所示。

2.1? 角色分配

節(jié)點被分配到以下三種角色集合中：

1）訓(xùn)練節(jié)點W ? ?，負(fù)責(zé)本地模型訓(xùn)練；

2）驗證節(jié)點V ? ?，負(fù)責(zé)模型交叉驗證；

3）挖礦節(jié)點M ? ?，負(fù)責(zé)區(qū)塊生成。滿足W ∪ V ∪ M = ?且W ∩ V ∩ M = ?。

2.2? 本地訓(xùn)練

每一訓(xùn)練節(jié)點Nw ∈ W進(jìn)行本地訓(xùn)練，權(quán)重更新目標(biāo)為：

得到本地模型更新 ，將其寫入交易記錄 并發(fā)送給鄰居驗證節(jié)點Nv ∈ V，鄰居驗證節(jié)點又將此交易記錄廣播發(fā)送給其他所有驗證節(jié)點。

2.3? 驗證模型更新

當(dāng)驗證節(jié)點Nw收到訓(xùn)練節(jié)點Nv的交易記錄時，首先進(jìn)行交叉驗證[14]，隨后將模型更新和驗證結(jié)果發(fā)送給鄰居挖礦節(jié)點，且由鄰居挖礦節(jié)點廣播給所有挖礦節(jié)點。

2.4? 交易匯總及區(qū)塊生成

所有挖礦節(jié)點Nm都能收到每一驗證節(jié)點對每一訓(xùn)練節(jié)點本地模型更新的交叉驗證信息，匯總并記錄到生成區(qū)塊? 中。

2.5? 區(qū)塊鏈更新

在挖礦節(jié)點集合M中，基于PoS共識算法選出記賬節(jié)點，其區(qū)塊作為合法區(qū)塊blockt并廣播給所有挖礦節(jié)點。PoS共識算法旨在讓對模型訓(xùn)練貢獻(xiàn)最大的挖礦節(jié)點獲得記賬權(quán)[15]。

2.6? 模型聚合及信任更新

所有節(jié)點收到blockt，更新區(qū)塊鏈并使用新區(qū)塊中的記錄進(jìn)行全局模型聚合和信任更新。在所有訓(xùn)練節(jié)點可信的情況下，全局模型按訓(xùn)練節(jié)點貢獻(xiàn)度對本地模型更新進(jìn)行加權(quán)平均，即：

其中，節(jié)點貢獻(xiàn)度αw定義為本地訓(xùn)練數(shù)據(jù)量|Dw|在訓(xùn)練節(jié)點集合中的占比，即：

3? 群體學(xué)習(xí)后門威脅模型

設(shè)系統(tǒng)中惡意節(jié)點集合A ? ?由部分設(shè)備節(jié)點組成。對于一個神經(jīng)網(wǎng)絡(luò)模型， = { y1，y2，y3，…}為輸出標(biāo)簽集合。后門攻擊的目標(biāo)是在不影響原學(xué)習(xí)任務(wù)的同時，使模型對一個植入特定觸發(fā)器的樣本輸出特定的后門目標(biāo)標(biāo)簽τ = yt ∈ 。惡意節(jié)點Nw ∈ A在第t輪模型訓(xùn)練時的權(quán)重更新的目標(biāo)為：

其中投毒數(shù)據(jù)集? 和干凈數(shù)據(jù)集? 滿足 且 ，R為植入觸發(fā)器?的函數(shù)變換。

為了增強(qiáng)后門的隱蔽性，惡意節(jié)點進(jìn)行分布式后門攻擊[16]（Distributed Backdoor Attack， DBA），所有攻擊者僅使用全局觸發(fā)器分解所得的一部分作為本地觸發(fā)器進(jìn)行植入。在減小了數(shù)據(jù)投毒代價的同時，對于全局觸發(fā)器仍然保持很高的攻擊成功率。

此外，日蝕攻擊[5]是針對區(qū)塊鏈網(wǎng)絡(luò)中單個設(shè)備節(jié)點的攻擊，能夠迫使部分正常節(jié)點無法與其他節(jié)點通信。在群體學(xué)習(xí)中可先實施日蝕攻擊使正常節(jié)點參與訓(xùn)練的機(jī)會減小，進(jìn)而改變網(wǎng)絡(luò)中節(jié)點的算力分布，使惡意節(jié)點占比增大，最終導(dǎo)致部分節(jié)點無法獲取真實的模型更新，而受到惡意節(jié)點發(fā)送的后門模型的感染。在這種組合日蝕攻擊和分布式后門攻擊的新型攻擊方式下，后門植入成功率會顯著增大，后門傳播速率也大幅提升。

4? 基于多級信任度量的后門威脅防護(hù)

4.1? 基于數(shù)字簽名的身份認(rèn)證

當(dāng)驗證節(jié)點Nv收到訓(xùn)練節(jié)點的交易記錄? 時，首先進(jìn)行用戶身份認(rèn)證，防止非認(rèn)證實體的接入。交易記錄的結(jié)構(gòu)如下所示：

其中數(shù)字簽名sig是將節(jié)點Nw的本地模型更新? 使用私鑰SKw加密得到的。

驗證節(jié)點查詢節(jié)點Nw公鑰PKw，提取交易記錄中的數(shù)字簽名，進(jìn)行數(shù)字簽名驗證，計算用戶身份可信度（User Identity Credibility， UIC）：

4.2? 基于模型逆向的后門檢測

為了檢測模型中的潛在后門，分析后門觸發(fā)器的潛在弱點?？紤]一個標(biāo)簽yi ∈ 和目標(biāo)標(biāo)簽τ = yt ∈ ，t ≠ i，若存在觸發(fā)器導(dǎo)致一個真實標(biāo)簽為的輸入錯誤分類至τ，則所需的輸入最小改動存在一個上界，即觸發(fā)器的大?。害膇→t≤| ?t |。一個有效的后門觸發(fā)器可以實現(xiàn)無論輸入的真實標(biāo)簽是什么，在植入觸發(fā)器后都能被分類至目標(biāo)標(biāo)簽，因此：

然而，要使一個正常輸入被錯誤分類至未感染標(biāo)簽，所需的最小改動應(yīng)遠(yuǎn)大于觸發(fā)器的大小。因此，若一個模型中存在后門觸發(fā)器?t，則有：

因此，在{δ?→t |1≤i≤||}中異常低的值可作為后門存在的標(biāo)志。

首先，給出觸發(fā)器植入變換的形式定義：

其中Δ為觸發(fā)器模式矩陣，m為觸發(fā)器植入系數(shù)矩陣。

為了找到使樣本被分類至標(biāo)簽yi所需的最小觸發(fā)器，求解如下優(yōu)化問題[11]：

其中f為模型預(yù)測函數(shù)，X為數(shù)據(jù)集的輸入樣本集合，?為損失函數(shù)，λ為第二個優(yōu)化目標(biāo)的權(quán)重。第一個優(yōu)化目標(biāo)是使觸發(fā)器植入后的樣本輸出盡可能為yi；第二個優(yōu)化目標(biāo)是使觸發(fā)器尺寸盡可能小。

為了檢測其中的異常標(biāo)簽，首先對每個標(biāo)簽yi的觸發(fā)器L1范數(shù)li計算絕對中位差：

其中median表示取中位數(shù)。利用MAD計算標(biāo)簽異常指標(biāo)：

當(dāng)一個標(biāo)簽L1范數(shù)的異常值ai＞2時，可以認(rèn)定為受后門感染的標(biāo)簽。

最后，為了量化模型更新的可信程度，計算模型更新可信度（Model Update Credibility， MUC）：

4.3? 多級信任度量與信任更新

為了動態(tài)度量節(jié)點的可信程度，定義節(jié)點可信度（Node Credibility， NC）作為模型驗證階段的驗證結(jié)果和模型聚合階段信任更新的依據(jù)。

當(dāng)一個驗證節(jié)點收到訓(xùn)練節(jié)點發(fā)送的交易記錄時，按如下步驟進(jìn)行信任度量：

1）用戶身份認(rèn)證：獲取用戶公鑰，驗證數(shù)字簽名，得到用戶身份可信度的度量值 。

2）模型更新驗證：基于模型逆向的后門檢測方法檢測模型異常，得到模型更新可信度的度量值 。

3）節(jié)點局部可信度計算：

此后，將計算所得局部可信度發(fā)送給挖礦節(jié)點進(jìn)行匯總。當(dāng)網(wǎng)絡(luò)節(jié)點同步進(jìn)行模型聚合時，對每一個訓(xùn)練節(jié)點計算其節(jié)點可信度：

設(shè)定節(jié)點信任閾值，若本輪中節(jié)點可信度低于該閾值，則該訓(xùn)練節(jié)點的本地模型更新在聚合中被剔除。設(shè)定節(jié)點注銷閾值，若節(jié)點的本地模型連續(xù)被排除次數(shù)高于該閾值，則該節(jié)點被全網(wǎng)注銷。

5? 實驗及分析

5.1? 實驗環(huán)境及評估指標(biāo)

實驗采用PyTorch深度學(xué)習(xí)框架搭建仿真環(huán)境，以MNIST為數(shù)據(jù)集，模型采用卷積神經(jīng)網(wǎng)絡(luò)CNN，節(jié)點總數(shù)為20，所有節(jié)點數(shù)據(jù)獨立同分布，迭代批處理大小為64，選擇Adam優(yōu)化器并設(shè)置正常訓(xùn)練學(xué)習(xí)率為0.001，投毒訓(xùn)練學(xué)習(xí)率為0.000 5，起始攻擊輪次為10。本地觸發(fā)器大小設(shè)置為1×4，全局觸發(fā)器由4個本地觸發(fā)器組成。

后門攻擊效果有兩個評估指標(biāo)：模型精度（Clean Accuracy， CA），指全局模型在分類任務(wù)上的準(zhǔn)確率；攻擊成功率（Attack Success Rate， ASR），指全局觸發(fā)器植入后全局模型產(chǎn)生目標(biāo)錯誤分類的成功率。

后門防御效果有兩個評估指標(biāo)：攻擊成功率下降（Attack rate deduction， ARD），即防御前后攻擊成功率的差值；模型精度下降（Clean accuracy drop， CAD），即后門防御帶來的模型精度損失。

5.2? 后門攻擊方案實現(xiàn)與分析

模擬分布式后門攻擊，并研究分布式后門攻擊中的后門傳播機(jī)制。影響后門傳播速度的因素有中毒樣本占比和惡意節(jié)點占比。

5.2.1? 中毒樣本占比

在本地訓(xùn)練中，惡意節(jié)點以一定的比例向訓(xùn)練樣本中投毒，對于經(jīng)過模型聚合后的全局模型，中毒樣本占比對其模型精度和攻擊成功率均有一定程度的影響。設(shè)置惡意節(jié)點數(shù)為4，投毒比例分別設(shè)置為8、24、40、56，實驗結(jié)果如圖2所示。

由圖2可知：

1）當(dāng)中毒樣本占比大于12.5%且小于87.5%時，中毒樣本占比越大，全局觸發(fā)器收斂速度越快。

2）當(dāng)中毒樣本占比大于12.5%且小于50%時，所有本地觸發(fā)器的攻擊成功率能夠在一定輪次收斂，且中毒樣本占比越大，收斂速度越快。

5.2.2? 惡意節(jié)點占比

設(shè)置投毒比例為16/64，分別設(shè)置惡意節(jié)點個數(shù)為4、8、12、16，同時惡意節(jié)點占比增大的過程也反映了日蝕攻擊的效果。實驗結(jié)果如圖3所示。

由圖3可知：

1）惡意節(jié)點占比越高，攻擊成功率收斂速度越快。

2）日蝕攻擊能夠顯著增加攻擊成功率和后門傳播速度。

5.3? 后門防御效果對比與分析

首先對基于模型逆向的觸發(fā)器生成算法進(jìn)行實驗驗證。為了對比逆向觸發(fā)器生成算法在不同的攻擊方案和測試對象上的效果，我們分別采用集中式和分布式后門植入方案，又在分布式后門攻擊方案中分別測試全局模型和本地模型，得到原始觸發(fā)器和關(guān)于目標(biāo)標(biāo)簽的逆向觸發(fā)器對比，如圖4所示。

1）與集中式后門植入相比較，在分布式后門植入方案下，觸發(fā)器生成算法難以完全恢復(fù)全局觸發(fā)器，這是由本地觸發(fā)器在植入過程中的非同步性和耦合性造成的。

2）在分布式后門植入方案下，全局模型和本地模型的逆向觸發(fā)器也有差別，這與輪次內(nèi)參與訓(xùn)練的惡意節(jié)點有關(guān)。例如在圖4（c）中，參與訓(xùn)練的惡意節(jié)點N1和N4分別使用不同的本地觸發(fā)器對訓(xùn)練數(shù)據(jù)進(jìn)行投毒，因此對于本輪的全局模型，逆向觸發(fā)器的特征更接近于這兩個本地觸發(fā)器的組合。而N1和N4各自的本地模型則只對各自的本地觸發(fā)器敏感度更高。

因此，相較于集中式植入或全局模型檢測，分布式后門植入方案中的惡意本地模型更容易被后門檢測方法所捕獲，因為其逆向觸發(fā)器有更小的L1范數(shù)。

觀察信任動態(tài)度量算法的效果。設(shè)置總節(jié)點數(shù)為6，其中訓(xùn)練節(jié)點數(shù)為4，惡意節(jié)點編號為1，中毒樣本比例為16/64，起始檢測輪次為9，節(jié)點信任閾值為0。第9輪和第10輪中節(jié)點可信度的度量值變化如圖5所示。其中第9輪的訓(xùn)練節(jié)點為1、2、3、5，第10輪的訓(xùn)練節(jié)點為1、3、4、6。結(jié)果表明，在惡意節(jié)點1開始投毒后，信任度量算法能夠迅速識別其惡意模型更新。

觀察全局模型在通信輪次中CA和ASR的變化。設(shè)置總節(jié)點數(shù)為20，惡意節(jié)點數(shù)為4，中毒樣本比例為16/64，起始檢測輪次為50。全局模型的CA和ASR變化曲線如圖6所示，當(dāng)驗證節(jié)點在第50輪開始進(jìn)行后門檢測后，攻擊成功率迅速降低，在此后10輪以內(nèi)降至5%以下，且不再上升。

取未開始后門檢測的第49輪到開始檢測的第60輪，衡量防御效果，可得ARD = 87.4%，CAD = 14.2%，驗證了此防御方法對后門攻擊的有效性。

6? 結(jié)? 論

本文首先介紹了群體學(xué)習(xí)中模型跨鏈訓(xùn)練機(jī)制的工作流程，然后研究了日蝕攻擊和分布式后門攻擊在群體學(xué)習(xí)環(huán)境下的可組合性，最后通過多級信任度量模型把用戶認(rèn)證與后門檢測、信任管理相結(jié)合，形成基于多級信任度量的后門威脅防護(hù)機(jī)制。實驗中，將所提方法集成在了群體學(xué)習(xí)的節(jié)點交叉驗證過程中。結(jié)果表明，本文提出的防護(hù)方案能夠?qū)崿F(xiàn)后門模型的動態(tài)剔除和異常節(jié)點的實時注銷，有效抑制了后門威脅在群體學(xué)習(xí)中非法散播。

參考文獻(xiàn)：

[1] WARNAT-HERRESTHAL S，SCHULTZE H，SHASTRY K L，et al. Swarm learning for decentralized and confidential clinical machine learning [J].Nature，2021，594（7862）：265-270.

[2] 楊強(qiáng)，童詠昕，王晏晟，等.群體智能中的聯(lián)邦學(xué)習(xí)算法綜述 [J].智能科學(xué)與技術(shù)學(xué)報，2022，4（1）：29-44.

[3] HAN J，MA Y，HAN Y，et al. Demystifying Swarm Learning： A New Paradigm of Blockchain-based Decentralized Federated Learning [J/OL].arXiv：2201.05286 [cs.LG].[2023-03-06].https：//arxiv.org/abs/2201.05286v1.

[4] 王雷，任南，李保珍.區(qū)塊鏈51%雙花攻擊的進(jìn)化博弈及防控策略研究 [J].計算機(jī)工程與應(yīng)用，2020，56（3）：28-34.

[5] 韓璇，袁勇，王飛躍.區(qū)塊鏈安全問題：研究現(xiàn)狀與展望 [J].自動化學(xué)報，2019，45（1）：206-225.

[6] GU T Y，DOLAN-GAVITT B，GARG S. BadNets： Identifying Vulnerabilities in the Machine Learning Model Supply Chain [J/OL].arXiv：1708.06733 [cs.CR].[2023-03-06].https：//arxiv.org/abs/1708.06733.

[7] BAGDASARYAN E，VEIT A，HUA Y Q，et al. How To Backdoor Federated Learning [J/OL].arXiv：1807.00459 [cs.CR].[2023-03-06].https：//arxiv.org/abs/1807.00459.

[8] LIU Y Q，MA S Q，AAFER Y，et al. Trojaning Attack on Neural Networks [EB/OL].[2023-02-16].https：//docs.lib.purdue.edu/cgi/viewcontent.cgi？referer=&httpsredir=1&article=2782&context=cstech.

[9] YAN Z C，LI G L，TIAN Y，et al. DeHiB： Deep Hidden Backdoor Attack on Semi-supervised Learning via Adversarial Perturbation [C]//National Conference on Artificial Intelligence.[S.I.]：AAAI Press，2021，35（12）：10585-10593.

[10] CHEN B，CARVALHO W，BARACALDO N，et al. Detecting Backdoor Attacks on Deep Neural Networks by Activation Clustering [J/OL].arXiv：1811.03728 [cs.LG].[2023-02-16].https：//arxiv.org/abs/1811.03728.

[11] WANG B L，YAO Y S，SHAN S，et al. Neural Cleanse： Identifying and Mitigating Backdoor Attacks in Neural Networks [C]//2019 IEEE Symposium on Security and Privacy （SP）.San Francisco：IEEE，2019：707-723.

[12] LI Y G，LYU X X，KOREN N，et al. Neural Attention Distillation： Erasing Backdoor Triggers from Deep Neural Networks [J/OL].arXiv：2101.05930 [cs.LG].[2023-02-16].https：//arxiv.org/abs/2101.05930.

[13] LIU W Y，CHENG J H，WANG X L，et al. Hybrid differential privacy based federated learning for Internet of Things [J/OL].Journal of Systems Architecture，2022，124：[2023-02-16].https：//doi.org/10.1016/j.sysarc.2022.102418.

[14] 朱建明，張沁楠，高勝，等.基于區(qū)塊鏈的隱私保護(hù)可信聯(lián)邦學(xué)習(xí)模型 [J].計算機(jī)學(xué)報，2021，44（12）：2464-2484.

[15] CHEN H，ASIF S A，PARK J H，et al. Robust Blockchained Federated Learning with Model Validation and Proof-of-Stake Inspired Consensus [J/OL].arXiv：2101.03300 [cs.LG].[2023-02-23].https：//arxiv.org/abs/2101.03300.

[16] XIE C L，HUANG K L，CHEN P Y，et al. DBA： Distributed Backdoor Attacks against Federated Learning [C]//International Conference on Learning Representations（ICLR 2020）.Addis Ababa：[s.n.]，2020：1-15.

作者簡介：陳貝（2001.04—），女，漢族，安徽安慶人，碩士在讀，研究方向：人工智能安全；李高磊（1992.12—），男，漢族，河南開封人，助理教授，研究方向：人工智能與系統(tǒng)安全。