彭長(zhǎng)根，高婷，劉惠籃，丁紅發(fā)

（1.貴州大學(xué)公共大數(shù)據(jù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，貴州 貴陽(yáng) 550025；2.貴州大學(xué)密碼學(xué)與數(shù)據(jù)安全研究所，貴州 貴陽(yáng) 550025；3.貴州大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，貴州 貴陽(yáng) 550025；4.貴州財(cái)經(jīng)大學(xué)信息學(xué)院，貴州 貴陽(yáng) 550025）

0 引言

物聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算等新興技術(shù)使海量數(shù)據(jù)的采集、存儲(chǔ)和處理成為可能，人工智能特別是機(jī)器學(xué)習(xí)理論與技術(shù)的快速發(fā)展，使其在安防、交通、醫(yī)療等各領(lǐng)域得到了廣泛應(yīng)用。與此同時(shí)，機(jī)器學(xué)習(xí)的安全與隱私問(wèn)題成為人們關(guān)注的焦點(diǎn)，有學(xué)者提出了對(duì)抗樣本攻擊[1]、數(shù)據(jù)投毒攻擊[2]、模型推斷以及成員推理[3-4]等各類安全與隱私攻擊模型。這些有效的攻擊方法引發(fā)了人們對(duì)機(jī)器學(xué)習(xí)的擔(dān)憂，同時(shí)也成為機(jī)器學(xué)習(xí)發(fā)展的內(nèi)生動(dòng)力之一，推動(dòng)科學(xué)研究人員和工程技術(shù)人員研發(fā)安全性與隱私性更好的機(jī)器學(xué)習(xí)算法和模型[5]。研究機(jī)器學(xué)習(xí)隱私攻擊模型能夠推動(dòng)人們更加深入地理解機(jī)器學(xué)習(xí)模型的深層機(jī)理，揭示隱私泄露的本質(zhì)原因，有利于更好地防范機(jī)器學(xué)習(xí)模型的隱私泄露風(fēng)險(xiǎn)，并有利于推動(dòng)設(shè)計(jì)更加高效保護(hù)隱私的機(jī)器學(xué)習(xí)模型。

機(jī)器學(xué)習(xí)成員推理攻擊是敵手通過(guò)分析機(jī)器學(xué)習(xí)模型來(lái)推斷目標(biāo)數(shù)據(jù)樣本是否包含于該機(jī)器學(xué)習(xí)模型訓(xùn)練樣本數(shù)據(jù)集的一種隱私攻擊方法，該攻擊主要作用于訓(xùn)練樣本數(shù)據(jù)集，威脅機(jī)器學(xué)習(xí)訓(xùn)練樣本的成員關(guān)系隱私?，F(xiàn)有工作大致可分為黑盒成員推理攻擊和白盒成員推理攻擊兩類。

在黑盒成員推理攻擊中，一類方法是基于模型預(yù)測(cè)置信度的成員推理[3-4,6-7]；另一類方法是基于標(biāo)簽決策的成員推理[8-10]。這兩類攻擊方法僅能通過(guò)查詢目標(biāo)模型獲得輸入輸出對(duì)，而不能獲得任何關(guān)于模型的額外數(shù)據(jù)，即借助目標(biāo)模型的輸出結(jié)果來(lái)完成成員推理。其中，基于模型預(yù)測(cè)置信度的成員推理作為一種需要借助目標(biāo)模型的置信向量輸出來(lái)進(jìn)行推斷的技術(shù)，能夠?qū)嵤┏晒υ从跈C(jī)器學(xué)習(xí)固有的過(guò)擬合特性，即成員數(shù)據(jù)的輸出向量的分布更集中，而非成員數(shù)據(jù)的輸出向量的分布相對(duì)平緩。盡管這些工作在黑盒設(shè)置下取得了不錯(cuò)的進(jìn)展，但由于企業(yè)的訪問(wèn)限制，敵手無(wú)法從目標(biāo)模型中獲得足夠多樣本的預(yù)測(cè)向量。更關(guān)鍵的是，這類攻擊模型難以突破MemGuard[11]防御。因此，研究者進(jìn)一步提出基于標(biāo)簽決策的成員推理，其僅需借助目標(biāo)模型的輸出標(biāo)簽即可進(jìn)行成員推理，推斷者將模型返回的最大預(yù)測(cè)標(biāo)簽作為推斷輸入，在預(yù)測(cè)模型訓(xùn)練集與測(cè)試集的過(guò)程中引入了擾動(dòng)難度，提高了成員推理的穩(wěn)健性，因此被廣泛應(yīng)用于機(jī)器學(xué)習(xí)的安全和隱私領(lǐng)域。預(yù)測(cè)標(biāo)簽與對(duì)抗樣本、影子技術(shù)[3]相結(jié)合，能夠提升模型的穩(wěn)健性及推理精度，但其難以保證推理的可信度和數(shù)據(jù)訪問(wèn)的低成本與可遷移性。例如，Yeom 等[8]定量分析了訓(xùn)練集和測(cè)試集的攻擊性能與損失之間的關(guān)系，提出了基于過(guò)擬合特性下的基線攻擊。隨后，Choo 等[9]提出了一種類似邊界攻擊的方法。通過(guò)將機(jī)器學(xué)習(xí)的過(guò)擬合特性映射到訓(xùn)練集樣本與測(cè)試集樣本的擾動(dòng)問(wèn)題中，借助對(duì)抗樣本解決傳統(tǒng)成員推理固有的過(guò)擬合問(wèn)題。但是，該類攻擊訪問(wèn)成本過(guò)，限定訪問(wèn)次數(shù)會(huì)導(dǎo)致攻擊失效，這在一定程度上削弱了算法的推斷精度，給推斷者的具體實(shí)施帶來(lái)了巨大挑戰(zhàn)。

在白盒成員推理攻擊中[12-15]，攻擊者可以對(duì)目標(biāo)模型進(jìn)行白盒訪問(wèn)。在此條件下，攻擊者可以獲得目標(biāo)模型所使用的云訓(xùn)練平臺(tái)的相關(guān)信息，或直接獲得目標(biāo)模型的訓(xùn)練算法、內(nèi)部參數(shù)、模型結(jié)構(gòu)、中間結(jié)果等信息，從而構(gòu)建與目標(biāo)模型預(yù)測(cè)能力相似的模型。鑒于先前的攻擊方法很少用到這些信息，于是，Nasr 等[12]將成員推理攻擊拓展到基于先驗(yàn)知識(shí)的白盒設(shè)置，將從目標(biāo)模型獲得的激活函數(shù)和梯度信息作為推斷的特征，來(lái)進(jìn)行成員推理，還提出了針對(duì)聯(lián)邦學(xué)習(xí)的主動(dòng)成員推理攻擊。接著，Hayes 等[13]在應(yīng)對(duì)生成對(duì)抗網(wǎng)絡(luò)（GAN,generative adversarial network）的成員推理攻擊的工作中也提到了一種白盒攻擊，該攻擊僅使用GAN 鑒別器部分的輸出，而不需要鑒別器或生成器的學(xué)習(xí)權(quán)重即可完成推斷。除此之外，Long 等[15]提出了一種針對(duì)泛化性良好的模型的成員推理攻擊并稱為GMIA。在此種模型下，不是所有的數(shù)據(jù)都易遭受成員推理攻擊，因此需要找到易受到成員推理攻擊的脆弱數(shù)據(jù)點(diǎn)來(lái)進(jìn)行推理。盡管現(xiàn)有的白盒成員推理能夠?qū)崿F(xiàn)較好的攻擊效果，但由于在實(shí)際場(chǎng)景中機(jī)器模型通常部署為黑盒模型，其所需的模型知識(shí)在實(shí)際機(jī)器學(xué)習(xí)應(yīng)用場(chǎng)景中難以得到滿足。

綜上，黑盒成員推理攻擊在機(jī)器學(xué)習(xí)模型中有更加廣泛的應(yīng)用，但現(xiàn)有的黑盒成員推理攻擊存在訪問(wèn)成本高、可遷移性弱、穩(wěn)健性差等問(wèn)題。針對(duì)這些問(wèn)題，本文通過(guò)引入決策邊界搜索過(guò)程中基于距離的符號(hào)梯度方法[16]，從擾動(dòng)樣本出發(fā)將擾動(dòng)難度映射到距離范疇，提出一種快速?zèng)Q策成員推理攻擊fast-attack。其次，針對(duì)快速?zèng)Q策成員推理攻擊存在的低遷移率問(wèn)題，將快速?zèng)Q策成員推理攻擊中的基于擾動(dòng)算法與主成分分析（PCA,principle component analysis）技術(shù)相結(jié)合，本文提出一種基于PCA 的成員推理攻擊PCA-based attack，以抑制fast-attack 因過(guò)度依賴模型而導(dǎo)致的低遷移行為。本文的具體貢獻(xiàn)如下。

1)提出一種快速?zèng)Q策成員推理攻擊fast-attack。以預(yù)測(cè)標(biāo)簽作為模型的輸入，通過(guò)引入自適應(yīng)貪婪算法與二分搜索來(lái)確定決策邊界的對(duì)抗樣本，將擾動(dòng)難度映射到距離范疇來(lái)尋找預(yù)測(cè)差異，從而實(shí)現(xiàn)成員推理，降低了攻擊參與方的查詢成本，適用于低成本攻擊的目標(biāo)場(chǎng)景。

2)提出一種基于主成分分析的成員推理攻擊PCA-based attack。基于流形界面對(duì)高維數(shù)據(jù)的影響設(shè)計(jì)基于主成分技術(shù)的嵌入映射，通過(guò)邏輯判別實(shí)現(xiàn)細(xì)粒度的成員推理，解決了fast-attack 因過(guò)度依賴模型造成的過(guò)擬合特定機(jī)器學(xué)習(xí)模型的問(wèn)題。

3)仿真實(shí)驗(yàn)表明，fast-attack 在降低訪問(wèn)成本的同時(shí)攻擊精度達(dá)到75%。而PCA-based attack 在無(wú)監(jiān)督的設(shè)置下優(yōu)于基線攻擊，攻擊性能與目前黑盒成員推理攻擊相匹敵，且模型遷移率比f(wàn)ast-attack提升10%。除此之外，還評(píng)估了2 種算法的抵抗防御能力，實(shí)驗(yàn)表明本文攻擊對(duì)大多數(shù)防御技術(shù)都具有不錯(cuò)的攻擊效果，且具有強(qiáng)穩(wěn)健性。

1 基礎(chǔ)知識(shí)

本節(jié)主要介紹成員推理攻擊涉及的數(shù)學(xué)符號(hào)和相關(guān)定義。

1.1 符號(hào)說(shuō)明

本文所涉及數(shù)學(xué)符號(hào)如表1 所示。

表1 符號(hào)說(shuō)明

1.2 相關(guān)定義介紹

1.2.1 成員推理攻擊

成員推理攻擊是一種通過(guò)分析目標(biāo)模型來(lái)確定給定數(shù)據(jù)樣本是否存在于該目標(biāo)模型的訓(xùn)練集中的攻擊方法[3]。當(dāng)給定x，目標(biāo)模型f以及敵手的先驗(yàn)知識(shí)Ω，得到相應(yīng)的成員推理攻擊為

其中，1 代表x存在于目標(biāo)模型的訓(xùn)練數(shù)據(jù)集中，反之不存在。

1.2.2 流形學(xué)習(xí)

流形學(xué)習(xí)是一種新的機(jī)器學(xué)習(xí)方法，它能夠?qū)τ?xùn)練集中的高維數(shù)據(jù)空間進(jìn)行非線性降維，揭示其流形分布，從中找到隱藏在高維觀測(cè)數(shù)據(jù)中有意義的低維結(jié)構(gòu)，以便從中提取易于識(shí)別的特征。其目標(biāo)是發(fā)現(xiàn)嵌入高維數(shù)據(jù)空間中的低維流形結(jié)構(gòu)，并給出一個(gè)有效的低維表示。

1.2.3 主成分分析

主成分分析是一種線性數(shù)據(jù)變換方式，可以把可能具有相關(guān)性的高維變量合成線性無(wú)關(guān)的低維變量，數(shù)據(jù)在主成分方向上的投影擁有最大方差。該技術(shù)的主要目標(biāo)是通過(guò)線性變換尋找一組最優(yōu)的單位正交向量基，并用它們的線性組合來(lái)重構(gòu)原樣本，以使重構(gòu)后的樣本和原樣本的誤差最小。

2 成員推理攻擊

基于訓(xùn)練樣本比測(cè)試樣本更難被擾動(dòng)的假設(shè)原理，本文提出新的成員推理攻擊，其流程如圖1 所示。

圖1 成員推理攻擊的流程

由圖1 可知，給定目標(biāo)數(shù)據(jù)，通過(guò)分析目標(biāo)模型得到相應(yīng)的預(yù)測(cè)標(biāo)簽。結(jié)合目標(biāo)數(shù)據(jù)和預(yù)測(cè)標(biāo)簽作為攻擊模型的輸入，得到成員與非成員的決策判別。其中，攻擊模型的設(shè)定通過(guò)確定決策邊界，將擾動(dòng)難度映射到距離范疇來(lái)構(gòu)建快速?zèng)Q策成員推理攻擊。此外，將前者基于擾動(dòng)的攻擊方案與主成分分析技術(shù)相結(jié)合，不需要訪問(wèn)目標(biāo)模型，進(jìn)一步構(gòu)造出基于主成分分析的成員推理攻擊。與一般的成員推理攻擊方法不同，本文借助擾動(dòng)難度來(lái)區(qū)分成員樣本和非成員樣本，該擾動(dòng)難度主要通過(guò)目標(biāo)數(shù)據(jù)與其對(duì)抗樣本之間的歐氏距離來(lái)衡量，實(shí)現(xiàn)以較少先驗(yàn)信息資源高效推斷出目標(biāo)模型的訓(xùn)練數(shù)據(jù)集隱私數(shù)據(jù)，降低成本需求。

2.1 快速?zèng)Q策成員推理攻擊

針對(duì)目前大多數(shù)黑盒成員推理攻擊因過(guò)擬合而導(dǎo)致的高精度攻擊這一問(wèn)題，以及目前基于標(biāo)簽決策的成員推理存在的高反饋訪問(wèn)成本問(wèn)題，本文引入文獻(xiàn)[16]的擾動(dòng)樣本生成方案，構(gòu)造了一個(gè)快速?zèng)Q策成員推理攻擊fast-attack。該攻擊主要包含2 個(gè)步驟：對(duì)抗樣本生成和邏輯判別。首先以預(yù)測(cè)標(biāo)簽作為模型的輸入，引入自適應(yīng)貪婪算法與二分搜索對(duì)目標(biāo)進(jìn)行決策變動(dòng)，生成對(duì)抗樣本；然后計(jì)算對(duì)抗樣本與原始目標(biāo)之間的歐氏距離，將擾動(dòng)難度映射到距離范疇來(lái)尋找目標(biāo)模型的訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)的預(yù)測(cè)差異；最后將預(yù)測(cè)差異進(jìn)行邏輯判別獲得細(xì)粒度的成員信號(hào)，以實(shí)現(xiàn)目標(biāo)人群的成員推理。

通過(guò)將機(jī)器學(xué)習(xí)的過(guò)擬合特性映射到訓(xùn)練集樣本與測(cè)試集樣本的擾動(dòng)問(wèn)題中，借助對(duì)抗樣本解決傳統(tǒng)成員推理固有的過(guò)擬合問(wèn)題。通過(guò)將自適應(yīng)貪婪算法與二分搜索相結(jié)合來(lái)確定決策邊界，解決了目前黑盒成員推理攻擊固有的高成本問(wèn)題。

在對(duì)抗樣本生成的過(guò)程中，首先通過(guò)向源數(shù)據(jù)添加高斯擾動(dòng)得到對(duì)抗樣本的初始值，然后引入二分搜索和自適應(yīng)貪婪算法沿著對(duì)抗性區(qū)域和非對(duì)抗性區(qū)域之間的邊界執(zhí)行隨機(jī)游走，使它停留在對(duì)抗區(qū)域，并且減小到目標(biāo)圖像的距離。最后，結(jié)合獲得的擾動(dòng)樣本來(lái)提取關(guān)于分類器決策邊界的細(xì)粒度信息，從而進(jìn)行成員推理。

定義1對(duì)抗樣本生成中得到的損失函數(shù)為

其中，u(·)=min(maxi≠tfi(·)-ft(·),0)。

該損失函數(shù)計(jì)算是一個(gè)難解問(wèn)題，因此，本文基于貪婪算法的局部隨機(jī)優(yōu)化進(jìn)行邊界搜索，得到映射方向g為

其中，ε 為方向距離參數(shù)，xt,xt+1為迭代擾動(dòng)點(diǎn)。接著，沿著該方向以一定步長(zhǎng)進(jìn)行隨機(jī)邊界游走，多次迭代搜索生成相應(yīng)的對(duì)抗樣本為

最后，計(jì)算對(duì)抗樣本與原始目標(biāo)數(shù)據(jù)之間的歐氏距離Lp(x,xadv)，并與獲得的閾值τ進(jìn)行判別完成攻擊。具體如下，給定目標(biāo)數(shù)據(jù)點(diǎn)到模型邊界的距離的估計(jì)distf(x)=。如果distf>τ，則將x分類為訓(xùn)練集成員。如果 distf=0，則認(rèn)為該目標(biāo)數(shù)據(jù)點(diǎn)在決策邊界上，分類錯(cuò)誤。同時(shí)調(diào)整閾值τ，使該算法在本實(shí)驗(yàn)數(shù)據(jù)上效果最佳。

綜上，fast-attack 的偽代碼如算法1 所示。

其中，步驟1)是相關(guān)變量初始化；步驟2)中的①保證在給定最大擾動(dòng)及最大訪問(wèn)的條件下，借助自適應(yīng)貪婪算法獲得局部最優(yōu)方向，使每個(gè)樣本點(diǎn)接近決策邊界；步驟2)中的②、③表示沿著最優(yōu)方向，進(jìn)行迭代更新，獲取最貼近決策邊界的對(duì)抗樣本點(diǎn)；步驟3)、步驟4)借助對(duì)抗樣本進(jìn)行邏輯判別，進(jìn)而成功推斷出目標(biāo)樣本點(diǎn)。算法中相關(guān)參數(shù)的取值見(jiàn)實(shí)驗(yàn)部分。

2.2 基于PCA 的成員推理攻擊

盡管上文提到的快速?zèng)Q策成員推理攻擊能夠降低模型交互產(chǎn)生的成本，但是面對(duì)訪問(wèn)受限、標(biāo)記訓(xùn)練樣本不足的系統(tǒng)，該種攻擊將失去威脅效用。除此之外，該種攻擊因過(guò)度依賴模型將導(dǎo)致攻擊的遷移率低下。因此，本節(jié)針對(duì)以上問(wèn)題提出一種新的改進(jìn)攻擊，即基于主成分分析的成員推理攻擊PCA-based attack，其將快速?zèng)Q策成員推理攻擊中基于擾動(dòng)算法與主成分分析技術(shù)相結(jié)合來(lái)完成成員推理，框架如圖2 所示。該攻擊通過(guò)主成分分析技術(shù)模擬流模型生成對(duì)抗性區(qū)域，借助對(duì)抗性區(qū)域來(lái)構(gòu)建決策區(qū)間進(jìn)而實(shí)行成員推理，實(shí)現(xiàn)以較少先驗(yàn)信息資源有效推斷出目標(biāo)系統(tǒng)隱私數(shù)據(jù)，從而降低對(duì)目標(biāo)系統(tǒng)歷史訪問(wèn)信息的要求。

圖2 PCA-based attack 框架

基于PCA 技術(shù)，本文的成員推理攻擊可劃分為以下3 個(gè)階段。

1)對(duì)抗區(qū)域生成階段

盡管已有的成員推理攻擊對(duì)泛化性能良好的模型[17-20]失效，但廣義良好的模型對(duì)分布在x點(diǎn)與流形切平面正交方向上的畸變高度敏感。成員推理中，需要尋找成員與非成員數(shù)據(jù)的識(shí)別特征差異，進(jìn)而實(shí)行判別。數(shù)據(jù)的識(shí)別特征差異可以通過(guò)非線性降維，揭示其流形分布，從中找到隱藏在高維觀測(cè)數(shù)據(jù)中有意義的低維結(jié)構(gòu)，以便從中提取易于識(shí)別的特征。因此，在這一階段通過(guò)PCA 技術(shù)進(jìn)行數(shù)據(jù)降維，在低維流形界面[21]尋找數(shù)據(jù)的正交映射方向，并選取滿足條件的擾動(dòng)步長(zhǎng)，最終獲取原始數(shù)據(jù)的對(duì)抗區(qū)域。

定義2流形界面為H，流形界面的映射樣本點(diǎn)為

沿用Zhang 等[22]的定義，得到對(duì)抗區(qū)域?yàn)?/p>

其中，ηl表示最小的誤分類擾動(dòng)步長(zhǎng)，ηu表示不易察覺(jué)的最大擾動(dòng)步長(zhǎng)。

2)對(duì)抗樣本生成階段

由于對(duì)抗區(qū)域依賴于獨(dú)立于分類模型的數(shù)據(jù)流形，因此可以根據(jù)對(duì)抗區(qū)域的定義，用無(wú)監(jiān)督方法生成對(duì)抗性示例。計(jì)算過(guò)程為

其中，流形M是很難顯式構(gòu)造的，特別是對(duì)于復(fù)雜的現(xiàn)實(shí)世界數(shù)據(jù)集。因此，投影點(diǎn)x*=H(zH(x))不能直接計(jì)算。本文使用PCA 技術(shù)來(lái)近似流形M，以產(chǎn)生對(duì)抗性示例。推導(dǎo)過(guò)程為

其中，Y=PTx和Y*=PTx*用于主成分降維來(lái)模擬流形界面，得到)且

故

為遞減函數(shù)，可用簡(jiǎn)單函數(shù)替換。其中，使用結(jié)構(gòu)相似性和距離最小化原則選取合適的擾動(dòng)步長(zhǎng)為

3)成員推理階段

定義3成員推理函數(shù)h(x)。用h(x)表示目標(biāo)數(shù)據(jù)是否存在于推斷系統(tǒng)的訓(xùn)練集中，在邏輯判別函數(shù)的基礎(chǔ)上，采用以下成員推理函數(shù)

其中，h(x)為1 時(shí)，代表x在目標(biāo)模型的訓(xùn)練集中，反之不在。

綜上所述，PCA-based attack 的偽代碼如算法2所示。其中，步驟1)對(duì)數(shù)據(jù)進(jìn)行主成分降維處理，獲得流形界面；步驟2)～步驟4)進(jìn)行投影方向的搜尋，以獲得流形界面的投影點(diǎn)，進(jìn)而生成對(duì)抗樣本；步驟5)將原始數(shù)據(jù)與對(duì)抗數(shù)據(jù)之間的擾動(dòng)距離通過(guò)閾值判別，進(jìn)行成員推理。

3 方案分析

3.1 可行性分析

機(jī)器學(xué)習(xí)模型在預(yù)測(cè)訓(xùn)練集樣本時(shí)能以更高的精準(zhǔn)度進(jìn)行預(yù)測(cè)。在過(guò)擬合的情況下，訓(xùn)練集樣本的預(yù)測(cè)置信度明顯高于測(cè)試集樣本。因此可以判定訓(xùn)練集樣本相比測(cè)試集樣本更難被擾動(dòng)。另外，針對(duì)二進(jìn)制邏輯回歸模型的特殊情況，給定學(xué)習(xí)權(quán)重向量ω和偏置b，邏輯回歸模型的輸出為判別類的置信向量

其中，σ(t)=∈(0,1)為邏輯函數(shù)。

該模型表明，點(diǎn)x的置信度與從x到模型決策邊界的歐氏距離之間存在一定的正向關(guān)系。即從x到模型邊界的距離為

因此，獲得點(diǎn)到邊界的距離所產(chǎn)生的信息與已知模型的預(yù)測(cè)置信度的效果相同。部分研究表明[19-21]，成員推理的實(shí)施可通過(guò)計(jì)算目標(biāo)點(diǎn)到邊界的距離，而其正是找到最小對(duì)抗性擾動(dòng)的問(wèn)題。

對(duì)驗(yàn)證數(shù)據(jù)進(jìn)行實(shí)驗(yàn)分析（見(jiàn)附錄1），決策判別如圖3 所示，成員樣本相比于非成員樣本，距離決策邊界更遠(yuǎn)，更難被擾動(dòng)，進(jìn)一步說(shuō)明成員推理攻擊可轉(zhuǎn)變?yōu)榍笞钚_動(dòng)問(wèn)題。

圖3 決策判別

3.2 遷移性分析

本文提出的PCA-based attack 主要是通過(guò)主成分分析技術(shù)進(jìn)行數(shù)據(jù)降維，在低維流形界面尋找數(shù)據(jù)的正交映射方向來(lái)獲取原始數(shù)據(jù)的對(duì)抗樣本，再結(jié)合快速?zèng)Q策成員推理攻擊中基于擾動(dòng)范疇的算法思想來(lái)進(jìn)行成員推理。高維數(shù)據(jù)在流模型上的數(shù)據(jù)映射如圖4 所示，在面對(duì)分類圖像問(wèn)題時(shí)，將每個(gè)類別的數(shù)據(jù)映射到相應(yīng)的流形界面，流形上的數(shù)據(jù)點(diǎn)可以局部地用一個(gè)低維向量來(lái)表征。對(duì)于一個(gè)D維空間上的樣本點(diǎn)x0，沿著d維空間的流形界面H(z)的映射方向進(jìn)行搜尋，可得到相應(yīng)的對(duì)抗區(qū)域和對(duì)抗樣本。

圖4 高維數(shù)據(jù)在流模型上的數(shù)據(jù)映射

此外，根據(jù)對(duì)抗區(qū)域的定義，對(duì)抗區(qū)域中的數(shù)據(jù)點(diǎn)對(duì)所有機(jī)器學(xué)習(xí)模型算法都構(gòu)成了潛在威脅。由于不同的機(jī)器學(xué)習(xí)模型算法可能具有不同的決策超平面f1和f2，因此可以使用這些超平面將對(duì)抗區(qū)域劃分為2 個(gè)子集，即對(duì)抗子集Sadv和常規(guī)子集Sreg。如圖5 所示，對(duì)抗區(qū)域由超平面f1劃分得到。若該對(duì)抗區(qū)域又被超平面f2劃分，此時(shí)將總共得到4 個(gè)區(qū)域子集。此時(shí)的都被劃分為對(duì)抗子集，即，則表明2 個(gè)決策模型都對(duì)中的樣本進(jìn)行錯(cuò)誤分類。即2 個(gè)對(duì)抗子集的交集中的樣本能夠在2 個(gè)模型之間傳遞，該原理說(shuō)明PCA-based attack 具有較強(qiáng)的可遷移性。

圖5 決策模型的對(duì)抗區(qū)域

4 仿真實(shí)驗(yàn)

為了驗(yàn)證本文提出的PCA-based attack 的有效性，本文在3 個(gè)真實(shí)數(shù)據(jù)集和一種卷積神經(jīng)網(wǎng)絡(luò)模型上進(jìn)行實(shí)驗(yàn)，并與最新攻擊進(jìn)行比較，驗(yàn)證本文攻擊的有效性。

4.1 數(shù)據(jù)與實(shí)驗(yàn)參數(shù)設(shè)置

本文對(duì)CIFAR10[4]、CIFAR100[4]和GTSRB[4]這3 個(gè)經(jīng)典的圖像數(shù)據(jù)集進(jìn)行成員推理實(shí)驗(yàn)。首先，基于每個(gè)數(shù)據(jù)集訓(xùn)練3 組不同數(shù)量的數(shù)據(jù)用于訓(xùn)練模型。另外，由于快速?zèng)Q策成員推理攻擊需要多次查詢來(lái)擾亂數(shù)據(jù)樣本以更改它們的預(yù)測(cè)標(biāo)簽，因此為基于距離符號(hào)梯度的快速?zèng)Q策成員推理攻擊設(shè)置了查詢上限 1×105，以進(jìn)一步研究查詢成本對(duì)推斷性能的影響。為了研究PCA-based attack 對(duì)不同機(jī)器學(xué)習(xí)模型的遷移效果，增添了一組實(shí)驗(yàn)數(shù)據(jù)集MNIST[3]，且另外部署了4 組不同架構(gòu)設(shè)置的卷積神經(jīng)網(wǎng)絡(luò){CNN7,CNN8,CNN9,CNN12}用于比較算法的遷移。最后，為了進(jìn)行評(píng)估，對(duì)Dtarget中的數(shù)據(jù)進(jìn)行隨機(jī)重組，一部分用于訓(xùn)練目標(biāo)模型f，即Dtrain，作為目標(biāo)模型的成員樣本；另一部分Dtest作為非成員樣本。評(píng)估算法效率時(shí)，使用相同大小的集合來(lái)最大限度地提高推斷的不確定性。

本文實(shí)驗(yàn)的源模型是CNN，模型訓(xùn)練采用Adam[23]優(yōu)化器進(jìn)行優(yōu)化，其中epoch=15，batch size=128，learning rate=1×10-4，decay=1×10-6。

由于AUC 指標(biāo)考慮了閾值變動(dòng)的影響，且ROC 曲線有一個(gè)很好的特性：當(dāng)測(cè)試集中的正負(fù)樣本分布發(fā)生變化時(shí)，ROC 曲線保持不變。因此，本文實(shí)驗(yàn)的評(píng)價(jià)指標(biāo)采用AUC。

4.2 對(duì)比攻擊方法

為了驗(yàn)證PCA-based attack 的有效性，本文將其與快速?zèng)Q策成員推理攻擊和其他3 種攻擊進(jìn)行比較，分別為 score-based attack[3-4,7,24-25]、baselineattack[8]和boundary-attack[9]。下面對(duì)3 種攻擊進(jìn)行簡(jiǎn)要介紹。

1)score-based attack。該攻擊將攻擊轉(zhuǎn)化為一個(gè)有監(jiān)督的二分類問(wèn)題，利用模擬數(shù)據(jù)集構(gòu)建類似目標(biāo)模型的影子模型，并基于影子模型和目標(biāo)模型的輸出結(jié)果訓(xùn)練一個(gè)能夠判斷是否是目標(biāo)模型訓(xùn)練數(shù)據(jù)的攻擊模型。

2)baseline-attack。該攻擊通過(guò)數(shù)據(jù)樣本是否被正確分類來(lái)進(jìn)行成員推理。若目標(biāo)數(shù)據(jù)被錯(cuò)誤分類，則認(rèn)定該數(shù)據(jù)為非成員數(shù)據(jù)，反之為成員數(shù)據(jù)。具體表達(dá)式為

在實(shí)際應(yīng)用中，不管是模型穩(wěn)定的算法還是容易過(guò)度擬合的算法都容易受到成員推理攻擊。

3)boundary-attack。該攻擊中，對(duì)手不能訪問(wèn)預(yù)測(cè)置信得分，只能借助目標(biāo)模型的決策標(biāo)簽來(lái)發(fā)動(dòng)攻擊。首先利用擾動(dòng)技術(shù)對(duì)目標(biāo)數(shù)據(jù)點(diǎn)進(jìn)行決策變動(dòng)，生成對(duì)抗樣本；然后計(jì)算對(duì)抗樣本與原始目標(biāo)之間的變動(dòng)差異，進(jìn)而尋找訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)之間的預(yù)測(cè)差異；最后比較預(yù)測(cè)差異獲得細(xì)粒度的成員信號(hào)，以實(shí)現(xiàn)目標(biāo)人群的成員推理。

4.3 攻擊實(shí)驗(yàn)

在攻擊的過(guò)程中需要解決2 個(gè)主要的問(wèn)題。1)在只給定輸出標(biāo)簽的黑盒設(shè)置中，保證推理精度的同時(shí)需要降低訪問(wèn)成本。2)在訪問(wèn)成本受限的情況下，盡可能消除外在情況帶來(lái)的影響。

1)在黑盒設(shè)置下的推理性能

首先，為了驗(yàn)證攻擊方法在黑盒設(shè)置下對(duì)目標(biāo)模型的推理效果，本文在CNN 模型上對(duì)各攻擊進(jìn)行測(cè)試，不同攻擊在黑盒設(shè)置下的推理精度如表2 所示。

表2 不同攻擊在黑盒設(shè)置下的推理精度

由表2 可知，大部分的攻擊都能實(shí)現(xiàn)一定的推理性能。在規(guī)模較大的CIFAR10 數(shù)據(jù)集（5 000）和CIFAR100（8 000）數(shù)據(jù)集中，boundary-attack和fast-attack 的推理精度較高，其原因在于兩者均基于預(yù)測(cè)標(biāo)簽獲取最優(yōu)的擾動(dòng)來(lái)區(qū)分成員與非成員樣本，因此對(duì)細(xì)粒度的成員信號(hào)識(shí)別具有較大的影響。而在較小規(guī)模的GTSRB 數(shù)據(jù)集（600）中，兩者攻擊精度下降明顯，但fast-attack 依舊維持最優(yōu)攻擊。本文提出的PCA-based attack 雖然沒(méi)有得到最優(yōu)的推理精度，但是在整體上均能保持與score-based attack相近的性能。這也驗(yàn)證了PCA-based attack 能較好地對(duì)目標(biāo)模型進(jìn)行有力威脅。

本文提出的fast-attack 不僅在推理精度上取得了不錯(cuò)的效果，在降低成本方面也表現(xiàn)良好，fast-attack 精度隨著訪問(wèn)量的變化情況如圖6 所示。

圖6 fast-attack 精度隨著訪問(wèn)量的變化情況

在boundary-attack 中，實(shí)驗(yàn)設(shè)置訪問(wèn)量為0～15 000，當(dāng)訪問(wèn)量的值設(shè)置為10 000 時(shí)，在繼續(xù)增大訪問(wèn)量的情況下，攻擊性能不發(fā)生明顯變化。由圖6 可知，多次隨機(jī)實(shí)驗(yàn)，fast-attack 在限定訪問(wèn)量的情況下，相比boundary-attack，提前達(dá)到最優(yōu)攻擊性能。此外，該算法在GTSRB 數(shù)據(jù)集上收斂速度加倍。因此，本文提出的fast-attack 在保證推斷精度的情況下，降低了模型的訪問(wèn)量成本，甚至在少數(shù)數(shù)據(jù)集上，收斂速度翻倍。

2)成本受限情況下的遷移能力

從安全的角度來(lái)看，可遷移性是攻擊的一個(gè)重要屬性，因?yàn)樗箶呈帜軌騽?chuàng)建出可以攻擊任意目標(biāo)模型的算法。本文使用文獻(xiàn)[26-27]的標(biāo)準(zhǔn)來(lái)衡量可遷移性，即由 CNN7得出的對(duì)抗樣本同時(shí)又被其他決策模型錯(cuò)誤分類所占總體比重來(lái)衡量。

為了驗(yàn)證攻擊的模型遷移能力，本文在MNIST數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)，不同算法在MNIST 數(shù)據(jù)集的遷移率如表3 所示。

表3 不同算法在MNIST 數(shù)據(jù)集的遷移率

由表3 可知，PCA-based attack 的遷移率隨推斷精度的提升而變大，且明顯高于fast-attack。在推斷精度為0.65 時(shí)，PCA-based attack 整體遷移率低于fast-attack（數(shù)據(jù)量為50 000 和5 000 時(shí)），但隨著精度的提升，PCA-based attack 遠(yuǎn)超出其他攻擊。實(shí)驗(yàn)表明，PCA-based attack 的適應(yīng)范圍更廣，攻擊效能更強(qiáng)。盡管PCA-based attack 的推斷精度較低，但相比于fast-attack 需要依賴目標(biāo)模型來(lái)進(jìn)行推斷等決策方法，其不需要利用源模型的任何信息，即可構(gòu)建性能不錯(cuò)的成員攻擊。不同攻擊的部署結(jié)構(gòu)如表4所示。

由表4 可知，fast-attack 僅需預(yù)測(cè)標(biāo)簽即可進(jìn)行成員推理；而PCA-based attack 不需要目標(biāo)模型結(jié)構(gòu)僅需數(shù)據(jù)分布即可完成推斷。相比其他攻擊方案，所需條件更少，訪問(wèn)成本更低，更符合實(shí)際需求。其中，AUC 結(jié)果的設(shè)定基于CIFAR10 模型得到，作為前提條件，便于對(duì)比不同攻擊方案的部署結(jié)構(gòu)以及攻擊性能。

表4 不同攻擊的部署結(jié)構(gòu)（CIFAR10 數(shù)據(jù)集）

此外，基于主成分的決策邊界成員推理攻擊中，邏輯判別中的閾值選取尤為重要，實(shí)驗(yàn)通過(guò)L2距離閾值的設(shè)定來(lái)觀察攻擊性能。攻擊性能隨L2距離閾值變化如圖7 所示。由圖7 可知，攻擊性能隨L2 距離閾值呈凸型變化，在閾值0.5～1.5 達(dá)到峰值。實(shí)驗(yàn)表明，要得到一個(gè)較優(yōu)的算法需要選取中間的閾值。

圖7 攻擊性能隨L2 距離閾值變化

4.4 有效性分析

4.3節(jié)主要對(duì)PCA-based attack、fast-attack 和其他攻擊進(jìn)行比較，測(cè)試了不同場(chǎng)景、不同模型上的推理性能，本節(jié)將進(jìn)一步從抵抗防御角度探究所提方法的有效性。

1)泛化增強(qiáng)[3-4,28-33]?；谶^(guò)擬合造成的成員推理攻擊，該類方法借助L1、L2 正則化、隨機(jī)失活以及數(shù)據(jù)增強(qiáng)等措施降低模型的過(guò)擬合，在提升目標(biāo)模型預(yù)測(cè)性能的同時(shí)降低數(shù)據(jù)泄露的風(fēng)險(xiǎn)。

2)隱私增強(qiáng)[34-36]。差分隱私被廣泛用于降低隱 私威脅。該防御技術(shù)通過(guò)向模型梯度、目標(biāo)函數(shù)添加噪聲來(lái)防止數(shù)據(jù)的信息泄露。

3)置信度擾動(dòng)[11,37]。以往基于置信度分?jǐn)?shù)的推理攻擊能夠清晰地呈現(xiàn)成員細(xì)粒度信號(hào)。因此該類防御旨在改變置信度分?jǐn)?shù)，代表性技術(shù)為MemGuard 和Adversarial regularization，它們通過(guò)改變輸出概率分布，使成員與非成員難以區(qū)分從而實(shí)現(xiàn)防御。

為了驗(yàn)證本文所提攻擊的有效性，將不同的成員推理攻擊應(yīng)用于不同的防御技術(shù)，實(shí)驗(yàn)在CIFAR10 數(shù)據(jù)集上使用不同的防御指標(biāo)參數(shù)訓(xùn)練了3 組目標(biāo)模型，分別為L(zhǎng)1(λ∈[0.0001,0.001,0.005])，L2(λ∈[0.01,0.05,0.1])差分隱私添加的噪聲服從高斯分布 N(0,β),β∈[0.1,0.5,1.0]，數(shù)據(jù)增強(qiáng)通過(guò)改變模型訓(xùn)練數(shù)據(jù)集樣本量來(lái)驗(yàn)證。

實(shí)驗(yàn)表明，在β=1.0,λL1=0.005,λL2=0.1的情況下，大部分攻擊較低了方案的攻擊性能，但是損失了目標(biāo)模型的決策性能，影響模型的實(shí)際應(yīng)用。而PCA-based attack 并未受影響，是因?yàn)樵摴舨唤柚繕?biāo)模型進(jìn)行攻擊。本文結(jié)合實(shí)驗(yàn)和理論分析，不同攻擊的防御情況如表5 所示，其中，↓代表攻擊性能下降，—代表攻擊性能不變。由表5 可知，在大多數(shù)情況下，fast-attack 和PCA-based attack都能取得不錯(cuò)的效果，其不僅突破了常見(jiàn)的一些防御技術(shù)，甚至目前最優(yōu)的防御技術(shù)MemGuard 和Adversarial regularization 都失去了防御效用。因?yàn)榇蟛糠址烙胧┲饕糜诮档湍Ｐ偷倪^(guò)擬合，其針對(duì)基于過(guò)擬合得到的成員推理攻擊能夠產(chǎn)生顯著效果，但本文攻擊借助對(duì)抗樣本解決了傳統(tǒng)成員推理攻擊固有的過(guò)擬合問(wèn)題，且目前最優(yōu)防御技術(shù)的原理在于干擾模型的輸出置信度。因此，本文提出的成員推理攻擊能夠規(guī)避這些攻擊。盡管fast-attack和PCA-based attack 能夠規(guī)避大多數(shù)防御，但是前者難以抵擋差分隱私和L2 正則化防御，且后者也對(duì)數(shù)據(jù)增強(qiáng)失去效用。這是因?yàn)椴罘蛛[私通過(guò)向目標(biāo)函數(shù)添加噪聲干擾了敵手的攻擊，而數(shù)據(jù)增強(qiáng)技術(shù)會(huì)干擾流模型的形成，進(jìn)一步影響對(duì)抗樣本的生成。盡管如此，差分隱私在防御攻擊的同時(shí)也會(huì)干擾模型的效用，難以達(dá)到較優(yōu)的隱私-效用均衡且L2正則化在過(guò)強(qiáng)的防御干擾下同樣會(huì)使目標(biāo)模型失去效用。綜上，本文提出的攻擊具有較強(qiáng)的穩(wěn)健性和攻擊性。

表5 不同攻擊的防御情況

5 結(jié)束語(yǔ)

本文研究了機(jī)器學(xué)習(xí)訓(xùn)練數(shù)據(jù)集的隱私攻擊問(wèn)題，提出了新的成員推理隱私攻擊，即fast-attack和PCA-based attack。前者以低成本快速生成不易感知的對(duì)抗樣本，從而達(dá)到較高精度成員推理。而后者針對(duì)fast-attack存在的低遷移率問(wèn)題進(jìn)行改進(jìn)，將快速?zèng)Q策成員推理攻擊中基于擾動(dòng)算法與主成分分析技術(shù)相結(jié)合來(lái)進(jìn)行成員推理，能夠在不同模型之間進(jìn)行高效率遷移。盡管PCA-based attack 攻擊率低于fast-attack，但相比于fast-attack 需要依賴目標(biāo)模型來(lái)進(jìn)行推斷等一系列決策算法，其不需要利用源模型的任何信息即可完成成員推理。此外，本文提出的攻擊都能對(duì)大多數(shù)防御的機(jī)器學(xué)習(xí)模型進(jìn)行攻擊，在更嚴(yán)格的對(duì)抗模型中實(shí)現(xiàn)高精度的成員推理。

鑒于本文提出的攻擊是通過(guò)將機(jī)器學(xué)習(xí)的過(guò)擬合特性映射到訓(xùn)練集樣本與測(cè)試集樣本的擾動(dòng)問(wèn)題中，借助對(duì)抗樣本來(lái)實(shí)現(xiàn)成員推理。因此，未來(lái)的模型隱私防護(hù)工作可在對(duì)抗樣本的擾動(dòng)上進(jìn)行防御工作，進(jìn)而保護(hù)數(shù)據(jù)的隱私。

附錄1 驗(yàn)證數(shù)據(jù)的實(shí)驗(yàn)分析

對(duì)CIFAR10、CIFAR100、GTSRB 這3 組數(shù)據(jù)的評(píng)估數(shù)據(jù)集進(jìn)行擾動(dòng)差異驗(yàn)證，其中，擾動(dòng)差異通過(guò)計(jì)算原始數(shù)據(jù)與擾動(dòng)數(shù)據(jù)的L2 距離得到，結(jié)果如圖8 所示。由圖8 可知，成員數(shù)據(jù)的擾動(dòng)難度明顯大于非成員數(shù)據(jù)，且隨著模型的過(guò)擬合程度增大而增大，表明模型的過(guò)擬合能夠促進(jìn)成員與非成員樣本的細(xì)粒度區(qū)分，提升攻擊性能。

圖8 成員與非成員的擾動(dòng)差異

除了對(duì)MINIST 數(shù)據(jù)集進(jìn)行攻擊方案的遷移性能驗(yàn)證，還將其擴(kuò)展到CIFAR10、ImageNet、GTSRB 數(shù)據(jù)集，實(shí)驗(yàn)結(jié)果如表6、表7 所示。由表6、表7 可知，在小樣本數(shù)據(jù)下，PCA-based attack 的遷移性能表現(xiàn)更優(yōu)，但在部分大樣本數(shù)據(jù)以及低維數(shù)據(jù)中，表現(xiàn)欠佳。

表6 不同攻擊在CIFAR10 數(shù)據(jù)集的遷移率

表7 不同攻擊在ImageNet 數(shù)據(jù)集和GTSRB 數(shù)據(jù)集的遷移率