崔瑋　杜二玲　許青　李海軍　范毅君

伴隨機(jī)器學(xué)習(xí)應(yīng)用領(lǐng)域得到了廣泛進(jìn)展，對(duì)機(jī)器學(xué)習(xí)的安全性和隱私權(quán)的威脅，一直妨礙著機(jī)器學(xué)習(xí)技術(shù)和人工智能研究的進(jìn)展，同時(shí)提高機(jī)器學(xué)習(xí)中的安全性和保護(hù)用戶隱私權(quán)成為了未來(lái)研究的重要課題。該文首先給出了機(jī)器學(xué)習(xí)隱私的定義，其次分析了機(jī)器學(xué)習(xí)隱私威脅及隱私保護(hù)技術(shù)，最后總結(jié)了機(jī)器學(xué)習(xí)中常見(jiàn)的問(wèn)題并提出了相應(yīng)解決對(duì)策。

：機(jī)器學(xué)習(xí) ?安全問(wèn)題 ?隱私保護(hù) ?人工智能

中圖分類號(hào)：G64??文獻(xiàn)標(biāo)識(shí)碼：A???文章編號(hào)：1672-3791（2021）02（b）-0000-00

Security and Privacy Protection of Machine Learning

Abstract： With the extensive progress in the field of machine learning applications， threats to the security and privacy of machine learning have been hindering the progress of machine learning technology and artificial intelligence research. Improving the security of machine learning and protecting user privacy has become This is an important topic for future research. This article first gives the definition of machine learning privacy， then analyzes machine learning privacy threats and privacy protection technologies， and then summarizes the common problems in machine learning and proposes corresponding solutions.

Key Words： Machine learning; Security issues; Privacy protection; Artificial intelligence

機(jī)器學(xué)習(xí)也是人工智能的關(guān)鍵技術(shù)之一，近年來(lái)，由于其日益成熟與蓬勃發(fā)展，大量公司在機(jī)器學(xué)習(xí)應(yīng)用領(lǐng)域中獲得了突破性發(fā)展，比如：在醫(yī)學(xué)、空間信息安全等應(yīng)用領(lǐng)域均獲得了應(yīng)用。而伴隨深度學(xué)習(xí)的出現(xiàn)，機(jī)器學(xué)習(xí)應(yīng)用領(lǐng)域又迎來(lái)了全新的一波蓬勃發(fā)展大潮，將推動(dòng)著新一代人工智能技術(shù)往前發(fā)展一大步。在機(jī)器學(xué)習(xí)技術(shù)火熱發(fā)展的今天，其安全性和隱私權(quán)問(wèn)題也受到了人們的重視，對(duì)機(jī)器學(xué)習(xí)的安全性和隱私權(quán)的威脅，一直妨礙著機(jī)器學(xué)習(xí)技術(shù)和人工智能研究的進(jìn)展。在自動(dòng)駕駛、財(cái)政系統(tǒng)、健康管理等復(fù)雜系統(tǒng)中，機(jī)器學(xué)習(xí)的安全性問(wèn)題威脅人類的切身利益，甚至健康與生命。而對(duì)于云計(jì)算服務(wù)中的機(jī)器學(xué)習(xí)即服務(wù)質(zhì)量（MLaaS）。因此，對(duì)于如何提高機(jī)器學(xué)習(xí)中的安全和怎樣保護(hù)用戶隱私權(quán)成為了機(jī)器學(xué)習(xí)未來(lái)發(fā)展的基石，并且相關(guān)研究者對(duì)此進(jìn)行了深入的研究，盡管這項(xiàng)研究還只是開(kāi)始階段，但現(xiàn)已獲得了一些成果。在機(jī)器學(xué)習(xí)中，安全就是確認(rèn)使用者數(shù)據(jù)信息被恰當(dāng)利用，從而保護(hù)了機(jī)器學(xué)習(xí)的使用和完善。由于安全與隱私權(quán)是兩種完全不同且密切關(guān)聯(lián)的范疇，所以安全也是保護(hù)用戶隱私權(quán)的基石。隱私權(quán)是由1948年開(kāi)始在聯(lián)合國(guó)《世界人權(quán)宣言》中所包含的一種基礎(chǔ)權(quán)利，隱私的基本法律含義是不愿告人或不便告人的事，與他人無(wú)關(guān)，而是關(guān)于自身權(quán)益的事。因此，隱私權(quán)也是一種缺乏公認(rèn)規(guī)范界定的復(fù)雜范疇。在機(jī)器學(xué)習(xí)中，隱私權(quán)通常被界定為人類有權(quán)力確定自身的私人數(shù)據(jù)信息不被披露。

隱私權(quán)是一種相當(dāng)復(fù)雜的法理學(xué)范疇，但目前還缺乏一種公認(rèn)的法理學(xué)規(guī)范概念。1890年刊登于《哈佛法學(xué)評(píng)論》上的《論隱私權(quán)》將隱私權(quán)界定為“不受他人干涉攪擾的權(quán)力”。隱私權(quán)主要包括以下3個(gè)方面：（1）訓(xùn)練數(shù)據(jù)隱私權(quán)，訓(xùn)練數(shù)據(jù)隱私權(quán)，即機(jī)器教學(xué)中所使用數(shù)據(jù)的個(gè)性身份信息內(nèi)容（personally identifable information，PI）和敏感信息內(nèi)容。個(gè)性身份信息內(nèi)容是指具有唯一性標(biāo)記個(gè)性身份的信息內(nèi)容，可分成標(biāo)識(shí)符和準(zhǔn)標(biāo)識(shí)符，包含姓氏、身份卡號(hào)、來(lái)電號(hào)碼、電子郵件地址等關(guān)鍵屬性（key atributese），準(zhǔn)標(biāo)志（ausidnifer）指可能唯一性地標(biāo)記個(gè)別身份的屬性總和，如住址、性別、生活時(shí)間;敏感信息涉及個(gè)體的人口統(tǒng)計(jì)信息內(nèi)容，如性別、薪水、犯罪記錄等;個(gè)人財(cái)經(jīng)信息內(nèi)容，如銀行卡號(hào)碼、賬戶余額、股票交易筆錄等;健康信息方面，如病歷、疾病癥狀、醫(yī)學(xué)影像、醫(yī)生處方等;以及日?；顒?dòng)情況，如通話記錄、活動(dòng)軌跡、購(gòu)物記錄等。（2）模式隱私權(quán)，模式隱私權(quán)，即在機(jī)械教學(xué)中的模型訓(xùn)練計(jì)算、建模拓?fù)錁?gòu)造、建模權(quán)重參數(shù)、激活函數(shù)和超參數(shù)等與機(jī)器學(xué)習(xí)模型相關(guān)的秘密信息機(jī)器學(xué)習(xí)模型屬于服務(wù)提供者的秘密信息，授權(quán)使用的只有使用權(quán)，可以對(duì)模型發(fā)動(dòng)模型獲取攻擊（ModelExtractionAttack）。（3）預(yù)知結(jié)論隱私權(quán)。預(yù)知結(jié)論隱私權(quán)是指在機(jī)械教學(xué)模型中對(duì)使用者的預(yù)期輸入或要求直接反饋來(lái)的、使用者不希望披露的敏感信息內(nèi)容，模型預(yù)測(cè)結(jié)果可能是根據(jù)使用者的傳染病檢測(cè)個(gè)人信息，比如：得某些病的概率，此類個(gè)人信息對(duì)使用者而言，屬于個(gè)人隱私信息，但是不可信任的服務(wù)提供商和第三方機(jī)構(gòu)可以盜取使用者的此類個(gè)人信息，因此可以應(yīng)用crypto-nets加密數(shù)據(jù)，或者直接在密文上進(jìn)行預(yù)言，并傳遞的預(yù)言結(jié)論，為在線醫(yī)療診斷模型預(yù)測(cè)結(jié)論提供了秘密的保護(hù)訓(xùn)練數(shù)據(jù)隱私權(quán)、模式隱私權(quán)、模型預(yù)測(cè)結(jié)論隱私權(quán)都是在進(jìn)行機(jī)械教學(xué)時(shí)，必須著重保障的信息內(nèi)容。如若個(gè)人信息如果泄露，將會(huì)威脅到使用者對(duì)敏感數(shù)據(jù)的安全，或給服務(wù)提供商造成了很大的損失，這也是云計(jì)算發(fā)展中遇到的主要阻礙。因此，基于云計(jì)算技術(shù)的機(jī)器學(xué)習(xí)與服務(wù)系統(tǒng)需要在越來(lái)越關(guān)注信息安全方面，以進(jìn)一步增強(qiáng)信息安全保護(hù)能力。

機(jī)器學(xué)習(xí)常見(jiàn)的隱私威脅機(jī)器學(xué)習(xí)模型會(huì)無(wú)意識(shí)記憶某些訓(xùn)練數(shù)據(jù)，但也有些訓(xùn)練數(shù)據(jù)包含了人類的秘密信息，如習(xí)慣、喜好、地理位置等。

2.1 ?訓(xùn)練階段的隱私威脅

大型企業(yè)則多用集中訓(xùn)練方法，由于有一定多的應(yīng)用易于獲取大規(guī)模的數(shù)據(jù)進(jìn)行分析。但目前，在面向企業(yè)采集使用者數(shù)據(jù)分析以保障使用者信息安全行業(yè)還缺乏某個(gè)統(tǒng)一的標(biāo)準(zhǔn)。在獲取用戶數(shù)據(jù)流程中，會(huì)透露部分使用者的秘密，因此Google和Apple企業(yè)必須通過(guò)差分隱私的方法保存用戶數(shù)據(jù)，在實(shí)際使用數(shù)據(jù)流程中，即使單一的數(shù)據(jù)信息毫無(wú)意義，但數(shù)據(jù)分析信息仍有使用價(jià)值。為擴(kuò)展訓(xùn)練數(shù)據(jù)集獲得更準(zhǔn)確的目標(biāo)模型，某些數(shù)據(jù)提供方必須通過(guò)合作共享數(shù)據(jù)信息，共享培訓(xùn)目標(biāo)模型。共享并不僅僅指通過(guò)對(duì)其他參加方開(kāi)放數(shù)據(jù)信息，所有主要參加者可以單獨(dú)在各種數(shù)據(jù)分析集上訓(xùn)練自已的模式，與其他參加方共用培訓(xùn)成果，從而間接共用了他們的培訓(xùn)數(shù)據(jù)信息。

2.2 ?數(shù)據(jù)提取攻擊

數(shù)據(jù)提取進(jìn)攻，亦稱為培訓(xùn)模式的逆向進(jìn)攻（Modelinversion Attack），由Fredrikson等人最早提出，是指培訓(xùn)利用訪問(wèn)模式API，并利用一系列的查詢來(lái)提取模型培訓(xùn)數(shù)據(jù)里的秘密數(shù)據(jù)信息的一個(gè)攻擊方法，利用數(shù)據(jù)提取進(jìn)攻所導(dǎo)致的隱私數(shù)據(jù)泄漏可能會(huì)帶來(lái)很大的生命危險(xiǎn)，比如：針對(duì)培訓(xùn)的模式獲取了患者的基因組信息，并且可能使藥物錯(cuò)配，進(jìn)而造成了生命危險(xiǎn)，F(xiàn)redrikson等人利用已經(jīng)培訓(xùn)好的模式，并且成功地利用數(shù)據(jù)提取進(jìn)攻重構(gòu)了人臉畫(huà)像;Ateniese等人，建立了一個(gè)分類器使其能夠通過(guò)進(jìn)攻一些分類器，從而獲得了訓(xùn)練數(shù)據(jù);Song等人還證實(shí)了練習(xí)好的模式將會(huì)記住大批秘密信息，因?yàn)橐坏┏霈F(xiàn)惡意ML算法的模式訓(xùn)練者，那么模式就能夠泄漏訓(xùn)練數(shù)據(jù)集的所有個(gè)人信息;同時(shí)Carlini等人還介紹了一個(gè)能夠獲取大批秘密信息的算法，他們能夠利用不斷查詢模式來(lái)收集如信用卡號(hào)、ID號(hào)碼等大批秘密信息。

3.1 ?缺乏健全的評(píng)價(jià)制度

目前還缺乏統(tǒng)一的安全性評(píng)價(jià)規(guī)范，對(duì)秘密泄漏缺乏統(tǒng)一的衡量標(biāo)準(zhǔn)，構(gòu)建完備的評(píng)價(jià)制度、規(guī)范隱私防護(hù)原則是維護(hù)機(jī)器學(xué)習(xí)安全性和隱私的重要一環(huán)。

3.2 ?不合理的對(duì)抗訓(xùn)練方法

對(duì)抗訓(xùn)練的非適應(yīng)性，使在對(duì)抗練習(xí)中需要引入足夠豐富的對(duì)抗樣本才能有效預(yù)防未知的對(duì)抗威脅，這也是對(duì)抗練習(xí)的難題，亟需克服。

3.3 ?用戶隱私問(wèn)題

有效保護(hù)隱私權(quán)的方式就是使用密碼科技，但是由于目前的同態(tài)密碼科技算法開(kāi)銷過(guò)大，且無(wú)法進(jìn)行計(jì)算機(jī)器學(xué)習(xí)中的某些非多項(xiàng)式算法。而且一般來(lái)說(shuō)，維護(hù)用戶隱私權(quán)都要以犧牲目標(biāo)模式的精確度為付出代價(jià)。所以，研究有效的加密方式保護(hù)用戶隱私權(quán)是一項(xiàng)重大的研究問(wèn)題，面對(duì)信息安全威脅，人們還必須深入探究針對(duì)投毒威脅、對(duì)抗入侵等威脅手段的防護(hù)技術(shù)，以提升模型的魯棒性，從而研發(fā)更強(qiáng)威脅的防護(hù)手段，而面對(duì)著信息安全威脅，全同態(tài)加密一直以來(lái)被人們看作是隱私保護(hù)機(jī)器學(xué)習(xí)的最主要技術(shù)手段，但也因?yàn)槠渲写嬖谥罅繑?shù)據(jù)膨脹、運(yùn)算負(fù)荷、激活函數(shù)擬合誤差等不利因素，從而導(dǎo)致了采用安全多方計(jì)算的隱私防護(hù)機(jī)器學(xué)習(xí)技術(shù)獲得了快速進(jìn)展。

現(xiàn)有的隱私保護(hù)機(jī)器學(xué)習(xí)方法，往往假定了云服務(wù)器為被動(dòng)模式，并充分考慮了在云服務(wù)器互不合謀狀況下數(shù)據(jù)信息的可靠性和機(jī)械教學(xué)的有效性;此外，將較高的安全等級(jí)推至更多重情景下，還需要同時(shí)兼顧遇到惡意攻擊者情景時(shí)的公平性和一致性，所以，根據(jù)目前提出的方法，還必須再增加準(zhǔn)確度、有效性，以減少誤差，并兼顧更強(qiáng)的危險(xiǎn)情景下，如惡意場(chǎng)景時(shí)等。所以，對(duì)未來(lái)的研發(fā)方向建議包括。

4.1 ?建立合理完整統(tǒng)一的安全評(píng)估規(guī)范

針對(duì)這些私密數(shù)據(jù)，可從根源上管理好這些數(shù)據(jù)的應(yīng)用范圍和獲取流程，但鑒于中國(guó)目前沒(méi)有合理完整的安全評(píng)估規(guī)范，且各種組織對(duì)私密數(shù)據(jù)的應(yīng)用范圍與獲取過(guò)程均缺乏合理統(tǒng)一的管理規(guī)范，從而不可避免地會(huì)導(dǎo)致信息安全的巨大風(fēng)險(xiǎn)，因此建立合理完整統(tǒng)一的安全評(píng)估規(guī)范已勢(shì)在必行、刻不容緩。

4.2 ?研發(fā)可以具備更強(qiáng)魯棒性的隱私保障技術(shù)的機(jī)器學(xué)習(xí)模型

隨著對(duì)抗入侵、投毒攻擊等威脅技術(shù)手段的發(fā)展，普通模型早已不可以滿足信息安全要求。模型的內(nèi)容泄漏給組織、機(jī)構(gòu)所造成的經(jīng)濟(jì)損失將不可估量，因此研發(fā)可以對(duì)抗更強(qiáng)威脅技術(shù)手段的高魯棒性機(jī)器學(xué)習(xí)模型將是未來(lái)的重要工作。

4.3 ?提升現(xiàn)有方式的準(zhǔn)確度、有效性

由于目前的大多數(shù)隱私權(quán)防護(hù)方式都是采用同態(tài)加密、安全多重運(yùn)算和差分隱私的，而目前這幾種技術(shù)手段的傳輸、運(yùn)算等費(fèi)用都相當(dāng)大，這就降低了計(jì)算的有效性，也造成了無(wú)謂的資源浪費(fèi)。同時(shí)這種方式也面臨著精度逐漸喪失的問(wèn)題，所以研發(fā)更為有效、準(zhǔn)確度更高的隱私權(quán)防護(hù)方式將是下一項(xiàng)重大的研發(fā)方向。

綜上所述，機(jī)器學(xué)習(xí)本身的脆弱性造成其安全性威脅產(chǎn)生的必然，同時(shí)易于暴露使用者秘密，近年來(lái)，機(jī)器學(xué)習(xí)的安全性問(wèn)題受到了普遍重視。機(jī)器學(xué)習(xí)通常被視為黑盒模型，其決策算法也具有不解釋性，這就為機(jī)器學(xué)習(xí)的安全防護(hù)與隱私保障造成了相當(dāng)?shù)恼系K。在當(dāng)前，機(jī)器學(xué)習(xí)安全防護(hù)和隱私保障技術(shù)的研發(fā)仍處在起步階段，未來(lái)需要進(jìn)一步加強(qiáng)研究。

[1] 段龍，鄢天滎，王江麗，等.結(jié)合高光譜成像和機(jī)器學(xué)習(xí)的棉種年份鑒別[J].光譜學(xué)與光譜分析，2021，41（12）：3857-3863.

[2] 趙健，陳昭昀，莊希寧，等.量子態(tài)制備及其在量子機(jī)器學(xué)習(xí)中的前景[J].物理學(xué)報(bào)，2021，70（14）：67-75.

[3] 張瑞鴻，魏鑫，盧占會(huì)，等.基于機(jī)器學(xué)習(xí)訓(xùn)練金屬離子吸附能預(yù)測(cè)模型的研究[J].無(wú)機(jī)材料學(xué)報(bào)，2021，36（11）：1178-1184.

[4] 龔云洪，付皓斌，雍海林，等.基于機(jī)器學(xué)習(xí)的星地量子通信成碼率預(yù)測(cè)及實(shí)驗(yàn)驗(yàn)證[J]. 紅外與毫米波學(xué)報(bào)，2021，40（3）：420-425.

[5] 寇雯博，董灝，鄒岷強(qiáng)，等.混雜復(fù)合材料等效熱傳導(dǎo)性能預(yù)測(cè)的小波-機(jī)器學(xué)習(xí)混合方法[J].物理學(xué)報(bào)，2021，70（3）：57-68.

[6] 張瑞，賈虎.基于多變量時(shí)間序列及向量自回歸機(jī)器學(xué)習(xí)模型的水驅(qū)油藏產(chǎn)量預(yù)測(cè)方法[J].石油勘探與開(kāi)發(fā)，2021，48（1）：175-184.

[7] 張寶一，李曼懿，李偉霞，等.基于機(jī)器學(xué)習(xí)的地球化學(xué)采樣下伏基巖類型判別—以青海省察汗烏蘇河地區(qū)為例[J].中南大學(xué)學(xué)報(bào)：英文版，2021，28（5）：1422-1447.

[8] 孟嫣然，王星爾，楊健，等.基于機(jī)器學(xué)習(xí)算法的夾層玻璃沖擊破壞預(yù)測(cè)模型研究[J].無(wú)機(jī)材料學(xué)報(bào)，2021，36（1）：61-68.

作者簡(jiǎn)介：崔瑋（1981— ），女，碩士，副教授，研究方向?yàn)闄C(jī)器學(xué)習(xí)。

杜二玲（1975—），女，碩士，副教授，研究方向?yàn)椴淮_定統(tǒng)計(jì)學(xué)習(xí)理論。

許青（1989— ），女，碩士，講師，研究方向?yàn)槲⒎址匠汤碚摗?/p>