陸兵　顧蘇杭

摘? ?要：真實(shí)數(shù)據(jù)集中存在的對抗樣本一方面易導(dǎo)致分類器取得較差分類結(jié)果，另一方面如果能夠被合理利用，分類器的泛化能力將得到顯著提高。針對現(xiàn)有大部分分類算法并沒有利用對抗樣本訓(xùn)練分類模型，提出一種攻擊標(biāo)簽信息的對抗分類算法（ACA）。該方法從給定數(shù)據(jù)集中選取一定比例樣本并攻擊所選取的樣本標(biāo)簽使之成為對抗樣本，即將樣本標(biāo)簽替換成其他不同類型的標(biāo)簽。利用支持向量機(jī)（support vector machine，SVM）訓(xùn)練包含對抗樣本的數(shù)據(jù)集，計(jì)算生成的SVM輸出誤差對于輸入樣本的一階梯度信息并嵌入到輸入樣本特征中以更新輸入樣本。再次利用SVM訓(xùn)練更新后的樣本以生成對抗的SVM（A-SVM）。原理分析與實(shí)驗(yàn)結(jié)果表明，一階梯度信息不僅提供了一種分類器輸出與輸入之間的正相關(guān)關(guān)系，而且可提高A-SVM的實(shí)際分類性能

關(guān)鍵字：分類器;對抗樣本;標(biāo)簽攻擊;支持向量機(jī)

中圖法分類號：TP391.4? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A

Abstract： As for the adversarial data samples which indeed exist in real-world datasets，on the one hand，they can mislead data classifiers into correct predictions which results in poor classification. On the other hand，appropriate applications of the adversarial data samples can distinctly improve the generalization of data classifiers. However，most of existing classification methods do not take the adversarial data samples into account to build corresponding classification models. An adversarial classification algorithm （ACA） based on attacks on the labels of data samples which aims to obtain outperformed classification performance by learning the adversarial data samples is proposed. In a given dataset，a certain percentage of data samples are chosen as adversarial data samples，namely the labels of these chosen data samples are substituted by the other labels which are different from the original labels of the chosen data samples. A SVM model can be generated by using the support vector machine（SVM） algorithm to training the given dataset which contains the adversarial data samples. And the first-order gradient information on the output error of the generated SVM with respect to the input samples can be computed. The input samples can be updated by embedding the first-order gradient information into the original input samples. Consequently，adversarial SVM （A-SVM） can be generated by using the SVM alg-orithm again to train the updated input samples. In terms of theoretical analysis and experimental results on UCI real-world datasets，the mathematically computed first-order gradient information not only provided a positive relation between the outputs and the inputs of a classifier，but also indeed can improve the actual classification performance of A-SVM.

Key words：classifiers;adversarial data samples;attacks on labels;support vector machine（SVM）

數(shù)據(jù)分類技術(shù)一直是機(jī)器學(xué)習(xí)、人工智能等領(lǐng)域的研究熱點(diǎn)，已廣泛應(yīng)用于圖像識別、自然語言處理、語音識別、智能交通及醫(yī)療輔助診斷等[1-4]。數(shù)據(jù)分類技術(shù)通過訓(xùn)練或者學(xué)習(xí)給定的數(shù)據(jù)樣本建立數(shù)據(jù)分類模型，從而對未知的數(shù)據(jù)樣本進(jìn)行預(yù)測和識別[5-7]。然而，真實(shí)數(shù)據(jù)集中會存在不易被察覺的擾動被稱作對抗樣本[8-11]，這些對抗樣本易導(dǎo)致所訓(xùn)練的數(shù)據(jù)分類器在未知樣本上的錯(cuò)誤分類，從而大大降低分類器的實(shí)際分類性能。因此，如何有效處理并利用數(shù)據(jù)集中存在的對抗樣本訓(xùn)練數(shù)據(jù)分類器已逐步成為數(shù)據(jù)分類技術(shù)的重要研究問題之一。

Mosca等[8]將包含擾動的樣本輸入神經(jīng)網(wǎng)絡(luò)并利用輸出的結(jié)果對當(dāng)前輸入樣本進(jìn)行一階求導(dǎo)，解得的一階梯度信息被嵌入到當(dāng)前輸入樣本特征中，更新后的樣本再次被輸入到神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，由此生成的神經(jīng)網(wǎng)絡(luò)泛化能力得到明顯提高。文章[9]將微小且合理的擾動加入到樣本特征中人為生成對抗樣本，訓(xùn)練包含對抗樣本的訓(xùn)練集生成的深度神經(jīng)網(wǎng)絡(luò)（deep neural network，DNN）可有效地應(yīng)用于惡意軟件檢測。馬玉琨等[10]針對DNN應(yīng)用于活體檢測時(shí)性能易受對抗樣本干擾，從樣本特征維度角度考慮將對抗樣本干擾集中在少數(shù)幾個(gè)樣本特征維度，從而提出一種最小擾動維度的活體檢測對抗樣本生成技術(shù)，該技術(shù)只需要對樣本少數(shù)幾個(gè)特征維度作擾動便可生成對抗樣本。Gu等[11]在研究對抗樣本結(jié)構(gòu)的基礎(chǔ)上，在DNN輸入層中將擾動加入到樣本特征使部分樣本成為對抗樣本，訓(xùn)練生成的深度感知網(wǎng)絡(luò)可很好地抑制樣本噪聲對分類性能帶來的影響。在實(shí)際數(shù)據(jù)分類的過程中，由于每個(gè)真實(shí)數(shù)據(jù)集都會包含對抗樣本，因此本文從合理利用對抗樣本的落腳點(diǎn)出發(fā)，結(jié)合支持向量機(jī)提出一種攻擊標(biāo)簽信息的魯棒分類算法（ACA）。

不同于文章[8-11]所提的攻擊樣本特征的對抗樣本生成方法，即將合理的樣本擾動直接加入到樣本特征中，將通過攻擊樣本的標(biāo)簽生成對抗樣本，即將樣本標(biāo)簽替換成其他不同類型的標(biāo)簽。接著利用SVM訓(xùn)練包含對抗樣本的訓(xùn)練集，計(jì)算首次訓(xùn)練生成的SVM分類器輸出誤差對所有訓(xùn)練樣本的一階梯度信息并將該信息嵌入到訓(xùn)練樣本特征中以更新訓(xùn)練樣本，并再次利用SVM訓(xùn)練更新后的所有訓(xùn)練樣本，以此來提高分類器的實(shí)際分類性能。

表4給出了當(dāng)公式（5）中的參數(shù) 取不同值時(shí)，A-SVM在4個(gè)真實(shí)數(shù)據(jù)集上的實(shí)際分類性能，此時(shí)固定公式（7）中 的值為 。分析表4提供的實(shí)驗(yàn)結(jié)果可知，參數(shù) 的最佳取值為0.001，隨著 取值增大，A-SVM分類精度逐步降低。根據(jù)大量實(shí)驗(yàn)結(jié)果表明，較大的 值會嚴(yán)重破壞原有樣本特征空間，利用ACA算法訓(xùn)練更新后的樣本生成的A-SVM識別保持原有樣本特征結(jié)構(gòu)的新樣本能力減弱。表4有力證明了本文所提ACA算法合理利用對抗樣本生成A-SVM分類器的有效性。

3? ?結(jié)束語

針對真實(shí)數(shù)據(jù)集中都會存在對抗樣本，從攻擊標(biāo)簽信息的角度人為生成對抗樣本，將合理利用對抗樣本演算出的一階梯度信息嵌入到原有樣本特征中并重新訓(xùn)練更新后的樣本生成對抗的A-SVM。在真實(shí)數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果與參數(shù)分析結(jié)果表明了本文所提ACA算法的有效性。由于算法1步驟1中從訓(xùn)練樣本中隨機(jī)選取較小比例樣本以生成對抗樣本的過程帶有隨機(jī)性，因此，在接下來的工作中將會優(yōu)化如何合理地從訓(xùn)練樣本選取樣本并生成對抗樣本[9]。另外，根據(jù)公式（5），本文將計(jì)算的一階梯度信息直接嵌入到原有樣本特征中以更新樣本，如何優(yōu)化樣本特征更新的過程也是未來工作的重點(diǎn)研究內(nèi)容之一[8]。

參考文獻(xiàn)

[1]? ? 萬源，李歡歡，吳克風(fēng)，等. LBP和HOG的分層特征融合的人臉識別[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2015，27（4）： 640—650.

[2]? ? 奚雪峰，周國棟. 面向自然語言處理的深度學(xué)習(xí)研究[J]. 自動化學(xué)報(bào)，2016，42（10）： 1445—1465.

[3]? ? 王登，苗奪謙，王睿智. 一種新的基于小波包分解的EEG特征抽取與識別方法研究[J]. 電子學(xué)報(bào)，2013，41（1）： 193—198.

[4]? ? 曾志，吳財(cái)貴，唐權(quán)華，等. 基于多特征融合和深度學(xué)習(xí)的商品圖像分類[J]. 計(jì)算機(jī)工程與設(shè)計(jì)，2017，38（11）： 3093—3098.

[5]? ? ZHOU T，CHUNG F L，WANG S T. Deep TSK fuzzy classifier with stacked generalization and triplely concise interpretability guarantee for large data[J]. IEEE Trans. Fuzzy Syst.，2017，25（5）： 1207—1221.

[6]? ? DONG A，CHUNG F L，DENG Z et al. Semi-supervised SVM with extended hidden features[J]. IEEE Trans. Cybern.，2016，46（12）： 2924—2937.

[7]? ? HE X，ZHANG C，ZHANG L et al. A optimal projection for image representation[J]. IEEE Trans. Pattern Anal. Mach. Intell.，2016，38（5）： 1009—1015.

[8]? ? MOSCA A，MAGOULAS G D. Hardening against adversarial examples with the smooth gradient method[J]. Soft Computing，2018，22（10）： 3203—3213.

[9]? ? KATHRIN G，NICOLAS P，PRAVEEN M，et al. Adversarial perturbations against deep neural networks for malware classification[J]. Cryptography and Security （cs.CR），arXiv： 1606.04435[cs.Cr].

[10]? 馬玉琨，毋立芳，簡萌，等. 一種面向人臉活體檢測的對抗樣本生成算法[J]. 軟件學(xué)報(bào)，2018，DOI：10.13328/j.cnki.jo s.005568.

[11]? GU S X，RIGAZIO L. Towards deep neural network architectures robust to adversarial examples[C]// International Conference on Representation Learning，2014.

[12]? LOWD D，MEEK C. Adversarial learning [C]// Eleventh ACM SIGKDD International Conference on Knowledge Discovery in Data Mining，ACM，2005：641—647.

[13]? VAPNIK V N. Statistical learning theory [M]. New York： Wiley，1998.

[14]? TONG S，KOLLER D. Support vector machine active learning with applications to text classification[J]. Journal of Machine Learning Research，2002，2： 45—66.

[15]? CHANG C C，LIN C J. LIBSVM： A library for support vector machines[J]. ACM Trans. Intell. Syst. Technol.，2011，2（3）： 27：1—27：27.

[16]? HO T K. The random subspace method for constructing decision forests[J]. IEEE Trans. Pattern Anal. Mach. Intell.，1998，20（8）： 832—844.

[17]? OSHIRO T M，PEREZ P S，BARANAUSKAS J A. How many trees in a random forest[C]// International Conference on Machine Learning and Data Mining in Pattern Recognition，2012.

[18]? KELLER J M，GRAY M R，GIVENS J A. A fuzzy K-nearest neighbor algorithm[J]. IEEE Trans. Syst.，Man，Cybern.，1985，SMC-15（4）： 580—585.

[19]? QUINLAN J R. Induction of Decision Trees[J]. Machine Learning，1986，1（1）： 81—106.

[20]? RUSSEL S，NORVIG P. Artificial intelligence： a modern approach （2nd ed.）[M]. Prentice Hall，2003.

[21]? FRANK A，ASUNCION A. UCI machine learning repository. [Online]. Available： http：//archive.ics.uci.edu/ml，2010.

[22]? ALCAL?-FDEZ J，F(xiàn)ERN？NDEZ A，LUENGO J，et al. KEEL data-mining software tool：data set repository，integration of algorithms and experimental analysis framework[J]. Journal of Multiple-Valued Logic and Soft Computing，2011，17（2-3）：255—287.