易珂
摘要: 現(xiàn)階段圖像識別方法多種多樣,深度網(wǎng)絡在計算機視覺領域的應用是可靠的方法之一。面向小樣本量生成對抗網(wǎng)絡(GAN)可生成隨機數(shù)據(jù)輔助訓練,ACGAN在傳統(tǒng)GAN的基礎上,添加標簽約束擴展了GAN,以提高輔助樣本生成質量。本文結合深度網(wǎng)絡和ACGAN,面向小樣本量數(shù)據(jù)集,利用訓練模型進行圖像識別,同時對標簽信息對結果的影響進行研究,實驗結果分析這種算法能有效進行分類識別且標簽信息有效輔助模型生成。
【關鍵詞】深度網(wǎng)絡 ACGAN 輔助標簽1ACGAN模型
生成對抗網(wǎng)絡( Generative AdversarialNet,GAN)是Ian J.Goodfellow等在2014年10月提出一種通過對抗過程估計生成模型的框架,是近年來無監(jiān)督學習最具前景的代表之一。GAN至少包括了兩個部分:生成模型G( Generative Model)和判別模型D( Discriminarive Model),核心思想是通過它們的互相博弈學習產(chǎn)生相當好的輸出。在迭代學習的過程中,G的目的是通過隨機噪聲生成更加趨于真實樣本圖像的偽造圖像,D的目的是區(qū)分判別真實樣本和G生成的偽造圖像,對抗的結果是:D對真實樣本和生成的偽造圖像可能性為真的概率相等。
ACGAN(Auxiliary ClassifierGANs,ACGAN)[2]是在GAN的基礎上由OdenaA等在2016年提出的一種新的變種條件標簽GAN,旨在添加標簽約束以提高生成圖片質量。隨機噪點Z noise輸入生成器G,在傳遞過程中數(shù)據(jù)類標簽信息不斷調節(jié)模型,生成器輸出假數(shù)據(jù)X fake,判別器D判別數(shù)據(jù)的真假和標簽類型信息。ACGAN的目標函數(shù)包含兩部分:LS為真假樣本來源(Source)判別分類正確的最大似然估計,LC為樣本類型(Class)判別正確的最大似然估計。
Ls= E[log P(S=real X_real)]+ E[logP(S=fake l X_fake)
(1)
Le= E[log P(C=cl X_real)]+ E[log P(C=e JX_fake)]
(2)
G的訓練目標為maximize(Ls+ Lc),D的訓練目標為maximize(Ls—Lc)。2深度網(wǎng)絡結構
GAN模型具有減少了人為的建模和數(shù)據(jù)量不足時輔助生成數(shù)據(jù)的優(yōu)點,缺點是GAN自由度很大難以穩(wěn)定訓練。DCGAN(DeepConvolutional GAN,DCGAN)[3]是GAN的另一變體,極大提升了GAN訓練的穩(wěn)定性以及生成結果質量?;谶@一優(yōu)勢,本文實驗中生成器G和判別器D采用DCGAN的神經(jīng)網(wǎng)絡結構,網(wǎng)絡規(guī)?;贛nist數(shù)據(jù)集。
模型在生成器G中間添加BatchNormalization層,對數(shù)據(jù)進行歸一化,有效提高模型的穩(wěn)定性和訓練收斂速度,并防止生成器G收斂到同一樣本。生成器卷積層代替了卷積神經(jīng)網(wǎng)絡的池化層和輸出的全連接層,其中利用卷積層進行上采樣,最后輸出[28,28,1]的偽造圖像。
判別器D采用能更好解碼生成器G偽造圖像的對稱形式。與原DCGAN不同的是,在輸出層采用ACGAN的判別器輸出結構,分別對樣本來源和樣本類型進行分類,相當于兩個深度神經(jīng)網(wǎng)絡分類模型,它們共享模型結構和參數(shù)。
3 實驗結果分析
結合DCGAN的深度網(wǎng)絡結構和ACGAN,將模型應用到Mnist手寫體數(shù)據(jù)集。實驗分為在生成器部分不添加標簽信息和加入標簽信息輔助生成樣本,研究標簽信息對實驗結果的影響,輔助標簽信息在生成器的每一層都級聯(lián)類型信息,不斷修正數(shù)據(jù)生成。兩類模型在同等條件下進行實驗:
(1)標簽信息獲取采用one-hot獨熱編碼
(2)隨機噪聲服從[-1,1]的均勻分布,模型參數(shù)初始化服從(O,0.02)的正態(tài)分布;
(3)模型訓練批量大小64,選取Adamoptimizer優(yōu)化器,更新學習步長為0.0002,動量參數(shù)beta設為0 5。防止震蕩和不穩(wěn)定,激活函數(shù)選取tanh,訓練迭代次數(shù)200000次。
對結果進行分析,根據(jù)判別器和生成器損失值變化趨勢,生成器有輔助標簽信息的模型在200000次迭代后趨于收斂且損失值更小,無輔助標簽信息的模型收斂速度較慢,表明輔助標簽信息有助于模型收斂。用訓練模型的判別器部分對Mnist數(shù)據(jù)測試集進行測試,無輔助標簽信息準確率為98.03%,有輔助標簽信息準確率為98.86%,說明輔助標簽信息能提高準確率。
綜上,本文通過介紹ACGAN網(wǎng)絡結構,然后結合深度網(wǎng)絡和ACGAN模型對圖像識別和輔助標簽信息的影響進行實驗,對實驗結果進行分析,證明標簽信息對該模型的修正能力以及最終能得到理想的分類器。
參考文獻
[l]GoodfellowI,Pouget-Abadiej, MirzaM, XuB, Wa rde-FarleyD, OzairS, CourvilleA, Bengio Y.Generative adversarial nets. In:Advances in Neural InformationProcessing Sys tems. 2014: 2672-2680.
[2] Augus tus Odena, Chris topherOlah, Jona thonShlens. Conditional Image Synthesiswith Auxiliary Classifier GANs.arXiv:1610. 09585, 2016.
[3] Alec
Radford, LukeMet z,SoumithChintala. Unsupervised RepresentationLearning with Deep ConvolutionalGenerative Adversarial Networks.ar Xiv preprint ar Xiv: 1511. 06434,2 015.
[4]唐賢倫,杜一銘,劉雨薇,李佳歆.基于條件深度卷積生成對抗網(wǎng)絡的圖像識別方法[J].自動化學報,2018,44 (05): 855-864.
[5]盧倩雯,陶青川,趙婭琳,劉蔓霄.基于生成對抗網(wǎng)絡的漫畫草稿圖簡化[J],自動化學報,2018,44 (05): 840-854.
[6]王坤峰,茍超,段艷杰,林懿倫,鄭心湖,王飛躍.生成式對抗網(wǎng)絡GAN的研究進展與展望[J].自動化學報,2017,43 (03): 321-332.