国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于改進(jìn)的生成對抗網(wǎng)絡(luò)的動漫頭像生成算法

2024-06-01 22:43:17孫慧康彭開陽
現(xiàn)代信息科技 2024年4期
關(guān)鍵詞:注意力機(jī)制

孫慧康 彭開陽

收稿日期:2023-07-04

DOI:10.19850/j.cnki.2096-4706.2024.04.016

摘? 要:針對大部分生成對抗網(wǎng)絡(luò)在動漫圖像的生成上會呈現(xiàn)出訓(xùn)練不穩(wěn)定,生成樣本多樣性比較差,人物局部細(xì)節(jié)上效果不好,生成樣本質(zhì)量不高的問題,文章利用條件熵構(gòu)造的一種距離懲罰生成器的目標(biāo)函數(shù),結(jié)合注意力機(jī)制提出一種改進(jìn)模型MGAN-ED。模型主要包括融入多尺度注意力特征提取單元的生成器和多尺度判別器。采用GAM和FID進(jìn)行評估,所做實(shí)驗(yàn)結(jié)果表明模型有效地解決了模式崩塌的問題,生成圖像的局部細(xì)節(jié)更加清晰,生成樣本質(zhì)量更高。

關(guān)鍵詞:生成對抗網(wǎng)絡(luò);圖像生成;多尺度特征;殘差結(jié)構(gòu);注意力機(jī)制

中圖分類號:TP183? 文獻(xiàn)標(biāo)識碼:A? 文章編號:2096-4706(2024)04-0079-06

Animation Head Sculpture Generation Algorithm Based on Improved Generative Adversarial Networks

SUN Huikang1, PENG Kaiyang2

(1.School of Software Engineering, Jiangxi University of Science and Technology, Nanchang? 330013, China;

2.Xuancheng Branch of China Telecom Co., Ltd., Xuancheng? 242000, China)

Abstract: In view of the problems of training instability, poor diversity of generated samples, poor effect on local details of characters and low quality of samples generated in most of the Generative Adversarial Networks on generation of the animation head sculptures, this paper constructs a distance penalty generator target function by using conditional entropy, and an improved model MGAN-ED is proposed combined with Attention Mechanism. The model mainly includes a generator integrated with multi-scale attention feature extraction unit and a multi-scale discriminator. The GAM and FID are used to evaluate the model. The experimental results show that the model can effectively solve the problem of pattern collapse, and the local details of the generated image are clearer and the quality of the generated samples is higher.

Keywords: Generative Adversarial Networks; image generation; multi-scale feature; residual structure; Attention Mechanism

0? 引? 言

隨著國內(nèi)動漫行業(yè)的火爆,我們可以看到設(shè)計師們設(shè)計出了各種各樣的動漫人物,動漫人物形象也被用在很多行業(yè),比如服裝業(yè)和玩具業(yè)。越來越多的動漫人物圖像出現(xiàn)在大牌服裝上,商品櫥窗上陳列著各種價格不菲動漫人物手辦,但并不是每一個人都有能力去創(chuàng)作出動漫人物。隨著生成對抗網(wǎng)絡(luò)(GAN)[1]的出現(xiàn),人們可以依靠神經(jīng)網(wǎng)絡(luò)去完成動漫人物的生成,事實(shí)上由于GAN難以訓(xùn)練,GAN生成的圖片往往多樣性差,或者生成的圖片比較模糊,不能被人們利用。

許多研究人員以GAN為原型,在它的基礎(chǔ)上進(jìn)行很多變體實(shí)驗(yàn),提出了很多經(jīng)典生成對抗網(wǎng)絡(luò),如Mirza等人[2]在2014年提出的帶有約束條件的生成對抗網(wǎng)絡(luò)(CGAN),而后Odena等人[3]對其改進(jìn)提出了GAN With Auxiliary Classifier(ACGAN);同年Radford等人[4]結(jié)合卷積神經(jīng)網(wǎng)絡(luò)(CNN)[5]提出了深度卷積生成對抗網(wǎng)絡(luò)(DCGAN);Chen等人[6]結(jié)合信息論提出的InfoGAN模型;Jolicoeur-Martineau等人[7]用相對的判別器取代GAN的判別器使得訓(xùn)練變得穩(wěn)定;Zhao等人[8]將能量引入到模型中,判別器通過能量函數(shù)來判別數(shù)據(jù);Miyato等人提出譜標(biāo)準(zhǔn)化的生成對抗網(wǎng)絡(luò)(SNGAN)[9];也有研究員在損失函數(shù)方面進(jìn)行了改進(jìn),如最小二乘生成對抗網(wǎng)絡(luò)(LSGAN)[10]、Wasserstein GAN(WGAN)[11],1中心梯度懲罰的WGAN(WGAN-GP)[12],0中心梯度懲罰的GAN算法(GAN-0GP)[13],條件熵距離懲罰GAN(EDGAN)[14]。這類模型在動漫圖像生成方面,網(wǎng)絡(luò)在訓(xùn)練過程中容易發(fā)生模型崩塌或者生成圖像質(zhì)量難以滿足現(xiàn)實(shí)任務(wù)的需求。

本文提出了一種從隨機(jī)噪聲經(jīng)過生成對抗網(wǎng)絡(luò)去生成近似于真實(shí)圖像的樣本。為了去解決訓(xùn)練過程中模式崩塌、生成樣本單一、圖片的局部細(xì)節(jié)不足和質(zhì)量差的問題,對GAN引入一些結(jié)構(gòu)并在生成器的目標(biāo)函數(shù)上添加由條件熵構(gòu)造的距離懲罰函數(shù)來提高生成樣本質(zhì)量。

1? 相關(guān)工作

1.1? 生成對抗網(wǎng)絡(luò)

GAN是一種兩個神經(jīng)網(wǎng)絡(luò)相互競爭的特殊過程,由Goodfellow于2014年提出,第一個網(wǎng)絡(luò)輸入噪聲z生成數(shù)據(jù),為生成模型(Generative Model, G),第二個網(wǎng)絡(luò)試圖區(qū)分真實(shí)數(shù)據(jù)與第一個網(wǎng)絡(luò)創(chuàng)造出來的假數(shù)據(jù),會給出一個在[0,1]范圍內(nèi)的標(biāo)量,代表該數(shù)據(jù)為真實(shí)數(shù)據(jù)的概率,為判別模型(Discriminative Model, D)。原始GAN的損失函數(shù)是極小極大對抗方式,具體如下所示:

(1)

在訓(xùn)練過程中G的目標(biāo)就是盡量生成真實(shí)的圖片去欺騙D,而D的目標(biāo)就是盡量把G的圖片和真實(shí)的圖片分開,這樣,G和D構(gòu)成了一個動態(tài)的“博弈過程”。網(wǎng)絡(luò)的框架結(jié)構(gòu)如圖1所示。

1.2? 多尺度注意力特征提取單元

多尺度注意力特征提取單元[15]由多尺度特征融合和注意力機(jī)制[16]構(gòu)成,改善了網(wǎng)絡(luò)對圖片細(xì)節(jié)感知能力較差的問題。多尺度網(wǎng)絡(luò)層通過不同尺寸的感受野可以提取到多種特征[17],而注意力模塊使得網(wǎng)絡(luò)對每個通道特征產(chǎn)生不同的注意力,從而使得網(wǎng)絡(luò)可以學(xué)習(xí)到特征圖里的重要信息,保證生成器生成高質(zhì)量的圖像,結(jié)構(gòu)如圖2所示。該模塊表達(dá)式為:

(2)

(3)

式中:Xc表示特征圖,GlobaAveragePooling2D是對尺寸為W×H×C的Xc進(jìn)行全局平均池化,壓縮通道的空間信息Zc。D表示全連接層,σ和δ分別表示softmax和ReLU激活函數(shù),Reshape使其尺寸轉(zhuǎn)換為1×1×C,得到通道的激活權(quán)重,與特征圖Xc相乘得到Rc。

圖1? MAC-GAN網(wǎng)絡(luò)結(jié)構(gòu)圖

1.3? 殘差塊

早期的研究員從理論上來分析,網(wǎng)絡(luò)深度越深帶來的效果就越好,但是在實(shí)際的操作中會發(fā)現(xiàn)網(wǎng)絡(luò)深度的加深,訓(xùn)練往往不盡人意。后來Microsoft Research等人[18]提出了殘差網(wǎng)絡(luò),殘差結(jié)構(gòu)主要由快捷連接和恒等映射構(gòu)成,網(wǎng)絡(luò)設(shè)計為H(x) = F(x) + x,這樣目標(biāo)訓(xùn)練就轉(zhuǎn)換為去學(xué)習(xí)一個殘差函數(shù)F(x) = H(x) - x,無須去訓(xùn)練到一個等價映射,只需將其逼近于0,這樣擬合殘差更加容易。結(jié)構(gòu)如圖3所示,其內(nèi)部的殘差塊使用了跳躍鏈接,確保在不會因?yàn)槟P蜕疃鹊脑黾映霈F(xiàn)梯度消失。

圖3? 殘差塊結(jié)構(gòu)

1.4? 多尺度判別器

本文所借鑒的多尺度判別網(wǎng)絡(luò)[19]僅使用一個判別器,對輸入的圖像進(jìn)行下采樣,下采樣的圖像進(jìn)行卷積操作得到特征圖,并附加在對原圖像進(jìn)行跨步卷積所得到的特征圖上,實(shí)現(xiàn)特征融合后傳給判別器進(jìn)行后續(xù)操作。引用多尺度判別是為了可以在不同尺度的感受野上面處理特征信息,高層網(wǎng)絡(luò)的感受野比較大,宏觀信息表征能力強(qiáng),淺層網(wǎng)絡(luò)感受野小,圖像細(xì)節(jié)的表征能力強(qiáng),在合適的層進(jìn)行多尺度特征融合可以有效的獲取圖像信息,有利于判別器對圖像做出精準(zhǔn)的判別。

2? 模型框架

2.1? 目標(biāo)函數(shù)

在原始GAN中,判別器和生成器需要優(yōu)化的目標(biāo)函數(shù)分別為:

(4)

(5)

式中Pz和Pdata分別表示真實(shí)分布與生成分布,Goodfellow等人為了更好的訓(xùn)練GAN,將上式中(5)轉(zhuǎn)換為非飽和損失函數(shù),具體如下:

(6)

本文在保證生成樣本的多樣性的同時為了提升生成樣本質(zhì)量,即盡量使生成分布盡可能的逼近真實(shí)分布,在生成器目標(biāo)函數(shù)上添加條件熵距離。在條件X下,Y的條件熵定義為:

(7)

式中,F(xiàn)(x,y)與F(x | y)分別表示X和Y的聯(lián)合分布函數(shù)和條件分布函數(shù)。條件熵距離定義為:

(8)

將原有GAN的生成器目標(biāo)函數(shù)加上條件熵距離得到新的生成器目標(biāo)函數(shù)為:

(9)

其中λ表示懲罰因子,ρ表示條件熵距離,XE與XG的取值空間分別表示真實(shí)數(shù)據(jù)域與生成數(shù)據(jù)域。

2.2? 生成模型

為了避免模型崩塌和提高生成的動漫圖像質(zhì)量,本文對生成器的模型進(jìn)行了修改,生成器的具體結(jié)構(gòu)如圖4所示。生成模型主要由兩部分構(gòu)成,第一部分對輸入的噪聲Z用上采樣聯(lián)合步長為1的卷積層生成特征圖,其尺寸為W×H×C(W表示圖片寬度,H表示圖片高度,C表示通道數(shù)),用該方法生成是為了避免多個反卷積疊加而產(chǎn)生不同尺度上的假象[20],第二部分把特征圖作為多尺度注意力特征提取單元的輸入,經(jīng)兩個殘差塊后使用步長為1的卷積核調(diào)整通道數(shù)生成圖像。

圖4? 生成器的網(wǎng)絡(luò)結(jié)構(gòu)

2.3? 判別模型

判別模型由兩個部分構(gòu)成,多尺度特征融合和VGG網(wǎng)絡(luò)結(jié)構(gòu)[21],模型結(jié)構(gòu)如圖5所示。通過對原圖像進(jìn)行下采樣和原圖像這兩個尺度做特征提取,一方面對原圖像進(jìn)行步長為2的卷積操作提取特征,另一方面對原圖像進(jìn)行MaxPooling和步長為1的卷積來提取特征,兩者合并為一個聚合特征圖傳給下一個卷積組。對聚合特征圖的判別,使用兩個3×3卷積核的卷積層來取代大卷積核的卷積層,并將網(wǎng)絡(luò)層中的池化層改為卷積核為5×5的跨步卷積層,將提取到的特征圖平鋪后連接全連接層后用sigmod激活函數(shù)激活。

2.4? 實(shí)驗(yàn)準(zhǔn)備工作

實(shí)驗(yàn)基于TensorFlow深度學(xué)習(xí)框架實(shí)現(xiàn),實(shí)驗(yàn)所需的數(shù)據(jù)集是從網(wǎng)上搜集約50 000張動漫人物圖像,將這些圖片縮放到64×64供網(wǎng)絡(luò)訓(xùn)練,實(shí)驗(yàn)的測試集隨機(jī)選取DANBOORU2018的1 000張圖片,同時也處理為64×64。在網(wǎng)絡(luò)訓(xùn)練過程中采用RMS優(yōu)化器進(jìn)行優(yōu)化并設(shè)置學(xué)習(xí)率為0.000 5,batch_size設(shè)置為64,條件熵距離懲罰因子設(shè)置為1。

2.5? 評價指標(biāo)

為了說明MGAN-ED(Multi Scale Generating Confrontation Network with Dependency of Entropy Distance)網(wǎng)絡(luò)模型可以生成更高質(zhì)量的圖片并保證圖片的多樣性,本文使用兩個衡量指標(biāo)Generative Adversarial Metric(GAM)[22]和Frechet Inception Distance(FID)[23],前者是為了用來評價生成樣本質(zhì)量,后者為了評價生成樣本的多樣性。

1)GAM。GAM用于兩個模型M1 = (G1,D1)和M2 = (G2,D2)之間生成樣本質(zhì)量的比較,在比較中有兩個重要比值Rtest和Rsample供我們判別模型的優(yōu)劣,表示為:

(10)

(11)

式中G1與G2用同一個隨機(jī)噪聲z來生成圖片,Xtest表示測試集,D1 (Xtest)表示用訓(xùn)練好的判別器對測試集做判別。Rtset是為了確保不同模型的判別器對數(shù)據(jù)不具有偏向性,避免出現(xiàn)判別器對數(shù)據(jù)過擬合而導(dǎo)致無用的實(shí)驗(yàn)數(shù)據(jù),需要在Rtset ≈ 1(在本實(shí)驗(yàn)中若0.85<Rtset<1,則認(rèn)為Rtset ≈ 1)的情況下通過Rsample來決定勝出模型,具體規(guī)則如下:

(12)

2)FID。對于生成樣本的多樣性,我們通多FID來評價網(wǎng)絡(luò)模型,通過均值和協(xié)方差來計算生成分布和真實(shí)分布之間的距離,表示為:

(13)

式中生成真實(shí)樣本Pr與生成樣本Pg通過取消了最后一層pooling層的inception network網(wǎng)絡(luò)計算的n維特征,Ui表示計算特征均值,∑i表示計算特征方差。如果網(wǎng)絡(luò)生成的圖片擁有較高的質(zhì)量和多樣性時,F(xiàn)ID的分?jǐn)?shù)會相對較低。

2.6? 模型結(jié)果分析對比

通過對不同的GAN模型進(jìn)行多次實(shí)驗(yàn),記錄GAN模型在訓(xùn)練中是否發(fā)生模式崩塌和最早發(fā)生模式崩塌的epoch來驗(yàn)證本文模型在該數(shù)據(jù)集上解決了模式崩塌的問題。表1為對不同GAN模型進(jìn)行10次實(shí)驗(yàn)的數(shù)據(jù)統(tǒng)計,可以看出在有限的次數(shù)里本文模型在訓(xùn)練過程中表現(xiàn)穩(wěn)定,要優(yōu)于其他GAN模型,在一定程度上解決了模式崩塌問題,避免對不同噪聲生成幾乎一樣的圖像。

表1? 不同模型在訓(xùn)練中發(fā)生模式崩塌次數(shù)統(tǒng)計

模型 模式崩塌次數(shù) 最早發(fā)生模式崩塌epoch

DCGAN 9 20

WGAN 3 58

LSGAN 8 19

SNGAN 2 55

首先通過GAM來評價模型生成樣本的質(zhì)量,把DCGAN、WGAN-GP、LSGAN、SNGAN四個網(wǎng)絡(luò)看作M1 = (G1,D1),本文模型MGAN-ED看作M2 = (G2,D2)。表2為四個網(wǎng)絡(luò)與MGAN-ED比較結(jié)果。從表2我們可以直觀的看到MGAN-ED與其他幾個網(wǎng)絡(luò)相比都是winner,在同等級的評價性能下,MGAN-ED生成的圖片更容易欺騙對手的判別器,意味著MGAN-ED生成樣本更接近真實(shí)樣本,生成圖像的質(zhì)量更高。

表2? 不同模型與MGAN-ED之間的GAM比較

M1 M2 Rtest Rsample

DCGAN MGAN-ED 0.99 1.90

SNGAN MGAN-ED 1.02 1.58

WGAN-GP MGAN-ED 1.01 1.36

LSGAN MGAN-ED 1.00 1.64

再通過FID來評價模型生成樣本的多樣性,在模模式?jīng)]崩塌的前提下,用訓(xùn)練好的生成器生成1000張圖像作為樣本圖像用于實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表3所示。從表3的實(shí)驗(yàn)數(shù)據(jù)可以看出本文模型MGAN-ED所生成樣本具有更高的多樣性。在模型的生成器中融入多尺度注意力特征提取單元使得FID降到63.503,相對于EDGAN提高了23.48%。綜合兩個實(shí)驗(yàn)數(shù)據(jù)知道,MGAN-ED在生成樣本方面表現(xiàn)良好,本文所提出的生成器結(jié)構(gòu)在保證生成樣本多樣性的情況下,生成更高質(zhì)量的動漫。

表3? 不同模型與MGAN-ED之間的FID比較

模型名稱 FID

DCGAN(2015) 103.004

LSGAN(2017) 99.458

WGAN-GP(2017) 87.879

SNGAN(2018) 85.473

GAN-OGP(2019) 81.283

EDGAN(2021) 82.993

MGAN-ED 63.503

2.7? 可視化結(jié)果

在訓(xùn)練好的模型中(未發(fā)生模式崩塌),DCGAN生成的動漫頭像顆粒感嚴(yán)重,頭像比較扭曲,視覺感受差,LSGAN生成的圖片質(zhì)量相對于DCGAN并沒有太大提升。WGAN-GP部分生成圖像具有一定的清晰度和真實(shí)度,但是大部分是比較扭曲的,而本文所提出的模型MGAN-ED生成樣本圖像細(xì)節(jié)更豐富,部分人物的眼神與表情生動,更貼近真實(shí)圖像。訓(xùn)練后的模型生成圖片直觀的感受各個網(wǎng)絡(luò)生成質(zhì)量,效果如表4所示。

表4? 不同模型生成樣本的可視化結(jié)果

模型 紅 紫 藍(lán) 棕

DCGAN

LSGAN

SNGAN

WGAN-GP

MGAN-ED

3? 結(jié)? 論

本文基于新的生成器目標(biāo)函數(shù),結(jié)合注意力機(jī)制、殘差塊和多尺度判別提出了改進(jìn)模型MAR-GAN提高了動漫頭像生成樣本的質(zhì)量。模型主要依賴于多尺度注意力特征提取單元對通道信息的提取便于網(wǎng)絡(luò)在生成的過程中注意局部細(xì)節(jié)上的生成和條件熵距離懲罰生成器目標(biāo)函數(shù)使得生成樣本接近真實(shí)樣本。實(shí)驗(yàn)結(jié)果表明,MAC-GAN在訓(xùn)練的穩(wěn)定性、生成樣本的多樣性和生成樣本質(zhì)量表現(xiàn)更好。

參考文獻(xiàn):

[1] GOODFELLOW I,POUGET-ABADIE J,MIRZA M,et al. Generative adversarial nets [J].Advances in neural information processing systems,2014,27:2672-2680.

[2] MIRZA M,OSINDERO S. Conditional Generative Adversarial Nets [J/OL].arXiv:1411.1784 [cs.LG].(2014-11-06).https://arxiv.org/abs/1411.1784.

[3] ODENA A,OLAH C,SHLENS J. Conditional Image Synthesis With Auxiliary Classifier GANs [C]//International conference on machine learning.PMLR,2017:2642-2651.

[4] RADFORD A,METZ L,CHINTALA S .Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks [J/OL].arXiv:1511.06434 [cs.LG].(2015-11-19).https://arxiv.org/abs/1511.06434v1.

[5] KRIZHEVSKY A,SUTSKEVER I,HINTON G. ImageNet Classification with Deep Convolutional Neural Networks [J]. Communications of the ACM,2017,60(6):84-90.

[6] CHEN X,DUAN Y,HOUTHOOFT R,et al. InfoGAN:Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets [C]//NIPS'16: Proceedings of the 30th International Conference on Neural Information Processing Systems.Red Hook:Curran Associates Inc,2016:2180-2188.

[7] JOLICOEUR-MARTINEAU A. The relativistic discriminator:a key element missing from standard GAN [J/OL].arXiv:1807.00734 [cs.LG].(2018-07-02).https://arxiv.org/abs/1807.00734v1.

[8] ZHAO J,MATHIEU M,LECUN Y. Energy-based generative adversarial network [J/OL].arXiv:1609.03126 [cs.LG].(2016-09-11).https://arxiv.org/abs/1609.03126v2.

[9] MIYATO T,KATAOKA T,KOYAMA M,et al. Spectral Normalization For Generative Adversarial Networks [J/OL].arXiv:1802.05957 [cs.LG].(2018-02-16).https://arxiv.org/abs/1802.05957v1.

[10] MAO X,LI Q,XIE H,et al. Least Squares Generative Adversarial Networks [C]//Proceedings of the IEEE international conference on computer vision.IEEE,2017:2794-2802.

[11] ARJOVSKY M,CHINTALA S,BOTTOU L. Wasserstein GAN [J/OL].arXiv:1701.07875 [stat.ML].(2017-01-26).https://arxiv.org/abs/1701.07875.

[12] GULRAJANI I,AHMED F,ARJOVSKY M,et al. Improved Training of Wasserstein GANs [C]//Advances in neural information processing systems.Red Hook:Curran Associates Inc+,2017:5769-5779.

[13] THANH-TUNG H,TRAN T,VENKATESH S. Improving generalization and stability of generative adversarial networks [J/OL].arXiv:1902.03984 [cs.LG].(2019-02-11).https://arxiv.org/abs/1902.03984.

[14] 譚宏衛(wèi),王國棟,周林勇,等.基于一種條件熵距離懲罰的生成式對抗網(wǎng)絡(luò) [J].軟件學(xué)報,2021,32(4):1116-1128.

[15] 甄誠,楊永勝,李元祥,等.基于多尺度生成對抗網(wǎng)絡(luò)的大氣湍流圖像復(fù)原 [J].計算機(jī)工程,2021,47(11):227-233.

[16] HOWARD A,SANDLER M,CHU G,et al. Searching for mobilenetv3 [C]//Proceedings of the IEEE International Conference on Computer Vision.IEEE,2019:1314-1324.

[17] 熊亞輝,陳東方,王曉峰.基于多尺度反向投影的圖像超分辨率重建算法 [J].計算機(jī)工程,2020,46(7):251-259.

[18] HE K,ZHANG X,REN S,et al. Deep residual learning for image recognition [C]//Proceedings of the IEEE conference on computer vision and pattern recognition.IEEE,2016:770-778.

[19] KARNEWAR A,WANG O. MSG-GAN: Multi-Scale Gradients for Generative Adversarial Networks [J/OL].arXiv:1903.06048 [cs.CV].(2019-03-14).https://arxiv.org/abs/1903.06048.

[20] ODENA A ,DUMOULIN V ,OLAH C .Deconvolution and Checkerboard Artifacts [J/OL].Distill,2016,1(10):(2016-10-17).https://distill.pub/2016/deconv-checkerboard/.

[21] SIMONYAN K,ZISSERMAN A. Very deep convolutional networks for large-scale image recognition [J/OL].arXiv:1409.1556 [cs.CV].(2014-09-14).https://arxiv.org/abs/1409.1556.

[22] IM D J,KIM C D,JIANG H,et al. Generating images with recurrent adversarial networks [J/OL].arXiv:1602.05110 [cs.LG].(2016-02-16).https://arxiv.org/abs/1602.05110v5.

[23] HEUSEL M,RAMSAUER H,UNTERTHINER T,et al. GANs Trained by a Two Time-Scale Update Rule Converge to a Nash Equilibrium [C]//NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing Systems.Red Hook:Curran Associates Inc,2017:6626-6637.

作者簡介:孫慧康(1996—),男,漢族,江西九江人,助教,碩士,研究方向:人工智能;彭開陽(1996—),男,漢族,安徽宣城人,碩士,研究方向:云計算與大數(shù)據(jù)。

猜你喜歡
注意力機(jī)制
基于注意力機(jī)制的行人軌跡預(yù)測生成模型
多特征融合的中文實(shí)體關(guān)系抽取研究
基于注意力機(jī)制和BGRU網(wǎng)絡(luò)的文本情感分析方法研究
從餐館評論中提取方面術(shù)語
基于深度學(xué)習(xí)的手分割算法研究
基于序列到序列模型的文本到信息框生成的研究
面向短文本的網(wǎng)絡(luò)輿情話題
基于自注意力與動態(tài)路由的文本建模方法
基于深度學(xué)習(xí)的問題回答技術(shù)研究
基于LSTM?Attention神經(jīng)網(wǎng)絡(luò)的文本特征提取方法
乌审旗| 贵定县| 林西县| 苏尼特左旗| 中牟县| 肥东县| 两当县| 金乡县| 浮山县| 奉新县| 元朗区| 天气| 静安区| 小金县| 河东区| 陈巴尔虎旗| 禹城市| 江永县| 新田县| 马山县| 安化县| 永春县| 青冈县| 策勒县| 两当县| 资兴市| 金寨县| 北辰区| 山阳县| 合水县| 佛冈县| 卓资县| 通海县| 舒城县| 稻城县| 卢龙县| 日照市| 安阳市| 通许县| 兰考县| 通河县|