吳晨薇

摘 ?要：近年來(lái)，深度學(xué)習(xí)作為--種生成方式方法能夠有效地解決建立自然性解釋數(shù)據(jù)的生成難題，尤其是對(duì)于生成高維數(shù)據(jù)，GAN所采用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不限生成維度，極大的擴(kuò)展了生成數(shù)據(jù)樣本的范圍。除此之外，GAN在自然語(yǔ)言處理領(lǐng)域也具備有效的能力，比如生成對(duì)話，由文本生成圖像等。這種潛在分別生成無(wú)限樣本的能力，在AI對(duì)圖像和視覺(jué)計(jì)算、語(yǔ)音和語(yǔ)言處理、互聯(lián)與大型系統(tǒng)信息安全等領(lǐng)域具有重大的應(yīng)用價(jià)值，結(jié)合互聯(lián)網(wǎng)的海量數(shù)據(jù)以及高效的計(jì)算能力，深度學(xué)習(xí)獲得了極大的重視與發(fā)展。

關(guān)鍵詞：生成對(duì)抗網(wǎng)絡(luò);神經(jīng)網(wǎng)絡(luò);交叉熵;損失函數(shù)

一、GAN的簡(jiǎn)介

1.1GAN 的起源和背景

首個(gè)神經(jīng)網(wǎng)絡(luò)模型在1960年前后就被提出，期間經(jīng)過(guò)眾多學(xué)者的不斷努力，神經(jīng)網(wǎng)絡(luò)也不斷被優(yōu)化，但由于缺乏大量的數(shù)據(jù)以及計(jì)算機(jī)的計(jì)算能力限制，神經(jīng)網(wǎng)絡(luò)算法--直沒(méi)有發(fā)揮出其應(yīng)有的潛力。直至2006年深度學(xué)習(xí)及其理論的提出，結(jié)合互聯(lián)網(wǎng)的海量數(shù)據(jù)以及高效的計(jì)算能力，深度學(xué)習(xí)獲得了極大的重視與發(fā)展。

2 ?GAN的研究意義

計(jì)算實(shí)驗(yàn)的分析，對(duì)平行控制中的人工系統(tǒng)和實(shí)際系統(tǒng)平行執(zhí)行的過(guò)程通過(guò)建模的方式進(jìn)行分析和評(píng)估，最后以平行方式來(lái)執(zhí)行對(duì)復(fù)雜系統(tǒng)的控制的實(shí)現(xiàn)。這在--方面可以進(jìn)行人工系統(tǒng)的預(yù)測(cè)學(xué)習(xí)和實(shí)際系統(tǒng)的反饋學(xué)習(xí)，在另一方面也可以進(jìn)行控制單元的模擬學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。其次，GAN還能夠用于解決標(biāo)注數(shù)據(jù)不足的訓(xùn)練學(xué)習(xí)問(wèn)題，常見的就是無(wú)監(jiān)督學(xué)習(xí)。再者，GAN也可以在自然語(yǔ)言處理領(lǐng)域大顯身手，比如生成對(duì)話，有文本生成圖像等。這種生成無(wú)限樣本的能力，在圖像和視覺(jué)計(jì)算、語(yǔ)音和語(yǔ)言處理、互聯(lián)與大型系統(tǒng)信息安全等領(lǐng)域都具有重大的研究應(yīng)用價(jià)值，這也是目前發(fā)展GAN對(duì)研究人工智能的主要意義

3、深度學(xué)習(xí)研究現(xiàn)狀

近幾年來(lái)，機(jī)器學(xué)習(xí)中的深度學(xué)習(xí)迅速成為了人工智能領(lǐng)域的焦點(diǎn)，無(wú)論是研究還是應(yīng)用方面都得到了極大的發(fā)展，相關(guān)的理論成果和技術(shù)應(yīng)用不斷突破，并在以下鏈接中有相關(guān)描述。Neural?Information?Processing?Systems（NIPS）、International?Conference?on?ComputerVision（ICCV）、International?Conference?on?Machine?Learning（ICML）、TheAssociation?for?the?Advancement?of?Arificial?IntelligenceAAAI）International?Joint?Conference?on?Artificial?Intelligence（IJCAI）

等機(jī)器學(xué)習(xí)領(lǐng)域的國(guó)際學(xué)術(shù)會(huì)議也提高了對(duì)深度學(xué)習(xí)的關(guān)注程度。于此同時(shí)，深度學(xué)習(xí)的思想在學(xué)術(shù)界和企業(yè)也得到了極大地關(guān)注。2006?年Hinton在《科學(xué)》雜志.上提出了深度網(wǎng)絡(luò)和深度學(xué)習(xí)的理論后，深度學(xué)習(xí)的研究就開始不斷升溫，加拿大、美國(guó)、歐洲等地相繼建立了深度學(xué)習(xí)的科研要地。

4、GAN的優(yōu)點(diǎn)

生成對(duì)抗網(wǎng)絡(luò)有無(wú)限的生成能力，希望這種生成能力可以按照需求有目的的進(jìn)行。因此構(gòu)建了根據(jù)語(yǔ)言描述生成圖像的模型。GAN的生成能力不僅僅體現(xiàn)在從無(wú)到有，還體現(xiàn)在由小到大?；贕AN與殘差網(wǎng)絡(luò)的高分辨率圖像生成方法，就是以小圖像為輸入，經(jīng)過(guò)殘差網(wǎng)絡(luò)的多次特征提取，經(jīng)轉(zhuǎn)置卷積操作擴(kuò)大生成高清晰大圖像。并以生成器與判別器的對(duì)抗以及生成圖像與真實(shí)圖像的比較，訓(xùn)練提高生成的高清圖像的質(zhì)量和保證原圖像信息的重現(xiàn)。

3、GAN的原理

現(xiàn)在以生成圖像為例，假設(shè)我們有兩個(gè)網(wǎng)絡(luò)，G（Generator）和D（Discriminator）。正如它的名字所暗示的那樣，它們的功能分別是：

G是一個(gè)生成圖片的網(wǎng)絡(luò)，它接收一個(gè)隨機(jī)的噪聲z，通過(guò)這個(gè)噪聲生成圖片，記做G（z）。

D是一個(gè)判別網(wǎng)絡(luò)，判別一張圖片是不是“真實(shí)的”。它的輸入?yún)?shù)是x，x代表一張圖片，輸出D（x）代表x為真實(shí)圖片的概率，如果為1，就代表100%是真實(shí)的圖片，而輸出為0，就代表不可能是真實(shí)的圖片。

如何用隨機(jī)梯度下降法訓(xùn)練D和G？論文中也給出了算法.

二、GAN的分類。

1、GAN的分類

2.1 StyleGAN StyleGAN[3]提供了一個(gè)升級(jí)版本的 ProGAN 圖像生成器，重點(diǎn)關(guān)注生成器網(wǎng)絡(luò)。更多不一樣的隨機(jī) 的圖片這些方面研究尚淺，StyleGAN 不僅可以生成高質(zhì)量的和逼真的圖像，而且還可以對(duì)生成的圖像進(jìn)行較好的控 制和理解，甚至使生成可信度較高的假圖像變得比以前更加的容易。

2.2 ?可視化和理解生成式對(duì)抗網(wǎng)絡(luò)

可視化和理解生成式對(duì)抗網(wǎng)絡(luò)[5]為理解生成式對(duì)抗網(wǎng)絡(luò)的內(nèi)部機(jī)制提供系統(tǒng)分析的一項(xiàng)工作，用于在單元，對(duì)象和場(chǎng)景級(jí)別可視化和理解 GAN。幫助研究人員和從業(yè)者更好地了解模型。

2.3 ?其他較早的 GAN 衍生模型

為了解決GAN模型生成網(wǎng)絡(luò)的高斯白噪聲輸入沒(méi)有限制導(dǎo)致模型訓(xùn)練崩塌，一個(gè)改進(jìn)方法是給GAN 設(shè)置約束，加入額外的信息 y 到 G、D 和真實(shí)數(shù)據(jù)來(lái)建 模。DCGAN[7]是 GAN 模型發(fā)展中的一個(gè)里程碑，將有監(jiān)督學(xué)習(xí)中的 CNN 和無(wú)監(jiān)督學(xué)習(xí) 中的 GAN 結(jié)合到了一起，確定了一套訓(xùn)練穩(wěn)固的結(jié)構(gòu)，便于工程實(shí)現(xiàn)。CycleGAN 提出循環(huán) GAN，實(shí)現(xiàn)自我約束，通過(guò)對(duì)原域圖像兩步變換返回原域，提 高生成圖像的質(zhì)量。InfoGAN[8]，原始 GAN 模型輸出為 G（z），沒(méi)有利用生成網(wǎng)絡(luò)輸入自由度 noise z。InfoGAN 做出了改進(jìn)，將輸出改為 G（z，c）。WGAN[9] 和 LS-GAN 沒(méi)有改變 GAN 模型的結(jié)構(gòu)，在優(yōu)化方法上進(jìn)行了改進(jìn)。

在圖像和視覺(jué)計(jì)算、語(yǔ)音和語(yǔ)言處理、信息安全、棋類比賽等領(lǐng)域，GAN 正在被廣 泛研究，具有巨大的應(yīng)用前景[10]。其突出的生成能力不僅可用于生成各類圖像和自然語(yǔ)言 數(shù)據(jù)，還啟發(fā)和推動(dòng)了各類半監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)任務(wù)的發(fā)展[11]。當(dāng)然，現(xiàn)階段的 GAN 在實(shí)現(xiàn)生成諸如智能汽車模擬道路，生成具有更多細(xì)節(jié)的圖片，更多不一樣的隨機(jī) 的圖片這些方面研究尚淺，GAN 的實(shí)際應(yīng)用目前并未有很大的成效，GAN 正在不斷地快 速發(fā)展，實(shí)用性會(huì)越來(lái)越高的。

三、交叉熵

1、交叉熵的定義式：

交叉熵的損失函數(shù)在GAN的運(yùn)用中扮演著重要的角色

交叉熵是一個(gè)信息論中的概念，它原來(lái)是用來(lái)估算平均編碼長(zhǎng)度的。給定兩個(gè)概率分布p和q，通過(guò)q來(lái)表示p的交叉熵.

那么，在神經(jīng)網(wǎng)絡(luò)中怎樣把前向傳播得到的結(jié)果也變成概率分布呢？Softmax回歸就是一個(gè)非常有用的方法。

假設(shè)原始的神經(jīng)網(wǎng)絡(luò)的輸出為，那么經(jīng)過(guò)Softmax回歸處理之后的輸出為：

這樣就把神經(jīng)網(wǎng)絡(luò)的輸出也變成了一個(gè)概率分布，從而可以通過(guò)交叉熵來(lái)計(jì)算預(yù)測(cè)的概率分布和真實(shí)答案的概率分布之間的距離了。

2、損失函數(shù)

在邏輯回歸問(wèn)題中，常常使用MSE（Mean Squared Error）作為loss函數(shù)，此時(shí)這里的就表示期望輸出，表示原始的實(shí)際輸出（就是還沒(méi)有加softmax）。這里的m表示有m個(gè)樣本，loss為m個(gè)樣本的loss均值。

四、結(jié)論

本文根據(jù)生成對(duì)抗網(wǎng)絡(luò)的簡(jiǎn)介，原理，再過(guò)渡到分類講到了各種GAN的模型以及優(yōu)缺點(diǎn)，同時(shí)也通過(guò)對(duì)神經(jīng)網(wǎng)絡(luò)的簡(jiǎn)述講到了交叉熵的定義，如何使用交叉熵以及為什么使用交叉熵。本文篇幅較短，僅從表面講述了生成對(duì)抗網(wǎng)絡(luò)的原理及所需的個(gè)別方法。

參考文獻(xiàn)

[1] ?https：//blog.csdn.net/weixin_375674

[2] ?51/article/details/80895309