李天 耿旭樸

摘 要：人工智能技術(shù)不僅深刻地改變著人們的生產(chǎn)和生活方式，也在通過藝術(shù)創(chuàng)作解構(gòu)和顛覆人類的思維模式。本文以圖像藝術(shù)為例，從風(fēng)格遷移、圖像生成和草圖渲染3個(gè)方面對深度學(xué)習(xí)及其應(yīng)用進(jìn)行介紹，以期對圖像藝術(shù)創(chuàng)作有所參考和啟發(fā)。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò);深度學(xué)習(xí);高校工程風(fēng)格遷移;生成對抗網(wǎng)絡(luò)（GAN）

0 引言

以深度學(xué)習(xí)為代表的人工智能技術(shù)（Artificial Intelligence，AI）已成大勢所趨，并滲透包括藝術(shù)在內(nèi)的各行各業(yè)。深度學(xué)習(xí)是一種使用深度人工神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的方法，旨在模擬人腦識別能力的人工神經(jīng)網(wǎng)絡(luò)（簡稱“神經(jīng)網(wǎng)絡(luò)”）。其誕生于20世紀(jì)四五十年代，此后數(shù)十年間的發(fā)展起起伏伏，幾經(jīng)波折，直到近年來才以“深度學(xué)習(xí)”之名大放異彩。[1]2012年，“深度學(xué)習(xí)之父”Geoffrey Hinton的研究組在號稱人工智能“世界杯”的“ImageNet大規(guī)模視覺識別挑戰(zhàn)賽”（ImageNet Large Scale Visual Recognition Challenge，ILSVRC）中以遠(yuǎn)超第二名的成績斬獲冠軍，深度學(xué)習(xí)一戰(zhàn)成名。[2]2016年，Google研發(fā)的圍棋人工智能程序AlphaGo更以4：1的戰(zhàn)績完勝韓國棋手李世石，剎那間輿論沸騰，人工智能技術(shù)開始為社會大眾所矚目。2017年，國務(wù)院印發(fā)《新一代人工智能發(fā)展規(guī)劃》，認(rèn)為“人工智能的迅速發(fā)展將深刻改變?nèi)祟惿鐣?、改變世界，深刻改變?nèi)祟惿a(chǎn)生活方式和思維模式”。

神經(jīng)網(wǎng)絡(luò)通常由多層神經(jīng)元組成，神經(jīng)元用于模仿生物體的神經(jīng)細(xì)胞，很多神經(jīng)細(xì)胞連接在一起形成復(fù)雜的神經(jīng)系統(tǒng)。與嬰兒大腦發(fā)育類似，各神經(jīng)元最初都處于隨機(jī)的混沌狀態(tài)，并不具有識別和記憶功能，神經(jīng)網(wǎng)絡(luò)需要使用大量已知數(shù)據(jù)進(jìn)行訓(xùn)練和學(xué)習(xí)，才能具備一定的“認(rèn)知”能力。深度學(xué)習(xí)之“深”，首先體現(xiàn)在神經(jīng)網(wǎng)絡(luò)的層數(shù)上，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)往往只有三層，即輸入層、隱含層和輸出層，而用于深度學(xué)習(xí)的“深度神經(jīng)網(wǎng)絡(luò)”動(dòng)則十多甚至數(shù)十上百層。更為重要的是，深度神經(jīng)網(wǎng)絡(luò)中引入了可以讓機(jī)器自動(dòng)總結(jié)并學(xué)習(xí)數(shù)據(jù)特征的網(wǎng)絡(luò)機(jī)制，從而可以克服傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中人工設(shè)計(jì)特征的局限性。

深度學(xué)習(xí)首先在圖像分類、語音識別和自然語音理解等方面取得了巨大成功，近年來，以深度學(xué)習(xí)為核心的人工智能技術(shù)得到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注，人工智能正深刻地改變著我們的生產(chǎn)和生活方式。與此同時(shí)，人工智能介入藝術(shù)創(chuàng)作也成為大勢所趨，谷歌的Deep Dream作畫，阿里的AI魯班設(shè)計(jì)海報(bào)，人工智能正在解構(gòu)和顛覆人類的思維模式。深度學(xué)習(xí)在圖像藝術(shù)方面出現(xiàn)了很多非常出彩的應(yīng)用，本文將從風(fēng)格遷移、圖像生成和草圖渲染3個(gè)方面對深度學(xué)習(xí)進(jìn)行分析，以期對圖像藝術(shù)創(chuàng)作有所參考和啟發(fā)。

1 風(fēng)格遷移

風(fēng)格遷移是指在保留原圖像基本內(nèi)容（內(nèi)容圖像）的條件下，把另一幅圖像的風(fēng)格（風(fēng)格圖像）應(yīng)用到該圖像上。人類歷史上出現(xiàn)了很多頗有影響的畫派和很多著名的畫家，如果把他們的風(fēng)格與一些現(xiàn)代照片的內(nèi)容進(jìn)行組合，則能產(chǎn)生很多奇妙的作品。這個(gè)概念其實(shí)早已有之，但深度學(xué)習(xí)的出現(xiàn)使得風(fēng)格遷移取得了突破性的進(jìn)展，而與此同時(shí)，風(fēng)格遷移也成為深度學(xué)習(xí)最成功的應(yīng)用之一。如圖1所示，最左側(cè)一列是廈門大學(xué)的三張風(fēng)景照片;中間一列從上到下分別是三張典型的畢加索立體主義畫、莫奈印象主義畫和中國水墨山水畫;最右側(cè)一列是作者使用Gatys等提出的深度學(xué)習(xí)方法[3]，把每行中間圖像的風(fēng)格應(yīng)用到左側(cè)照片得到的新生成的圖像。

這種風(fēng)格遷移方法使用了深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN），并假定圖像的內(nèi)容和風(fēng)格是可以進(jìn)行分離的。CNN主要由多層可以處理可視化信息的很多較小計(jì)算單元組成（即卷積）;每層的計(jì)算單元相當(dāng)于一組濾波器，經(jīng)過訓(xùn)練后，它們能獲取圖像的一些特定特征;后一層神經(jīng)元以前一層的輸出作為輸入。這樣隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的增加，后層神經(jīng)元的感知視野不斷增大，提取的特征也越來越復(fù)雜，越來越能夠捕捉到與圖像中的主要物體相對應(yīng)的高層次特征，而不會受限于具體的像素值。因此，CNN在圖像識別領(lǐng)域取得了極大成功，同時(shí)，這些高層次特征往往也正是圖像中所包含的主要內(nèi)容。

關(guān)于圖像的風(fēng)格，Gatys等認(rèn)為風(fēng)格在一定程度上近似于圖像的紋理，紋理對應(yīng)于圖像的局部統(tǒng)計(jì)特征，而CNN中的濾波器就相當(dāng)于各種局部特征識別器。據(jù)此，Gatys等提出了一種基于CNN的風(fēng)格提取方法，即計(jì)算同層神經(jīng)網(wǎng)絡(luò)中不同濾波器響應(yīng)的特征圖的相關(guān)性，結(jié)合多個(gè)網(wǎng)絡(luò)層的相關(guān)性即可得到穩(wěn)定的圖像風(fēng)格的多尺度表示。[4]從圖1的試驗(yàn)可以看出，這種方法所提取的紋理在很大程度上與圖像的風(fēng)格基本是吻合的。

深度學(xué)習(xí)中風(fēng)格遷移的基本流程如下：

第一，準(zhǔn)備內(nèi)容圖像和風(fēng)格圖像，并以內(nèi)容圖像或白噪聲圖像作為初始的基準(zhǔn)圖像。

第二，用CNN模型分別計(jì)算基準(zhǔn)圖像與內(nèi)容圖像的內(nèi)容損失和基準(zhǔn)圖像與風(fēng)格圖像的風(fēng)格損失。

第三，以內(nèi)容損失和風(fēng)格損失的最小化為優(yōu)化目標(biāo)，調(diào)整基準(zhǔn)圖像的值。

第四，重復(fù)步驟二、三，使基準(zhǔn)圖像在內(nèi)容上接近內(nèi)容圖像的同時(shí)，風(fēng)格上與風(fēng)格圖像越來越相似。

2 圖像生成

正如前面所述，CNN的經(jīng)典應(yīng)用之一是圖像識別。2014年，Ian Goodfellow等人另辟蹊徑，提出了一種新的深度學(xué)習(xí)模型——生成對抗網(wǎng)絡(luò)（Generative Adversarial Net，GAN）。[5]如圖2所示，GAN模型中包含了兩個(gè)CNN：生成器（G）和辨別器（D），X表示從已知的圖像庫中抽取的某張圖像，G可以從噪聲中生成偽圖像Y，D可以對X或Y進(jìn)行真假圖像的鑒別。G與D的關(guān)系類似于藝術(shù)畫的偽造者與鑒別者，偽造者的目標(biāo)是創(chuàng)作出以假亂真的藝術(shù)畫作，而鑒別者的目標(biāo)是判斷他看到的畫作是藝術(shù)大師本人的作品還是模仿出來的。剛開始的時(shí)候，偽造者和鑒別者的水平都不高，鑒別者很容易判斷圖像的真?zhèn)?但隨著神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，兩者不斷地進(jìn)行對抗和學(xué)習(xí)，偽造者不斷改進(jìn)自己的圖像生成模型，偽造的畫作會讓鑒別者識別錯(cuò)誤。這是一個(gè)對抗雙方都不斷學(xué)習(xí)提高的過程，也正是GAN的神奇所在。

GAN一經(jīng)提出就備受矚目，衍生出許多種形態(tài)，F(xiàn)acebook的AI領(lǐng)頭人Yann LeCun表示，GAN是“近十年來機(jī)器學(xué)習(xí)領(lǐng)域最有趣的想法”。GAN不僅引起了學(xué)術(shù)界和工業(yè)界的極大興趣，甚至也有一些藝術(shù)家嘗試用其進(jìn)行藝術(shù)創(chuàng)作，GAN及其變式在圖像生成方面顯示出了異乎尋常的藝術(shù)潛力。2018年10月25日在紐約佳士得的拍賣會上，由巴黎藝術(shù)組合Obvious利用GAN模型生成的畫作《Edmond de Belamy》，被拍出了43.25萬美元的高價(jià)。該畫作基于14～20世紀(jì)的15000幅經(jīng)典肖像畫生成，虛構(gòu)了Edmond de Belamy這個(gè)角色，成為歷史上第一個(gè)拍賣的人工智能藝術(shù)品。

圖2? GAN基本原理

下面給出一個(gè)GAN在動(dòng)漫設(shè)計(jì)中應(yīng)用的例子。人物是動(dòng)漫創(chuàng)作的核心，無論是傳統(tǒng)手繪，還是計(jì)算機(jī)輔助繪畫，動(dòng)漫人物的繪制都是一個(gè)非常復(fù)雜的過程，而且對繪畫師的要求很高。2017年，6名來自復(fù)旦大學(xué)、卡內(nèi)基梅隆大學(xué)、石溪大學(xué)和同濟(jì)大學(xué)的學(xué)生，合作建立了一個(gè)名為MakeGirlsMoe的網(wǎng)站（make.girls.moe）。用戶只需要設(shè)置一系列面部和服飾特征，如發(fā)色、發(fā)型、眼鏡顏色，是否佩戴眼鏡、帽子、絲帶，以及是否有臉紅、微笑、張嘴等面部表情，網(wǎng)站就可以快速生成一個(gè)高質(zhì)量的定制版動(dòng)漫人物形象（如3所示）。

MakeGirlsMoe網(wǎng)站后臺的核心實(shí)際上就是一個(gè)改進(jìn)的GAN模型。[6]深度學(xué)習(xí)需要大量的先驗(yàn)數(shù)據(jù)進(jìn)行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，這些數(shù)據(jù)的質(zhì)量會直接影響圖像生成的效果。因此MakeGirlsMoe的設(shè)計(jì)者從日本游戲商Getchu的網(wǎng)站獲取了三萬多張訓(xùn)練所需的動(dòng)漫人物頭像，這些頭像出自專業(yè)的動(dòng)畫師之手，因而圖像質(zhì)量較高。為滿足用戶對人物特征定制的需要，MakeGirlsMoe的設(shè)計(jì)者使用了一種基于深度學(xué)習(xí)的圖像分析工具——Illustration2Vec，對這些動(dòng)漫人物的特征如發(fā)色、發(fā)型、表情等進(jìn)行標(biāo)注。

3 草圖渲染

人工智能在互聯(lián)網(wǎng)上爆紅的應(yīng)用之一是草圖渲染，其中以Edges2cats和Fotogenerator最為有名。Edges2cats可以以隨手繪制的線條圖為基礎(chǔ)，自動(dòng)生成一張貓的圖片;而Fotogenerator則可以根據(jù)線條草圖，生成一個(gè)人的頭像。它們的典型效果分別如圖4和圖5所示。Fotogenerator上線后訪問者太踴躍，服務(wù)器負(fù)荷過大，以至于開發(fā)者不得不將其關(guān)閉。

事實(shí)上，Edges2cats和Fotogenerator采用了同一種深度學(xué)習(xí)方法——Pix2Pix，這也是一種改進(jìn)的GAN模型。[7]Pix2Pix使用大量的成對圖像進(jìn)行訓(xùn)練，讓神經(jīng)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)到從輸入圖像到輸出圖像的映射關(guān)系，從而可以實(shí)現(xiàn)諸如線條圖到實(shí)物圖、灰度圖到彩色圖、白天圖到黑夜圖等多種圖像類型的轉(zhuǎn)換。Edges2cats和Fotogenerator實(shí)現(xiàn)的都是從線條圖到類似實(shí)物照片圖的轉(zhuǎn)換。需要注意的是，訓(xùn)練樣本的多樣性直接決定了神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)得到的能力。以Edges2cats為例，開發(fā)者大約訓(xùn)練了兩萬多對貓的照片與線條圖，所以不管用戶畫什么樣的草圖，生成的都是類似于貓的圖片;而如果用戶所畫草圖中貓的五官比較怪異或與訓(xùn)練圖像差異較大的話，則可能得到一些非常奇怪甚至恐怖的圖像。

4 結(jié)語

人工智能與藝術(shù)的關(guān)系，在藝術(shù)界和理論界引起了不小的討論，在2017年《美術(shù)觀察》第10期[8]與《中國美術(shù)報(bào)》第90期[9]的兩場專欄里，人工智能能給藝術(shù)帶來什么？人工智能的創(chuàng)作究竟能否算得上“藝術(shù)作品”？人工智能會消解“藝術(shù)家”的概念嗎？它是否會讓藝術(shù)變得廉價(jià)？藝術(shù)創(chuàng)造和自由意志是否無法被機(jī)器所取代？……種種疑問，無不透露著人們對這一嶄新的藝術(shù)創(chuàng)作方式的復(fù)雜心態(tài)。

畢竟，長久以來，無論是模仿說，主（客）觀精神說，還是觀念說，任何一種藝術(shù)理論都將藝術(shù)的本質(zhì)視為人類獨(dú)特的創(chuàng)造力的體現(xiàn)，是機(jī)器所無法取代的精神生產(chǎn)活動(dòng)，而人工智能的出現(xiàn)似乎在逐步挑戰(zhàn)這個(gè)邊界。2018年，AI繪制畫作《Edmond de Belamy》在紐約佳士得拍賣行以43.25萬美元的高價(jià)拍出，這更像是在某種程度上證明它的創(chuàng)造潛力。無論如何，目前的人工智能在藝術(shù)領(lǐng)域的應(yīng)用尚在初級階段，它究竟會對藝術(shù)產(chǎn)生怎樣的影響力，需要更多的實(shí)踐研究進(jìn)行開拓。

參考文獻(xiàn)：

[1] Hinton G E， Salakhutdinov R R . Reducing the dimensionality of data with neural networks[J]. Science，2006，313（5786）：504-507.

[2] Krizhevsky A， Sutskever I， Hinton G E . Imagenet classification with deep convolutional neural networks[A]. Advances in neural information processing systems[C]. 2012：1097-1105.

[3] Gatys L A， Ecker A S， Bethge M . Image Style Transfer Using Convolutional Neural Networks[A]. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）[C]. IEEE， 2016.

[4] Gatys L A ， Ecker A S ， Bethge M . Texture synthesis using convolutional neural networks[A]. International Conference on Neural Information Processing Systems[M]. MIT Press， 2015.

[5] Goodfellow I J， Pouget-Abadie J， Mirza M，etal. Generative adversarial nets[A]. International Conference on Neural Information Processing Systems[M]. MIT Press，2014：2672-2680.

[6] Jin Y，Zhang J，Li M，etal . Towards the Automatic Anime Characters Creation with Generative Adversarial Networks[J]. arXiv preprint arXiv，2017.

[7] Isola P，Zhu J Y，Zhou T，etal . Image-to-Image Translation with Conditional Adversarial Networks[C]. Proceedings of the IEEE conference on computer vision and pattern recognition，2017：1125-1134.

[8] 孟繁瑋，緱夢媛.人工智能與藝術(shù)的未來[J].美術(shù)觀察，2017（10）：13.

[9] 李振偉，等.人工智能：會給藝術(shù)帶來什么？[J].中國美術(shù)報(bào)，2017（90）.

作者簡介：李天，博士，碩士生導(dǎo)師，在《文學(xué)評論》、《新美術(shù)》和《社會科學(xué)戰(zhàn)線》等期刊發(fā)表學(xué)術(shù)論文多篇，出版專著《CG影像藝術(shù)——虛擬與現(xiàn)實(shí)的界限》和詩集《校園抒懷——人在翔安》等，主要研究方向：新媒體藝術(shù)和當(dāng)代美學(xué)等。

通訊作者：耿旭樸，博士，主要研究方向：深度學(xué)習(xí)、圖像處理和遙感技術(shù)等。