王曉龍　王穎

摘? 要：為了實(shí)現(xiàn)基于深度學(xué)習(xí)的紡織品圖案智能輔助設(shè)計(jì)系統(tǒng)，將分形圖案與深度學(xué)習(xí)風(fēng)格遷移算法相結(jié)合，利用深度學(xué)習(xí)框架Tensorflow，首先生成基于Mandelbrot集合的分形圖案，接著從圖像轉(zhuǎn)換網(wǎng)絡(luò)結(jié)構(gòu)、感知損失函數(shù)等幾個(gè)方面改進(jìn)了已有的神經(jīng)網(wǎng)絡(luò)風(fēng)格遷移算法，對(duì)分形圖案進(jìn)行風(fēng)格化設(shè)計(jì)，使生成的創(chuàng)意圖案更符合紡織品圖案邊界要求高、保持圖案細(xì)節(jié)完整的特點(diǎn)，更加符合紡織品打印要求。

關(guān)鍵詞：深度學(xué)習(xí);分形圖案;風(fēng)格遷移;卷積神經(jīng)網(wǎng)絡(luò);紡織品圖案

中圖分類號(hào)：TP391.4? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2020）02-0131-03

Abstract：In order to realize the intelligent aided design system of textile pattern based on deep learning，the fractal pattern is combined with the algorithm of deep learning style transfer. Using Tensorflow，the fractal pattern based on Mandelbrot set is generated firstly. Then，the existing neural network style transfer algorithm is improved from the aspects of image conversion network structure and perceptual loss function，the fractal pattern is stylized to make the creative pattern meet the requirements of textile pattern boundary，keep the pattern details complete and meet the textile printing requirements.

Keywords：deep learning;fractal pattern;style migration;convolution neural network;textile pattern

0? 引? 言

本文介紹基于深度學(xué)習(xí)的紡織品圖案的自動(dòng)化生成技術(shù)。使用深度學(xué)習(xí)架構(gòu)和技術(shù)來(lái)生成紡織品圖案（以及其他藝術(shù)內(nèi)容）是近年來(lái)借助科學(xué)可視化方法形成的一個(gè)藝術(shù)與科學(xué)相結(jié)合的研究領(lǐng)域，其特點(diǎn)主要表現(xiàn)在：既允許自動(dòng)化藝術(shù)品的生產(chǎn)，又?jǐn)U展了創(chuàng)造性表達(dá)的領(lǐng)域，因此為圖案設(shè)計(jì)者開辟了新的天地。

1? 深度學(xué)習(xí)

深度學(xué)習(xí)已經(jīng)成為一個(gè)快速發(fā)展的領(lǐng)域，目前經(jīng)常用于分類和預(yù)測(cè)任務(wù)，如圖像和語(yǔ)音識(shí)別以及翻譯。自2006年開始，深度學(xué)習(xí)體系結(jié)構(gòu)在圖像分類任務(wù)上顯著優(yōu)于使用手工特征的標(biāo)準(zhǔn)技術(shù)。深度學(xué)習(xí)的成功以及人工神經(jīng)網(wǎng)絡(luò)的架構(gòu)和技術(shù)再現(xiàn)，主要有以下幾個(gè)原因：

（1）技術(shù)的進(jìn)步，如：預(yù)訓(xùn)練（從而解決了多層神經(jīng)網(wǎng)絡(luò)預(yù)訓(xùn)練的低效性）、卷積（提供主題平移不變性）、LSTM（長(zhǎng)短期記憶，解決了循環(huán)神經(jīng)網(wǎng)絡(luò)訓(xùn)練的低效性）。

（2）大數(shù)據(jù)的可用性。

（3）高效和廉價(jià)的計(jì)算能力，特別得益于圖形處理單元GPU，GPU最初是為視頻游戲設(shè)計(jì)的，現(xiàn)在已經(jīng)成為深度學(xué)習(xí)應(yīng)用的最大市場(chǎng)之一。

因此，在大數(shù)據(jù)日益發(fā)展的今天，隨著越來(lái)越多的大型紡織品圖案數(shù)據(jù)庫(kù)的出現(xiàn)，基于深度學(xué)習(xí)的智能紡織品圖案生成系統(tǒng)將能夠自動(dòng)從數(shù)據(jù)庫(kù)中學(xué)習(xí)圖案設(shè)計(jì)風(fēng)格并產(chǎn)生新的圖案內(nèi)容。

2? 生成分形圖案

分形圖是一種以數(shù)學(xué)理論作為基礎(chǔ)，通過(guò)調(diào)整迭代函數(shù)、變化規(guī)則及顏色參數(shù)等數(shù)據(jù)進(jìn)行編程設(shè)計(jì)，實(shí)現(xiàn)程序代碼的可視化，將枯燥的數(shù)據(jù)轉(zhuǎn)化為絢麗的圖形或圖像。由于分形圖的生成原理，其具有極精細(xì)的結(jié)構(gòu)，若沒(méi)有源代碼，分形圖將不易復(fù)制和拷貝。這種分形圖實(shí)現(xiàn)了分形幾何學(xué)與計(jì)算機(jī)圖形學(xué)的完美聯(lián)合，同時(shí)也是科學(xué)與藝術(shù)的融合，另外分形圖的美是不可估量的，為紡織圖案設(shè)計(jì)增添了新元素[1]。本文主要利用Tensorflow計(jì)算復(fù)平面上分形圖，通過(guò)改變迭代函數(shù)形式和參數(shù)而生成變化分形圖，并將其保存為圖片形式，方便后期進(jìn)行紡織品圖案的風(fēng)格化設(shè)計(jì)。

在TensorFlow中，我們定義如下的計(jì)算步驟：

xs = tf.constant（Z.astype（np.complex64））zs = tf. Variable（xs）ns = tf.Variable（tf.zeros_like（xs， tf.float32）） with tf.Session（）： tf.global_variables_initializer（）.run（） zs_ = tf.where（tf.abs（zs） < R， zs**2 + xs， zs） not_diverged = tf.abs（zs_） < R step = tf.group（ zs.assign（zs_）， ns.assign_add（tf.cast（not_diverged， tf.float32）） for i in range（ITER_NUM）： step.run（） final_step = ns.eval（） final_z = zs_.eval（）

其中，zs對(duì)應(yīng)式（1）中的z，而xs對(duì)應(yīng)式（1）中的c。方便起見(jiàn)，只要計(jì)算時(shí)數(shù)值的絕對(duì)值大于一個(gè)事先指定的值R，就認(rèn)為其發(fā)散。每次計(jì)算使用tf.where只對(duì)還未發(fā)散的值進(jìn)行計(jì)算。結(jié)合ns和zs_就可以計(jì)算顏色，得到經(jīng)典的Mandelbrot圖像。

3? 分形圖案實(shí)時(shí)風(fēng)格化

3.1? 深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)

本文設(shè)計(jì)的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)由兩部分組成，如圖1所示，一是學(xué)習(xí)風(fēng)格圖片到內(nèi)容圖片遷移的圖像轉(zhuǎn)換網(wǎng)絡(luò)fw，其中，w（weights）是fw所有神經(jīng)元的最優(yōu)權(quán)值;二是采用由牛津大學(xué)視覺(jué)幾何組（Visual Geometry Group，VGG）開發(fā)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)VGG-16網(wǎng)絡(luò)模型，用于計(jì)算損失函數(shù)的損失網(wǎng)絡(luò)φ。該網(wǎng)絡(luò)結(jié)構(gòu)通過(guò)卷積層提取不同層的卷積特征（Feature Map），可以表達(dá)人類對(duì)圖像的視覺(jué)感知情況。利用卷積特征計(jì)算分形圖案和風(fēng)格圖片的視覺(jué)感知對(duì)比損失情況，根據(jù)不同卷積層的特征圖可以定義一系列的損失函數(shù)l1，l2，……，lk。假設(shè)一幅分形圖案x通過(guò)深層卷積神經(jīng)網(wǎng)絡(luò)fw計(jì)算得到創(chuàng)意圖案y，則定義y=fw（x），每個(gè)損失函數(shù)計(jì)算一個(gè)標(biāo)量值li（y，yi），衡量輸出的y和目標(biāo)圖像yi之間的差距，損失函數(shù)可以從紋理、光照、直方圖等多方面考慮。因此fw的求解過(guò)程就轉(zhuǎn)化為利用式（2）進(jìn)行梯度下降求最優(yōu)解，其中λi為每個(gè)損失函數(shù)i的權(quán)重比例。

3.2? 圖像轉(zhuǎn)換網(wǎng)絡(luò)

圖像轉(zhuǎn)換網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。3個(gè)卷積層后緊接著5個(gè)殘差塊，然后兩個(gè)上池化層，最后一個(gè)卷積層，第一層和最后一層的卷積核都是9×9，其余均為3×3。每個(gè)殘差塊中包含兩層卷積。我們的網(wǎng)絡(luò)結(jié)構(gòu)中把Batch Normalization用Instance Normalization[2]來(lái)替換，所有在生成器網(wǎng)絡(luò)中的Batch-Normalization都這樣替換。這樣做能阻止實(shí)例特定的均值和協(xié)方差簡(jiǎn)化學(xué)習(xí)的過(guò)程，提高風(fēng)格遷移速度同時(shí)使生成的圖像效果更好。同時(shí)，deconvolution（transposed convolution）也全部換成了resize convolution，可以防止棋盤格紋理的產(chǎn)生。再者，為了更適應(yīng)紡織品圖案邊界要求高的特點(diǎn)，通常的Zero-Padding被Reflect-Padding取代，減少了邊界效應(yīng)。

3.3? 感知損失函數(shù)

由于生成的分形圖案多數(shù)是一些純色背景的圖像，如果直接對(duì)其進(jìn)行風(fēng)格化，風(fēng)格化后圖像的邊緣會(huì)呈現(xiàn)出對(duì)物體顏色的延伸，邊界將會(huì)變得不平整，為了在創(chuàng)意圖案生成過(guò)程中，不丟失分形圖案本身的細(xì)節(jié)，使其更符合紡織品圖案打印需求，在損失函數(shù)的定義中我們采用了兩種策略：其一，對(duì)分形圖案進(jìn)行語(yǔ)義分割[3]，將分割模版同時(shí)作為分形圖案的增廣一同輸入到神經(jīng)網(wǎng)絡(luò)中，從而保證優(yōu)化過(guò)程中只處理我們感興趣的內(nèi)容。其二，在分形圖案與最終輸出圖像創(chuàng)意圖案之間建立一種在顏色空間中的局部仿射變換[4]，即創(chuàng)意圖案的每一個(gè)顏色通道中的每個(gè)像素值，都可以由分形圖案的局部區(qū)域像素的線性組合得到。通過(guò)建立這一關(guān)系，就達(dá)到了通過(guò)分形圖案來(lái)約束創(chuàng)意圖案的目的，從而不丟失分形圖案的細(xì)節(jié)。

4? 實(shí)驗(yàn)及分析

本文采用預(yù)先訓(xùn)練的VGG-16作為特征提取器。選擇conv3_3作為內(nèi)容表示，conv1_2，conv2_2，conv3_3，conv4_3作為風(fēng)格表示?？紤]到紡織品圖案對(duì)紋理及邊緣要求的特殊性，我們對(duì)于生成的分形圖案，分別采用不同的風(fēng)格圖片進(jìn)行了風(fēng)格化比較：對(duì)于油畫及畫面顏色豐富的風(fēng)格圖片生成的創(chuàng)意圖案邊界效果略失真;如果風(fēng)格圖片顏色單一或與分形圖案顏色相近，則生成的創(chuàng)意圖案紋理和邊界都非常清晰，基本符合紡織品圖案的打印需要。

5? 結(jié)? 論

基于深度學(xué)習(xí)的紡織品圖案設(shè)計(jì)技術(shù)，其特點(diǎn)主要表現(xiàn)在，它能將一些原應(yīng)屬于不可視的信息轉(zhuǎn)化成圖形或圖像展示在我們面前，其圖形圖像形態(tài)離奇，風(fēng)格獨(dú)特，非人腦所能想象，可以成為一種取之不盡的創(chuàng)作源泉。此外，因?yàn)檫@是一種將非線性科學(xué)與計(jì)算機(jī)圖形圖像技術(shù)結(jié)合的產(chǎn)物，所以，其圖案是一種數(shù)字化的信息，具有生成快，操作簡(jiǎn)便的特征，非常適合在敏捷產(chǎn)品制造系統(tǒng)中使用。

參考文獻(xiàn)：

[1] 王淑緩，楊旭紅.復(fù)平面上分形圖的生成及在紡織品上的應(yīng)用 [J].絲綢，2017，54（8）：56-61.

[2] ULYANOV D，VEDALDI A，LEMPITSKY V.Instance Normalization：The Missing Ingredient for Fast Stylization [J/OL].arXiv：1607.08022[cs.CV]（2016-07-27）.https：//arxiv.org/abs/1607.08022.

[3] CHEN L C，PAPANDREOU G，KOKKINOS I，et al. DeepLab：Semantic Image Segmentation with Deep Convolutional Nets，Atrous Convolution，and Fully Connected CRFs [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2016，40（4）：834-848.

[4] LUAN F，PARIS S，SHECHTMAN E，et al. Deep Photo Style Transfer [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu，HI，USA，2017（1）：6997-7005.

[5] WEISSTEIN E W. Gram Matrix [EB/OL].（2019-11-01）.Wolfram MathWorld. http：//mathworld.wolfram.com/GramMatrix.html.

作者簡(jiǎn)介：王曉龍（1997-），男，漢族，吉林長(zhǎng)春人，本科在讀，研究方向：輕化工程;通訊作者：王穎（1975-），女，回族，河北張家口人，教師，講師，碩士研究生，研究方向：計(jì)算機(jī)應(yīng)用技術(shù)。