邱雪琳, 孫 迎, 劉 正,b,c, 侯 玨,b,c

(浙江理工大學(xué) a.服裝學(xué)院; b.絲綢文化傳承與產(chǎn)品設(shè)計數(shù)字化技術(shù)文化和旅游部重點實驗室;c.浙江省服裝工程技術(shù)研究中心,杭州 310018)

作為中國三大名錦之一,云錦以配色豐富、圖案精美、織造精細(xì)聞名,代表了中國傳統(tǒng)絲綢織造工藝的最高水平。為了呈現(xiàn)逐花異色的效果,云錦圖案色彩通常多達(dá)數(shù)十種,傳統(tǒng)的織造工匠通常采用色暈口訣、片金絞邊、大白相間等技巧對紋樣進(jìn)行配色,完成圖案設(shè)計。云錦圖案的傳統(tǒng)設(shè)計方法耗時長、效率低,且受到工藝傳承人技能水平的影響,極大地限制了云錦圖案的創(chuàng)新設(shè)計和產(chǎn)品活化傳承。隨著圖像技術(shù)和人工智能的發(fā)展,圖像風(fēng)格遷移逐漸應(yīng)用到瓷器[1]、漆藝[2]、繪畫[3]等工藝美術(shù)品領(lǐng)域。作為以圖案設(shè)計為特色的云錦,同樣非常適合采用圖像風(fēng)格遷移的方法完成設(shè)計。

風(fēng)格遷移是指保持圖像內(nèi)容不變的情況下,用另一幅圖的紋理、顏色等風(fēng)格對其進(jìn)行重新渲染的過程。當(dāng)前主流的圖像風(fēng)格遷移方法是基于卷積神經(jīng)網(wǎng)絡(luò)的算法[4],利用預(yù)訓(xùn)練網(wǎng)絡(luò)從內(nèi)容圖和風(fēng)格圖中提取圖像的內(nèi)容和風(fēng)格,通過圖像重建獲得合成效果圖;Johnson等[5]在Gatys等[4]研究的基礎(chǔ)上,提出了基于前饋風(fēng)格化模型的快速風(fēng)格遷移方法,提高了遷移效率;基于GAN的風(fēng)格遷移[6]方法則需要對生成器和鑒別器進(jìn)行訓(xùn)練,從而使內(nèi)容圖去擬合風(fēng)格圖的效果。上述方法只能對圖像的整體進(jìn)行遷移,為了實現(xiàn)局部風(fēng)格遷移,Handa等[7]將閾值分割獲得的掩模與遷移合成圖相結(jié)合,實現(xiàn)了特定部分的樣式轉(zhuǎn)換;Zhao等[8]通過提取內(nèi)容圖和風(fēng)格圖的軟語義掩碼,在保留內(nèi)容圖結(jié)構(gòu)的同時實現(xiàn)了對應(yīng)的樣式轉(zhuǎn)移;繆永偉等[9]針對局部遷移中的區(qū)域銜接問題,提出一種基于曼哈頓距離的圖像融合算法,實現(xiàn)了區(qū)域間的平滑過渡。

在云錦圖案研究領(lǐng)域,國內(nèi)外學(xué)者們主要圍繞配色[10-11]、寓意和設(shè)計應(yīng)用[12-13]等展開,未見針對云錦圖案風(fēng)格遷移的相關(guān)文獻(xiàn)報道。云錦圖案色彩豐富,利用原始風(fēng)格遷移算法生成的效果圖容易出現(xiàn)色彩混雜、目標(biāo)紋樣輪廓和內(nèi)容不清晰等問題,設(shè)計效果不夠理想。為了傳承和創(chuàng)新云錦設(shè)計與應(yīng)用,本文基于云錦圖案的特點,在原始遷移模型的基礎(chǔ)上,提出了基于色彩優(yōu)化的云錦局部風(fēng)格遷移方法。首先獲取目標(biāo)紋樣掩碼圖用于區(qū)分紋樣與背景,清晰紋樣輪廓;其次以合成圖像素在色彩三通道的方差和作為色彩損失加入到總損失中,通過優(yōu)化色彩損失減小紋樣內(nèi)的色彩差異,提高紋樣語義清晰度;結(jié)合色彩損失與掩碼圖,最終獲得輪廓清晰、語義易識別的云錦風(fēng)格遷移效果圖。

1 基于色彩優(yōu)化的云錦局部風(fēng)格遷移

1.1 圖像風(fēng)格遷移原理

基于卷積神經(jīng)網(wǎng)絡(luò)的VGG19模型由16個隱藏層(分為5個階段),3個全連接層組成,具有強(qiáng)大的圖像特征和語義表征能力。原始風(fēng)格遷移算法利用VGG19模型提取圖像底層紋理信息和高層語義信息分別作為風(fēng)格和內(nèi)容,使用優(yōu)化函數(shù)最小化損失,再通過迭代更新合成圖得到風(fēng)格化效果圖,具體流程如圖1所示。

圖1 圖像風(fēng)格遷移流程示意Fig.1 Process of image style transfer

1.2 損失函數(shù)

由于高層卷積網(wǎng)絡(luò)重點保留圖像的輪廓、語義內(nèi)容等信息,因此選取內(nèi)容圖C和合成圖G在卷積神經(jīng)網(wǎng)絡(luò)第四層的特征矩陣,兩個特征矩陣的平方誤差為內(nèi)容損失,如式(1)所示。

(1)

(2)

分別計算風(fēng)格圖S和合成圖G的格拉姆矩陣,它們的平方誤差記為風(fēng)格損失。由于深淺層網(wǎng)絡(luò)提取的特征不同,為全面概括圖像風(fēng)格特征,統(tǒng)計所有下采樣層的風(fēng)格損失,記為總風(fēng)格損失,如式(3)所示。

(3)

為了保證合成圖像的可控性,分別設(shè)置了內(nèi)容和風(fēng)格損失權(quán)值α、β以調(diào)整風(fēng)格遷移效果,因此總損失如式(4)所示。

Ltotal=αLcontent+βLstyle

(4)

1.3 遷移模型色彩優(yōu)化

為了改善云錦線稿類遷移效果圖色彩雜亂、前后景混合、紋樣輪廓不清晰的問題,本文在原始風(fēng)格遷移模型的基礎(chǔ)上增加了色彩損失和掩碼圖,提出了基于色彩優(yōu)化的云錦局部風(fēng)格遷移模型。優(yōu)化模型結(jié)構(gòu)如圖2所示。

圖2 云錦局部風(fēng)格遷移色彩優(yōu)化模型Fig.2 Local style transfer model of Nanjing brocade based on color optimization

首先,借助快速選擇工具,獲取內(nèi)容圖的掩碼圖作為輸入,如圖3所示。復(fù)制內(nèi)容圖為底圖,將云錦風(fēng)格圖、線稿內(nèi)容圖、底圖分別輸入預(yù)訓(xùn)練好的VGG19網(wǎng)絡(luò),通過卷積提取特征矩陣。

圖3 內(nèi)容圖的掩碼圖Fig.3 Mask of content image

其次,利用內(nèi)容圖和底圖的特征矩陣計算內(nèi)容損失;利用云錦風(fēng)格圖和底圖的格拉姆矩陣計算風(fēng)格損失;利用底圖色彩像素計算色彩損失,將合成的底圖分為R、G、B三個色彩通道,在每個通道遍歷底圖的所有像素點,記為Roipn。每層合成底圖在三通道的像素方差和為色彩損失。由于色彩屬于底層紋理信息,因此色彩損失與風(fēng)格損失使用同樣層數(shù)的合成底圖(共5層),計算如式(5)所示。

(5)

總損失為內(nèi)容損失、風(fēng)格損失和色彩損失的加權(quán)和,如式(6)所示。

Ltotal=αLcontent+βLstyle+γLcolor

(6)

式中:α、β、γ分別為對應(yīng)損失的權(quán)重,可根據(jù)風(fēng)格需要進(jìn)行調(diào)整。

選用Adam優(yōu)化器優(yōu)化總損失,反饋更新底圖的像素,確保迭代生成的底圖在保留原內(nèi)容的情況下,更接近云錦圖像的風(fēng)格,并且使合成圖的色彩差異最小化。最后結(jié)合掩碼圖,輸出輪廓、紋樣語義都相對清晰的云錦風(fēng)格化效果圖。

2 云錦圖像風(fēng)格遷移色彩優(yōu)化實驗

2.1 實驗設(shè)置

風(fēng)格遷移優(yōu)化實驗使用Pytorch框架,在處理器為Intel(R)Core(TM)i7-11700 2.5 GHz,內(nèi)存32 GB RAM,顯卡為NVIDIA GeForce RTX 3080Ti的臺式機(jī)上進(jìn)行。以云錦樣本為風(fēng)格圖,線稿類紋樣為內(nèi)容圖。由于遷移模型不限制圖像尺寸,實驗將風(fēng)格圖和內(nèi)容圖的尺寸設(shè)置了224×224像素、300×300像素、400×400像素、512×512像素四種規(guī)格進(jìn)行對比,獲得如圖4所示的遷移效果。當(dāng)尺寸設(shè)置為224×224像素時,可直接獲得明顯的遷移效果,并且耗時最短。綜合效果圖質(zhì)量和處理時間,本文將風(fēng)格圖、內(nèi)容圖和掩碼圖的尺寸統(tǒng)一設(shè)置為224×224像素,尺寸設(shè)置可根據(jù)原圖大小和清晰度需求進(jìn)行調(diào)整。

圖4 不同尺寸遷移效果Fig.4 Transfer renderings of different sizes

選擇Adam作為模型優(yōu)化器,學(xué)習(xí)率設(shè)置為5×10-3。實驗結(jié)果顯示,內(nèi)容損失、風(fēng)格損失、色彩損失絕對值相差較大。為了平衡各項損失,利用系數(shù)α、β、γ將三項進(jìn)行平衡,其值分別為1×10-3、5×105、1×102所得的損失值處于相近尺度范圍內(nèi),且遷移效果較好。

為了確定迭代次數(shù),實驗任選了三張云錦風(fēng)格圖、線稿圖作為對象,設(shè)置優(yōu)化模型初始迭代次數(shù)為2 000,每迭代100次輸出一次內(nèi)容、風(fēng)格、色彩損失值。繪制成的損失走勢如圖5所示。

圖5 損失圖Fig.5 Diagram of loss

由圖5可知,內(nèi)容損失幾乎沒有變化,風(fēng)格損失隨著迭代次數(shù)的增加逐漸減小至平穩(wěn)。由于風(fēng)格損失減小,底圖的風(fēng)格與風(fēng)格圖的風(fēng)格越來越接近,色彩也更加復(fù)雜,因此色彩損失呈現(xiàn)小幅增長再減小至平穩(wěn)的趨勢。綜合損失趨勢和訓(xùn)練時間,實驗選取迭代1 600次的合成圖為遷移輸出圖。

2.2 實驗結(jié)果

將本文提出的色彩優(yōu)化局部遷移算法與原始遷移算法[4]、局部遷移算法[7]進(jìn)行比較,獲得遷移效果圖,如圖6所示。由圖6(c)可以看出,直接采用原始遷移模型生成的合成圖色彩混雜,難以分辨圖案主體紋樣的形狀和內(nèi)容。這是由于卷積神經(jīng)網(wǎng)絡(luò)在提取風(fēng)格圖和內(nèi)容圖的特征時,學(xué)習(xí)了圖片的色彩特征,包括色彩的明度、飽和度及分布等,導(dǎo)致色彩像素之間形成了對應(yīng)遷移。而線稿類內(nèi)容圖只含輪廓色彩信息,無法形成對應(yīng)遷移,從而導(dǎo)致合成效果圖色彩混雜,目標(biāo)紋樣語義不清。而加入掩碼圖的局部遷移模型通過將紋樣與背景分離,提高了輪廓的清晰度,如圖6(d)所示。

本文的優(yōu)化模型在掩碼圖的基礎(chǔ)上添加了色彩損失,由圖6(e)可以看出,蓮花的花瓣部分顏色集中在粉色,花蕊部分主要為綠色;鈴鐺的輪廓為深紅色,空白部分為淺色;龜身的混色減少,主要呈現(xiàn)綠色;優(yōu)化模型在提高輪廓清晰度的同時,減小了紋樣內(nèi)的色彩差異,提高了紋樣的語義辨識度。

圖6 遷移效果圖對比Fig.6 Comparison of different transfer renderings

2.3 實驗結(jié)果主客觀評價

2.3.1 主觀評價

為了評價本文色彩優(yōu)化算法的風(fēng)格遷移效果,本文采用問卷調(diào)查[14]方式進(jìn)行主觀評價。招募20名實驗者基于圖6的三種遷移算法效果圖,針對紋樣語義內(nèi)容的清晰度作評價,分值設(shè)置為1～5分,紋樣內(nèi)容越容易識別則分值越高。分別計算20名實驗者對三種算法生成效果圖評分的均值和方差,結(jié)果如圖7所示。

圖7 問卷調(diào)查結(jié)果Fig.7 Result of questionnaire survey

主觀評價結(jié)果顯示,在遷移效果圖紋樣的清晰度方面,原始遷移、局部遷移和色彩優(yōu)化局部遷移模型的評分均值分別為2.18、3.63、3.88。因此,本文提出的基于色彩優(yōu)化的局部遷移模型,在實現(xiàn)局部風(fēng)格遷移的前提下,通過色彩優(yōu)化提高了主體紋樣語義內(nèi)容清晰度。

2.3.2 客觀評價

客觀上,分別從效果圖質(zhì)量和算法耗時長短兩方面進(jìn)行評價。對于遷移效果圖的客觀評價通常采用結(jié)構(gòu)相似性[15](SSIM),結(jié)構(gòu)相似性通過像素計算將圖像定義為亮度(l)、對比度(c)、結(jié)構(gòu)(s)三個不同因素的組合。用均值作為亮度的估計,標(biāo)準(zhǔn)差作為對比度的估計,協(xié)方差作為結(jié)構(gòu)相似程度的度量。每次計算從圖片上取N×N的窗口,不斷滑動窗口進(jìn)行計算,取所有窗口的均值作為整幅圖像的SSIM。SSIM數(shù)值范圍為0～1,數(shù)值越接近1表明兩幅圖像相似度越高,計算如式(7)所示。

(7)

式中:μa、μb分別表示a、b樣本的均值;σa、σb分別表示a、b樣本的方差;σab為a和b的協(xié)方差;c1、c2為兩個常數(shù),避免除零。

為了綜合評價遷移效果,本文分別計算效果圖與風(fēng)格圖、內(nèi)容圖的SSIM值(Gs、Gc),取Gs和Gc的均值作為綜合相似度評價指標(biāo)[16]。統(tǒng)一設(shè)置合成效果圖、風(fēng)格圖、內(nèi)容圖的大小為224×224像素,利用SSIM算法計算遷移效果圖的結(jié)構(gòu)相似性。表1為局部遷移算法和色彩優(yōu)化局部遷移算法獲得的5張效果圖的結(jié)構(gòu)相似性結(jié)果。

表1 結(jié)構(gòu)相似性結(jié)果Tab.1 Data of SSIM

對比只加入掩碼的局部遷移與本文基于色彩優(yōu)化的局部遷移,可以發(fā)現(xiàn),在風(fēng)格相似度方面,兩種遷移模型差距不大,但在內(nèi)容相似度方面,優(yōu)化算法普遍較高。局部遷移算法關(guān)于綜合相似度均值為0.35,而基于色彩優(yōu)化的局部遷移算法的均值為0.38,相比局部遷移算法提高了9.14%。

此外,在RTX 3080Ti上分別使用局部遷移算法和色彩優(yōu)化局部遷移算法對實驗圖片進(jìn)行1 600次迭代,所需的處理時間如表2所示。

表2 風(fēng)格遷移算法運(yùn)行時間比較Tab.2 Comparison of running time of thestyle transfer algorithm s

局部遷移算法運(yùn)行所需時間均值為13.78 s,相同配置下色彩優(yōu)化局部遷移算法在增加色彩處理的情況下,時間均值為15.42 s。數(shù)據(jù)結(jié)果表明,優(yōu)化后的遷移算法能夠快速地獲得與內(nèi)容圖結(jié)構(gòu)更為相似的風(fēng)格化圖像,有利于線稿類圖案實現(xiàn)云錦風(fēng)格的遷移。

3 結(jié) 語

針對云錦圖案風(fēng)格遷移中出現(xiàn)的效果圖前后景色彩混雜、輪廓模糊、目標(biāo)紋樣語義不清晰問題,本文提出了基于色彩優(yōu)化的云錦風(fēng)格遷移模型。利用圖像處理軟件獲得內(nèi)容圖的掩碼圖作為輸入,在風(fēng)格和內(nèi)容損失的基礎(chǔ)上增加了色彩損失以減小紋樣的色彩差異,合成了輪廓清晰、語義內(nèi)容更易識別的效果圖。

本文利用結(jié)構(gòu)相似性對局部遷移算法和色彩優(yōu)化局部遷移模型獲得的云錦風(fēng)格效果圖進(jìn)行了對比,結(jié)果顯示,優(yōu)化算法獲得的效果圖,其綜合相似度總均值為0.382,相比局部遷移算法提高了9.14%。數(shù)據(jù)結(jié)果表明,本文的優(yōu)化算法在提高輪廓清晰度的基礎(chǔ)上,減小了紋樣的色彩差異,提高了語義辨識度,更適用于云錦風(fēng)格遷移。

《絲綢》官網(wǎng)下載

中國知網(wǎng)下載