国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于深度學習的楚國墓葬紡織品圖像復原

2023-05-21 18:24:49沙莎魏宛彤李強李斌陶輝江學為
絲綢 2023年5期
關(guān)鍵詞:圖像復原深度學習

沙莎 魏宛彤 李強 李斌 陶輝 江學為

摘要: 中國楚國時期紡織品由于其墓葬所屬年份較為久遠,故其紡織品文物在結(jié)構(gòu)和紋樣方面存在殘缺、破損、污漬等問題。紡織品文物在修復時只能依賴紡織品修復者的經(jīng)驗和審美,且在修復過程中可能會因為修復人員的主觀審美及經(jīng)驗出現(xiàn)修復結(jié)果不理想或二次損毀等情況。本文通過收集紡織品文物的圖像數(shù)據(jù)建立紡織品圖像數(shù)據(jù)庫,采用深度學習方法中的生成對抗網(wǎng)絡(luò)模型(GAN),針對殘缺的紡織品文物,在圖像層面進行補全修復,避免了對紡織品文物的接觸,減少在修復過程中對文物的二次損毀。通過數(shù)字化方法復原紡織品文物的圖像,使其結(jié)構(gòu)完整,紋樣連貫,從主觀評價方面具有較好的復原效果。復原后的紡織品文物圖像可以用于指導實物復原、展覽展出等,對楚國墓葬紡織品的研究具有一定的借鑒意義。

關(guān)鍵詞: 深度學習;圖像復原;生成對抗網(wǎng)絡(luò);楚國墓葬;紡織品文物;破損紡織品

中圖分類號: TP941.26; TS391.72

文獻標志碼: A

文章編號: 1001-7003(2023)05-0001-07

引用頁碼: 051101

DOI: 10.3969/j.issn.1001-7003.2023.05.001

基金項目:

國家自然科學基金項目(61802285);湖北省教育廳科學研究計劃重點項目(D20201704);湖北省服裝信息化工程技術(shù)研究中心開放基金項目(184084006);紡織服裝福建省高校工程研究中心開放基金項目(MJFZ18103);福建省新型功能性紡織纖維及材料重點實驗室開放基金項目(FKLTFM1813);武漢紡織服裝數(shù)字化工程技術(shù)研究中心開放課題項目(0100000)

作者簡介:

沙莎(1987),女,副教授,博士,主要從事針織服裝數(shù)字化的研究。

古代紡織品文物大多隨墓葬出土,與所陪葬的金銀銅器等接觸,造成紡織品表面常有銹斑、血漬等污漬斑點,也曾出現(xiàn)焚燒后碳化的殘缺布片,再加上紡織品文物主要構(gòu)成是棉、麻、絲、毛等天然纖維,所以水蝕、霉菌、蟲蛀的侵蝕導致紡織品文物呈現(xiàn)出殘缺、有破洞的狀態(tài)。其次紡織品文物往往是折疊后存放的,故其在出土后會有折疊扭曲和褶皺的出現(xiàn)[1-3]。埋藏環(huán)境與保存環(huán)境的溫度、濕度及大氣中有害物質(zhì)的附著使紡織品文物在顏色上也存在氧化褪色的現(xiàn)象,長時間與空氣接觸紡織品的纖維強度下降,發(fā)生脆化,易出現(xiàn)斷裂,破壞紡織品原貌[4]。近年來,研究者針對紡織品文物的修復大多是在古代紡織品實物基礎(chǔ)上進行的,需要紡織品文物修復人員對其進行揭取、整理、清洗、拼接,最后再進行修復工作。其中王淑娟[5]針對脆弱的絲織品文物的修復和保護,采用了縐絲紗作為修復材料,將其包覆在紡織品文物的表面起到保護作用。王菊等[6]采用了背襯織物現(xiàn)代染色技術(shù)將現(xiàn)代織物襯墊在紡織品文物后,使文物與背襯融為一體[7],對紡織品文物起到了加固的作用,并且有復原結(jié)構(gòu)、紋樣和色彩融合的效果,增強了紡織品文物的觀賞性。但以上的修復工作復雜且繁瑣,又經(jīng)常接觸對身體有害的物質(zhì),不僅要求修復人員有著超高的專業(yè)技術(shù),也考驗著復原人員的耐心和身體素質(zhì)。與此同時,紡織品本身較為脆弱,長時間的修復工作也很容易造成文物的二次損毀。所以采用數(shù)字化的手段從古代紡織品文物的圖像角度入手,引入深度學習的方法,對古代紡織品文物的圖像進行修復是極其必要的。

圖像修復在計算機領(lǐng)域是一個重要的研究課題[8],傳統(tǒng)的圖像修復技術(shù)主要分為兩大類:一是基于結(jié)構(gòu)對圖像數(shù)據(jù)進行修復,這類方法典型的有基于偏微分的修復技術(shù)[9-11],如Chan等[12]提出的曲率驅(qū)動擴散模型、CDD模型,以及基于全變分的圖像修復技術(shù)和Eulers elastica模型[13]等;二是基于紋理對圖像數(shù)據(jù)進行修復,典型的有Criminisi等[14]提出的紋理合成算法。但是傳統(tǒng)的修復方法在針對很小且細微的破損時有較好的修復效果,復原的紡織品文物圖像的信息較為淺層,提取不到紡織品文物圖像的深層特征,并且面對紡織品文物較大的破損時容易出現(xiàn)修復后的紡織品文物圖像紋理混亂、邊緣不連貫等問題,復原效果較差。而基于深度學習的圖像修復技術(shù)則可以提取到圖片更高維度的特征,通過對構(gòu)建

的修復模型的訓練,從而達到較好的復原效果[15]。目前,基于深度學習對圖像進行修復的算法模型主要有三類:其一,基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)[16]的圖像修復算法,CNN是具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò),它的出現(xiàn)可以使計算機更好地對圖像進行特征學習;其二,是依靠生成器和判別器的相互“博弈”來修復圖像的生成對抗網(wǎng)絡(luò)模型(Generative Adversarial Networks,GAN)[17-18];其三,是自編碼器(Autoencoder,AE)概念[19],2006年Hinton等[20]提出的降噪自編碼器(Denoising Autoencoder,DAE)就是基于自編碼器的概念,可以將低維數(shù)據(jù)恢復出原數(shù)據(jù)。上下文編碼器(Context Encoder,CE)算法[21]是較為經(jīng)典的編碼解碼修復算法,但容易忽略圖像的全局特征,所以修復好的圖像容易出現(xiàn)邊緣連接不連貫及紋理結(jié)構(gòu)模糊等問題。本文針對楚國墓葬紡織品圖像的特點,選擇在圖像生成領(lǐng)域效果較好的GAN圖像修復模型,并且在GAN的基礎(chǔ)上,引入自編碼器概念中的U-Net結(jié)構(gòu)作為生成模型,主要為了解決紡織品圖像數(shù)據(jù)較少的問題,判別模型主要由卷積層來組成,通過生成器與判別器的相互博弈來進行紡織品文物圖像數(shù)據(jù)的復原。以此,為古代紡織品的文物修復提供效果參考和古代紡織品紋樣、制造技術(shù)提供支持。

1 修復流程

近年來,隨著考古工作的興起,與楚國相關(guān)的墓葬發(fā)掘越來越多。對于楚國疆域范圍的界定,多數(shù)人認為是湖北、湖南等發(fā)掘楚墓較多的地區(qū),但實際上,楚國時期出土的墓葬在河南的南部、陜西的東南部和安徽的中北部均有相當可觀數(shù)量的發(fā)現(xiàn)和挖掘[22]。隨著越來越多出土的楚國文物,對于文物的保護工作也是迫在眉睫。楚國墓葬出土的文物依材質(zhì)大致可以分為以下幾類:青銅器、漆器、陶器、金銀器、紡織品等。其中只有紡織品是柔性文物,其余均為剛性文物,所以對于紡織品這種形態(tài)不穩(wěn)定的柔性文物的修復更是刻不容緩。

本文在楚國墓葬紡織品修復流程上主要分為以下3個步驟:第1步,由于網(wǎng)絡(luò)上對古代紡織品圖像數(shù)據(jù)庫的缺失,收集古代紡織品圖像數(shù)據(jù)建立古代紡織品圖像數(shù)據(jù)庫用于網(wǎng)絡(luò)模型的訓練是極為必要的;第2步,設(shè)計古代紡織品圖像修復模型的生成器和判別器,選擇損失函數(shù),將古代紡織品圖像數(shù)據(jù)庫中的部分圖像作為訓練數(shù)據(jù)進行輸入,訓練GAN模型,學習古代紡織品的紋樣結(jié)構(gòu)和特征;第3步,將訓練后的模型用于楚國墓葬紡織品圖像的修復。具體流程如圖1所示。

2 基于深度學習的紡織品修復設(shè)計

針對楚國墓葬紡織品文物的特點,本文引入深度學習的方法來進行圖像層面的復原。首先,在楚國墓葬紡織品文物的紋樣方面,內(nèi)容上一般為動物紋、植物紋、幾何紋等。結(jié)構(gòu)上主要分為單獨紋樣結(jié)構(gòu)和連續(xù)紋樣結(jié)構(gòu)兩種,連續(xù)紋樣結(jié)構(gòu)又分為二方連續(xù)結(jié)構(gòu)和四方連續(xù)結(jié)構(gòu)。單獨紋樣一般會獨立地排列在紡織品文物上,連續(xù)紋樣結(jié)構(gòu)中的二方連續(xù)紋樣即一個單位的紋樣在兩條平行線之間進行左右連續(xù)或上下連續(xù)地重復排列的帶狀結(jié)構(gòu)紋樣,一般用在領(lǐng)緣、袖緣、底邊、腰帶等位置;四方連續(xù)紋樣即是由一個單位的紋樣向上下左右四個方向重復排列構(gòu)成的紋樣結(jié)構(gòu),可向四周無限擴展,循環(huán)往復,一般用在衣身等面積較大的位置。由此可見,古代紡織品圖像大多具有重復性和規(guī)律性的特點。在修復紡織品圖像時,可以通過對其他已知區(qū)域信息特征的提取來進行未知區(qū)域的復原。針對紡織品這些特點,本文選用GAN模型來進行楚國墓葬紡織品圖像的復原。GAN是Goodfellow等[23]于2014年提出的一種深度學習方法,核心是利用生成器和判別器的相互不斷地博弈從而產(chǎn)生較好的輸出結(jié)果。生成器盡可能地去學習真正的數(shù)據(jù)分布規(guī)律,生成以假亂真的數(shù)據(jù),判別器則盡可能地去判別生成器生成的假數(shù)據(jù)和真實數(shù)據(jù),通過兩者不斷地優(yōu)化調(diào)節(jié)達到生成的數(shù)據(jù)接近真實數(shù)據(jù)的效果。應用到紡織品文物圖像修復上來講,就是根據(jù)紡織品具有重復性和規(guī)律性的特點,通過學習輸入紡織品圖像數(shù)據(jù)集已知區(qū)域的結(jié)構(gòu)紋樣特征等數(shù)據(jù)信息,生成接近于真實紡織品圖像未知區(qū)域的數(shù)據(jù)信息,將殘缺的紡織品圖像在結(jié)構(gòu)上補全,在紋樣上連貫。

2.1 紡織品圖像修復模型的生成器設(shè)計

生成器主要采用U-Net[24]結(jié)構(gòu)為基礎(chǔ),是典型的編碼-解碼結(jié)構(gòu),是著名的處理醫(yī)學圖像的圖像分割網(wǎng)絡(luò)。與醫(yī)學圖像獲取數(shù)據(jù)難相同,古代紡織品圖像數(shù)據(jù)獲取也比較困難,所以采用U-Net結(jié)構(gòu)作為生成器。U-Net結(jié)構(gòu)是由4次下采樣通過卷積和池化進行紡織品圖像的特征提取,再由4次上采樣通過轉(zhuǎn)置卷積恢復其特征,其下采樣與上采樣顯現(xiàn)出U型的對稱結(jié)構(gòu)。中間將提取的紡織品圖像的特征和復原的紡織品圖像特征進行拼接,也叫跳躍連接,增加特征的厚度進行特征圖的融合。根據(jù)部分紡織品的圖案較為復雜的特性,本文改進U-Net結(jié)構(gòu),減少下采樣和上采樣的次數(shù),取消池化層,減少紡織品圖像數(shù)據(jù)信息的丟失,分別采用2次下采樣操作和2次上采樣操作,減少紡織品圖像修復模型的計算量。同時根據(jù)紡織品圖像信息的復雜度和需要修復區(qū)域的大小選取步長,紡織品圖像中細節(jié)越多,紋樣越復雜,需要修復的區(qū)域越大,步長則需要適當減小;反之,紡織品圖像中信息越簡單,需要修復的區(qū)域越小,步長則可以適當增大以提高計算效率。在下采樣操作中,采用自適應步長的卷積對紡織品圖像的數(shù)據(jù)特征進行壓縮。上采樣也采用自適應的步長,卷積核為3×3的反卷積來進行紡織品圖像的特征恢復操作。取消跳躍連接,引入空洞卷積,因為圖像數(shù)據(jù)在下采樣的過程中可能會丟失部分邊緣數(shù)據(jù),減少采樣次數(shù)可以有效防止數(shù)據(jù)丟失,而增加空洞卷積又可以加寬視野,減少紡織品圖像信息的損失。選擇ReLU作為生成器的激活函數(shù),生成器網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示,以此法將楚國墓葬紡織品文物圖像的破損缺失部分進行補全。

2.2 紡織品圖像修復模型的判別器設(shè)計

判別器在圖像修復中起到十分重要的作用,通過判別器驗證紡織品補全后圖像的真假,可以決定生成器生成的結(jié)果能否作為最后結(jié)果輸出,還可以指出真實的古代紡織品圖像與生成的古代紡織品圖像之間的差距,訓練生成器生成接近真實的古代紡織品圖像。本文判別器采用7層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),將卷積層和全連接層引入判別器中,包含6層的卷積層和1層的全連接層。卷積層采用5×5的卷積核,步長為2,使用ReLU函數(shù)作為激活函數(shù)。全連接層使用Sigmoid函數(shù)作為激活函數(shù),因為全連接層每一個神經(jīng)元都與前一層的神經(jīng)元相連,可以整合所有用于分類的特征數(shù)據(jù)的信息,所以可以進行分類,用以判別輸入的古代紡織品圖像數(shù)據(jù)的真假。而Sigmoid函數(shù)也常用于二分類問題當中,可以將輸入的數(shù)據(jù)映射到0~1,輸入的正數(shù)數(shù)據(jù)的值越大越接近于1,輸入的負數(shù)數(shù)據(jù)的值越大越接近于0,輸出結(jié)果為0或1,若輸出為0即判定其輸入的古代紡織品圖像為假,若輸出結(jié)果為1即判定其輸入的古代紡織品圖像為真。但Sigmoid函數(shù)的收斂速度較慢,所以卷積層選擇收斂速度較快的ReLU函數(shù)作為激活函數(shù)。實驗證明,判別器可以有效判別生成的紡織品圖像數(shù)據(jù),經(jīng)過反復博弈,使得生成器生成的紡織品圖像質(zhì)量提升,與真實的古代紡織品圖像較為接近。判別器結(jié)構(gòu)如表1所示。

2.3 紡織品圖像修復模型的損失函數(shù)

損失函數(shù)是衡量生成對抗模型好壞的一個重要指標,主要就是用來表現(xiàn)生成的紡織品圖像數(shù)據(jù)與真實圖像數(shù)據(jù)之間的差值。本文使用了MSE損失函數(shù)和對抗損失函數(shù)作為生成器和判別器的損失函數(shù)。其中MSE損失函數(shù)即均方誤差

損失函數(shù),也叫L2損失函數(shù),是生成的紡織品圖像與真實的紡織品圖像之間的距離平方的平均值,其定義為:

式中:N為輸入的古代紡織品圖像的數(shù)據(jù)樣本數(shù)量;yi為真實的古代紡織品圖像數(shù)據(jù);y′i為生成的預測古代紡織品圖像數(shù)據(jù)。

使用MSE損失函數(shù)指導的網(wǎng)絡(luò)模型可以生成古代紡織品圖像的大致信息,而想要細致的信息則需要引入對抗損失。GAN網(wǎng)絡(luò)模型的原理就是判別器要努力識別生成器所生成的圖像,使預測圖像數(shù)據(jù)的輸出接近為0,真實圖像數(shù)據(jù)的輸出接近為1。所以,對抗損失的定義為:

式中:x為真實的古代紡織品圖像數(shù)據(jù);pdata為真實古代紡織品圖像的數(shù)據(jù)分布;pz為生成的古代紡織品圖像數(shù)據(jù)的分布;D(x)表示真實數(shù)據(jù)的判別結(jié)果,越趨近于1越好;D(G(z))表示生成數(shù)據(jù)的判別結(jié)果,越趨近于0越好。

對抗損失函數(shù)可以分別對生成器和判別器進行優(yōu)化,使得最后訓練的古代紡織品圖像修復模型達到較好的訓練效果,復原的古代紡織品圖像接近于真實的古代紡織品圖像。

3 實 驗

本文實驗使用了Python 3.6進行編程,采用了深度學習的框架PyTorch,在配置為NVIDIA RTX 3060的Windows 10的環(huán)境中進行。

3.1 數(shù)據(jù)集

本文的主要研究對象是楚國墓葬出土的紡織品文物。由于古代紡織品圖像數(shù)據(jù)不多,目前也沒有關(guān)于古代紡織品圖像的數(shù)據(jù)集,所以在圖像采集時,主要數(shù)據(jù)來源是以有著“絲綢寶庫”之稱的馬山一號墓的紡織品文物圖像為主;再以其他地方的楚國紡織品文物圖像為輔,將紡織品圖像進行放大裁剪,將一幅圖裁剪成多幅圖像,進行圖像數(shù)據(jù)量的增強,通過采集、裁剪、整理,建立紡織品圖像的數(shù)據(jù)集。

3.2 網(wǎng)絡(luò)訓練

將收集的古代紡織品圖像數(shù)據(jù)通過裁剪等方式使得圖像數(shù)據(jù)尺寸為256×256,其中的部分古代紡織品圖像數(shù)據(jù)當成測試集,剩余的古代紡織品圖像數(shù)據(jù)當成訓練集。

基于GAN網(wǎng)絡(luò)模型進行的紡織品圖像補全的過程為:1) 將訓練集圖像數(shù)據(jù)的隨機位置上加上掩膜進行部分遮擋,掩膜尺寸為64×64;2) 將訓練數(shù)據(jù)和掩膜一起輸入生成器中,先通過2次下采樣的卷積操作,提取真實古代紡織品圖像的特征值;3) 再通過空洞卷積將提取壓縮后的古代紡織品圖像的特征值進行擴充,擴大感受野,減少真實古代紡織品圖像的邊緣信息的丟失;4) 進行2次上采樣的反卷積操作,生成補全后的古代紡織品圖像數(shù)據(jù);5) 將未被遮擋的完整的真實古代紡織品圖像和生成器生成的補全后的古代紡織品圖像一起輸入到判別器中;6) 利用損失函數(shù)計算生成的古代紡織品圖像數(shù)據(jù)與真實的古代紡織品圖像數(shù)據(jù)的差距,通過判別器進行真實圖像和補全圖像的判別;7) 將判別結(jié)果反饋給生成器從而優(yōu)化生成器,使得生成器生成更加接近真實的古代紡織品圖像;8) 經(jīng)過多次反復,直到生成器生成的古代紡織品圖像與真實的圖像接近,判別器判別不了為止。此時GAN模型則訓練完成。

3.3 紡織品圖像復原結(jié)果與分析

將測試集圖像附上掩膜,將其通過訓練后的GAN網(wǎng)絡(luò)模型進行修復,輸入的圖像數(shù)據(jù)尺寸為256×256,掩膜尺寸為64×64,修復后圖像如圖3所示。

從復原的測試集圖像中可以看出復原后圖像沒有明顯邊界,并且紋樣信息基本得到修復,但圖3中紋樣信息較為簡單,紋樣細節(jié)不多,且所修復部位均是規(guī)則的破損,而古代紡織品的破損大多是不規(guī)則的,所以為了檢測本文中的方法對不規(guī)則破損圖像的修復效果,將不規(guī)則破損的紡織品圖像加上掩膜后進行修復,如圖4所示。由圖4可以看出,本文對不規(guī)則破損圖像也具有一定的修復效果,部分復原圖像會出現(xiàn)模糊的問題,但基本復原了紡織品圖像的紋樣和結(jié)構(gòu)等特征信息。

為了進一步檢測本文所提出修復模型的有效性,選取紋樣較復雜的紡織品文物圖像,采用近幾年典型的圖像修復方法DeepFill v2算法[25]來進行對比實驗,復原結(jié)果如圖5所示。采用DeepFill v2算法復原的古代紡織品圖像與本文方法復原的古代紡織品圖像(圖4(a)(b)),復原效果對比明顯。相較于本文方法,在DeepFill v2算法中,自適應上下文編碼器(Adaptive Context Encoder,ACE)可以根據(jù)圖像的上下文信息自動檢測缺失區(qū)域,但復原的紡織品圖像效果較差,圖5中最大破損已用紅色標記,從標記處看,高次數(shù)迭代后的圖像復原效果尤其不理想,復原后的圖像出現(xiàn)白色斑點,與古代紡織品圖像的紋理對比明顯;低次數(shù)迭代后復原的圖像雖然沒有明顯斑點,但復原的部位并沒有還原紋樣信息,且較為模糊混亂,不同顏色之間也有相融現(xiàn)象。可見,采用DeepFill v2算法復原的圖像整體上出現(xiàn)了模糊、偽影、噪聲等現(xiàn)象,且復原的紋樣信息不連貫。而采用本文方法修復的圖像,修復后部位較為清晰,復原了紡織品圖像的結(jié)構(gòu)和一部分紋樣,所復原的內(nèi)容與紡織品本身的部分銜接較好,紋樣結(jié)構(gòu)融為一體,顏色上也沒有明顯的分界,復原效果較好,復原后圖像具有一定的觀賞性。

基于以上實驗結(jié)果進行分析,現(xiàn)有圖像修復算法的訓練均是基于人臉、建筑、風景等圖像數(shù)據(jù)集,而本文所提出的圖像修復模型是基于楚紡織品圖像具有重復性和規(guī)律性的特征進行構(gòu)建和訓練的,學習了楚紡織品圖像的特征,進一步復原楚紡織品圖像。就楚國墓葬紡織品圖像復原,本文所提出的方法是十分必要且有效的。

4 結(jié) 論

本文針對一些修復難度較大,較為脆弱不宜觸碰的楚國墓葬紡織品文物提出了一種利用數(shù)字化方法從圖像層面修復的一種可能性?;诠糯徔椘穲D像數(shù)據(jù)庫,引入深度學習的方法,利用GAN網(wǎng)絡(luò)模型,進行了楚國墓葬紡織品圖像的復原,尤其對于古代紡織品的殘缺、瑕疵等問題進行了圖像層面的修復。從人的主觀角度看,修復后的紡織品圖像具有較好的視覺效果,恢復了部分楚國紡織品原有的風采。實驗結(jié)果為紡織品文物的修復提供了一種全新的角度,也為楚國墓葬紡織品的修復研究提供了一種新的方法。

參考文獻:

[1]龔德才. 古代紡織品保護研究[J]. 中國文化遺產(chǎn), 2004(3): 72.

GONG Decai. Research on protection of ancient textiles[J]. China Culture Heritage, 2004(3): 72.

[2]王孖. 被焚燒過的古代紡織品的保護[C]//中國文物保護協(xié)會. 文物保護技術(shù)(1981—1991). 北京: 科學出版社, 2010: 148-153.

WANG Ma. Protection of Burned Ancient Textiles[C]//China Association of Cultural Relics Protection Technology. Technology for Cultural Relics Protection (1981-1991). Beijing: Science Press, 2010: 148-153.

[3]馬江麗. 基于知識圖譜的紡織品文物清洗研究[J]. 上海紡織科技, 2019, 47(7): 17-21.

MA Jiangli. Research on the cleaning of textile relics based on the knowledge map[J]. Shanghai Textile Science & Technology, 2019, 47(7): 17-21.

[4]楊海亮, 周旸, 劉劍, 等. 多光譜攝影技術(shù)在印繪紡織品文物信息提取中的應用: 以正德八年誥命為例[J]. 文物保護與考古科學, 2017, 29(2): 33-37.

YANG Hailiang, ZHOU Yang, LIU Jian, et al. The use of multispectral photography technology to extract information from printed textiles: Analysis of a piece of an imperial edict dated to the eighth year of the Ming Emperor, Zheng De[J]. Sciences of Conservation and Archaeology, 2017, 29(2): 33-37.

[5]王淑娟. 縐絲紗在中國古代紡織品修復中的應用[J]. 文物保護與考古科學, 2016, 28(2): 67-72.

WANG Shujuan. Methods of using silk crepeline in the conservation of ancient Chinese textiles[J]. Sciences of Conservation and Archaeology, 2016, 28(2): 67-72.

[6]王菊, 趙喜梅, 李林杉. 現(xiàn)代織物染色技術(shù)在古代紡織品保護修復中的應用探討[J]. 絲綢, 2020, 57(12): 49-54.

WANG Ju, ZHAO Ximei, LI Linshan. Application of modern fabric dyeing technique in protection and restoration of ancient textiles[J]. Journal of Silk, 2020, 57(12): 49-54.

[7]路智勇. 輔料染色技術(shù)在古代紡織品保護修復中的應用[J]. 文物保護與考古科學, 2008(2): 56-59.

LU Zhiyong. The application of dyeing techniques in textile conservation and restoration[J]. Sciences of Conservation and Archaeology, 2008(2): 56-59.

[8]陳杰, 李旭姣. 圖像修復技術(shù)綜述[J]. 電信快報, 2021(2): 44-46.

CHEN Jie, LI Xujiao. A survey of image inpainting techniques[J]. Telecommunications Information, 2021(2): 44-46.

[9]趙露露, 沈玲, 洪日昌. 圖像修復研究進展綜述[J]. 計算機科學, 2021, 48(3): 14-26.

ZHAO Lulu, SHEN Ling, HONG Richang. Survey on image inpainting research progress[J]. Computer Science, 2021, 48(3): 14-26.

[10]姜藝, 胥加潔, 柳絮, 等. 邊緣指導圖像修復算法研究[J]. 計算機科學與探索, 2022, 16(3): 669-682.

JIANG Yi, XU Jiajie, LIU Xu, et al. Research on Edge-Guided image repair algorithm[J]. Journal of Frontiers of Computer Science and Technology, 2022, 16(3): 669-682.

[11]阮秋琦, 仵冀穎. 數(shù)字圖像處理中的偏微分方程方法[J]. 信號處理, 2012, 28(3): 301-314.

RUAN Qiuqi, WU Jiying. Partial differential equation (PDE) method on digital image processing[J]. Journal of Signal Processing, 2012, 28(3): 301-314.

[12]CHAN T F, SHEN J. Nontexture inpainting by curvature-driven diffusions[J]. Journal of Visual Communication and Image Representation, 2001, 12(4): 436-449.

[13]CHAN T F, KANG S H, SHEN J. Eulers elastica and curvature-based inpainting[J]. SIAM Journal on Applied Mathematics, 2002, 63(2): 564-592.

[14]ANTONIO C, PATRICK P, KENTARO T. Region filling and object removal by exemplar-based image inpainting[J]. IEEE Transactions on Image Processing, 2004, 13(9): 1200-1212.

[15]唐浩豐, 董元方, 張依桐, 等. 基于深度學習的圖像補全算法綜述[J]. 計算機科學, 2020, 47(S2): 151-164.

TANG Haofeng, DONG Yuanfang, ZHANG Yitong, et al. Survey of image inpainting algorithms based on deep learning[J]. Computer Science, 2020, 47(S2): 151-164.

[16]FANG Y, LL Y, TU X, et al. Face completion with hybrid dilated convolution[J]. Signal Processing: Image Communication, 2019, 80: 115664.

[17]楊魯月, 張樹美, 趙俊莉. 基于并行Gan的有遮擋動態(tài)表情識別[J]. 計算機工程與應用, 2021, 57(24): 168-178.

YANG Luyue, ZHANG Shumei, ZHAO Junli. Dynamic expression recognition with partial occlusion based on parallel Gan[J]. Computer Engineering and Applications, 2021, 57(24): 168-178.

[18]左凱楠. 基于深度卷積生成對抗網(wǎng)絡(luò)的圖像補全研究[D]. 西安: 西北大學, 2020.

ZUO Kainan. Image Inpainting Based on Deep Convolutional Generative Adversarial Network[D]. Xian: Northwest University, 2020.

[19]范春奇, 任坤, 孟麗莎, 等. 基于深度學習的數(shù)字圖像修復算法最新進展[J]. 信號處理, 2020, 36(1): 102-109.

FAN Chunqi, REN Kun, MENG Lisha, et al. Advances in digital image inpainting algorithms based on deep learning[J]. Journal of Signal Processing, 2020, 36(1): 1002-109.

[20]HINTON G E, SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks[J]. Science, 2006, 313(5786): 504-507.

[21]PATHAK D, KRAHENBUHL P, DONAHUE J, et al. Context Encoders: Feature Learning by in Painting[C]. Las Vegas, USA: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 2536-2544.

[22]尚如春. 東周時期楚國社會變遷研究[D]. 長春: 吉林大學, 2019.

SHANG Ruchun. A Study on the Social Transition of Chu in the Eastern Zhou Dynasty[D]. Changchun: Jilin University, 2019.

[23]GOODFELLOW I J, POUGET-ABADIE J, MIRZA M, et al. Generative Adversarial Nets[C]. Montreal, Canada: Proceedings of the 27th International Conference on Neural Information Processing Systems, 2014: 2672-2680.

[24]RONNEBERGER O, FISCHER P, BROX T. U-Net: Convolutional Networks for Biomedical Image Segmentation[C]//Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015: 18th International Conference. Munich, Germany: Proceedings of the Springer International Publishing, 2015: 234-241.

[25]YU J, LIN Z, YANG J, et al. Free-form Image Inpainting with Gated Convolution[C]. Los Alamitos, USA: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019: 4471-4480.

Abstract: Most of Chu textile cultural relics in China are unearthed from tombs. Due to the long age and poor storage environment, textiles are often incomplete and damaged with rust spots, blood stains and other blots on the surface. At present, the restoration of textile cultural relics is still mainly physical restoration. The process of physical restoration, depending on the subjective aesthetics and experience of the restoration personnel, is easy to cause problems such as unsatisfactory restoration effect or secondary damage. In order to reduce the contact with textile cultural relics, a digital method was used in this study to restore the textiles of Chu tombs at the image level.

The textile image database was established by collecting the image data of textile cultural relics in Chu tombs. The generative adversarial network (GAN) model in the deep learning method was used to repair the incomplete textile cultural relics at the image level, avoiding touching textile cultural relics and reducing the secondary damage in the repair process. At the same time, the generator with the U-Net structure was used in the study to reduce the number of down-sampling and up-sampling, cancel the pooling layer and jump connection, introduce dilated convolution, expand the receptive field, and reduce the loss of textile image data information. According to the characteristics of repeatability and regularity of textile images of Chu tombs, we adopted adaptive step size for the generator. The larger the repair area, the more the details and the more complex the pattern are, and the smaller the step size should be. The smaller the repair area, the less the details and the simpler the pattern are, and the bigger the step size should be, so that the computational efficiency can be improved. The discriminator is of seven-layer network structure, including six convolutional layers and one fully connected layer. The ReLU function was selected as the activation function in the convolutional layers, and the Sigmoid function was selected in the fully connected layer. By learning the data information input into the known area of the textile image database, the generator generated data information close to the unknown area of the real textile image, so as to restore the textile image. The discriminator was used to determine the authenticity of the generated image to adjust the parameters, and the Chu textile image restoration was achieved through continuous optimization of the two. In order to further test the effectiveness of the repair model proposed in this study, the typical image repair method DeepFill v2 algorithm was selected for comparative experiments. The image restored by DeepFill v2 is relatively blurred, with artifacts, noise and other phenomena. The image restored by the method proposed in this study is clear, with the structure and pattern of the textile image being basically restored.

In this study, a digital method is proposed to repair some textile cultural relics unearthed from Chu tombs, which are difficult to repair and fragile. The images of textile cultural relics are restored by the digital method to make the structure complete and pattern coherent, which achieves a good restoration effect from subjective evaluation perspective. The restored textile relic images can be used to guide the restoration of physical objects, exhibitions, etc., which has certain significance for the study of Chu tomb textiles.

Key words: deep learning; image restoration; GAN; Chu tombs; textile cultural relic; damaged textiles

猜你喜歡
圖像復原深度學習
基于MTF的實踐九號衛(wèi)星圖像復原方法研究
一種基于顯著性邊緣的運動模糊圖像復原方法
有體驗的學習才是有意義的學習
電子商務(wù)中基于深度學習的虛假交易識別研究
MOOC與翻轉(zhuǎn)課堂融合的深度學習場域建構(gòu)
大數(shù)據(jù)技術(shù)在反恐怖主義中的應用展望
深度學習算法應用于巖石圖像處理的可行性研究
軟件導刊(2016年9期)2016-11-07 22:20:49
基于深度卷積網(wǎng)絡(luò)的人臉年齡分析算法與實現(xiàn)
軟件工程(2016年8期)2016-10-25 15:47:34
基于MTFC的遙感圖像復原方法
模糊圖像復原的高階全變差正則化模型構(gòu)建
望奎县| 乡城县| 博客| 巧家县| 舞钢市| 克什克腾旗| 定陶县| 金秀| 甘南县| 高陵县| 林西县| 将乐县| 来凤县| 龙陵县| 横山县| 青浦区| 上蔡县| 崇阳县| 阳朔县| 修文县| 綦江县| 贵州省| 孝感市| 确山县| 乌海市| 修文县| 曲沃县| 页游| 武平县| 蓬溪县| 航空| 锡林浩特市| 龙井市| 贵阳市| 开鲁县| 朝阳县| 衡阳市| 金沙县| 合水县| 乡宁县| 天祝|