邱小鋒, 丁友東*, 梁冰， 于冰

(1.上海大學(xué)上海電影學(xué)院， 上海 200072； 2.上海大學(xué)上海電影特效工程技術(shù)研究中心， 上海 200072)

圖像修復(fù)算法旨在利用破損圖像或數(shù)據(jù)集中的先驗信息修復(fù)破損圖像的缺失區(qū)域。近年來，這些算法在生物醫(yī)藥、電影特效、文物復(fù)原、老電影修復(fù)等專業(yè)技術(shù)領(lǐng)域被廣泛應(yīng)用，目前已經(jīng)作為智能影像處理、計算機(jī)視覺等方面的重點(diǎn)研究課題。

傳統(tǒng)的圖像修復(fù)方法可以分為基于結(jié)構(gòu)和紋理兩種方法。前者具有代表性的是 Bertalmio 等[1]提出的三階微分方程模擬平滑傳輸?shù)?BSCB(bertalmio sapiro caselles ballester)模型和 Shen 等[2]提出的利用曲率擴(kuò)散的修復(fù)模型 CDD(curvature driven diffusion)。后者具有代表性的有Criminisi等[3]提出的基于塊的紋理合成技術(shù)，用于移除圖片遮蓋區(qū)域。以上方法對于小面積破損圖像的修復(fù)效果較好，但對于大面積破損圖像，修復(fù)性能較差，而且修復(fù)圖像存在結(jié)構(gòu)扭曲、紋理模糊和視覺不連貫等問題。

隨著計算機(jī)硬件設(shè)備的不斷完善，以及卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)和生成對抗式(generative adversarial networks，GAN)網(wǎng)絡(luò)在圖像超分辨率[4]、圖像復(fù)原[5-6]、圖像翻譯[7]等領(lǐng)域的快速發(fā)展，基于深度學(xué)習(xí)的圖像修復(fù)技術(shù)不斷涌現(xiàn)。深度學(xué)習(xí)可以將圖像編碼為高級特征，因此能夠引導(dǎo)圖像生成缺失區(qū)域的內(nèi)容。Pathak等[8]首先提出利用編解碼器網(wǎng)絡(luò)結(jié)構(gòu)和GAN用于圖像修復(fù)。Iizuka等[9]提出利用全局和局部鑒別器來評估圖像整體和局部的一致性，并且使用泊松融合[10]來細(xì)化圖像，從而渲染更多細(xì)節(jié)。Liu 等[11]提出了使用部分卷積，部分卷積在修復(fù)缺失區(qū)域的同時，對掩膜進(jìn)行自動更新，從而逐步縮小掩膜的面積，獲得更好的修復(fù)效果。Liu 等[12]使用 2 個結(jié)構(gòu)不同的 U-Net 分別對受損圖像進(jìn)行粗修復(fù)和精細(xì)完善，基于U-Net網(wǎng)絡(luò)能夠直接生成圖像缺失的內(nèi)容(紋理和色彩)。Yu 等[13]設(shè)計了一種能夠自動更新不規(guī)則掩碼的門控卷積，進(jìn)一步改善了圖像修復(fù)模型對不規(guī)則破損的修復(fù)效果。為了使修復(fù)結(jié)果的細(xì)節(jié)更加準(zhǔn)確，Edge-Connection 模型[14]通過預(yù)測圖像的完整邊緣信息來引導(dǎo)圖像修復(fù)過程，降低修復(fù)的難度，其對于高度結(jié)構(gòu)化的圖片也有很好的修復(fù)效果。

對于大面積受損圖像的修復(fù)，捕獲遠(yuǎn)距離像素的特征相關(guān)信息是至關(guān)重要的。如對于五官完全遮擋的圖像，設(shè)計的圖像修復(fù)網(wǎng)絡(luò)必須學(xué)習(xí)到較遠(yuǎn)區(qū)域的圖像信息，才能有效的表達(dá)圖像不同尺度的特征，生成的圖像才能真實且合理。為此，捕獲遠(yuǎn)距離像素特征成為了研究者們的研究目標(biāo)之一。Yu等[15]利用了圖像的紋理相似性來填充缺失區(qū)域，使其帶有背景區(qū)域更多紋理特征。Yi等[16]使用上下文殘差聚合模塊，結(jié)合上下文注意力機(jī)制，從特征和殘差塊借用上下文信息，確保高分辨率的修復(fù)結(jié)果。以上方法對于大面積不規(guī)則破損圖像的修復(fù)結(jié)果仍存在紋理和結(jié)構(gòu)模糊的問題。為此，Li等[17]提出了循環(huán)特征推理(recurrent feature reasoning，RFR)模塊，結(jié)合知識一致注意力模型，此方法修復(fù)結(jié)果的紋理清晰度有極大改善，但生成的部分紋理與背景仍存在較大差異。

綜上可知，目前已有的大面積圖像修復(fù)方法仍然存在結(jié)構(gòu)不一致和紋理模糊等問題，為此，本文提出基于遞歸特征估計的圖像修復(fù)算法，用于修復(fù)過程中，解決大面積缺失圖像難以捕獲遠(yuǎn)距離特征信息的問題。本文提出算法的整體結(jié)構(gòu)分為兩個模塊，粗修復(fù)模塊和精修復(fù)模塊。粗修復(fù)模塊用于圖像初步特征提取，在此嵌入上下文一致注意力(context consistent attention，CCA)模型，實現(xiàn)局部有效特征提取。針對目前圖像修復(fù)網(wǎng)絡(luò)對于遠(yuǎn)距離相關(guān)特征信息的感知和表達(dá)存在的不足，在精修復(fù)模塊，本文中提出遞歸特征估計(recurrent feature estimation，RFE)的網(wǎng)絡(luò)結(jié)構(gòu)，并在其中嵌入可學(xué)習(xí)的上下文注意力模型(learnable context attention，LCA)。前者利用鄰域像素的相關(guān)性，學(xué)習(xí)圖像已知背景信息；由于卷積神經(jīng)網(wǎng)絡(luò)主要處理局部區(qū)域的特征，僅使用卷積神經(jīng)網(wǎng)絡(luò)很難建立長相關(guān)性模型，使用LCA可以捕獲圖像中全局范圍的特征，可以建立長范圍、多層次的依賴關(guān)系，即學(xué)習(xí)到遠(yuǎn)距離像素的相關(guān)特征，此修復(fù)模型能夠靈活地處理豐富的背景信息，從而獲得結(jié)構(gòu)一致、紋理清晰、視覺上高度逼真的修復(fù)結(jié)果。

1 基于遞歸特征估計的圖像修復(fù)

1.1 整體結(jié)構(gòu)

本文中提出基于遞歸特征估計的圖像修復(fù)結(jié)構(gòu)，能較好地解決缺失區(qū)域和已知背景之間紋理和結(jié)構(gòu)一致性的問題。整體結(jié)構(gòu)分為兩個階段：粗修復(fù)模塊使用常用的編解碼結(jié)構(gòu)，用于前期提取圖像特征。本文中使用的粗修復(fù)模塊沒有最終輸出完整的修復(fù)圖像，而是獲得了通道數(shù)為64的特征矩陣，這是為了避免第二階段重復(fù)下采樣，此做法可以減少若干層卷積操作帶來的計算損耗。精修復(fù)模塊使用帶特征圖反饋的編解碼結(jié)構(gòu)，即RFE結(jié)構(gòu)，對第一階段的特征圖進(jìn)行精細(xì)修復(fù)。此模塊進(jìn)行數(shù)次遞歸，最后對多次遞歸得到的特征編碼進(jìn)行聚合，每次遞歸能夠遞進(jìn)地推斷缺失區(qū)域邊界的特征編碼，從而填補(bǔ)缺失區(qū)域的邊界信息，不斷縮小缺失區(qū)域的面積。

為了進(jìn)一步增強(qiáng)RFE恢復(fù)高品質(zhì)特征圖的性能，為該模塊設(shè)計了LCA模型，用于獲取遠(yuǎn)處特征圖的信息。LCA自適應(yīng)地聯(lián)合上一次遞歸的注意力分?jǐn)?shù)，得到新的注意力分?jǐn)?shù)進(jìn)行進(jìn)一步的特征重構(gòu)。圖1所示為本文方法的網(wǎng)絡(luò)結(jié)構(gòu)。

1.2 粗修復(fù)模塊

如圖1所示，粗修復(fù)模塊使用編解碼結(jié)構(gòu)，編碼器由兩個分支組成，分別是帶注意力的下采樣分支和常規(guī)的下采樣分支，將兩分支輸出的特征圖級聯(lián)后輸入解碼器進(jìn)行解碼。此結(jié)構(gòu)中嵌入了CCA，迫使特征圖的注意力集中在背景相似區(qū)域。

圖1 本文提出的網(wǎng)絡(luò)結(jié)構(gòu)

圖像修復(fù)中，注意力模塊在背景中尋找相似的紋理，并且將其用于填補(bǔ)缺失區(qū)域。CCA模塊中，缺失區(qū)域的像素學(xué)習(xí)已知背景塊的像素信息和周圍像素信息來生成新的像素，新的像素用于填充缺失區(qū)域。CCA先從背景和相鄰區(qū)域提取塊作為卷積濾波器，使用正則化內(nèi)積(余弦相似性)計算特征圖的像素相似性計算公式為

(1)

式中：s1、s2、s3分別表示背景和前景特征圖的像素相似性，前景當(dāng)前像素與左側(cè)相鄰像素的相似性，和前景當(dāng)前像素與上方相鄰像素的相似性。fx,y定義為前景特征圖的像素值；bx′,y′定義為背景特征圖的像素值；fx-1,y定義為背景特征圖左側(cè)相鄰的像素值；fx,y-1定義為背景特征圖上方相鄰的像素值。

隨后，對以上三個像素相似性進(jìn)行聯(lián)合，即

(2)

圖2所示為CCA模型。如圖，CCA得到像素相似性之后，采用softmax沿著xy的維度獲取每個像素的注意力分?jǐn)?shù)，即ssx,y,x′,y′=softmax(λ1sx,y,x′,y′)，這能有效地實現(xiàn)卷積和通道歸一化，最后再使用提取的塊作為逆卷積濾波器來重構(gòu)前景，通過重疊像素的值并計算其均值進(jìn)行重構(gòu)。針對前景塊的變化和相同背景塊注意力變化不一致的問題，本文中通過卷積核傳播來保持注意力的一致性。一致性的概念是指前景塊的變化和相同的背景塊的注意力變化是一致的，例如，前一個像素的值和后一個像素的值相近。為了保證注意力圖的一致性，CCA用大小為k的核先做從左到右的傳播,然后做從上到下的傳播，得到新的注意力分?jǐn)?shù)，即

圖2 CCA模型

(3)

式(2)中：λ1是一個常數(shù)值。

傳播以單位矩陣為核心，通過卷積的方式實現(xiàn)。CCA注意力傳播極大地改善了測試的結(jié)果。

1.3 RFE模塊

RFE模塊可以解構(gòu)成三個部分：①特征提取，用于識別遞歸中將被估計的區(qū)域，此模塊由兩層部分卷積層組成；②特征估計，用于推斷在已確定范圍內(nèi)的內(nèi)容，此模塊由卷積層3層下采樣和3層上采樣層組成，中間嵌入兩層卷積層和LCA注意力模型；③特征輸出，用于合成中間特征圖。在模型內(nèi)部，特征提取模塊和特征估計模塊交替循環(huán)工作。在缺失區(qū)域填補(bǔ)完成之后，將所有遞歸產(chǎn)生的特征圖進(jìn)行聚合，最終產(chǎn)生指定通道數(shù)量的特征圖。

1.3.1 特征提取

在每個遞歸中，部分卷積用于更新特征圖和掩膜，部分卷積計算之后重新歸一化特征圖。特征圖用部分卷積層計算公式為

(4)

相同的，由這一層生成的位于位置i,j的新掩膜的值可以表示為

(5)

根據(jù)以上公式，本文中能得到新的掩膜，新掩膜的缺失區(qū)域經(jīng)過部分卷積層之后變小。

此模塊級聯(lián)了多個部分卷積層一起用于更新掩膜和特征圖。在通過卷積層之后，特征圖在被送到特征估計模塊之前，通過正則化層和一個激活函數(shù)進(jìn)行處理。

1.3.2 特征估計

此模塊的目標(biāo)是盡可能用高質(zhì)量的特征值填充缺失區(qū)域。高質(zhì)量的特征值不僅有助于產(chǎn)生本次遞歸中的好的修復(fù)結(jié)果，也有利于后續(xù)遞歸。這里使用多層編解碼結(jié)構(gòu)，便于直觀地觀察并驗證特征估計結(jié)果的有效性。

特征值估計結(jié)果出來之后，特征圖繪制完成，并饋送到下一次遞歸?？紤]到特征圖在不斷遞歸中所產(chǎn)生的誤差會不斷疊加，可能會損壞特征圖。基于這個問題，本文中嵌入了LCA模型。與之前的注意力分?jǐn)?shù)單獨(dú)計算的注意力機(jī)制不同，LCA的分?jǐn)?shù)是本次注意力分?jǐn)?shù)與上次遞歸得到的注意力分?jǐn)?shù)按比例累積的分?jǐn)?shù)組合而成的，因此可以很好的控制注意力特征圖之間的不一致性。圖3所示為LCA模型，LCA需要先將缺失區(qū)域的像素和背景相匹配，首先從背景中提取3×3的塊作為卷積濾波器。為了匹配背景，計算每對特征像素之間的余弦相似性，

圖3 LCA模型

(6)

式(6)中：特征圖位置x,y的特征值表示為fx,y；位置x′、y′的特征值表示為

表示第i次遞歸中，位置(x,y)和位置(x′,y′)的缺失區(qū)域特征之間的相似性。

LCA模型中，求出相似性后，通過在可調(diào)范圍內(nèi)對目標(biāo)像素的相似性求平均，從而平滑注意力分?jǐn)?shù)，即

(7)

然后，再用產(chǎn)生在位置(x,y)像素組件的概率。產(chǎn)生的分?jǐn)?shù)映射表示為

(8)

為了計算一個像素最終的注意力分?jǐn)?shù)，先決定上一次遞歸中獲得的像素分?jǐn)?shù)是否進(jìn)行使用。像素值有效判為1，無效判斷為0，如果位置(x,y)的像素在最后的遞歸是有效像素(例如，掩膜的值為1)，則當(dāng)前遞歸中的注意得分計算為當(dāng)前遞歸和上一次遞歸的得分的加權(quán)和。表達(dá)式為

(9)

式(9)中：λ1、λ2是可學(xué)參數(shù)。

最后，注意力分?jǐn)?shù)將被用于重建特征圖。(x,y)點(diǎn)的新特征圖計算式為

x′=1，2，…，w;y′=1，2，…，h

(10)

式(10)中，w、h分別為圖的寬、高。

特征圖被重建之后，輸入特征圖和重建特征圖聯(lián)合進(jìn)行卷積，即

F′i=Conv(|Feature′,F|)

(11)

1.3.3 特征輸出

(12)

1.4 損失函數(shù)

本文中圖像修復(fù)模型涵蓋了多種損失項。首先，使用了預(yù)訓(xùn)練的感知損失和風(fēng)格損失，感知損失和風(fēng)格損失比較生成圖像和真實圖像的深度特征圖之間的差異。為了實現(xiàn)圖像注意力傳播過程中圖像特征一致性，RFE模型中計算圖像提取的特征和真實圖像的VGG16的第三層特征層的損失差值，感知損失表示為

(13)

類似的，風(fēng)格損失表示為

(14)

(15)

TV損失是常用的一種正則項，用于約束圖像噪聲。圖片中相鄰像素值的差異可以通過降低TV損失得到一定程度上解決。比如降噪，TV損失表示為

Ltv=mean(|pixeli,j-1-pixeli,j|+

|pixeli+1,j-pixeli,j|)

(16)

Lvalid和Lhold分別計算有效區(qū)域和無效區(qū)域的L1損失，即

Lvalid=‖(M)⊙(Ipred-Igt)‖1

(17)

Lhold=‖(1-M)⊙(Ipred-Igt)‖1

(18)

式中：M是對應(yīng)的二進(jìn)制掩碼；1表示像素有效；0表示像素?zé)o效；⊙ 表示按元素的乘法。Igt、Ipred分別表示真實圖像和預(yù)測圖像。

總的損失函數(shù)為

Ltotal=λtvLtv+λpercLperc+λstyleLstyle+

λvalidLvalid+λholdLhold

(19)

式(19)中：λ是用于平衡各損失之間的參數(shù)。

本文模型中的聯(lián)合損失函數(shù)在實驗中顯示出很好的效果。

2 實驗結(jié)果與分析

2.1 數(shù)據(jù)集

本文中使用的數(shù)據(jù)集包括Celeba，Places2兩種圖像修復(fù)常用的數(shù)據(jù)集，掩膜數(shù)據(jù)集使用的是來自Liu等[11]使用的數(shù)據(jù)集。

2.2 訓(xùn)練設(shè)置

本文中訓(xùn)練模型采用塊大小為1，使用Adam優(yōu)化器。開始訓(xùn)練時，學(xué)習(xí)率選為1×10-4，然后再用1×10-5進(jìn)行調(diào)整。在微調(diào)中，凍結(jié)所有的批處理標(biāo)準(zhǔn)化層。對于超參數(shù)，本文中設(shè)置λtv=0.1，λhold=6，λinner=1，λvalid=1，λperc=0.1，λstyle=180。

2.3 實驗分析

本工作采用的操作系統(tǒng)為Ubuntu16.04，64位，基于PyTorch框架，版本位1.0.0，編程語言為Python3.6。所有訓(xùn)練均采用 TITAN Xp顯卡，處理器為Xeon E5，內(nèi)存為64 GB。

將本文方法與經(jīng)典和最新的方法進(jìn)行比較，對比模型與本文方法在相同的數(shù)據(jù)集進(jìn)行訓(xùn)練。實驗分別采用定性分析和定量分析來驗證此方法的優(yōu)越性。

2.3.1 定性分析

定性分析給出了本文方法在不同數(shù)據(jù)集中進(jìn)行圖像修復(fù)的結(jié)果，并與其他方法進(jìn)行了比較。圖4給出了Places2數(shù)據(jù)集上修復(fù)結(jié)果的對比圖，模型包括：PIC[19]，EdgeConnect[14]，GConv[13]，RFR-Net[17]和本文方法。圖5給出了Celeba數(shù)據(jù)集上修復(fù)結(jié)果的對比圖。模型包括：DFNet[20]，EdgeConnect[14]，RFR-Net[17]和本文方法?？梢钥闯?，本文方法與其他方法相比，修復(fù)的圖像紋理更為清晰，邊界不存在偽影，模糊減少，結(jié)構(gòu)與背景更加一致。相比于前人的方法，本文方法保持了修復(fù)結(jié)果與背景的合理性和一致性，在視覺上效果更優(yōu)。

圖4 Places2上的對比結(jié)果

圖5 Celeba上的對比結(jié)果

2.3.2 定量分析

此外，本實驗還在不同數(shù)據(jù)集的測試結(jié)果上對圖像的結(jié)構(gòu)相似性(structural similarity index，SSIM)、峰值信噪比(peak signal-to-noise ratio，PSNR)和L1損失的均值(Mean L1 Loss)進(jìn)行定量比較，PSNR是基于對應(yīng)像素點(diǎn)間的誤差，在圖像質(zhì)量的衡量上更能符合人眼的判斷，其值越高，圖像品質(zhì)越好。SSIM越高表明生成圖像在亮度、對比度和結(jié)構(gòu)上與真實圖像越接近。Mean L1 Loss計算損失均值，值越小表示訓(xùn)練結(jié)果更優(yōu)。這些基于深層特征的評價指標(biāo)可以度量生成圖像是否符合人類視覺感知。

為了驗證不同模型在唯一變量—掩膜比例不同的條件下圖像修復(fù)效果的差異，本實驗分別選用了兩個數(shù)據(jù)集的相同數(shù)量相同內(nèi)容的圖片，加上比例不同的掩膜，得到PSNR、SSIM、Mean L1 Loss的均值，表1和表2列出了兩種數(shù)據(jù)集在不同比例掩膜下修復(fù)的比較數(shù)據(jù)。從表1和表2中可以看出，本文方法得到了最好的SSIM、PSNR和Mean L1 Loss，證明了本文方法的有效性。

表1 Celeba數(shù)據(jù)集上掩碼修復(fù)比較

表2 在Places2數(shù)據(jù)集上掩碼修復(fù)比較

2.3.3 用戶評價

為了評價修復(fù)結(jié)果的直觀感受，參考文獻(xiàn)[21]，對Celeba數(shù)據(jù)集的測試結(jié)果隨機(jī)選取50組真實圖像和修復(fù)圖像，每組圖像排序是隨機(jī)的。20名測試者對所給50組圖像進(jìn)行觀察，并判斷哪一幅圖像為真。20名測試者的準(zhǔn)確率如表3所示。

表3中，測試者對圖像修復(fù)結(jié)果的真假判斷的正確率從小到大排序?？梢钥吹?，1～9號測試者分辨圖像正確率小于50%，整體評卷正確率均值為0.493，說明小于50%的測試者無法分辨出哪幅為真圖像，哪幅為修復(fù)合成的圖像，且表中準(zhǔn)確率最高僅為0.64，可見本文方法在修復(fù)時，修復(fù)結(jié)果十分符合人眼直觀的感受，與實驗結(jié)果相符。

表3 測試者對圖像真假判斷的準(zhǔn)確率

2.3.4 可視化分析

本文中RFE模塊旨在利用多次迭代的特征估計對注意力分?jǐn)?shù)進(jìn)行多次遞歸，每次遞歸自適應(yīng)地結(jié)合上一次遞歸獲得的注意力分?jǐn)?shù)，遞進(jìn)式地填補(bǔ)缺失區(qū)域的邊界信息。為了觀察和分析RFE模塊的作用效果，本文中對經(jīng)過RFE模塊之后的6次遞歸的特征圖進(jìn)行可視化處理，采用像素為256 px×256 px。圖6為RFE模塊作用效果圖，可以看出，圖像經(jīng)過RFE模塊后，模型從破損區(qū)域的面積逐漸縮小，在第6次迭代后消失，最終輸出完整的修復(fù)圖像，證明了本文RFE模塊用于修復(fù)的有效性。為了驗證RFE中所加的LCA注意力機(jī)制的作用，本文中對經(jīng)過LCA處理前后的特征圖進(jìn)行可視化處理。如圖7所示，可以看出，經(jīng)過LCA處理后，中央破損區(qū)域顏色從黃色變?yōu)樗{(lán)色，說明該區(qū)域的干擾被抑制；此外，臉部已知特征數(shù)值得到提升，說明此注意力機(jī)制能夠自適應(yīng)增強(qiáng)重要特征的權(quán)重。

圖6 RFE模塊效果圖

圖7 LCA效果圖可視化

2.3.5 消融實驗

為了驗證各種損失函數(shù)在對修復(fù)過程的影響,本節(jié)在Celeba數(shù)據(jù)集對本文模型進(jìn)行消融實驗。

首先，將基于聯(lián)合訓(xùn)練的完整模型進(jìn)行訓(xùn)練，隨后，分別移除其中一個損失函數(shù)進(jìn)行訓(xùn)練得到5個對比模型。測試圖像大小設(shè)為256 px×256 px，掩膜大小為128 px×128 px。圖8所示為損失函數(shù)消融實驗結(jié)果對比圖。從圖8(c)與圖8(g)可以看出，去除有效區(qū)域和無效區(qū)域的L1損失之后，圖像缺失內(nèi)容無法重構(gòu)，從圖8(d)與圖8(g)可以看出，去除TV損失后，修復(fù)結(jié)果的局部細(xì)節(jié)出現(xiàn)劣化[如圖8(d)的第1行眼睛區(qū)域]，從圖8(e)與圖8(g)可以看出，當(dāng)去除感知損失后，修復(fù)圖像的膚色有所不同，且局部細(xì)節(jié)劣化。從圖8(e)與圖8(g)看出，當(dāng)去除風(fēng)格損失后，修復(fù)后的圖像內(nèi)容出現(xiàn)了紋理模糊。

圖8 損失函數(shù)消融實驗圖像修復(fù)結(jié)果對比

2.3.6 實驗對比

本節(jié)實驗主要闡述RFE模塊中遞歸次數(shù)對圖像修復(fù)效果的影響。圖9給出了不同遞歸下，本文模型在Places2數(shù)據(jù)集增加遞歸次數(shù)進(jìn)行訓(xùn)練，得到測試結(jié)果的峰值信噪比和結(jié)構(gòu)相似性。結(jié)果表明，不斷增加的遞歸次數(shù)對提高圖像修復(fù)的性能起了關(guān)鍵的作用。與之前的方法相比，本文方法性能的改善不僅是由于使用更深的網(wǎng)絡(luò)層，更是因為使用了一個更加有效的網(wǎng)絡(luò)結(jié)構(gòu)。但是，遞歸次數(shù)并不能無限制提高性能，圖中可以看出，遞歸次數(shù)為6時達(dá)到峰值，繼續(xù)增加遞歸次數(shù)，PSNR和SSIM值反而下降。

圖9 不同遞歸次數(shù)對修復(fù)結(jié)果的影響

3 結(jié)論

本文提出了基于遞歸特征估計的圖像修復(fù)算法，粗修復(fù)結(jié)合CCA模型先初步修復(fù)原缺失區(qū)域，精修復(fù)利用RFE結(jié)構(gòu)，嵌入LCA模型，此結(jié)構(gòu)可以在掩膜區(qū)域生成更豐富的信息，并得到語義明確的結(jié)果。定性和定量的實驗分析證明本文方法在性能和效果上的優(yōu)越性。

本文方法修復(fù)的圖像是隨機(jī)的，不能由用戶引導(dǎo)，修復(fù)結(jié)果完全取決于訓(xùn)練集的內(nèi)容，而每次訓(xùn)練要耗費(fèi)大量時間和計算機(jī)資源。針對這個問題，可以通過跨域翻譯的方式，用戶選擇所需的實例圖片，通過將實例圖片空間映射到帶掩膜圖像空間，使生成的掩膜區(qū)域帶有實例圖片的內(nèi)容樣式。后續(xù)針對這些問題，不斷優(yōu)化和改進(jìn)修復(fù)方案，以求得到更具穩(wěn)定性、多樣性和趣味性的圖像修復(fù)模型。