潘 玥,楊會(huì)成,儲(chǔ)慧敏

(安徽工程大學(xué) 電氣工程學(xué)院,安徽 蕪湖 241000)

0 引言

圖像修復(fù)是指將信息缺失或損壞的圖像進(jìn)行填充,并達(dá)到人類視覺所滿意的效果.它可以應(yīng)用于許多場合,例如修復(fù)珍貴書籍或字畫圖片中殘缺的信息,修補(bǔ)老照片中丟失損壞的部分,或從圖像中刪除不需要的文本對(duì)象.通常圖像修復(fù)的內(nèi)容由圖像的紋理結(jié)構(gòu)和語義結(jié)構(gòu)決定,紋理信息和語義信息恢復(fù)的精度決定了圖像修補(bǔ)的精度特性.

為解決圖像修補(bǔ)的問題,許多科研人員用區(qū)分破損信息區(qū)域的大小的方法來選擇修補(bǔ)方案.他們假設(shè)紋理和類似于缺失區(qū)域的語義結(jié)構(gòu)可以從同一圖像中找到[1-3],并且可以在缺失區(qū)域中提供語義結(jié)構(gòu)信息以啟用補(bǔ)丁搜索過程[4-5].一是圖像丟失信息區(qū)域較少的情況,如點(diǎn)跡,劃痕,褶皺痕跡等受損區(qū)域狹窄且長,或者是去除的缺失區(qū)域在光滑的圖像內(nèi),一般采用基于擴(kuò)散像素級(jí)修補(bǔ)方法[6].通過求解偏微分方程(PDE)[7]或類似的擴(kuò)散系統(tǒng)[8]以傳播信息,從未損壞的或可用的部分進(jìn)入待修復(fù)的區(qū)域.二是圖像丟失信息區(qū)域較大的情況,如遮擋、水印等,一般采用基于樣本塊的范例方法[9-10].其基本思想:首先將未知區(qū)域中的塊與已知區(qū)域中的塊進(jìn)行匹配,然后在顏色、紋理以及結(jié)構(gòu)的條件約束下,通過搜索、匹配和合成等一系列操作,選擇合適的最佳匹配塊來填充未知區(qū)域.這些替代方法基本上都在復(fù)制粘貼已知圖像區(qū)域的相似信息,并且只限圖像結(jié)構(gòu)較少、無高度結(jié)構(gòu)化信息.

情境感知圖像修復(fù)方法最新用于完成圖像的研究方案之中,這要求系統(tǒng)了解圖像的整體語義,即生成對(duì)抗性網(wǎng)絡(luò)發(fā)揮作用的地方.最初的生成式對(duì)抗網(wǎng)絡(luò)從高斯分布采樣的隨機(jī)向量中生成樣本,忽略先前知識(shí)信息的輸入.最近,許多領(lǐng)域相關(guān)的先驗(yàn)知識(shí)、優(yōu)化算法和修改的構(gòu)造策略被提出與對(duì)抗網(wǎng)絡(luò)相結(jié)合,并在圖像生成任務(wù)中取得巨大成功.例如樣式轉(zhuǎn)移、超分辨率以及未來預(yù)測.受此啟發(fā),Radford等人[11]首先應(yīng)用卷積網(wǎng)絡(luò)構(gòu)建生成器,并提出深度生成式對(duì)抗網(wǎng)絡(luò)(Deep Convolutional Generative Adversarial Networks,DCGAN),DCGAN的出現(xiàn)從一開始就被應(yīng)用于各類圖像處理、自然語言處理等領(lǐng)域.其優(yōu)勢(shì)是通過博弈的方式提高生成圖片的質(zhì)量.基于此，我們的研究主要有四個(gè)步驟：一是在改進(jìn)的DCGAN的基礎(chǔ)上,利用其改進(jìn)后的性能生成大量的攜帶可彌補(bǔ)缺失區(qū)域像素的偽造圖像集；二是通過優(yōu)先函數(shù)的計(jì)算,確定好下一項(xiàng)待修復(fù)像素補(bǔ)丁,此處參考使用類似Criminisi等人[12]定義的填充順序；三是采用均方誤差在眾多偽造圖像集中確定與待修復(fù)區(qū)域最匹配的補(bǔ)丁；四是結(jié)合期望最大化算法對(duì)圖像進(jìn)行二次修復(fù),有效地改進(jìn)只進(jìn)行一次修補(bǔ)圖像,完成細(xì)節(jié)融合,提高修復(fù)圖像的準(zhǔn)確度.

1 方法

圖像修復(fù)的核心任務(wù)是將已損壞的信息缺失區(qū)域進(jìn)行合理的填補(bǔ),填補(bǔ)內(nèi)容的選擇可根據(jù)圖像的結(jié)構(gòu)信息和紋理信息來確定,填補(bǔ)后的效果可從視覺上探討.填寫圖像中缺失內(nèi)容所需的信息類型為上下文信息和感知信息.如果沒有上下文信息,就無法知道填寫缺失內(nèi)容所需的信息內(nèi)容.感知信息則扮演判斷的角色,能評(píng)判新內(nèi)容是否看起來是一個(gè)好的解決方案,因?yàn)樵谀承┣榫诚驴梢源嬖诙鄠€(gè)解決方案.一個(gè)直觀的圖像修復(fù)算法,可以捕獲這兩個(gè)屬性,確定如何一步一步完成圖像修復(fù).

圖1 像素填充圖

根據(jù)Criminisi算法描述一副損壞的圖像,如下圖1所示,給定一個(gè)損壞的圖像A與部分缺失區(qū)域(白色空白區(qū)域)表示為Ω；φ為包含確定顏色值的區(qū)域,稱為源區(qū)域,并且從源區(qū)域φ中尋找合適的推斷值將其填充于圖像缺失部分的目標(biāo)補(bǔ)丁Ωc；假設(shè)缺失區(qū)域圖像由大小為m×m的重疊方形塊組成,其大小影響整個(gè)修復(fù)算法的功能和性能.δΩ為目標(biāo)區(qū)域的邊緣,ψp為以p(p∈δΩ)點(diǎn)為中心的正方形小塊；n為δΩ在p點(diǎn)的切線的單位法向量.

我們研究的算法的主要步驟：一是生成大量偽造圖像集；二是修復(fù)補(bǔ)丁順序選擇；三是從源區(qū)域找到候選補(bǔ)??；四是填充缺失區(qū)域,并處理圖像融合細(xì)節(jié).

1.1 修復(fù)框架

生成式對(duì)抗網(wǎng)絡(luò)(GAN)一經(jīng)提出就迅速應(yīng)用于圖像處理和自然語言處理等領(lǐng)域,為了改善和穩(wěn)定GAN,Goodfellow Ian從尋找更快的模型來訓(xùn)練GAN的角度出發(fā),提出由卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建生成器,稱為深度生成式對(duì)抗網(wǎng)絡(luò)(DCGAN)[13].它能更高效的生成高分辨率圖像,引起業(yè)內(nèi)人士的廣泛研究和關(guān)注,并迅速應(yīng)用于各類計(jì)算機(jī)視覺領(lǐng)域,在深度學(xué)習(xí)乃至機(jī)器學(xué)習(xí)中取得巨大成功.DCGAN在結(jié)構(gòu)上把經(jīng)典GAN中的生成式模型G和判別式模型D換成了2個(gè)卷積神經(jīng)網(wǎng)絡(luò)(CNN).生成器G學(xué)習(xí)如何從一個(gè)輸入圖像結(jié)合輸入噪聲生成一張逼真的偽圖像,而判別器D學(xué)習(xí)判斷生成的圖像是真實(shí)的圖片還是由生成器G生成的“假的圖像”,生成器G盡最大努力生成可通過檢驗(yàn)的偽圖像,判斷器D盡可能地阻止想要欺瞞的生成圖像.兩個(gè)模型在互相博弈斗爭中學(xué)習(xí),也稱對(duì)抗式學(xué)習(xí),最終達(dá)到一個(gè)理想狀態(tài),訓(xùn)練生成圖像逼近于輸入圖像.DCGAN的網(wǎng)絡(luò)結(jié)構(gòu)圖由圖2所示.

圖2 DCGAN網(wǎng)絡(luò)結(jié)構(gòu)

神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)的一些突破,從AlexNet[14]開始,良好的卷積網(wǎng)絡(luò)在計(jì)算機(jī)視覺中得到應(yīng)用與發(fā)展,包括后來的GoogLeNet[15]、VGGNet[16]和ResNet[17](殘差網(wǎng)絡(luò)),在特征提取、特征匹配中的表現(xiàn)尤其突出.其中ResNet中的殘差函數(shù)能有效解決退化、加快收斂,實(shí)現(xiàn)網(wǎng)絡(luò)優(yōu)化的特點(diǎn).

圖3 改進(jìn)的殘差網(wǎng)絡(luò)模塊單元

受DCGAN的啟發(fā),本研究將生成器的卷積神經(jīng)網(wǎng)絡(luò)替換成殘差網(wǎng)絡(luò)結(jié)構(gòu)[18].此外,對(duì)殘差網(wǎng)絡(luò)進(jìn)行了改進(jìn),將原殘差網(wǎng)絡(luò)的最后一層卷積層替換成完全連接層,改進(jìn)后的殘差網(wǎng)絡(luò)由卷積層、池化層以及激活函數(shù)構(gòu)成.整個(gè)殘差網(wǎng)絡(luò)輸出流程如圖3所示.我們首先采用更高級(jí)別的卷積層替換一開始的全連接層,卷積層由預(yù)定義大小的過濾器堆疊組成,卷積塊的大小為3×3,這些過濾器與每一層的輸入進(jìn)行卷積操作,池化層也多采用標(biāo)準(zhǔn)化操作,使用tanh激活函數(shù)代替?zhèn)鹘y(tǒng)的ReLU激活函數(shù),數(shù)據(jù)集收斂更快,并且獲得更清楚的圖像.在每一個(gè)殘差網(wǎng)絡(luò)模塊第一個(gè)卷積層后,添加一個(gè)dropout,旨在防止過擬合.另外,去除傳統(tǒng)網(wǎng)絡(luò)中的最后一個(gè)卷積層經(jīng)過訓(xùn)練可發(fā)現(xiàn)能獲得更好修復(fù)效果.

在生成式對(duì)抗網(wǎng)絡(luò)中,對(duì)輸入數(shù)據(jù)的處理流程如圖4所示,在輸入圖像集的同時(shí)加入噪聲,利用生成器G輸出有效的偽造圖像,將生成的圖像和輸入的圖像同時(shí)送入判別器進(jìn)行檢測.一旦DCGAN開始訓(xùn)練學(xué)習(xí),就執(zhí)行圖像修復(fù),生成器G可以生成逼真的圖像,并且鑒別D器能夠?qū)ⅰ凹佟迸c“真實(shí)”分開,這意味著從輸入含有缺失信息的圖像中,生成大量的初步輸出的偽圖像,利用偽圖像中的像素信息,結(jié)合語義信息和結(jié)構(gòu)信息對(duì)輸入缺失的圖像進(jìn)行初次修復(fù)和填充.

圖4 DCGAN執(zhí)行流程圖

1.2 修復(fù)補(bǔ)丁的選擇

算法的第二步就是選擇下一個(gè)目標(biāo)補(bǔ)丁.我們應(yīng)用優(yōu)先級(jí)函數(shù)[19]來選擇具有最高優(yōu)先級(jí)的目標(biāo)補(bǔ)丁.優(yōu)先級(jí)函數(shù)P(p)等于兩個(gè)項(xiàng)的乘積,即置信項(xiàng)C(p)和數(shù)據(jù)項(xiàng)D(p),其計(jì)算公式為

P(p)=C(p)×D(p) (p∈δφ).

(1)

(2)

完成ψp的修復(fù)后,按照上式繼續(xù)對(duì)待填補(bǔ)的像素點(diǎn)的置信度值C(p)進(jìn)行更新,排在后面修復(fù)的小塊置信度就越來越小.數(shù)據(jù)項(xiàng)D(ψp)體現(xiàn)p點(diǎn)周圍線性結(jié)構(gòu)信息的強(qiáng)弱,其值越大,表現(xiàn)線性結(jié)構(gòu)越強(qiáng),D(ψp)計(jì)算公式為

(3)

對(duì)于每一個(gè)像素點(diǎn)p的修補(bǔ)邊界δΩ,像素點(diǎn)p與構(gòu)成其要素作為其中心,沿著邊界修補(bǔ)補(bǔ)丁需要補(bǔ)丁的填充順序.這是通過在沿著邊界像素點(diǎn)p處計(jì)算補(bǔ)丁填充優(yōu)先級(jí)順序來實(shí)現(xiàn)的,并且選擇具有最大優(yōu)先級(jí)的那個(gè)用于區(qū)域填充.如公式1所描述,優(yōu)先級(jí)函數(shù)即為置信項(xiàng)C(p)和數(shù)據(jù)項(xiàng)D(p)乘積.置信值描述了補(bǔ)丁中存在來自區(qū)域的有效源像素?cái)?shù)量,數(shù)據(jù)項(xiàng)描述了該點(diǎn)的分?jǐn)?shù)導(dǎo)數(shù)函數(shù)的強(qiáng)度.找到優(yōu)先級(jí)像素點(diǎn)p,計(jì)算出δΩ上所有的以像素點(diǎn)為中心的小塊區(qū)域的優(yōu)先級(jí)后,確定其中最大的小塊P(p),按照上述方法篩選出優(yōu)先級(jí)最高的小塊,根據(jù)結(jié)構(gòu)和紋理信息點(diǎn),在源區(qū)域中搜尋最相似的匹配塊來填補(bǔ)丟失的信息點(diǎn),當(dāng)類似補(bǔ)丁被發(fā)現(xiàn)后,該補(bǔ)丁的適當(dāng)部分被復(fù)制到包含在內(nèi)部涂色區(qū)域ψp∩Ωc,填補(bǔ)補(bǔ)丁后,更新邊界并重復(fù)該過程.

1.3 查找候選補(bǔ)丁

修復(fù)一張完整的圖像y,不能直接最大化D(y)缺失像素的圖像.這個(gè)過程可能導(dǎo)致既不是數(shù)據(jù)分布也不是生成分布,而是需要找到圖像生成分布的合理預(yù)測.計(jì)算從所選擇的目標(biāo)像素點(diǎn)和對(duì)應(yīng)補(bǔ)丁像素點(diǎn)的均方誤差(MSE)[20],計(jì)算公式為

(4)

Ltotal=LGAN+Lmse.

(5)

圖5展示了使用MSE度量進(jìn)行匹配的算法對(duì)于恢復(fù)結(jié)構(gòu)和紋理的任務(wù),從圖c中可以看出,所提出的算法在保留缺失區(qū)域中的垂直結(jié)構(gòu)的同時(shí)恢復(fù)了紋理信息.

圖5 輸入圖像與修復(fù)圖像紋理對(duì)比圖

1.4 二次修復(fù)

算法的第4步是圖像修復(fù)后的二次融合修復(fù),利用期望最大化算法(EM)[22],通過迭代的步驟對(duì)一次修復(fù)的圖像在細(xì)節(jié)上進(jìn)行融合處理,以期獲得更高質(zhì)量的修復(fù)圖像.期望最大化算法由Dempster等[23]提出,算法由兩步組成：E步,求取期望；M步,求極大值.對(duì)于一次修復(fù)圖像,在結(jié)構(gòu)和紋理的細(xì)節(jié)上把握不準(zhǔn)確的區(qū)域,用EM算法中最大似然估計(jì)(MLE)來確定最終決定,從而選出最有可能的估計(jì)結(jié)果.因此,在某種程度上來說優(yōu)化算法等效于圖模型中的統(tǒng)計(jì)估計(jì)方法,我們首先考慮統(tǒng)計(jì)模型中的似然函數(shù)[24]為

(6)

在MLE中,求和可以用最大項(xiàng)表示sim(·，·)∈(0，1),但是相應(yīng)的匹配補(bǔ)丁批次獨(dú)立,因此最大似然函數(shù)為

(7)

下面是算法的執(zhí)行過程,假設(shè)N為從源區(qū)域偽造圖像收集的補(bǔ)丁樣本,并將類似類似于補(bǔ)丁樣本的對(duì)應(yīng)映射關(guān)系表示為：{θi,i=1,2,…，N},其中ψp為一組樣本.

第1步：初始化ψp,?p∈P.

設(shè)置最大迭代時(shí)間T,并設(shè)置計(jì)算器t=0.

第2步：迭代.

2 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證我們提出方法的有效性,我們?cè)谌四様?shù)據(jù)集CelebA[25]上進(jìn)行模擬實(shí)驗(yàn),該數(shù)據(jù)集包含多種多樣的人臉圖像.由于五官是圖像中的唯一化的信息,例如,鼻子部分只有一個(gè),眼睛和耳朵需要有面部對(duì)稱性,單一的五官不能直接從破損圖像內(nèi)部可獲得全部的修復(fù)補(bǔ)丁.因此,相對(duì)于其他圖像修復(fù),人臉圖像的修復(fù)工作是比較困難的,對(duì)網(wǎng)絡(luò)框架的選取的要求也很高.我們首先從數(shù)據(jù)集中隨機(jī)選取20 000張照片來訓(xùn)練DCGAN模型,其中選取3/5數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)模型,2/5數(shù)據(jù)集用于測試模型,并將網(wǎng)絡(luò)框架的batch size設(shè)置為32,迭代次數(shù)設(shè)置為10 000次.訓(xùn)練過程如圖6所示,每設(shè)置1 000步截取一張圖片.

圖6 訓(xùn)練迭代

如圖7所示,原始的CelebA圖像被32×32補(bǔ)丁中心裁剪,并調(diào)整為64×64.然后將28×28貼片隨機(jī)添加到圖像中.圖7左邊部分為破損區(qū)域大小不一的待修復(fù)圖像,右邊為修復(fù)圖像.

圖7 運(yùn)行結(jié)果圖

圖7展示了CelebA測試數(shù)據(jù)集的破損區(qū)域不一人臉圖像的修復(fù)結(jié)果.為了顯示圖像修復(fù)的效果,本文采用峰值信噪比(peak signal to noise ratio,PSNR)和結(jié)構(gòu)相似性(structural similarity index,SSIM)來比較不同方法的修復(fù)效果.峰值信噪比是圖像修復(fù)領(lǐng)域中客觀評(píng)價(jià)的標(biāo)準(zhǔn),直接測量像素值的差異性來衡量修復(fù)效果的好壞,差異數(shù)值越大表示失真越小,圖像修復(fù)效果越好.結(jié)構(gòu)相似性指數(shù)是衡量修復(fù)圖像和真實(shí)原圖像直接相似度的指標(biāo).其數(shù)值為0～1之間的一個(gè)數(shù)值,數(shù)值越大代表修復(fù)圖像和真實(shí)原圖像的相似性越大,圖像修復(fù)效果越好.當(dāng)兩張圖像一模一樣時(shí),其結(jié)構(gòu)相似性的數(shù)值就為1.

在修復(fù)過程中,我們的修復(fù)網(wǎng)絡(luò)會(huì)自動(dòng)覆蓋破損區(qū)域,對(duì)破損區(qū)域進(jìn)行劃分,一步步達(dá)到修復(fù)效果.從表1可以看出,相對(duì)于傳統(tǒng)的Criminisi模型,我們做了進(jìn)一步改進(jìn),結(jié)合了其修復(fù)思想,運(yùn)用了DCGAN生成大量的待修復(fù)補(bǔ)丁,擴(kuò)大了修復(fù)的可選擇性.在視覺效果上,修復(fù)好的圖像可以彌補(bǔ)缺失圖像的結(jié)構(gòu)和紋理信息,在一定程度上可以代替原圖像,其相似性度量數(shù)值比傳統(tǒng)方法都高,對(duì)于破損區(qū)域?yàn)楸亲?、眉毛以及臉頰部分,修復(fù)效果尚可.由于眼睛區(qū)域獨(dú)特的紋理信息和顏色信息,跳躍間隔大,不像臉頰,眉毛等紋理變化小,結(jié)構(gòu)單一.因此,眼睛區(qū)域的修復(fù)難度很大.對(duì)于破損區(qū)域?yàn)檠劬r(shí),修復(fù)的融合效果有待改進(jìn),可以進(jìn)一步提升.

表1 質(zhì)量評(píng)價(jià)評(píng)分

3 結(jié)論

圖像通過由于各種各樣的因素而導(dǎo)致不完整性,圖像修復(fù)是從圖像中恢復(fù)合理圖像的技術(shù).比如說由于老化引起的信息丟失,由于磨損造成的區(qū)域缺失,在這種情況下,需要預(yù)測丟失而不希望加入過多的噪聲偽像.針對(duì)單幅圖像修復(fù),本文在提出DCGAN結(jié)合EM進(jìn)行二次修復(fù)的算法,其中在填充的順序,選擇目標(biāo)補(bǔ)丁的過程中,結(jié)合了Criminisi等人的思想.我們的算法包含四個(gè)步驟：第一步通過輸入缺失區(qū)域圖像選用生成式對(duì)抗網(wǎng)絡(luò)生成大量含有修復(fù)像素的偽造圖像；第二步通過最大化優(yōu)先函數(shù)確定下一個(gè)待修復(fù)的目標(biāo)補(bǔ)??；第三步使用MSE度量在大量的偽圖像集中尋找與目標(biāo)補(bǔ)丁最佳匹配的修復(fù)候選補(bǔ)?。坏谒牟嚼肊M進(jìn)行二次修復(fù),對(duì)細(xì)節(jié)進(jìn)行融合處理,采用端到端模式,輸入單幅殘缺圖像,直接輸出修復(fù)好圖像.本算法利用DCGAN生成大量的可選用為修復(fù)補(bǔ)丁的偽圖像,從而為目標(biāo)補(bǔ)丁提供更多選擇,對(duì)圖像修復(fù)進(jìn)行多重考慮.