張琳娜,趙鳳群

（1.陜西國(guó)防工業(yè)職業(yè)技術(shù)學(xué)院，陜西戶縣,710300;2.西安理工大學(xué)，陜西西安,710032）

基于偏微分方程圖像修補(bǔ)BSCB模型的應(yīng)用

張琳娜1,趙鳳群2

（1.陜西國(guó)防工業(yè)職業(yè)技術(shù)學(xué)院，陜西戶縣,710300;2.西安理工大學(xué)，陜西西安,710032）

本文在Matlab7.0的環(huán)境下，利用相關(guān)隨機(jī)初始化方案與BSCB模型的結(jié)合，修補(bǔ)小尺度污損圖像，并且指出了該方案修補(bǔ)人工與自然圖像的效果。針對(duì)同一幅污損圖像，通過(guò)三種初始化方案組合BSCB模型對(duì)其進(jìn)行修補(bǔ)，按照修補(bǔ)結(jié)果對(duì)相關(guān)隨機(jī)初始化方案對(duì)修補(bǔ)效果與效率進(jìn)行改善方面產(chǎn)生的優(yōu)勢(shì)進(jìn)行論證。

偏微分方程；圖像修補(bǔ)；BSCB模型；應(yīng)用

0 引言

在文藝復(fù)興時(shí)期出現(xiàn)了圖像修補(bǔ)技術(shù)，當(dāng)時(shí)主要是在藝術(shù)品修補(bǔ)中進(jìn)行應(yīng)用。由于不斷變遷的時(shí)代，大部分早期的藝術(shù)品都存在著各種程度的損傷與裂痕，人們對(duì)翻新一些藝術(shù)品主要是利用手工對(duì)裂縫進(jìn)行描繪填補(bǔ)。可是由于需要在原作品上直接進(jìn)行修補(bǔ)，具有極高的風(fēng)險(xiǎn)，因此負(fù)責(zé)這項(xiàng)工作的主要是具有豐富館藏經(jīng)驗(yàn)的專業(yè)人員手工進(jìn)行。

Bertalmio等人由于得到專業(yè)人員手工修補(bǔ)方法的啟發(fā)，在2000年提出了BSCB圖像修補(bǔ)模型，同時(shí)對(duì)他們的研究成果進(jìn)行了發(fā)表，明確指出了圖像修補(bǔ)的概念、預(yù)期目標(biāo)以及應(yīng)用類型，并且應(yīng)用了偏微分方程的分析方式。

1 BSCB修補(bǔ)原理

由于BSCB模型的建立基礎(chǔ)是手工修補(bǔ)。在對(duì)它的修補(bǔ)原理進(jìn)行討論之前，Bertalmio等人對(duì)藝術(shù)館藏人員總結(jié)的有關(guān)手工修補(bǔ)的原則進(jìn)行訪問(wèn)。

1.1 手工修補(bǔ)原則

（1）整體圖片明確了怎樣對(duì)圖片中的裂痕進(jìn)行填補(bǔ)，修補(bǔ)的主要目的就是重新形成圖片的統(tǒng)一性；

（2）污損區(qū)A四周的信息區(qū)域?qū)⒁由熘廖蹞p區(qū)域之內(nèi)，實(shí)現(xiàn)這一目標(biāo)主要是依靠延伸至邊緣區(qū)域的等照度線；

（3）針對(duì)無(wú)損區(qū)域內(nèi)部產(chǎn)生的等照度線對(duì)不同區(qū)域進(jìn)行區(qū)分，填充相應(yīng)的顏色以便對(duì)污損區(qū)域的邊緣進(jìn)行匹配；

（4）最后是細(xì)節(jié)添加信息，也就是紋理。

Bertalmio等人通過(guò)分析專業(yè)修補(bǔ)工作人員應(yīng)用的原則得到啟發(fā)，進(jìn)一步提出了BSCB修補(bǔ)模型。在這個(gè)模型之中，同時(shí)重復(fù)實(shí)施步驟(2)和(3)，在污損區(qū)域內(nèi)部逐漸傳播信息，盡量將污損區(qū)域進(jìn)行縮小，達(dá)到修補(bǔ)目的。

圖1 信息從邊緣向修補(bǔ)區(qū)域擴(kuò)散Fig.1 Information from edge spread to the repair area

1.2 BSCB基本原理

在BSCB方法中，修補(bǔ)的過(guò)程就是一個(gè)將擴(kuò)散作為基礎(chǔ)的過(guò)程，它的基本思想是憑借原本的角度將修補(bǔ)區(qū)域邊緣進(jìn)一步延伸至區(qū)域內(nèi)部，也就是沿著邊緣逐漸進(jìn)行切向擴(kuò)散。

需要特別關(guān)注的是，這一迭代過(guò)程僅是對(duì)存在于修補(bǔ)區(qū)域中的像素，對(duì)其它區(qū)域的像素?cái)?shù)值不會(huì)進(jìn)行改變，也就是只修補(bǔ)等待修補(bǔ)區(qū)域內(nèi)的點(diǎn)。伴隨著進(jìn)行的迭代過(guò)程，圖像修補(bǔ)也會(huì)獲得更好的效果，下一幅迭代圖像就是憑借對(duì)應(yīng)的更新量對(duì)本幅圖像不斷更新的結(jié)果。因此，怎樣設(shè)計(jì)更新量非常關(guān)鍵。

按照人工修補(bǔ)的基本原則，需要把等待修補(bǔ)外圍區(qū)域A的邊界線延伸到內(nèi)部，也就是我們要把修補(bǔ)外部的有用信息通過(guò)平滑的方式傳送至內(nèi)部。傳播信息用表示，傳播的方向則是用表示，則有：

伴隨著逐漸增加的迭代次數(shù)，沿著擴(kuò)散方向傳播量逐漸進(jìn)入等待修補(bǔ)區(qū)域，直到兩次相鄰的修補(bǔ)效果沒(méi)有較大差別時(shí)結(jié)束，這時(shí)候.

接下來(lái)需要對(duì)傳播方向進(jìn)行確定。在這個(gè)模型中，傳播方向選擇等照度線方向。圖像最大灰度變化的方向與梯度相對(duì)應(yīng)，而最小的變化灰度方向則與梯度互相垂直。因此，等照度線方向選擇體現(xiàn)為旋轉(zhuǎn)90度的梯度方向。在修補(bǔ)中，只需要按照等照度線的方向?qū)嵤┬扪a(bǔ)就行，梯度旋轉(zhuǎn)方向是順時(shí)針還是逆時(shí)針對(duì)修補(bǔ)效果不會(huì)造成較大影響，只需要確保最小灰度值的變化方向即可。

為了正確演化修補(bǔ)中的圖像，一定在修補(bǔ)中實(shí)施擴(kuò)散。同時(shí)為了保證銳利的邊緣，在擴(kuò)散中利用下式(3)的同性各向非線性擴(kuò)散方程。

2 BSCB數(shù)值離散方案

利用BSCB模型組織計(jì)算時(shí)，迭代方程為

等照度線的單位方向矢量為：

對(duì)梯度模值進(jìn)行計(jì)算時(shí)，假如直接應(yīng)用中心差分，極可能出現(xiàn)不穩(wěn)定的迭代。因此可以應(yīng)用坡度限制法，定義如下：

綜合分析，BSCB模型修補(bǔ)圖像的基本步驟：

1)傳播信息的步驟：首先估計(jì)一種圖像變化的信息，之后在等照度線方向投影這一變化信息，將投影數(shù)值作為內(nèi)部修補(bǔ)區(qū)域的像素更新量。

2)擴(kuò)散具體步驟：通過(guò)各向同性非線性擴(kuò)散模型的組織擴(kuò)散。修補(bǔ)過(guò)程中，先將步驟1進(jìn)行一定次數(shù)，再將步驟2進(jìn)行一定次數(shù)，反復(fù)進(jìn)行，直到圖像不會(huì)出現(xiàn)較大變化為止。

修補(bǔ)圖像就是一個(gè)整體迭代過(guò)程。每一次迭代是先利用公式實(shí)行A次傳播，再利用公式進(jìn)行B次擴(kuò)散。迭代總次數(shù)主要是由圖像缺損區(qū)域大小決定的。

3 改進(jìn)污損區(qū)域的初始化方案

修補(bǔ)圖像過(guò)程中，為了順利進(jìn)行計(jì)算，需要賦予等待修補(bǔ)區(qū)域內(nèi)部點(diǎn)的初始數(shù)值，也就是初始化污損區(qū)域。截止到目前，在修補(bǔ)經(jīng)典模型中出現(xiàn)了幾種初始化方案。

3.1 初始化純色方案

在BSCB修補(bǔ)模型中出現(xiàn)了初始化純色方案。在這個(gè)模型中，研究人員對(duì)污損區(qū)內(nèi)的初始化并沒(méi)有進(jìn)行明確?？墒撬麄冋J(rèn)為已經(jīng)損壞了等待修補(bǔ)區(qū)域內(nèi)的信息，修補(bǔ)具體是指周圍信息按照等照度線方向延伸到修補(bǔ)區(qū)域內(nèi)部，見(jiàn)圖3-2。

圖2 初始化純色圖像修補(bǔ)

Fig.2 Initializes a solid color image inpainting

從圖3-2能夠看出，初始修補(bǔ)圖片需要修補(bǔ)區(qū)域是全白，伴隨著不斷進(jìn)行的迭代過(guò)程，信息按照等照度線方向逐漸延伸到污損區(qū)域，最終實(shí)現(xiàn)了修補(bǔ)。

4 實(shí)驗(yàn)結(jié)果

本文在Matlab7.0的環(huán)境下，利用相關(guān)隨機(jī)初始化方案與BSCB模型的結(jié)合，修補(bǔ)小尺度污損圖像，并且指出了該方案修補(bǔ)人工與自然圖像的效果。針對(duì)同一幅污損圖像，通過(guò)三種初始化方案組合BSCB模型對(duì)其進(jìn)行修補(bǔ)，按照修補(bǔ)結(jié)果對(duì)相關(guān)隨機(jī)初始化方案對(duì)修補(bǔ)效果與效率進(jìn)行改善方面產(chǎn)生的優(yōu)勢(shì)進(jìn)行論證。

1)人工圖像進(jìn)行修補(bǔ)

圖4 有關(guān)隨機(jī)初始化方案的人工圖像修補(bǔ)Fig.4 Random initialization, artificial images fix

2)自然圖像進(jìn)行修補(bǔ)

圖5 有關(guān)隨機(jī)初始化方案的自然圖像修補(bǔ)Fig.5 Random initialization scheme natural image patch

從圖4和圖5可以看出，圖像尺度比較小的污損可以獲得較為自然的修補(bǔ)結(jié)果；在某些區(qū)域能夠看到較為模糊的痕跡。

修補(bǔ)結(jié)構(gòu)模型應(yīng)當(dāng)遵守以下方式：當(dāng)對(duì)小尺度的一般污損圖像進(jìn)行修補(bǔ)時(shí)，可以直接應(yīng)用修補(bǔ)模型積極修補(bǔ)；當(dāng)對(duì)大尺度的污損圖像進(jìn)行修補(bǔ)時(shí)，需要把圖像劃分為結(jié)構(gòu)與紋理內(nèi)容，針對(duì)結(jié)構(gòu)圖像應(yīng)用結(jié)構(gòu)修補(bǔ)方法進(jìn)行，紋理圖像則需要應(yīng)用合成紋理方法。

本文分析了最早把偏微分方程引入到圖像修補(bǔ)BSCB模型，同時(shí)從基本原理、離散化方案等方面實(shí)施了有效分析。接著指出了BSCB與CDD算法在初始化過(guò)程中產(chǎn)生的不足，提出了相關(guān)隨機(jī)初始化方案。進(jìn)而得出了實(shí)驗(yàn)結(jié)果，從修補(bǔ)結(jié)果與效率分析，相關(guān)隨機(jī)初始化方案產(chǎn)生了顯著的優(yōu)勢(shì)，可以將其與其它擴(kuò)散方程共同應(yīng)用，可以獲得良好的修補(bǔ)效果。

[1] Bertalmio M.,Sapiro G.,Caselles V.,Ballester C. Image inpainting[M],in Proceedings of SIGGRAPH 2000,New Orleans,LA,2000.

[2] Chan T F,Shen J H.Non-texture inpainting by curvature-driven diffusions[J].Journal of Visual Communication and Image Representation.2001, 12(4):436-449.

[3] 岡薩里斯.數(shù)字圖像處理[M].2 版.北京電子工業(yè)出版社, 2003.

[4] 廉曉莉.一種新的基于偏微分方程的圖像修復(fù)[J].計(jì)算機(jī)學(xué)報(bào).2009.3

[5] 張帆.基于偏微分方程與邊緣檢測(cè)的圖像去噪算法[J].計(jì)算機(jī)工程與設(shè)計(jì).2014.6

張琳娜，女,陜西富平人，（1981— ），碩士，講師， 陜西國(guó)防工業(yè)職業(yè)技術(shù)學(xué)院,主要從事高等數(shù)學(xué)研究工作

趙鳳群，女，教授，西安理工大學(xué)理學(xué)院數(shù)學(xué)系，主要從事計(jì)算數(shù)學(xué)研究工作。

The application of partial differential equations of image inpainting based on BSCB model

Zhang Linna1,Zhao Fengqun2
(1.Shaanxi Vocational and Technical College of National Defense Industry,Huxian,Shaanxi,710300,China 2.Xian University of Technology,Xi’an,Shaanxi,710048,China)

In this paper,in Matlab7.0 environment,using a combination of correlated random initialization scheme with BSCB model,the repair of small scale defaced image,and pointed out that the scheme of repair of artificial and natural image effect.In accordance with an defaced image,through its three initialization scheme combined BSCB model repair,in accordance with the repair results on related random initialization schemes on the repair effect and efficiency of improving the advantage

Partial differential equation;Image inpainting;BSCB model;Application