胡大海， 朱曉臨

（合肥工業(yè)大學 數(shù)學學院，安徽 合肥 230009）

基于混合二元缺向量值有理插值的圖像修復

胡大海， 朱曉臨

（合肥工業(yè)大學 數(shù)學學院，安徽 合肥 230009）

文章提出了一種基于二元缺向量值有理插值的彩色圖像修復方法，該方法將數(shù)字圖像的每個像素點看成定義在一個平面域上以R、G、B為分量的一個向量，根據(jù)已知像素的變化趨勢，相應地采用二元缺向量值Newton－Newton插值、Newton－Thiele插值、Thiele－Newton插值或 Thiele－Thiele插值構造向量值插值曲面，然后對插值曲面進行采樣以實現(xiàn)修復。實驗結果表明，該算法比TV方法和CDD方法修復的效果更好，所用時間更短。

二元缺向量值有理插值；混合向量值連分式插值；彩色圖像修復

圖像修復主要是對圖像破損部分進行修復，使得在與原始圖像風格保持一致的前提下，人眼覺察不到修復的痕跡。目前主要有用于修復小尺度缺損的數(shù)字圖像修補（inpainting）技術和用于填充圖像中大塊丟失信息的圖像補全（completion）技術。數(shù)字圖像修補技術最早是由文獻［1］引入圖像處理的，文獻［1］首次提出了一種利用偏微分方程，模仿職業(yè)修復者對圖像進行修復，開創(chuàng)了偏微分方程修復圖像的先河，主要采用將待修復區(qū)域外部的信息沿著輪廓法向擴散至修補區(qū)域。隨后更多改進的PDE模型［2－3］被提出。但是該類方法缺乏穩(wěn)定性，尤其在修復區(qū)域很大而且背景為紋理圖案時，會產(chǎn)生模糊的現(xiàn)象。

圖像補全技術包含以下2種方法：基于塊的紋理合成技術來填充丟失信息；基于圖像分解的修復技術，其主要思想是將圖像分解為結構部分和紋理部分，其中結構部分用inpainting算法修補，紋理部分用紋理合成法填充。

向量值有理插值在圖像處理中的應用還很少，而且主要集中在圖像的放大方面。文獻［4］討論了自適應圖像縮放的切觸有理混合插值算法；文獻［5］在行和列上分別構造一元Thiele連分式或Newton多項式，對圖像進行放大；文獻［6］通過在行和列上構造一元Thiele型向量連分式對圖像進行放大；文獻［7］通過在矩形插值模塊上構造二元向量Newton－Thiele型有理插值曲面或Newton－Newton插值曲面，然后對插值曲面進行重采樣實現(xiàn)圖像縮放。而將二元向量值有理插值運用于彩色圖像修復的相關研究并不多。

本文將二元混合缺向量值有理插值方法用于彩色圖像的修復，將數(shù)字圖像的每個像素點看成定義在一個平面域上以R、G、B為分量的一個向量，對彩色圖像進行整體插值修復。

在修復過程中，將待修復區(qū)域根據(jù)不同破損特征分成若干小的矩形塊，在每個小塊上分別構造不同的二元混合缺向量值有理插值函數(shù)，再對插值曲面進行重采樣，從而實現(xiàn)圖像的修復。實驗結果顯示，本文方法不僅在修復后的視覺效果和峰值信噪比（PSNR）上都比TV方法和CDD方法優(yōu)越，而且修復時間也相應地節(jié)約了很多。

1 二元混合缺向量值有理插值

1.1 二元缺向量值T－N型混合有理插值

設給定點集［8］為：

其中，＝｛（xi，yj）｜i＝0，1，…，m；j＝0，1，j＝r1＋1，…，r2－1｝。

向量數(shù)據(jù)集V＝｛vij∈Vm，n｜（xi，yj）∈Π｝，Π的結構如圖1所示。

圖1中，B為（c2－c1－1）×（r2－r1－1）的子矩陣，為缺失部分。構造點集Π上的二元缺向量值Thiele－Newton型混合有理插值為（1）式，使之滿足R（xi，yj）＝vij，i＝0，1，…，m；j＝0，1，…，n。

其中，當i＝0，1，…，c1，c2，c2＋1，…，m時，

圖1 Π的結構示意圖

1.2 算法的實現(xiàn)

算法步驟［8］為：

（1）對于（i，j）∈｛（k，l）｜k＝0，1，…，m；l＝0，1，…，n｝－｛（k，l）｜k＝c1＋1，…，c2－1；l＝r1＋1，…，r2－1｝，令

（2）對于j＝0，1，…，r1，r2，…，n；p＝1，2，…，c2－1；i＝p，…，c2－1及j＝r1＋1，…，r2－1；p＝1，2，…，c1；i＝p，…，c1，令

（3）對于i＝0，1，…，c1；q＝1，2，…，n；j＝q，…，n及i＝c1＋1，…，c2－1；q＝1，2，…，r1，r2，…，n；j＝q，…，r1，r2，…，n，令

其中，當q＝r2時，令（4）式中的q－1取r1。

（4）當i＝c1＋1，…，c2－1；q＝r1＋1，…，r2－1時，計算

（5）當i＝c2，…，m；p＝1，2，…，i；j＝0，1，…，n時，計算（3）式。

（6）當i＝c2，…，m；q＝1，2，…，n；j＝q，…，n時，計算（4）式。

（7）由（1）式，當i＝0，1，…，c1，c2，…，m時，有

當i＝c1＋1，…，c2－1時，si（y）按（5）式計算。

1.3 奇異點的消除

在構造向量值有理插值函數(shù)時，可能產(chǎn)生奇異點，本文采用文獻［9］的方法來解決，即根據(jù)插值節(jié)點的分布狀況，通過調(diào)節(jié)插值節(jié)點的順序，采用向量值混合有理插值的方法消除奇異點。

2 模塊的劃分

圖像數(shù)據(jù)具有區(qū)域性，可以在分析圖像數(shù)據(jù)局部特征的基礎上，將圖像數(shù)據(jù)劃分為不同的區(qū)域模塊，依據(jù)各模塊的統(tǒng)計特征，分別采用不同的插值方法進行插值處理，以便提高圖像插值的速度和效果。插值模塊如圖2所示。

圖2中，B為要修復的部分，周圍＊部分為像素已知區(qū)域。令vij＝（rij，gij，bij）表示第i行、第j列的像素，rij為紅色分量，gij為綠色分量，bij為藍色分量。

圖2 插值模塊

根據(jù)不同模塊的特征，將圖像模塊分為平坦模塊、邊緣模塊和紋理模塊3類。

2.1 平坦模塊

設ˉr、ˉg、ˉb分別表示已知像素的紅色、綠色和藍色分量的平均值，ε為給定的域值，M為模塊的像素平均向量值，即

其中，｜·｜表示取模；W＝4m＋4n－8。

若vb＜ε，則像素塊定義為平坦模塊。

2.2 邊緣模塊與紋理模塊

對于圖像模塊中的每個像素，對其位置進行標記，即

其中，i＝0，1，m－1，m；j＝0，1，n－1，n；Bij表示圖像模塊中的（xi，yj）位置處像素的標記；｜·｜表示取模；e為一個小的正數(shù)。

模塊的劃分情況如圖3所示。

圖3 模塊的劃分

如果圖像的模塊出現(xiàn)了如圖3所示的4種情況，則認為該模塊是邊緣模塊。

既不具備平坦模塊特征，又不具備邊緣模塊特征的模塊定義為紋理模塊。

3 利用混合缺向量值有理插值修復圖像

（1）對要修復的小區(qū)域，用矩形塊去遮蓋（塊的大小不能超過4×4），如圖2中的B。

（2）將矩形方塊向外擴2個像素。如果擴充的像素為未知信息，則運用一元混合向量有理插值方法填充外擴的像素。

（3）根據(jù)上面模塊的劃分將圖像進行分類，針對不同特征的模塊采取不同的插值方法構造相應的向量值插值函數(shù)。平坦模塊采取Newton－Newton型缺向量值插值形式，紋理模塊采取缺向量值的Thiele－Thiele型向量值有理插值形式。而邊緣模塊采用沿邊緣方向的缺向量值Newton－Thiele型或Thiele－Newton型混合向量值有理插值形式。

（4）對上述混合向量值有理插值曲面進行采樣，然后進行修復。

4 圖像質(zhì)量的評估與實驗結果

峰值信噪比（Peak Signal to Noise Ratio，簡稱PSNR）是評鑒畫質(zhì)的客觀量測法。2個m×n單色圖像I和K，如果I為原始圖像，K為破損后修復的圖像，則其均方差定義為：

峰值信噪比為：

其中，maxI為表示圖像點顏色的最大數(shù)值，如果每個采樣點用8位表示，那么就是255。更為通用的表示是，如果每個采樣點用B位線性脈沖編碼調(diào)制表示，那么maxI就是2B－1。

對于每點有R、G、B 3個值的彩色圖像來說，峰值信噪比的定義類似。

本文相關實驗均在Windows XP系統(tǒng)下完成的，機型為Intel酷睿雙核、CPU 為 T6670、2.2GHz主頻、2G內(nèi)存和320G的硬盤。為了驗證本文方法的有效性，本文在破損程度低的情況下進行圖像修復，并且對比了本文算法與TV算法、CDD算法的性能。本文主要從時間和PSNR上對3種算法進行了對比，結果見表1所列，如圖4、圖5所示。

表1 3種算法的比較

從圖4、圖5及表1可以看出，本文算法的修復結果比TV方法和CDD的效果要好，時間更短。

圖4 3種方法對圖像1進行迭代修復的比較

圖5 3種方法對圖像2進行迭代修復的比較

5 結束語

目前的彩色圖像修復多是對R、G、B顏色分量分別進行處理，割裂了3個分量之間的關系，從而使修復的圖像產(chǎn)生一定程度的失真。本文應用二元混合缺向量值有理插值的方法，將R、G、B 3個顏色分量作為一個向量整體進行處理，使修復效果更好。

［1］Bertalmio M，Sapiro G，Caselles V，et al.Image inpainting［C］／／Proceedings of International Conference on Computer Graphics and Interactive Techniques，New Orleans，Louisiata，USA，2000：417－424.

［2］Chan T F，Shen J H.Mathematical models for local nontexture inpaintings［J］.SIAM Journal on Applied Mathematical，2002，62（3）：1019－1043.

［3］Chan T F，Shen J H.Non－texture inpainting by curvaturedriven diffusions［J］.Visual Communication and Image Representation，2001，12（4）：436－449.

［4］蘇本躍，盛 敏.自適應圖像縮放的切觸有理混合插值算法［J］.計算機工程與應用，2010，46（1）：196－199.

［5］胡 敏，張佑生.Newton－Thiele插值方法在圖像放大中的應用研究［J］.計算機輔助設計與圖形學學報，2003，15（8）：1004－1007.

［6］胡 敏，檀結慶.基于Thiele型向量連分式插值的彩色圖像放大方法［J］.合肥工業(yè)大學學報：自然科學版，2003，26（6）：1137－1140.

［7］胡 敏，檀結慶.保持輪廓清晰的有理－線性彩色圖像內(nèi)插放大方法［J］.系統(tǒng)仿真學報，2004，16（12）：2857－2863.

［8］檀結慶，朱曉臨，唐 爍，等.連分式理論及其應用［M］.北京：科學出版社，2007：247－269.

［9］Zhu Xiaolin，Zhu Gongqin.A Study of the existence of vector valued rational interpolation［J］.Journal of Information＆ Computational Science，2005，1168（1）：631－640.

Image inpainting based on blending bivariate lacunary vector－valued rational interpolants

HU Da－h(huán)ai， ZHU Xiao－lin
（School of Mathematics，Hefei University of Technology，Hefei 230009，China）

A method of color image inpainting based on the bivariate lacunary vector－valued rational interpolants is presented.In this method，each pixel of the digital image is viewed as a vector of R，G，B values defined on a planar domain，and Newton－Newton，Newton－Thiele，Thiele－Newton，or Thiele－Thiele vector－valued interpolants are applied to constructing a vector－valued interpolation surface according to the variation trend of the known pixels，and then the damaged areas are restored based on the sampling of the interpolation surface.Experimental results show that this algorithm is more efficient and less time consumption than TV method and CDD method.

bivariate lacunary vector－valued rational interpolant；blending vector－valued continued fraction interpolant；color image inpainting

O173.2

A

1003－5060（2012）11－1577－05

10.3969／j.issn.1003－5060.2012.11.032

2012－03－19；

2012－05－14

教育部科學技術研究重大資助項目（309017）；第38批留學回國人員科研啟動基金資助項目（2010JYLH0322）；安徽省自然科學基金資助項目（11040606M06）和國家大學生創(chuàng)新性實驗計劃資助項目（101035937）

胡大海（1988－），男，安徽亳州人，合肥工業(yè)大學本科生；

朱曉臨（1964－），男，安徽池洲人，博士，合肥工業(yè)大學教授，碩士生導師.

（責任編輯 閆杏麗）