王澤文， 張小明

（東華理工大學(xué)數(shù)學(xué)與信息科學(xué)學(xué)院，江西 撫州 344000）

基于p-Laplace方程的圖像彩色化方法

王澤文， 張小明

（東華理工大學(xué)數(shù)學(xué)與信息科學(xué)學(xué)院，江西 撫州 344000）

灰度圖像的彩色化是圖像處理研究領(lǐng)域中富有挑戰(zhàn)性的研究課題，且具有十分廣闊的應(yīng)用前景。在分析現(xiàn)有圖像彩色化方法的基礎(chǔ)上，提出了一種基于p-Laplace方程的圖像彩色化新方法。新方法首先由用戶在灰度圖像上給定少量的顏色條帶；然后通過求解p-Laplace方程實現(xiàn)顏色擴散的彩色化。由于p-Laplace算子是一個各向異性擴散的非線性算子，所以與采用偏微分方程方法的泊松方法和拉普拉斯方法相比，圖像彩色化在擴展顏色的同時更能保持邊緣效果。

圖像彩色化；p-Laplace方程；偏微分方程方法；圖像處理

圖像彩色化是指對黑白圖像、電影或電視圖像進行計算機輔助著色的過程。時至今日，彩色化仍是計算機圖形學(xué)與計算機視覺領(lǐng)域的熱點課題，它們在影視、動漫、廣告、娛樂、數(shù)字化影像以及古畫修復(fù)等眾多工程領(lǐng)域具有廣闊的應(yīng)用前景。經(jīng)典的彩色化處理過程，一般先手工地將待著色的圖像進行區(qū)域分割，然后為每個區(qū)域賦予期望的顏色，這種手工制作方式不僅對操作者自身水平要求較高，而且效率低下。近年來在圖像彩色化方面出現(xiàn)了一些半自動的處理方法，大致可歸結(jié)為兩類，即基于顏色轉(zhuǎn)移的彩色化和局部彩色化向全局擴展。

近年來，一些不需要精細人工操作的圖像彩色化方法被提出來了[1–4]。Welsh等人將一幅參考彩色圖像的顏色傳輸?shù)揭环叶葓D像，提出了一種半自動彩色化方法，其中顏色傳輸?shù)侥繕?biāo)圖像是依據(jù)目標(biāo)像素亮度鄰域與參考圖像相應(yīng)像素鄰域的匹配。這種彩色化方法需要用戶準備一幅近似的參考彩色圖像。Levin等人提出了一種交互式彩色化方法，即先由人工在圖像中各個區(qū)域涂上適當(dāng)?shù)牟噬珬l帶，然后讓顏色自動擴展到整幅圖像上，其中顏色的擴展原則是使所有像素與其鄰域顏色加權(quán)差的平方和最小。Horiuchi提出了一種基于概率極值的彩色化方法，即用戶先給一些“種子像素”著色，其它象素上的顏色則根據(jù)條件概率極大原則來決定。Horiuchi方法重要缺點在于計算代價非常大，即彩色化一幅圖像需要大約一天時間[5]。

基于偏微分方程的圖像處理方法是近年來興起的一種圖像處理方法。Sapiro[6]將圖像修補的思想引入到圖像彩色化中，率先應(yīng)用偏微分方程方法實現(xiàn)灰度圖像的彩色化。Sapiro的彩色化方法是在灰度圖像上涂上一些彩色條帶，在彩色條帶上梯度約束下將泛函極小轉(zhuǎn)化為二維Poisson方程求解，從而將彩色條帶上的顏色擴展到整幅圖像上。而滕升華[7]等人則以彩色化后整幅圖像的梯度最小為約束，將泛函極小轉(zhuǎn)化為Laplace方程以實現(xiàn)顏色的全局擴展。彭宏京[8]等人則在Sapiro方法基礎(chǔ)上，利用擴散張量對梯度場進行加權(quán)，從而導(dǎo)出了基于散度的圖像彩色化方程。

本文將具有各向異性擴散作用的p-Laplace非線性方程[9]引入到圖像彩色化中，并利用梯度下降法求解所得p-Laplace方程，從而實現(xiàn)圖像的彩色化。本文安排如下：第一節(jié)介紹已有的兩種基于偏微分方程的圖像彩色化模型；第二節(jié)給出圖像彩色化的p-Laplace非線性方程新模型及其數(shù)值解法；最后給出了實驗結(jié)果和分析。

1 基于偏微分方程的圖像彩色化模型

（1） Sapiro的基于二維泊松方程的圖像彩色化模型

該模型在圖像的YCbCr顏色空間的處理方法是：求下述泛函極小化問題

顯然，式(2)即為帶 Dirichlet邊界條件的泊松方程。

（2） 基于拉普拉斯方程的圖像彩色化模型

該模型在圖像的YCbCr顏色空間的處理方法是：求下述泛函極小化問題

所以，圖像彩色化問題轉(zhuǎn)化為求解拉普拉斯方程定解問題式(4)。

2 基于 p-Laplace方程的圖像彩色化方法

第一節(jié)給出的兩個彩色化模型式(1)和式(3)的 Euler-Lagrange方程，可以看出擴散項均為ΔC 且擴散系數(shù)為 1，即它們是一種各向同性擴散的彩色化方法。由于邊界處和平坦區(qū)域擴散程度相同，因此它們在彩色化圖像的同時，可能導(dǎo)致邊界處的顏色產(chǎn)生偏差，彩色化的效果將受影響。根據(jù)文獻[10]的分析，p-Laplace算子

具有各向異性擴散作用，其在局部坐標(biāo)下的表達式為

其中 η為平行于C的梯度的方向，ξ為η的正交方向（切向），如圖 1 所示。 式(6)表明：隨著的增大，都減小，即沿ξ和η方向的擴散能力減弱；又由于擴散系數(shù)的衰減速度不一致，擴散方程實質(zhì)上是一個非線性各向異性擴散方程，擴散系數(shù)控制著該擴散方程的擴散行為。只要合理選擇p值，就能達到某種擴散目的。

作者認為在21＜＜p時，該模型能取得一個折中的結(jié)果。只要p值取得合適，該模型既能克服由TV模型引入的塊狀效應(yīng)，又能克服由調(diào)和模型引入的邊緣模糊，達到一個比較好的圖像彩色化效果?；谝陨峡紤]，本文將 p-Laplace算子引入到圖像彩色化處理中，建立了圖像彩色化的p-Laplace方程模型。

圖1 坐標(biāo)關(guān)系示意圖

2.1 圖像彩色化的p-Laplace方程模型

本文模型在圖像的YCbCr顏色空間的處理方法是：求下述泛函極小化問題

2.2 數(shù)值解法

用梯度下降法來求解式(8)，得到如下梯度下降方程

其中 t是人為引入的一個時間維度，表示圖像的彩色化過程。顯然，當(dāng)=0時C即為式(8)的解。因此，需要構(gòu)造適當(dāng)?shù)乃惴ǎ沟卯?dāng)t→∞時→0，從而得到式(9)的一個平衡解C，即

為式(8)的解。本文將利用文獻[11]中的離散化方法對式(9)進行離散求解。

首先對圖像進行等間距采樣，設(shè)采樣步長h =1。設(shè)O為目標(biāo)像素，其8鄰域節(jié)點和半像素鄰域點如圖2所示。由于出現(xiàn)在分母，為了避免它為零，引入一個小的正參數(shù)ε，使得那么散度 )(divv的差分格式為

圖2 目標(biāo)像素O與它的鄰域

其中 M為迭代次數(shù)。

由式(10)和式(11)可得式(9)的差分迭代格式為

在實際計算中, 對方程式(12)采用 Gauss-Seidel迭代法，即一旦得到右端C的新值就用它替換舊值，使得方程(12)更快收斂，以e點為例

且選取最大時間步長，從而加快彩色化速度。

3 實驗結(jié)果與分析

本文首先選取了兩幅圖像（見圖3和圖4）進行彩色化，并分別與同樣是采用偏微分方程的處理方法的Sapiro的泊松方法[6]和滕升華等人的拉普拉斯方法[7]進行比較。圖3中的圖像是文獻[6]中效果最好的彩色化圖片，圖 3(c)為文獻[6]的泊松方法著色結(jié)果，在好幾處地方產(chǎn)生明顯的顏色偏差（見圖 3中的(c)、(d)、(e)中藍色圓圈內(nèi)）；圖 3(d)為本文方法著色結(jié)果，顏色擴展較合理自然，彩色化后的圖片接近原始圖片圖 3(e)。

在 Matlab7.0上進行實驗，實驗中取

圖3 圖像彩色化結(jié)果圖

與泊松方法一樣，拉普拉斯方法也是基于各向同性的拉普拉斯算子實現(xiàn)圖像的彩色化。由于拉普拉斯算子在邊界處和平坦區(qū)域擴散程度一樣，所以將導(dǎo)致了彩色化結(jié)果在邊界處出現(xiàn)顏色模糊（見圖4 中藍色圓圈圈住的小孩的臉蛋、胸口、下巴等處）。因此，文獻[7]又引入加權(quán)差分來改進邊界的彩色化，得到了較好的彩色化效果。

圖4 圖像彩色化結(jié)果圖

由圖4和圖5可以看出，本文方法的著色效果極其接近于文獻[4]的著色效果，優(yōu)于基于梯度場的泊松方法和各向同性擴散的未加權(quán)的拉普拉斯方法。由于本文使用具有邊緣保持的平滑核，使得彩色化的結(jié)果更平滑和柔和（見圖4和圖5）。但是，圖4(d)中，左手臂和右肩膀等處存在細微的顏色模糊，這是因為本文方法區(qū)分2種顏色的分界是由提供的顏色種子來決定的，而沒有考慮目標(biāo)像素與相鄰像素的相似性程度，可能導(dǎo)致邊界定位不精確，以至于本文方法對涂色條帶要求比較嚴格。如果采取先初步涂上顏色條帶，然后根據(jù)彩色化效果再細微地修正邊界處的涂色條帶，彩色化效果會更加理想。

4 結(jié) 束 語

本文首先介紹了現(xiàn)有的基于偏微分方程的圖像彩色化方法，提出了一種基于 p-Laplace方程的非線性各向異性擴散彩色化方法。大量實驗表明，該方法彩色化效果優(yōu)于泊松方法和未經(jīng)加權(quán)的拉普拉斯方法，特別是在保持邊界顏色方面。另一方面，雖然本文方法的彩色化效果與文獻[4]接近，但由于p-Laplace的平滑特性，使得本文方法的彩色化圖像從整體上看更柔和（見圖5）。進一步的工作是考慮相鄰像素的相似性程度約束，加強邊界定位能力，提升基于 p-Laplace算子的圖像彩色化性能。

圖5 圖像彩色化結(jié)果圖

[1]Burns G. Colorization[EB/OL]. http：//www.museum.tv/archives/etv/C/htmlC/colorization/colorizatio n.htm.

[2]Welsh T, Ashikhmin M, Mueller K. Transferring color to greyscale images [J]. ACM Transactions on Graphics, 2002, 21(3)：277-280.

[3] Takahiko Horiuchi. Colorization algorithm using probabilistic relaxation [J]. Image and Vision Computing, 2004, 22(3)：197-202.

[4]Levin A, Lischinski D, Weiss Y. Colorization using optimization [J]. ACM Transactions on Graphics, 2004,23(3)：689-694.

[5]Noda H, Korekuni J, Niimi M. A colorization algorithm based on local MAP estimation [J]. Pattern Recognition,2006, 39：2212-2217.

[6]Sapiro G. Inpainting the colors[EB/OL]. http：//www.ima.umn.edu/preprints/may2004/1979.pdf, 2004-05.

[7]滕升華, 諶安軍, 鄒謀炎. 一種基于拉普拉斯方程的圖像彩色化方法[J]. 中國圖象圖形學(xué)報, 2006,11(4)：545-548.

[8]彭宏京, 顧佳玲, 段 江. 擴散張量加權(quán)梯度域圖像彩色化方法[J]. 計算機輔助設(shè)計與圖形學(xué)學(xué)報,2007, 19(9)：1114-1118.

[9] Bing Song. Topics in variational PDE image segmentation, inpainting and denoising [D]. USA：University of California Los Angeles, 2003.

[10]張紅英, 彭啟琮, 吳亞東. 數(shù)字破損圖像的非線性各向異性擴散修補算法[J]. 計算機輔助設(shè)計與圖形學(xué)學(xué)報, 2006, 18(10)：1541-1546.

[11]Chan T, Shen J. Mathematical models for local non-texture inpainting [J]. SIAM Journal of Application Mathematics, 2001, 62(3)：1019-1043.

Image Colorization Based on p-Laplace Equation

WANG Ze-wen, ZHANG Xiao-ming
( School of Mathematics and Information Science, East China Institute of Technology, Fuzhou Jiangxi 344000, China )

Colorization of grayscale image is a challenging research field in image processing, and has wide application prospect. After analyzing current colorization algorithms, the paper proposes a new colorization algorithm based on p-Laplace equation. A user needs to provide the grayscale image with a few color scribbles manually. Then, the grayscale image is colorized by solving the p-Laplace equation. Since the p-Laplace operator is a nonlinear anisotropic diffusion operator, the new method can better maintain the color’s effect of the edge, at the same time achieving the color expansion than Saprio’s poisson colorization algorithm and Teng sheng-hua’s Laplace colorization algorithm, which are also partial differential equation based methods.

image colorization; p-Laplace equation; partial differential method; image processing

TP 391

A

1003-0158(2010)06-0062-06

2009-02-24

國家自然科學(xué)基金資助項目（10861001）；江西省自然科學(xué)基金資助項目；東華理工大學(xué)研究生創(chuàng)新基金資助項目（DYCA08009）

王澤文（1974-），男，江西上饒人，碩士，主要研究方向為偏微分方程的圖像處理。