陳 昕，聶棟棟

(1.杭州電視臺(tái)，浙江 杭州 310008;2.燕山大學(xué)理學(xué)院，河北 秦皇島 066004)

責(zé)任編輯:史麗麗

0 引言

圖像的著色技術(shù)是對(duì)灰度圖像或黑白電影增加色彩。它是在1970年由Wilson Markle提出的，最早用于對(duì)阿波羅計(jì)劃中拍到的月球照片的著色［1］?，F(xiàn)在該技術(shù)主要應(yīng)用在影視娛樂中對(duì)黑白老照片或早期黑白電影的著色，有時(shí)也用在彩色圖像編輯(局部色彩變化)或圖像壓縮方面。而且由于人眼對(duì)彩色圖像的分辨率要高于灰度圖像，該技術(shù)也經(jīng)常用于對(duì)各類科學(xué)圖像如:核磁共振圖像［2］、聲吶成像［3］等的圖像增強(qiáng)處理。

迄今為止，已有不少文獻(xiàn)對(duì)圖像的著色技術(shù)進(jìn)行了研究。傳統(tǒng)的著色技術(shù)一般稱之為偽彩色(pseudo color)技術(shù)。偽彩色處理的基本思想是采用某種映射關(guān)系，將像素灰度值映射到色彩值，具體可以用以下公式表示

式中:y表示某像素點(diǎn)的亮度值;(r，g，b)表示通過映射關(guān)系該亮度值所對(duì)應(yīng)的色彩值;fr，fg，fb分別表示由亮度值到對(duì)應(yīng)的紅、綠、藍(lán)三分量的映射函數(shù)。

近年來發(fā)展起來著色技術(shù)主要分為基于色彩傳遞的方法和基于優(yōu)化的方法這兩大類。在基于色彩傳遞的方法中，用戶需要額外提供一幅與即將著色的灰度圖像比較相似的彩色圖像。該方法一般采用灰度圖像的局部紋理信息，在彩色圖像上搜索相似的區(qū)域，然后將該區(qū)域?qū)?yīng)的色彩值傳遞到灰度圖像上，完成對(duì)灰度圖像的著色。該算法最早是由Welsh等人［4］提出的，其借鑒了Hertzmann等人［5］圖像類比的理念以及Reinhard等人［6］提出的在不同風(fēng)格的彩色圖像間進(jìn)行色彩傳遞的技術(shù)。其后Blasi等人［7］改進(jìn)了該算法，有效地加速了匹配的搜索過程。在Wang［8］等人的工作中，又通過使用用戶定義的色彩變化曲線，提出了針對(duì)圖像序列的色彩傳遞技術(shù)。整體而言，該算法適合對(duì)紋理豐富且色彩多變的圖像著色。但是，由于紋理匹配的復(fù)雜性，算法自動(dòng)搜索的準(zhǔn)確度難以控制，這就需要人為地在灰度圖像和選擇的彩色圖像間指定對(duì)應(yīng)的窗口，增加了用戶的工作量。

在基于優(yōu)化的方法中，一般需要在即將著色的灰度圖像上預(yù)先指定某些點(diǎn)的色彩值，以之為初值進(jìn)行優(yōu)化處理［9－12］。本文采用的方法即屬于該類。其中經(jīng)典的算法是Levin等人［10］提出的，其主要通過假設(shè)在局部時(shí)空鄰域內(nèi)亮度相似的像素點(diǎn)的色彩值也相似，構(gòu)造相應(yīng)的代價(jià)函數(shù)，通過優(yōu)化求解該代價(jià)函數(shù)完成圖像或視頻的著色。還有一些人從其他角度提出了相應(yīng)的優(yōu)化著色算法。如:Horiuchi等人［1］通過定義像素點(diǎn)與其鄰域間的RGB差異距離，采用松弛算法的計(jì)算，使所有像素的差異距離累加和最小;Noda等人［12］采用對(duì)彩色圖像做馬爾科夫隨機(jī)場(chǎng)建模，通過貝葉斯后驗(yàn)概率最優(yōu)化估計(jì)灰度圖像對(duì)應(yīng)的色彩值。李志永等人提出像素不平度描述連接兩像素的最平坦路徑的坎坷度，并以此利用動(dòng)態(tài)規(guī)劃算法，確定最佳的像素著色顏色，并進(jìn)行顏色混合。

本文主要利用圖像色彩在局部鄰域窗口內(nèi)連續(xù)平滑變化的特點(diǎn)，假設(shè)著色后的圖像在色度空間內(nèi)的總梯度和最小。若用戶事先已經(jīng)在灰度圖像上指定一些像素點(diǎn)的色彩值，則通過簡(jiǎn)單的優(yōu)化處理，就可以完成圖像的著色問題。該算法簡(jiǎn)單方便，易于實(shí)現(xiàn)。實(shí)驗(yàn)結(jié)果顯示利用本文算法著色后的圖像與原始彩色圖像對(duì)比，在僅有0.1%像素的色彩已知的情況下，其平均峰值信噪比已經(jīng)在26 dB以上。而且通過與Horiuchi等人［1］算法處理結(jié)果的比較，可知本文算法需要指定色彩的像素點(diǎn)較少，著色圖像的峰值信噪比較高。

色彩空間在數(shù)字圖像處理中，存在多種類型的色彩空間。通常最為常用的是RGB色彩空間，即其中的每個(gè)像素都由紅(R)、綠(G)、藍(lán)(B)三基色分量表示。但是灰度圖像中只有亮度分量，為了著色處理的方便，本文采用先在YUV色彩空間下，計(jì)算U，V空間內(nèi)待定的色彩值，然后再將YUV色彩空間轉(zhuǎn)變到RGB色彩空間。一般RGB到Y(jié)UV的變換關(guān)系以及其逆轉(zhuǎn)換關(guān)系可分別由式(2)和(3)所示

由以上公式可知，從灰度圖像中某個(gè)像素的灰度值其對(duì)應(yīng)的色彩值恰好位于RGB空間內(nèi)由該灰度值所確定的某個(gè)平面片上，該平面片的方程為

式中:Y為該像素的亮度值;R，G，B為其對(duì)應(yīng)的色彩分量值，且 R，G，B∈［0，255］。

3 著色問題的優(yōu)化求解

從色度空間的分析可知，灰度圖像的著色問題其實(shí)是個(gè)欠約束的問題。所以通常情況下，求解該問題都需要引入一些相對(duì)合理的假設(shè)條件。如:Welsh等人［4］假設(shè)源圖像和目標(biāo)圖像間紋理相似的區(qū)域其色彩值也相似;Levin等人［10］假設(shè)在某個(gè)像素點(diǎn)的鄰域內(nèi)亮度相似的像素其色彩值也相似。本文是從圖像梯度域考慮該問題，假設(shè)待定的色彩值在保持亮度約束的條件下，使得圖像在U，V空間內(nèi)對(duì)應(yīng)的色度變化最小。也就是說，使著色后的圖像在U，V空間內(nèi)盡可能地平滑?？捎扇缦路匠瘫硎?/p>

由Euler－Lagrange方程可知，可以通過解如下方程得到式(5)～(6)的優(yōu)化解

式中:Δ為圖像的拉普拉斯梯度算子。

通常在離散情況下，在四鄰域和八鄰域下計(jì)算圖像的拉普拉斯梯度的模板如圖1所示。考慮到引入較多鄰域點(diǎn)的情況下可能造成著色圖像的色度分量過度平滑，本文采用四領(lǐng)域的模版。實(shí)驗(yàn)結(jié)果也證實(shí)采用四鄰域下計(jì)算的著色圖像，其平均峰值信噪比要略高于八鄰域下的計(jì)算所得，如圖2所示。

圖1 四鄰域和八鄰域下的拉普拉斯梯度算子

圖2 四鄰域和八鄰域下的著色圖像的平均峰值信噪比

具體的求解過程如下:

若灰度圖像除了給定色度值的像素點(diǎn)外，還有N個(gè)像素點(diǎn)的色度未知。假設(shè)其中第i個(gè)像素點(diǎn)在U空間對(duì)應(yīng)的色度分量值為ui，則所有這些待定的色度值構(gòu)成N×1維列矢量U。

若第i個(gè)像素點(diǎn)的鄰域各像素點(diǎn)的色度值均未知，且其在列矢量U中對(duì)應(yīng)的索引分別為 k，r，s，t，則

若已知其四鄰域內(nèi)像素點(diǎn)k的色度值為uk0，則

以此類推，最后聯(lián)立這N個(gè)色度值未知的像素點(diǎn)所構(gòu)成的方程，有

式中:A是相應(yīng)的系數(shù)矩陣，它是一個(gè)N×N維的稀疏矩陣，其第i行元素只在第i列以及其四鄰域內(nèi)色度值未知點(diǎn)處有值，其他元素值均未零;b是一個(gè)N×1維列矢量，由N個(gè)方程的右端相聯(lián)立而成。

由以上分析可知，det A≠0。根據(jù)Cramer法則，矩陣方程(11)有一組唯一的解。求解矩陣方程，即可得到所有色彩值未知的像素點(diǎn)在U空間內(nèi)的估計(jì)值。同理，可以得到V空間內(nèi)的估計(jì)值。

最后，通過YUV色彩空間到RGB色彩空間變換，即可得到對(duì)原灰度圖像著色后的彩色圖像。

3 結(jié)果分析

本文的算法需要預(yù)先指定一些像素點(diǎn)的色彩值為初始值，實(shí)際應(yīng)用中可以由用戶指定，然后利用本文算法估計(jì)著色后的圖像，效果如圖3所示。

在實(shí)驗(yàn)過程中為了單純地檢測(cè)算法的精度，以一些彩色圖像作為測(cè)試圖像，從這些原始的彩色圖像中均勻地采樣一些像素點(diǎn)，以其色彩值作為已知值。采樣像素點(diǎn)的個(gè)數(shù)與圖像中總像素點(diǎn)的比值稱之為采樣率。而且，為了客觀地衡量著色后的圖像與原始圖像間的誤差，實(shí)驗(yàn)采用了峰值信噪比PSNR的這一指標(biāo)。令

式中，m，n分別為圖像的高度和寬度;x(i，j)為原始圖像在(i，j)處的色彩值;(i，j)為著色后圖像在(i，j)處的色彩值。

實(shí)驗(yàn)中各類圖像在不同采樣率時(shí)，其平均峰值信噪比的變化曲線如圖2所示。當(dāng)采樣率越高，也即顏色已知的像素點(diǎn)數(shù)越多，著色的效果越好，但即使在采樣率為0.1%時(shí)本文算法的平均峰值信噪比也在26 dB以上。

圖3 采用手動(dòng)指定某些像素點(diǎn)的色彩值時(shí)本文算法的著色效果

為了便于與其他算法比較結(jié)果，實(shí)驗(yàn)中采用SIDBA標(biāo)準(zhǔn)圖像庫(kù)中的圖像作測(cè)試，其中各圖的峰值信噪比隨采樣率的變化曲線如圖4所示。其中采樣率較低時(shí)，著色圖像的PSNR有些波動(dòng)，這主要由于均勻采樣時(shí)，在不同采樣率下，各采樣點(diǎn)的位置不同。而當(dāng)采樣點(diǎn)很少時(shí)，該因素就顯得相當(dāng)突出，從而影響了最后的著色效果。比較Horiuchi等人［1］的結(jié)果:其算法在采樣率為1%～7%時(shí)，Lena的峰值信噪比為20～28 dB，Milkdrop的峰值信噪比為20～27 dB。而本文的算法在采樣率為1%～7%時(shí)，Lena的峰值信噪比為29～34 dB;Milkdrop的峰值信噪比為26～31 dB。

圖4 部分標(biāo)準(zhǔn)圖像著色后的峰值信噪比隨采樣率的變化曲線

圖5給出了本文著色算法在采樣率1%及0.5%下，從原始灰度圖像計(jì)算得到的R，G，B三分量圖和原始彩色圖像的R，G，B三分量圖之間的比較，從中可以清楚地看到本文算法可以達(dá)到較好的著色效果。表1具體顯示了本文著色算法計(jì)算的圖像各個(gè)像素點(diǎn)處R，G，B三分量值和原始圖像的R，G，B三分量值之間的平均相對(duì)誤差。

圖5 本文算法的著色效果

表1 本文算法計(jì)算的三分量值的平均相對(duì)誤差

4 結(jié)束語(yǔ)

圖像的著色問題在改善圖像的人眼分辨率和提高圖像畫面的美觀程度，以及彩色圖像壓縮等方面都有廣泛的使用。由于圖像的著色問題實(shí)質(zhì)上是由單獨(dú)的亮度分量去確定合適的RGB三色分量，這是一個(gè)欠約束的問題。本文利用圖像各分量在鄰域內(nèi)的漸變性，假設(shè)待定的色彩值使得圖像在各色度分量?jī)?nèi)的全局變化最小，從而引入解決著色問題的優(yōu)化方程。最后，保持圖像亮度分量不變，通過色彩空間變換，就可以得到著色好的彩色圖像。

實(shí)驗(yàn)結(jié)果表明該方法在已知色彩的像素點(diǎn)數(shù)較少的情況下也可以比較好地完成圖像的著色問題。實(shí)驗(yàn)中各類圖像在采樣率為0.1%時(shí)平均峰值信噪比達(dá)到26 dB以上。而且通過與Horiuchi等人的著色結(jié)果比較可知，在使用更低的采樣率下，使用本文算法著色后圖像有更高的峰值信噪比，也即本文算法優(yōu)化估計(jì)的結(jié)果與原始圖像的誤差更小。

［1］HORIUCHI T.Colorization algorithm using probabilistic relaxation［J］.Image and Vision Computing，2004，22:197－202.

［2］張代英，龐紹芳，陳躍寧.基于小波分析和偽彩色處理的低對(duì)比度圖像增強(qiáng)［J］.光學(xué)技術(shù)，2004，30(3):360－362.

［3］劉維，劉紀(jì)元，黃海寧，等.聲納圖像偽彩色處理的調(diào)色板連續(xù)色編碼方法［J］.系統(tǒng)仿真學(xué)報(bào)，2005，17(7):1724－1726.

［4］WELSH T，ASHIKHMIN M，MUELLER K.Transferring color to grayscale images［J］.ACM Transactions on Graphics，2002，21(3):277－280.

［5］HERTZMANN A，JACOBS C E，OLIVER N，et al.Image Analogies［C］//Proceedings of ACM SIGGRAPH.New York:［s.n.］，2002:341－346.

［6］REINHARD E，ASHIKHMIN M，GOOCH B，et al.Color transfer between images［J］.IEEE Transactions on Computer Graphics and Applications，2001，21(5):34－41.

［7］BLASI G D，REFORGIATO D R.Fast colorization of gray images［C］//Proceedings of Eurographics Italian Chapte.New York:ACM，2003:1－8.

［8］WANG C，HUANG Y.A novel color transfer algorithm for image sequences［J］.Journal of Information Science And Engineering，2004，20:1039－1056.

［9］HORIUCHI T.Estimation of color for gray－level image by probabilistic relaxation［C］//IEEE 16th International Canference on Pattern Recognition(ICPR 2002).［S.l.］:Fac.Soft. ＆ Info.Sci.，Iwate Prefectural Univ.，2002:867－870.

［10］LEVIN A，LISCHINSKI D，WEISS Y.Colorization using optimization［J］.ACM Transactions on Graphics，2004，23:689－694.

［11］CHEN Ying，WANG Shuozhong.Image colorization with edge detection and sub －sampling［C］//3rd International Congress on Image and Signal Processing(CISP2010).Shanghai:［s.n.］，2010:1129－1132.

［12］NODA H，KOREKUNI H，TAKAO N，et al.Bayesian colorization using MRF color image［C］//Advances in Multimedia Information Processing－PCM 2005，6th Pacific－ Rim Conference on Multimedia.Korea:Springer，LNCS 3768，Part II，2005:889－899.

［13］李志永，滕升華，杜坤，等，基于不平度顏色混合的圖像彩色化方法［J］.電子與信息學(xué)報(bào)，2008，30(3):514－517.