戴 康

（南京理工大學(xué) 南京 210094）

1 引言

圖像彩色化的目的是給灰度圖像加上顏色，這樣圖像就會(huì)變得有感知意義和視覺(jué)上吸引人。這一問(wèn)題的難點(diǎn)就在于有很多潛在的顏色可以被用來(lái)分配給一個(gè)灰度像素（例如樹(shù)葉可以是綠色，黃色和灰色的）。因此，沒(méi)有一個(gè)準(zhǔn)確的方法來(lái)解決彩色化問(wèn)題并且人為的干預(yù)在彩色化過(guò)程當(dāng)中起到很大的作用。

大體上，彩色化方法可以分為兩大類：互動(dòng)的彩色化方法和自動(dòng)的彩色化方法。互動(dòng)的彩色化方法需要用戶人為地在目標(biāo)圖像上標(biāo)記顏色線條［1～2］。這些顏色線條基于一個(gè)優(yōu)化框架再被傳播到整張圖片。最大的缺點(diǎn)就是需要用戶做大量的工作。另外，這類方法，彩色化結(jié)果十分依賴于用戶提供的顏色線條，并且一個(gè)新手很難提供準(zhǔn)確的顏色線條來(lái)獲取想要的彩色化結(jié)果。自動(dòng)彩色化方法采取了不同的策略。與從用戶處獲取顏色值不同，這些方法用一張相關(guān)的彩色圖像作為輸入，然后將這參考圖像的色彩傳遞給目標(biāo)圖像?，F(xiàn)有的一些方法主要通過(guò)圖像分割［3］技術(shù)首先將圖像分成若干個(gè)部分，包括語(yǔ)義分割［4］，Mean shift分割算法［5］，超像素分割算法［6］等。分割完成后再通過(guò)圖像匹配［7］來(lái)完成圖像的色彩傳遞。

現(xiàn)有方法存在一些缺點(diǎn)，比如圖像分割小區(qū)域的多余問(wèn)題以及圖像匹配的精準(zhǔn)度問(wèn)題等，本文基于超像素提取和多特征的級(jí)聯(lián)匹配來(lái)對(duì)圖像彩色化中的圖像分割和圖像匹配進(jìn)行了改進(jìn)和優(yōu)化，并獲取了更好的彩色化結(jié)果。

2 算法分析

2.1 超像素分割

從參考圖像和目標(biāo)灰度圖像上提取超像素，在超像素之間進(jìn)行色彩傳遞。使用超像素的一個(gè)好處就是它能夠加速彩色化的進(jìn)程。獲取超像素的算法有許多，主要可以分為兩種基于圖論的方法［8］和基于梯度上升的方法［9］。本文采用SLIC超像素分割算法來(lái)進(jìn)行第一步處理。

該算法首先生成K個(gè)種子點(diǎn)，然后在每個(gè)種子點(diǎn)的周圍空間里搜索距離該種子最近的若干像素，將他們歸為與該種子一類，直到所有像素點(diǎn)都?xì)w類完畢。然后計(jì)算這K個(gè)超像素里所有像素點(diǎn)的平均向量值，重新得到K個(gè)聚類中心，然后再以這K個(gè)中心去搜索其周圍與其最為相似的若干像素，所有像素都?xì)w類完后重新得到K個(gè)超像素，更新聚類中心，再次迭代，如此反復(fù)直到收斂。

2.2 級(jí)聯(lián)特征匹配

圖像特征的選擇和提取是圖像處理過(guò)程中很重要的環(huán)節(jié)，對(duì)圖像處理結(jié)果有很大的影響。我們這里使用多種特征來(lái)做級(jí)聯(lián)的匹配，來(lái)提高匹配的準(zhǔn)確性。對(duì)于輸入的灰度圖像和參考圖像中的每個(gè)超像素，我們計(jì)算基于他們的亮度、標(biāo)準(zhǔn)差、Ga?bor特征和Daisy特征。

2.2.1 亮度特征

基于每個(gè)超像素的亮度信息計(jì)算出一個(gè)2維特征向量。第一維是超像素S中所有像素的亮度值的平均值。

I（x，y）是像素（x，y）的亮度，n是超像素Si內(nèi)像素的總數(shù)。第二維是Si相鄰超像素的亮度平均值。

η表示Si的相鄰超像素，N表示相鄰超像素的個(gè)數(shù)。

2.2.2 標(biāo)準(zhǔn)方差特征

與亮度相似，我們也計(jì)算基于每一個(gè)像素的鄰近像素的標(biāo)準(zhǔn)差值得一個(gè)二維的特征值。本文中的所有方法，我們使用5×5的窗口來(lái)計(jì)算每一個(gè)像素的標(biāo)準(zhǔn)差。每個(gè)超像素的標(biāo)準(zhǔn)差特征值向量的計(jì)算方式和亮度信息的相同。

2.2.3 Gabor特征

2.2.4 Daisy特征

Daisy特征［11］是面向稠密特征提取的可快速計(jì)算的局部特征描述子，它本質(zhì)思想和SIFT是一樣的：分塊統(tǒng)計(jì)梯度方向直方圖。不同的是，Daisy在分塊策略上進(jìn)行了改進(jìn)，利用高斯卷積來(lái)進(jìn)行梯度方向直方圖的分塊匯聚，這樣利用高斯卷積的可快速計(jì)算性就可以快速稠密地進(jìn)行特征描述子的提取。Daisy特征是類似于“雛菊”的中央-周圍對(duì)稱計(jì)算結(jié)構(gòu)構(gòu)成的。一般圍繞中心點(diǎn)構(gòu)成3層不同半徑的同心結(jié)構(gòu)，每層同心圓有8個(gè)采樣點(diǎn)，以實(shí)心點(diǎn)表示，其分別以45°角間隔分布在同心圓環(huán)上，每層同心圓環(huán)的采樣點(diǎn)具有相同的高斯尺度值，高斯尺度值按照從中心向四周逐漸變大的規(guī)則排列。這種結(jié)構(gòu)使得Daisy特征對(duì)于圖像間的仿射變化和光照差異都有很好的魯棒性。同時(shí)Daisy特征使用圓形領(lǐng)域，這是因?yàn)閳A形領(lǐng)域比矩形領(lǐng)域具有更好的定位特性，而且能夠比較便捷地達(dá)到旋轉(zhuǎn)的目的。因?yàn)?，本文采用Daisy特征作為特征匹配的一部分。

2.3 級(jí)聯(lián)匹配策略

對(duì)于每個(gè)目標(biāo)超像素，可以通過(guò)其所屬的特征類型來(lái)在所有的參考超像素中找到與目標(biāo)最為相似的，但是這需要大量的處理時(shí)間。為了提高效率，我們使用一種快速的級(jí)聯(lián)特征匹配方案，在級(jí)聯(lián)的每一步中優(yōu)化搜索空間，使得搜索集中在與目標(biāo)超像素足夠相似的參考超像素上。為了確保搜索空間足夠優(yōu)化，我們?cè)诔跏疾襟E利用具有高分辨性的Gabor特征和Daisy特征來(lái)選出與目標(biāo)超像素相似的一組參考超像素，之后利用亮度和標(biāo)準(zhǔn)差信息來(lái)選擇最終的匹配超像素。

讓｛ri｝表示從參考圖像Ir中提取的參考超像素的集合。在級(jí)聯(lián)的第一步，我們從｛γi｝中基于Gabor特征來(lái)找出與目標(biāo)超像素最相似的α個(gè)參考超像素。這α個(gè)參考超像素表示為?i。我們計(jì)算同種特征之間的歐氏距離［13］，根據(jù)距離，第二步，我們基于Daisy特征從?i中找出α2個(gè)最相似的參考超像素。然后依次類推，第三步和第四步分別基于亮度和標(biāo)準(zhǔn)差來(lái)選擇。γi表示最后選出的參考超像素的集合。接下來(lái)，我們?cè)讦胕中找出一個(gè)與目標(biāo)超像素最相近的超像素，定義如下：

C1，C2，C3和 C4分別表示Gabor，Daisy，亮度和標(biāo)準(zhǔn)差之間的歐氏距離，w表示權(quán)重。而根據(jù)實(shí)驗(yàn)總結(jié)，w1，w2，w3，w4分別設(shè)定為0.2，0.5，0.2和0.1的效果最佳。

2.4 色彩傳遞

我們使用CIELab顏色空間［12］來(lái)將超像素的顏色傳遞到目標(biāo)超像素上。傳遞過(guò)程中，我們只將參考超像素顏色值中的a和b值作為顏色線條傳遞到目標(biāo)超像素的中心像素點(diǎn)上。這些顏色線條然后用一種基于優(yōu)化的插值算法［14］來(lái)傳播到所有的像素上。這個(gè)算法基于一個(gè)原理：相鄰且有相似亮度的像素應(yīng)當(dāng)擁有相似的顏色值。該算法試圖最小化分配給像素p的顏色值和分配給其相鄰像素的顏色值的加權(quán)平均值［15］之間的差J（C）：

3 結(jié)果分析

給定一張灰度圖像與一張彩色參考圖像，如圖1所示，采用不同特征組合級(jí)聯(lián)匹配的實(shí)驗(yàn)結(jié)果如圖2所示。

圖1 給定圖像

我們可以看出特征的選取對(duì)于圖像彩色化結(jié)果的影響還是顯而易見(jiàn)的，單獨(dú)的使用Gabor、Da?siy、亮度和標(biāo)準(zhǔn)差之間任意一種特征的時(shí)候，彩色化的結(jié)果都會(huì)出現(xiàn)一些明顯的瑕疵，我們稱之為噪聲或者錯(cuò)誤地著色，當(dāng)我們使用多種特征的時(shí)候，彩色化結(jié)果會(huì)變好一些，根據(jù)反復(fù)的實(shí)驗(yàn)證明，對(duì)于基于超像素提取的此類方法中，使用Gabor+Dai?sy+亮度+標(biāo)準(zhǔn)差特征的組合能夠取得最好的彩色化結(jié)果。

圖2 本文方法彩色化結(jié)果圖

4 結(jié)語(yǔ)

本文將超像素提取作為圖像分割的方法，實(shí)驗(yàn)表明它能夠保持很好的圖像邊緣信息，并且加快了彩色化的進(jìn)程。而多特征級(jí)聯(lián)匹配的使用對(duì)于超像素之間的匹配的準(zhǔn)確性有很大的提高，大量的實(shí)驗(yàn)驗(yàn)證了Gabor、Daisy、亮度和標(biāo)準(zhǔn)差四種特征的聯(lián)合使用比其他特征組合要有更好的效果。