辛 浪，劉 鈞，袁 淵

（1.西安工業(yè)大學(xué) 光電工程學(xué)院，陜西 西安 710021；2.微光夜視技術(shù)重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710065）

引言

微光夜視圖像的彩色顯示技術(shù)，可以使得夜視系統(tǒng)獲取高質(zhì)量的圖像，提高其分辨目標(biāo)的能力，增大作用范圍[1-2]。彩色夜視技術(shù)能提高夜間的觀察能力且抗干擾能力強(qiáng)，因此不論在理論還是實(shí)際應(yīng)用上，彩色夜視技術(shù)的發(fā)展均得到人們的廣泛關(guān)注[3-4]。Reinhard 在2001年基于Ruderman的lαβ顏色空間，提出了一種利用目標(biāo)圖像與參考圖像的統(tǒng)計(jì)特征進(jìn)行線性變換，將參考圖像的色彩顏色遷移至目標(biāo)圖像的算法，該算法是兩幅彩色圖像之間的顏色傳遞[5]。Welsh 等在Reinhard 基礎(chǔ)上進(jìn)行了算法的改進(jìn)，將彩色圖像的色彩傳遞到灰度圖像，此算法是利用圖像中每一點(diǎn)像素的鄰域亮度均值和標(biāo)準(zhǔn)差來對(duì)比灰度圖像和彩色圖像之間的像素以實(shí)現(xiàn)，該算法運(yùn)行效率慢，局部細(xì)節(jié)處賦色效果不佳[6]。許真等[7]提出建立紋理特征庫的色彩紋理傳遞算法，建立Gabor 濾波器提取的紋理特征庫[8]和灰度共生矩陣的紋理特征庫，先利用紋理特征分割圖像，再用微光圖像和參考圖像紋理融合套印進(jìn)行顏色傳遞。仲紅玉等[9]提出由參考圖像列數(shù)和亮度共同決定的參數(shù)對(duì)目標(biāo)圖像進(jìn)行像素匹配，將彩色圖像的顏色傳遞到目標(biāo)圖像上。Arbelot 等[10]提出了使用基于區(qū)域協(xié)方差引入邊緣感知紋理描述，進(jìn)行顏色轉(zhuǎn)換。Li等[11]采用了一種使用圖形雙拉普拉斯方法進(jìn)行圖像著色，用雙二次曲面矩陣及其相應(yīng)的歸一化雙拉普拉斯矩陣的特征值分析亮度、色調(diào)與飽和度相關(guān)聯(lián)的3 個(gè)色彩通道進(jìn)行顏色傳遞，傳遞后的圖像色彩紋理清晰，傳遞過程需要手動(dòng)上色。

本文提出了一種基于圖像分割和局部亮度調(diào)整的顏色傳遞算法：通過采用簡單線性迭代聚類法[12-14]和K-means 均值聚類法[15-16]對(duì)微光夜視圖像進(jìn)行聚類分割，結(jié)合參考圖像，將分割后的目標(biāo)圖像用亮度值重映射的方法進(jìn)行色度傳遞，再根據(jù)紋理溝壑調(diào)整亮度值，對(duì)目標(biāo)圖像進(jìn)行彩色傳遞。

1 相關(guān)理論

1.1 圖像紋理特征

微光圖像為弱紋理圖像，紋理細(xì)節(jié)不清，灰度共生矩陣定義為像素對(duì)的聯(lián)合分布概率，是一個(gè)對(duì)稱矩陣，它不僅反映圖像灰度在相鄰方向、相鄰間隔、變化幅度的綜合信息[17]，也反映了相同灰度級(jí)像素之間的位置分布特征，是計(jì)算紋理特征的基礎(chǔ)。用條件概率計(jì)算圖像相鄰像素灰度的空間相關(guān)特性，得到共生矩陣，在已有共生矩陣的基礎(chǔ)上計(jì)算14 種灰度共生矩陣的紋理特征向量[18]。將圖像的灰度級(jí)量化成16 級(jí)，計(jì)算距離d=1；角度取0°、45°、90°、135°四個(gè)方向的灰度共生矩陣[19]。計(jì)算其灰度共生矩陣的4 個(gè)相關(guān)性較低且描述能力強(qiáng)的參數(shù)[20]：

1）對(duì)比度（Con），圖像的清晰度和紋理溝紋深淺的程度，紋理溝紋越深，其對(duì)比度越大，看起來越清晰。

2）能量（J），圖像灰度分布的均勻程度和紋理粗細(xì)度，能量值大表明當(dāng)前紋理是一種規(guī)則變化較為穩(wěn)定的紋理。

3）相關(guān)（Cor），衡量灰度共生矩陣元素在行或列方向上的相似性，值的大小反應(yīng)了局部灰度相關(guān)性，值越大，相關(guān)性也越大。

4）熵（Sh），圖像中紋理的復(fù)雜程度或非均勻度，熵值表明了圖像灰度分布的復(fù)雜程度，熵值越大，圖像越復(fù)雜。

式中：(i,j)為像素點(diǎn)；p(i,j)為每一個(gè)像素點(diǎn)對(duì)應(yīng)的灰度值；μx、μy分 別是px、py的均值；σx、σy分別是px、py的標(biāo)準(zhǔn)差；px為灰度共生矩陣每一行的元素和所組成的數(shù)組，公式可表示為為灰度共生矩陣每一列的元素和所組成的數(shù)組，公式可表示為

1.2 多參數(shù)亮度重映射算法

用圖像中每一點(diǎn)像素的鄰域亮度均值和標(biāo)準(zhǔn)差對(duì)比灰度圖像和彩色圖像之間的像素來實(shí)現(xiàn)多參數(shù)亮度重映射算法。選取與目標(biāo)圖像有相似特征的參考圖像，兩幅圖片從RGB 顏色空間轉(zhuǎn)至YCbCr 顏色空間，將彩色圖像的亮度值按照目標(biāo)圖像的亮度結(jié)合統(tǒng)計(jì)特征做線性變換，使其亮度值動(dòng)態(tài)范圍一致。在亮度通道上對(duì)每個(gè)像素進(jìn)行匹配，匹配到與彩色圖像上相近的像素點(diǎn)時(shí)將色彩信息（通道）傳遞給目標(biāo)圖像對(duì)應(yīng)的像素點(diǎn)，保留目標(biāo)圖像本身的亮度信息，進(jìn)行顏色空間逆變換得到結(jié)果圖。參考圖像進(jìn)行亮度對(duì)比傳遞的公式如下：

式中：L為變換后新的彩色參考圖像中像素點(diǎn)亮度值；ls為彩色參考圖像l通道中某一點(diǎn)的亮度值；μs和 μt分別是彩色參考圖像和灰度目標(biāo)圖像所有像素點(diǎn)的亮度均值；Ds和Dt為彩色參考圖像和灰度目標(biāo)圖像。

2 本文算法

本文算法包含以下要點(diǎn)：1）分割后的子目標(biāo)圖像紋理特征與參考圖紋理特征值在相同范圍內(nèi)；2）按照每一像素點(diǎn)子目標(biāo)圖像的亮度值與參考值匹配，將亮度一致的像素點(diǎn)顏色進(jìn)行傳遞；3）微光圖像大多細(xì)節(jié)不清，為保證色彩傳遞后紋理細(xì)節(jié)不消失，將微光圖像的亮度用灰度共生矩陣的對(duì)比度的值重新調(diào)整系數(shù)，最終得到一幅具有真實(shí)場(chǎng)景的顏色與紋理的彩色圖片。算法思路框圖如圖1所示。

2.1 圖像分割

利用簡單線性迭代聚類（SLIC）算法進(jìn)行分割預(yù)處理，分割原理是將一幅圖像以K個(gè)初始聚類中心為核心，根據(jù)距離產(chǎn)生大小近似相等的超像素小圖塊，圖塊中心的間隔近似為，在其中進(jìn)行采樣，對(duì)圖像像素進(jìn)行局部聚類。其中N為像素?cái)?shù)，K為超像素?cái)?shù)。

圖1 算法思路總體框圖Fig.1 Overall block diagram of algorithm

改進(jìn)K-means 均值聚類算法，基于灰度圖像的亮度均值、方差與對(duì)比梯度將超像素圖塊作為一個(gè)整體對(duì)其進(jìn)行超像素合并。亮度均值表明在某一處的圖像的平均灰度，同一物體在同一條件（光照、時(shí)間、場(chǎng)景相同）下亮度變化不大，所以拍攝的微光圖像中同樣的景物亮度均值相似。方差表示超像素圖塊中每一個(gè)像素點(diǎn)與均值的差，其中方差越大，其差越大，在超像素圖塊中灰度變化越大，場(chǎng)景變化也就越明顯。對(duì)比梯度指一個(gè)像素點(diǎn)四連通鄰域內(nèi)的點(diǎn)的變化幅度，其值越大，周圍明暗對(duì)比越明顯。對(duì)已經(jīng)分割成超像素的圖片進(jìn)行K-means 聚類，依照其每一超像素圖塊的均值、方差Var及四連通區(qū)域?qū)Ρ忍荻菺rad。

式中：xgrad為每一像素點(diǎn)的對(duì)比梯度；(i,j)為像素點(diǎn)；k為變量；n為每一個(gè)超像素范圍內(nèi)包含的像素點(diǎn)個(gè)數(shù)；x(i,j)為每一個(gè)像素點(diǎn)對(duì)應(yīng)的灰度值。分割流程如下：

1）讀取預(yù)分割微光圖片；

2）選取超像素的個(gè)數(shù)K，在圖像內(nèi)均勻分配聚類中心；

3）在每個(gè)聚類中心的鄰域2S×2S范圍內(nèi)，利用距離為每個(gè)像素點(diǎn)聚類，得到超像素尺寸大小近似為S×S，圖像分為K個(gè)超像素的圖像；

4）把每一個(gè)超像素圖塊看做是一個(gè)整體，再根據(jù)圖像重新定義聚類中心，依照其每一超像素部分的均值、方差及對(duì)比梯度，對(duì)已經(jīng)分割成超像素的圖片重新進(jìn)行全局K-means 聚類；

5）通過不斷迭代收斂，至每個(gè)超像素聚類中心不再發(fā)生變化為止，圖像根據(jù)景物特點(diǎn)分割出不同場(chǎng)景；

6）將不連續(xù)的超像素、尺寸過小的超像素重新分配給最鄰近的聚類中心，遍歷所有的像素點(diǎn)分配給相應(yīng)的聚類中心，直到遍歷完畢為止。

圖2（a）為K-means 均值聚類分割時(shí)在整幅圖像中尋找聚類點(diǎn)，圖2（b）為超像素分割時(shí)在聚類中心鄰域2S×2S范圍內(nèi)尋找聚類點(diǎn)，圖2（c）為用K-means 均值聚類法將已分割超像素點(diǎn)進(jìn)行聚類。

圖2 圖像分割Fig.2 Image segmentation

2.2 參考圖像紋理統(tǒng)計(jì)信息

在全局算法的理論基礎(chǔ)之上，基于已分割好的圖像塊，對(duì)不同景物特征的圖像塊分別進(jìn)行顏色傳遞，提出局部區(qū)域的顏色傳遞。文中的參考圖像按照灰度共生矩陣紋理特征及常見場(chǎng)景色彩給彩色圖像分類標(biāo)記。

選擇常見場(chǎng)景目標(biāo)（包括天空、建筑、樹木、草地、道路）進(jìn)行圖片切割，切割成互不重疊64×64像素大小的圖片，在同一場(chǎng)景下隨機(jī)選擇64 幅圖，圖3顯示了選取的部分圖像。分別計(jì)算0°、45°、90°、135°四個(gè)方向的灰度共生矩陣的上述特征，對(duì)4 個(gè)方向的同一特征求平均值和均方差，從而得到具有旋轉(zhuǎn)不變性的八維紋理特征，用f1,f2,···,f8表示4 種特征的均值和均方差。用f9表示顏色信息，f9=1,2,3，當(dāng)f9=1天空為藍(lán)色，RGB 3 個(gè)顏色通道中藍(lán)色分量大于其他分量，則可以滿足天空的顏色；當(dāng)f9=2，樹木與草地是綠色分量最大；f9=3為建筑與地面。用f10表示類別標(biāo)記，f10=1,2,3,4,5，其中1 是天空，2 是建筑，3 是樹木，4 是草地，5 是道路。

圖3 參考圖像選取Fig.3 Reference image selection

2.3 色彩傳遞

本文面向自然場(chǎng)景，樹木本身紋理溝壑深，其對(duì)比度大，但在微光圖像中視覺效果不明顯，為使其清晰，用上文灰度共生矩陣中對(duì)比度參數(shù)的均值及均方差調(diào)整圖像亮度系數(shù)，讓原本不容易賦上色彩的紋理溝壑深度部分更易上色。反之，文中天空和陸地本身色彩信息比較單一，但亮度相對(duì)較高一些，灰度共生矩陣的對(duì)比度小，溝紋淺，易賦色，則不再凸顯出亮度信息。具體算法如下：

1）目標(biāo)微光圖像T進(jìn)行分割后，對(duì)分割出來的模塊進(jìn)行紋理特征匹配并標(biāo)記，Tm(m=1,2,3,4,5)，其中1 是天空，2 是建筑，3 是樹木，4 是草地，5 是道路；

2）選擇目標(biāo)圖像Tm，計(jì)算紋理特征f1,f2,···,f8，用（10）式與參考圖像的紋理特征匹配，D代表目標(biāo)與參考圖像紋理特征相似性，值越小，紋理特征值相似性越高，選擇的參考圖像標(biāo)記為Sm，再用f9對(duì)匹配的參考圖像Sm進(jìn)行檢驗(yàn)，得到目標(biāo)圖像的參考圖像及它們的類別，類別用f10表示；

3）將圖像Tm與Sm都轉(zhuǎn)至YCbCr 空間，計(jì)算各個(gè)顏色分量上的均值和方差，將目標(biāo)圖像的顏色統(tǒng)計(jì)量傳遞給源圖像，使目標(biāo)圖像具有與源圖像一致的均值和方差，進(jìn)行顏色統(tǒng)計(jì)量匹配的映射方法如（11）式：

4）用（12）式調(diào)整圖片亮度，其中Y′T為調(diào)整后的亮度，YT為原亮度；

式中系數(shù)由灰度共生矩陣中對(duì)比度的均值和均方差求得，即2.2 小節(jié)中f1、f2的值，不同場(chǎng)景的值亦不同；

5）將二次顏色傳遞后的圖像再進(jìn)行顏色空間轉(zhuǎn)換，由YCbCr 顏色空間空間轉(zhuǎn)至RGB 空間；

式中：D(i,j)是 每個(gè)像素的系數(shù)；Tm是目標(biāo)圖像；μ、δ分別是目標(biāo)圖像灰度共生矩陣中對(duì)比度的均值和均方差；w1+w2=1；

6）重復(fù)2）～5），直至所有的目標(biāo)場(chǎng)景都被傳遞上相應(yīng)的最佳彩色。

3 實(shí)驗(yàn)研究

本實(shí)驗(yàn)采用Andor 公司的EMCCD 相機(jī)，該相機(jī)的分辨率為130 像素，每秒可采集60 幀圖像；采用AZURE 公司的M2518 MPW2 鏡頭，焦距為25 mm。本實(shí)驗(yàn)時(shí)間為2019年夏季7月底，凌晨01:00～03:00。地點(diǎn)：室外。溫度：24 ℃。能見度：14 km。相對(duì)濕度：在60%～70%之間。光照度：1.9×10-3lx～ 2.7×10-3lx。采集的微光圖像的寬度和高度都為1 024 像素，水平與垂直分辨率為96 dpi，位深度為8 bit 位。本文采用MATLAB 軟件R2016a版本進(jìn)行算法仿真。

3.1 圖像處理結(jié)果

圖4為分割效果圖，其中：圖4（a1）、4（a2）、4（a3）為拍攝的原始微光圖片，包括天空、建筑、樹木、草地和路面常見微光場(chǎng)景；圖4（b1）、4（b2）、4（b3）為預(yù)分割圖像，利用超像素將圖片分割成多塊近似的小圖塊，為下一步分割做準(zhǔn)備；圖4（c1）、4（c2）、4（c3）為本文分割算法，圖4（c1）中建筑、天空、樹木、窗戶4 種景物分割邊緣清晰，圖4（c2）中路面、草地、樹木能很好地分割出來；圖4（d1）、4（d2）、4（d3）是用Gabor 濾波器分割[21]作為對(duì)比組，將景物的形狀分割出來，圖4（d1）中天空和建筑連接處細(xì)節(jié)分割效果不佳，圖4（d2）處同一路面分割成不同效果，圖4（d3）建筑與樹木的輪廓沒有分割出來。

圖5為顏色傳遞效果圖。其中：圖5（a1）、5（a2）、5（a3）為Welsh 算法所得到的全局顏色傳遞，從主觀評(píng)價(jià)上看，整幅圖像顏色傳遞成了彩色，但其天空色彩出現(xiàn)誤傳；圖5（b1）、5（b2）、5（b3）為仲紅玉等人算法顏色傳遞的結(jié)果；圖5（c1）、5（c2）、5（c3）是本文算法顏色傳遞結(jié)果，相比前兩種算法，得到的圖像效果更好一些，整體色彩更適應(yīng)人眼的視覺，圖5（c1）中樹木的顏色鮮艷且紋理細(xì)節(jié)清晰。

圖4 分割效果圖Fig.4 Effect diagram of segmentation

3.2 結(jié)果評(píng)價(jià)

選取空間頻率、平均梯度、峰值信噪比（PSNR）這3 個(gè)指標(biāo)對(duì)圖5的圖像質(zhì)量進(jìn)行評(píng)價(jià)。由圖6的柱狀圖所示，同一個(gè)柱狀表為同一衡量指標(biāo)下3 種不同場(chǎng)景的3 種顏色傳遞算法結(jié)果的值。圖6（a）是平均梯度，描述了圖像的微小細(xì)節(jié)變化和紋理變換的能力，平均梯度的值越大，邊緣信息和紋理細(xì)節(jié)越明顯；其中場(chǎng)景1 里本文算法平均梯度是3.157 1，仲紅玉算法為2.330 5，Welsh 算法僅為1.650 2，仲紅玉的算法平均梯度大于Welsh算法，本文算法值優(yōu)于這兩種算法。圖6（b）為峰值信信噪比，該值是用圖3（f）作為參考圖像，計(jì)算像素點(diǎn)之間的誤差，值越高，圖像失真的程度越小，反映圖像的色彩信息；峰值信噪比最高提高了5.171 6 dB，最低提高了1.267 8 dB，平均提高了2.8 dB，本文的算法值優(yōu)于其他算法，圖像失真小。圖6（c）是空間頻率（SF），反映了圖像在空間域的總體活躍程度，空間頻率的值越大，代表著圖

像的視覺效果越好；本文算法3 個(gè)場(chǎng)景中分別為9.706 8、6.538 9、1.934 5，比Welsh 算法的5.671 1、3.608 3、3.927 9 值大，說明其圖像所含的信息越多，邊緣信息以及細(xì)節(jié)越豐富，圖像效果越好。

圖5 顏色傳遞效果Fig.5 Color transfer effect

圖6 結(jié)果評(píng)價(jià)柱狀圖Fig.6 Results evaluation histogram

4 結(jié)論

在分析現(xiàn)有算法的基礎(chǔ)上，提出了一種基于分割的局部圖像亮度調(diào)整顏色傳遞方法。顏色傳遞過程中，紋理細(xì)節(jié)不丟失，目標(biāo)圖像超像素預(yù)分割后再進(jìn)行超像素之間的聚合，讓圖像中不同場(chǎng)景實(shí)現(xiàn)準(zhǔn)確分割。顏色傳遞過程中利用不同的子區(qū)域分別進(jìn)行顏色傳遞，目標(biāo)圖像與相應(yīng)的參考圖像亮度值對(duì)應(yīng)，讓每一部分顏色都盡可能地與自然真實(shí)場(chǎng)景顏色接近。利用灰度共生矩陣的對(duì)比度特性，根據(jù)不同場(chǎng)景子區(qū)域的紋理溝壑程度調(diào)整亮度，得到微光圖像的局部顏色傳遞的圖像符合人眼觀察特性的彩色圖片。文中顏色傳遞算法得到圖像的平均梯度值最高4.928 5，最低3.157 1，比其他算法平均提高1.98；峰值信噪比的值本文算法最高13.287 1 dB，最低11.312 5 dB，比其他算法平均提高2.72 dB；空間頻率的值本文算法最高11.934 5，最低6.538 9，比其他算法平均提高4.63。