安世全，張 莉，瞿 中

(重慶郵電大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，重慶 400065)

0 引 言

普通數(shù)碼相機(jī)所捕獲圖像的動(dòng)態(tài)范圍遠(yuǎn)遠(yuǎn)低于現(xiàn)實(shí)場景。為解決該問題，通過合并同一場景中不同曝光量的低動(dòng)態(tài)范圍圖像序列[1,2]，實(shí)現(xiàn)高動(dòng)態(tài)范圍成像。近年來，國內(nèi)外研究學(xué)者已提出了多種融合高動(dòng)態(tài)范圍圖像的算法。Mertens等[3]提出將對比度、飽和度及良好曝光度作為權(quán)重值，結(jié)合拉普拉斯和高斯金字塔進(jìn)行融合。Vanmali等[4]提出了一種低復(fù)雜度的融合算法，對源圖像序列加權(quán)相加。Li等[5]提出了利用空間一致性融合基礎(chǔ)層和細(xì)節(jié)層。Kinoshita等[6]提出了一種基于輸入多重曝光圖像的亮度分布自動(dòng)確定程度的方法。

在現(xiàn)實(shí)場景通常是包含移動(dòng)物體[7,8]。因此，如何生成動(dòng)態(tài)場景的無鬼影高動(dòng)態(tài)范圍圖像是近年來研究的熱點(diǎn)。Li等[9]提出遞歸濾波細(xì)化權(quán)重圖，并利用直方圖均衡化和中值濾波檢測運(yùn)動(dòng)物體。Liu等[10]提出密集尺度不變特征變換實(shí)現(xiàn)局部對比度提取和鬼影去除。Ma Kede等[11]提出圖像分塊思想實(shí)現(xiàn)多曝光圖像融合。Wang等[12]利用亮度線性地取決于曝光時(shí)間的理論實(shí)現(xiàn)檢測移動(dòng)物體以進(jìn)一步曝光融合。

為了有效地解決邊緣細(xì)節(jié)失真、運(yùn)動(dòng)物體的鬼影現(xiàn)象，首先通過差分圖像和最大類間方差作為預(yù)處理步驟；然后計(jì)算3個(gè)不同的質(zhì)量衡量因子估計(jì)權(quán)值；改進(jìn)導(dǎo)向?yàn)V波，增加邊緣與非邊緣的差距，達(dá)到去噪效果；最后，利用加權(quán)平均和獲得融合圖像。

1 動(dòng)態(tài)場景的鬼影消除

在本文研究中，假設(shè)圖像通過將相機(jī)放在三腳架上或使用一些注冊技術(shù)進(jìn)行對齊[13，14]。傳統(tǒng)算法是選擇適度曝光的圖像選為參考圖像，并采用差分法評估運(yùn)動(dòng)像素點(diǎn)，可消除簡單運(yùn)動(dòng)場景中的鬼影現(xiàn)象。本文在消除簡單運(yùn)動(dòng)場景的鬼影現(xiàn)象的同時(shí)，對復(fù)雜場景同樣有效。

對于多曝光圖像序列為In(n=1,2,…,N，N為圖像的數(shù)目)，為消除曝光差異對檢測運(yùn)動(dòng)像素的影響，選擇參考圖像Iref，對待融合圖像進(jìn)行直方圖匹配，如式(1)所示

(1)

(2)

并確保相鄰像素具有相似的權(quán)重，計(jì)算差分圖像Dn的類間方差最大值，排除異常值。對于每一幅差異圖像Dn，采用圖像分割被分割為兩類C1類、C2類，使得兩類像素的區(qū)分度達(dá)到最大，如式(3)、式(4)所示

(3)

(4)

當(dāng)差分圖像大于最優(yōu)分割閾值時(shí)，表示該像素處于運(yùn)動(dòng)狀態(tài)，否則，表示靜態(tài)。運(yùn)動(dòng)物體的檢測如式(5)所示

(5)

(6)

2 質(zhì)量衡量因子

圖像的細(xì)節(jié)信息主要體現(xiàn)在該圖像的結(jié)構(gòu)特征、對比度以及色彩飽和度方面。對于靜態(tài)場景中的多曝光圖像序列，通過提取圖像的局部對比度、適當(dāng)曝光度和色彩飽和度，構(gòu)造初始權(quán)值圖。

2.1 局部對比度

人類視覺系統(tǒng)對局部對比度信息的感知更加敏感。通過Scharr算子計(jì)算圖像的局部對比度。則局部對比度Cn(x,y) 如式(7)所示

(7)

其中，Gx(x,y)、Gy(x,y) 分別表示灰度圖像沿x、y方向的梯度信息。

2.2 適當(dāng)曝光度

圖像曝光度是決定圖像質(zhì)量的重要指標(biāo)。利用高斯模型對所有曝光像素點(diǎn)分配合理的權(quán)值，如式(8)所示

(8)

2.3 色彩飽和度

色彩飽和度是突出圖像細(xì)節(jié)的重要因素。本文通過計(jì)算每個(gè)像素點(diǎn)各個(gè)通道內(nèi)的標(biāo)準(zhǔn)差得到色彩飽和度Sn(x,y)，其式(9)如下所示

(9)

2.4 構(gòu)造初始權(quán)重圖

(10)

3 優(yōu)化導(dǎo)向?yàn)V波的圖像融合

3.1 傳統(tǒng)導(dǎo)向?yàn)V波

導(dǎo)向?yàn)V波是一種基于局部線性模型的邊緣保持濾波器[15]，計(jì)算時(shí)間與濾波器尺寸無關(guān)。為了輸出圖像與輸入圖像之間的差距最小，用最小二乘法擬合線性關(guān)系，式(11)如下所示

(11)

其中，ak和bk是以像素點(diǎn)k為中心的局部窗口ωk的線性變換系數(shù)，Pi是輸入圖像，Ii是導(dǎo)向圖像，ε是平滑系數(shù)。通過計(jì)算得到ak和bk，公式如下所示

(12)

(13)

(14)

3.2 初始權(quán)重圖細(xì)化

為減少噪聲對融合結(jié)果的影響，本文根據(jù)導(dǎo)向?yàn)V波對初始權(quán)重圖進(jìn)行處理。在導(dǎo)向?yàn)V波中，ak決定最終圖像的邊緣保持程度。對于局部窗口，ak值隨著像素間的紋理差異而變化，而ε值是賦予固定的參數(shù)，使得像素點(diǎn)被疊加的平滑力度完全相同。雖然彌補(bǔ)了部分像素點(diǎn)的欠平滑問題，但也會導(dǎo)致過度平滑。當(dāng)邊緣像素點(diǎn)過度平滑時(shí)，就會發(fā)生光暈、梯度反轉(zhuǎn)現(xiàn)象。因此，在邊緣信息豐富的區(qū)域中，ak值較大，則需要較小的ε值，使得疊加平滑倍數(shù)小；在平滑區(qū)域中，ak值較小，則需要較大的ε值，使得疊加平滑倍數(shù)大。因此，本文設(shè)計(jì)了一個(gè)自適應(yīng)的加權(quán)函數(shù)，解決了不同局部窗口的紋理特性，式(15)如下所示

(15)

其中，β為區(qū)別邊緣的閾值，λ表示該圖像邊緣的限制因子。當(dāng)像素點(diǎn)的梯度信息大于β時(shí)，表示該像素點(diǎn)處于邊緣區(qū)域，否則表示處于平滑區(qū)域。改進(jìn)的導(dǎo)向?yàn)V波使得邊緣與平滑的差異程度增加，避免在邊緣處模糊疊加，提高圖像質(zhì)量，具有較好的魯棒性。本文根據(jù)實(shí)驗(yàn)取β=0.3，取λ=2，若λ>2時(shí)存在局部失真，若λ<2時(shí)仍有較少的光暈。將式(11)、式(12)優(yōu)化如式(16)、式(17)如下所示

(16)

(17)

根據(jù)改進(jìn)的導(dǎo)向?yàn)V波細(xì)化初始權(quán)重圖，式(18)如下所示

(18)

(1)判斷像素 (x,y) 是否處于邊緣區(qū)域。

(2)當(dāng)像素 (x,y) 處于邊緣區(qū)域時(shí)，φ(x,y) 值變大，對邊緣紋理敏感，放大該像素的邊緣信息，正則項(xiàng)的值變小。

(3)當(dāng)像素 (x,y) 處于非邊緣區(qū)域時(shí)，φ(x,y) 值變小，對邊緣紋理不敏感，抑制該像素的邊緣信息，正則項(xiàng)的值變大。

3.3 加權(quán)融合

在獲得精確的權(quán)值圖后，可以從靜態(tài)圖像序列直接計(jì)算融合結(jié)果，得到最終的融合圖像F(x,y)，式(19)如下所示

(19)

4 實(shí)驗(yàn)結(jié)果與分析

根據(jù)提出的算法使用各種曝光序列進(jìn)行測試，其涵蓋不同類型的靜態(tài)場景和動(dòng)態(tài)場景，并將本文算法與Mertens等、Vanmali等、Li等[5]、Li等[9]、Liu等、提出的算法進(jìn)行比較。

4.1 靜態(tài)場景的測試與分析

在靜態(tài)場景中，本文算法與Mertens等、Vanmali等、Li等[5]3種算法進(jìn)行了實(shí)驗(yàn)對比。圖1(a)、圖2(a)分別為多曝光圖像序列Candle、Windows場景。圖1(b)-圖1(e)、圖2(b)-圖2(e)是Mertens等、Vanmali等、Li等[5]、本文算法的實(shí)驗(yàn)結(jié)果呈現(xiàn)，并放大了局部區(qū)域。

根據(jù)實(shí)驗(yàn)結(jié)果可知，Mertens等具有較好的色彩飽和度信息，但是局部對比度較低，導(dǎo)致細(xì)節(jié)不夠清晰(如圖1(b)火焰，圖2(b)的窗簾、放大區(qū)域的臺燈過亮而失去細(xì)節(jié))。Vanmali等提出的算法存在明顯的顏色退化、細(xì)節(jié)失真等現(xiàn)象(如圖1(c)的火焰周圍及玻璃杯，圖2(c)的墻壁菱角模糊)。Li等的算法采用傳統(tǒng)的導(dǎo)向?yàn)V波，存在嚴(yán)重的光暈、梯度反轉(zhuǎn)的現(xiàn)象(如圖1(d)的墻壁區(qū)域及桌子區(qū)域出現(xiàn)大量的光暈，圖2(d)的墻壁及窗戶簾子上出現(xiàn)大面積的光暈、放大區(qū)域的臺燈暗沉有光暈)。本文算法的實(shí)驗(yàn)結(jié)果呈現(xiàn)了較豐富的細(xì)節(jié)信息和較鮮艷的色彩信息(如圖1(e)燃燒著火苗)，同時(shí)消除了光暈的現(xiàn)象。

圖1 Candle場景實(shí)驗(yàn)結(jié)果對比

圖2 Windows場景實(shí)驗(yàn)結(jié)果對比

4.2 動(dòng)態(tài)場景的測試與分析

圖3(a)、圖4(a)、圖5(a)分別為多曝光圖像序列Arch、SculptureGarden、Horse場景。圖3(b)-圖3(e)、圖4(b)-圖4(e)是Mertens等、Li等[9]、Liu等、本文算法的實(shí)驗(yàn)結(jié)果呈現(xiàn)，并放大了局部區(qū)域。圖5(b)-圖5(e)是 Mertens等、Li等[9]、Liu等、本文算法的融合圖像進(jìn)行比較。

由實(shí)驗(yàn)結(jié)果得出，Mertens等提出的算法雖具有較好的表現(xiàn)力，卻產(chǎn)生了嚴(yán)重大面積的鬼影(如圖3(b)、圖4(b)的行人，圖5(b)的馬頭)，并出現(xiàn)顏色失真(如圖4(b)的背景色彩飽和度不夠)。Li等提出的算法在很大程度上去除了鬼影現(xiàn)象，但是對于復(fù)雜的運(yùn)動(dòng)場景中仍包含一些微弱的鬼影(如圖4(c)的行人，圖5(c)的馬頭)，并且對比度不夠清晰(如圖3(c)的柱子、圖5(c)的墻壁色調(diào)偏暗)。Liu等提出的算法雖然具有良好的對比度，但是沒有將鬼影完全消除干凈(如圖3(d)遠(yuǎn)處拱形區(qū)域出現(xiàn)模糊的人影，圖4(d)的行人，圖5(d)的馬頭)，色彩整體偏暗淡(如圖3(d)的吊燈部分區(qū)域、遠(yuǎn)處草木區(qū)域及柱子區(qū)域，圖4(d)的天空，圖5(d)的墻壁)。本文提出的算法能有效去除鬼影，在避免光暈現(xiàn)象的同時(shí)保留較豐富的場景信息。

圖3 Arch場景實(shí)驗(yàn)結(jié)果對比

圖4 SculptureGarden場景實(shí)驗(yàn)結(jié)果對比

圖5 Horse場景實(shí)驗(yàn)結(jié)果對比

4.3 客觀評價(jià)

本文采用邊緣相似性 (QAB/F)[16]、圖像清晰度，客觀地評估不同融合算法的性能。QAB/F是衡量兩幅圖像的邊緣特征相似性。當(dāng)圖像相似性越大時(shí)，QAB/F值越接近于1.0。圖像清晰度則是利用平均梯度進(jìn)行描述，平均梯度與圖像清晰度呈正相關(guān)，平均梯度越大，細(xì)節(jié)越多。

本文評估了4組靜態(tài)場景和4組動(dòng)態(tài)場景的圖像序列，分別通過計(jì)算QAB/F、圖像清晰度評價(jià)指標(biāo)將本文算法與靜態(tài)場景算法、動(dòng)態(tài)場景算法進(jìn)行比較，評價(jià)結(jié)果見表1、表2。從測試數(shù)據(jù)可知，與傳統(tǒng)算法對比，本文算法具有較好的客觀結(jié)果與圖像質(zhì)量(表1和表2中的粗體值代表每行的最佳值)。

表1 QAB/F的評價(jià)結(jié)果

表2 圖像清晰度的評價(jià)結(jié)果

4.4 運(yùn)行效率

表3表示8組圖像3種關(guān)于動(dòng)態(tài)場景算法的運(yùn)行時(shí)間比較結(jié)果。該計(jì)算機(jī)的處理器為i5-3230M，主頻為2.60 GHz，內(nèi)存為4.0 GB。在比較結(jié)果可以得出，本文算法的運(yùn)行時(shí)間均低于其它算法，運(yùn)行效率高于其它算法(表3中的粗體值代表每行的最佳值)。

表3 運(yùn)行時(shí)間比較

5 結(jié)束語

本文提出了一種基于導(dǎo)向?yàn)V波的無鬼影曝光融合算法，有效消除復(fù)雜場景中的鬼影現(xiàn)象，并減少光暈的同時(shí)保留細(xì)節(jié)。首先，通過參考圖像與其它圖像匹配，使能夠保留更多圖像細(xì)節(jié)，尤其對于曝光量有嚴(yán)重偏差的區(qū)域。其次，為了進(jìn)一步抑制融合中異常值，利用最大類間方差進(jìn)行運(yùn)動(dòng)檢測。然后，使用質(zhì)量衡量因子(局部對比度、適當(dāng)曝光度和色彩飽和度)來計(jì)算權(quán)重圖。最后，為了提高準(zhǔn)確性和消除導(dǎo)向?yàn)V波產(chǎn)生的光暈現(xiàn)象，使用改進(jìn)的導(dǎo)向?yàn)V波對其細(xì)化，對區(qū)域的紋理差異實(shí)現(xiàn)自適應(yīng)。從主觀視覺與客觀評價(jià)進(jìn)行分析，實(shí)驗(yàn)結(jié)果表明本文算法無論在動(dòng)態(tài)場景還是靜態(tài)場景均具有較好的效果。