李浩然，田秀霞，盧官宇，李華強(qiáng)

(上海電力大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院，上海 200000)

1 引言

隨著各種拍照設(shè)備的廣泛應(yīng)用，因光照不均勻、曝光不足等原因?qū)е聢D像細(xì)節(jié)缺失、可視性差的現(xiàn)象十分常見，直接影響了計算機(jī)視覺技術(shù)的發(fā)展，例如圖像的特征提取、目標(biāo)識別、監(jiān)控系統(tǒng)等[1，2]，因此，提高光照不均勻圖像對比度、過暗區(qū)域亮度，保持其它區(qū)域的亮度信息，使增強(qiáng)后圖像與原圖有較高的結(jié)構(gòu)相似性十分重要。

近年來光照不均勻圖像增強(qiáng)算法已有很多研究成果。直方圖均衡化類算法對整體亮度偏暗或者偏亮具有較好的增強(qiáng)效果，但不能同時保證圖像的細(xì)節(jié)信息與亮度的同時增強(qiáng)[3，4]。伽馬校正類算法通過調(diào)整圖像高低頻部分的比例來增大兩者間的對比度，容易造成過增強(qiáng)和欠增強(qiáng)的現(xiàn)象[5，6]。小波變換類算法可以突出不同尺度下的細(xì)節(jié)，但無法同時保證在降低噪聲的同時保證算法復(fù)雜度較低[7，8]?；赗etinex理論的算法中最經(jīng)典的有單尺度Retinex(Single Scale Retinex，SSR)、多尺度Retinex(Multiscales Scale Retinex，MSR)和彩色恢復(fù)的多尺度Retinex(Multi Scale Retinex with Color Restoration，MSRCR)算法，這三種算法無法保證同時避免顏色失真與“光暈”現(xiàn)象[9-11]。文獻(xiàn)[12]使用雙邊濾波算法估計圖像的照度分量，很好地解決“光暈”現(xiàn)象，但是對照度分量的估計不夠準(zhǔn)確。文獻(xiàn)[13]使用多級分解的雙邊濾波算法較好的估計出照度分量，有效防止圖像的過增強(qiáng)、欠增強(qiáng)現(xiàn)象，但是運(yùn)算復(fù)雜度過大，不利于在實(shí)踐中的應(yīng)用。文獻(xiàn)[14]有效提高圖像的對比度，但容易產(chǎn)生過增強(qiáng)現(xiàn)象。文獻(xiàn)[15][16]有效增強(qiáng)圖像過暗區(qū)域的細(xì)節(jié)信息與視覺效果，但容易丟失了亮區(qū)域的細(xì)節(jié)信息。文獻(xiàn)[17]有效提高了過暗區(qū)域的視覺效果，但是在亮區(qū)域存在過增強(qiáng)現(xiàn)象。文獻(xiàn)[18]在避免圖像過增強(qiáng)、保亮度和突出細(xì)節(jié)三方面均取得較好的效果，但對雙邊伽馬曲線的設(shè)計不具有自適應(yīng)性。

2 相關(guān)研究

2.1 Retinex理論及增強(qiáng)模型

Retinex是由Retina(視網(wǎng)膜)和Cortex(大腦皮層)這兩個詞組合而來的，它是由Edwin.H.Land在1964年建立，其基本思想是基于人類的色彩恒常性[19，20]。Retinex理論認(rèn)為，事務(wù)所呈現(xiàn)出來的顏色是由事物對不同波長的電磁波反射能力所支配的，而不是由照射光強(qiáng)度支配，照射光的非均勻性對事物的色彩沒有影響，具有一致性。因此，人類能感知到的圖像F(x，y)可由照度分量圖像L(x，y)和反射分量圖像R(x，y)的乘積，成像模型[21]可表示為

F(x，y)=L(x，y)·R(x，y)

(1)

Retinex模型將圖像分解為照度分量和反射分量，其中照度分量代表原圖像中的低頻部分，反射分量代表原圖像中的高頻部分。在估計出照度分量后，即可提取出圖像的反射分量，如式

R(x，y)=F(x，y)/L(x，y)

(2)

通過對照度分量和反射分量進(jìn)行調(diào)整，進(jìn)而融合調(diào)整后的照度分量和反射分量，獲得增強(qiáng)后的圖像，其模型可表示為

Fe(x，y)=Le(x，y)·Re(x，y)

(3)

式中Le(x，y)為增強(qiáng)后的照度分量，Re(x，y)為增強(qiáng)后的反射分量，F(xiàn)e(x，y)為增強(qiáng)后的圖像。

2.2 多尺度引導(dǎo)濾波算法估計照度分量

引導(dǎo)濾波算法、雙邊濾波算法等常用來估計圖像的照度分量。引導(dǎo)濾波算法和雙邊濾波算法都具有一定的保邊平滑能力，其性能受濾波尺度的影響，且引導(dǎo)濾波算法的時間復(fù)雜度遠(yuǎn)低于雙邊濾波算法的時間復(fù)雜度[22]，文獻(xiàn)[14]提出的迭代多尺度引導(dǎo)濾波算法能夠很好的估計出圖像的照度分量，方法如下

L(n)(x，y)=L(n-1)(x，y)?GF(s(n)，ε(n))

(4)

式中，L(n)(x，y)為第n步照度分量；L(n-1)(x，y)為第n-1步照度圖像；s(n)與ε(n)分別為第n步尺度因子與平滑因子，GF表示引導(dǎo)濾波。隨著尺度因子與平滑因子的迭代增大，平均梯度的降低越慢，為簡化迭代步驟，提高迭代速度，本文迭代過程的參數(shù)設(shè)置為：L(0)為原圖像，s(1)取2，ε(1)取0.02，s(n)=s(1)×2n-1，ε(n)=ε(1)×2n-1，迭代次數(shù)為3，得到照度分量L(3)(x，y)。圖1為不同濾波算法估計照度分量圖像以及掃描線。其中，雙邊濾波算法參數(shù)為文獻(xiàn)[13]中第三級濾波參數(shù)r=30、σs=15，σr=15。圖1可看出雙邊濾波算法在保邊的同時只能有效模糊部分尺度的細(xì)節(jié)，本文算法能夠有效模糊不同尺度的細(xì)節(jié)，且保邊特性較好。

圖1 不同算法估計照度分量圖像的對比

2.3 伽馬曲線的特性

伽馬校正是運(yùn)用數(shù)學(xué)變換對圖像的亮度值進(jìn)行非線性調(diào)整，從而達(dá)到增強(qiáng)圖像的效果[23]。通過給定的伽馬值對像素值進(jìn)行非線性映射，伽馬曲線表達(dá)式為

h(u)=uγ

(5)

式中u是輸入圖像的亮度，γ是伽馬值，h(u)是輸出的非線性映射值，不同的γ值對圖像亮度的改善效果不同。文獻(xiàn)[17]設(shè)計出一種雙邊伽馬校正曲線，分析了伽馬校正曲線對亮度區(qū)域的改善效果，其原理如下：

圖2(a)是0<γ<1時的伽馬曲線，圖2(b)是γ>1時的伽馬曲線，點(diǎn)A和點(diǎn)B斜率為1，坐標(biāo)分別為(ua，h(ua))、(ub，h(ub))，式(5)求導(dǎo)得

圖2 兩種不同的伽馬曲線圖

h′(u)=γuγ-1

(6)

令h′(u)|u=u0=1，可得出u0關(guān)于γ的函數(shù)為：

(7)

表1為u0值和γ值的關(guān)系。由式(7)可看出在已知u0的條件下可求解出參數(shù)γ。圖2可看出，0<γ<1時，亮度范圍[0，ua]可以有效提高圖像過暗區(qū)域的亮度值，γ>1時，亮度范圍[ub，1]可以有效降低圖像過亮區(qū)域的亮度值，即防止過增強(qiáng)現(xiàn)象。

表1 u0值和γ值的關(guān)系

本文通過找到照度分量的過暗區(qū)域、過亮區(qū)域的分界值t1和t2，根據(jù)式(7)確定參數(shù)值分別γ1和γ2的曲線，分別得到有效提高照度分量過暗區(qū)域亮度的圖像和降低照度分量過亮區(qū)域亮度的圖像。

由于照度的分布是緩慢變化的，無法直接找出過暗區(qū)域與過亮區(qū)域，而照度分量圖像是原圖進(jìn)行保邊平滑后的圖像，原圖與照度分量圖像的像素點(diǎn)是一一映射的關(guān)系，本文算法通過找到原圖的過暗區(qū)域和過亮區(qū)域亮度分界值，確定照度分量的過暗區(qū)域和過亮區(qū)域。

2.4 大津法確定過暗區(qū)域和過亮區(qū)域

大津法也稱最大類間方差法，該算法以最大化類間方差作為選擇標(biāo)準(zhǔn)，它按照圖像的灰度特性，將圖像分成背景和前景兩部分。鑒于方差的灰度分布均勻的一種衡量標(biāo)準(zhǔn)，圖像的前景與背景之間的方差越大，說明兩者的差別越大[24，25]。因此，對于一張大小為m×n的圖像，圖像中像素的灰度值小于閾值t的像素個數(shù)記為n0，像素灰度值大于閾值t的像素個數(shù)記為n1，則有

(8)

(9)

μ=ω0×μ0+ω1×μ1

(10)

g=ω0×(μ0-μ)2+ω1×(μ1-μ)2

(11)

將式(10)帶入式(11)，得到等價公式

g=ω0×ω1×(μ0-μ1)2

(12)

通過遍歷法找到類間方差g最大的分割閾值t，讓類間方差實(shí)現(xiàn)最大化分割，即意味著錯分概率最小。大津法能夠很好地分割出光照不均勻圖像中視覺效果差的背景區(qū)域，該區(qū)域作為過暗區(qū)域，與圖像中視覺較好區(qū)域的類間方差最大。

圖3為圖1(e)中掃描線與原圖的OSTU分割閾值線，可以看出找到原圖的分割閾值可以確定照度分量的過暗區(qū)域，即照度分量中像素灰度值小于分割閾值區(qū)域。

圖3 原圖、照度分量掃描線與分割閾值線

本文設(shè)計的照度分量過暗區(qū)域和過亮區(qū)域的分界值表示為

t1=mt

(13)

t2=0.368+n(1-t)

(14)

其中，t為原圖的OSTU分割閾值，系數(shù)m和n的設(shè)定分別是為了滿足：參數(shù)值為γ1的伽馬曲線能夠有效提高過暗區(qū)域亮度，t1越小，提高效果越好；參數(shù)值為γ2的伽馬曲線能夠有效降低過亮區(qū)域亮度，t2越大，降低效果越好。

本文隨機(jī)選取400幅光照不均勻圖像(200幅自本文作者拍攝，200幅來自“Veer網(wǎng)庫”)，圖像的OSTU分割閾值的分布見表2，可看出98.75%的分割閾值小于0.5，本文僅考慮對大部分圖像的處理，認(rèn)為光照不均勻圖像的分割閾值小于0.5。在確定t1、t2時仍然存在以下問題：

表2 圖像的OSTU閾值分布

1)由表1可知，t1的值在區(qū)間[0.368，0.5)中時，會導(dǎo)致γ1>1，無法改善過暗區(qū)域；

2)t1的值小于且趨于0.368時，改善圖像過暗區(qū)域的效果差；

3)t2過大時，參數(shù)值為γ2的伽馬曲線降低圖像亮度效果過強(qiáng)，導(dǎo)致嚴(yán)重的亮度丟失現(xiàn)象。

為解決上述問題，經(jīng)過多次實(shí)驗(yàn)，本文設(shè)置系數(shù)為：m=0.35/0.5，n=0.2。

2.5 自適應(yīng)校正照度分量

不同圖像的分割閾值能夠設(shè)計出不同的雙邊伽馬曲線，本文基于空間域?qū)⒏纳坪蟮恼斩确至繄D像與包含原照度信息的照度分量進(jìn)行融合，實(shí)現(xiàn)照度分量的自適應(yīng)校正。融合算法表示為

Le(x，y)=αLγ1(x，y)+βLγ2(x，y)+τL(3)(x，y)

(15)

其中L(γ1)(x，y)和L(γ2)(x，y)是參數(shù)值分別為γ1和γ2的伽馬曲線校正后的照度分量圖像，L(3)(x，y)是原照度分量圖像，Le(x，y)是增強(qiáng)后照度分量圖像，α、β、τ為照度分量融合系數(shù)，其值設(shè)置為α=β=τ=1/3。圖4單邊伽馬曲線校正后的照度分量圖像L(γ1)(x，y)、本文算法校正后的照度分量圖像Le(x，y)，以及兩種方法校正前后照度分量圖像的掃描線。圖4和圖1(c)可看出單邊校正能夠提高的照度分量的整體亮度值，本文算法有效提高了照度分量過暗區(qū)域亮度值，有效抑制了照度分量圖像其它區(qū)域的亮度值的提高。

圖4 不同算法校正前后照度分量的對比

3 算法設(shè)計

3.1 轉(zhuǎn)為HSV顏色空間

目前，大部分彩色圖像增強(qiáng)算法是基于RGB三基色模型，對R、G、B三個顏色通道分別進(jìn)行處理，再合成彩色圖像。然而R、G、B三個分量具有很強(qiáng)的相關(guān)性，三者同時發(fā)生變化會造成色彩失真。HSV(hue，saturation，value)顏色空間[26]很符合人類對彩色的感知經(jīng)驗(yàn)，可以非常直觀地表達(dá)顏色的色調(diào)H、飽和度S和亮度V。H和S分量與人感受彩色的方式緊密相連，很符合人類視覺感受外界的知覺特性，V分量的改變不會影響圖像的顏色信息。因此，單獨(dú)對亮度V進(jìn)行處理能有效避免色彩的失真，保護(hù)圖像的色彩。

3.2 反射分量的增強(qiáng)

圖像的反射分量中存在大量的細(xì)節(jié)信息，需要對反射分量進(jìn)行拉伸處理，增大圖像的對比度，以獲得更好的視覺效果。利用下式實(shí)現(xiàn)全局對比度的提高

(16)

r(x，y)=1-R(x，y)

(17)

Re(x，y)=1-re(x，y)

(18)

其中R(x，y)為反射分量圖像，Re(x，y)為增強(qiáng)后反射分量圖像，兩者的值在區(qū)間[0，1]上，η為調(diào)整參數(shù)。式(16)是一種效果較柔和的對數(shù)拉伸函數(shù)，調(diào)整參數(shù)η越小，圖像的細(xì)節(jié)信息拉伸效果越好，本文將調(diào)整參數(shù)設(shè)置為0.3。

3.3 算法流程反射

1)將RGB圖像轉(zhuǎn)換到HSV色彩空間；

2)使用多尺度引導(dǎo)濾波算法估計出V分量的照度分量，根據(jù)式(2)求出反射分量；

3)使用大津法找到的V分量分割閾值；

4)基于分割閾值，根據(jù)式(7)(13)(14)設(shè)計出兩條伽馬曲線，得到分別調(diào)整照度分量不同區(qū)域亮度的兩個圖像；

5)根據(jù)式(15)，將調(diào)整后照度分量圖像與原照度分量圖像融合，得到校正后照度分量圖像；

6)根據(jù)式(16)(17)(18)拉伸反射分量得到增強(qiáng)后反射分量；

7)根據(jù)式(3)得到增強(qiáng)后的V分量，并轉(zhuǎn)換回RGB圖像。

4 實(shí)驗(yàn)數(shù)據(jù)及結(jié)果分析

4.1 實(shí)驗(yàn)數(shù)據(jù)

本文算法的實(shí)驗(yàn)圖像有FLoor、Way、Shelf，大小為800×600，對比算法為MSR算法、對比度受限的直方圖均衡算法CLAHE，文獻(xiàn)[16]算法，文獻(xiàn)[17]算法。其中MSR算法的三個尺度為(15，80，250)。

4.2 評價指標(biāo)

本文采用主觀視覺效果和客觀圖像評價指標(biāo)結(jié)構(gòu)相似性(structural similarity index，SSIM)和峰值信噪比(Peak Signal to Noise Ratio，PSNR)來評價光照不均勻圖像增強(qiáng)方法。SSIM是衡量圖像相似性的指標(biāo)

(19)

(20)

(21)

4.3 實(shí)驗(yàn)結(jié)果及分析

分別使用MSR算法、CLAHE算法及相關(guān)文獻(xiàn)所提算法對Floor，Way和Shelf三種類型的圖像進(jìn)行增強(qiáng)處理，實(shí)驗(yàn)結(jié)果如圖5-圖7所示。

圖5 不同算法增強(qiáng)Floor后的圖像

圖6 不同算法增強(qiáng)Way后的圖像

圖7 不同算法增強(qiáng)Shelf后的圖像

對于三種類型的圖像，MSR算法相較與其它算法過度曝光了圖像，在提高圖像中較暗區(qū)域亮度的同時也提高了亮區(qū)域的亮度，這就造成了圖像對比度的降低，另外，MSR算法在圖像色彩的處理上存在明顯的失真現(xiàn)象，使圖像看起來整體“發(fā)白”。

對比三種圖像，CLAHE算法相比于MSR算法在在色彩的處理上有一定提高，但依然存在色彩失真的問題，從圖6(c)中可以看出，CLAHE算法對整體較暗的圖像有明顯的改善效果，但對于明暗對比度較大的圖像，如圖5(c)和圖7(c)所示，CLAHE算法在提高圖像較暗區(qū)域的亮度的同時沒有抑制亮區(qū)域的亮度，因此不具有普適性。

文獻(xiàn)[17]所提算法和CLAHE算法對圖像處理的結(jié)果相似，對比圖6(a)和(e)，文獻(xiàn)[17]所提算法的整體處理效果優(yōu)于其它算法，分別將圖5(a)和圖7(a)對比圖5(e)和圖7(e)，可以看出，圖像暗區(qū)域和亮區(qū)域的亮度整體提高，造成亮區(qū)域失真，同時在對圖像色彩的處理上也存在較大的失真，因此文獻(xiàn)[17]所提算法同樣不具有普適性。

對比圖6(a)和(d)可以看出，文獻(xiàn)[16]算法在處理整體較暗圖像上的效果優(yōu)于其它算法，分別將圖5(a)和圖7(a)對比圖5(d)和圖7(d)，可以看出該算法在提高較暗區(qū)域亮度的同時抑制了亮區(qū)域亮度，亮區(qū)域部分相較于原圖亮度有存在損失，這在圖7(d)中尤為明顯，因此該算法更適用于亮度分布均勻的圖像。

分別對比圖5-圖7的(b)(c)(e)(f)，可以看出本文所提算法對比MSR算法，CLAHE算法和文獻(xiàn)[17]所提算法，在處理圖像時不會造成色彩失真，保留了圖像更多的信息，分別將圖5-圖7中(a)與(f)進(jìn)行對比，圖像中暗區(qū)域亮度明顯提高的同時不會使圖像中的亮區(qū)域亮度發(fā)生改變，對比圖7(a)和(f)，該算法在處理亮區(qū)域效果明顯優(yōu)于文獻(xiàn)[16]所提算法，相比于其它算法，本文所提算法在保持圖像色彩的同時能有效提高暗區(qū)域的亮度，保持亮區(qū)域的亮度，因此也更具有普適性。

分別計算圖5至圖7中圖像的SSIM和PSNR，結(jié)果如表3所示：

表3 SSIM、PSNR對不同算法增強(qiáng)后圖像的質(zhì)量評價

表3中可以看出，MSR算法和CLAHE算法所計算出的SSIM值和PSNR值整體小于文獻(xiàn)[16]算法、文獻(xiàn)[17]算法和本文算法所計算出的SSIM值和PSNR值(僅Way類型圖像在CLAHE算法中的PSNR值稍大于文獻(xiàn)[17]算法中的PSNR值)，在對圖5-圖7的主觀分析中得出的結(jié)果是經(jīng)MSR算法和CLAHE算法增強(qiáng)的圖像均存在較大程度的色彩失真，尤其是MSR所處理的結(jié)果失真最為嚴(yán)重，這一點(diǎn)從表中的數(shù)據(jù)得到了驗(yàn)證，MSR算法處理圖像所計算出的SSIM和PSNR均為最小值，雖然CLAHE算法相較于MSR算法計算出的PSNR值有所提高，但相對于其它算法仍有較大差距，表明這兩種算法在處理色彩失真和圖像質(zhì)量問題上仍存在較大不足。

表3中可以看出文獻(xiàn)[16]算法、文獻(xiàn)[17]算法及本文算法所計算出的SSIM值有較大提高，說明這三種算法在處理圖像色彩失真問題上均勻較大的性能提升，但本文算法計算出的SSIM值優(yōu)于文獻(xiàn)[16]算法、文獻(xiàn)[17]算法所計算出的SSIM值。另外，文獻(xiàn)[16]算法、文獻(xiàn)[17]算法所計算的PSNR值明顯小于本文算法所計算出的PSNR值，而在對圖像的主觀分析中可知文獻(xiàn)[16]算法存在亮度的問題，文獻(xiàn)[17]算法存在過增強(qiáng)的問題，亮度丟失與過增強(qiáng)會造成圖像質(zhì)量下降，這也表明了文獻(xiàn)[16]算法、文獻(xiàn)[17]算法在在保持圖像質(zhì)量的問題上存在較大的不足。

在對文獻(xiàn)[16]算法和本文算法對圖像處理的效果的主觀分析可知這兩種算法在保持圖像色彩方面效果最優(yōu)，而從表中數(shù)據(jù)可以看出這兩種算法的所計算出的SSIM值較大，這也證明了文獻(xiàn)[16]算法和本文算法能夠更好的保持圖像原有的結(jié)構(gòu)，不會造成圖像色彩的失真。從圖像的分析上看，文獻(xiàn)[16]算法和本文算法對Floor和Way類型的圖像有均有較好的處理效果，所計算出的PSNR值相近，但文獻(xiàn)[16]算法在處理Shelf類型圖像時相對比本文算法，效果明顯不足，文獻(xiàn)[16]算法的PSNR值小于本文算法的PSNR值，表明本文算法有更好的普適性。

綜上可知，本文算法在提高圖像暗區(qū)域亮度的同時，在保持較高的圖像色彩和結(jié)構(gòu)的相似性，并且不會降低圖像質(zhì)量，圖像增強(qiáng)的效果優(yōu)于其它算法，而且本文算法具有更好的普適性，充分體現(xiàn)了本文算法的優(yōu)越性。

5 結(jié)束語

本文算法通過對圖像的V分量分割閾值進(jìn)行處理，設(shè)計出自適應(yīng)調(diào)整照度分量不同區(qū)域的兩條伽馬曲線，基于空間域，將調(diào)整后照度分量與原照度分量融合，實(shí)現(xiàn)對照度分量的自適應(yīng)校正，并且對反射分量進(jìn)行增強(qiáng)，最終實(shí)現(xiàn)光照不均勻圖像的自適應(yīng)增強(qiáng)。

綜合主觀視覺效果和客觀圖像評價指標(biāo)，本文算法在增強(qiáng)圖像過暗區(qū)域視覺效果的同時，有效避免了過增強(qiáng)現(xiàn)象，圖像的暗區(qū)域亮度明顯提高，增強(qiáng)后圖像的視覺效果更好。增強(qiáng)后圖像與原圖的結(jié)構(gòu)相似性很高，失真程度很小，具有良好的抗噪能力，充分體現(xiàn)了本文算法的優(yōu)越性。

雖然本文算法增強(qiáng)效果較好，但是算法的復(fù)雜度仍然不夠低，限制了在工程領(lǐng)域的應(yīng)用，例如監(jiān)控視頻的實(shí)時增強(qiáng)，另外，由于圖像過暗區(qū)域所映射的反射分量區(qū)域往往存在很多噪聲的問題，將來將針對算法復(fù)雜度的優(yōu)化以及反射分量去噪處理進(jìn)行研究。