張寶菊,孫友辰,王 瓊,張翠萍,張 博
(1.天津師范大學(xué)電子與通信工程學(xué)院,天津 300387;2.天津市無線移動通信與無線電能傳輸重點實驗室,天津 300387)
數(shù)字圖像是一種直觀的信息載體,隨著數(shù)字成像技術(shù)的發(fā)展和數(shù)字成像成本的降低,數(shù)字圖像已成為一種常見的媒體形式.圖像增強的目的是改善圖像的視覺效果,將其轉(zhuǎn)換為更適合于人或機器進行分析和處理的形式.傳統(tǒng)的圖像增強技術(shù)主要包括空域和頻域2 種增強算法.基于空域的算法主要有直方圖均衡化和灰度變換等方法.基于頻域的算法在頻域內(nèi)對整個圖像進行操作,通過低通濾波或高通濾波對圖像進行濾波處理.傳統(tǒng)的圖像增強算法主要針對灰度圖發(fā)揮作用[1].隨著圖像處理技術(shù)的不斷發(fā)展,很多應(yīng)用領(lǐng)域要求對彩色圖像進行圖像增強和色彩恢復(fù).但在現(xiàn)實生活和自然場景中,由于拍攝角度、拍攝時間、拍攝環(huán)境和設(shè)備等因素的影響,大量圖像往往由于光照不足等問題,導(dǎo)致圖像的視覺感知較差,許多有效信息被隱藏,在一定程度上降低了圖像質(zhì)量和應(yīng)用價值[2].
為提高低照度圖像的質(zhì)量,相關(guān)學(xué)者提出了多種低照度圖像增強的方法.Land 等[3]首次提出了Retinex算法,該算法符合人眼的顏色恒常性理論.之后研究人員對Retinex 算法做了一系列改進,從單尺度算法發(fā)展到多尺度算法,再發(fā)展到帶有色彩恢復(fù)的多尺度算法[4-6].傳統(tǒng)的Retinex 算法容易產(chǎn)生光暈和過增強等現(xiàn)象,因此許多學(xué)者提出了多種方法對傳統(tǒng)Retinex 算法進行改進.Liu 等[7]提出了基于Retinex 的快速算法實現(xiàn)低照度圖像增強,該算法能夠恢復(fù)低照度覆蓋的信息.Wang 等[8]針對傳統(tǒng)Retinex 算法紋理細(xì)節(jié)保留差以及光暈、過增強和色調(diào)突變等缺點,提出了一種基于Gabor 濾波器和Retinex 理論的低照度彩色圖像增強算法,使處理后的圖像顏色豐富,且更接近原始圖像,有效減少了暈輪和過增強.Hassan 等[9]提出了一種基于Retinex 的水下圖像增強算法,以解決由于光的衰減變化和紅、綠、藍分量的不均勻吸收造成的水下圖像對比度低和顏色失真等問題.
為提高圖像亮度,增強對比度和圖像細(xì)節(jié),本文提出一種基于HSV 空間的Retinex 低照度圖像增強算法.實驗結(jié)果顯示,該算法提高了圖像的對比度和亮度,有效改善了低照度圖像的質(zhì)量,具有較好的色彩恢復(fù)效果,視覺效果良好.
彩色圖像增強的目的是調(diào)整圖像的亮度和顏色,以滿足人對顏色的感知.RGB 和HSV 顏色空間都是表示色彩的方法.圖像的RGB 分量之間有很強的關(guān)聯(lián)性,不適合單獨用于圖像增強.HSV 是一種基于人眼視覺感知的顏色空間.HSV 模型基于RGB 顏色空間中點的關(guān)系建立,可以更準(zhǔn)確地描述感知到的顏色關(guān)系,并使其在計算中保持簡單[10]. HSV 空間的3 個分量分別為色調(diào)(H)、飽和度(S)和亮度(V).色調(diào)表示顏色的基本特征.飽和度表示顏色的純度,其值范圍為0%~100%. 亮度表示顏色的明亮程度,其值范圍為0%~100%[11],對于光源色,亮度值是相對于照明亮度的顏色,物體色與物體的透射率或反射率有關(guān).
Retinex 理論又被稱為視網(wǎng)膜皮層理論[12],Retinex圖像增強算法的基本思想是,對于一個點的顏色和亮度的感知不僅取決于進入人眼的絕對光線,還取決于周圍的顏色和亮度[13]. Retinex 算法在低光照圖像增強、惡劣環(huán)境下的圖像增強和圖像去霧、彩色圖像恢復(fù)等方面取得了很好的效果[14].Retinex 算法的表達式為
式中:S(x,y)為觀察到的圖像;L(x,y)為照射分量,反映圖像整體的亮度情況;R(x,y)為反射分量,包含大量的圖像細(xì)節(jié)信息.反射分量由物體本身的內(nèi)在屬性決定,不受入射光的影響.對式(1)取對數(shù),得到
在實際求解時,直接由原始圖像獲得反射分量比較困難,通常先間接求得照射分量,再由式(2)得到結(jié)果,照射分量的計算方式有很多種.Retinex 的基本計算過程如圖1 所示.
圖1 Retinex 的計算過程Fig.1 Calculation process of Retinex
單尺度Retinex 算法(SSR)可以保留圖像色彩,抑制噪聲,但容易出現(xiàn)顏色失真,且會出現(xiàn)光暈現(xiàn)象[14].相比于SSR 算法,多尺度Retinex 算法(MSR)對圖像的動態(tài)范圍壓縮效果更好,對比度和亮度的增強效果更明顯,色彩保持效果更好,但也會出現(xiàn)顏色失真,且難以避免光暈現(xiàn)象[15].帶色彩恢復(fù)的多尺度Retinex算法(MSRCR)在MSR 算法的基礎(chǔ)上引入了一個色彩恢復(fù)因子,利用色彩恢復(fù)因子的變化改變相關(guān)參數(shù)的比例,使其恢復(fù)為原始數(shù)值,從而實現(xiàn)色彩補償,解決顏色失真現(xiàn)象[16].MSRCR 算法的表達式為
式中:Ci(x,y)為第i個通道的色彩恢復(fù)函數(shù),
式(3)中:k為尺度參數(shù)的個數(shù),ωk為每個尺度的權(quán)重.當(dāng)k=1 時即為單尺度Retinex 算法,多尺度算法中k一般取3.式(4)中:β 為增益常數(shù),α 為一個可以控制的非線性調(diào)節(jié)因子,n為顏色通道數(shù).
SSR、MSR 和MSRCR 算法的增強效果示例見圖2,可見MSRCR 算法的視覺效果優(yōu)于SSR 算法和MSR 算法,避免了顏色失真現(xiàn)象.因此本文選用相應(yīng)的MSRCR 算法處理圖像.
圖2 Retinex 算法增強效果Fig.2 Enhanced effects of Retinex algorithm
RGB 空間與HSV 空間在數(shù)值上一一對應(yīng).RGB空間轉(zhuǎn)換為HSV 空間的計算公式為
式中:r、g、b分別為紅色、綠色、藍色分量,r、g、b的最大值和最小值分別為max 和min. HSV 空間轉(zhuǎn)換為RGB 空間的計算公式為
Retinex 算法一般采用高斯濾波作為中心函數(shù),高斯濾波器計算整個圖像的加權(quán)平均值,相鄰像素點間的距離越近,其關(guān)系越緊密,因此經(jīng)高斯濾波處理的圖像可能會產(chǎn)生光暈和模糊邊緣[13].雙邊濾波是一種非線性濾波器[17],其在高斯濾波的基礎(chǔ)上考慮了值域和空間域的差異,能夠保留圖像的邊緣特征,實現(xiàn)邊緣去噪,在增強圖像細(xì)節(jié)信息的基礎(chǔ)上消除光暈現(xiàn)象[18].本文采用雙邊濾波對飽和度分量進行處理,并在亮度分量中以雙邊濾波器作為中心函數(shù).雙邊濾波的計算公式為
式中:g(i,j)為圖像中心像素的灰度值;D(i,j)為以(i,j)為中心點的鄰域像素的取值范圍;w(i,j,k,l)為濾波器的權(quán)重系數(shù),即新的灰度值;f(i,j)和f(k,l)分別為點(i,j)和(k,l)附近像素的灰度值;ws(i,j)和wr(i,j)分別為空間鄰近因子和灰度相似因子;σs和σr為濾波器參數(shù)[19].
2.3.1 自適應(yīng)Gamma 校正
Gamma 校正通過非線性變換使曝光強度的線性響應(yīng)圖像更接近人眼感受的響應(yīng),對過亮或過暗的圖像進行校正.Gamma 校正主要用于提高低照度圖像的亮度,增強圖像的質(zhì)量[17].Gamma 校正的計算公式為
式中:I(x,y)為原始圖像的亮度;γ 為校正系數(shù);G(x,y)為校正后的圖像亮度.當(dāng)γ=1 時,校正后圖像與原始圖像亮度相同,當(dāng)γ <1 時,校正后的圖像亮度增加,反之亮度降低[20].本文采用自適應(yīng)的Gamma 校正處理圖像.一幅合理的圖像的Gamma 均值應(yīng)為0.5 左右,校正系數(shù)需要向這個均值靠近[21]. 設(shè)圖像的平均亮度為X,自適應(yīng)Gamma 校正的校正系數(shù)滿足Xγ=
2.3.2 限制對比度自適應(yīng)直方圖均衡化算法(CLAHE算法)
采用限制對比度自適應(yīng)直方圖均衡化算法(CLAHE 算法)進一步提高圖像質(zhì)量,該算法由直方圖均衡化算法(HE 算法)演變而來,通過調(diào)整對比度限幅提高圖像質(zhì)量[17].該算法的目的是提高圖像的局部對比度,抑制噪聲放大.CLAHE 算法的基本步驟為:①圖像子區(qū)域劃分;②計算直方圖;③計算限制值;④像素點重新分配;⑤直方圖均衡化;⑥重構(gòu)像素點灰度值.限制值的計算公式為
式中:c為子區(qū)域中包含的像素數(shù);L為子區(qū)域的灰度級數(shù);α 為截斷系數(shù),范圍為[0,100];Smax為最大斜率,用于決定對比度增強的幅度,取值為[1,4]內(nèi)的整數(shù)[22].
利用自適應(yīng)Gamma 校正處理增強后的圖像,可以保留圖像的有效信息,再使用CLAHE 算法對亮度分量進行局部增強,可以增強圖像的細(xì)節(jié),保留更多的有效信息,從而提高圖像質(zhì)量.
當(dāng)顏色信息(參數(shù)h)恒定時,亮度和飽和度決定了圖像的整體效果. 飽和度分量經(jīng)過雙邊濾波處理后,邊緣更加清晰.由于光照強度不足或不均勻,低照度圖像的顏色較暗,飽和度較低.對低照度圖像進行處理時,隨著亮度和細(xì)節(jié)的增強,會導(dǎo)致圖像顏色失真.因此需要通過對比度線性拉伸優(yōu)化圖像的飽和度分量s,使其值在[0,255]區(qū)間內(nèi).對比度拉伸的計算公式為
式中:Imax和Imin分別為原圖中的最大和最小強度值,MAX 和MIN 分別為映射像素的灰度范圍的最大和最小像素值.
由于不同環(huán)境下的色溫不同,圖像拍攝效果與真實顏色會有很大偏差.人眼具有色彩恒常性,不同光照條件下物體反射的光線是不同的,但人眼看到的物體顏色是相同的,然而計算機無法將不同的反射光線確定為相同的顏色.因此,需要對圖像進行白平衡處理以恢復(fù)其真實顏色.白平衡算法主要包括灰度世界理論和完美反射理論2 種[18].本文采用自動白平衡算法[23]處理圖像.以R 分量為例,自動白平衡算法的具體計算公式為
式中:μ 和ν 為通道校正系數(shù),Rave和Rmax分別為R 通道的均值和最大值,Kave和Kmax分別為3 通道分量均值的平均值和3 通道分量最大值中的最大值. 由式(14)計算出μ 和ν,然后對原像素進行校正,得到校正后的通道分量.
本文提出的低照度圖像增強算法的基本步驟如下:
步驟1:對圖像進行顏色空間分離和轉(zhuǎn)換,將RGB 圖像進行3 通道分離,并轉(zhuǎn)換到HSV 空間.
步驟2:采用改進的多尺度Retinex 算法對V 通道進行圖像增強.
步驟3:對增強后的圖像使用自適應(yīng)Gamma 校正進行校正處理,再使用CLAHE 算法對亮度分量進行局部增強.
步驟4:對S 分量進行雙邊濾波處理,再進行對比度拉伸變換.
步驟5:將H 分量和處理后的S 分量及V 分量合成為新的HSV 圖像,再將其轉(zhuǎn)換成RGB 圖像.
步驟6:采用自動白平衡算法處理新生成的RGB圖像,進行色彩恢復(fù)
算法的基本工作流程見圖3.
圖3 算法的基本工作流程Fig.3 Basic workflow of proposed algorithm
為驗證本文算法的圖像增強效果,選擇室內(nèi)近景、室內(nèi)遠景和室外場景的低照度圖像進行實驗,圖像包括室內(nèi)、室外場景下不同的物體特征.分別采用直方圖均衡化算法(HE 算法)、多尺度Retinex 算法(MSR 算法)、帶色彩恢復(fù)的多尺度Retinex 算法(MSRCR 算法)和本文算法處理圖像,結(jié)果見圖4.
由圖4 可見,經(jīng)HE 算法處理后,3 幅圖像的整體曝光均得到加強,色調(diào)發(fā)生了變化.圖A 和B 整體泛白,導(dǎo)致圖像信息缺失;圖C 中的太陽已無法分辨,天空和湖面由暖黃色變成冷白色.經(jīng)MSR 算法處理后,3 幅圖像的亮度有較大提升,但是產(chǎn)生了嚴(yán)重的色偏現(xiàn)象.圖A 整體偏藍,暖光變成了藍光,右上角和右下角也產(chǎn)生了藍光;圖B 整體泛白,視覺效果不夠自然,色彩流失嚴(yán)重;圖C 增強了局部信息,整體變亮,但是色彩保持較差,整體輪廓不夠清晰,且出現(xiàn)了光暈現(xiàn)象.經(jīng)MSRCR 算法處理后,與原圖相比,可以明顯觀察到3 幅圖像的整體亮度得到提升,細(xì)節(jié)展現(xiàn)較好,邊緣清晰,但是整體顏色還有一些泛白,對比度較低.經(jīng)本文算法處理后,可以看出圖像更加自然,細(xì)節(jié)更加突出,邊緣得到有效增強,算法對亮度和對比度的增強效果較好,更加符合人眼的視覺感知,具有良好的視覺效果.
采用峰值信噪比(PSNR)、結(jié)構(gòu)相似度(SSIM)和信息熵對不同算法的圖像增強效果進行評價. PSNR和SSIM 是目前使用最廣泛的圖像處理質(zhì)量的評價指標(biāo).SSIM 用于度量2 個圖像的相似性,由圖像結(jié)構(gòu)信息的變化確定,其取值范圍為[0,1].信息熵通常用于衡量圖像中的信息量,其數(shù)值越大,圖像包含的信息越豐富,質(zhì)量越好. 4 種算法處理后圖像的PSNR、SSIM 和信息熵結(jié)果見表1.
表1 不同算法處理后圖像的PSNR、SSIM 和信息熵Tab.1 PSNR,SSIM and information entropy of images processed by different algorithms
由表1 可見,本文算法處理圖像的PSNR 均為最大,且相比于其他算法有大幅提升,說明本文算法抑制噪聲的能力較強,處理后的圖像在一定程度上減少了顏色失真.本文算法的SSIM 也大于其他算法,說明經(jīng)本文算法處理后的圖像還原度較好,與原圖像相似程度高,較好保持了原圖的結(jié)構(gòu)特性.本文算法處理圖A 的信息熵為7.31,僅低于MSR 算法(7.64),處理圖B 的信息熵為7.56,高于其他算法,處理圖C 的信息熵為7.75,略低于HE 算法(7.86)和MSR 算法(7.81).綜合3 個評價指標(biāo)可見,本文算法處理圖像的效果優(yōu)于其他算法.
針對低照度圖像質(zhì)量較差的問題,提出一種基于HSV 空間的Retinex 低照度圖像增強算法.實驗結(jié)果表明,該算法增強后的圖像在一定程度上減少了顏色失真,增強了亮度和對比度,減弱了光暈現(xiàn)象,在主觀評價和客觀評價方面都取得了良好的效果.