洪炎, 朱丹萍, 龔平順
(安徽理工大學(xué) 電氣與信息工程學(xué)院,安徽 淮南 232001)
隨著智慧礦山的發(fā)展,利用圖像對(duì)礦井安全進(jìn)行監(jiān)控得到了廣泛應(yīng)用[1]。然而受煤礦井下光源分布不均、整體光線弱等影響,監(jiān)控圖像呈亮度低、不清晰等特點(diǎn),給后續(xù)的圖像分析帶來(lái)較大困難[2]。因此,增強(qiáng)礦井圖像的亮度和清晰度對(duì)煤礦安全具有重要意義。
目前,針對(duì)礦井低照度圖像增強(qiáng)大多采用Retinex算法,其中多尺度Retinex(Multi-Scale Retinex,MSR)算法對(duì)礦井圖像亮度增強(qiáng)有較好的效果,但容易造成圖像產(chǎn)生光暈和色彩失真等問(wèn)題。張立亞等[3]提出了一種融合雙邊濾波和MSR算法的井下圖像增強(qiáng)方法,能有效減少光暈?zāi):默F(xiàn)象,但圖像邊緣不夠清晰。Hu Haokun等[4]提出了基于形態(tài)學(xué)Retinex算子的低照度圖像增強(qiáng)算法,能有效提高圖像清晰度,但算法較為復(fù)雜,需設(shè)置參數(shù)多。智寧等[5]采用引導(dǎo)濾波提取光照分量來(lái)對(duì)Retinex算法進(jìn)行改進(jìn),但對(duì)光暈處理效果不佳。李曉宇等[6]通過(guò)引入快速引導(dǎo)濾波改進(jìn)Retinex算法,實(shí)現(xiàn)了礦井圖像的亮度增強(qiáng),但對(duì)圖像暗部細(xì)節(jié)增強(qiáng)不明顯。Mu Qi等[7]在引導(dǎo)濾波的基礎(chǔ)上提出了一種加權(quán)引導(dǎo)濾波(Weighted Guided Filtering,WGIF)算法,通過(guò)引入權(quán)重因子改進(jìn)引導(dǎo)濾波的權(quán)重,降低了光暈的影響,然而WGIF算法中基于圖像局部方差的權(quán)重估計(jì)[8]對(duì)于低照度圖像的邊緣增強(qiáng)效果并不明顯。
針對(duì)上述算法存在的不足,本文提出了一種基于TopHat加權(quán)引導(dǎo)濾波(TopHat Weighted Guided Filtering,THWGIF)的Retinex算 法(以 下 簡(jiǎn) 稱(chēng)THWGIF-Retinex算法),并用于礦井圖像增強(qiáng)。該算法通過(guò)引入TopHat變換改進(jìn)WGIF的權(quán)重因子,實(shí)現(xiàn)光照分量提取,可提升圖像邊緣的清晰度,避免產(chǎn)生光暈現(xiàn)象;采用自適應(yīng)Gamma校正函數(shù)對(duì)圖像的光照分量和飽和度分量進(jìn)行增強(qiáng),可改善圖像細(xì)節(jié)信息和色彩失真情況,有效提高礦井圖像質(zhì)量。
采用THWGIF-Retinex算法對(duì)礦井圖像進(jìn)行增強(qiáng),流程如圖1所示,具體步驟如下:
(1) 將輸入圖像從RGB空間轉(zhuǎn)換到HSV空間[9],并將其分離成色調(diào)(H)、飽和度(S)、亮度(V)3個(gè)通道分量。
(2) 通過(guò)THWGIF算法對(duì)亮度分量進(jìn)行光照分量提??;分別對(duì)光照分量和飽和度分量進(jìn)行自適應(yīng)Gamma校正,得到校正后的光照分量和飽和度分量。
(3) 根據(jù)步驟(2)得到的校正后光照分量,采用Retinex算法求得反射分量。
(4) 將色調(diào)分量、校正后飽和度分量、反射分量進(jìn)行通道合并后轉(zhuǎn)回RGB空間,輸出增強(qiáng)圖像。
圖 1 基于THWGIF-Retinex算法的礦井圖像增強(qiáng)流程Fig. 1 Mine image enhancement process based on THWGIF-Retinex algorithm
引導(dǎo)濾波是一種能保持圖像邊緣的濾波技術(shù)[10],將其應(yīng)用到礦井圖像增強(qiáng)中可保留圖像細(xì)節(jié)。假設(shè)引導(dǎo)圖像與輸出圖像存在局部線性關(guān)系:
式中:qi為 輸出圖像中第i個(gè) 像素點(diǎn)的值;ak,bk為以像素k為中心的濾波窗口ωk的線性系數(shù);Ii為引導(dǎo)圖像中第i個(gè)像素點(diǎn)的值。
采用最小二乘法對(duì)ak和bk進(jìn)行求解,代價(jià)函數(shù)為
式中:pi為輸入圖像中第i個(gè) 像素點(diǎn)的值;ε為正則化參數(shù),其對(duì)濾波效果有較大影響。
由于引導(dǎo)濾波對(duì)所有窗口均選取相同的ε,未考慮窗口的像素差異,導(dǎo)致圖像邊緣不清晰。WGIF選取窗口內(nèi)的方差作為邊緣權(quán)重因子,用于調(diào)節(jié)ε,使有明顯紋理區(qū)域的圖像方差更大,對(duì)應(yīng)的權(quán)值也更高,從而更好地保留圖像邊緣信息[11-12]。但方差大不代表圖像的邊緣信息強(qiáng),對(duì)于井下低照度圖像,僅通過(guò)計(jì)算方差很難得到合適的邊緣權(quán)重因子。
TopHat變換是圖像處理中一種形態(tài)學(xué)變換方式,能夠完成較暗背景圖像中局部較亮區(qū)域的提取[13]。當(dāng)光照較強(qiáng)時(shí)圖像邊緣有所模糊,通過(guò)TopHat變換處理后,光亮區(qū)域的邊緣效果會(huì)有所提升[14]。
為進(jìn)一步提高邊緣檢測(cè)的準(zhǔn)確性,本文將TopHat變換融合到邊緣權(quán)重因子計(jì)算中:
式中:φn為邊緣權(quán)重因子;N為引導(dǎo)圖像的像素點(diǎn)個(gè)數(shù);T(m) 為經(jīng)過(guò)TopHat變換后的圖像以像素點(diǎn)m為窗口中心的均值;T(n)為 引導(dǎo)圖像以像素點(diǎn)n為窗口中心的均值;α為常數(shù),取值1 ×10-4。
對(duì)于圖像亮度較高的區(qū)域,邊緣權(quán)重因子較大,則對(duì)應(yīng)的 ε較小,能更好地保留亮度較高區(qū)域的圖像邊緣信息。對(duì)于圖像亮度較低的區(qū)域,邊緣權(quán)重因子較小,則對(duì)應(yīng)的 ε較大,對(duì)低照度區(qū)域有更好的平滑效果。
THWGIF對(duì)應(yīng)的代價(jià)函數(shù)為
THWGIF在保持WGIF優(yōu)勢(shì)的基礎(chǔ)上,能有效減少圖像光暈,具有更好的圖像邊緣保持效果。本文采用THWGIF對(duì)光照分量進(jìn)行提取:
式中:F(x,y)為根據(jù)引導(dǎo)圖像I估計(jì)出的光照分量;G(?) 為作用于引導(dǎo)圖像I的THWGIF運(yùn)算;ri為引導(dǎo)濾波窗口大??;s為下采樣倍數(shù)。
WGIF和THWGIF算法對(duì)同一幅礦井圖像的濾波效果對(duì)比如圖2所示??煽闯鲈谄交Ч嘟那疤嵯?,THWGIF算法能更好地保留圖像邊緣信息。
煤礦大多采用礦燈對(duì)礦井進(jìn)行照明,光源集中在某幾處地方,使得圖像部分區(qū)域過(guò)亮,難以觀測(cè)到暗區(qū)域的信息,影響視覺(jué)效果。為解決該問(wèn)題,本文采用自適應(yīng)Gamma校正函數(shù)對(duì)光照分量進(jìn)行增強(qiáng),使圖像不僅在亮度上有所提高,并保證亮度分布更加均勻[15-16]。
式中:Z(x,y)為 經(jīng)過(guò)校正后的光照分量;γ為自適應(yīng)Gamma校正系數(shù)。
γ是影響圖像亮度的關(guān)鍵。選取不同γ時(shí)的圖像增強(qiáng)效果如圖3所示。當(dāng)γ=0.2時(shí),圖像出現(xiàn)亮度過(guò)飽和的現(xiàn)象;當(dāng)γ=0.5時(shí),圖像暗區(qū)域的亮度有明顯增強(qiáng)效果,且圖像亮區(qū)域沒(méi)有出現(xiàn)過(guò)度增強(qiáng)的現(xiàn)象;當(dāng)γ=0.8時(shí),圖像整體亮度增強(qiáng)不明顯。因此本文采用的光照分量校正系數(shù)為0.5。
圖 2 不同算法的濾波效果對(duì)比Fig. 2 Comparison of filtering effects of different algorithms
圖 3 不同γ的增強(qiáng)效果對(duì)比Fig. 3 Comparison of enhancement effects of different γ
在HSV空間模型中,當(dāng)亮度增加,飽和度就會(huì)有所降低。為保證圖像的飽和度細(xì)節(jié)不丟失,在對(duì)光照分量進(jìn)行增強(qiáng)后,圖像的飽和度分量也要進(jìn)行相應(yīng)的增強(qiáng)。本文采用自適應(yīng)Gamma校正函數(shù)對(duì)飽和度分量進(jìn)行增強(qiáng),經(jīng)實(shí)驗(yàn)可得,當(dāng)飽和度校正系數(shù)為1.1時(shí),圖像增強(qiáng)效果最佳。
Retinex算法是一種以顏色恒常性為基礎(chǔ)的圖像增強(qiáng)方法。該算法認(rèn)為物體的顏色不是由反射光的絕對(duì)值決定的,而是由物體的反射能力決定的。
式中:L(x,y)為 原始圖像;R(x,y)為反射分量,通常具有大量的高頻信息。
為求解反射分量,一般先將式(7)轉(zhuǎn)換到對(duì)數(shù)域,再移項(xiàng)使原始圖像與光照分量相減:
對(duì) lnR(x,y)進(jìn)行指數(shù)運(yùn)算,得到最終的反射分量。
選取煤礦井下低照度圖像,從主觀評(píng)價(jià)和客觀評(píng)價(jià)2個(gè)方面對(duì)MSR算法、WGIF-Retinex算法及本文THWGIF-Retinex算法對(duì)圖像增強(qiáng)效果進(jìn)行對(duì)比。
不同算法下無(wú)強(qiáng)光直射的礦井圖像增強(qiáng)效果及灰度直方圖分別如圖4和圖5所示,不同算法下有強(qiáng)光直射的礦井圖像增強(qiáng)效果及灰度直方圖分別如圖6和圖7所示。
圖 4 不同算法下礦井圖像1增強(qiáng)效果對(duì)比Fig. 4 Comparison of enhancement effects of mine image 1 under different algorithms
從圖4可看出,對(duì)于無(wú)強(qiáng)光直射的礦井低照度原始圖像1,經(jīng)MSR算法增強(qiáng)后的圖像亮度有所增強(qiáng),但圖像細(xì)節(jié)丟失,整體色彩偏淺;經(jīng)WGIFRetinex算法增強(qiáng)后的圖像整體亮度較為均勻,在飽和度方面有較好的改善,但圖像邊緣較為模糊;經(jīng)THWGIF-Retinex算法增強(qiáng)后的圖像與經(jīng)WGIFRetinex算法增強(qiáng)后的圖像相比,色彩還原度較高,且圖像邊緣更清晰,視覺(jué)效果明顯增強(qiáng)。從圖6可看出,對(duì)于有強(qiáng)光直射的礦井低照度原始圖像2,經(jīng)MSR算法增強(qiáng)后的圖像在光源處存在光暈現(xiàn)象;經(jīng)WGIF-Retinex算法和THWGIF-Retinex算法增強(qiáng)后的圖像對(duì)光暈有很好的改善效果,且經(jīng)THWGIFRetinex算法增強(qiáng)后的圖像在還原暗區(qū)域的細(xì)節(jié)信息和清晰度上優(yōu)于WGIF-Retinex算法增強(qiáng)后的圖像。
圖 5 不同算法下礦井圖像1灰度直方圖對(duì)比Fig. 5 Comparison of gray histogram of mine image 1 under different algorithms
圖 6 不同算法下礦井圖像2增強(qiáng)效果對(duì)比Fig. 6 Comparison of enhancement effects of mine image 2 under different algorithms
從圖5可看出,原始圖像1的灰度級(jí)主要分布在0~100之間,經(jīng)MSR算法增強(qiáng)后的圖像直方圖灰度級(jí)分布在100~250之間,經(jīng)WGIF-Retinex算法和THWGIF-Retinex算法增強(qiáng)后的圖像直方圖灰度級(jí)分布在0~255之間,灰度級(jí)分布范圍越廣,表明圖像對(duì)比度越高。從圖7可看出,原始圖像2的灰度級(jí)大多分布在在0~50之間;經(jīng)MSR算法增強(qiáng)后的圖像直方圖灰度級(jí)分布在100~255之間,表明增強(qiáng)后圖像亮度過(guò)強(qiáng);經(jīng)WGIF-Retinex和THWGIFRetinex算法增強(qiáng)后的圖像直方圖灰度級(jí)在0~250范圍內(nèi)均勻分布,表明增強(qiáng)后圖像的對(duì)比度較高;經(jīng)THWGIF-Retinex算法增強(qiáng)后圖像在100~200灰度級(jí)范圍內(nèi)的像素點(diǎn)個(gè)數(shù)大于經(jīng)WGIF-Retinex算法增強(qiáng)后的圖像,表明THWGIF-Retinex算法對(duì)圖像整體亮度增強(qiáng)效果優(yōu)于WGIF-Retinex算法。
采用信息熵[17]、平均梯度[18]、標(biāo)準(zhǔn)差[19]、無(wú)參考結(jié)構(gòu)清晰度(No-Reference Structural Sharpness,NRSS)[20]作為圖像質(zhì)量客觀評(píng)價(jià)指標(biāo)。信息熵反映圖像的信息量;平均梯度反映圖像的清晰度;標(biāo)準(zhǔn)差反映圖像的對(duì)比度;NRSS是衡量圖像質(zhì)量?jī)?yōu)劣的重要指標(biāo)。上述指標(biāo)的值越大,表明圖像質(zhì)量越好。
以圖4、圖6中圖像為例,客觀評(píng)價(jià)結(jié)果見(jiàn)表1、表2。
從表1可看出,對(duì)于無(wú)強(qiáng)光直射的礦井低照度圖像,經(jīng)MSR算法增強(qiáng)后的圖像在NRSS方面略低于原始圖像,而經(jīng)WGIF-Retinex算法和THWGIFRetinex算法增強(qiáng)后的圖像在各指標(biāo)上均有明顯提高;與原始圖像相比,經(jīng)THWGIF-Retinex算法增強(qiáng)后的圖像信息熵提高了12.50%,平均梯度提高了109.07%,標(biāo)準(zhǔn)差提高了52.44%,NRSS提高了45.46%;與經(jīng)WGIF-Retinex算法增強(qiáng)后的圖像相比,經(jīng)THWGIF-Retinex算法增強(qiáng)后的圖像在平均梯度和NRSS上分別提高了40.73%和13.00%,但在信息熵和標(biāo)準(zhǔn)差方面略小。從表2可看出,對(duì)于有強(qiáng)光直射的礦井低照度圖像,3種算法增強(qiáng)后的圖像在各指標(biāo)上均有不同程度的改善;與經(jīng)MSR算法增強(qiáng)后的圖像相比,經(jīng)THWGIF-Retinex算法增強(qiáng)后的圖像信息熵提高了1.24%,平均梯度提高了81.44%,標(biāo)準(zhǔn)差提高了18.23%,NRSS提高了36.67%;與WGIFRetinex算法相比,THWGIF-Retinex算法在信息熵方面有所降低,但在平均梯度和NRSS方面有較大改善,分別提高了72.34%和23.87%。
圖 7 不同算法下礦井圖像2灰度直方圖對(duì)比Fig. 7 Comparison of gray histogram of mine image 2 under different algorithms
表 1 礦井圖像1客觀評(píng)價(jià)結(jié)果Table 1 Objective evaluation results of mine image 1
表 2 礦井圖像2客觀評(píng)價(jià)結(jié)果Table 2 Objective evaluation results of mine image 2
針對(duì)礦井低照度圖像增強(qiáng),提出了一種THWGIFRetinex算法。首先,通過(guò)THWGIF算法提取圖像光照分量,增強(qiáng)光照分量的邊緣保持效果;其次,通過(guò)自適應(yīng)Gamma校正函數(shù)增強(qiáng)圖像光照分量和飽和度分量;然后,利用Retinex算法從增強(qiáng)后的光照分量中獲取圖像反射分量;最后,將色調(diào)分量、反射分量、校正后的飽和度分量合并,得到增強(qiáng)圖像。實(shí)驗(yàn)結(jié)果表明:該算法能有效提高圖像的亮度、清晰度和對(duì)比度,抑制亮度過(guò)飽和、光暈等現(xiàn)象,對(duì)抗色彩失真、邊緣保持具有明顯的作用;經(jīng)該算法增強(qiáng)后的礦井圖像在信息熵、平均梯度、標(biāo)準(zhǔn)差、NRSS方面均有明顯提高,礦井圖像增強(qiáng)效果好。