張明軍 俞文靜 王影

關(guān)鍵詞： 教學(xué)視頻; 圖像增強(qiáng); 對(duì)比度優(yōu)化; 塊效應(yīng); 引導(dǎo)濾波; 偽薄霧

中圖分類號(hào)： TN911.73?34; TP391 ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2019）02?0075?05

Teaching video image enhancement method based on local contrast optimization

ZHANG Mingjun， YU Wenjing， WANG Ying

（South China Institute of Software Engineering， Guangzhou University， Guangzhou 510990， China）

Abstract： In allusion to the low contrast of the recorded teaching video images or the false haze caused by devices， a local contrast optimization enhancement method is proposed. The contrast enhancement is conducted for image blocks by using the unsharp masking method. The constraint condition of the gain factor is set to obtain the maximum contrast and the optimal value. The guiding filtering is used for optimization of the gain factor to solve the block effect problem caused by blocking enhancement. The experimental results show that the method can effectively enhance the teaching video images with quality degradation， and has a good enhancement effect and efficiency.

Keywords： teaching video; image enhancement; contrast optimization; block effect; guiding filtering; false haze

0 ?引 ?言

錄制課堂教學(xué)視頻是當(dāng)前教育信息化和教學(xué)改革的重要手段之一，而錄制環(huán)境和設(shè)備卻影響著錄制視頻的效果。由于光照度及攝像頭等成像設(shè)備的制約，視頻圖像經(jīng)常出現(xiàn)分辨率降低，視覺(jué)效果較差等現(xiàn)象。因此，圖像增強(qiáng)在教學(xué)視頻圖像處理中具有重要的應(yīng)用價(jià)值。

目前，針對(duì)圖像的增強(qiáng)和恢復(fù)，研究人員提出了很多方法。Pizer等人提出對(duì)比度受限直方圖均衡化（CLAHE）算法[1?2];Land基于人眼視覺(jué)特性提出了Retinex算法[3]，針對(duì)該算法中的入射分量估計(jì)進(jìn)行了改進(jìn);文獻(xiàn)[4]提出了單尺度Retinex算法;文獻(xiàn)[5]提出了多尺度Retinex算法;He等人提出了暗通道先驗(yàn)方法[6]，并借助圖像軟摳圖算法，對(duì)大多數(shù)戶外圖像都能獲得很好的去霧效果，但圖像軟摳圖具有較高的時(shí)間和空間復(fù)雜度;因此He等人提出了引導(dǎo)濾波方法[7]來(lái)替代圖像軟摳圖的部分，提高了該算法的效率。此外，很多學(xué)者以上述算法為基礎(chǔ)針對(duì)具體應(yīng)用也提出了很多方法[8?12]。

教學(xué)視頻圖像不夠清晰的原因主要是拍攝場(chǎng)景照度較低，且拍攝以及投影設(shè)備的影響導(dǎo)致畫面對(duì)比度低或似乎有薄霧的感覺(jué)（偽薄霧）。本文針對(duì)這種圖像，在圖像退化模型的基礎(chǔ)上，提出一種利用反銳化掩模方法對(duì)視頻圖像進(jìn)行局部對(duì)比度優(yōu)化的增強(qiáng)算法。首先對(duì)圖像局部對(duì)比度增強(qiáng)，通過(guò)約束并求取每個(gè)圖像塊的最優(yōu)增益因子，既要保證圖像塊的最大對(duì)比度，也要滿足不因?yàn)檫^(guò)增強(qiáng)而丟失信息，然后為了解決分塊增強(qiáng)導(dǎo)致的塊效應(yīng)，采用引導(dǎo)濾波對(duì)增益因子進(jìn)行優(yōu)化。實(shí)驗(yàn)結(jié)果表明，本文方法對(duì)普通的降質(zhì)圖像以及教學(xué)視頻圖像具有較好的增強(qiáng)和恢復(fù)能力，具有較好的效果和效率。

1 ?本文算法

1.1 ?圖像退化模型

在計(jì)算機(jī)視覺(jué)中，常用的圖像退化模型[6，13]為：

[X（i）=t（i）F（i）+（1-t（i））A] ?（1）

式中：[Xi=XRi，XGi，XBiT]為觀察到的圖像;[Fi=FRi，F(xiàn)Gi，F(xiàn)BiT]為未退化的圖像;r，g，b表示位置i處的像素的三個(gè)分量;[A=AR，AG，ABT]為周圍環(huán)境中的大氣光;[ti∈[0，1]]為反射光透射率，由場(chǎng)景點(diǎn)到相機(jī)鏡頭的距離決定，通常光傳播距離越遠(yuǎn)而越分散便越弱。

1.2 ?局部對(duì)比度增強(qiáng)模型

依據(jù)反銳化掩模方法（Un?sharp masking）[14]可知，對(duì)于圖像[X={x1，x2，…，xN}]的增強(qiáng)，有：

[F=X+CX-A] ?（2）

式中：[F={f1，f2，…，fN}]為增強(qiáng)后的圖像，[A={a1，a2，…，aN}]為原圖像X的低頻分量，則[X-A]為圖像X的高頻分量，C為增益因子，當(dāng)C>0時(shí)，圖像X得到增強(qiáng)。

由式（2）得：

[X=11+CF+1-11+CA] ? ?（3）

令[t=11+C]，則[ t∈（0，1）]，可知式（3）符合圖像退化模型。

由于圖像局部信息的差異，導(dǎo)致使用同樣的C值進(jìn)行增強(qiáng)，可能導(dǎo)致部分區(qū)域增強(qiáng)未達(dá)到最優(yōu)，部分區(qū)域則過(guò)增強(qiáng)而丟失信息。因此，對(duì)圖像分塊進(jìn)行增強(qiáng)，每塊選取不同的C值，能解決上述問(wèn)題。圖像塊p的增強(qiáng)有：

[Fp=1tXp-Ap+Ap] （4）

由式（4）可知，一般原圖像對(duì)比度都比較低，而增強(qiáng)后的圖像塊的對(duì)比度則隨著t值變小而增大，因此，需要估計(jì)最優(yōu)的t值而使得增強(qiáng)后的圖像塊具有最大的對(duì)比度。

1.3 ?增益因子估計(jì)

依據(jù)圖像對(duì)比度度量的方法[11]，采用均方誤差對(duì)比度[CMSE]：

[CMSE=i=1KFpi-Fp2K] （5）

式中：[Fp]為[Fpi]的平均值;K為圖像塊p中的像素個(gè)數(shù)。

由式（4）和式（5）有：

[CMSE=i=1KXpi-Xp2t2K] （6）

式中，[Xp]為[Xpi]的平均值。

對(duì)于彩色圖像，[Xpi=XRpi，XGpi，XBpiT]，不妨記為[XColpi]。將RGB三個(gè)通道的對(duì)比度求和，有：

[Econtrast=Col∈R，G，Bi∈pXColpi-XColp2t2K] （7）

由此可知，對(duì)比度[Econtrast]是關(guān)于t的遞減函數(shù)。

假設(shè)增強(qiáng)后的圖像不能存在像素值上溢和下溢而產(chǎn)生信息損失，那么：

[minCol∈R，G，Bmini∈pFColpi≥0maxCol∈R，G，Bmaxi∈pFColpi≤255] （8）

將式（4）代入式（8）中，則t需滿足如下兩個(gè)約束：

[t≥minCol∈R，G，Bmini∈pXColpi-AColp-AColpt≥maxCol∈R，G，Bmaxi∈pXColpi-AColp255-AColp] （9）

由式（9）可得一個(gè)約束：

[t≥maxminCol∈R，G，Bmini∈pXColpi-AColp-AColp， ? ? ? ? ? ? ? ? maxCol∈R，G，Bmaxi∈pXColpi-AColp255-AColp ] （10）

由式（7）可知，t取最小值則有最大對(duì)比度，但t需同時(shí)滿足式（10），則t為最優(yōu)值。令[t*]為最優(yōu)值，則有：

[t*=maxminCol∈R，G，Bmini∈pXColpi-AColp-AColp， ? ? ? ? ? ? ? ? ?maxCol∈R，G，Bmaxi∈pXColpi-AColp255-AColp ] （11）

1.4 ?增益因子優(yōu)化

由式（11）可知，每個(gè)圖像塊都可求出該塊的增益因子，即每個(gè)圖像塊中的所有像素具有相同的增益因子，而每個(gè)圖像塊中的像素是變化的，特別是具有邊緣信息的圖像塊，其像素變化十分明顯，使用相同的增益因子有可能使得邊緣信息無(wú)法全部表現(xiàn)，而且可能產(chǎn)生塊效應(yīng)。為了解決上述問(wèn)題，本文采用引導(dǎo)濾波[7]對(duì)增益因子進(jìn)行優(yōu)化，假設(shè)在以像素點(diǎn)l為中心，半徑為r的方形窗口[Pl]中，有：

[ti=αTlXi+βl， ? ?i∈Pl] ? （12）

式中：引導(dǎo)圖像[Xi]為原圖像;輸出圖像[ti]為優(yōu)化后的增益因子圖像（即所有增益因子構(gòu)成的矩陣）;[αTl=αRl，αGl，αBlT]是顏色取值向量;[βl]是偏移量，在窗口[Pl]中是固定值。由式（12）可知，因[Δt=αTΔX]，線性關(guān)系保證了[t]會(huì)產(chǎn)生與引導(dǎo)圖像X相同的邊緣。

對(duì)于窗口[Pl]，通過(guò)搜索出線性因數(shù)[αl]和[βl]的最優(yōu)解[α*]和[β*]使得輸入圖像[t（i）]與輸出圖像[t（i）]的差值最小，即：

[α*，β*=argmintαl，βli∈Plti-ti2] （13）

通過(guò)線性回歸分析可得：

[α*=1ωi∈PlXiti-μltlσ2l+εβ*=tl-αlμl] （14）

式中：[ω]是窗口[Pl]中的像素總數(shù);[σ2l]和[μl]分別表示窗口[Pl]中X的方差和平均值;[tl]是窗口[Pl]中[ti]的平均值;[ε]是調(diào)整參數(shù)。

由于窗口在圖像中逐像素的移動(dòng)，則像素i可能存在于多個(gè)窗口中。對(duì)于不同的窗口，[αl]和[βl]的取值不同，則[ti]也不同，解決方法為：選取像素值方差最小的一個(gè)窗口作為最佳窗口，求取[ti];若存在多個(gè)最佳窗口，則求這些窗口的平均值，即：

[αi=1θl∈Piαlβi=1θl∈Piβl] （15）

式中，[θ]為像素i所在窗口的數(shù)量。依據(jù)式（12）有：

[ti=αiIi+βi] ? ?（16）

1.5 ?算法流程

其中低頻圖像A的求取可采用低通濾波，本文采用高斯濾波。根據(jù)低頻圖像和優(yōu)化后的增益因子，代入式（4）可對(duì)輸入的圖像進(jìn)行增強(qiáng)。根據(jù)式（1）可知，當(dāng)t趨近于0時(shí)，則原圖像趨近為模糊的低頻圖像，并且根據(jù)He等人的建議[6，13]，增益因子小會(huì)導(dǎo)致噪聲放大，因此，本文對(duì)增益因子下限進(jìn)行約束，取下限[t0=0.1]，則由式（4）有：

[Fp=Xp-Apmax t（i），t0+Ap] ? （17）

式中，[t（x）]為優(yōu)化后的增益因子。此外，為了校正顏色顯示偏差，本文進(jìn)行了gamma校正。

2 ?實(shí)驗(yàn)結(jié)果及分析

為了檢驗(yàn)本文算法對(duì)教學(xué)視頻圖像增強(qiáng)的有效性，在普通計(jì)算機(jī)上實(shí)現(xiàn)了該算法，實(shí)現(xiàn)環(huán)境為Windows 10系統(tǒng)，Visual Studio 2013以及OpenCV 2.4.12，CPU為Intel[?] Core（TM） i7?5500U，RAM為4 GB。同時(shí)，將本文算法運(yùn)行結(jié)果與He算法[6]，多尺度Retinex算法[5]和CLAHE算法[2]進(jìn)行比較。

2.1 ?主觀比較評(píng)價(jià)

選取了4張不同類型的圖片，其中straw和dolls為常用測(cè)試的有霧圖像，另外slide1和slide2為實(shí)拍的教學(xué)圖像，如圖2所示，并給出了各算法的增強(qiáng)效果。從圖2可知，He算法、CLAHE算法和本文算法都具有較好效果，由于未對(duì)Retinex進(jìn)行相關(guān)優(yōu)化處理，因此效果較差。本文算法與He算法相當(dāng)，但在圖像細(xì)節(jié)和色調(diào)上具有更好效果。從兩張教學(xué)圖像的增強(qiáng)效果來(lái)看，本文算法能有效提高投影內(nèi)容的對(duì)比度，對(duì)教學(xué)視頻的質(zhì)量改善打下良好基礎(chǔ)。

2.2 ?客觀比較評(píng)價(jià)

目前應(yīng)用最為廣泛的圖像質(zhì)量盲評(píng)審[15]指標(biāo)包括：e表示原圖像與恢復(fù)圖像的可見(jiàn)邊集合的數(shù)量比;[r]為可見(jiàn)邊的規(guī)范化梯度均值;[σ]是飽和黑色或白色像素點(diǎn)的百分比（本文計(jì)算飽和黑色像素的百分比）。增強(qiáng)算法的目的是提高圖像的對(duì)比度，增加視覺(jué)信息，因此e和[r]值越大，[σ]值越小，則說(shuō)明算法的效果越好。表1為四種算法增強(qiáng)圖像得到的3個(gè)客觀質(zhì)量評(píng)價(jià)指標(biāo)結(jié)果。

從表1可知本文算法的e和[r]兩項(xiàng)指標(biāo)與其他算法比較均較好，在有些圖像中的表現(xiàn)優(yōu)于其他算法。而本文算法在[σ]指標(biāo)上與其他算法比較則略差，其主要原因在于本文算法增強(qiáng)圖像后亮度較低，而算法將圖像對(duì)比度增強(qiáng)至最大，導(dǎo)致飽和的黑色像素增多，因此導(dǎo)致[σ]值相對(duì)較大。綜合來(lái)看，本文算法對(duì)提高圖像質(zhì)量是非常有效的。

為了更好地檢驗(yàn)本文算法對(duì)視頻教學(xué)圖像增強(qiáng)的有效性，對(duì)實(shí)拍的slide1和slide2兩張教學(xué)圖像再?gòu)臉?biāo)準(zhǔn)差和平均梯度2個(gè)客觀指標(biāo)進(jìn)行比較評(píng)價(jià)，表2為評(píng)價(jià)指標(biāo)結(jié)果。其中，標(biāo)準(zhǔn)差反映圖像的對(duì)比度，其值越大，表示對(duì)比度越大;平均梯度反映圖像的清晰度，其值越大，表示圖像越清晰。

由表2可知，本文算法在標(biāo)準(zhǔn)差和平均梯度兩個(gè)指標(biāo)上均超過(guò)原圖，與其他算法比較，本文算法也僅有平均梯度指標(biāo)略差于CLAHE算法。由此可知，本文算法對(duì)教學(xué)視頻圖像增強(qiáng)具有較好效果。

2.3 ?運(yùn)行時(shí)間

算法的運(yùn)行時(shí)間是其有效性和實(shí)時(shí)性的重要指標(biāo)之一。本文算法與其他3種算法的運(yùn)行時(shí)間比較如表3所示，表中數(shù)據(jù)是各算法測(cè)試10次的平均值。

由表3可知，本文算法的運(yùn)行時(shí)間與CLAHE算法、He算法相當(dāng)，明顯小于Retinex的運(yùn)行時(shí)間。另外，依據(jù)視頻的幀頻可知，以slide2的運(yùn)行時(shí)間為例，該分辨率下的1 s的視頻幀（按30幀計(jì)算）的處理時(shí)間遠(yuǎn)小于1 s，因此本文算法完全可以對(duì)教學(xué)視頻的序列圖像進(jìn)行實(shí)時(shí)增強(qiáng)處理。

3 ?結(jié) ?語(yǔ)

本文提出一種局部對(duì)比度優(yōu)化的圖像增強(qiáng)方法。該方法在反銳化掩模方法的基礎(chǔ)上對(duì)圖像分塊進(jìn)行對(duì)比度增強(qiáng)，為求取最大對(duì)比度，設(shè)定增益因子的約束條件，并求得最優(yōu)值。同時(shí)為解決分塊增強(qiáng)帶來(lái)的塊效應(yīng)，又采用引導(dǎo)濾波對(duì)增益因子進(jìn)行優(yōu)化。實(shí)驗(yàn)結(jié)果表明，該方法在主觀和客觀兩個(gè)方面都有較好表現(xiàn)，而且執(zhí)行效率較高，由此可知，該方法能夠滿足教學(xué)視頻圖像的增強(qiáng)，具有較好的實(shí)用性。

參考文獻(xiàn)

[1] ZIMMERMAN J B， PIZER S M， STAAB E V， et al. An evaluation of the effectiveness of adaptive histogram equalization for contrast enhancement [J]. IEEE transactions on medical imaging， 1988， 7（4）： 304?312.

[2] ZUIDERVELD K. Contrast limited adaptive histogram equalization [M]. San Diego： Academic Press Inc， 1994： 474?485.

[3] LAND E H. Recent advances in retinex theory and some implications for cortical computations： color vision and the natural image [J]. Proceedings of the National Academy of Sciences， 1983， 80（16）： 5163?5169.

[4] JOBSON D J， RAHMAN Z， WOODELL G A. Properties and performance of a center/surround retinex [J]. IEEE transactions on image processing， 1997， 6（3）： 451?462.

[5] JOBSON D J， RAHMAN Z， WOODELL G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes [J]. IEEE transactions on image processing， 1997， 6（7）： 965?976.

[6] HE K， SUN J， TANG X. Single image haze removal using dark channel prior [J]. IEEE transactions on pattern analysis and machine intelligence， 2011， 33（12）： 2341?2353.

[7] HE K， SUN J， TANG X. Guided image filtering [J]. IEEE transactions on pattern analysis & machine intelligence， 2013， 35（6）： 1397?1409.

[8] 楊有，李波.CLAHE和細(xì)節(jié)放大相結(jié)合的檔案圖像增強(qiáng)方法[J].中國(guó)圖象圖形學(xué)報(bào)，2011，16（4）：522?527.

YANG You， LI Bo. A method of document image enhancement based on the combination of CLAHE and detail amplifying [J]. Journal of image & graphics， 2011， 16（4）： 522?527.

[9] 邵振峰，白云，周熙然.改進(jìn)多尺度Retinex理論的低照度遙感影像增強(qiáng)方法[J].武漢大學(xué)學(xué)報(bào)（信息科學(xué)版），2015，40（1）：32?39.

SHAO Zhenfeng， BAI Yun， ZHOU Xiran. Improved multi?scale retinex image enhancement of under poor illumination [J]. Geomatics and information science of Wuhan University， 2015， 40（1）： 32?39.

[10] 肖進(jìn)勝，高威，鄒白昱，等.基于天空約束暗通道先驗(yàn)的圖像去霧[J].電子學(xué)報(bào)，2017，45（2）：346?352.

XIAO Jinsheng， GAO Wei， ZOU Baiyu， et al. Image dehazing based on sky??constrained dark channel prior [J]. Acta Electronica Sinica， 2017， 45（2）： 346?352.

[11] 馬康，崔子冠，干宗良，等.基于圖像融合策略的Retinex背光圖像增強(qiáng)算法[J].計(jì)算機(jī)技術(shù)與發(fā)展，2017，27（8）：73?78.

MA Kang， CUI Ziguan， GAN Zongliang， et al. Backlight image enhancement algorithm of Retinex based on image fusion strategy [J]. Computer technology and development， 2017， 27（8）： 73?78.

[12] 曾接賢，余永龍.雙邊濾波與暗通道結(jié)合的圖像保邊去霧算法[J].中國(guó)圖象圖形學(xué)報(bào)，2017，22（2）：147?153.

ZENG Jiexian， YU Yonglong. Image defogging and edge preserving algorithm based on dark channel prior and bilateral filtering [J]. Journal of image and graphics， 2017， 22（2）： 147?153.

[13] KIM J H， JANG W D， SIM J Y， et al. Optimized contrast enhancement for real?time image and video dehazing [J]. Journal of visual communication & image representation， 2013， 24（3）： 410?425.

[14] 楊詞銀，尚海波，賈晨光，等.基于區(qū)域分割的自適應(yīng)反銳化掩模算法[J].光學(xué)精密工程，2003，11（2）：188?192.

YANG Ciyin， SHANG Haibo， JIA Chenguang， et al. Adaptive unsharp masking method based on region segmentation [J]. Optics and precision engineering， 2003， 11（2）： 188?192.

[15] 郭璠，蔡自興.圖像去霧算法清晰化效果客觀評(píng)價(jià)方法[J].自動(dòng)化學(xué)報(bào)，2012，38（9）：1410?1419.

GUO Fan， CAI Zixing. Objective assessment method for the clearness effect of image defogging algorithm [J]. Acta Automatica Sinica， 2012， 38（9）： 1410?1419.