汪雷宇, 韓 徐, 郝世杰

(合肥工業(yè)大學(xué) 計算機與信息學(xué)院,安徽 合肥 230601)

隨著成像設(shè)備的發(fā)展,相機的分辨率、曝光時間等性能都有極大改善,拍攝出來的圖像可以得到很好的質(zhì)量。但由于拍攝環(huán)境的復(fù)雜性,常常導(dǎo)致圖像視覺效果并不理想。例如,由于暗光和逆光等情況,圖像對比度較低,圖像細節(jié)被黑暗隱藏,降低了圖像的視覺質(zhì)量,也為各種后續(xù)處理任務(wù)帶來了不利影響。因此,研究圖像暗光增強方法,提高圖像內(nèi)容可視度,具有重要的研究價值。

基于暗光增強深度網(wǎng)絡(luò)[1]在重構(gòu)圖像時難以生成完整的細節(jié),從而導(dǎo)致增強結(jié)果略顯模糊。為解決這一問題,本文從Retinex理論[2]中得到了啟發(fā)。根據(jù)Retinex理論,一張圖像S可以視作光照圖像L和反射率圖像R的乘積。其中：光照圖像L反映了拍攝環(huán)境下的光照分布情況；反射率圖像R表示物體的反射性質(zhì)圖像,即圖像場景的內(nèi)在屬性,光照的改變不會對反射率圖像R產(chǎn)生影響。

暗光增強的根本任務(wù)是對光照層進行改變,這一任務(wù)在理論上不會改變物體表面的紋理細節(jié)。而基于深度網(wǎng)絡(luò)的方法[1]在試圖重構(gòu)圖像時,不但要估計出成像場景中新的光照分布,還要重構(gòu)出所有的圖像細節(jié)。而后者對于暗光增強任務(wù)而言,是完全沒有必要的?；谏鲜龇治?本文提出了一種分而治之的思路:根據(jù)圖像分解的方法,將圖像的結(jié)構(gòu)層(base layer)和細節(jié)層(detail layer)進行分離,其中結(jié)構(gòu)層才是光照衰變的根本原因,因此本文利用深度學(xué)習(xí)技術(shù)對結(jié)構(gòu)層進行增強處理,而細節(jié)層基本保持不變。基于上述思路,本文提出了一種基于圖像分解的光照增強模型,通過一種邊緣保留濾波器來有效分解彩色圖像明度層,得到細節(jié)層和結(jié)構(gòu)層信息;結(jié)構(gòu)層通過光照增強模塊進行處理,增強后的結(jié)果經(jīng)過圖像組合和顏色空間變換得到最終的結(jié)果,其模型結(jié)構(gòu)如圖1所示。基于上述思路,本文能夠在增強圖像對比度的同時能夠很好地保持圖像的細節(jié)信息,確保了增強后圖像的視覺質(zhì)量。

圖1 本文模型的模型結(jié)構(gòu)示意圖

為便于展示,圖1中細節(jié)層圖像Ivd為增強10倍的效果圖。

1 相關(guān)工作

1.1 Retinex相關(guān)算法

Retinex是一種常用的建立在科學(xué)實驗和科學(xué)分析基礎(chǔ)上的圖像增強方法,通過幾十年的不斷發(fā)展,從單尺度Retinex算法[2](single-scale retinex, SSR)改進成多尺度加權(quán)平均的Retinex算法[3](multi-scale retinex, MSR),再發(fā)展成帶彩色恢復(fù)的多尺度Retinex算法(multi-scale retinex with color restoration, MSRCR);相比較而言,MSR在實現(xiàn)圖像動態(tài)范圍的壓縮同時保持了較好的色感。但SSR和MSR都普遍存在偏色的問題,為了改善此問題,MSRCR在MSR的基礎(chǔ)上,加入了色彩恢復(fù)因子C來調(diào)節(jié)由于圖像局部區(qū)域?qū)Ρ榷仍鰪姸鴮?dǎo)致顏色失真的缺陷。此外,在Retinex的基礎(chǔ)上還提出了簡化的Retinex 模型[4],通過在R、G和B通道中找到最大值來分別估計每個像素的照度,然后對照度圖進行完善來達到增強的效果。

1.2 基于融合的方法

在基于融合算法對圖像進行暗光增強方面,可以從單張輸入圖像得到增強后的結(jié)果。文獻[5]首先通過Retinex理論得到圖像的原始亮度分量,然后設(shè)法得到全局亮度增強的亮度分量和局部對比度增強的亮度分量,最后通過拉普拉斯金字塔對上述3種亮度分量進行融合,得到增強后的亮度分量。另外,也可以從多張輸入圖像得到增強后的結(jié)果。文獻[6]在擁有多張相同場景但不同曝光程度圖像的情況下,通過設(shè)置權(quán)重矩陣,給曝光良好的像素分配較大的權(quán)重值,給曝光不足的像素分配較小的權(quán)重值,通過融合這些不同曝光程度的圖像得到曝光程度良好的圖像。

1.3 基于深度學(xué)習(xí)的方法

文獻[7]提出了堆疊稀疏去噪自動編碼器(stacked sparse denoising autoencoder,SSDA)網(wǎng)絡(luò)模型。在此基礎(chǔ)上,文獻[1]提出了一種基于端到端的暗光增強深度網(wǎng)絡(luò)(deep autoencoder approach to natural low-light image enhancement,LLNet)。

LLNet圖像增強算法的訓(xùn)練數(shù)據(jù)為成對圖像,包括暗光圖像和正常光照圖像,整個網(wǎng)絡(luò)通過堆疊多層的稀疏降噪編碼器,學(xué)習(xí)到暗光圖像的深層特征,然后通過對應(yīng)的稀疏降噪解碼器對深層特征進行解碼重構(gòu);在重構(gòu)的過程中,需要盡可能地保證重構(gòu)后的圖像能夠接近正常光照圖像，但是該算法在重構(gòu)圖像時難以生成完整的細節(jié),從而導(dǎo)致增強結(jié)果略顯模糊。

受Retinex理論的啟發(fā),并結(jié)合卷積神經(jīng)網(wǎng)絡(luò)技術(shù),文獻[8]提出了RetinexNet模型,它采用兩階段式先分解后增強的步驟。在第1階段,對圖像進行解耦,得到光照圖和反射圖;在第2階段,對前面得到的光照圖進行增強,增強后的光照圖和原來的反射圖相乘得到增強結(jié)果。

目前基于深學(xué)習(xí)的圖像暗光增強工作主要有以下2點局限性:

(1) 成對的訓(xùn)練數(shù)據(jù)難以獲取,這使得深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練變的十分困難。

(2) 很難設(shè)計得到一種端到端的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

針對成對的訓(xùn)練圖像難以獲取這個問題,研究人員通過不同的方法進行嘗試。一方面,可以在現(xiàn)有圖像的基礎(chǔ)上通過技術(shù)處理得到相對應(yīng)的圖像;例如文獻[9-11]均采用了該種方法,雖然效果很好,但是得到的圖像仍然無法完美地模擬真實情況。另一方面,技術(shù)人員利用成像技術(shù)得到更加自然的圖像對。文獻[12]提出了SID(see-in-the-dark)數(shù)據(jù)集,通過控制曝光時間得到自然的圖像序列,效果顯著,但時間和精力花費較大。由于成對的訓(xùn)練圖像難以獲取,部分研究人員轉(zhuǎn)向了對訓(xùn)練集要求相對較低的無監(jiān)督學(xué)習(xí)模式。在文獻[13]中,不需要輸入-輸出圖像對,只需要一組“好”圖像(用于輸出圖像的真實值)和一組想要增強的“壞”圖像(用于輸入圖像)就可以完成EnlightenGAN模型的訓(xùn)練,對數(shù)據(jù)集的要求大大降低。

2 本文方法

2.1 本文框架

借助于LLNet網(wǎng)絡(luò),本文提出了一種基于結(jié)構(gòu)與細節(jié)層分解的暗光照圖像增強模型,利用邊緣保持濾波器將圖像結(jié)構(gòu)層和細節(jié)層進行分解,利用自編碼器網(wǎng)絡(luò)處理圖像結(jié)構(gòu)層,對圖像細節(jié)層加以保留。

首先將原始彩色圖像I由RGB彩色模型空間轉(zhuǎn)換到HSV彩色模型空間,提取出H、S和V通道分量,并表示為Ihsv={Ih,Is,Iv}。

然后通過保邊緣濾波器對V通道分量Iv進行分層處理,得到相對應(yīng)的V通道細節(jié)層分量Ivd和V通道結(jié)構(gòu)層分量Ivb;緊接著將V通道結(jié)構(gòu)層分量Ivb通過光照增強模塊進行亮度增強,得到V通道結(jié)構(gòu)層分量Ivb的增強圖像Ivb′,并將得到的增強圖像Ivb′和V通道細節(jié)層分量Ivd重新組合,得到V通道的增強圖像Iv′。

最后將三通道分量{Ih,Is,Iv′}融合得到Ihsv′并由HSV彩色模型空間轉(zhuǎn)換到RGB彩色模型空間，獲得最終的輸出圖像Io。

2.2 改進的保邊緣濾波器

在模型中，為實現(xiàn)高效的圖像結(jié)構(gòu)-細節(jié)分解，提出了一種改進的保邊緣濾波器。通過構(gòu)建總變分模型，并設(shè)計了基于快速傅里葉變換的計算方法。本節(jié)重點描述改進的保邊緣濾波器相關(guān)部分的工作。

濾波器的損失函數(shù)表示為：

(1)

L=lgS,

其中:S為輸出圖像;L為輸入圖像;下標V表示V通道分量;λ為正則化參數(shù),用來平衡前后兩項的系數(shù);γ為分母比例參數(shù);為離散微分,在本文中,它包括有水平方向x和垂直方向y;Ω為r×r大小規(guī)模的局部圖像塊。在(1)式中,第1項考慮了初始圖像IV與輸出圖像S之間的保真度,它使得平滑的S與輸入Iv之間的差最小;第2項考慮了結(jié)構(gòu)感知平滑度,使S的偏導(dǎo)數(shù)最小。

(1)式可表示成如下最小化問題,即

(2)

L=lgS，

其中:W為平滑權(quán)重;λ為正則化參數(shù);S為S上的離散微分,可分為X方向和Y方向。

(2)式可以通過交替方向最小化(alternating direction method of multipliers,ADMM)技術(shù)來有效地解決。

s.t.X=S

(3)

(3)式的增強拉格朗日函數(shù)可以表示如下:

(4)

其中:〈·,·〉為2個矩陣的內(nèi)積運算;ρ為正罰標量;Y為拉格朗日乘數(shù)。(4)式中存在S、X、W、ρ和Y共5個未知變量。通過ADMM方法對(4)式中的未知變量進行迭代求解。

對于未知變量S：

(5)

對(5)式進行求導(dǎo),得到:

2(S-Iv)+ρk-1DT(DS-Xk-1)+

DTYk-1=0

(6)

其中:D為輸入圖像的微分運算結(jié)果,可分為Dx和Dy,分別代表輸入圖像在X和Y方向上的微分運算結(jié)果。

對(6)式進行化簡,可得:

(7)

對(7)式直接進行求解,可得:

(8)

(9)

進而可以得到(10)式，即

Sk=

(10)

其中:F表示傅里葉變換;F-1表示傅里葉逆變換;F*表示共軛傅里葉變換。

對于X有:

(11)

由(11)式可得:

(12)

其中,Jα(x)=sgn(x)max(|x|-α,0)。

同理,對于W、ρ和Y，有

(13)

ρk=ηρk-1, (η>1)

(14)

Yk=Xk-1+ρk-1(Sk-Xk)

(15)

其中，Lk-1=lgSk-1。

通過上述運算,得到關(guān)于輸入圖像Iv的平滑結(jié)果S,即圖像的結(jié)構(gòu)層信息Ivb。

2.3 光照增強模塊

光照增強模塊借助深度學(xué)習(xí)技術(shù),使用文獻[1]中的LLNet網(wǎng)絡(luò)為主體框架,構(gòu)成了encoder-decoder形式,該模塊的輸入為結(jié)構(gòu)層圖像Ivb,輸出為增強圖像Ivb′。

模塊由3層去噪自編碼器(denoising autoencoder,DA)構(gòu)成,具體的節(jié)點數(shù)為:輸入為17×17像素的塊圖像,即289個輸入單元;后面的隱藏單元數(shù)分別為867、578、289、578、867;最后為輸出單元,輸出單元具有與輸入相同的尺寸,即289。其中,第1層DA有867個隱藏單元;第2層DA有578個隱藏單元;第3層DA有289個隱藏單元,通過最小化重建圖像和正常光照圖像之間的均方誤差達到訓(xùn)練效果。整個訓(xùn)練過程包括預(yù)訓(xùn)練和微調(diào)2個階段。在預(yù)訓(xùn)練階段,每個DA層都通過誤差反向傳播進行訓(xùn)練,以最小化稀疏正則化重建損失,其損失函數(shù)為:

(16)

在通過預(yù)訓(xùn)練對權(quán)重進行初始化之后,使用誤差反向傳播算法對整個預(yù)訓(xùn)練網(wǎng)絡(luò)進行微調(diào),最小化給定的損失函數(shù)為:

(17)

其中：L為DA層的數(shù)量；W(l)為堆疊神經(jīng)網(wǎng)絡(luò)的第l層的權(quán)重矩陣。

3 實驗部分

3.1 實驗說明

在本文模型中,暗光增強模塊通過Python 2.7、Theano 1.0.3版本實現(xiàn),其余部分均通過Matlab代碼使用3.4 GHz CPU和8 G RAM的計算機實現(xiàn)。

在建筑給排水的部署實施過程中，難免會遇到各種困難。因為各個建筑物的設(shè)計不同，所以對應(yīng)的給排水設(shè)計也應(yīng)該不同。建筑給排水設(shè)計人員應(yīng)該參照建筑的施工設(shè)計圖紙，然后進行實地考察，再設(shè)計給排水施工圖紙。在設(shè)計施工圖紙的過程中，設(shè)計人員要認真負責(zé)，足夠自信，并且要嚴格遵守國家關(guān)于建筑工程施工的法律法規(guī)。設(shè)計完圖之后，要進行相應(yīng)的模擬測試。模擬測試要根據(jù)施工的環(huán)境特點，設(shè)置對應(yīng)的模擬實驗環(huán)境，爭取在最大程度上保證模擬測試環(huán)境與真實施工環(huán)境相一致，這樣才能保證測試結(jié)果的可信度。測試完畢后，設(shè)計人員需要根據(jù)測試結(jié)果，對設(shè)計圖紙進行相應(yīng)的修改，使其達到最佳的效果。

通過收集暗光增強領(lǐng)域的常用測試圖像和在現(xiàn)實生活中拍攝得到的圖像作為本文中的測試圖像,它們包含各種場景和亮度條件。本文的模型配置參數(shù)如下:濾波器的參數(shù)有k、r、λ和γ，k和r在本文中為固定參數(shù),k=10,r=3。其中:k為圖像處理過程中的迭代次數(shù);r為濾波半徑;λ為正則化參數(shù);γ為分母比例參數(shù)。λ和γ在本文中存在多個數(shù)值,通過不同的數(shù)值作對比實驗,借此確定最終的選值。

訓(xùn)練數(shù)據(jù)方面,通過訓(xùn)練數(shù)據(jù)生成方法(伽馬校正和添加高斯噪聲)來模擬低光環(huán)境,從而得到成對的訓(xùn)練數(shù)據(jù)用于訓(xùn)練模型。每對訓(xùn)練數(shù)據(jù)包括正常光照圖像和相對應(yīng)的模擬低光環(huán)境下生成的暗光圖像。

對198對訓(xùn)練圖像對進行分塊處理,每張圖像得到2 500個圖像塊,最終得到495 000對圖像塊,其中60%作為訓(xùn)練集,20%作為驗證集,20%作為測試集。

在預(yù)訓(xùn)練階段,每層的迭代次數(shù)為30次;在微調(diào)階段,設(shè)置的迭代次數(shù)為2 000次,在迭代到470次左右時驗證集損失達到最小。

3.2 對比實驗

本小節(jié)的對比實驗分為2個部分:

(1) 驗證改進的保邊緣濾波器的有效性。一方面對濾波器的參數(shù)變化帶來的影響做直觀的對比實驗;另一方面為了觀察改進的保邊緣濾波器對輸出結(jié)果的影響,通過采用不同參數(shù)配置的模型做直觀的結(jié)果對比。

濾波器參數(shù)λ、γ調(diào)整的對比效果如圖2、圖3所示。由圖2、圖3可以看出,改進的濾波器有2個參數(shù)影響對圖像的處理效果,分別為λ和γ。具體來說,通過固定其中一個參數(shù),然后改變另外一個參數(shù)來查看對濾波結(jié)果的影響。

圖2 λ=0.01,濾波器參數(shù)γ調(diào)整的對比效果

圖3 γ=0.6,濾波器參數(shù)λ調(diào)整的對比效果

不同參數(shù)的濾波器對最終效果的影響(k=10,r=3)如圖4所示。圖4中：第1行為原始圖像和經(jīng)過不同參數(shù)模型處理后得到的圖像；第2行為部分區(qū)域放大圖；第3行為對應(yīng)參數(shù)模型提取的結(jié)構(gòu)層圖像。

圖4 不同參數(shù)的濾波器對最終效果的影響

從圖2～圖4可以看出,隨著λ和γ不斷增大,濾波器對圖像結(jié)構(gòu)層的提取趨向于平滑,能夠得到更全面的細節(jié)層信息,但是結(jié)構(gòu)層趨于平滑的程度越大,暗光增強模塊在重構(gòu)過程中的偽影效果就越嚴重,從圖4的第2行可以明顯看出。鑒于此,在后面的模型選擇中,參數(shù)定為k=10,r=3,λ=0.01,γ=0.6。

本文選定濾波器參數(shù)為k=10,r=3,λ=0.01,γ=0.6的模型,并將其與一些經(jīng)典的暗光增強模型進行對比,包括基于深度神經(jīng)網(wǎng)絡(luò)的模型[1,8]、基于直方圖的模型[14]和基于簡化的Retinex的模型[15],上述模型的方法均為開源,文中關(guān)于上述模型的參數(shù)使用的均是開源代碼中的默認值。

基于上述模型和本文模型給出了增強的結(jié)果展示如圖5和圖6所示,并逐一與本文模型進行對比,可以得到以下觀察結(jié)果。

圖5 多種暗光增強模型的效果對比

圖6 多種暗光增強模型的效果對比(局部放大)

文獻[1]在圖像的暗光增強方面效果比較顯著,但是圖像的紋理細節(jié)部分存在比較明顯的丟失,圖像整體偏向于模糊,圖6中的屋角放大區(qū)域可以很明顯地看到細節(jié)信息的丟失。文獻[8]在保留細節(jié)方面優(yōu)于文獻[1],但經(jīng)過文獻[8]處理后的圖像在圖像風(fēng)格上存在著較大的改變,偏向于過度增強整個圖像場景,圖像風(fēng)格趨于動漫化。文獻[14]的處理效果在細節(jié)的保留方面具有很大的優(yōu)勢,但是在主要目的暗光增強方面卻存在著較大的欠缺,該模型的增強效果收效甚微。文獻[15]的結(jié)果在圖像的輪廓部分出現(xiàn)一些偽影效果,圖像的輪廓鮮明突出,圖像風(fēng)格發(fā)生變化,影響視覺展示。

另外，圖6的天空放大區(qū)域,文獻[8]和文獻[15]的結(jié)果存在著明顯的偽影現(xiàn)象,文獻[1]、文獻[14]和本文模型基本不存在偽影問題。

本文模型是基于文獻[1]中的LLNet網(wǎng)絡(luò)模型發(fā)展而來,其初衷是為了更好地保留增強圖像的細節(jié)信息。針對這一部分,文中對本文模型和LLNet[1]網(wǎng)絡(luò)模型做了相對應(yīng)的對比實驗,如圖7所示,可以很明顯地得到以下2點結(jié)論:

(1) 在紋理細節(jié)方面,由于改進的濾波器的作用,本文能夠在增強圖像對比度的同時很好地保持圖像的細節(jié)信息,使得增強圖像在細節(jié)方面更加豐富,給人更好的視覺效果,確保了增強后圖像的視覺質(zhì)量。

(2) 在暗光增強方面,本文模型的增強效果略優(yōu)于LLNet[1]網(wǎng)絡(luò)模型,整體的效果更加的明亮。

圖7 本文模型與LLNet的效果比較

為了進行模型間的量化對比,對文獻[1]、文獻[8]、文獻[14]、文獻[15]和本文模型進行打分評定。對比實驗選用了31張圖像,打分人數(shù)為10人,分數(shù)區(qū)間為1～5分,其中1分代表圖像展示效果最差,5分代表圖像展示效果最好,分數(shù)為整數(shù),對模型的分數(shù)進行平均,得到最終評分。在圖像評分過程中,僅僅提供如下打分規(guī)則:① 對比增強后圖像的亮度與原始圖像相比是否有提高;② 增強后圖像的整體灰度分布是否合理;③ 增強后的圖像是否引入外來噪聲,破壞了圖像的自然效果。

具體評分結(jié)果見表1所列。

表1 不同模型增強圖像評分結(jié)果

由表1可知,相比較其他4種模型,本文模型在整體效果上有較大的優(yōu)勢,說明了本文模型的適用性和有效性。

4 結(jié) 論

本文基于 LLNet[1]網(wǎng)絡(luò)模型,提出了一種基于結(jié)構(gòu)與細節(jié)層分解的暗光照圖像增強模型,該模型對各種照明條件均具有魯棒性,在不同類型的照明條件下都能很好地工作,有效地避免了過度增強或增強不足的情況。相比于傳統(tǒng)的基于自編碼器網(wǎng)絡(luò)的方法,本文模型可以在有效改善暗光圖片的可視度前提下,仍能很好地保持圖像的細節(jié)信息,提高了圖像的豐富度。在后續(xù)的工作中,計劃在一個統(tǒng)一的框架中實現(xiàn)細節(jié)增強和低光增強的任務(wù)，或者參考文獻[16]的手段嘗試將暗光增強技術(shù)融入到目標檢測任務(wù)中。