彭大鑫，甄 彤，李智慧

1.河南工業(yè)大學糧食信息處理與控制教育部重點實驗室，鄭州450001

2.河南工業(yè)大學信息科學與工程學院，鄭州450001

在科技高速發(fā)展的今天，各種設備也使用得越來越多，視頻圖像的應用也越來越廣泛。由于條件的復雜性特別是在夜晚條件下形成的視頻圖像往往亮度較低、噪聲較大、對比度較低，很難達到理想的采集效果，獲取想要的信息。因此對這些低光照條件下形成的圖像進行增強就很有必要。低光照圖像增強的目的是突出關鍵信息，盡可能地排除干擾信息，將原來不清晰或者亮度較低的圖像變得清晰或者增強亮度[1]。在低光條件下，由于光照條件的不確定性，捕獲的圖像質(zhì)量不佳，并夾雜著噪聲導致對比度和亮度嚴重下降，從而影響圖像暗區(qū)的細節(jié)，出現(xiàn)色彩偏差。根據(jù)增強算法設計的不同，目前的低光照圖像增強算法主要分為傳統(tǒng)的低光照圖像增強算法以及基于深度學習的低光照圖像增強算法。傳統(tǒng)的增強方法主要是對圖像的像素進行處理，目的是提高圖像的對比度、亮度以及去除噪聲。但是這類方法不能注意到低光照圖像自身對光照的需求關系同時忽略了內(nèi)在的上下文信息，進而產(chǎn)生圖像顏色失真以及噪聲較大的現(xiàn)象。為了克服上述方法的不足，深度學習技術成為了低光照圖像增強的主流技術。深度學習的方法分為有監(jiān)督和無監(jiān)督的方法。有監(jiān)督的方法利用端到端的網(wǎng)絡[2]來學習輸入低光照圖像與正常光照圖像的映射來達到增強的目的。無監(jiān)督的方法建立一種非配對映射來增強圖像[3]。但實時性問題沒有得到解決，仍然有改進的空間。

綜上，低光照圖像增強方法有規(guī)律可循并且呈現(xiàn)百家爭鳴的態(tài)勢，但仍然存在著許多問題。因此有必要對低光照圖像增強方法進行全面分析討論及對比。本文從傳統(tǒng)方法以及深度學習方法兩個方面進行詳細分析與闡述。具體方法間的區(qū)別與聯(lián)系如圖1所示。

圖1 各類方法間的聯(lián)系與區(qū)別Fig.1 Relationship and difference between various methods

1 傳統(tǒng)的低光照圖像增強算法

目前最常見的低光照圖像增強方法大致包括以下幾種，包括色調(diào)映射算法、直方圖均衡化算法、伽馬校正算法、暗通道先驗算法、基于Retinex分解的算法以及基于融合的算法。

1.1 色調(diào)映射算法

關于色調(diào)映射的增強分為全局和局部兩種方法。全局色調(diào)映射過程是將全部的像素點都通過同樣方法加以處理，這就會導致圖像的較亮部分或者較暗部分沒有考慮到，造成圖像顏色映射處理過后缺少了部分的細節(jié)信息。局部色調(diào)映射時像素點周圍的空間位置也需要被考慮，因為在執(zhí)行多尺度轉(zhuǎn)換的同時，擁有同樣亮度值的兩個像素點之間會表現(xiàn)出不同的比值，因此在它們的空間位置周圍的對比度數(shù)據(jù)也不相同。

色調(diào)映射在保證在高光和低陰影區(qū)域的部分對比度和細節(jié)數(shù)據(jù)的同時處理之后也會出現(xiàn)一些噪聲。為增加低光照圖像的對比度以及保持顏色一致不變性，趙軍輝等人[4]將Lab 顏色空間和顏色映射融合，提供了一種圖像增強方案。所提算法很好地保存了圖像細節(jié)的自然程度，同時也強化了圖像的反差度。曹紅艷和劉長明等人[5]提出的自適應閾值和色調(diào)映射結(jié)合的算法解決了趙軍輝等的方法可能產(chǎn)生的過度增強以及光暈問題。該方法使用了改進的基于貝葉斯的自適應閾值方法以實現(xiàn)去噪，并轉(zhuǎn)換顏色空間，較好地提高了圖像品質(zhì)，具有很大的對比度。龐澤邦等人[6]將交叉分解的思想與色調(diào)映射算法結(jié)合有效提升了圖像的質(zhì)量。同樣，朱世松等人[7]提出了一種基于協(xié)同濾波的色調(diào)映射算法。該算法結(jié)合色度亮度顏色空間進一步提升了圖像的質(zhì)量。

色調(diào)映射算法通過對像素及其周圍像素的處理來達到對比度增強的效果。由于考慮了這種位置關系，使得處理之后的圖像具有較好的細節(jié)信息，全局與局部信息更加凸顯。

由于不同位置的像素值不同，在處理的時候可能會產(chǎn)生不好的效果。該方法的缺點總結(jié)如下：

（1）由于像素之間的關系兼顧不到位，會使得增強之后的圖像對比度往往不高。

（2）處理之后的圖像細節(jié)信息有待進一步加強。

1.2 直方圖均衡化算法

直方圖均衡化方法，是圖像增強空域法[8]中一個最常見的圖像增強方式，其通過擴展灰度數(shù)值的覆蓋范圍來增加對比度和突出部分細節(jié)內(nèi)容。但也有某些缺點：灰度層的異常拉伸會形成偽影，鋸齒效應以及過度增強，還會導致圖像細節(jié)丟失。為了解決上述問題，許多學者提出了不同的算法。如MEMBHE 算法[9]，利用動態(tài)直方圖均衡化來解決過度增強的問題。但是這也會導致增強效果不理想。王利娟等人[10]提出了一種加權(quán)直方圖均衡化的方法，該方法通過加權(quán)方法來解決細節(jié)丟失問題。楊嘉能等人[11]提出了自適應校正的動態(tài)直方圖均衡算法，有效地防止了灰度級的合并，并且較大程度上保留了圖像的細節(jié)?？道甑热薣12]提出了一種多級直方圖形狀分割的圖像增強技術，在保留細節(jié)的同時有效抑制了噪聲。Jebadass 等人[13]結(jié)合模糊集理論，首先將低光照圖像模糊化，再利用對比度有限的自適應直方圖均衡化方法增強圖像，進一步改善了圖像的質(zhì)量。

直方圖均衡化是對圖像的灰度值均衡化，使其均勻分布在整個灰度域范圍內(nèi)。通過均勻化之后的圖像表現(xiàn)有較好的對比度。該方法的缺點總結(jié)如下：

（1）由于是對圖像的直方圖直接拉伸，會導致過度拉伸進而產(chǎn)生塊效應使圖像質(zhì)量下降。

（2）由于是基于直方圖，不同區(qū)域如過曝光和曝光不足區(qū)域的反差不太明顯，導致圖像細節(jié)信息丟失。

1.3 伽馬校正算法

伽馬校正有著簡便快捷的特性，但是卻容易產(chǎn)生色彩失真對比度不夠的現(xiàn)象。對于低光照圖像，伽馬校正可能會引起過增強及欠增強的問題。因此許多的改進算法被提出。侯利霞等人[14]提出了一種自適應的伽馬校正的圖像增強算法，通過多尺度分解并結(jié)合自適應伽馬校正來提升圖像的對比度。楊先鳳等人[15]提出了一個改進的自適應伽馬轉(zhuǎn)換圖像增強算法，該算法改進了伽馬函數(shù)并且自適應定義了相關基本參數(shù)，使得相關圖像的亮度和對比度得到了提升。

伽馬校正對圖像亮度的處理取決于伽馬值與1 的大小關系，大于1 時亮度被抑制，小于1 時亮度被提升。因此其具有簡單快速的優(yōu)點。但也存在一些不足，總結(jié)如下：

（1）采用伽馬校正往往會造成圖像的色彩失真，對于不同的場景效果不佳。

（2）伽馬值和像素值之間的關系未能對應好，使得處理之后的圖像過度曝光。

1.4 暗通道先驗算法

基于暗通道先驗的方法借鑒了暗通道先驗模型的思想。

Dong 等人[16]發(fā)現(xiàn)把一幅低光照圖像倒置所得的圖像和霧天圖像極為接近?；谶@一研究，Dong 等人將暗通道所需理論運用到了反轉(zhuǎn)后的低光照圖像上，將低光照圖像增強算法與圖像除霧算法相結(jié)合給出了暗通道算法。之后，在Dong 的基礎上學者進行了深入的研究。暗通道先驗算法中透射率的估計是關鍵。劉峰等人[17]提出使用快速導向濾波器計算透射率，但是得到的圖像具有塊效應。王碩等人[18]提出了能自適應校正估算的透射率的算法，該算法針對圖像中部分不適應暗通道算法的區(qū)域設計了置信度計算法方法來自適應地補償估算的透射率。算法很好地解決了天空區(qū)域可能會出現(xiàn)的偽影問題，但是仍然不能解決部分區(qū)域的細節(jié)問題。Li等人[19]細化了透射率并且優(yōu)化了大氣光值，很好地解決了噪聲以及邊緣問題，為低光照圖像增強提供了很好的理論支持。

暗通道先驗算法基于去霧原理，該算法考慮了成像模型使得處理之后的圖像有更好的視覺效果。其關鍵是大氣光值以及透射率的估計。其值估計直接決定了圖像增強后的質(zhì)量的好壞。

該方法的缺點總結(jié)如下：

（1）估計透射率時，使用不同的方法會導致塊效應現(xiàn)象的出現(xiàn)。

（2）該方法的計算復雜，速度較慢。

（3）對于一些特定的區(qū)域處理效果不是太理想。

1.5 基于Retinex分解的算法

Retinex 算法以色彩一致性的理論為基礎，由于其更符合人眼的視覺系統(tǒng)，所以一系列算法應運而生。Land 首先提出了Retinex 算法[20]，該算法利用路徑隨機法在一定范圍內(nèi)來計算某一像素的相鄰像素的相對亮度值，由于是隨機路徑選擇，得到的結(jié)果不具有太多的可參考性。Funt 等人提出的迭代計算的Retinex 算法[21]很好地解決了上述問題，該算法利用螺旋的路徑通過多次迭代來估計光照分量與消除分量，但是迭代的起始點選擇不確定會造成視覺效果較差，同時也會有一些噪聲。中心環(huán)繞的Retinex方法的引入很好地解決了以上方法帶來的問題，其結(jié)合濾波估計來改進Retinex 算法。Jobson 等人[22]通過結(jié)合高斯核提出了一種單尺度Retinex算法（SSR），由于SSR算法利用高斯核函數(shù)估計亮度圖像，這就難以保證圖像的對比度。此外在一些亮度差異較大的邊緣區(qū)域也會導致光暈現(xiàn)象。多尺度Retinex 算法（MSR）[23]的提出有效地解決了上述問題。經(jīng)過不斷改進之后，帶色彩恢復的多尺度Retinex 算法[24]MSRCR 又被提出。MSRCR 算法很好地解決了出現(xiàn)的顏色失真問題，但會出現(xiàn)偽影導致紋理細節(jié)不夠清晰。針對上述問題，常戩等人[25]提出一種空間轉(zhuǎn)換和自適應灰度矯正的低光照圖像增強算法，該算法結(jié)合Retinex理論避免了過亮或過暗現(xiàn)象的出現(xiàn)。同時，蘇康友等人[26]通過引入顏色恢復因子提出了改進的Retinex算法，消除了光照不均勻的干擾。隨著研究的進一步深入，許多研究者發(fā)現(xiàn)圖像的細節(jié)信息不能完全恢復?；诖?，李淼等人[27]將殘差思想與Retinex理論相結(jié)合提出了改進算法，該算法能更好地提取圖像細節(jié)特征，能恢復更多的細節(jié)信息。

上述基于Retinex分解的算法充分結(jié)合了顏色恒常性理論。隨著研究的不斷深入，雖然上述方法如SSR算法估計了光照分量并且消除了光照分量的影響，在視覺上取得了不錯的效果，但是一些問題仍然存在。比如暗區(qū)沒有得到充分改善、細節(jié)紋理信息不夠突出以及出現(xiàn)噪聲等。為了解決上述問題，Pan 等人[28]利用亮度增強函數(shù)以及改進的自適應對比度增強方法，通過多尺度融合獲得增強的圖像。Yang 等人[29]提出一種模糊C 均值聚類算法與Retinex 理論相結(jié)合的低光照圖像增強算法。由于聚類是對圖像的灰度直方圖進行聚類，這就使得增強后的圖像具有豐富的細節(jié)信息。針對噪聲的問題，Ma 等人[30]提出了一個基于Retinex 理論的低光照圖像增強的變異模型，該模型能有效地生成無噪聲的圖像，并能很好地適用于不同的光照條件。Lin 等人[31]提出了一種新穎的基于Retinex 理論的低光圖像增強方法，該方法利用收縮映射和像素權(quán)重來抑制噪聲并保留細節(jié)。

該方法基于色彩恒常性理論，通過估計光照分量并且消除光照分量的影響來增強圖像。Retinex理論的引入更好地提升了圖像的質(zhì)量，更加符合實際。但也會存在不足，總結(jié)如下：

（1）在估計照度分量的時候會產(chǎn)生圖像失真。

（2）對噪聲不敏感、去噪效果不好。

1.6 基于融合的算法

基于融合的方法需要將不同曝光條件下的圖像融合，但是得到其他曝光條件的圖像目前來說是一個難題?；诖?，王殿偉等人[32]通過曝光插值技術生成了中等曝光圖像，并以低光照圖像和高曝光圖像為主要輸入，以此來得到增強后的圖像。Rao 等人[33]將人對夜間與白天的照度圖融合來增強圖像，但是這樣的處理往往會使圖像具有不好的視覺效果。翟海祥等人[34]融合多種圖像并與Retinex 理論結(jié)合提出了新的增強算法，改善了圖像的質(zhì)量不佳問題。有時基于融合的方法處理之后會使圖像變得不自然，基于此，Ueda 等人[35]提出了一種基于融合的圖像增強算法。其通過凸組合系數(shù)同時兼顧全局與局部信息對圖像增強，使得增強后的圖像變得更加自然。

基于融合的方法考慮了不同圖像的差異性，增強后的圖像亮度及對比度較好。但仍然存在著不足：

（1）不同曝光條件下的圖像難以獲取。

（2）增強之后的圖像往往質(zhì)量不穩(wěn)定。

綜合以上方法，分別從六個方面對傳統(tǒng)的低光照圖像增強方法進行分析與總結(jié)。在深度學習技術還沒興起之前經(jīng)過學者的不斷探索，傳統(tǒng)的方法不斷被改進并表現(xiàn)出了不錯的性能。在上述方法中，大都是對圖像的像素進行處理。直方圖均衡化算法通過拉伸灰度范圍使得圖像對比度以及亮度得到提升；Retinex 分解的方法結(jié)合了低光照圖像的成像特點有針對性地增強，可以獲得更多的細節(jié)信息以及更好的視覺效果。其他各種方法也在一定程度上增強了圖像。傳統(tǒng)的低光照圖像增強方法對比如表1所示。

2 基于深度學習的低光照圖像增強方法

隨著技術的不斷更新，深度學習在各個領域表現(xiàn)出了強大的應用潛力。同時也越來越多地應用到低光照圖像增強領域。根據(jù)方法的差異，可分為有監(jiān)督與無監(jiān)督的方法。

2.1 有監(jiān)督的方法

有監(jiān)督的方法需要事先搜集配對的圖像，以此來建立正常圖像與低光照圖像的映射關系。

受Retinex理論的影響，Zhang等人[36]提供了一種低光照圖像增強網(wǎng)絡，網(wǎng)絡結(jié)構(gòu)如圖2所示。其可以解決更嚴重的視覺問題，同時方便隨時調(diào)整對比度，得到效果較好的圖像。在此基礎上，Zhang 等人[37]又加了一種映射函數(shù)，提出了KinD++算法，使處理后的圖像更加符合實際情況。因為現(xiàn)有的方法通常依賴于一些假定，它們也往往忽視了圖像噪聲等其他因素的影響，所以它們往往無法同樣解決包含光度、反差、偽影，以及噪聲等內(nèi)容的影響。為解決上述問題，Wang 等人[38]提出了一種基于歸一化流的增強方法。通過標準化流模型來學習低光與正常光圖像的對應關系，更好地模擬了正常光圖像的曝光分布，從而提升了對比度以及去除了噪聲。之后，Jiang 等人[39]提出了一種新的退化到細化生成網(wǎng)絡（DRGN），該網(wǎng)絡更加關注圖像的細節(jié)信息，在提升圖像的可視性的同時保持了比較好的自然度。

圖2 KinD的網(wǎng)絡結(jié)構(gòu)圖Fig.2 KinD network structure diagram

上述方法設計了合適的網(wǎng)絡取得了良好的效果。但是現(xiàn)有的一些方法沒有充分考慮到關鍵特征導致細節(jié)不突出?；诖藛栴}，Xu 等人[40]提出了一個分層的特征挖掘網(wǎng)絡HFMNet，其在不同的網(wǎng)絡層中提取光照和邊緣特征，并且建立了一個特征挖掘注意力（FMA）模塊，結(jié)合分層監(jiān)督損失，充分地挖掘關鍵特征。提高了圖像的可視性。深度學習方法具有強大的特征學習和映射能力，學習能力的提高也是一個亟待解決的問題。Lu等人[41]提出了一種多分支拓撲殘差網(wǎng)絡，利用拓撲殘差塊提高了網(wǎng)絡的學習能力，提升了圖像的質(zhì)量。一些方法如CNN通常是對空間域的低頻局部特征進行采樣，這就會導致一部分信息被忽略，為此Zhuang 等人[42]提出具有相位感知的傅里葉卷積的雙分支擴張網(wǎng)絡進行低光圖像增強。其能更加全面地關注圖像信息并突出圖像的紋理細節(jié)，但不能更好地挖掘深層多尺度特征。Fan等人[43]提出了帶照度約束的多尺度低光照圖像增強網(wǎng)絡，該網(wǎng)絡用Res2Net[44]通過提取深層多尺度特征來增強模型的能力從而避免了顏色失真問題同時具有更自然的視覺效果。

針對在不同照明環(huán)境下獲得的圖像可能會出現(xiàn)過增強或欠增強的情況，Wu等人[45]提出了一種基于Retinex理論的深度展開網(wǎng)絡（URetinex Net），該網(wǎng)絡將隱式先驗正則化模型與Retinex 理論結(jié)合，更好地抑制了噪聲以及保留了細節(jié)。但是這類算法需要成對圖像作為數(shù)據(jù)集，事實上成對圖像并不是很好獲取。Lu等人[46]針對上述問題提出了一種雙分支曝光融合網(wǎng)絡來解決低光照圖像增強問題，其結(jié)構(gòu)圖如圖3所示。該方法通過估計不同光照水平的傳遞函數(shù)，提出了一種快速有效的增強策略。為了進一步應對輸入圖像的盲目性帶來的挑戰(zhàn)，引入了一種新的生成和融合策略，其中對輕微失真和嚴重失真的圖像分別在兩個增強分支中進行增強，然后使用自適應注意力機制進行最終融合。此外，還提出了兩階段去噪策略，以確保有效地降低噪聲。

圖3 TBEFN的網(wǎng)絡結(jié)構(gòu)分支圖Fig.3 Branch diagram of TBEFN network structure

為了進一步地去除噪聲以及消除色偏，Lu等人[47]提出了頻分多尺度學習網(wǎng)絡。將低光照圖像分為高頻和低頻兩個分量，利用多尺度特征提取以及注意力機制來增強圖像。Xu 等人[48]提出結(jié)構(gòu)紋理感知網(wǎng)絡，其利用低光圖像的結(jié)構(gòu)和紋理特征來增強圖像，更好地關注全局與局部的關系來去除噪聲以及減輕色彩失真。Garg等人[49]設計了利用色相飽和度亮度的光通道增強算法，使用自編碼器和卷積神經(jīng)網(wǎng)絡結(jié)合色相飽和度亮度的光通道來解決顏色失真等問題。Chen 等人[50]將卷積和自我注意力機制結(jié)合來增強低光照圖像，在提取特征的同時關注局部與全局特征進而消除噪聲以及色偏問題。Yang等人[51]提出了基于多流信息補充的增強網(wǎng)絡，通過信息補充恢復圖像的豐富結(jié)構(gòu)并且去除噪聲以及消除色偏。

有監(jiān)督的方法依賴于配對的數(shù)據(jù)集，構(gòu)建端到端的網(wǎng)絡學習低光照圖像到正常光照圖像的映射關系。這種方法更加依賴于特征信息的提取，注意力機制能使網(wǎng)絡關注更加有效的信息，設計合適的網(wǎng)絡可以使圖像的內(nèi)在信息更好地表達出來最終生成高質(zhì)量的圖像。但仍存在不足，該方法的缺點總結(jié)如下：

（1）有監(jiān)督方法依賴配對的數(shù)據(jù)集，但是配對的數(shù)據(jù)集很難獲取，并且也費時費力。

（2）模型的泛化能力不夠。由于是依賴配對的數(shù)據(jù)集訓練，導致在某一特定數(shù)據(jù)集上取得不錯的效果，但是在其他場景下效果不佳。

2.2 基于無監(jiān)督的方法

無監(jiān)督的方法不需要配對的數(shù)據(jù)集。這極大地提高了研究效率。Jin等人[52]針對增強后會產(chǎn)生過度增強以及增強不足的問題，提出了一種無監(jiān)督的增強方法。該方法引入層分解網(wǎng)絡和光效應抑制網(wǎng)絡進一步抑制了亮區(qū)和提高了暗區(qū)的增強程度，保持了較好的對比度。

Guo 等人[53]提出了一種新的無參考深度曲線估計（Zero DCE），其用輕量化的深度網(wǎng)絡DCE-Net 來調(diào)整給定圖像的動態(tài)范圍，并且不需要事先準備成對的數(shù)據(jù)集。流程如圖4 所示。但是該方法并沒有考慮噪聲的影響，并且網(wǎng)絡模型較大比較耗時。Li等人[54]進一步介紹了Zero DCE的加速和輕型版本，稱為Zero DCE++，它利用了只有10 000參數(shù)的小型網(wǎng)絡。Zero DCE++具有快速的處理速度，同時保持了Zero DCE 的增強性能。使網(wǎng)絡更加輕量化，便于開展。

圖4 Zero DCE結(jié)構(gòu)圖Fig.4 Zero DCE structure diagram

在弱光條件下獲得的圖像往往帶有噪聲并且有不同程度的退化。大多數(shù)恢復方法忽略了噪聲并在拉伸對比度時將其放大?；诖薐iang 等人[55]在U-Net 網(wǎng)絡的基礎之上結(jié)合注意力機制提出了一種快速有效的增強策略（EnlightenGAN）。其結(jié)構(gòu)圖如圖5 所示。Jiang等人還提出了基于局部和全局的自我特征保留損失的損失函數(shù)，更加提升了網(wǎng)絡的精度，以生成高質(zhì)量的增強圖像。

圖5 EnlightenGAN網(wǎng)絡結(jié)構(gòu)圖Fig.5 EnlightenGAN network structure diagram

上述方法考慮了網(wǎng)絡的性能以及推理速度，使用GAN 網(wǎng)絡以及利用U-Net 網(wǎng)絡的特征提取能力在確保網(wǎng)絡性能的前提下有效提升了增強之后的圖像的質(zhì)量。

Fu 等人[56]提出了一種新的無監(jiān)督低光照圖像增強網(wǎng)絡LE-GAN，該網(wǎng)絡以生成對抗網(wǎng)絡為基礎網(wǎng)絡，并使用非成對的低光照圖像進行訓練。同時該網(wǎng)絡引入感知注意模塊增強特征提取去除噪聲以及消除色偏，進一步地引入新的損失函數(shù)以解決過度曝光問題。Ni等人[57]提出了一種新的用于無監(jiān)督低光照圖像增強的循環(huán)交互式生成對抗網(wǎng)絡（CIGAN），該網(wǎng)絡分三個部分并且結(jié)合注意力機制來提升圖像質(zhì)量。Wang等人[58]提出了一種混合注意力機制引導的生成對抗網(wǎng)絡MAGAN，該網(wǎng)絡通過引入混合注意力層來學習像素和圖像之間的關系來增強圖像同時達到去除噪聲的目的。Qiao 等人[59]提出了一種基于反注意力機制的生成對抗網(wǎng)絡方法，該方法利用深度聚合金字塔池模塊結(jié)合多尺度背景信息來去除噪聲，利用反注意力模塊來消除色差提升增強圖像的質(zhì)量。Xu等人[60]提出了一種新的質(zhì)量感知損失來進一步提升圖像的質(zhì)量。Jiang 等人[61]提出了一種無監(jiān)督的分解與校正網(wǎng)絡，并引入了噪聲去除網(wǎng)絡去除噪聲。受CycleGAN[62]的啟發(fā)，Bhattacharya 等人[63]提出了一種圖像增強模型（D2BGAN），將幾何和照明一致性以及上下文損失與多尺度顏色、紋理和邊緣鑒別器相結(jié)合有效地去除了偽影。

無監(jiān)督的方法不需要配對的數(shù)據(jù)集。該方法更加有效地關注低光圖像與正常光圖像之間的關系。一致性損失確保兩者之間的相似性，注意力模塊關注更深層次的全局與局部特征，因此得到的圖像具有更好的效果。雖然不依賴配對數(shù)據(jù)集，但成像效果往往不是太好，并且依賴于較高的硬件條件。

綜合以上方法，分別從有監(jiān)督以及無監(jiān)督兩個方面進行歸納分析與總結(jié)。在有監(jiān)督的方法中，設計端到端的網(wǎng)絡提取更多的圖像特征來確保圖像的質(zhì)量。在無監(jiān)督的方法中，結(jié)合GAN 網(wǎng)絡和其他無監(jiān)督網(wǎng)絡以及各種損失函數(shù)來引導網(wǎng)絡生成高質(zhì)量的增強圖像。各種方法的對比如表2所示。

表2 基于深度學習的方法對比Table 2 Comparison of methods based on deep learning

3 數(shù)據(jù)集以及評價標準

3.1 數(shù)據(jù)集介紹

要想使訓練的模型具有泛化性，必須要與數(shù)據(jù)集結(jié)合。深度學習指的是深度神經(jīng)網(wǎng)絡。所以說數(shù)據(jù)集對于訓練來說是非常重要的。用于低光照圖像增強的數(shù)據(jù)集根據(jù)是否有配對分為有配對數(shù)據(jù)集和無配對數(shù)據(jù)集。對應于有監(jiān)督訓練和無監(jiān)督訓練。有配對數(shù)據(jù)集有LOL、SICE、MIT-Adobe FiveK、SID、DRV。無配對數(shù)據(jù)集有Exclusive Dark、HDR等。

LOL 數(shù)據(jù)集[64]都是在現(xiàn)實環(huán)境中拍攝得到的。該數(shù)據(jù)集是一個含有大量真實場景圖片的數(shù)據(jù)集，照片的最大尺寸是400×600。該數(shù)據(jù)集保留了真實條件下的特征和屬性，廣泛應用于圖像增強研究中。

SICE 數(shù)據(jù)集[65]包括589 個來自室內(nèi)和室外場景的圖片，共包含4 413 張不同程度下的曝光圖像。大多數(shù)圖像的分辨率在3 000×2 000 到6 000×4 000 之間。在MEF 和HDR 算法評估、圖像質(zhì)量評估等方面有廣闊的應用前景。

MIT-Adobe FiveK 數(shù)據(jù)集[66]由MIT 提出，為了解決訓練量過大以及輸出圖像與輸入圖像之間的關聯(lián)性不大的問題。包含了5 000 張圖像，包括直接來自相機的原始圖像和經(jīng)過處理后的圖像。數(shù)據(jù)集中約有4%的低光照圖像，幾乎涵蓋了各種場景。

SID 數(shù)據(jù)集[67]包含了5 094 個原始的曝光不足的圖像，每一個曝光不足的圖像都對應一個正常曝光的圖像。圖像是由索尼相機Fujifilm 和Sony 拍攝。涵蓋了室外場景和室內(nèi)場景。室外場景通常是在光線不足的條件下拍攝，照度在0.2~5 lx之間。室內(nèi)場景則更暗，照度在0.03~0.3 lx之間。

DRV數(shù)據(jù)集[68]是專門用于處理視頻圖像的。該數(shù)據(jù)集包含室內(nèi)場景和室外場景，圖片分辨率大小為3 672×5 496。

Exclusive Dark 數(shù)據(jù)集[69]由10 種不同類型的低光圖像組成。HDR 數(shù)據(jù)集[70]包含74 個場景，原圖大小為5 760×3 840。為了避免對其錯位帶來的問題下采樣到1 500×1 000。

3.2 評價標準

3.2.1 主觀評價

主觀評價就是根據(jù)視覺效果進行評價。由于視覺評價具有一定的誤差，所以主觀評價只能是做個參考，不太能準確判定圖像的增強質(zhì)量。

3.2.2 客觀評價

客觀評價就是根據(jù)一定的數(shù)學公式計算，根據(jù)得出的結(jié)果值的大小來判定圖像的增強質(zhì)量，顯然這種方法具有準確性，有很大的參考價值。常用的評價標準有均方誤差（mean square error，MSE）、峰值信噪比（peak signalto-noise ratio，PSNR）、結(jié)構(gòu)相似性（structural similarity index measurement，SSIM）、自然圖像質(zhì)量評估（naturalness image quality evaluator，NIQE）、信息熵（information entropy，IE）。

（1）MSE：均方誤差，表示待評價圖像質(zhì)量與標準圖像間的平均灰度的偏差程度，其值越小代表誤差越小，圖像品質(zhì)也越好。公式如下：

其中，f′(i,j)和f(i,j)分別表示待評價圖像和原始的圖像，M和N分別表示圖像的長與寬。

（2）PSNR：峰值信噪比，是一種評價圖像的客觀標準。其值越大代表圖像質(zhì)量越好。

MAXI表示圖像顏色的最大數(shù)值，8位采樣點表示為255。

（3）SSIM：結(jié)構(gòu)相似性，是一種全參考的圖像質(zhì)量評價指標，它分別從亮度、對比度、結(jié)構(gòu)三方面度量圖像相似性。取值范圍0-1，值越大代表失真越少。

其中，μx是x的平均值，μy是y的平均值是x的方差，是y的方差，σxy是x和y的協(xié)方差。c1=(k1L)2,c2=(k2L)2是用來維持穩(wěn)定的系數(shù)，L是像素值的動態(tài)范圍。k1=0.01,k2=0.03。

（4）NIQE：自然圖像質(zhì)量評估，是一個客觀的評價指標，提取自然圖像中的特征來對測試圖像進行測試，這些特征擬合成一個多元的高斯模型。其值越低代表圖像質(zhì)量越好。

（5）IE：信息熵，代表了圖像細節(jié)的豐富程度，其值越大說明圖像的細節(jié)越豐富。

4 各種方法的分析對比

為了說明本文所述算法的效果及實用價值，本章將從方法性能以及方法復雜性兩個方面進行分析對比。

4.1 性能分析對比

4.1.1 傳統(tǒng)的低光照圖像增強方法性能對比

在傳統(tǒng)的低光照圖像增強方法中，在不同場景下的低光照圖像上測試。傳統(tǒng)的低光照圖像增強算法的性能對比如表3所示。

表3 傳統(tǒng)的圖像增強方法的定量比較Table 3 Quantitative comparison of traditional image enhancement methods

表3是上述傳統(tǒng)方法用低光照圖像測試的定量評估效果（IE 的值越大越好）。可見，由于Retinex 結(jié)合了顏色恒常性理論，使得增強后的圖像更加自然，所以該方法的信息熵值最高，達到了7.94。保留了更多的細節(jié)信息，優(yōu)于其他算法。

傳統(tǒng)的低光照圖像增強方法的定量比較如下：在傳統(tǒng)方法中，直方圖均衡化的IE值為4.43。色調(diào)映射算法的IE 值為7.27，比直方圖均衡化方法提高了64.11%。伽馬校正算法的IE值為7.78，比直方圖均衡化方法提高了75.62%。暗通道先驗算法的IE 值為7.16，比直方圖均衡化方法提高了61.63%。Retinex分解的算法的IE值為7.94，比直方圖均衡化方法提高了79.23%?；谌诤系乃惴ǖ腎E 值為7.04，比直方圖均衡化方法提高了58.92%。

4.1.2 基于深度學習的低光照圖像增強算法性能對比

在深度學習的方法中，用Pytorch框架和Tensorflow框架基于LOL 數(shù)據(jù)集在GPU 上進行測試。并且設置Adam 優(yōu)化器以及動態(tài)變化的學習率。初始學習率為0.000 1?；谏疃葘W習增強方法的性能對比如表4所示。表4 是深度學習的方法的定量評估結(jié)果。在評估時在LOL數(shù)據(jù)集上進行測試，用PSNR指標進行定量評估，其值越大代表圖像質(zhì)量越好。如表4 所示，由于引入了標準化流模型來學習低光圖像與正常光圖像的映射關系，文獻[38]所提方法的性能優(yōu)于其他算法，在LOL數(shù)據(jù)集上的PSNR值達到了25.19。

表4 基于深度學習的圖像增強方法的定量比較Table 4 Quantitative comparison of image enhancement methods based on deep learning

基于深度學習的增強方法的定量比較如下：

在有監(jiān)督的方法中，MLLEN-IC 的PSNR 值為15.11。KinD 的PSNR 值為20.87，比MLLEN-IC 提高了38.12%。KinD++的PSNR 值為21.30，比MLLEN-IC 提高了40.97%。文獻[38]的PSNR值為25.19，比MLLEN-IC提高了66.71%。DRGN的PSNR值為19.88，比MLLENIC提高了31.57%。HFMNet的PSNR值為22.64，比MLLENIC 提高了49.83%。MTRBNet 的PSNR 值為21.21，比MLLEN-IC提高了40.37%。DPFNet的PSNR值為24.15，比MLLEN-IC提高了59.83%。URetinex Net的PSNR值為21.33，比MLLEN-IC提高了41.16%。TBEFN的PSNR值為17.14，比MLLEN-IC提高了13.44%。FDMLNet的PSNR值為24.66，比MLLEN-IC提高了63.20%。STANet的PSNR值為21.35，比MLLEN-IC提高了41.30%。LiCENt的PSNR值為18.44，比MLLEN-IC提高了22.04%。HCSAMNet 的PSNR 值為24.52，比MLLEN-IC 提高了62.28%。文獻[51]的PSNR值為24.92，比MLLEN-IC提高了64.92%。

在無監(jiān)督的方法中，Zero-DCE的PSNR值為14.86。文獻[52]的PSNR值為21.52，比Zero-DCE提高了44.82%。EnlightenGAN 的PSNR 值為17.48，比Zero-DCE 提高了17.63%。LEGAN 的PSNR 值為22.45，比Zero-DCE 提高了51.08%。CIGAN的PSNR值為19.89，比Zero-DCE提高了33.85%。MAGAN 的PSNR 值為22.39，比Zero-DCE 提高了50.67%。AABGAN 的PSNR 值為19.38，比Zero-DCE提高了30.42%。文獻[60]的PSNR值為20.38，比Zero-DCE提高了37.15%。UDCN的PSNR值為19.83，比Zero-DCE 提高了33.45%。D2BGAN 的PSNR 值為16.53，比Zero-DCE提高了11.24%。

4.2 復雜度分析對比

4.2.1 傳統(tǒng)的低光照圖像增強方法復雜度對比

為了評估傳統(tǒng)的低光照圖像增強算法實用價值，對所述算法的復雜度進行了分析對比，如圖6所示。

圖6 傳統(tǒng)的圖像增強方法的復雜度與效果對比Fig.6 Comparison of complexity and effect of traditional image enhancement methods

由圖6 可以看出，算法的復雜度在不斷提高，但是效果在不斷變好。

4.2.2 基于深度學習的低光照圖像增強算法復雜度對比

為了評估基于深度學習的低光照圖像增強算法實用價值，對所述算法的復雜度進行了分析對比，如表5所示。

表5 基于深度學習的圖像增強方法的復雜度對比Table 5 Comparison of complexity of image enhancement methods based on deep learning

如表5 所示，本文以算法的運行時間來進行評估?？梢钥闯觯琙ero-DCE++通過直觀和簡單的非線性曲線映射實現(xiàn)圖像增強，具有最快的運算速度。優(yōu)于其他算法。表中“—”表示評估時未用到該指標或該數(shù)據(jù)集。

5 總結(jié)及展望

本文總結(jié)了近年來的低光照圖像增強技術。對于傳統(tǒng)的方法進行了分類闡述，對于深度學習的方法將其分為有監(jiān)督方法和無監(jiān)督方法進行詳細的闡述與分析。又詳細介紹了所用到的數(shù)據(jù)集。最后詳細給出了所用到的主流的評價指標。深度學習的方法與傳統(tǒng)方法相比更加快捷，但也會出現(xiàn)細節(jié)信息丟失、圖像特征提取不到位、噪聲的產(chǎn)生等問題。通過深入研究文獻，發(fā)現(xiàn)低光照圖像增強方法仍然面臨著諸多挑戰(zhàn)以及仍有許多未來可研究的方向。

（1）結(jié)合一些特定的網(wǎng)絡結(jié)構(gòu)

應用合適的網(wǎng)絡結(jié)構(gòu)能極大地提高增強的圖像質(zhì)量，之前的方法大都是以U-Net 網(wǎng)絡結(jié)構(gòu)為基礎改進的，但是這樣并不能保證能適用于所有的低光照圖像增強的情況，又考慮到低光圖像的對比度低，像素值小等情況，選用合適的網(wǎng)絡結(jié)構(gòu)應用于增強是很有必要的。結(jié)合低光照圖像的特點，深度可分離卷積[71]、自校準卷積[72]可以替換原有的網(wǎng)絡；結(jié)合神經(jīng)結(jié)構(gòu)搜索技術[73-74]獲得更加高性能的網(wǎng)絡結(jié)構(gòu)；Transformer可以更加關注輸入與目標之間的關系，將Transformer[75-80]應用于低光照圖像增強可以得到質(zhì)量較高的圖像。因此，如何結(jié)合低光照圖像的特點進一步地探究合適有效的網(wǎng)絡結(jié)構(gòu)盡可能多地獲取到圖像的特征用于后續(xù)處理也是一個未來的研究方向。

（2）使用新的損失函數(shù)

損失函數(shù)是決定生成圖像與原始圖像質(zhì)量的關鍵。目前的大多數(shù)模型都是參考視覺任務來設計的，常用的損失函數(shù)已經(jīng)不能解決一些特定問題，所以設計一種新的損失函數(shù)是非常有必要的。一些深度神經(jīng)網(wǎng)絡[81-82]的理論給圖像增強任務帶來了可能。因此，如何將現(xiàn)實的視覺效果與低光圖像的特征相結(jié)合來設計損失函數(shù)是一個極具潛力的研究方向。

（3）低光照視頻增強

雖然低光照圖像增強研究較多，但是低光照視頻增強的研究卻很少。低光照視頻需要考慮視頻幀與幀之間的連續(xù)性以及閃爍問題。將現(xiàn)有的方法直接應用到低光照視頻增強中，往往會產(chǎn)生偽影以及不連續(xù)的問題。因此如何應用到視頻領域以及結(jié)合視頻去模糊[83-84]以及視頻超分辨率[85]保持視頻幀與幀之間的連續(xù)性也是一個未來值得研究的方向。

（4）結(jié)合語義信息

近年來，語義信息應用得越來越多，在低光照圖像增強中也是十分重要的。語義信息包含了圖像的顏色等特征，能使得網(wǎng)絡區(qū)分圖像中的不同亮度的區(qū)域，對于細節(jié)恢復很有益處，已經(jīng)廣泛應用于圖像超分辨率[86-87]、人臉修復[88]等方面。因此，利用語義信息帶來的優(yōu)勢結(jié)合語義信息[89]也是一個未來的熱門研究方向。