楊 勇，劉惠義

極端低光情況下的圖像增強方法

楊 勇，劉惠義

(河海大學(xué)計算機與信息學(xué)院，江蘇 南京 211100)

針對極端低光情況下的圖像增強問題，提出一種基于編碼解碼網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)的端到端的全卷積網(wǎng)絡(luò)模型。設(shè)計一個包括編碼解碼網(wǎng)絡(luò)和精細網(wǎng)絡(luò)2部分的端到端的全卷積網(wǎng)絡(luò)模型作為轉(zhuǎn)換網(wǎng)絡(luò)，直接處理短曝光圖像的光傳感器數(shù)據(jù)得到RGB格式的輸出圖像。該網(wǎng)絡(luò)包含對抗思想、殘差結(jié)構(gòu)和感知損失，先通過對極低光圖像編碼解碼重構(gòu)圖像的低頻信息，之后將重構(gòu)的低頻信息輸入殘差網(wǎng)絡(luò)中進而重構(gòu)出圖像的高頻信息。在SID數(shù)據(jù)集上進行實驗驗證，結(jié)果表明，該方法有效地提高了極端低光情況下拍攝得到的圖像進行低光增強之后的視覺效果，增加了細節(jié)表達，使得圖像中物體的紋理更加清楚和邊緣更加分明。

深度學(xué)習(xí)；卷積神經(jīng)網(wǎng)絡(luò)；極低光圖像；生成對抗網(wǎng)絡(luò)；圖像增強

在光線昏暗的環(huán)境下，攝影師拍攝出正常成像非常困難。在更極端的黑暗情況下，如光照嚴重受限(月光)或短時間的曝光，成像就更為困難。低光下拍攝的圖像和極低光下拍攝的圖像對比如圖1所示，明顯看出極低光下拍攝的圖像相比低光下拍攝的圖像被隱藏的信息更多。

圖1 低光下拍攝的圖像(左)與極低光拍攝的圖像(右)對比

在圖像拍攝過程中可以通過提高感光度(ISO)增加亮度，但不可避免地會放大噪音。采用縮放或直方圖拉伸等一系列后期處理方法可以減弱噪音的影響，但并不能有效解決低信噪比的問題。在拍攝過程中采用打開光圈、延長曝光時間、使用閃光燈等物理方法雖然能達到在低光環(huán)境下增加信噪比的效果，但圖像會因為相機的抖動或物體的移動而變得模糊。因此，低光圖像的增強一直是計算機視覺領(lǐng)域極具挑戰(zhàn)性的研究方向，極低光情況作為低光情況中的特例，也受到國內(nèi)外學(xué)者的廣泛關(guān)注。

目前研究人員主要通過降噪、去模糊、低光圖像增強等一系列技術(shù)用于處理低光環(huán)境下的圖像。早期的傳統(tǒng)方法主要圍繞著直方圖均衡化(histogram equalization，HE)和伽馬修正。HE方法直接利用圖像的直方圖來增加圖像的全局對比度，經(jīng)典的伽馬修正方法則通過加大圖像的明暗區(qū)域的差值達到圖像增強的目的。

結(jié)合圖像去霧去噪算法的傳統(tǒng)方法包括：DONG等[1]提出一種結(jié)合圖像去霧算法的低光視頻增強方法；YING等[2]提出一種基于融合的低光增強方法；REN等[3]提出一種結(jié)合圖像去噪的低光增強方法。結(jié)合暗通道先驗、Retinex等先驗理論的傳統(tǒng)方法包括：GUO等[4]提出一種反轉(zhuǎn)低光圖像再增強的低光增強方法；JOBSON等[5]提出一種帶色彩恢復(fù)的多尺度Retinex增強方法(multi-scalewith color restoration，MSRCR)。相比于未使用先驗知識的傳統(tǒng)方法，這些方法可以對處于低光情況下的圖片進行更有效的增強處理，但處理更極端低光情況下的圖像的效果不甚理想。

隨著機器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)發(fā)展，有些學(xué)者提出了基于機器學(xué)習(xí)或深度學(xué)習(xí)的端到端方法和結(jié)合先驗知識的深度學(xué)習(xí)方法。端到端的方法包括：YAN等[6]提出一種基于機器學(xué)習(xí)排序的自動增強圖像方法；LORE等[7]提出一種基于堆疊自編碼器的增強圖像方法；YAN等[8]提出一種基于卷積網(wǎng)絡(luò)的自動增強圖像方法；GHARBI等[9]提出一種雙邊仿射學(xué)習(xí)方法(high-dynamic range-net)；PARK等[10]提出了基于深度強化學(xué)習(xí)的圖像增強方法；IGNATOV等[11]提出一種弱監(jiān)督的圖像增強方法；CAI等[12]提出了通過學(xué)習(xí)圖像對比度實現(xiàn)圖像增強的方法；HU等[13]提出一種將圖像處理操作建模成與分辨率無關(guān)的可微分濾波器實現(xiàn)低光增強的方法等。結(jié)合先驗知識的深度學(xué)習(xí)方法包括：PARK等[14]提出了基于空間自適應(yīng)的L2范數(shù)和Retinex理論的低光圖像增強方法；SHEN等[15]提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的多尺度Retinex方法(multi-scale Retinex-net，MSR net)；WEI等[16]提出一種結(jié)合Retinex理論和卷積網(wǎng)絡(luò)理論的低光增強方法(Retinex-net)。相比傳統(tǒng)方法，這些方法在處理低光圖像上，可以得到更好的視覺效果。但在處理極端低光情況下拍攝的圖像時，仍然會產(chǎn)生嚴重的噪音干擾。

CHEN等[17]在2018年首次采用SID (see in the dark)數(shù)據(jù)集，基于數(shù)據(jù)驅(qū)動方法訓(xùn)練一個端到端的網(wǎng)絡(luò)，實現(xiàn)了極端低光情況下圖像的增強，取得了良好的效果，但該方法設(shè)計的網(wǎng)絡(luò)對物體細節(jié)的還原仍然有著很大的不足，增強之后的圖像中物體的邊緣存在模糊現(xiàn)象。

本文在文獻[17]基礎(chǔ)上，對其編碼解碼網(wǎng)絡(luò)進行了改進，引入殘差網(wǎng)絡(luò)提升對圖像細節(jié)的還原效果，使得增強后圖像中物體的紋理和邊緣均更加清晰，有著更好的視覺效果。

1 極低光圖像增強模型構(gòu)建

圖像的頻率是表征圖像中灰度變化劇烈程度的指標，一張圖像所包含的信息可以分為：低頻信息、高頻信息2類，低頻信息即圖像在光滑部位的整體灰度信息，高頻信息即圖像的邊緣輪廓信息。在超分辨率(super resolution)問題上，殘差結(jié)構(gòu)已經(jīng)被證明可以很好地生成圖像的高頻信息即邊緣輪廓及紋理信息[18]。

本文構(gòu)建的極低光圖像增強網(wǎng)絡(luò)模型的基本思想是讓網(wǎng)絡(luò)的前半部分生成圖像的低頻信息，后半部分對低頻信息進行加強得到圖像的高頻信息。最終輸出擁有更多細節(jié)的圖像。假設(shè)訓(xùn)練數(shù)據(jù)集為{low，I，I}，low為輸入的短曝光極低光圖像的原始光傳感器數(shù)據(jù)，大小為′′1，其為拜爾陣列，每個像素點16位，范圍0～65 535，可通過插值算法轉(zhuǎn)換成大小為′′3的RGB格式的圖片。I為極低光對應(yīng)的正常曝光圖像經(jīng)高斯濾波得到的低分辨率圖像，大小為(/4)′(/4)′3。I為短曝光圖片對應(yīng)的正常曝光、正常分辨率的圖片，大小為′′3。

在對極低光圖像進行增強前需將圖片原始光傳感器數(shù)據(jù)進行預(yù)處理，過程如圖2所示。高度、寬度、通道數(shù)1的原始傳感器數(shù)據(jù)減去黑色背景數(shù)據(jù)，然后乘以亮度放大因子，得到高度/2、寬度/2、通道數(shù)4的RGB格式輸入數(shù)據(jù)。其中亮度放大因子在訓(xùn)練階段由I與low的曝光時間的比值確定，通常取值為100、250、300，在測試階段也由I與low的曝光時間的比值確定，在實際應(yīng)用過程中可任意取值。相比平常使用RGB圖片，從圖片中的原始傳感器數(shù)據(jù)會得到額外的G通道數(shù)據(jù)。

圖2 輸入數(shù)據(jù)預(yù)處理

1.1 對抗網(wǎng)絡(luò)架構(gòu)

采用對抗網(wǎng)絡(luò)架構(gòu)實現(xiàn)極低光圖像的增強，分為轉(zhuǎn)換網(wǎng)絡(luò)T和辨別網(wǎng)絡(luò)D2部分。轉(zhuǎn)換網(wǎng)絡(luò)模型結(jié)構(gòu)如圖3所示。

卷積層為一層卷積加一層激活。轉(zhuǎn)換網(wǎng)絡(luò)T由前半部分U-Net架構(gòu)的編碼解碼網(wǎng)絡(luò)和后半部分由殘差模塊和上采樣層組成的精細網(wǎng)絡(luò)組成，其中為卷積核大小；為卷積核數(shù)量；為卷積步長。轉(zhuǎn)換網(wǎng)絡(luò)T輸入原始傳感器數(shù)據(jù)，輸出增強之后的RGB格式的圖像。其中編碼解碼網(wǎng)絡(luò)中的編碼解碼塊結(jié)構(gòu)如圖4所示，輸入特征圖經(jīng)過2次卷積和Leaky-ReLU激活得到輸出特征圖。精細網(wǎng)絡(luò)中殘差塊結(jié)構(gòu)如圖5所示，輸入特征圖依次經(jīng)過卷積、Batch-Normal、PRelU、卷積、Batch-Normal得到特征圖，再加上輸入特征圖得到最終的輸出特征圖。精細網(wǎng)絡(luò)中上采樣層結(jié)構(gòu)如圖6所示，輸入特征圖依次經(jīng)過卷積、2倍放大倍數(shù)的PixelShuffle、PReLU、卷積、2倍放大倍數(shù)的PixelShuffle、PReLU、卷積得到輸出特征圖。

圖3 轉(zhuǎn)換網(wǎng)絡(luò)T模型結(jié)構(gòu)

圖4 編碼解碼塊示意圖

圖5 殘差塊示意圖

圖6 上采樣層示意圖

辨別網(wǎng)絡(luò)D的網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示，卷積層也為1層卷積加1層激活。由9層卷積層和1層全連接層構(gòu)成，其中為卷積核大?。粸榫矸e核數(shù)量；為卷積步長。辨別網(wǎng)絡(luò)D輸入一張圖片，輸出其真?zhèn)巍?/p>

圖7 辨別網(wǎng)絡(luò)D模型結(jié)構(gòu)

轉(zhuǎn)換網(wǎng)絡(luò)T的功能是輸入極低光圖像的光傳感器數(shù)據(jù)low增強得到正常曝光的RGB圖像result，其轉(zhuǎn)換見式(1)。辨別網(wǎng)絡(luò)D的功能是辨別輸入圖像為真實圖像I，還是通過轉(zhuǎn)換網(wǎng)絡(luò)得到的增強圖像result，如式(2)所示

在訓(xùn)練過程中，同時訓(xùn)練一個轉(zhuǎn)換網(wǎng)絡(luò)T和一個辨別網(wǎng)絡(luò)D。對抗網(wǎng)絡(luò)極大極小優(yōu)化過程計算見式(3)

1.2 模型損失函數(shù)構(gòu)建

轉(zhuǎn)換網(wǎng)絡(luò)T通過損失函數(shù)L學(xué)習(xí)極低光圖像的原始傳感器數(shù)據(jù)到正常曝光的RGB圖片的映射，轉(zhuǎn)換網(wǎng)絡(luò)的損失函數(shù)L由3部分構(gòu)成，見式(4)

其中，L為MSE均方損失；L為圖片感知損失；L為對抗損失。,,分別為MSE均方損失系數(shù)、感知損失系數(shù)、對抗損失系數(shù)。

采用MSE均方損失函數(shù)計算轉(zhuǎn)換網(wǎng)絡(luò)增強之后的圖像和正常曝光的圖像像素級上的差異，具體見式(5)

其中，為增強之后圖像的寬；為增強之后圖像的高。

優(yōu)化MSE均方損失函數(shù)會導(dǎo)致出現(xiàn)生成圖像缺乏高頻信息及圖像過于平滑的問題。文獻[19]針對超分辨率問題提出了感知損失。感知損失是比較生成圖像和目標圖像分別通過在ImageNet數(shù)據(jù)上預(yù)訓(xùn)練的VGG16網(wǎng)絡(luò)卷積得到的激活前的特征圖之間的差異，優(yōu)化感知損失可以使生成圖像和目標圖像的高頻信息接近，從而有效地重構(gòu)生成圖像的高頻信息部分，使得生成圖像擁有更多地細節(jié)信息。具體計算如式(6)

在重構(gòu)內(nèi)容損失和感知損失之外，為了使轉(zhuǎn)換網(wǎng)絡(luò)得到更自然的圖像，還增加了生成對抗損失，如式(7)

1.3 階段訓(xùn)練

由于圖3轉(zhuǎn)換網(wǎng)絡(luò)T有較深的深度，所以采用“階段訓(xùn)練整體優(yōu)化”的策略優(yōu)化轉(zhuǎn)換網(wǎng)絡(luò)T。依次優(yōu)化轉(zhuǎn)換網(wǎng)絡(luò)T中編碼解碼網(wǎng)絡(luò)部分、轉(zhuǎn)換網(wǎng)絡(luò)T中精細網(wǎng)絡(luò)部分和轉(zhuǎn)換網(wǎng)絡(luò)T。編碼解碼網(wǎng)絡(luò)和精細網(wǎng)絡(luò)的優(yōu)化分別通過訓(xùn)練2個子網(wǎng)絡(luò)T-1和T-2實現(xiàn)。子網(wǎng)絡(luò)T-1和T-2的結(jié)構(gòu)分別如圖8和圖9所示，其中為卷積核大?。粸榫矸e核數(shù)量；為卷積步長，圖中的編碼塊、解碼塊、殘差塊均與圖3轉(zhuǎn)換網(wǎng)絡(luò)T對應(yīng)位置保持一致。

圖8 轉(zhuǎn)換網(wǎng)絡(luò)T-1模型結(jié)構(gòu)

圖9 轉(zhuǎn)換網(wǎng)絡(luò)T-2模型結(jié)構(gòu)

子網(wǎng)絡(luò)T-1輸入原始傳感器數(shù)據(jù)low，得到一張低分辨率正常光圖片I，其損失函數(shù)只包含像素級的均方損失。子網(wǎng)絡(luò)T-2輸入一張低分辨率圖片I得到對應(yīng)的高分辨率圖片I，其損失函數(shù)包含像素級的均方損失、感知損失和對抗損失。

2 實驗與結(jié)果分析

2.1 實驗條件及參數(shù)設(shè)置

本實驗使用pytorch深度學(xué)習(xí)框架實現(xiàn)網(wǎng)絡(luò)，在顯存為16 G的Tesla P100 GPU上訓(xùn)練。使用的SID數(shù)據(jù)集包含5 094個原始的短曝光極低光圖像，每個極低光圖像均有對應(yīng)的長曝光參考圖像。長曝光參考圖像I高斯濾波縮小4倍得到低分辨率圖像I，圖像寬度和高度均為512，每批次輸入1張圖片。預(yù)訓(xùn)練中，轉(zhuǎn)換子網(wǎng)絡(luò)T-1采用Adam優(yōu)化算法，beta1設(shè)為0.900，beta2設(shè)為0.999，訓(xùn)練總批次為4 000，學(xué)習(xí)率為10–4，在批次大于2 000后，學(xué)習(xí)率為10–5。轉(zhuǎn)換子網(wǎng)絡(luò)T-2采用Adam優(yōu)化算法，beta1設(shè)為0.500，beta2設(shè)為0.999，損失函數(shù)中λ設(shè)為1.000，λ設(shè)為0.006，λ設(shè)為0.001。訓(xùn)練總批次為2′104，學(xué)習(xí)率為10–4，在104批次后將學(xué)習(xí)率慢慢衰減致10–6。轉(zhuǎn)換網(wǎng)絡(luò)T采用Adam優(yōu)化算法，beta1設(shè)為0.500，beta2設(shè)為0.999，損失函數(shù)中λ設(shè)為1.000，λ設(shè)為0.006，λ設(shè)為0.001。訓(xùn)練總批次為2′104，學(xué)習(xí)率為10–4，在前100個批次將學(xué)習(xí)率線性衰減到10–5，在104批次內(nèi)將學(xué)習(xí)率線性衰減到10–6，之后再以學(xué)習(xí)率10–6訓(xùn)練104次。

2.2 實驗結(jié)果

為了驗證本文方法的有效性，分別與LIME方法[4]、Retinex-Net方法[16]、文獻[17]所提極端低光增強方法對比。LIME方法的結(jié)果如圖10所示，

其中1和4為輸入極低光圖像，2和5為增強之后的結(jié)果，3和6為極低光圖像對應(yīng)的長曝光圖像。Retinex-Net方法的結(jié)果如圖11所示，其中1和4為輸入極低光圖像，2和5為分解網(wǎng)絡(luò)得到的反射圖，3和6為分解網(wǎng)絡(luò)得到的光照圖。文獻[17]方法與本文方法的對比如圖12所示，其中1為極低光環(huán)境下短曝光未經(jīng)過任何處理的圖像，2為短曝光對應(yīng)的長曝光參考圖像，3為文獻[17]方法得到的結(jié)果，4為本文方法得到的結(jié)果，5為長曝光參考圖像的細節(jié)，6為文獻[17]的圖像細節(jié)，7為本文方法圖像細節(jié)。通過圖10和圖11可以看出，LIME，Retinex-Net這些低光增強方法無法處理極端低光的圖像。從圖12可以看出，通過本文方法得到的圖像細節(jié)被更進一步地還原，物體的紋理更為細致、輪廓更加分明。

通過峰值信噪比(peak signalto noise ratio，PSNR)和結(jié)構(gòu)相似性(structural similarity index，SSIM)指標與文獻[17]、LIME、Retinex-Net方法進行定量對比。PSNR是一種基于誤差敏感的圖像質(zhì)量評價指標，SSIM是一種從圖片組成角度分析圖片相似度的評價指標。但是因人眼視覺特性的因素，PSNR或SSIM值高的圖片，其視覺上可能并不清楚，但PSNR和SSIM依然是衡量圖像質(zhì)量的重要參考標準。定量對比實驗結(jié)果見表1。從表1結(jié)果可以看出，本文方法在PSNR與SSIM指標數(shù)值上與LIME方法和Retinex-Net方法相比有大幅提升，與文獻[17]相比有微小提升。對圖12中2張對比圖分別編號圖像1和2，計算圖像1和2的PSNR和SSIM值與文獻[17]方法進行對比，其結(jié)果見表2。從表2可以看出，雖然圖像2在細節(jié)上提升明顯，但是其PSNR和SSIM值相比文獻[17]卻下降了。為了更加準確地衡量模型增強效果，另從數(shù)據(jù)集的測試集中隨機選擇200張極端低光圖像經(jīng)由不同模型進行增強處理，計算這200張圖片的PSNR和SSIM的平均值進行對比實驗，隨機抽取圖像的實驗結(jié)果見表3。從表3可以看出，本文方法對大部分極低光增強所得圖像的PSNR值和SSIM值優(yōu)于其他方法。表4為本文方法的消融實驗。從表4可以看出，預(yù)處理策略、殘差網(wǎng)絡(luò)和感知損失均可有效提升增強之后圖像的PSNR和SSIM指標值。

圖10 LIME實驗結(jié)果

圖11 Retinex-Net實驗結(jié)果

圖12 文獻[17]方法結(jié)果與本文方法結(jié)果對比圖

表1 定量實驗結(jié)果

表2 圖12中2組對比圖的PSNR值和SSIM值

表3 隨機抽取圖像的實驗結(jié)果

表4 消融實驗結(jié)果

3 結(jié) 論

本文針對極端低光情況下的圖像增強問題，提出一種新的增強模型，引入殘差網(wǎng)絡(luò)和感知損失重構(gòu)圖片的高頻信息，更好地還原了圖像的細節(jié)，得到了更好的視覺效果，在PSNR和SSIM這2個定量指標上也有所提升。另一方面目前亮度放大倍數(shù)為人為輸入，未來可以根據(jù)極低光圖像的信息估算出亮度放大倍數(shù)。如何在進一步地提升增強后圖像視覺效果的同時提高PSNR和SSIM定量指標的值，以及如何估算光度放大倍數(shù)，將是未來研究的方向。

[1] DONG X, WANG G, PANG Y, et al. Fast efficient algorithm for enhancement of low lighting video[C]// 2011 IEEE International Conference on Multimedia and Expo. New York: IEEE Press, 2011: 1-6.

[2] YING Z Q, LI G, REN Y R, et al. A new image contrast enhancement algorithm using exposure fusion framework[M]//Computer Analysis of Images and Patterns. Cham: Springer International Publishing, 2017: 36-46.

[3] REN X, LI M, CHENG W H, et al. Joint enhancement and denoising method via sequential decomposition[C]// 2018 IEEE International Symposium on Circuits and Systems (ISCAS). New York: IEEE Press, 2018: 1-5.

[4] GUO X J, LI Y, LING H B. LIME: low-light image enhancement via illumination map estimation[J]. IEEE Transactions on Image Processing, 2017, 26(2): 982-993.

[5] JOBSON D J, RAHMAN Z, WOODELL G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes[J]. IEEE Transactions on Image Processing, 1997, 6(7): 965-976.

[6] YAN J Z, LIN S, KANG S B, et al. A learning-to-rank approach for image color enhancement[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2014: 2987-2994.

[7] LORE K G, AKINTAYO A, SARKAR S. LLNet: a deep autoencoder approach to natural low-light image enhancement[J]. Pattern Recognition, 2017, 61: 650-662.

[8] YAN Z C, ZHANG H, WANG B Y, et al. Automatic photo adjustment using deep neural networks[J]. ACM Transactions on Graphics, 2016, 35(2): 1-15.

[9] GHARBI M, CHEN J W, BARRON J, et al. Deep bilateral learning for real-time image enhancement[EB/OL]. [2019-12-03]. https://arxiv.org/ abs/1707.02880.

[10] PARK J, LEE J Y, YOO D, et al. Distort-and-recover: color enhancement using deep reinforcement learning[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 5928-5936.

[11] IGNATOV A, KOBYSHEV N, TIMOFTE R, et al. WESPE: weakly supervised photo enhancer for digital cameras[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). New York: IEEE Press, 2018: 691-700.

[12] CAI J R, GU S H, ZHANG L. Learning a deep single image contrast enhancer from multi-exposure images[J]. IEEE Transactions on Image Processing, 2018, 27(4): 2049-2062.

[13] HU Y, HE H, XU C, et al. Exposure: a white-box photo post-processing framework[J]. ACM Transactions on Graphics (TOG), 2018, 37(2): 1-17.

[14] PARK S, YU S, MOON B, et al. Low-light image enhancement using variational optimization-based retinex model[J]. IEEE Transactions on Consumer Electronics, 2017, 63(2): 178-184.

[15] SHEN L, YUE Z H, FENG F, et al. MSR-net: low-light image enhancement using deep convolutional network[EB/OL]. [2019-11-29]. https://arxiv.org/abs/ 1711.02488.

[16] WEI C, WANG W J, YANG W H, et al. Deep retinex decomposition for low-light enhancement[EB/OL]. [2019-12-04]. https://arxiv.org/abs/1808.04560.

[17] CHEN C, CHEN Q F, XU J, et al. Learning to see in the dark[EB/OL]. [2019-12-03]. https://arxiv.org/abs/1805. 01934.

[18] YAN Z C, ZHANG H, WANG B Y, et al. Automatic photo adjustment using deep neural networks[J]. ACM Transactions on Graphics, 2016, 35(2): 1-15.

[19] LEDIG C, THEIS L, HUSZAR F, et al. Photo-realistic single image super-resolution using a generative adversarial network[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2017: 4681-4690.

The method of image enhancement under extremely low-light conditions

YANG Yong, LIU Hui-yi

(College of Computer and Information, Hohai University, Nanjing Jiangsu 211100, China)

The process of obtaining the image with normal exposure time from the image with short exposure time photographed in extreme low-light conditions is defined as the image enhancement under extreme low-light conditions. In this paper, we proposed a method for the enhancement of the extreme low-light image based on the encoding-and-decoding network architecture and residual block. We designed an end-to-end fully convolutional network as the translation model, which consists of two parts: the encoding-and-decoding network and refinement network. The input data of the translation model is the extreme low-light raw data captured with short exposure time in extreme low-light conditions, and the output data is the image in RGB format. Firstly, the low-frequency information of the image was reconstructed via U-net and then was input into the residual network to reconstruct the high-frequency information of the image. Through the experiments carried out on the SID data set and comparisons with previous research results, it is proved that the method described in this paper can effectively enhance the visual effect of the images captured under extreme low-light conditions and improved with low-light enhancement, and increase the expression of the image details.

deep learning; convolutional neural network; extremely low-light image; generative adversarial; image enhancement

TP 391

10.11996/JG.j.2095-302X.2020040520

A

2095-302X(2020)04-0520-09

2020-01-30；

2020-03-02

2 March，2020

30 January，2020；

楊 勇(1996-)，男，河南信陽人，碩士研究生。主要研究方向為計算機視覺、深度學(xué)習(xí)。E-mail：775654398@qq.com

YONG Yong (1996-), male, master student. His main research interests cover computer vision, deep learning. E-mail：775654398@qq.com

劉惠義(1961-)，男，江蘇常州人，教授，博士。主要研究方向為計算機圖像學(xué)、CAD/CAM、虛擬現(xiàn)實、科學(xué)計算可視化。E-mail：hyliu@hhu.edu.cn

LIU Hui-yi (1961-), male, professor, Ph.D. His main research interests cover computer graphics, CAD/CAM, virtual reality, visualization of scientific computation. E-mail：hyliu@hhu.edu.cn