帥姣妍 顧曉娟

1.北京電影學(xué)院中國(guó)電影高新技術(shù)研究院,北京 100088

2.北京電影學(xué)院影視技術(shù)系,北京 100088

1 前言

近幾年,隨著抖音、快手、火山、Tik Tok、Snapchat等短視頻平臺(tái)的普及和迅速發(fā)展,使得短視頻創(chuàng)作逐漸流行起來(lái),越來(lái)越多用戶開(kāi)始用手機(jī)、數(shù)碼相機(jī)等拍攝短視頻來(lái)記錄生活或進(jìn)行短片創(chuàng)作,并將創(chuàng)作的短視頻發(fā)布到社交平臺(tái)上進(jìn)行分享。根據(jù)CNNIC第49次《中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》顯示,截至2021年12月,我國(guó)短視頻用戶規(guī)模為9.34億人次[1],占網(wǎng)民整體的90%以上。

然而大部分短視頻用戶缺乏專業(yè)的拍攝知識(shí)和拍攝技能,或者受限于拍攝環(huán)境或拍攝設(shè)備,導(dǎo)致拍攝出的短視頻經(jīng)常出現(xiàn)對(duì)比度太低、畫面過(guò)曝、暗部缺乏細(xì)節(jié)等情況,而曝光校正 (Exposure Correction)方法能夠幫助用戶解決以上問(wèn)題,調(diào)整視頻的亮度和對(duì)比度,使畫面達(dá)到較好的曝光水平。

曝光校正算法的主要目的是讓所獲得的數(shù)字視頻能達(dá)到一個(gè)合適亮度,顯示更豐富的細(xì)節(jié),提高觀眾的畫質(zhì)感受。若曝光過(guò)度,視頻畫面就會(huì)整體過(guò)亮,圖像細(xì)節(jié)信息損失嚴(yán)重。若曝光不足,則會(huì)導(dǎo)致視頻畫面過(guò)暗,同樣會(huì)對(duì)細(xì)節(jié)信息造成不可逆的損傷。目前常用的曝光算法有基于直方圖均衡化(Histogram Equalization)的算法[2-4]、基于Retinex理論 (The Retinex Theory)的算法[5-8],以及基于深度學(xué)習(xí)的方法[9-14]。

本文對(duì)已有的視頻曝光校正解決方案和不同類型的圖像曝光校正算法進(jìn)行了詳細(xì)梳理,并對(duì)它們的曝光校正效果進(jìn)行了對(duì)比,最后分析了這些解決方案和算法對(duì)短視頻處理的適用性。

2 曝光校正相關(guān)算法

2.1 基于直方圖均衡化的算法

直方圖可以體現(xiàn)各個(gè)亮度等級(jí)的像素?cái)?shù)量和分布情況,若圖像亮度過(guò)暗或者過(guò)亮,則直方圖的分布較為集中,所包含的亮度信息較少,圖像細(xì)節(jié)較少,而直方圖均衡化則可以對(duì)單幀圖像亮度進(jìn)行重新調(diào)整,是經(jīng)典的曝光校正方法。

2.1.1 直方圖均衡化(Histogram Equalization,HE)

直方圖均衡化是對(duì)單幀圖像的整體亮度范圍進(jìn)行重新調(diào)整,將像素更加均勻地分布到直方圖上[2]。

假設(shè)一幅離散圖像的亮度值為 {x},ni表示亮度級(jí)別i出現(xiàn)的次數(shù),則亮度為i的像素的出現(xiàn)概率是:

其中L是圖像中所有的亮度值 (通常為256),n是圖像中所有的像素?cái)?shù),Px(i)為像素值為i的圖像的直方圖,歸一化到[0,1]。

Px(i)的累積分布函數(shù) (Cumulative Distribution Function,CDF)為:

假設(shè)原圖像 {x}經(jīng)過(guò)亮度映射生成新圖像{y},即y=T (x),y 的累積分布函數(shù)就可以在所有值范圍內(nèi)進(jìn)行線性化,轉(zhuǎn)換公式定義為:

對(duì)于常數(shù)K,CDF的性質(zhì)可以進(jìn)行以下變換:

其中k∈[0,L)。T將不同的等級(jí)映射到 [0,1]域,由于對(duì){x} 進(jìn)行了歸一化,因此需要將值映射回最初域:

當(dāng)單幀圖像的亮度范圍比較集中、直方圖峰值較窄,即圖像整體過(guò)暗或者過(guò)亮?xí)r,可以通過(guò)均衡化獲得更多的細(xì)節(jié),特別是在衛(wèi)星視頻圖像、X 射線等科學(xué)類圖像上較為適用。

2.1.2 自適應(yīng)直方圖均衡化 (Adaptive Histogram Equalization,AHE)

AHE與HE 的不同之處在于,AHE 適用于提高局部對(duì)比度[3]。AHE將圖像切割為相同大小的矩形塊,在每個(gè)矩形區(qū)域內(nèi)進(jìn)行直方圖均衡,這樣可以對(duì)圖像的局部進(jìn)行亮度調(diào)整,提高局部細(xì)節(jié)。當(dāng)矩形塊的大小為8×8時(shí),處理效果最佳[3]。

但是當(dāng)矩形區(qū)域內(nèi)的亮度范圍較小,即局部直方圖出現(xiàn)較窄的峰值時(shí),AHE 會(huì)將峰值分散映射到整個(gè)亮度范圍,會(huì)導(dǎo)致亮度范圍較小的區(qū)域在處理后產(chǎn)生明顯的噪聲。

2.1.3 限制對(duì)比度自適應(yīng)直方圖均衡化 (Contrast Limited Adaptive Histogram Equalization,CLAHE)

由于AHE 會(huì)出現(xiàn)局部噪聲過(guò)度放大的問(wèn)題,因此Pizer 等人提出了CLAHE的方法對(duì)AHE進(jìn)行改進(jìn)[3]。在計(jì)算局部區(qū)域直方圖的CDF 之前,CLAHE會(huì)設(shè)定一個(gè)閾值對(duì)直方圖進(jìn)行裁剪,裁剪掉的像素將均勻分布到直方圖的其他區(qū)域,如圖1所示。

圖1 CLAHE裁剪示意圖①

不論是AHE 還是CLAHE,由于對(duì)圖像進(jìn)行了分塊操作,處理后的圖像會(huì)出現(xiàn)塊狀效應(yīng),并且分塊計(jì)算映射函數(shù)比較復(fù)雜,因此采用雙線性差值的方式計(jì)算映射函數(shù)[4],以此提高計(jì)算效率和抑制塊狀效應(yīng)(圖2)。

圖2 雙線性差值示意圖[4]

CLAHE可以對(duì)單幀圖像進(jìn)行局部亮度調(diào)整,并且可以有效抑制處理后的噪聲問(wèn)題,但是CLAHE處理后的圖像與原始圖像的亮度級(jí)并不是1∶1的對(duì)應(yīng)關(guān)系,因此該方法不適用于需要精確測(cè)量的科學(xué)圖像上。并且如果原始單幀圖像本身亮度變化較大,亮度梯度較大,則處理后的圖像會(huì)出現(xiàn)失真問(wèn)題。

2.2 基于Retinex理論的算法

Edwin H.Land在做人類視覺(jué)實(shí)驗(yàn)時(shí)首次提出Retinex 一詞[5],由Retina (視網(wǎng)膜)和Cortex(大腦皮層)組成,表示人類視覺(jué)系統(tǒng)在感受外界物體顏色時(shí)將同時(shí)受到眼睛和大腦的影響。Retinex理論認(rèn)為物體的顏色由物體對(duì)紅綠藍(lán)三種光線的反射率決定,而不是由光照強(qiáng)度決定,即使光照不均勻,人類對(duì)物體的顏色感知也不會(huì)受到影響,即具有顏色恒常性(Color Constancy)。

Retinex理論將人眼所獲得的圖像S 看做入射光分量L 與物體反射光分量R 的乘積,可以表示為:

式(6)中(x,y)表示像素的二維坐標(biāo)。

由于人眼視覺(jué)特性曲線在數(shù)學(xué)上符合對(duì)數(shù)形式,在公式兩邊同時(shí)對(duì)數(shù)運(yùn)算可得:

在現(xiàn)實(shí)情況中,直接測(cè)量反射分量R 比較困難,因此一般先通過(guò)所獲得的圖像,估算出入射光分量L,以此算出物體的反射分量,即:

Retinex算法的基本流程如圖3所示。

圖3 Retinex算法的基本流程

Retinex算法主要用于低照度區(qū)域的光照補(bǔ)償,不適用于曝光過(guò)度的情況,并且需要一直優(yōu)化參數(shù)來(lái)達(dá)到較好的光照補(bǔ)償?shù)男Ч?/p>

2.2.1 單尺度Retinex算法 (Single Scale Retinex,SSR)

Jobson等人在Edwin H.Land的理論基礎(chǔ)上,提出了單尺度Retinex算法[6]。該算法認(rèn)為用高斯環(huán)繞函數(shù)對(duì)原圖像進(jìn)行卷積運(yùn)算,處理后的圖像可以估算為入射光分量,這樣就可以用原圖像S與入射光分量L 計(jì)算出反射分量。因此由式 (8)可以轉(zhuǎn)換為:

式(9)中i為顏色通道,若為灰度圖像,則只有一個(gè)灰度通道,若為彩色圖像,則為RGB三個(gè)通道;*表示進(jìn)行卷積操作,G 為高斯環(huán)繞函數(shù),表達(dá)式為:

其中K 需滿足:

式(10)中σ為高斯標(biāo)準(zhǔn)差,其取值會(huì)影響單幀圖像曝光調(diào)整的效果,若取值較小,則細(xì)節(jié)還原較好,但是色彩會(huì)出現(xiàn)失真情況;若取值較大,色彩還原較好,則細(xì)節(jié)信息會(huì)減少。

2.2.2 多尺度Retinex 算法 (Multi-scale Retinex,MSR)

由于SSR 在色彩還原和細(xì)節(jié)增強(qiáng)兩個(gè)方面無(wú)法同時(shí)改善,因此Jobson 等人對(duì)SSR 進(jìn)行了改進(jìn),提出了多尺度Retinex算法[7]。MSR 采用多個(gè)不同參數(shù)的高斯函數(shù)進(jìn)行SSR,然后再對(duì)多個(gè)SSR 結(jié)果進(jìn)行加權(quán)平均處理,MSR 其表達(dá)式為:

式中N 為高斯函數(shù)的個(gè)數(shù),wn是不同參數(shù)n所占的權(quán)重,需滿足=1wn=1,Gn(x,y)表示不同參數(shù)n所對(duì)應(yīng)的高斯函數(shù),公式為式(10)。通常情況N取值為3時(shí)效果較好,w1=w2=w3=1/3。

2.2.3 帶色彩復(fù)原的多尺度Retinex 算法(Multi-scale Retinex with Color Restoration,MSRCR)

由于MSR 是對(duì)圖像的RGB 三個(gè)通道分別處理之后再合成新的圖像,這種處理方式很容易導(dǎo)致RGB三個(gè)顏色分量的比例關(guān)系發(fā)生變化,與原圖中RGB的顏色分量比例不同,從而導(dǎo)致顏色失真,因此Jobson等人引入了色彩復(fù)原因子C,提出了帶色彩復(fù)原的MSRCR[7],用以調(diào)整RGB三個(gè)通道的比例。

首先根據(jù)原圖求出色彩復(fù)原因子C:

式(13)中β為增益常數(shù),a為非線性調(diào)因子,I(x,y)為原圖像,i為第i個(gè)顏色通道,通常為RGB三個(gè)通道,則S=3。

計(jì)算出每個(gè)通道的C 后,加入MSR 的處理步驟中,則可以得到MSRCR 處理結(jié)果,即:

MSRCR 可以在調(diào)整對(duì)比度和曝光的同時(shí),保持圖像的顏色恒常性,在處理低照度視頻圖像時(shí)效果較好,但其需要調(diào)整的參數(shù)較多,時(shí)間復(fù)雜度較高,且有時(shí)也會(huì)出現(xiàn)光暈、偽影等現(xiàn)象。

2.3 深度學(xué)習(xí)算法

近年來(lái)隨著人工智能和深度學(xué)習(xí)的迅速發(fā)展,各行各業(yè)都積極使用深度學(xué)習(xí)方法來(lái)解決特定領(lǐng)域的實(shí)際問(wèn)題。目前國(guó)內(nèi)外學(xué)者提出了許多基于深度學(xué)習(xí)的曝光校正算法,尤其是在低照度圖像增強(qiáng)以及欠曝光圖像修飾方面都取得了不錯(cuò)的成效。

2.3.1 常用的數(shù)據(jù)集

(1)MIT-Adobe FiveK 數(shù)據(jù)集

Bychkovsky等人[9]提供了第一個(gè)用于圖像修飾的數(shù)據(jù)集MIT-Adobe Five K (圖4)。此數(shù)據(jù)集包含了5000張單反拍攝的原始圖片,再由5位專業(yè)的攝影師對(duì)圖片進(jìn)行亮度和色彩的調(diào)整,因此可以用原圖與某一位攝影師調(diào)整后的圖作為配對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練和學(xué)習(xí)。

圖4 MIT-Adobe Five K 數(shù)據(jù)集示例圖[9]

(2)DPED 數(shù)據(jù)集

Ignatov等人[12]通過(guò)學(xué)習(xí)手機(jī)圖像到單反圖像之間的映射關(guān)系,提出了一種新的提高手機(jī)圖像質(zhì)量的方法,并建立一個(gè)DPED (DSLR Photo Enhancement Dataset)數(shù)據(jù)集,包含三款手機(jī)以及一款單反拍攝同一場(chǎng)景的圖像對(duì) (圖5)。作者用端到端的方式學(xué)習(xí)低質(zhì)量手機(jī)圖像到高質(zhì)量單反圖像的映射關(guān)系,實(shí)現(xiàn)手機(jī)圖像質(zhì)量的整體提升。

圖5 DPED數(shù)據(jù)集示例[12]

DPED 數(shù)據(jù)集均為實(shí)拍采集,數(shù)量較大,擁有超過(guò)6000張照片,且場(chǎng)景較為豐富,能將手機(jī)拍攝的照片提升至單反照片質(zhì)量,但是會(huì)放大噪聲,并且對(duì)不同手機(jī)設(shè)備需要重新進(jìn)行訓(xùn)練。

(3)SID 數(shù)據(jù)集

陳晨等人[13]建立了一個(gè)SID (See-in-the-Dark)數(shù)據(jù)集,包含5094 張短曝光低照度圖像,以及對(duì)應(yīng)的長(zhǎng)曝光參考圖像,并提出一種全卷積網(wǎng)絡(luò)結(jié)構(gòu) (Fully Convolutional Network,FCN),通過(guò)端到端的訓(xùn)練,實(shí)現(xiàn)了極暗圖像的快速恢復(fù)和去噪(圖6)。

圖6 Chen的SID處理效果[13]

傳統(tǒng)的圖像處理流程是由一系列模塊構(gòu)成,每個(gè)模塊進(jìn)行單獨(dú)處理,例如白平衡、色彩轉(zhuǎn)換、去噪、銳化等,而論文采用端到端的學(xué)習(xí)方式,訓(xùn)練一個(gè)FCN 網(wǎng)絡(luò)對(duì)圖像原始數(shù)據(jù)進(jìn)行整體處理,將所有處理模塊集成一起,提出了一種極端低亮度圖像的增強(qiáng)系統(tǒng)(圖7)。

圖7 Chen提出的模型[13]

SID 數(shù)據(jù)集包含的低光照?qǐng)D像較為豐富,但是均為靜態(tài)的物品,訓(xùn)練的網(wǎng)絡(luò)對(duì)極暗圖像的恢復(fù)效果較好,但其為特定相機(jī)訓(xùn)練的網(wǎng)絡(luò),泛化能力有限,而且需要用戶自主設(shè)置放大系數(shù)來(lái)調(diào)整亮度。

2.3.2 LLNet網(wǎng)絡(luò)結(jié)構(gòu)

Lore等人[10]提出了暗光圖像增強(qiáng)網(wǎng)絡(luò)LLNet(The Low-light Net),利用深度自編碼器提取暗光圖像的特征,自適應(yīng)地提高圖像亮度并降低圖像噪聲。

Lore提出了兩種網(wǎng)絡(luò)結(jié)構(gòu):LLNet與S-LLNet(圖8)。LLNet將對(duì)比度增強(qiáng)與去噪合為一個(gè)模塊同時(shí)訓(xùn)練,而S-LLNet將對(duì)比度增強(qiáng)與去噪分成兩個(gè)模塊,分別進(jìn)行訓(xùn)練。S-LLNet在訓(xùn)練中更具靈活性,但是會(huì)增加處理時(shí)間。

圖8 LLNet與S-LLNet網(wǎng)絡(luò)結(jié)構(gòu)[10]

LLNet是較早將深度學(xué)習(xí)用于圖像增強(qiáng)的網(wǎng)絡(luò),且在公開(kāi)數(shù)據(jù)集里處理效果較好,但在實(shí)際的暗光圖像中,局部細(xì)節(jié)還原效果有限。

2.3.3 MSR-net網(wǎng)絡(luò)結(jié)構(gòu)

Shen等人[11]將卷積神經(jīng)網(wǎng)絡(luò) (Convolutional Neural Networks,CNN)與傳統(tǒng)的多尺度Retinex (MSR)算法結(jié)合起來(lái),提出了MSR-net網(wǎng)絡(luò)結(jié)構(gòu),建立了低光照?qǐng)D像到正常亮度圖像之間的映射,實(shí)現(xiàn)低光照?qǐng)D像的亮度增強(qiáng)。

論文認(rèn)為傳統(tǒng)的MSR 中心環(huán)繞函數(shù)等價(jià)于不同高斯卷積核的卷積層,可以表示為:

式(15)中n為不同尺度,c為高斯環(huán)繞函數(shù)的標(biāo)準(zhǔn)差,K 為卷積層數(shù)。

MSR-net模型由三部分組成:多尺度對(duì)數(shù)變換、卷積差分、色彩復(fù)原,如圖10所示。

圖10 MSR-net網(wǎng)絡(luò)結(jié)構(gòu)[11]

MSR-net將深度學(xué)習(xí)CNN 與傳統(tǒng)的圖像處理方法MSR 相結(jié)合起來(lái),想法比較新穎,但是在色彩還原方面效果有待提升,當(dāng)圖像出現(xiàn)大面積平滑區(qū)域時(shí),會(huì)出現(xiàn)光暈現(xiàn)象(圖11)。

圖11 MSR-net處理效果圖[11]

2.3.4 DNN 網(wǎng)絡(luò)結(jié)構(gòu)

2021年Mahmoud等人[14]提出了一種由粗到精(Coarse-to-Fine)的深度神經(jīng)網(wǎng)絡(luò) (Deep Neural Network,DNN)模型,用一個(gè)網(wǎng)絡(luò)模型對(duì)欠曝光和過(guò)曝光圖像進(jìn)行校正,首先對(duì)圖像的整體亮度和顏色進(jìn)行校正,然后再對(duì)圖像細(xì)節(jié)進(jìn)行恢復(fù)和增強(qiáng),在兩種極端曝光錯(cuò)誤的圖像處理上都能達(dá)到良好的效果(圖12)。

圖12 DNN 的處理效果[14]

網(wǎng)絡(luò)的總損失函數(shù)由重構(gòu)損失、金字塔損失、對(duì)抗損失三部分構(gòu)成(圖13):

圖13 DNN 網(wǎng)絡(luò)結(jié)構(gòu)[14]

DNN 網(wǎng)絡(luò)既可以處理暗圖像的增強(qiáng),也可以實(shí)現(xiàn)過(guò)曝光圖像的恢復(fù),并且處理效果都比較好。但是在細(xì)節(jié)較少的區(qū)域,會(huì)出現(xiàn)噪點(diǎn)和偏色等現(xiàn)象。

3 曝光校正在短視頻制作中的應(yīng)用

3.1 后期軟件中的曝光校正

目前市場(chǎng)上可供選擇的視頻后期軟件比較多,不同軟件的功能和優(yōu)勢(shì)也存在明顯的差異,比較常用且擁有自動(dòng)對(duì)比度、曝光校正設(shè)置選項(xiàng)的后期軟件有:Adobe Premiere Pro、Da Vinci Resolve和Final Cut Pro等。

Adobe Premiere Pro是國(guó)內(nèi)外常用的短視頻后期創(chuàng)作軟件,提供剪輯、調(diào)色、字幕等完整的后期流程,并且此軟件可以與Adobe公司推出的其他軟件相互協(xié)作,因此這款軟件應(yīng)用范圍較廣,Adobe Premiere Pro內(nèi)置自動(dòng)對(duì)比度效果控件,可以適當(dāng)改善視頻的亮度層次(圖14-15)。

圖14 Premiere低照度視頻曝光校正后的效果(左為原圖,右為處理后效果圖)

圖15 Premiere過(guò)曝視頻曝光校正后的效果(左為原圖,右為處理后效果圖)

DaVinci Resolve在2020 年推出一個(gè)可以實(shí)現(xiàn)曝光校正與色彩匹配的插件:Colourlab AI。用戶可以導(dǎo)入自己的視頻和一張參考圖片 (圖16),左邊預(yù)覽窗口為用戶自己的視頻,右邊預(yù)覽窗口為參考圖片。此插件可以根據(jù)參考圖片自動(dòng)生成匹配模型(如圖16下方7個(gè)小圖所示),用戶從匹配模型中選擇一個(gè)進(jìn)行匹配,插件會(huì)自動(dòng)將參考圖片的亮度、對(duì)比度以及色彩遷移到用戶自己的視頻上,完成視頻自動(dòng)亮度和色彩匹配。

圖16 Colourlab AI界面②

Colourlab AI在曝光校正與色彩匹配的處理上效果都比較好,但是此插件為付費(fèi)插件,核心算法未對(duì)外公布。Colourlab AI實(shí)驗(yàn)室購(gòu)買了You Tube Suggestions 算法,并制作了上千個(gè)調(diào)色模型,給每一個(gè)模型提供了不同的調(diào)色方法,隨后又制作了另一個(gè)Teacher Bot模型,與調(diào)色師一起來(lái)評(píng)估每個(gè)調(diào)色模型的調(diào)色結(jié)果,利用深度學(xué)習(xí)的方式不斷進(jìn)行學(xué)習(xí)與修正,訓(xùn)練出了可以實(shí)現(xiàn)亮度調(diào)整與色彩匹配的調(diào)色模型(圖17)。

圖17 Colourlab AI調(diào)色模型示意圖③

3.2 單幀圖像曝光校正算法效果對(duì)比

選擇四個(gè)存在曝光問(wèn)題的短視頻,分別應(yīng)用HE、CLAHE、SSR、MSRCR、DNN 算法以及Premiere自動(dòng)對(duì)比度進(jìn)行處理,效果如圖18所示。從效果圖中可以看出,每種算法都能對(duì)短視頻中單幀圖像的曝光進(jìn)行一定程度的改善,豐富亮度層次,但是每種算法都存在一定局限性。CLAHE 與HE相比,能更好地提高局部對(duì)比度,減少噪聲,但是由于CLAHE處理后的圖像與原始圖像的亮度級(jí)并不是1對(duì)1的對(duì)應(yīng)關(guān)系,因此處理后的圖像顏色與原圖有一定差異,容易出現(xiàn)顏色失真的問(wèn)題;SSR與MSRCR 對(duì)于低照度圖像的處理效果較好,可以提高暗部細(xì)節(jié),但是在處理過(guò)曝光圖像時(shí),很容易出現(xiàn)光暈和偽影等現(xiàn)象;DNN 對(duì)于過(guò)暗和過(guò)曝光圖像的校正都能達(dá)到較好的效果,但是在缺乏細(xì)節(jié)的區(qū)域,仍然會(huì)出現(xiàn)偏色和噪點(diǎn)等問(wèn)題;Premiere自動(dòng)對(duì)比度效果控件只能在有限的亮度范圍內(nèi)進(jìn)行曝光校正,過(guò)曝光的圖像都需要手動(dòng)校正才能達(dá)到良好的效果。

圖18 各種算法效果對(duì)比

通過(guò)實(shí)驗(yàn)結(jié)果表明,利用基于直方圖均衡化的算法進(jìn)行曝光校正,雖然校正質(zhì)量不高,但是操作簡(jiǎn)單,這類算法中有些無(wú)需參數(shù)設(shè)置,有些參數(shù)設(shè)置簡(jiǎn)單,當(dāng)視頻整體過(guò)暗或者整體過(guò)亮?xí)r,都能取得較好的曝光校正效果,尤其是HE與AHE,只需要輸入用戶視頻,無(wú)需參數(shù)設(shè)置,即可進(jìn)行處理,操作簡(jiǎn)單快捷;CLAHE 相較于HE 而言,能進(jìn)一步提高局部對(duì)比度,但是需要輸入一個(gè)裁剪閾值參數(shù),這個(gè)參數(shù)值與視頻內(nèi)容相關(guān)?；赗etinex 理論的算法需要輸入少量參數(shù),適用于低照度視頻的增強(qiáng),對(duì)于過(guò)曝光區(qū)域容易出現(xiàn)光暈,其中SSR 需要輸入?yún)?shù)高斯標(biāo)準(zhǔn)差σ,若取值較小,細(xì)節(jié)還原較好,但是色彩會(huì)出現(xiàn)失真情況;若取值較大,色彩還原較好,但細(xì)節(jié)信息會(huì)減少,而 MSR 與MSRCR 需要輸入多個(gè) (通常為3個(gè))不同的高斯標(biāo)準(zhǔn)差σ進(jìn)行加權(quán)處理,其中MSRCR 較為復(fù)雜,不僅需要輸入高斯標(biāo)準(zhǔn)差σ,還需要輸入控制色彩復(fù)原因子的參數(shù)a和β,雖然MSRCR 可以更好地保持視頻的顏色恒常性,但其需要調(diào)整的參數(shù)過(guò)多?；谏疃葘W(xué)習(xí)的算法種類較多,每種模型在特定的應(yīng)用場(chǎng)景和數(shù)據(jù)集中能取得較好的效果,但是深度學(xué)習(xí)方式處理時(shí)間較長(zhǎng),并且對(duì)數(shù)據(jù)集依賴性較大,很難獲取所有場(chǎng)景的數(shù)據(jù)集,如果用戶視頻與數(shù)據(jù)集特征差別較大,會(huì)導(dǎo)致曝光處理效果不理想。

大部分短視頻發(fā)布者一般缺乏專業(yè)的后期處理技能,因此需要在一定程度上提高短視頻畫面質(zhì)量的前提下,選擇簡(jiǎn)單高效的曝光校正方案幫助他們處理短視頻?；谥狈綀D均衡的算法,例如HE 與AHE,能夠?qū)^(guò)暗和過(guò)亮的視頻進(jìn)行整體曝光校正,改善視頻亮度和對(duì)比度,雖然處理效果有限,但易于操作,不需要任何先驗(yàn)知識(shí),用戶輸入自己的視頻即可獲得校正后的影像,適用于喜歡一鍵式處理的非專業(yè)用戶;CLAHE 算法可以進(jìn)一步提高局部對(duì)比度,減少畫面噪聲,用戶僅需要設(shè)置一個(gè)參數(shù),進(jìn)行視頻的曝光校正,這個(gè)參數(shù)設(shè)置可以通過(guò)在給定的取值范圍內(nèi)進(jìn)行調(diào)整,根據(jù)不同參數(shù)值校正效果,選取一個(gè)較為滿意的輸出結(jié)果即可;SSR 算法與MSR 算法更適用于低亮度視頻的增強(qiáng),參數(shù)數(shù)量可由用戶決定,但容易出現(xiàn)顏色失真的問(wèn)題;MSRCR 與深度學(xué)習(xí)的算法可以更好地改善視頻曝光效果、復(fù)原畫面顏色,但是參數(shù)設(shè)置過(guò)于復(fù)雜,需要用戶對(duì)各個(gè)參數(shù)有一定了解,并且基于深度學(xué)習(xí)的算法處理時(shí)間較長(zhǎng)、算法復(fù)雜度高,暫不建議非專業(yè)用戶使用此類方法。

4 結(jié)語(yǔ)

本文對(duì)不同類型的曝光校正算法進(jìn)行了梳理和實(shí)驗(yàn)對(duì)比,并結(jié)合短視頻的特點(diǎn)對(duì)各種算法進(jìn)行探討與分析,每種算法都有各自的優(yōu)勢(shì)和局限性,其中部分算法能夠在一定程度上改善視頻質(zhì)量且操作簡(jiǎn)單,適用于非專業(yè)短視頻用戶群體。

目前,基于深度學(xué)習(xí)的曝光校正算法,雖然能處理一些極端曝光的情況,但是由于訓(xùn)練集數(shù)據(jù)有限并且校正時(shí)復(fù)雜度高等問(wèn)題,使得該類方法在短視頻曝光校正中使用受限。未來(lái),隨著數(shù)據(jù)集的擴(kuò)充和模型的迭代優(yōu)化,筆者相信基于深度學(xué)習(xí)的算法能夠更適用于短視頻的自動(dòng)曝光校正,為短視頻創(chuàng)作者節(jié)省視頻校正時(shí)間,將更多精力投入到內(nèi)容創(chuàng)作本身。

注釋

①圖片來(lái)源:https://en.wikipedia.org/wiki/Adaptive_histogram_equalization。

②圖片來(lái)源:https://www.youtube.com/watch? v=Cdg KP9 Bwwy Y。

③圖片來(lái)源:https://www.youtube.com/watch? v=l AvDgxJ cvf A。